Agile Data Science 2.0书中代码.

作者:yihaomen 日期:2019-08-27

Agile Data Science 2.0书中代码. pyspark+elasticsearch.

分类:Python/Django | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 96

Linux下top+pstack+gdb的组合拳定位程序进程线程问题并调试

作者:yihaomen 日期:2019-08-22

在Linux 下如果发现程序运行异常，比如CPU, 内存占用很高，可以采用linux下自带的一些命令，帮助我们找到问题所在。

Tags: pstack pstack gdb gdb

分类:linux/unix | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 131

elasticsearch high level rest api分页查询数据

作者:yihaomen 日期:2019-08-20

Transport方式查询数据，在今后的elasticsearch中将不在维护，官方推荐用用 high level rest api或者lower level api去操作elasticsearch中的数据。在elasticsearch的增删改查操作中，其实最复杂的也就是分页查询了，根据elasticsearch官方资料，做个简单的笔记.

Tags: elasticsearch elasticsearch

分类:Java | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 992

Centos7 下测试mosquitto性能

作者:yihaomen 日期:2019-08-08

测试mosquitto性能
首先需要安装如下模块

程序代码

yum install libncurses5-dev m4 fop freeglut3-dev libwxgtk2.8-dev g++ libssl-dev xsltproc build-essential tk8.5 unixodbc unixodbc-dev libxml2-utils

Tags: erlang erlang emqtt emqtt

分类:Java | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 504

python识别图片中是否包含水印(opencv)

作者:yihaomen 日期:2019-08-07

最近在写爬虫，但爬下来的很多图片被加了水印，而且水印的位置不是固定的。本来不是搞图形图像处理的我，只好google了一把，看到很多用opencv来解决类似问题。这里记录一下水印识别的代码.

Tags: opencv opencv

分类:Python/Django | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 736

编译安装psutil报错test_posix.py', 61, 29, "fmt_map...

作者:yihaomen 日期:2019-07-31

前面用pip install psutil 安装过psutil, 安装之后是可以成功运行的。但有些机器没有网络，只能把psutil安装包下载下来，然后自己去编译安装，当然前提GCC是少不了的，还有一些需要的其他包，在这边文章里也有提到

Tags: psutil psutil

分类:Python/Django | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 87

springboot2.x使用interceptor之后静态资源文件加载问题

作者:yihaomen 日期:2019-07-31

在使用spring boot 2.x 的过程中，如果使用了interceptor来做权限拦截，很有可能你会发现原来能正常请求的资源文件css,js,images等都不能用了。如果没有加这个拦截器之前，所有的都是好的。一般在开发过程中，很多人估计都是先开发功能，最后再加权限拦截（当然如果采用第三方权限框架比如shiro等，不存在这问题）, 尝试过修改application.properties增加静态资源文件地址，结果没用。最后还是在代码里面配置才生效.

Tags: springboot springboot

分类:Java | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 165

centos下安装pip, psutil容易踩的坑.

作者:yihaomen 日期:2019-07-17

安装PIP, 直接用yum install pip 估计多半不会成功。
[root@wfm ~]# yum -y install pip
Loaded plugins: fastestmirror, refresh-packagekit, security
Loading mirror speeds from cached hostfile
* base: mirrors.tuna.tsinghua.edu.cn

分类:Python/Django | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 205

Linux（Centos7.6）下搭建SVN服务器

作者:yihaomen 日期:2019-07-13

系统环境：centos7.6

第一步：通过yum命令安装svnserve，命令如下：

yum -y install subversion

此命令会全自动安装svn服务器相关服务和依赖，安装完成会自动停止命令运行

若需查看svn安装位置，可以用以下命令：

rpm -ql subversion

Tags: svn svn

分类:linux/unix | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 81

tornado热加载框架

作者:yihaomen 日期:2019-07-04

收藏的一个tornado热加载框架

程序代码

# coding:utf-8
#mvc框架总入口
import sys

Tags: tornado tornado

分类:Python/Django | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 121

Centos7安装netcat

作者:yihaomen 日期:2019-07-02

Centos7下安装netcat 的命令: sudo yum install net-tools

测试命令是否正常： nc -lk 6789

Tags: netcat netcat

分类:linux/unix | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 68

老版本python2.6安装pip,psutil 报错问题。

作者:yihaomen 日期:2019-06-13

今天在centos服务器上想做一个监控的小程序，首先想到的是用python来写这个小程序，服务器上的python版本很老，暂时没想升级。发现没有 psutil，所以就像用这个三方的库。结果发现pip也没安装。好吧。一切从头开始.

一, 先安装setuptools.

程序代码

wget --no-check-certificat https://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz

分类:Python/Django | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 569

Centos7 Docker compose安装

作者:yihaomen 日期:2019-06-02

Compose是定义和运行多容器Docker应用程序的工具，使用Compose，您可以使用YAML文件来配置应用程序的服务，然后，使用单个命令创建并启动配置中的所有服务。今天先记录centos7下 docker compose的安装。其实也就是参考官方文档来的。官方文档参考这里: https://docs.docker.com/compose/install/

方法一：直接下载二进制文件

sudo curl -L "https://github.com/docker/compose/releases/download/1.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

更改执行权限 sudo chmod +x /usr/local/bin/docker-compose

分类:Architect | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 83