且行善举,莫问前程。

0%

在github上存储了一份自己的配置文件,当然依然还在优化当中。配置了python开发的基本功能,以及zsh,vim,tmux等,没有过多的杂项。配置详情可以参考项目的README

项目地址: github

配置方式详情看Master分支的README,分别有OSX和Linux两种平台的配置。为了方便安装接下来会完成MakeFile的编写。

也是出于喜欢,最近开始了研究机器学习方面的东西,还未入行,只是根据教程自己做了下怎么识别验证码.用的是google的OCR开源库tesseract-ocr.使用python来实现的.我来写下我实验的过程.

环境准备

环境安装

first step

1
2
git clone git@github.com:madmaze/pytesseract.git
python setup.py install

此时如果使用pytesseract.image_to_string,会抛出OSError: [Errno 2] No such file or directory error,详情看https://github.com/madmaze/pytesseract/issues/13

这是因为没有安装tesseract-ocr

1
2
3
4
# ubuntu
apt-get install tesseract-ocr
# OSX
brew install tesseract

OK

fuck checkCode

1
2
3
4
5
6
7
8
9
10
11
# 图片预先处理,去噪
from PIL import Image, ImageFilter, ImageEnhance
import pytesseract
im = Image.open(image_name)
# 滤镜
im = im.filter(ImageFilter.MedianFilter())
# 去噪
enhancer = ImageEnhance.Contrast(im)
im = enhancer.enhance(2)
im = im.convert('L')
print pytesseract.image_to_string(im)

OK

后续

之后我会去研究更高级的一些识别方式.这种方法识别率还是很低的.

我是从实习的时候开始使用Mitmproxy的,当时是为了Debug APP的bug才使用的。编写一个python小脚本将流量都转发到自己的Server上,对接口进行Debug。

mitmproxy叫做man in the middle proxy,就是中间人代理的意思,一般的中间人攻击就可以利用这个软件,相似的软件还有Burp Suite,是一个收费的软件,进官网下载免费版的就可以使用,有图形用户界面,功能也是相当强大,因为使用Java编写开发,有很好的跨平台能力。Windows平台上有Fiddler,功能也是很强大,不多说直接进入今天的正题。

环境介绍

一般开发有三种服务器,dev,beta,online。Android,iOS发Build包一般都会指向测试服务器,但是你要做开发,或者Debug就要指向自己服务器,或者是线上服务器,不能总是麻烦他们,所以这时就需要一个代理来转发请求。

online一般都是Https,所以对于https还要做一些其他处理。

安装一个Mitmproxy

不管是是什么平台只要安装好python-pip,就可以直接安装Mitmproxy

1
pip install mitmproxy

mitmproxy会在~/.mitmproxy目录下生成一个mitmproxy-ca-cert.pem证书。如果是对端开发,支持https就要安装自签证书。

1
python -m SimpleHTTPServer 8888

手机访问http://ip:8888 安装证书

1
mitmproxy -p 3128

手机设置代理到ip:3128,此时就能抓到https的数据包了。

自签证书

1
2
3
openssl genrsa -out cert.key 2048
openssl req -new -x509 -key cert.key -out cert.crt
cat cert.key cert.crt > cert.pem

运行

1
mitmproxy -p 3128 --cert=cert.pem

Script支持

转发一定少不了脚本支持

Example

1
2
3
4
5
6
def request(context, flow):
if 'www.baidu.com' == flow.request.hots:
if flow.request.scheme == 'https':
flow.request.scheme = 'https'
flow.request.host = 'blog.ibeats.top'
flow.request.prot = 443

运行

1
mitmproxy -s forward.py -p 3128

帮助文档

官方文档官方script

vim最近配上了python mode插件,后来发现项目下经常会多出来一个.repoproject文件夹,谷歌无果,接下来写python项目时就会碰上卡死的问题。pyhotn mode带来很棒的支持,但是这个卡死就实在不能忍受。

今天发现卡死的时候状态显示regenerate repo cache…,那么肯定和python mode的repo有关,先不去考虑repo是什么,谷歌regenerate repo cache后来找到了答案。

Solution

编辑你的~/.vimrc,添加以下配置,禁用repo

1
2
3
" close python mode Regenerate repo cache
let g:pymode_rope = 0
let g:pymode_rope_lookup_project = 0

Reason

rope 这个插件在文件保存的时候创建 rope 信息的时候,需要非常长的时间,让 vim 长时间无法响应。

Clone my config in github

github: dotfile

我喜欢在手机上的备忘录里面写一些东西,然后截屏分享出去,有时写多了就不能截一张Screenshot,然后就想弄一个长微博生成器。一般长微博生成器最后都是生成一张图片,我的编程习惯一般都是首选python,然后使用了Pillow库来编写的,不建议使用PIL,而是去选择friendly PIL,就是Pillow库。

思路

如果效果好看则使用头图和页脚,中间则是标题跟正文,这样基本就可以生成长微博。头图使用一个图片,长微博宽度以头图为准,默认则是750(IP6的分辨率1334*750)。文章区则是根据长微博宽度和文字大小算出每行的字符数来生成区块。最终进行拼接。页脚就不用再次多说。

项目

2016年07月03日更新

  • 添加了daemon
  • 添加了colored logger
  • 优化了启动方式
  • 整理代码
  • 可选使用dnspod token进行授权验证

使用第三方的DDNS服务感觉总是不是太稳定,所以就利用DNSPOD的API编写了一个DDNS的Server。目前依然在开发当中,已经实现了动态域名的功能,接下来是添加更多的功能,使之更加稳定和易用。接下来就是要开始按照计划进行迭代。如果有兴趣一起开发的朋友可以邮箱联系我。

系统环境

ubuntu14.04 Desktop x64

编译nginx

apt-get安装的nginx并不支持websocket,需要添加nginx-push-stream-module模块,所以我们要重新编译nginx。

编译参考模块给出的 参考地址

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
git clone https://github.com/wandenberg/nginx-push-stream-module.git
# download nginx latest
wget http://nginx.org/download/nginx-1.9.10.tar.gz

# unpack, configure and build
tar zxvf nginx-1.9.10.tar.gz
cd nginx-1.9.10

# add Openssl model,generate Makefile
./configure --add-module=../nginx-push-stream-module --with-http_ssl_module

# if the HTTP rewrite module requires the PCRE library.
# sudo apt-get install libpcre3 libpcre3-dev
# sudo apt-get install openssl libssl-dev

make & sudo make install

更多config配置,使用./config –help默认安装在/usr/local/nginx下

配置websocket

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# add the push_stream_shared_memory_size to your http context
http {
push_stream_shared_memory_size 32M;

# define publisher and subscriber endpoints in your server context
server {
location /channels-stats {
# activate channels statistics mode for this location
push_stream_channels_statistics;

# query string based channel id
push_stream_channels_path $arg_id;
}

location /pub {
# activate publisher (admin) mode for this location
push_stream_publisher admin;

# query string based channel id
push_stream_channels_path $arg_id;
}

location ~ /sub/(.*) {
# activate subscriber (streaming) mode for this location
push_stream_subscriber;

# positional channel path
push_stream_channels_path $1;
}
}
}

配置一个publisher,配置一个subscriber,以id区分每一个channel也可以直接nginx加载misc/nginx.conf

测试

推荐使用curl直接测试,也可以选择使用iocat测试,需要安装node.js以及npm

1
2
3
4
5
6
7
8
9
10
npm install iocat -g

# WebSocket Client
iocat ws://127.0.0.1:80/sub/1

# WebSocket Server
iocat -l -p 80

# or curl
curl -s -v -X POST 'http://127.0.0.1/pub?id=1' -d 'Hello World!'

因为有个国外的服务器搭了ss的服务,在电脑上使用比较方便.我自己本身有个可用的翻墙host,所以更青睐使用host直接上谷歌,并且github也可以加速.手机并不能使用ss,pad越狱之后才安装了ss的软件.也用过Privoxy将socks转成http,手机经常的切换代理也是很繁琐.

然后有现在解决办法,搭建了dns服务器.

dns服务器搭建在raspberry pi上,系统烧录的是debian系统.使用的dnsmasq软件,修改dns配置,配置翻墙host,修改dns服务器.

安装dnsmasq

1
sudo apt-get install dnsmasq

修改配置文件

1
sudo vi /etc/dnsmasq.conf

修改为

1
2
3
4
5
6
domain=raspberry.local
resolv-file=/etc/resolv.dnsmasq
min-port=4096
server=8.8.8.8
server=8.8.4.4
cache-size=10000

配置host

在/etc/dnsmasq.d/目录下创建gfw.conf,分析hosts文件结构

1
2
3
4
64.233.162.83    0.docs.google.com
64.233.162.83 0.drive.google.com
64.233.162.83 1.docs.google.com
64.233.162.83 1.drive.google.com

dnsmasq配置文件格式

1
2
3
4
address=/0.docs.google.com/64.233.162.83
address=/0.drive.google.com/64.233.162.83
address=/1.docs.google.com/64.233.162.83
address=/1.drive.google.com/64.233.162.83

批量处理hosts文件

1
awk -F ' ' '{print "address=/"$2"/"$1}' /etc/hosts

重启服务,修改dns到树莓派的ip

1
service dnsmasq restart

该篇文章对python内置函数,主要是元编程涉及到的类进行汇总.

__new__和__init__

因为使用markdown,__会被识别为加粗,标题可以使用\_\_来进行转义.或者使用``. `

eg.

1
2
3
4
5
6
7
8
class A(object):
def __init__(self):
print "init"
def __new__(cls,*args, **kwargs):
print "new %s"%cls
return object.__new__(cls, *args, **kwargs)

A()

output:

1
2
new <class '__main__.A'>
init

解释

1
2
3
4
5
继承object的类才有__new__
__new__至少要有一个参数cls,代表要实例化的类,此参数在实例化时由Python解释器自动提供
__new__必须要有返回值,返回实例化出来的实例,这点在自己实现__new__时要特别注意,可以return父类__new__出来的实例,或者直接是object的__new__出来的实例
__init__有一个参数self,就是这个__new__返回的实例,__init__在__new__的基础上可以完成一些其它初始化的动作,__init__不需要返回值
若__new__没有正确返回当前类cls的实例,那__init__是不会被调用的,即使是父类的实例也不行

__repr__

eg.

1
2
3
4
5
6
7
8
9
class A:
def __repr__(self):
return "repr"

def __str__(self):
return "str"

print str(A())
print repr(A())

output:

1
2
str
repr

解释

1
一般类的实现str将被转化为适于人阅读的模式,而repr更适于解释器读取.

__call__

eg.

1
2
3
4
5
6
7
8
9
class A:
def main(self, content):
return content

def __call__(self, content):
return self.main(content)

a = A()
print a('main')

output:

1
main