CI_Knight

且行善举,莫问前程。

0%

我的博客一直是通过netlify来构建部署的,有一次升级hexo后,在netlify构建就失败了,并且一直没有解决这个问题。主要是我本地并没有失败过,所以我就考虑使用新的平台了。

vercel

现在已经切换到了vercel,部署更加简单,配置也更方便,也没有遇到过netlify构建异常。我怀疑是netlify的node版本过低,是8.x的版本。vercel能识别项目使用的框架,非常友好。

ipfs+ipns

去中心化是非常好的选择,如果使用的是ipfs,博客要使用相对路径,修改hexo配置中的relative_link就可以实现。当然也可以配置上ipns,ipns是基于dnslink实现,配置一下dnslink的txt记录即可。当你浏览器装了ipfs-companion的插件后,访问你的博客域名,就会自动重定向到ipfs的资源了。除了ipfs.io,现在cloudflare和infura也提供了ipfs的gateway,当然你也可以下载一个ipfs的软件,运行在本地来充当gateway。

后续更新

2021四月我将博客迁移至cloudflare的pages服务上,这是cloudflare刚上不久的服务,目前还是beta阶段,和vercel的配置是一样的,非常简单,vercel比较麻烦的地方是,需要通过命令行设置一下主域名,这样每次自动构建的页面才会部署在自定义域名上。

当然也可以安装ipfs的浏览器插件,直接访问我的博客,ipfs的gateway推荐使用cloudflare-ipfs.com。

最新加速方案

我讲pyenv-proxy部署在了Cloudflare上,json数据存储在了Cloudflare KV,用了Cloudflare workers 作为Web服务,不依靠我个人的服务器,保证服务的稳定。

新的配置如下:

1
export PYTHON_BUILD_MIRROR_URL="https://pyenv.ibeats.top"

workers代码请查看项:pyenv-proxy

参考文章:如何加速Pyenv

如果做网站加速,CDN是有很多种选择的,如果只做国内业务可以选择任意一家CDN都没问题,国外一般选择CloudFront和Cloudflare。Cloudflare在我看来,使用非常方便,傻瓜都可以操作,基本都是一键设置,不过功能相对于CloudFront少很多,毕竟CloudFront是AWS的一个服务。CloudFront优势在于可以和AWS的其他服务相结合,实现特定的需求。所以我更倾向于使用CloudFront,如果是个人静态博客之类的直接使用Cloudflare足矣。

这两个服务,国外加速效果都非常好,国内访问高峰期,有时会慢到让人无法接受,如果公司使用还是要对国内访问进行加速的,国内加速我更推荐使用CloudFront,虽说Cloudflare有很多黑科技,比如argo之类加速功能,但是比起CloudFront逊色不少。

由于国内特色的网络环境,想要解析到国内的服务器,一定要做网站备案,这就导致Cloudflare和CloudFront在国内并没有加速节点。不过Cloudflare有Partner曲线救国的方式,设置起来就比较麻烦了,而且最终还是逃不过备案。

我最终选择的方案是GeoDNS区域解析,因为域名的NS在Cloudflare托管,所以我优先选择使用Cloudflare的Load Balance,可以根据区域进行自定义解析,从使用体验上讲,该服务收费而且中国IP识别准确率也很低,划分区域相对简单,是根据大陆板块划分,没有根据国家划分区域,所以只好放弃Cloudflare。在一番对比后,国内的DNSPod,AliyunDNS准确率都很高,最后我还是选择了AWS的route53服务。

服务器可以考虑使用Alibaba Cloud的OSS服务,香港的OSS对于国内访问速度还是非常快的,而且比较稳定。将中国的解析执行OSS就可以了。当然这只是前端页面加速,如果是其他业务,也可以使用HAProxy或者Nginx做转发,就可以实现更多特殊的需求了。

如果写同步的程序,我都是使用 requests 发送 http 请求,异步程序,我更倾向于使用 aiohttp,这两个都是非常优秀的工具包,但是写异步代码,如果掌握不精很容易坑了自己。接下来我会讲述一下我在使用中遇到的一个问题。

aiohttp client 抛了异常

下面是简化过的代码。

http.py
1
2
3
4
5
6
7
8
9
10
11
12
import aiohttp

class Http:
def __init__(self):
connector = aiohttp.TCPConnector()
self.session = aiohttp.ClientSession(connector=connector)

async def get(self, url):
async with self.session.get(url) as r:
return await r.text()

http = Http()
main.py
1
2
3
4
5
6
7
8
9
from base import b

async def main():
r = await b.get("https://blog.ibeats.top/robots.txt")
print(r)

if __name__ == "__main__":
import asyncio
asyncio.run(main())

这时候执行 main.py 就抛出了异常

RuntimeError: Timeout context manager should be used inside a task

打断点查看,确实是在 with timer 抛出的错误,这情况很有可能是没在事件循环内实例化 session。代码少还是很容易看出来,运行事件循环前导入了 http,并且实例化了 session。

所以从根本上上解决问题就是导入http时不要初始化 session,然后代码可以改成这样。

http.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import aiohttp

class Http:
def __init__(self):
self.session = None

async def get_session(self):
if self.session is None:
connector = aiohttp.TCPConnector()
self.session = aiohttp.ClientSession(connector=connector)

return self.session

async def get(self, url):
session = await self.get_session()
async with session.get(url) as r:
return await r.text()

http = Http()

这样就可以就可以放心的在任何地方初始化了。

为什么不能运行前实例化session。

运行事件循环前也可以实例化 session。但是不要使用 asyncio.run 方法,可以自己创建一个loop来运行事件循环。

1
2
3
4
5
6
async def main():
...

if __name__ == "__main__":
loop = async.get_event_loop()
loop.run_until_complete(main())

为什么会这样,我们要进入 asyncio 内部看一下了,CPython 有用 Python 实现的 asyncio 代码,就不用直接看C了。在看过 aiohttp 代码后,aiohttp 初始化 session 时,使用的是 asyncio.get_event_loop() ,asyncio.run() 是自己创建的事件循环。那么我将代码简化后写出来再分析一下。

runners.py
1
2
3
4
5
6
7
8
9
10
11
from events import *
def run()
if events._get_running_loop() is not None:
raise RuntimeError("asyncio.run() cannot be called from a running event loop")

loop = events.new_event_loop()
try:
events.set_event_loop(loop)
return loop.run_until_complete(main)
finally:
...
events.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
class _RunningLoop(threading.local):
loop_pid = (None, None)

_event_loop_policy = None
_running_loop = _RunningLoop()

def get_running_loop():
loop = _get_running_loop()
if loop is None:
raise RuntimeError('no running event loop')
return loop

def _get_running_loop():
running_loop, pid = _running_loop.loop_pid
if running_loop is not None and pid == os.getpid():
return running_loop

def _set_running_loop(loop):
_running_loop.loop_pid = (loop, os.getpid())

def _init_event_loop_policy():
global _event_loop_policy
with _lock:
if _event_loop_policy is None: # pragma: no branch
from . import DefaultEventLoopPolicy
_event_loop_policy = DefaultEventLoopPolicy()

def get_event_loop_policy():
if _event_loop_policy is None:
_init_event_loop_policy()
return _event_loop_policy

def get_event_loop():
current_loop = _get_running_loop()
if current_loop is not None:
return current_loop
return get_event_loop_policy().get_event_loop()

aiohttp使用get_event_loop,就是说如果不调用 set_event_loop,当执行 asyncio.run 时,会重新创建一个事件循环,导致事件循环不是同一个,运行事件循环时,aiohttp 里抛出,所以启动事件循环时,也使用 get_event_loop 就能保证最后使用的是同一个事件循环,当然还是不建议这么做,稍微控制不好就会耽误很长的时间找问题所在,最后得不偿失了。

延伸阅读

2021年03月12日更新

已经换到了搬瓦工,akko毕竟是小服务商,虽然说线路不错,但是没事断个网也是很难受的。


之前说过如何科学上网,如果不会的可以先看一下《如何科学上网》。科学上网之前当然要有一个好的服务器,所以我推荐akkocloud,这也是我在使用的服务器,如果感兴趣的可以使用我的推荐链接https://www.akkocloud.com/aff.php?aff=256注册购买,非常感谢。接下来我来介绍下这个服务器。

akkocloud介绍

这家运营商是比较新的,知道的人比较少,所以不会像搬瓦工那样,总是处于售空的状态,即便补货你也是抢不到的那位。所以这个是个机会,如果错过你将再也买不到这样的服务器。

线路

翻墙肯定是要稳定,推荐美国圣何塞CN2 GIA,如果你不知道什么是CN2 GIA可以谷歌搜索一下,CN2简单就是说,这是中美之间的VIP通道,GIA就是去程和回程都是CN2,所以线路是非常稳定的,高峰期基本都不会丢包。更重要的是,三网优化。

带宽

最低是50mbps,双向600G流量,油管2k基本无压力,最大是150mbps,1500G流量。当然越大的价格越贵。

奈非?HBO?

最厉害的是,这家可以看奈非和HBO,也许体量小,IP还没有被封,今后是否能看还不清楚。

价格

支持支付宝支付,最便宜的50元一个月。不时会推出一个活动,打个八折,还是非常优惠的。建议买75元一个月的,带宽能达到100mbps。

关于注册

手机号可以不填,邮箱最好填真实的,虽然说它不会验证你的邮箱,但是是用来接收invoice的,还是用真的比较好。

MC服务器

akkocloud整体偏向于二次元,所以还提供我的世界服务器托管,10块钱一个月,太良心了。

为什么翻墙

和世界接轨。

后记

最近发现搬瓦工有个补货监控网站,网站链接https://status.bwgyhw.cn/,他们也有补货通知的 TG 群,感兴趣的可以加一下。如果有买搬瓦工服务器的,可以点击我的邀请链接https://bandwagonhost.com/aff.php?aff=59518,在此谢过了。

美股月内四次熔断,比特币也从一万美元跌至最低三千八百美元,在比特币产量减半之前,首先实现了资产减半,可以说很刺激了。随着币价的暴跌,也出现了各种流言,前两天就听到了一个这样的消息。

“比特币系统出错,矿工已经四小时没有出块了,后台增发数量造成算力漏洞被攻击,可以双花了。黑客利用这个漏洞凭空造出了一千万个比特币出来”。虽然说的有头有尾,但是稍微了解区块链的人直接可以确认这是谣言了。那么我们就针对这个谣言来聊聊细节吧。

比特币挖矿

挖矿在区块链中就是出块的意思,也就是矿机做哈希计算得到合法的结果,进而生成区块。所有的块连接到一起就形成区块链,这就像是链表一样的结构。然后通过共识进而达到无法篡改的目的。那么如果说比特币系统出错,或者算力大幅度减少,后台也不可能增发数量,也不可能一直不出块,毕竟挖矿是有一定的幸运率的。或者在一些区块链浏览器看一下谣言也不证自破了。

难度

哈希计算出来的值,前面的有多少个零就代表难度是多少。比特币定义difficulty 1为0x1d00ffff,十六进制也就是:

0x00ffff 2**(8 (0x1d - 3)) = 0x00000000FFFF

target用十六进制来表示,target和difficulty的换算是:

difficulty = difficulty_1_target / current_target

所以当一个通过哈希计算出来的值小于当前的target也说明这个块是合法的。就可以打包写入区块链,并广播自己挖出的块。谁计算的快,谁就可以得到挖矿奖励,目前大概是12.5个比特币奖励,因为包括矿工费所以一般大于12.5。下次奖励减半时间大概是2020年5月14日。具体可以看btc.com/stats/halving

比特币大概每十分钟出一个块

感兴趣可以去btc.com看一看,比特币大概每十分钟出一个块,有时会接连出一两个,有时则会超过十分钟甚至一个小时都不出,这都跟幸运值有关,也和算力的增长有关。当矿机增加或减少就对应着算力的增加或减少,如今散户们都是接入矿池以获得更多的收益,毕竟现在矿池当道,solo并不是一个太好的选择。

为了维持每十分钟一个块,比特币每2016个块重新计算一次网络的难度,使挖矿继续维持在每十分钟一个块。也就是:

2 weeks / 10 minutes = 14 24 60 / 10 = 2016

重新计算难度也是根据2016个块来计算的:

new target = old target * time for 2016 blocks / 2 weeks

也可以看我的实现github.com/ciknight/microchain/blob/master/microchain/chain.py#L76,我使用比率来计算,并且规定比率在4到1/4之间。

如果想要了解更多的比特币知识

可以看一下《mastering bitcoin》这本书,谷歌一下就可以搜到在线阅读,十本免费的书籍。想了解更多技术相关可以看比特币的开发手册和wiki。当然比特币只是区块链技术的一角,还有更多的链可以学习,他们互相取长补短,不知道在未来的某一天,区块链会不会改变我们的生活。

引用

hexo使用的是markdown来写博客的,不过在写文章的时候,我 vim 并没有设置 auto wrap,所以我会自己去换行。但是 hexo 渲染的时候换行会变成多余的空格,排版就会变得很难看。如果从 hexo 的 markdown 渲染引擎入手我感觉会异常麻烦,所以,我打算写个脚本把换行去掉合并成一行,这样就简单的解决了这个问题。

花了几十分钟写完,代码如下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from glob import glob
from typing import List

files = glob("*/**/*.md", recursive=True)


def fmt(content: List[str]) -> str:
data: List[str] = []
lens = len(content)
n = 0
while True:
if "---" in content[n]:
tmp: List[str] = []
tmp.append("---")
while True:
n += 1
tmp.append(content[n])
if "---" in content[n]:
while True:
n += 1
if content[n] == "":
continue
break
break
continue
data.append("\n".join(tmp))

tmp = []
while True:
if "```" in content[n]:
_tmp: List[str] = []
_tmp.append(content[n])
while True:
n += 1
if lens == n:
n -= 1
break

_tmp.append(content[n])
if "```" in content[n]:
while True:
n += 1
if lens == n:
n -= 1
break

if content[n] == "":
continue
break
break
continue

data.append("\n".join(_tmp))

tmp.append(content[n])
i = n + 1
n += 1
if i == lens or content[i] == "":
data.append("".join(tmp))
break

if lens == n:
break

return "\n\n".join(data)


for f in files:
with open(f) as fp:
c = fp.read()

data = fmt(c.split("\n"))
with open(f, "w") as fp:
fp.write(data)

当然代码依然有一些问题,没有覆盖到所有的 markdown 语法,所以很多问题手动修改了。不过使用 Python 编写脚本确实能提升不少的效率,所以Python 是很值得学习的一门语言。

今天早上醒来,突然感到浑身发冷无力,感觉大事不好,赶紧拿被子把自己裹起来。片刻之后,虽然身体暖和了,但是一阵恶心涌了上来。真的大事不好,让老婆赶紧给我量体温,在这节骨眼上要是发烧,真的是比死还惨了,心理是真的难受,再加上最近疫情严重谣言众多,突然感觉自己可能是患病了,然后就不理性了起来。在乌合之众里讲过,群众都是不理性的,看过众多谣言之后,自己也不就变得不理性了,人云亦云,最终分不清真假。如果真的被感染,那我可爱的女儿和老婆该如何是好,我打好年华才刚开始,就要结束了么。

接下来就是恶心,反胃,腹泻,无力,发热,没有食欲,全都对上了,我这不完了。最后还是听了父亲的话,吃了点挂面后,吃了消炎药和退烧药,开始消热。一个小时后,不在那么难受了,我妈给我煮了面,吃过之后继续消热,终于体温降到了37度,这才舒服一些。

看过人民日报的安抚文章之后,其实想想,这些也都会流感的症状,如果贸然去发热门诊,也加大了感染的风险,不如先自诊隔离的好。虽然退烧了,也要观察两天才好。虽然可能虚惊一场,但是仔细想想,恐慌才是人群的致命弱点。这些天微信群各种谣言四起,不明白为什么会有这些谣言,但是这些谣言只会让人们更加慌乱,这时候,更应该万众一心对抗肺炎。我也并不推崇国外的个人主义,更喜欢人们万众一心对抗肺炎。

这段时间,肺炎盖过了很多的热点新闻,不过人们并没有忘记。红三,故宫,伤医,隐瞒疫情,我们并没有忘记,更希望能够秋后算账。在没有言论自由的社会,还能做些什么呢,只能希望会越来越好,也许现在就是最适合的。

还有武汉加油,今天真的感受到了他们的恐惧感,希望不要传播谣言,多多鼓励他们,为他们加油。

在国内,想要看看什么Youtube,用Google查查资料是不可能的。如果你还在用百度,建议你在hosts添加127.0.0.1 baidu.com,然后搭建自己的代理服务器,使用Google来高效搜索。所以我来说一下如何科学上网。

科学上网就需要有自己的代理服务器,不管是买的也好,还是自己自己搭建的也好,需要一个代理服务器(媒介)帮你跨越防火墙,那么我们聊一下有哪些方式。

有哪些方法?

提前说一下,我不推荐购买私人贩卖的代理,因为有蜜罐和跑路的风险。所以最好是自己搭建。

VPN和购买VPN

VPN我指的是像OpenVPN这样的服务,或者使用更简单的PPTP来实现的VPN。不推荐使用和购买,因为防火墙可以精准查封。

ShadowSocks和v2ray

都是很注明的反向代理软件,这两种协议有很多种实现版本,但是因为防火墙已精准检测这两种协议,也不推荐使用。

Ngnix反向代理

这种问题不大,时间久了也有风险。但是功能较单一,每个域名代理一个,还需要加HTTPS,操作复杂,不推荐。

JSProxy

我曾经看了jsproxy的实现,是利用Service Worker来实现的。感兴趣的可以访问附录1。这种形式体验很好,可以将前端部署在serverless computing上,如cloudflare 的workers,非常简单。当然也有缺点,只能帮助你来浏览网站。如果你是软件开发人员,需要代理像golang这样镜像站很少的语言时,就不可以了(此处只为黑golang)。

重点来了,我推荐的

使用shadowsock或者v2ray加混淆软件,如simple-obfs、v2ray-plugin。这样能达到隐匿的作用,而且速度也很快。我目前使用的这种方式,我没有介绍SSR软件,是因为我感觉那并没有必要。

该如何做

搭建需要一台服务器,建议使用Google Cloud的台湾或者香港节点,速度很快。根据线路的不同有一些不同。

申请Google Cloud需要一张国际信用卡(VISA等),注册过程网上有很多。注册成功后创建一个最小的服务器。创建完成之后登录服务器直接执行下面命令。

1
sudo wget https://raw.githubusercontent.com/Unbinilium/Twist/master/twist -O twist.sh && chmod -x twist.sh && bash twist.sh

成功后会自动重启,直接使用ShadowSocks扫描二维码即可。

这个是一键安装脚本,脚本会自动安装代理软件和混淆并且优化服务器,保证你的服务器的443端口可以访问。如果需要看源码,请访问Twist的Github https://github.com/Unbinilium/Twist

建议使用路由器翻墙

如果你为路由器翻墙,你连接路由器的设备就都已经翻墙了,包括你的terminal。这种翻墙方式体验最好。路由器我推荐使用话说的,因为话说路由器可以直接上传安装梅林系统(梅林是基于华硕路由器系统魔改,也许是因为国内法律原因才有了梅林)。

我自己买的华硕AC68U,如果需要可以访问梅林社区(KoolShare),下载梅林固件访问梅林firmware。当然也可以使用别的路由器,可能会比较麻烦,不过想省事千万不要买小米。

如果你使用Twist,ShadowSocks软件要使用4.2.0以下,最新版本已经用了v2ray-plugin,Twist依然再用simple-obfs。问题不大,不需要更新。

后续

我感觉我博客离封不远了,请自己享受,不要分享。

附录

  1. 基于 JS Hook 技术,打造最先进的在线代理

通过pyenv是安装python的最好的方法,从而避免很多环境上的坑。但是由于国内网络环境原因,pyenv在python.org下载很慢,所以就需要对pyenv设置代理,以加快下载速度。之前有写过一篇文章来介绍pyenv的python build。那么我们来说一下还有什么办法来加速pyenv。

使用http_proxy加速

pyenv下载python安装包使用的是http协议,那么我们可以使用http proxy来加速,直接设置shell的http_proxy环境变量即可。或者安装shadowsocksX-NG桌面端软件(该软件只适用于MacOS,其他平台在组织的其他项目中)并打开全局代理。

该方法需要你有一个代理服务器,门槛比较高。如果有你有代理服务器,我更推荐将代理部署在路由器中,来获得最好的体验。这些是后话,今后我会花时间来写一下。

搭建代理服务器访问如何科学上网

使用PYTHON_BUILD_MIRROR_URL加速

这是pyenv支持的环境变量,由于部署在七牛的mirror不在维护,目前只能使用github pages上部署的一个mirror了,不过github也比较慢,所以并没有什么效果。

有条件的可以使用国内的CDN或者服务器部署自己的mirror,项目在yyuu.github.com,需要自己跑脚本更新python的版本。

这种方法成本较高,并且国内没人维护。

手动下载加速

国内有python镜像站,像是淘宝源,手动下载相应版本并移动到~/.pyenv/cache/下,如果没有该文件,请手动创建。

然后使用pyenv进行安装即可,是不是很方便。那么可以自动化吗?

最完美加速

因为之前看过python build,了解过机制后写了一个代理,项目地址:pyenv-proxy

利用这个,就可以直接在淘宝源下载python了,不过pypy和miniconda等目前还不支持。为了大家方便,我在自己的腾讯云搭建了一个代理服务器,可以直接配置使用,接下来我会用WebAssembly部署到cloudflare的workers上。

配置如下:

1
export PYTHON_BUILD_MIRROR_URL="http://140.143.140.234"

不过有个小缺憾,目前我只拿出了tar.gz的包哈希,tar.xz的还没支持,所以需要修改源码了,使用vim ~/.pyenv/plugins/python-build/bin/python-build打开文件,定位到has_tar_xz_support方法。将返回值置位false就可以使用了。在后续的优化中,我会解决这个问题。

更新

请看最新的加速方案在Cloudflare Workers上部署Pyenv-proxy