goagent 在 MAC 下 sslwrap 错误修复

goagent 升级到3.2.3后，总提示报错 'module' has no attribute 'sslwrap'。Google 后发现，OS X 10.10 把 Python 升级到了2.7.9，而该版本中移除了 sslwrap 方法，所以报错。因此该问题并非仅针对 Mac，只不过 Win 下 Python 升级不频繁，很少出现该问题。

解决方法为修改 /Library/Python/2.7/site-packages/gevent/ssl.py 文件，添加如下代码：

问题解决。还遇到过的其他问题：

  1. 执行sudo launchctl load /Library/LaunchDaemons/org.goagent.macos.plist没有效果，原因往往在于该配置文件内容有误。比如 Python 执行程序路径写错，修改后重新执行上述命令即可。

  2. 上述配置文件中python路径为/usr/bin/python，是系统自带python所在路径。而自己通过brew安装的python往往链接到/usr/local/b

…
阅读全文 »

豆瓣读书迁移工具 shaDou

shadou

一直想换个豆瓣帐号，毕竟玩这种网站，里面有熟人总是不方便…但读书、电影和音乐收藏信息的迁移比较麻烦。上百部图书电影，要是挨个点，既看着傻叉，又深感有辱程序员的荣耀。所以花半天写了这么个小玩意儿。

shaDou 取自 shadow 和 douban 的合体，研究一下午豆瓣 API 和 Python 客户端，发现文档各种不全，还要手动测试返回数据格式。加之电影和读书信息的 API 格式不同，暂时没有编写一个统一的客户端，只实现了读书信息迁移。

源码放在 GitHub：https://github.com/bt404/shaDou

有空了继续改进。

注：转载注明出处并联系作者，本文链接：https://nodefe.com/douban-migration/

…
阅读全文 »

删除子字符串

这是之前校招遇到的一道笔试题，整理下思路和代码。

问题：给定源字符串 pSrc 和待删除的字符串 pDel，要求将 pSrc 中所有出现的 pDel 删除。

因为是让现场给代码，第一次给出每次用 KMP 查找到 pDel 后删除，后面的字符串向后移动。这样会造成重复移动的情况。

思路

查找当前 pDel 出现的位置 pFirst，用一个计数器记录当前是第几次找到 pDel（假设为 n），结合 pDel 的长度 len，然后查找下一个 pDel 所在的位置 pSecond。如此 pFirst 和 pSecond 之间的字符串只需直接向后移动 n * len 距离，一次移动即可。

假设当前 pFirst 指向第6个字符，n 为2，pSecond 指向第11个字符，len 为2，那么只需将第 6+2=8 到第 11-1=10 个字符向后移动 2*2=4 个位置即可，如下图所示：

删除子字符串

如图所示，第一次执行 KMP 返回1，然后查找下一次出现的位置，再次执行 KMP 返回6，所以第 1+2=3 ~ 6-1=5 个字符（即图中①部分）向后移动 12=2 个位置；再次执行 KMP

…
阅读全文 »

MySQL GROUP BY 两个或多个条件

主要是帮同学解决的一个问题，用到 SQL 中的 GROUP BY。

问题：一个表（AttackIP）有两个字段，端口号（Port）和访问时间（Atime），求出同一分钟内每个 IP 出现的次数。

解决思路

考虑到逻辑的清晰，先创建一个视图 AttackLog。视图将每条记录中的时间字段转换为时间戳，并且修改为该时间所属分钟的初始时刻（Atime）。如此，问题转换为查找相同 Atime 分组内具有相同 Port 字段的记录数量。

SQL 语句如下：

测试数据

AttackIP 表

Port
Atime

22
2013-03-03 03:05:06

22
2013-03-03 03:05:50

22
2013-03-03 03:05:45

42
2013-03-03 03:05:45

42
2013-03-03 03:04:45

22
2013-03-03 03:06:45

42
2013-03-03

…
阅读全文 »

MooseFS 安装与配置

论文需要实现一个分布式推荐系统。并行计算框架选择 Dpark，其对 MooseFS 做了优化，因此使用实验室的机器和自己的 VPS，基于 MooseFS 搭建了一个分布式存储系统。主要内容都可以在官网找到相关文档，这里不过是把一些地方加以翻译和简单梳理，部分地方加了少许自己的理解。

MooseFS 架构

MooseFS 主要分为4种服务器，分别提供不同的服务。对应的关系如下：

  1. Managing server (master server)：是一个单独的服务器，用来管理整个文件系统。它存储了文件系统中每个文件的元数据（包括文件的大小，属性以及文件存储的位置等）。
  2. Data servers (chunk server)：由若干台机器组成的数据服务器，用来实际存储文件的数据。它们之间还可以互相同步数据（这是因为每个文件在文件系统中可能拥有多个 copy，copy 的数量可以自行配置，见下文）。
  3. Metadata backup server(s) (metalogger server)：由一台及以上机器组成，用来存储元数据的 changelogs，并且周期性地从 Managing se

…
阅读全文 »

pymalloc — 从源码看 Python 对象分配器实现

Python 中一切皆对象，那么 Python 解释器（CPython）是如何管理这些内存中的对象呢？为了找到答案，自己下载了 Python 源码，参照源码注释学习了 pymalloc — Python object allocator 的实现。现在这里做个总结。

pymalloc 的实现位于 Python 源码主目录下的 Objects 目录中，文件名为 obmalloc.c。

背景

既然 CPython 的底层用 C 语言实现，那为何不直接使用标准库中的malloc/realloc/free等函数进行内存管理呢？这是因为，当 Python 应用频繁地创建和销毁一些小的对象，那么底层就要多次重复调用 malloc 和 free 等函数进行内存分配。这不仅会引入较大的系统开销，而且还可能产生大量的内存碎片。为了解决这个问题，Python 实现了一个类似内存池的机制—pymalloc 来满足较小对象（默认512KB以下）的内存请求。

Python 内存管理架构

简单地说，allocator 预先向系统申请一定数量的内存空间并格式化，每当有满足条件的内存请求时，allocato

…
阅读全文 »

使用 JavaScript 闭包实现 Google Maps 平滑缩放

注意：因本页面引用了 Google Maps 服务，建议翻 qiang 浏览，否则可能造成演示部分无法正常显示。

看书看得头晕，写篇博文放松下。刚才跑到 Google Maps 的 reference 看了下，发现好多 API 已经升级。想起去年自己实现的一个平滑缩放功能，现在做个总结记录一下。

问题描述

之前做项目要用到 Google Maps 的缩放功能，map 通过使用setZoom(level)方法来设置 map 的 zoom 值。level 通常为0至18之间的一个整数值。如果当前的 zoom 值和setZoom(level)中的 level 值相差不超过2时，地图会有一个渐变的缩放过程。当差值超过2时，地图会直接刷新到新的缩放程度，而没有渐变的动画过程。

解决方案

鉴于上面的特点，考虑当差值超过2时，分多次调用setZoom(level)方法，每次使得 level 的值增加2（当最后一次缩放程度为1时除外）。考虑到 JavaScript 是单进程的，所以使用闭包来实现这个功能，使用外部变量来存储每次缩放前后的 zoom 值。函数代码如下：

[crayon-662…
阅读全文 »

318 骑记 （成都 — 拉萨）

这几天计划给自己放个假休息一下，正巧骑行川藏的游记一直没有写，今天借机补上。

队友召集

其实本科毕业前就和乐哥约好了骑318，由于意外搁浅。去年和乐哥聊天时，无意又扯到这件事。乐哥说明年就订婚，可供逍遥快活的日子委实不多。听罢便感觉帮助乐哥实现这个梦想义不容辞。于是鼓动乐哥别 TM 憧憬，直接去。嫂子也是通情达理之人，经过乐哥几番苦心沟通，最终同意放行。路上得知乐哥签订了一系列不平等条约，包揽了婚后洗衣做饭买菜等事项。

搞定了乐哥，然后就是老唐。老唐是我的老驴友，一块去过青海，肃北还有湖南和贵州，有这好事自然也不能忘了老伙计。但时值老唐刚考进了市医院，请假是个问题。最后经过几个月主动加班（是否有其他牺牲不得而知）。凭借出色表现，老唐终于获得了两位科长首肯和放行，还送他了几条魔术头巾…

其实还想喊 kk，但丫跑德国读书去了，很遗憾。下次肯定还有机会，只要你赶在我订婚之前回来。最后在网上结识了在汤圆店里帮忙的小乐子，约好同行，一直到了成都才初次相见。事后证明，这是一笔超值签约。一路上补胎，调刹等脏活累活都他包了。牲口式体力，创下觉巴山操山记录，给了身为队长的我很大压力。

怕人

…
阅读全文 »

AngularJS 使用 ng-cloak 防止未渲染模板内容输出

问题描述

今天使用 AngularJS 时遇到这样的问题：模板中绑定的数据需要在加载页面时，调用$http服务向服务器索取，然后绑定 model 来刷新 view。但是页面（也即 HTML DOM）是先于 AngularJS 的模板渲染而加载完成的，这就造成一个问题，未完成数据绑定的模板表达式（比如{{}}中的内容）被原样打印出来。当然这只是临时性的展示，当 Ajax 请求结束并完成数据绑定后，页面会自动刷新，表达式也被正确的数据替换。但是这个临时性的页面还是很不给力（当然可以使用ng-bind代替{{}}表达式，但是遇到ng-repeat的 li 时，列表会显示一个 li，依然很丑陋），所以开始找解决方案。

解决方案

通过 Google，发现大家提供的解决方案主要有两种：一是使用ng-show/ng-hide来解决，二是使用ng-cloak来解决。查阅文档后，感觉这两种方法的解决思路是一样的，仅介绍第二种方法，也是官方文档给出的解决方法。

官方对ng-cloak标签的定义如下：

The ngCloak directive is used to prevent the

…
阅读全文 »

MongoDB 批量删除子文档（列表类型）下的匹配对象

今天遇到在 MongoDB 中，要批量删除子文档（列表类型）中的匹配对象。

首先想到用$pullAll来实现，结果失败。查找文档得知，$pullAll要求待删除的对象完全匹配。而$pull也可以在一次执行过程中删除多个匹配的子文档，所以改用$pull后实现。现在将示例数据和操作代码整理如下，文档为：

鉴于“凤姐”和“芙蓉姐姐”都去美国发展，所以抹去此二人，使用一条语句完成该删除操作，代码如下：

到此功能完成。又遇到另一问题，旧的已去，新的要来。比如现在要加入作家“小四”和舞蹈演员“迭戈·科斯塔”，可以使用

$addToSet向 members 添加。但是却不能写入上面的操作语句。文档中提到，不能在同一语句中对一个 field 执行两种不同的增/删/改操作。所以需要分两次执行 update。

注：转载注明出处并联系作者，本文链接：https://nodefe.com/mongodb-delete-subdocs/

…
阅读全文 »