Posts

chrome的调试工具中，可以记录请求相应数据，但是如果存在页面刷新、跳转就看不到之前的流量了，所以对于表单提交就比较麻烦，找了好久，今天发现原来firebug、chrome的调试工具都支持这种情况的处理。 chrome是再network那个tab下，最下面状态栏处，有一个原点“Preserve Log upop navigation”, 需要记录跳转的情况时，点下这个按钮即可。 ...

在hacker news上看到个项目：http://www.peterbe.com/plog/introducing-hugepic.io 是用来做大图片展示的，上传图片，压缩、切分，前端用地图的形式展示，里面用到的几个开源组件不错，可以了解下： tornado motor 一个给tronado用的mongodb驱动 rq 一个简单的基于redis的job queue Jpegoptim jpg压缩，不晓得和imagemagic对比怎么样 leafletjs 一个前端的map库 Leaflet.draw 可以在地图上画图的库 https://github.com/jacobtoye/Leaflet.draw

varnish中配置purge如下： acl purge { "localhost"; "192.168.55.0"/24; } sub vcl_recv { # allow PURGE from localhost and 192.168.55... if (req.request == "PURGE") { if (!client.ip ~ purge) { error 405 "Not allowed."; } return (lookup); } } sub vcl_hit { if (req.request == "PURGE") { purge; error 200 "Purged."; } } sub vcl_miss { if (req.request == "PURGE") { purge; error 200 "Purged."; } } 如果要purge: http://img.notsobad.me/xxx/abc.jpg， 在服务器上执行： curl -X PURGE http://img.notsobad.me/xxx/abc.jpg 这样写一直报405 not allowed, 想了下，也许是访问img.notsobad.me时，走的时外网网卡，varnish识别处的ip是外网ip，根据上面的配置应该走loopback才对，so： ...

phantomjs的文档还比较简单，最近使用发现的一些问题： 无法设定载入网页的超时 解决：单独写程序来监控这些phantomjs进程，超时kill 基于这个https://github.com/lgxz/lprm 修改而来。 无法跟踪某些网页跳转 如这种html的meta跳转，phantomjs无法跟踪 ...

wget没办法直接限制下载文件大小，而curl有这个功能，所以可以用curl来做文件下载 –max-filesize 9999 文件要小于9999 bytes， 文件大于此致会返回63错误，而不下载文件 wangxh@mac : ~$ curl 'http://www.baidu.com/img/10.23_112a036972a74bbcb84b8957316c8aa3.gif' --max-filesize 9999 -O -v * About to connect() to www.baidu.com port 80 (#0) * Trying 119.75.218.70... % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0* connected * Connected to www.baidu.com (119.75.218.70) port 80 (#0) > GET /img/10.23_112a036972a74bbcb84b8957316c8aa3.gif HTTP/1.1 > User-Agent: curl/7.24.0 (x86_64-apple-darwin12.0) libcurl/7.24.0 OpenSSL/0.9.8r zlib/1.2.5 > Host: www.baidu.com > Accept: */* > < HTTP/1.1 200 OK < Date: Tue, 23 Oct 2012 14:45:03 GMT < Server: Apache < P3P: CP=" OTI DSP COR IVA OUR IND COM " < Set-Cookie: BAIDUID=E8A14636EF42D5B73AB96A6B8E7F2D99:FG=1; expires=Wed, 23-Oct-13 14:45:03 GMT; max-age=31536000; path=/; domain=.baidu.com; version=1 < Last-Modified: Fri, 19 Oct 2012 08:31:06 GMT < ETag: "3333-4cc65532c0680" < Accept-Ranges: bytes * Maximum file size exceeded 0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0 * Closing connection #0 curl: (63) Maximum file size exceeded 文件大于这个限制即可成功 ...

假如要管理10台以上的同样配置的服务器，我想给所有机器装同一个软件，或者更改同一个配置，该怎么办？连上去一台一台管理明显不现实，我以前时自己写个简单脚本，前提自己先配好公钥认证。 nodes-exec.sh cmd=$@ for i in `cat ./my-nodes.txt`;do echo $i; ssh $i "$cmd" ;done 运行: ./nodes-exec id -u, 即在所有服务器上执行了id -u这个命令,节点少或者执行的命令简单还没什么，如果30个节点，每个节点上执行一个运行超过5分钟的命令，you do the math….. ...

最近遇到个gearman的问题，client一次下2000个任务，然后sleep 10s, 然后再次下2000个任务，如此循环，不关心任务是否完成。 用gearman –status看时，会发现，总任务数会突然有个突然下降，下降的数目超过worker这段时间可以处理的数目，查了好久都没搞明白什么原因。 ...

gearman取任务状态出现keyerror错误，类似这个https://github.com/Yelp/python-gearman/issues/13 ，在评论里有人提供了解决方案，测试可以解决问题. 执行下面这个one liner即可： sudo wget https://raw.github.com/eminence/python-gearman/master/gearman/client_handler.py -O $(dirname $(python -c 'print __import__("gearman").__file__')) gearman坑比较多，python-gearman已经两年没更新了，bug也没人管。 ...

昨天搭了个mongodb用来写数据，单条100K左右，运行一晚，写入65万条左右，今天就开始各种崩溃了。 查了下，发现居然是分配了1核cpu、1G内存，马上调整为4核/16G, 以为解决问题，没想到还是跑了一会就崩溃。 无奈写了个脚本放入crontab中，每分钟运行一次，尝试连接mongodb，失败就重启。 ...

最近在用hbase做图片存储，大约3000万张图片，每张60k以内。 在hbase shell里 count 'images' 这个速度会非常非常慢。 查了下，有个map reduce的rowcounter，尝试了半天，要用有hdfs写权限的用户执行，如我的系统上要用hdfs这个用户。 sudo crontab -u hdfs -e 10 * * * * (date;hbase org.apache.hadoop.hbase.mapreduce.Driver rowcounter screen_shots) >>/tmp/count_rows.txt 2>&1 上面在crontab里增加了个每小时执行一次rowcounter,将结果追加到/tmp/count_rows.txt ...