linux命令之--grep

grep命令是linux环境下使用频繁、功能强大的查找命令,基本每天的工作都会用到它,这里对grep命令做个总结,作为备忘

阅读全文

让你的 git 命令简化起来

对于写代码的搬砖工来说,版本控制软件是日常工作中必不可少的工具。git 由于其强大的分布式管理、以及快速在版本间穿梭的功能,大有取代 svn 的趋势。对于使用 svn 的老一辈码农来说,那么怎么快速从 svn 切换到 git 呢?

阅读全文

求两个文件的交集,并集,差集

在 Linux下,有两个文件,分别记录了很多 ip 地址,怎么求得在两个文件中都出现的 ip?以及所有的不重复的 ip?

阅读全文

用PhantomJS抓取js渲染的网页

在用python抓取网页时,一般情况下,用urllib2,requests等库差不多够用,但是有的页面里的某些div里的元素,是由js动态渲染,或者某些div,是在window页面滑到该区域才开始加载的。对于这种网页,你直接抓取然后审查页面信息,会看到div为空,或者div的内容为”加载中…”。
那么怎么抓取这类动态页面呢,在window下,可以使用selenium,但在Linux平台,就需要用PhantomJS配合selenium来完成了。

阅读全文

由 daemon 账户到 ssh 免密登录的一点思考

最近项目上遇到一个这样的场景:
在A服务器上,我有一个监控脚本monitor.py,可以用来监控远程服务器的资源消耗情况,比如CPU,内存,IO等信息。

阅读全文

用正则方式批量删除 redis 里的 key

redis 里面有一批没用的 key,这些 key 以 test_开头,要求删掉这些key,在命令行中没法删除,可以写个脚本,一个一个删,也可以用下面 xargs 命令的方式

阅读全文

MYSQL 中的 JOIN

在我们写 SQL 语句时,会用到多表联合查询,这时就需要用到 JOIN 关键字了,本文用图来看下 MYSQL 中几种 JOIN 的区别。

阅读全文

关于redis使用总结

最近的项目一直在使用 redis,在参考前人文章的基础上,本文也对 redis 的使用做一个简单的归纳总结。

阅读全文

python 用 gevent 协程抓取海量网页

python作为爬虫利器,抓网页的方式简洁明了。爬成百上千的网页,都可以很快爬完,但是如果网页数量上万呢?速度就不能忍受了。

阅读全文