一道面试题:随机洗牌法和蓄水池算法
面试时,遇到这么一个问题,觉得比较有意思,可惜我答得不好,特记录下。
……inner peace
面试时,遇到这么一个问题,觉得比较有意思,可惜我答得不好,特记录下。
……在用python抓取网页时,一般情况下,用urllib2,requests等库差不多够用,但是有的页面里的某些div里的元素,是由js动态渲染,或者某些div,是在window页面滑到该区域才开始加载的。对于这种网页,你直接抓取然后审查页面信息,会看到div为空,或者div的内容为”加载中…”。 那么怎么抓取这类动态页面呢,在window下,可以使用selenium,但在Linux平台,就需要用PhantomJS配合selenium来完成了。
……最近项目上遇到一个这样的场景: 在A服务器上,我有一个监控脚本monitor.py,可以用来监控远程服务器的资源消耗情况,比如CPU,内存,IO等信息。
……python作为爬虫利器,抓网页的方式简洁明了。爬成百上千的网页,都可以很快爬完,但是如果网页数量上万呢?速度就不能忍受了。
……