幻舞梦境

优秀Python开发者

Flask和Requests的作者
Celery作者Ask Solem
Django
kombu

爬虫
刚开始写爬虫用的是urllib2，后来知道了requests，惊为天人。刚开始解析网页用的是re，后来知道了BeautifulSoup，解析页面不能再轻松。再后来看别人的爬虫，知道了scrapy，被这个框架惊艳到了。之后遇到了一些有验证码的网站，于是知道了PIL。但后来知道了opencv，pybrain。当在爬虫中用上人工神经网络识别出验证码，兴奋得守在爬虫旁边看他爬完全站。再后来知道了threading，知道了celery。不断的学习，不断的接触和知道更多的东西，爬虫与反爬虫的对抗会一直进行下去。

作者：bsdr
链接：https://www.zhihu.com/question/38192299/answer/75884957
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

requests
BeautifulSoup
opencv
pybrain
threading
celery

scrapy
selenium
phantomjs

python学习手册 第四版

python核心编程 第二版

开始不用学，进阶学习
ORM
ElasticSearch

不用存储，爬去数据发送邮件

抓去顺序

开放的API
手机APP的API
Android的API实现抓取知乎的数据
HTML

抓包工具
Charles

lxml
xpath

前端知识

运维->运维开发->Web开发->数据分析->需要数据写爬虫

赏

×

纯属好玩

扫码打赏，你说多少就多少

打开支付宝扫一扫，即可进行扫码打赏哦