網(wǎng)頁爬蟲 - Python爬蟲入門知識(shí)
問題描述
本人快大二了,自習(xí)了Python,語法基本會(huì)。想學(xué)下爬蟲,但是感覺這涉及到好多知識(shí)啊,有沒有過來人總結(jié)下都有什么知識(shí),或者Python爬蟲該怎么學(xué)?
問題解答
回答1:爬蟲學(xué)習(xí)要從需求學(xué)習(xí),你看網(wǎng)上那么多初級爬蟲都是爬些什么段子,美女圖什么的,三天就能搞定這些簡單的爬蟲。
但是深入的話就是很難的,涉及到的方面也很多。
入門不是什么難事,可以看下這個(gè)--如何學(xué)習(xí)Python爬蟲[入門篇] https://zhuanlan.zhihu.com/p/...
回答2:原理上就是http請求,再多一點(diǎn)就是session和cookie,再多就是驗(yàn)證碼識(shí)別。工具上就是請求工具可以用urllib2,更好是request庫,請求過來需要解析,那就是beautifulsoup。
Python 基礎(chǔ)教程 | 菜鳥教程 http://www.runoob.com/python/...
Beautiful Soup 4.2.0 文檔 — Beautiful Soup 4.2.0 documentation https://www.crummy.com/softwa...
爬蟲性能:NodeJs VS Python - QueenKing - SegmentFault /a/11...
用KNN來進(jìn)行驗(yàn)證碼識(shí)別 - QueenKing - SegmentFault /a/11...
回答3:可以參考 Python-Scrapy 爬蟲框架,這有中文手冊。
相關(guān)文章:
1. mysql - 這條聯(lián)合sql語句哪里錯(cuò)了2. webpack - vuejs+java前后臺(tái)分離實(shí)現(xiàn)及部署問題3. docker容器呢SSH為什么連不通呢?4. docker start -a dockername 老是卡住,什么情況?5. python - 有什么好的可以收集貨幣基金的資源?6. docker鏡像push報(bào)錯(cuò)7. docker安裝后出現(xiàn)Cannot connect to the Docker daemon.8. docker網(wǎng)絡(luò)端口映射,沒有方便點(diǎn)的操作方法么?9. css3 - jquery div 翻轉(zhuǎn)?10. Docker for Mac 創(chuàng)建的dnsmasq容器連不上/不工作的問題
