文章詳情頁
python - scrapy 處理 文章 分頁的內容
瀏覽：78日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關文章：
1. python - 有什么好的可以收集貨幣基金的資源?2. css3 - jquery div 翻轉？3. docker容器呢SSH為什么連不通呢？4. docker鏡像push報錯5. docker安裝后出現Cannot connect to the Docker daemon.6. docker start -a dockername 老是卡住，什么情況？7. docker網絡端口映射，沒有方便點的操作方法么？8. MySQL數據庫中文亂碼的原因9. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題10. golang - 用IDE看docker源碼時的小問題
排行榜
網公網安備