文章詳情頁
python - 基于scrapy-redis的分布式爬蟲運行的時候不能正常運行 遇到的問題如下截圖所示
瀏覽：95日期：2022-08-03 11:20:00
問題描述
爬蟲運行時一直是這樣的每一分鐘出現(xiàn)一條這樣的信息，無限循環(huán)。不能爬取下來數(shù)據(jù)
這是redis服務(wù)端的顯示
這樣是什么問題，望有高手可以為我解惑，謝謝。
問題解答
回答1：使用scrapy_redis，你要去投放url讓spider去爬取，你投放了嗎？比如
redis-cli lpush myspider:start_urls http://google.com
上一條：python3.x - python中的虛擬環(huán)境怎樣設(shè)置一直處于激活狀態(tài)下一條：python - scrapy-redis爬蟲運行是連接redis數(shù)據(jù)庫連接錯誤
相關(guān)文章：
1. 為什么我ping不通我的docker容器呢？？？2. webpack - vuejs+java前后臺分離實現(xiàn)及部署問題3. mysql - 這條聯(lián)合sql語句哪里錯了4. mysql改密碼失敗了，舊密碼新密碼都不能登錄了...5. 網(wǎng)站在移動的環(huán)境下手機，pc打不開6. php - TP5的登錄驗證問題7. mysql - 我的myeclipse一直連顯示數(shù)據(jù)庫連接失敗，不知道為什么8. javascript - 微信h5發(fā)送圖文信息，部分設(shè)備點擊“發(fā)送”按鈕時沒反應(yīng)，問題較難重現(xiàn)，如何能找到可能存在問題的點？9. 在html文件的目錄下輸入代碼按回車后顯示這個，哪位大佬幫幫我 呀10. linux pdo 安裝配置中 make 遇到問題，請大家指教！
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備