Python Scrapy圖片爬取原理及代碼實(shí)例
1.在爬蟲文件中只需要解析提取出圖片地址,然后將地址提交給管道
在管道文件對(duì)圖片進(jìn)行下載和持久化存儲(chǔ)
class ImgSpider(scrapy.Spider): name = ’img’ # allowed_domains = [’www.xxx.com’] start_urls = [’http://www.521609.com/daxuemeinv/’] url = ’http://www.521609.com/daxuemeinv/list8%d.html’ pageNum = 1 def parse(self, response): li_list = response.xpath(’//*[@id='content']/div[2]/div[2]/ul/li’) for li in li_list: img_src = ’http://www.521609.com’+li.xpath(’./a[1]/img/@src’).extract_first() item = ImgproItem() item[’src’] = img_src yield item
2.配置文件修改
配置文件要增加IMAGES_STORE = ’./imgsLib’表明圖片存放的路徑
3.管道類的修改
原本管道類繼承的object,處理item對(duì)象使用時(shí)process_item方法,該方法不能發(fā)送請(qǐng)求,要想對(duì)圖片地址發(fā)送請(qǐng)求,需要繼承ImagesPipeline類,然后重寫該類中的三個(gè)方法:get_media_requests,file_path,item_completed
from scrapy.pipelines.images import ImagesPipelineimport scrapyclass ImgproPipeline(ImagesPipeline): #對(duì)某一個(gè)媒體資源進(jìn)行請(qǐng)求發(fā)送 #item就是接收到的spider提交過來的item def get_media_requests(self, item, info): yield scrapy.Request(item[’src’]) #制定媒體數(shù)據(jù)存儲(chǔ)的名稱 def file_path(self, request, response=None, info=None): name = request.url.split(’/’)[-1] print(’正在下載:’,name) return name #將item傳遞給下一個(gè)即將給執(zhí)行的管道類 def item_completed(self, results, item, info): return item
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. Java GZip 基于內(nèi)存實(shí)現(xiàn)壓縮和解壓的方法2. idea配置jdk的操作方法3. SpringBoot+TestNG單元測(cè)試的實(shí)現(xiàn)4. IntelliJ IDEA設(shè)置默認(rèn)瀏覽器的方法5. python 浮點(diǎn)數(shù)四舍五入需要注意的地方6. Springboot 全局日期格式化處理的實(shí)現(xiàn)7. VMware中如何安裝Ubuntu8. Docker容器如何更新打包并上傳到阿里云9. 完美解決vue 中多個(gè)echarts圖表自適應(yīng)的問題10. JAMon(Java Application Monitor)備忘記
