国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術(shù)文章
文章詳情頁

Python Scrapy圖片爬取原理及代碼實(shí)例

瀏覽:120日期:2022-07-21 14:47:08

1.在爬蟲文件中只需要解析提取出圖片地址,然后將地址提交給管道

在管道文件對(duì)圖片進(jìn)行下載和持久化存儲(chǔ)

class ImgSpider(scrapy.Spider): name = ’img’ # allowed_domains = [’www.xxx.com’] start_urls = [’http://www.521609.com/daxuemeinv/’] url = ’http://www.521609.com/daxuemeinv/list8%d.html’ pageNum = 1 def parse(self, response): li_list = response.xpath(’//*[@id='content']/div[2]/div[2]/ul/li’) for li in li_list: img_src = ’http://www.521609.com’+li.xpath(’./a[1]/img/@src’).extract_first() item = ImgproItem() item[’src’] = img_src yield item

2.配置文件修改

配置文件要增加IMAGES_STORE = ’./imgsLib’表明圖片存放的路徑

3.管道類的修改

原本管道類繼承的object,處理item對(duì)象使用時(shí)process_item方法,該方法不能發(fā)送請(qǐng)求,要想對(duì)圖片地址發(fā)送請(qǐng)求,需要繼承ImagesPipeline類,然后重寫該類中的三個(gè)方法:get_media_requests,file_path,item_completed

from scrapy.pipelines.images import ImagesPipelineimport scrapyclass ImgproPipeline(ImagesPipeline): #對(duì)某一個(gè)媒體資源進(jìn)行請(qǐng)求發(fā)送 #item就是接收到的spider提交過來的item def get_media_requests(self, item, info): yield scrapy.Request(item[’src’]) #制定媒體數(shù)據(jù)存儲(chǔ)的名稱 def file_path(self, request, response=None, info=None): name = request.url.split(’/’)[-1] print(’正在下載:’,name) return name #將item傳遞給下一個(gè)即將給執(zhí)行的管道類 def item_completed(self, results, item, info): return item

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 亚洲精品区在线播放一区二区 | 免费国产a国产片高清 | 日韩欧美一区二区在线 | 欧美视频不卡 | 欧美一区亚洲二区 | 中文在线日韩 | 欧美在线视 | 色午夜在线 | 精品400部自拍视频在线播放 | 久久99热成人精品国产 | 国产成人精品男人的天堂538 | 日韩毛片欧美一级a | 欧美高清在线视频一区二区 | 午夜亚洲国产成人不卡在线 | 欧美成人看片一区二区三区尤物 | 欧美一级毛片日本 | 欧美在线观看一区二区三区 | 特级毛片全部免费播放a一级 | 男女免费爽爽爽在线视频 | 日韩高清在线不卡 | 欧美高清色视频在线播放 | 欧美成人综合在线观看视频 | 无国产精品白浆是免费 | 亚洲高清免费在线观看 | 国内国外精品一区二区 | 欧美大胆一级视频 | 在线观看精品国产 | 男人添女人下面免费毛片 | 高清性色生活片欧美在线 | 国产一级黄色网 | 怡红院在线a男人的天堂 | 中文字幕一二三区乱码老 | 成 人免费视频l免费观看 | 久久亚洲精品中文字幕 | 99精品福利| 一本久 | 欧美一级欧美三级在线观看 | 亚洲精品国产福利片 | 国产成人一区二区三中文 | 日本特黄a级高清免费酷网 日本特黄特色 | 在线毛片一区二区不卡视频 |