国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術(shù)文章
文章詳情頁

Python Scrapy圖片爬取原理及代碼實(shí)例

瀏覽:120日期:2022-07-21 14:47:08

1.在爬蟲文件中只需要解析提取出圖片地址,然后將地址提交給管道

在管道文件對(duì)圖片進(jìn)行下載和持久化存儲(chǔ)

class ImgSpider(scrapy.Spider): name = ’img’ # allowed_domains = [’www.xxx.com’] start_urls = [’http://www.521609.com/daxuemeinv/’] url = ’http://www.521609.com/daxuemeinv/list8%d.html’ pageNum = 1 def parse(self, response): li_list = response.xpath(’//*[@id='content']/div[2]/div[2]/ul/li’) for li in li_list: img_src = ’http://www.521609.com’+li.xpath(’./a[1]/img/@src’).extract_first() item = ImgproItem() item[’src’] = img_src yield item

2.配置文件修改

配置文件要增加IMAGES_STORE = ’./imgsLib’表明圖片存放的路徑

3.管道類的修改

原本管道類繼承的object,處理item對(duì)象使用時(shí)process_item方法,該方法不能發(fā)送請(qǐng)求,要想對(duì)圖片地址發(fā)送請(qǐng)求,需要繼承ImagesPipeline類,然后重寫該類中的三個(gè)方法:get_media_requests,file_path,item_completed

from scrapy.pipelines.images import ImagesPipelineimport scrapyclass ImgproPipeline(ImagesPipeline): #對(duì)某一個(gè)媒體資源進(jìn)行請(qǐng)求發(fā)送 #item就是接收到的spider提交過來的item def get_media_requests(self, item, info): yield scrapy.Request(item[’src’]) #制定媒體數(shù)據(jù)存儲(chǔ)的名稱 def file_path(self, request, response=None, info=None): name = request.url.split(’/’)[-1] print(’正在下載:’,name) return name #將item傳遞給下一個(gè)即將給執(zhí)行的管道類 def item_completed(self, results, item, info): return item

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 在线播放免费播放av片 | 亚洲国产一区二区三区在线观看 | 日韩一级一欧美一级国产 | 亚洲视频 在线观看 | 免费人成年短视频在线观看免费网站 | 成人午夜在线播放 | 女人18毛片a级毛片 女人aaaaa片一级一毛片 | 暖暖免费高清日本一区二区三区 | 久草在线影 | freese×video性欧美丝袜 | 日产毛片| 欧美成人全部费免网站 | 毛片搜索 | 国产成人亚洲欧美三区综合 | 亚洲韩国日本欧美一区二区三区 | 亚洲美女aⅴ久久久91 | 国产一区二区三区久久精品小说 | 新版天堂资源中文8在线 | 波多野结衣视频在线观看地址免费 | 欧美成人观看免费版 | 男吃女下面刺激视频免费 | 91精品国产高清久久久久久91 | 久久两性视频 | 亚洲精品一区二区三区四区 | 欧美日韩一区二区三区在线观看 | 欧美xxxx4khd超高清 | 亚洲日本va午夜中文字幕一区 | 午夜免费理论片a级 | 国产精品国内免费一区二区三区 | 美国人成毛片在线播放 | 国产精品日本一区二区在线播放 | 亚洲精品一级片 | 亚洲精品综合一二三区在线 | 在线观看亚洲专区 | 99九九精品国产高清自在线 | 免费观看性欧美一级 | 婷婷久久久五月综合色 | 欧美三级在线看 | 亚洲一区免费在线观看 | 高清不卡毛片免费观看 | 国内自拍视频在线播放 |