成人视屏在线观看-国产99精品-国产精品1区2区-欧美一级在线观看-国产一区二区日韩-色九九九

您的位置:首頁技術文章
文章詳情頁

Python Scrapy圖片爬取原理及代碼實例

瀏覽:127日期:2022-07-21 14:47:08

1.在爬蟲文件中只需要解析提取出圖片地址,然后將地址提交給管道

在管道文件對圖片進行下載和持久化存儲

class ImgSpider(scrapy.Spider): name = ’img’ # allowed_domains = [’www.xxx.com’] start_urls = [’http://www.521609.com/daxuemeinv/’] url = ’http://www.521609.com/daxuemeinv/list8%d.html’ pageNum = 1 def parse(self, response): li_list = response.xpath(’//*[@id='content']/div[2]/div[2]/ul/li’) for li in li_list: img_src = ’http://www.521609.com’+li.xpath(’./a[1]/img/@src’).extract_first() item = ImgproItem() item[’src’] = img_src yield item

2.配置文件修改

配置文件要增加IMAGES_STORE = ’./imgsLib’表明圖片存放的路徑

3.管道類的修改

原本管道類繼承的object,處理item對象使用時process_item方法,該方法不能發(fā)送請求,要想對圖片地址發(fā)送請求,需要繼承ImagesPipeline類,然后重寫該類中的三個方法:get_media_requests,file_path,item_completed

from scrapy.pipelines.images import ImagesPipelineimport scrapyclass ImgproPipeline(ImagesPipeline): #對某一個媒體資源進行請求發(fā)送 #item就是接收到的spider提交過來的item def get_media_requests(self, item, info): yield scrapy.Request(item[’src’]) #制定媒體數據存儲的名稱 def file_path(self, request, response=None, info=None): name = request.url.split(’/’)[-1] print(’正在下載:’,name) return name #將item傳遞給下一個即將給執(zhí)行的管道類 def item_completed(self, results, item, info): return item

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 99国内精品 | 成人在免费视频手机观看网站 | 国产丝袜不卡一区二区 | 欧美巨大另类极品videohd | 草草草在线观看 | 久久久精品久久 | 亚洲欧美视频在线观看 | 欧美三级不卡视频 | 久久久久无码国产精品一区 | 国产成人精品免费午夜 | 日韩一中文字幕 | 美女视频黄色在线观看 | 久久免费看视频 | 狠狠五月深爱婷婷网 | 国产精品久久免费视频 | 韩国激情啪啪 | 在线观看免费视频网站色 | 污到下面流水的视频 | 欧美一级成人一区二区三区 | 亚洲黄色三级视频 | 国产婷婷成人久久av免费高清 | 日韩精品特黄毛片免费看 | 在线视频区 | 国产一级毛片一区二区三区 | 国产亚洲高清不卡在线观看 | 国产一区二区三区免费大片天美 | 韩国一大片a毛片 | 国产欧美视频在线观看 | 久久综合成人网 | 国产一区二区影院 | 国产夫妇肉麻对白 | 男人的天堂久久爱 | 久久婷婷影院 | 国产高清视频免费最新在线 | 三及毛片| 性夜影院爽黄a爽免费看网站 | 日本一级在线播放线观看视频 | 亚洲国产系列 | 亚洲国产欧美日韩精品一区二区三区 | 国产自在自线午夜精品视频在 | 成人免费影视网站 |