国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

Python grequests模塊使用場景及代碼實例

瀏覽:36日期:2022-07-14 15:21:30

使用場景:

1) 爬蟲設置ip代理池時驗證ip是否有效

2)進行壓測時,進行批量請求等等場景

grequests 利用 requests和gevent庫,做了一個簡單封裝,使用起來非常方便。

grequests.map(requests, stream=False, size=None, exception_handler=None, gtimeout=None)

Python grequests模塊使用場景及代碼實例

另外,由于grequests底層使用的是requests,因此它支持

GET,OPTIONS, HEAD, POST, PUT, DELETE 等各種http method

所以以下的任務請求都是支持的

grequests.post(url, json={“name”:“zhangsan”})grequests.delete(url)

代碼如下:

import grequestsurls = [ ’http://www.baidu.com’, ’http://www.qq.com’, ’http://www.163.com’, ’http://www.zhihu.com’, ’http://www.toutiao.com’, ’http://www.douban.com’]rs = (grequests.get(u) for u in urls)print(grequests.map(rs)) # [<Response [200]>, None, <Response [200]>, None, None, <Response [418]>]def exception_handler(request, exception): print('Request failed')reqs = [ grequests.get(’http://httpbin.org/delay/1’, timeout=0.001), grequests.get(’http://fakedomain/’), grequests.get(’http://httpbin.org/status/500’)]print(grequests.map(reqs, exception_handler=exception_handler))

實際操作中,也可以自定義返回的結果

修改grequests源碼文件:

例如:

新增extract_item() 函數合修改map()函數

def extract_item(request): ''' 提取request的內容 :param request: :return: ''' item = dict() item['url'] = request.url item['text'] = request.response.text or '' item['status_code'] = request.response.status_code or 0 return itemdef map(requests, stream=False, size=None, exception_handler=None, gtimeout=None): '''Concurrently converts a list of Requests to Responses. :param requests: a collection of Request objects. :param stream: If True, the content will not be downloaded immediately. :param size: Specifies the number of requests to make at a time. If None, no throttling occurs. :param exception_handler: Callback function, called when exception occured. Params: Request, Exception :param gtimeout: Gevent joinall timeout in seconds. (Note: unrelated to requests timeout) ''' requests = list(requests) pool = Pool(size) if size else None jobs = [send(r, pool, stream=stream) for r in requests] gevent.joinall(jobs, timeout=gtimeout) ret = [] for request in requests: if request.response is not None: ret.append(extract_item(request)) elif exception_handler and hasattr(request, ’exception’): ret.append(exception_handler(request, request.exception)) else: ret.append(None) yield ret

可以直接調用:

import grequestsurls = [ ’http://www.baidu.com’, ’http://www.qq.com’, ’http://www.163.com’, ’http://www.zhihu.com’, ’http://www.toutiao.com’, ’http://www.douban.com’]rs = (grequests.get(u) for u in urls)response_list = grequests.map(rs, gtimeout=10)for response in next(response_list): print(response)

支持事件鉤子

def print_url(r, *args, **kwargs):print(r.url)url = “http://www.baidu.com”res = requests.get(url, hooks={“response”: print_url})tasks = []req = grequests.get(url, callback=print_url)tasks.append(req)ress = grequests.map(tasks)print(ress)

Python grequests模塊使用場景及代碼實例

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 九九视频免费观看 | 久久亚洲不卡一区二区 | 亚洲一级毛片免费看 | 美女扒开腿让男人桶个爽 | 欧美日a| 国产孕妇孕交视频在线观看 | 亚洲图片国产日韩欧美 | 国产成人久久精品区一区二区 | 亚洲成aⅴ人片在线影院八 亚洲成av人片在线观看 | 色老头一级毛片 | 日本在线免费播放 | 国产成人精品免费 | 好看毛片 | 亚洲欧美高清 | 国产午夜伦伦伦午夜伦 | 免费播放欧美毛片 | 欧美成人免费网在线观看 | 午夜欧美成人 | 国产精品yjizz视频网一二区 | 免费真实播放国产乱子伦 | 99久久免费中文字幕精品 | 日韩三级在线播放 | 中国一级特黄真人毛片 | 足恋玩丝袜脚视频免费网站 | 亚洲欧美综合一区二区三区四区 | 久久视频免费 | 久草在线视频中文 | 日韩在线免费 | 在线观看偷拍视频一区 | 久久频这里精品香蕉久久 | 99久久精品久久久久久清纯 | 68久久久久欧美精品观看 | 亚洲久久在线观看 | 男女午夜性爽快免费视频不卡 | 很黄很暴力深夜爽爽无遮挡 | 玖玖国产在线 | 日韩一级不卡 | 亚洲精品视频免费观看 | 国产亚洲一级精品久久 | 亚洲一区在线视频观看 | 美国毛片亚洲社区在线观看 |