国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術(shù)文章
文章詳情頁

爬取今日頭條Ajax請求

瀏覽:392日期:2022-06-11 11:18:07

網(wǎng)址:https://www.toutiao.com/

搜索頭條

可以得到這個網(wǎng)址:

開發(fā)者工具查看:

我們在搜索中并沒有發(fā)現(xiàn)上面的文字,那么我們可以初步判定,這個由Ajax加載,然后渲染出來的。此時切換到xhr過濾,可以看到確實是ajax請求。

觀察請求的特點,發(fā)現(xiàn)只有offset是改變的,而且一次加20,。

我們可以用它來控制數(shù)據(jù)分頁,然后把圖片下載下來。代碼如下:

import requestsimport osfrom urllib.parse import urlencodefrom hashlib import md5from multiprocessing.pool import Poolfrom requests import codesdef get_page(offset):  params = {    "offset":offset,    "format":"json",    "keyword":"街拍",    "autoload":"true",    "count":"20",    "cur_tab":"1",    "from":"search_tab"  }  url = "https://www.toutiao.com/search_content/?"+urlencode(params)  try:    response = requests.get(url)    if response.status_code == 200:      # print(url)      return response.json()  except requests.ConnectionError:    return None# get_page(0)def get_images(json):  if json.get("data"):    for item in json.get("data"):      if item.get("cell_type") is not None:continue      title = item.get("title")      images = item.get("image_list")      for image in images:yield {  "title":title,  "image":"https:" + image.get("url"),}def save_image(item):  #os.path.sep  路徑分隔符‘//"  img_path = "img" + os.path.sep + item.get("title")  if not os.path.exists(img_path):    os.makedirs(img_path)  try:    resp = requests.get(item.get("image"))    # print(type(resp))    if codes.ok == resp.status_code:      file_path = img_path + os.path.sep + "{file_name}.{file_suffix}".format(file_name=md5(resp.content).hexdigest(),#md5是一種加密算法獲取圖片的二進制數(shù)據(jù),以二進制形式寫入文件file_suffix="jpg")      if not os.path.exists(file_path):with open(file_path,"wb")as f:  f.write(resp.content)  print("Downladed image path is %s" % file_path)      else:print("Already Downloaded",file_path)  except requests.ConnectionError:    print("Failed to Save Image,item %s" % item)def main(offset):  json = get_page(offset)  for item in get_images(json):    print(item)    save_image(item)GROUP = 0GROUP_END = 2if __name__ == "__main__":  pool = Pool()  groups = ([x*20 for x in range(GROUP,GROUP_END)])  pool.map(main,groups)  #將groups一個個調(diào)出來傳給main函數(shù)  pool.close()  pool.join()   #保證子進程結(jié)束后再向下執(zhí)行 pool.join(1) 等待一秒

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,謝謝大家對的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接

標(biāo)簽: Ajax
相關(guān)文章:
主站蜘蛛池模板: 久久99国产精品亚洲 | 久久99久久精品国产99热 | 日日爱影院| 国产三级日产三级韩国三级 | 欧美黄www免费 | 免费一级欧美片在线观免看 | 成人亚洲精品7777 | 免费在线观看a级毛片 | 中国美女牲交一级毛片 | 欧美日本亚洲国产一区二区 | 成人国产在线24小时播放视频 | 国产精品亚洲第一区柳州莫青 | 国产精品午夜国产小视频 | 日本免费一区二区三区毛片 | fc2久久| 农村寡妇特一级毛片 | 免费播放特黄特色毛片 | 亚洲精品资源在线 | 久久亚洲国产午夜精品理论片 | 成人免费毛片一区二区三区 | 久久亚洲国产最新网站 | 亚洲欧美国产精品久久久 | 农村寡妇野外情一级毛片 | 国产日本欧美在线观看 | 日本一区视频在线观看 | 国产精品亚洲欧美日韩一区在线 | 国产成人亚洲综合91精品555 | 韩国精品欧美一区二区三区 | 日本成人在线看 | 日韩精品久久一区二区三区 | 免费一级肉体全黄毛片高清 | 亚洲精品在线视频观看 | 一级做a爰在线就看 | 免费一级肉体全黄毛片高清 | 美女黄色在线网站大全 | 精品欧美成人高清视频在线观看 | 黄性色 | 老头做爰xxxx视频 | 日韩欧美在线一级一中文字暮 | 男人操美女 | 国产一二三区在线 |