Python3中如何爬取百姓網(wǎng)列表并保存為json功能-創(chuàng)新互聯(lián)

這篇文章主要介紹Python3中如何爬取百姓網(wǎng)列表并保存為json功能，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

在雞澤等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供網(wǎng)站制作、做網(wǎng)站 網(wǎng)站設(shè)計制作按需搭建網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),網(wǎng)絡營銷推廣,成都外貿(mào)網(wǎng)站制作,雞澤網(wǎng)站建設(shè)費用合理。

具體如下：

python3爬蟲之爬取百姓網(wǎng)列表并保存為json文件。這幾天一直在學習使用python3爬取數(shù)據(jù)，今天記錄一下，代碼很簡單很容易上手。

首先需要安裝python3。如果還沒有安裝，可參考本站python3安裝與配置相關(guān)文章。

首先需要安裝requests和lxml和json三個模塊

需要手動創(chuàng)建d.json文件

代碼

import requests
from lxml import etree
import json
#構(gòu)造頭文件，模擬瀏覽器訪問
url="http://xian.baixing.com/meirongfuwu/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36','referer':url}
response=requests.get(url,headers=headers)
body=response.text #獲取網(wǎng)頁內(nèi)容
html=etree.HTML(body,etree.HTMLParser())
gethtml=html.xpath('//div[contains(@class,"media-body-title")]')
# 存儲為數(shù)組list
jsondata = []
for item in gethtml:
  jsonone={}
  jsonone['title']=item.xpath('.//a[contains(@class,"ad-title")]/text()')[0]
  jsonone['url']=item.xpath('.//a[contains(@class,"ad-title")]/attribute::href')[0]
  jsonone['phone']=item.xpath('.//button[contains(@class,"contact-button")]/attribute::data-contact')[0]
  jsondata.append(jsonone)
# 保存為json
with open("./d.json",'w',encoding='utf-8') as json_file:
  json.dump(jsondata,json_file,ensure_ascii=False)

結(jié)果

以上是“Python3中如何爬取百姓網(wǎng)列表并保存為json功能”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對大家有幫助，更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當前文章：Python3中如何爬取百姓網(wǎng)列表并保存為json功能-創(chuàng)新互聯(lián)
分享鏈接：http://www.jbt999.com/article2/dhcsic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、建站公司、定制網(wǎng)站、網(wǎng)站營銷、品牌網(wǎng)站制作、網(wǎng)頁設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)