python獲取網(wǎng)頁(yè)亂碼的解決方法-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買(mǎi)多久送多久，劃算不套路！

創(chuàng)新互聯(lián)建站主營(yíng)江西網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,重慶APP開(kāi)發(fā),江西h5微信小程序開(kāi)發(fā)搭建,江西網(wǎng)站營(yíng)銷(xiāo)推廣歡迎江西等地區(qū)企業(yè)咨詢

小編給大家分享一下python獲取網(wǎng)頁(yè)亂碼的解決方法，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

在使用python爬取網(wǎng)頁(yè)時(shí)，經(jīng)常會(huì)遇到亂碼問(wèn)題，一旦遇到亂碼問(wèn)題，就很難得到有用的信息。本人遇到亂碼問(wèn)題，一般有以下幾個(gè)方式：

1、查看網(wǎng)頁(yè)源碼中的head標(biāo)簽，找到編碼方式，例如：

在上圖中，可以看到charset='utf-8',說(shuō)明這個(gè)網(wǎng)頁(yè)很大可能是采用‘UTF-8’編碼（是很大可能，但不是百分之百），因此可以試試這個(gè)編碼方式：

result = response.content.decode('utf-8')

這種方式得到的內(nèi)容基本上就不會(huì)亂碼了。

2、如果上述的方式?jīng)]有任何作用，頁(yè)面依然亂碼；或者在head標(biāo)簽下并沒(méi)有找到charset屬性；或者我們要采集很多網(wǎng)頁(yè)的信息，而且這些網(wǎng)頁(yè)的編碼方式不盡相同，我們不可能做到一個(gè)一個(gè)網(wǎng)頁(yè)的去查看head標(biāo)簽，那么可以采用下面的方式解決亂碼。

（1）python的chardet庫(kù)

可以使用下面的方式解決亂碼問(wèn)題

result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

從輸出結(jié)果可以看出這是“猜測(cè)”編碼，猜測(cè)的方式是先收集各種編碼的特征字符，根據(jù)特征字符判斷，就能有很大概率“猜對(duì)”。

這種方法的效率很低，如果采集的網(wǎng)頁(yè)很大，可以只猜測(cè)其中一段的源碼，即

result = chardet.detect(response.content[:1000])

（2）response的編碼

也可以使用另一種方法，即response自有的encoding,apparent_encoding這兩個(gè)變量。

response.encoding一般是從response.headers中content-type字段中的charset的值，其它情況我也不是很了解。

response.apparent_encoding一般是采用上述的python的chardet庫(kù)這種方法。

因此可以用下面的方式解決亂碼問(wèn)題

data = response.content.decode(response.apparent_encoding)

3、一般情況下，上述兩個(gè)方法可以解決亂碼問(wèn)題。但是如果上述兩個(gè)方式不能解決，那有可能是網(wǎng)頁(yè)的壓縮導(dǎo)致的。這種問(wèn)題用下面的方法解決。

檢查一下你寫(xiě)的頭信息是不是包含了Accept-Encoding這個(gè)字段，如果有，請(qǐng)刪除這個(gè)字段，亂碼問(wèn)題就會(huì)得到解決。

headers = {
    'Accept-Encoding': 'gzip, deflate, sdch',
    'Accept-Language': 'zh-CN,zh;q=0.8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 
    Safari/537.36 SE 2.X MetaSr 1.0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Connection': 'keep-alive',
}

看完了這篇文章，相信你對(duì)python獲取網(wǎng)頁(yè)亂碼的解決方法有了一定的了解，想了解更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝各位的閱讀！

文章名稱：python獲取網(wǎng)頁(yè)亂碼的解決方法-創(chuàng)新互聯(lián)
瀏覽地址：http://www.jbt999.com/article26/cddgjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、響應(yīng)式網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、App設(shè)計(jì)、自適應(yīng)網(wǎng)站、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)