scrapy隨機更改User-Agent方法-創(chuàng)新互聯(lián)

1      Scrapy設(shè)置User-Agent

1.1  在settings.py文件中設(shè)置USER_AGENT參數(shù)即可實現(xiàn)

1.1.1 使用固定User-Agent方法

在settings.py文件中加入如下代碼即可（USER_AGENT是固定寫法），具體使用什么agent可以自己更改下面藍色字體內(nèi)容。

創(chuàng)新互聯(lián)建站主營張家口網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,重慶App定制開發(fā),張家口h5小程序定制開發(fā)搭建,張家口網(wǎng)站營銷推廣歡迎張家口等地區(qū)企業(yè)咨詢

USER_AGENT = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)

1.1.2 使用隨機User-Agent方法

在settings.py文件中通過創(chuàng)建一個agent列表，然后通過從中隨機取出1個賦值給USER_AGENT變量即可

代碼如下：

import random

UserAgentList = [
   "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
   "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
   ]

USER_AGENT = random.choice(UserAgentList)

1.1.3 使用第三方user-agent庫（fake-useragent）實現(xiàn)設(shè)置agent方法

在settings.py文件中加入如下代碼：

from fake_useragent import UserAgent
ua = UserAgent()
USER_AGENT = ua.random

1.2  通過寫middleware方法實現(xiàn)

1.2.1 通過在setting文件中自己編寫user-agent方法

在setting.py文件中寫一個UserAgentList列表

UserAgentList = [
   'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36',
   'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17'
]

在setting.py文件中啟用DOWNLOADER_MIDDLEWARES，并且把默認的注釋掉

DOWNLOADER_MIDDLEWARES = {
   #'amazon.middlewares.MyCustomDownloaderMiddleware': 543,
   'amazon.middlewares.MyUserAgentMiddleware': 543,
}

在middlewares.py文件中增加以下代碼：

rom scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
from amazon.settings import UserAgentList
import random

class MyUserAgentMiddleware(UserAgentMiddleware):
   def __init__(self, user_agent=''):
       self.user_agent = user_agent

   def process_request(self, request, spider):
       agent = random.choice(list(UserAgentList))
       request.headers['User-Agent'] = agent

1.2.2 利用fake-useragent庫設(shè)置User-Agent方法

安裝fake-useragent庫(useragent的庫)

pip install fake-useragent

在middlewares.py文件中導(dǎo)入fake-useragent庫

from fake_useragent import UserAgent

在middlewares.py文件中編寫一個middleware中間件，

from fake_useragent import UserAgent
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware

class MyUserAgentMiddleware(UserAgentMiddleware):
   def __init__(self, user_agent=''):
       self.user_agent = user_agent

   def process_request(self, request, spider):
       ua = UserAgent()
       request.headers['User-Agent'] = ua.random

在setting.py文件中啟用DOWNLOADER_MIDDLEWARES，并且把默認的注釋掉

DOWNLOADER_MIDDLEWARES = {
   #'amazon.middlewares.MyCustomDownloaderMiddleware': 543,
   'amazon.middlewares.MyUserAgentMiddleware': 543,
}

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前標(biāo)題：scrapy隨機更改User-Agent方法-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址：http://www.jbt999.com/article2/cddgic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、微信公眾號、虛擬主機、面包屑導(dǎo)航、App開發(fā)、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)