1、requests模塊。直接攜帶cookies請(qǐng)求頁(yè)面。
找到url，發(fā)送post請(qǐng)求存儲(chǔ)cookie。
2、selenium(瀏覽器自動(dòng)處理cookie)。
找到相應(yīng)的input標(biāo)簽，輸入文本，點(diǎn)擊登錄。
3、scrapy直接帶cookies。
找到url，發(fā)送post請(qǐng)求存儲(chǔ)cookie。
# -*- coding: utf-8 -*-
import scrapy
import re
class GithubLoginSpider(scrapy.Spider):
name = 'github_login'
allowed_domains = ['github.com']
start_urls = ['https://github.com/login']
def parse(self, response): # 發(fā)送Post請(qǐng)求獲取Cookies
authenticity_token = response.xpath('//input[@name="authenticity_token"]/@value').extract_first()
utf8 = response.xpath('//input[@name="utf8"]/@value').extract_first()
commit = response.xpath('//input[@name="commit"]/@value').extract_first()
form_data = {
'login': 'pengjunlee@163.com',
'password': '123456',
'webauthn-support': 'supported',
'authenticity_token': authenticity_token,
'utf8': utf8,
'commit': commit}
yield scrapy.FormRequest("https://github.com/session", formdata=form_data, callback=self.after_login)
def after_login(self, response): # 驗(yàn)證是否請(qǐng)求成功
print(re.findall('Learn Git and GitHub without any code!', response.body.decode()))
知識(shí)點(diǎn)擴(kuò)展：
parse_login方法是提交完表單后callback回調(diào)函數(shù)指定要執(zhí)行的方法，為了驗(yàn)證是否成功。這里我們直接在response中搜索Welcome Liu這個(gè)字眼就證明登錄成功。
這個(gè)好理解，重點(diǎn)是yield from super().start_resquests()，這個(gè)代表著如果一旦登錄成功后，就直接帶著登錄成功后Cookie值，方法start_urls里面的地址。
這樣的話登錄成功后的response可以直接在parse里面寫。
# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request
class ExampleLoginSpider(scrapy.Spider):
name = "login_"
allowed_domains = ["example.webscraping.com"]
start_urls = ['http://example.webscraping.com/user/profile']
login_url = 'http://example.webscraping.com/places/default/user/login'
def parse(self, response):
print(response.text)
def start_requests(self):
yield scrapy.Request(self.login_url,callback=self.login)
def login(self,response):
formdata = {
'email':'liushuo@webscraping.com','password':'12345678'}
yield FormRequest.from_response(response,formdata=formdata,
callback=self.parse_login)
def parse_login(self,response):
# print('>>>>>>>>'+response.text)
if 'Welcome Liu' in response.text:
yield from super().start_requests()
到此這篇關(guān)于python scrapy簡(jiǎn)單模擬登錄的代碼分析的文章就介紹到這了,更多相關(guān)python scrapy模擬登錄的方法內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
標(biāo)簽：辛集 許昌 贛州 西安 渭南 雅安 濰坊 七臺(tái)河
巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《python scrapy簡(jiǎn)單模擬登錄的代碼分析》，本文關(guān)鍵詞 python,scrapy,簡(jiǎn)單,模擬,登錄,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無關(guān)。
