概念:
正則表達(dá)式是對(duì)字符串操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個(gè)“規(guī)則字符串”,這個(gè)“規(guī)則字符串”用來表達(dá)對(duì)字符串的一種過濾邏輯。
正則表達(dá)式是一個(gè)特殊的字符序列,它能幫助你方便的檢查一個(gè)字符串是否與某種模式匹配。
個(gè)人理解:
簡單來說就是使用正則表達(dá)式來寫一個(gè)過濾器來過濾了掉雜亂的無用的信息(eg:網(wǎng)頁源代碼…)從中來獲取自己想要的內(nèi)容
1.爬取內(nèi)容
獲取上海所有三甲醫(yī)院的名稱并保存到.txt文件中
2.訪問鏈接
上海三甲醫(yī)院網(wǎng)站 link:https://yyk.99.com.cn/sanjia/shanghai/
3.正則表達(dá)式書寫的靈感
進(jìn)入網(wǎng)站查看本頁面的源代碼發(fā)現(xiàn) :醫(yī)院的名稱都是放在一個(gè)
div class="province-box"> ...... /div>
盒子里我們只需要直接把這個(gè)盒子里面的數(shù)據(jù)過濾一下就行
正則表達(dá)式:
法一:
1.一級(jí)過濾 :
div class="province-box">(.*)div class="wrap-right">
開頭是:div class="province-box"> (.*) 結(jié)尾是:div class="wrap-right">
2.二級(jí)過濾:
title="(.*[院心部])*)" 獲取title=" " 里面的信息
法二:
優(yōu)化后一次性過濾:
li>a href="/[^/].*/" rel="external nofollow" rel="external nofollow" target="_blank" title="(.*)">
貼圖片
開頭是:
結(jié)尾是:
4.項(xiàng)目源代碼
import requests import re url = "https://yyk.99.com.cn/sanjia/shanghai/" # 模擬瀏覽器的訪問 headers ={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:87.0) ' 'Gecko/20100101 Firefox/87.0'} res = requests.get(url,headers=headers) if res.status_code == 200: #1.獲取網(wǎng)頁源代碼 raw_text = res.text #2.正則表達(dá)式書寫: #2.2注意:正則表達(dá)式默認(rèn)匹配的是一行 我們的源代碼是多行匹配的要加另一個(gè)參數(shù) re.DOTALL #2.3正則法一: #re.findall() 返回的是lsit集合 一次過濾 re_res = re.findall(r'div class="province-box">(.*)div class="wrap-right">', raw_text,re.DOTALL) #re_res[0] 獲取下標(biāo)是的數(shù)據(jù) 二次過濾 res=re.findall(r'title="(.*[院心部])*)"',re_res[0]) #檢查打印獲取到的信息 print(res) #2.4正則法二: #(優(yōu)化)不用二次過濾 一次過濾就解決了 # re_list = re.findall(r'li>a href="/[^/].*/" rel="external nofollow" rel="external nofollow" target="_blank" title="(.*)">', res.text) #print(re_list) # 寫入文件中 read = open("上海醫(yī)院名單", "w", encoding='utf-8') for i in res: read.write(i) read.write("\n") read.close() else: print("error")
項(xiàng)目目錄:
部分結(jié)果:
import os,sys,time,json,time import socket,random,hashlib import requests,configparser import json,re from datetime import datetime from multiprocessing.dummy import Pool as ThreadPool def getpicurl(url): url = "http://www.mzitu.com/zipai/comment-page-352" html = requests.get(url).text pic_url = re.findall('img src="(.*?)"',html,re.S) for key in pic_url: print(key + "\r\n") #print(pic_url) getpicurl("http://www.mzitu.com/zipai/comment-pag.e-352")
輸出結(jié)果:
python mmm.py
http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu6578k1j20sg15nk4x.jpghttp://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu64q4lgj20j60nz0ua.jpg
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu67hhbaj20sg110toc.jpg
http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66bw56j20sg0zjtlr.jpg
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65vvvtj20sg0mmtfc.jpg
http://wx2.sinaimg.cn/mw1024/9d52c073gy1fsvu66gtnzj20sg0zk48h.jpg
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu65q1qyj20sg11vtmo.jpg
http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsvu64wgejj20e60iwtax.jpg
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsvu66a8xfj20lt0rptgw.jpg
http://wx4.sinaimg.cn/mw1024/9d52c073gy1fsnr6n7n66j20k00ozn52.jpg
http://wx1.sinaimg.cn/mw1024/9d52c073gy1fsnr6njhjyj20sg0zkn88.jpg
http://wx3.sinaimg.cn/mw1024/9d52c073gy1fsnr6n2zmyj20sg0ldten.jpg
到此這篇關(guān)于Python如何利用正則表達(dá)式爬取網(wǎng)頁信息及圖片的文章就介紹到這了,更多相關(guān)Python正則表達(dá)式爬取內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
標(biāo)簽:克拉瑪依 赤峰 雙鴨山 臨汾 陽泉 貴州 日照 金華
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Python如何利用正則表達(dá)式爬取網(wǎng)頁信息及圖片》,本文關(guān)鍵詞 Python,如何,利用,正則,表達(dá)式,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。