Pythｏn 網(wǎng)絡爬蟲實習報告

　目錄 一、選題背景 ........................................................... 錯誤!未定義書簽。

　理 二、爬蟲原理。簽書義定未!誤錯?

　三、爬蟲歷史與分類 ................................................ 錯誤!未定義書簽。

　較 四、常用爬蟲框架比較。簽書義定未!誤錯?

　五、數(shù)據(jù)爬取實戰(zhàn)（ 豆瓣 網(wǎng) 爬取電影 數(shù)據(jù)) ............ 錯誤!未定義書簽。

　1 分析網(wǎng)頁 誤錯? 錯誤! 未定義書簽。

　2 爬取數(shù)據(jù) ............................................................... 錯誤! 未定義書簽。

　3 數(shù)據(jù)整理、轉(zhuǎn)換 誤錯? 錯誤! 未定義書簽。

　4 數(shù)據(jù)保存、展示 誤錯? 錯誤! 未定義書簽。

　5 技術難點關鍵點 誤錯? 錯誤! 未定義書簽。

　六、總結(jié) .................................................................. 錯誤!未定義書簽。

　一、

　選題背景 二、

　爬蟲原理 三、

　爬蟲歷史與分類 四、

　常用爬蟲框架比較 Scrap ｙ框架 ：Scraｐｙ框架就是一套比較成熟得 Pythoｎ爬蟲框架，就是使用 Pｙthon 開發(fā)得快速、高層次得信息爬取框架,可以高效得爬取ｗeb 頁面并提取出結(jié)構(gòu)化數(shù)據(jù)。Ｓcrapｙ應用范圍很廣,爬蟲開發(fā)、數(shù)據(jù)挖掘、數(shù)據(jù)監(jiān)測、自動化測試等. Crawle ｙ框架: :Ｃrａwley 也就是 Pythoｎ開發(fā)出得爬蟲框架，該框架致力于改變?nèi)藗儚幕ヂ?lián)網(wǎng)中提取數(shù)據(jù)得方式。

　a Portia 框架 ：Ｐoｒtiａ框架就是一款允許沒有任何編程基礎得用戶可視化地爬取網(wǎng)頁得爬蟲框架。

　newsp ａp p ｅr r 框架: :ｎｅwspapｅr 框架就是一個用來提取新聞、文章以及內(nèi)容分析得 Pythｏn 爬蟲框架. P P ｙt t ｈｏn n- - go ｏe se 框架：

�。篜ythｏn-goｏse 框架可提取得信息包括：

　〈1〉文章主體內(nèi)容;<2>文章主要圖片；<3>文章中嵌入得任ｈeYｏutube／Viｍeo 視頻；<4〉元描述；〈５〉元標簽

　五、數(shù)據(jù)爬取實戰(zhàn)（ 豆瓣 網(wǎng) 爬取電影 數(shù)據(jù)）

�。狈治鼍W(wǎng)頁

　 # 獲取 ht ｍl l 源代碼

　def _ ＿g g ｅ tHtml( ）：

�。� ata =

　] []

　?

　 ｐ ageN ｕ m = １

　pageSize = 0

　: try:

　?

　 wh ｉ le ( ｐ ageSiz ｅ

　〈 = 1 ２５）：

　# ｈ ead ｅ rs ＝

　{ { ’Ｕ ser —A A ｇe e ｎ t" ：’ Moziｌl l ａ /5 、 0 (Windows Ｎ T 6 、 1) A ｐp p ｌ eWe ｂK K ｉ t/5 ３７、１ 1 （ KHTMＬ，

　like

　Geck ｏ ) C ｈ rome/23 、0 0 、 127 １、 64 S ａ fari/537， 、１１’，

　# ’Ｒ efe ｒ er ’: : Ｎ on ｅ

　＃注意如果依然不能抓取得話, , 這里可以設置抓取網(wǎng)站得ｈ ost

�。�

　} } ?

　 ＃

�。� pener

�。�

　urlliｂ、ｒ eq ｕe e ｓt t 、 build_ ｏｐｅｎe e ｒ（) )

　# opener 、 addh ｅａd d ｅｒ s ＝

�。� heade ｒs s ］ ?

　 ｕｒl l

　= ＂”

　+ st ｒ（ pag ｅ Siz ｅ ) +

　”＆ｆ ilt ｅr r ＝＂

　+ s ｔｒ(p ａｇ eNum)

　＃

　data ［ "h ｔ ml%s ’

�。�

　i ] ＝ url ｌｉb b 、 re ｑ uest 、ur ｌ op ｅｎ（ ur ｌ）、ｒ ead() 、 decode("ut ｆ — ８ ") ?

　 da ｔa a 、 append(url ｌi i ｂ、ｒ equ ｅ st 、 urlope ｎ（ ur ｌ) ) 、ｒ ead() 、ｄ ecode （”ｕｔf f －8 8 ＂）) )

　page Ｓi i ｚ e + ＝

　２5 5

　?

　 p p ａｇｅN Nｕ1 m += 1

　?

　 pr ｉ nt( ｐａ geSize, page Ｎ um)

　excep ｔ

　E E ｘ cepti ｏ n a ｓ

　e:

　r r ａｉ se e

　retur ｎ

　data

　2 爬取數(shù)據(jù) def

　_ _ ＿ getData(html):

　title =

�。郏�

　# #

　電影標題 ?

　 #rati ｎｇ_ _ ｎ um ＝

　[ [ ］

�。�

　評分 ?

　 r r ａ nge ＿ num =

�。郏�

　# 排名 ?

　 ＃ ra ｔ ing ＿ peopｌｅ _num

　= [ ］

　# 評價人數(shù)

�。� ovie_a ｕ thor

　= []

　 # 導演 ?

　 da ｔ a = {}

　# ｂ s4 解析 h h ｔ ml ?

　 ｓ oup ＝

　Beauti ｆu u ｌS S ｏｕ p(htmｌ，

　” html 、 parser）

　”）

　?

　 for li

�。� n s ｏｕp p 、 find( ”ｏl l ” , ａt(yī) t ｔr r ｓ= = ｛ "clas ｓ’：

　" " ｇ rid_view"} ）、 fin ｄ＿ al ｌ（ "li"):

�。� it ｌe e 、 appen ｄ（ li 、f f ｉ nd("s ｐ an", c ｌa a ｓs s ＿= = ” titｌｅ ") 、ｔ ext)

�。�r r ａ ti ng_ ｎu u、 ｍ、 append(li、 、 fin ｄ ("d ｉv v， ”，

　class_="stａｒ ") 、 find( ” spa ｎ" " ，

　class_ ＝ "rating_nu ｍ＇）、ｔ ext ）

　ra ｎ ge ＿ num、 、a a ｐ pen ｄ (li、 、 fi ｎ d("di ｖ”，

　class ＿＝’pi ｃ" " ）、 fin ｄ（ "em ＂) ) 、 text）

　）

　?

　 #span ｓ

　= l ｉ、 find("ｄ iv ”，

　c c ｌ as ｓ＿= =’ ’ star’ ’) )、 、 find_ ａl l ｌ（＂ｓｐ an") ?

　 #f

　ｏ r x

　in

　r r ａ nge(len （s s ｐa a ｎs s ））：

�。�

�。� f ｘ

　<= 2: ?

　 #

　p p ａｓs s ?

　 # e ｌ se ：

�。�

　r r ａt(yī) t ｉn n ｇ _p ｅｏ ple_num、 、 append(s ｐ ans［ x] 、 st ｒi i ｎｇ［ — ｌｅ n( ｓ pans[x ］、s s ｔ rin ｇ ): — 3])

�。� tr = l ｉ、ｆｉn n ｄ（” div", cla ｓ s_= ’b b ｄ’) ) 、 find( ”p",

　clas ｓ＿= = ’" " ）、 te ｘt t 、 lstrip(）

�。�

　?

　 in ｄe e ｘ

　= sｔr r 、f f ｉｎ d(" 主＂) )

　?

　 if (ind ｅx x

　= = ＝

�。�１) ) ：

　index = str 、 fin ｄ( ( ＂、、、＂) )

　?

　 prin ｔ (li 、ｆｉｎd d （”d d ｉv v” ” , c ｌａｓ s_=" ｐi i ｃ’）、 find(” ” em") 、t t ｅ xt)

　if

　（ li 、 find （ "div ” , cl ａs s ｓ _= ’ pic ’）、f fｉ nd( ”ｅm m ”）、t t ｅx x ｔ

　== ２ 10):

　i i ｎd d ｅｘ

�。�

　60

　# ｐ rint("aaa ”) ) ?

　 # #

　ｐ rint （ st ｒ [4 ：i i ｎ de ｘ ]) ?

　 ｍ ov ｉｅ _autho ｒ、 append （ str[4: ｉ nde ｘ ])

　d d ａt(yī) t ａ ["t ｉ tl ｅ" " ］

　= titl ｅ

　#da ｔ a["ra ｔ ing_num" ］

　= ra ｔi i ｎ g_nu ｍ

　dat ａ［＇ rang ｅ＿n n ｕm m ’ ] =

�。颍醡 nge_num

　 ?

　#data[ ’ ratiｎg g ＿ｐe e ｏ pl ｅ＿n n ｕｍ’ ] = ｒ at ｉ ng ＿ peopl ｅ _nu ｍ

�。洌幔鬭 a ［’ mo ｖ ie_au ｔh h ｏr r ’ ] ＝

　movie_a ｕ th ｏr r

　ret ｕ rn dat ａ

　3 數(shù)據(jù)整理、轉(zhuǎn)換 def ＿ _getMov ｉe e ｓ（ da ｔ a):

　f = op ｅ n("F:// ｄ ouban_mov ｉe e 、 html" ，

　’ｗ’, , ｅ nc ｏ ding＝’ utf —8 8 ’) )

　f f 、ｗ rite(" 〈 html> ”）

�。妗� wr ｉ te( ” <h ｅ ad 〉< < ｍｅt t ａ

　charset= ’ UTF －8 8 ’> > 〈 title 〉Insert title here</ ｔ it ｌ e> ＜/ / ｈｅ ad 〉) ")

　 ?

　f f 、 wr ｉ te( ”〈b bｏd d ｙ> > ”) )

　?

　 ｆ、 write （”〈ｈ 1> 爬 取豆瓣電影< < ／ｈ１ >")

　f f 、 wri ｔｅ（” <h4> 作者：劉文斌〈 /h ４〉 ")

　f f 、 wr ｉ te( ”〈 h4>

　時間: : ＂

　+ n ｏ wt ｉ me + ”＜ /h ４＞”) )

　?

　 f f 、w w ｒi i ｔe e （ "<hr> ”) )

　f f 、ｗr r ｉ te （ "< ｔ able

　width=" ８ 00px ’

　border="1 ’

　a a ｌign=center>" ）

　f f、 、 wr ｉ" te(" 〈 th ｅa a” ｄ＞”) )

　 ?

　f f、 、w w ｒ ite("<t〉 ｒ〉" "）

�。�

　 ?

　f f 、writ ｅ( (” ” <t〉 ｈ〉 <font si ｚe e ＝" " ５ " ｃ olor=g ｒ een 〉電影 </fo ｎ t></t）

�。琛�”）

　?

　 #f 、w w ｒ ite （＂＜t t ｈ

　ｗ idt ｈ= = ＇５ 0px ＇ ><fo ｎ t sｉz z ｅ ="5 ’

　c c ｏ lor=g ｒe e ｅn n 〉評分＜／ font 〉〈/ / ｔｈ〉" " ）

　f f 、 wri ｔe e （" " 〈 th

�。鱥 i ｄ th="5 ０ px ’> > 〈f f ｏn n ｔ

　size=＇ ’５＇

　ｃ ol ｏ r=green 〉排名〈／ fo ｎｔ〉〈 /th> ”) )

　?

　 #f 、ｗｒ ite( ＂

　〈t t ｈ

　width= ’１ 00px ’〉〈 font size ＝ "5" ｃ olor=green 〉評價人數(shù) </fo ｎｔ〉〈 /t ｈ〉" " ）

　?

　 ｆ、 wr ite （" " 〈 th> 〈 font siz ｅ＝ "5 ＇

　color=gr ｅ en> 導演〈／ font 〉＜ /th ＞”) )

　f f 、 wr ｉｔ e( ” </tr>")

　f f 、ｗr r ｉ te("< ／ th ｅ ad 〉”) )

　f f 、ｗｒ ite(" 〈 tbod ｙ> > ”) )

　for data in data ｓ: :

　?

　 for ｉ

　i i ｎ

　ra ｎ ge( ０, ,

　25 ）: :

　?

　 f f 、 write （＂〈t t ｒ〉”) )

　f f 、 write( ＂ <td styl ｅ =" ｃ olor:ora ｎ ge; ｔ ext —align:c en ｔ er ’〉 %s ＜ /td 〉”

　% ｄa ata ［ "ti ｔ le"][i]）

�。�

　?

　 #

�。�、w w ｒ ite （”〈 td s ｔｙ le ＝’c c ｏｌｏ r:bl ｕe e ； te ｘｔ－a a ｌ ign ：c c ｅ nte ｒ＇〉% % ｓ＜/ / ｔ d>"

　% data ［＇r r ａｔi i ｎ g_num"] ［ｉ] ] ）

　?

　 ｆ、 writ ｅ ("<td

　s s ｔy y ｌe e ＝ "co ｌｏ r: ｒ ed ； text — ａl l ｉ gn ：ｃｅn nｔ er" 〉％ s< ／ td 〉”

　% %

　data ［’ｒ ange_num ’］ [i])

　#

　 f 、w w ｒi i ｔｅ（" " ＜ｔ d sty le= ’ co ｌ or:bl ｕ e;tex ｔ- - alig ｎ：

　cen ｔe e ｒ’〉 %s 〈 /td ＞”

　% %

　d d ａ ta[ ’ｒ ating_p ｅ ople＿ｎｕ m"] ［i i ］) )

　f f 、 write( ”〈 td st ｙ le= ’ col ｏ r: ｂl l ａｃk k ；ｔext — ａl l ｉ gn:center ’〉％ s< ／ td>" % ｄ ata[’ ’m m ｏ vi ｅ＿ aut ｈ or ’］[ [ ｉ] ] ）

　f f 、 write （" " 〈) /tr>")

　 ?

　f f 、 wri ｔe e （”〈／ tbodｙ〉" " ）

　f f 、 write （" " ＜/ / ｔh h ｅ ad 〉) ")

　?

　 f f 、 wri ｔ e( ” </ ｔa a ｂ le 〉＂) )

　f f、 、w w ｒｉt t ｅ( ( ”＜／ bo ｄy y〉 〉" "）

�。�

　?

　 ｆ、 write( ＂〈/ / ｈt t ｍｌ〉”）

　?

　 f f 、 close()

�。閒 f

　__ ｎa a ｍ e__

�。�= =

　’_ _ ＿m m ａi i ｎ＿_ _ ’: :

　data ｓ

　= ［］

　h h ｔ mls = __getH ｔ ml （) )

　?

　 ｆ or i

　ｉ n rang ｅ（l l ｅn n（ htmls) ）: :

　?

　 dat ａ

　= __getData （ ht ｍ ls[ ｉ] ]）

�。�

　?

　 datas 、 ap ｐ end(data)

　?

　 ＿ _g ｅ tMo vies(datas ）

�。磾�(shù)據(jù)保存、展示

　結(jié)果如后圖所示:

　 5 技術難點關鍵點 數(shù)據(jù)爬取實戰(zhàn)( 搜房 網(wǎng) 爬取房屋 數(shù)據(jù)) ｆｒo o ｍ

　bs４ i i ｍ po ｒt t

　BｅautifｕlＳoupopmi? impo ｒ t requestsｒ?ｅp ＝ requeｓｔs、get（ ’" ") rep、eｎｃodｉng = " " ｇ b2312"

�。� 設置編碼方式 html = rｅｐ、ｔexｔh" ,lmth（puｏSlufituａｅB = puoｓ? "h ｔｍｌ、 parser ’）

　f = oｐeｎ( "F://f ａ ng 、 html ’, ’w w ＇,encoding= ’u u ｔｆ —8 8 ’) f、writｅ（ ” <ht ｍｌ〉＂) f、wriｔe( "< ｈｅa a ｄ〉〈ｍ eta ch ａ rse ｔ= = ’ UTF — ８" " ＞ <t ｉ tle>Ins

　ｅr r ｔ

�。� it ｌ e here</tit ｌ e></ ｈ ead 〉”）〈”(etirｗ、f? ”〈b b ｏ dy>” ”）

　f、ｗriｔe(" " 〈c c ｅｎ ter> ＜ h1 〉新房成交Ｔ OP ３ </h1 ＞〈／ ce ｎt t ｅｒ> > ”)〈＂(etｉrｗ、f? ＂〈t t ａb b ｌｅ

�。� order ＝ "1px ’

　width= ’1 1 ００0 0 ｐx x ’

�。� eig ｈｔ ="800p ｘ’

�。幔靑 i ｇ n=c ｅ nte ｒ〉＜ tr 〉＂)w、ｆ?ｒｉte( "<th>< ｈ2 2 〉房址 </ ｈ 2> 〈 /t ｈ >"）〈" "（etｉrw、f? 〈 th 〉〈ｈ2 2 〉成交量〈 /h2 〉〈 /th 〉" ") f、wｒitｅ( ”< < ｔ h> 〈ｈ２＞均價 </h2> ＜/ / ｔh h 〉〈/ / ｔr r ＞”) rof? for ｌi in sｏｕp、find(” ” ul",claｓs_=” ” ul02")、find＿aｌl( ＂l l ｉ”）:

　nａmｅ=li、ｆind(” ” div” ”,ｃlａss_=" " ｐ btext” ”)、find(” ”ｐ”）、teｘt

　 ｃhｅnｇjiａoliang=li、fｉnd(" " ｓｐa a ｎ”,ｃlaｓｓ＿= "rｅd d — f3 ”)、ｔｅxｔ

　 ｔｒy y:

�。椋�”(dniｆ、il=aijｎuｊ? ”ｄｉ v"，cｌａｓs_=" "ｏ hte ｒ" ")、find( "p",clａｓs＿＝" " ｇ ray —9 9 ”) #、text、ｒeplace（’。Ｏ’， ’平方米") ?

　 exce ｐ t Exception a a ｓ

�。�:

　?junｊia＝ｌｉ、fｉｎd（ "di ｖ" ",class_= "gray — 9") #、texｔ、replaｃｅ("?Ｏ＇， ’平方米＇) ?

�。�、writｅ( "<tr 〉< < ｔ d ａ li ｇ n=ce ｎ te ｒ〉< < ｆ ont

　size="5pｘ’

　c c ｏl l ｏ r=r ｅd d ＞ %s 〈 /fo ｎt t 〉＜/ / ｔd d 〉 " % naｍe)

　、ｆ?wrｉｔe( ＂〈t t ｄ

　alig ｎ= = ｃe e ｎ ter> 〈 font s ｉ ze= ’ 5px"

　col ｏr=b ｌ ue>%s</font> 〈/ / ｔｄ〉 " % chengjiaｏｌiaｎg)

　rｗ、ｆ?

�。閠e(" " 〈t t ｄ

�。� lign ＝ center 〉 <f ｏ nt

　size= ＇５p p ｘ’

　col ｏr r＝g g ｒe e ｅn n 〉 %s 〈/ / ｆ ont ＞〈／ td></t ｒ〉 " % jｕnjia）

　ｒp p? ｒint(naｍe)

　f、ｗritｅ(" " ＜ /table 〉＂）＜＂(etirw、f? ＂＜ /bo ｄ y> ”)

　? 六、總結(jié) 教師評語: 成績:

　指導教師:

相關熱詞搜索：實習報告 爬蟲 網(wǎng)絡