[Python爬蟲教學]開發Python網頁爬蟲前需要知道的五個基本觀念 | 就是愛看書
![[Python爬蟲教學]開發Python網頁爬蟲前需要知道的五個基本觀念](https://i.imgur.com/y8QtHep.jpg)
2020年10月20日—BeautifulSoup對於HTML及XML的解析非常友善,並且容易入門使用,適用於靜態類型的網頁及小型的Python網頁爬蟲專案。Selenium同時擁有網頁自動化測試 ...
![[Python爬蟲教學]開發Python網頁爬蟲前需要知道的五個基本觀念](https://i.imgur.com/y8QtHep.jpg)
Photo by UX Indonesia on Unsplash
網際網路的盛行,日常生活中充滿了大量的資訊,也因此越來越多的使用者會利用Python網頁爬蟲技術,來蒐集想要的資料,藉此來進行分析及應用,為了讓讀者能夠快速入門Python網頁爬蟲,本文想來和大家分享在開發前,需要知道的五個基本觀念,包含:
什麼是網頁爬蟲
網路的運作方式
網頁的基本結構
常見的套件及框架
網頁爬蟲開發流程
一、什麼是網頁爬蟲網頁爬蟲可以把它想像成是一種網頁機器人,能夠依照特定的模式或規則,自動化擷取網頁原始碼,來進行解析取得資料,所以被大量的應用在網頁資料蒐集。
當然網頁爬蟲部一定只能使用Python來進行實作,其它像Java、C#及JavaScript等程式語言也可以,而因為Python語法簡潔及擁有許多成熟的套件與框架,所以筆者選擇Python來開發網頁爬蟲。
二、網路的運作方式Python網頁爬蟲事實上就是模擬使用者來瀏覽網頁,這時候就需要瞭解網路的基本架構,分為用戶端(Client)及伺服端(Server)。
其中,用戶端(Client)就是使用者瀏覽網頁的裝置(例:本機電腦),當使用者點擊網頁時,也就代表請求(Request)的動作,存取該網頁連結的伺服端(Server),...
[Python爬蟲教學]開發Python網頁爬蟲前需要知道的五個基本觀念 | 就是愛看書
Python網路爬蟲入門 | 就是愛看書
【Python 爬蟲】從Dcard 網站看爬蟲入門(I). 一、事前準備 | 就是愛看書
Python Crawler 爬蟲入門範例 | 就是愛看書
Python基礎課程和網路爬蟲入門實戰 | 就是愛看書
Python爬蟲入門這一篇就夠了 | 就是愛看書
Python爬虫入门教程:超级简单的Python爬虫教程 | 就是愛看書
Python 網路爬蟲Web Crawler 基本教學By 彭彭 | 就是愛看書
Python 網頁爬蟲入門實戰 | 就是愛看書
Python爬蟲開發:從入門到實戰(微課版) | 就是愛看書
![](https://i.imgur.com/y8QtHep.jpg)
《爬蟲在手資料我有: 30天Scrapy爬蟲實戰》博碩文化 978-986-434-743-8 (平裝, 256面, 23公分)
《爬蟲在手資料我有:30天Scrapy爬蟲實戰》好看嗎?作者簡學群著由「博碩文化」出版,ISBN:978-986-434-743-8(平裝,256面,23...
![](https://i.imgur.com/y8QtHep.jpg)
《Python程式設計講義與程式集錦》滄海 978-986-363-127-9 (平裝, 204面, 26公分)
《Python程式設計講義與程式集錦》好看嗎?作者張丁才編著由「滄海」出版,ISBN:978-986-363-127-9(平裝,204面,26公分),以...
![](https://i.imgur.com/y8QtHep.jpg)
《文心雕龍學思錄》樂學 978-986-88194-9-8 (精裝, NT$300, 252面, 21公分)
《文心雕龍學思錄》好看嗎?作者呂武志著由「樂學」出版,ISBN:978-986-88194-9-8(精裝,NT$300,252面,21公分),以下為此書...
![](https://i.imgur.com/y8QtHep.jpg)
《Python x Excel VBA x JavaScript: 網路爬蟲x實戰演練》碁峰資訊 978-986-502-769-8 (平裝, 640面, 23公分)
《PythonxExcelVBAxJavaScript:網路爬蟲x實戰演練》好看嗎?作者廖敏宏(廖志煌)著由「碁峰資訊」出版,ISBN:978-986-502-76...
![](https://i.imgur.com/y8QtHep.jpg)
《超??斯: 拼拔??力. A1》京尼教育科技 978-986-5574-04-8 (平裝, 24面, 30公分)
《超??斯:拼拔??力.A1》好看嗎?作者??利???由「京尼教育科技」出版,ISBN:978-986-5574-04-8(平裝,24面,30公分),以下為此...