[Python 爬蟲這樣學,一定是大拇指拉!] DAY04 | 就是愛看書
![[Python 爬蟲這樣學,一定是大拇指拉!] DAY04](https://i.imgur.com/y8QtHep.jpg)
2021年9月19日—網路爬蟲(英語:webcrawler),也叫網路蜘蛛(spider),是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。
![[Python 爬蟲這樣學,一定是大拇指拉!] DAY04](https://i.imgur.com/y8QtHep.jpg)
引用自維基百科:
網路爬蟲(英語:web crawler),也叫網路蜘蛛(spider),是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。
網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所存取的頁面儲存下來,以便搜尋引擎事後生成索引供使用者搜尋。
爬蟲存取網站的過程會消耗目標系統資源。不少網路系統並不默許爬蟲工作。因此在存取大量頁面時,爬蟲需要考慮到規劃、負載,還需要講「禮貌」。 不願意被爬蟲存取、被爬蟲主人知曉的公開站點可以使用robots.txt檔案之類的方法避免存取。這個檔案可以要求機器人只對網站的一部分進行索引,或完全不作處理。
簡而言之,就是可以幫你自動蒐集網頁上資訊的程式拉。 欸!不對耶,這麼簡單的東西還需要介紹嗎?
嘿嘿嘿,魔鬼藏在細節裡,不知道大家有沒有注意到幾個重點:
爬蟲存取網站的過程會消耗目標系統資源。 不少網路系統並不默許爬蟲工作。 爬蟲需要考慮到規劃、負載。是的,這幾點才是網路爬蟲的博大精深之處! 那麼要怎麼樣才能做到呢?那得先對網路有一個基本的了解。 所以接下來的篇章開始,將會陸續介紹網路爬蟲需要知道的知識。
準備好了嗎!?GOGOGO!!
本篇章參考資料[1] Wiki - 網路爬蟲[1]
References Wiki - 網路爬蟲 (zh.wikipedia.org) ...數據時代必備工具– Python 爬蟲 | 就是愛看書
網路爬蟲 | 就是愛看書
認識網路爬蟲:爬蟲的應用與原理 | 就是愛看書
[Python 爬蟲這樣學,一定是大拇指拉!] DAY04 | 就是愛看書
終於有人把網路爬蟲講明白了 | 就是愛看書
網路爬蟲 | 就是愛看書
認識網路爬蟲:解放複製貼上的時間 | 就是愛看書
初學者必看!一個觀念,開啟Python 網路爬蟲成長之路!(含 ... | 就是愛看書
關於網路爬蟲 | 就是愛看書
![](https://i.imgur.com/y8QtHep.jpg)
《超??斯: 拼拔??力. A1》京尼教育科技 978-986-5574-04-8 (平裝, 24面, 30公分)
《超??斯:拼拔??力.A1》好看嗎?作者??利???由「京尼教育科技」出版,ISBN:978-986-5574-04-8(平裝,24面,30公分),以下為此...
![](https://i.imgur.com/y8QtHep.jpg)
《Python x Excel VBA x JavaScript: 網路爬蟲x實戰演練》碁峰資訊 978-986-502-769-8 (平裝, 640面, 23公分)
《PythonxExcelVBAxJavaScript:網路爬蟲x實戰演練》好看嗎?作者廖敏宏(廖志煌)著由「碁峰資訊」出版,ISBN:978-986-502-76...
![](https://i.imgur.com/y8QtHep.jpg)
《爬蟲在手資料我有: 30天Scrapy爬蟲實戰》博碩文化 978-986-434-743-8 (平裝, 256面, 23公分)
《爬蟲在手資料我有:30天Scrapy爬蟲實戰》好看嗎?作者簡學群著由「博碩文化」出版,ISBN:978-986-434-743-8(平裝,256面,23...
![](https://i.imgur.com/y8QtHep.jpg)
《Python程式設計講義與程式集錦》滄海 978-986-363-127-9 (平裝, 204面, 26公分)
《Python程式設計講義與程式集錦》好看嗎?作者張丁才編著由「滄海」出版,ISBN:978-986-363-127-9(平裝,204面,26公分),以...
![](https://i.imgur.com/y8QtHep.jpg)
《文心雕龍學思錄》樂學 978-986-88194-9-8 (精裝, NT$300, 252面, 21公分)
《文心雕龍學思錄》好看嗎?作者呂武志著由「樂學」出版,ISBN:978-986-88194-9-8(精裝,NT$300,252面,21公分),以下為此書...