認識網路爬蟲:爬蟲的應用與原理 | 就是愛看書
![認識網路爬蟲:爬蟲的應用與原理](https://i.imgur.com/y8QtHep.jpg)
「網路爬蟲」是一個透過程式「自動抓取」網站資料的過程,在這資訊爆炸的時代中,資料的收集是相當重要的工作項目之一,但如果透過人工的方式來收集,效率低之外也將會 ...
![認識網路爬蟲:爬蟲的應用與原理](https://i.imgur.com/y8QtHep.jpg)
網路爬蟲是否合法?
可以直接透過網路爬蟲每天自動到別人的網站中抓取內容?這時你腦海裡可能會出現一個問題,這樣可以嗎?
就其本身而言,網路爬蟲和網頁抓取並不違法,像是 Google 搜尋引擎就是最好的例子,我們平日可以在 Google 上搜尋到資料,也是 Google 透過網路爬蟲來搜集來的
但還是要取決於如何抓取以及怎麼使用抓取到的資料,如果你過度使用網路爬蟲造成別人服務器很大的負擔,或者你透過爬蟲搭配駭客技術來攻擊網站,那麼也可能會因此違法,所以要當一個「有禮貌」的爬蟲
如何當一個有禮貌的爬蟲呢?
1. 遵守 robots.txt 的規範要確保爬蟲遵守 robox.txt 文件中定義的規範,此文件通常會在網站的根目錄中(www.example.com/robots.txt),它會說明爬蟲應該或是不應該爬的網站內容,例如在 Yahoo 奇摩電影的 robots.txt 中提到不限任何 User-agent,以及沒有限制哪些頁面不能爬取
什麼是網路爬蟲以及爬蟲程式如何工作? | 就是愛看書
何謂網路爬蟲? | 就是愛看書
文組也看得懂的 | 就是愛看書
終於有人把網路爬蟲講明白了 | 就是愛看書
網路爬蟲 | 就是愛看書
網路爬蟲 | 就是愛看書
認識網路爬蟲:爬蟲的應用與原理 | 就是愛看書
認識網路爬蟲:解放複製貼上的時間 | 就是愛看書
![](https://i.imgur.com/y8QtHep.jpg)
《Python x Excel VBA x JavaScript: 網路爬蟲x實戰演練》碁峰資訊 978-986-502-769-8 (平裝, 640面, 23公分)
《PythonxExcelVBAxJavaScript:網路爬蟲x實戰演練》好看嗎?作者廖敏宏(廖志煌)著由「碁峰資訊」出版,ISBN:978-986-502-76...
![](https://i.imgur.com/y8QtHep.jpg)
《爬蟲在手資料我有: 30天Scrapy爬蟲實戰》博碩文化 978-986-434-743-8 (平裝, 256面, 23公分)
《爬蟲在手資料我有:30天Scrapy爬蟲實戰》好看嗎?作者簡學群著由「博碩文化」出版,ISBN:978-986-434-743-8(平裝,256面,23...
![](https://i.imgur.com/y8QtHep.jpg)
《Python程式設計講義與程式集錦》滄海 978-986-363-127-9 (平裝, 204面, 26公分)
《Python程式設計講義與程式集錦》好看嗎?作者張丁才編著由「滄海」出版,ISBN:978-986-363-127-9(平裝,204面,26公分),以...
![](https://i.imgur.com/y8QtHep.jpg)
《超??斯: 拼拔??力. A1》京尼教育科技 978-986-5574-04-8 (平裝, 24面, 30公分)
《超??斯:拼拔??力.A1》好看嗎?作者??利???由「京尼教育科技」出版,ISBN:978-986-5574-04-8(平裝,24面,30公分),以下為此...
![](https://i.imgur.com/y8QtHep.jpg)
《文心雕龍學思錄》樂學 978-986-88194-9-8 (精裝, NT$300, 252面, 21公分)
《文心雕龍學思錄》好看嗎?作者呂武志著由「樂學」出版,ISBN:978-986-88194-9-8(精裝,NT$300,252面,21公分),以下為此書...