確實，通過這些原本主要是用來顯示網(wǎng)站的服務運行 Python 腳本有點兒復雜。比如，你可能會發(fā)現(xiàn)網(wǎng)絡爬蟲運行時網(wǎng)站的加載速度變慢了。其實，在整個采集任務完成之前頁面都是不會加載的（得等到所有“print”語句的輸出內(nèi)容都顯示完）。這可能會消耗幾分鐘，幾小時，甚至永遠也完成不了，要看程序的具體情況了。雖然它最終一定能完成任務，但是可能你還想看到實時的結(jié)果，這樣就需要一臺真正的服務器了。

從云主機運行

雖然云計算的花費可能是無底洞，但是寫這篇文章時，啟動一個計算實例最便宜只要每小時 1.3 美分（亞馬遜 EC2 的 micro 實例，其他實例會更貴），Google 最便宜的計算實例是每小時 4.5 美分，最少需要用 10 分鐘。考慮計算能力的規(guī)模效應，從大公司買一個小型的云計算實例的費用，和自己買一臺專業(yè)實體機的費用應該差不多——不過用云計算不需要雇人去維護設備。

設置好計算實例之后，你就有了新 IP 地址、用戶名，以及可以通過 SSH 進行實例連接的公私密鑰了。后面要做的每件事情，都應該和你在實體服務器上干的事情一樣了——當然，你不需要再擔心硬件維護，也不用運行復雜多余的監(jiān)控工具了。

總結(jié)

爬蟲被封禁常見原因列表

如果你一直被網(wǎng)站封殺卻找不到原因，那么這里有個檢查列表，可以幫你診斷一下問題出在哪里。

首先，檢查 JavaScript 。如果你從網(wǎng)絡服務器收到的頁面是空白的，缺少信息，或其遇到他不符合你預期的情況（或者不是你在瀏覽器上看到的內(nèi)容），有可能是因為網(wǎng)站創(chuàng)建頁面的JavaScript 執(zhí)行有問題。

檢查正常瀏覽器提交的參數(shù)。如果你準備向網(wǎng)站提交表單或發(fā)出POST請求，記得檢查一下頁面的內(nèi)容，看看你想提交的每個字段是不是都已經(jīng)填好，而且格式也正確。用 Chrome 瀏覽器的網(wǎng)絡面板（快捷鍵 F12 打開開發(fā)者控制臺，然后點擊“Network”即可看到）查看發(fā)送到網(wǎng)站的POST命令，確認你的每個參數(shù)都是正確的。

是否有合法的 Cookie？如果你已經(jīng)登錄網(wǎng)站卻不能保持登錄狀態(tài)，或者網(wǎng)站上出現(xiàn)了其他的“登錄狀態(tài)”異常，請檢查你的 cookie。確認在加載每個頁面時 cookie 都被正確調(diào)用，而且你的 cookie 在每次發(fā)起請求時都發(fā)送到了網(wǎng)站上。

IP 被封禁？如果你在客戶端遇到了 HTTP 錯誤，尤其是 403 禁止訪問錯誤，這可能說明網(wǎng)站已經(jīng)把你的 IP 當作機器人了，不再接受你的任何請求。你要么等待你的 IP 地址從網(wǎng)站黑名單里移除，要么就換個 IP 地址（可以去星巴克上網(wǎng)）。如果你確定自己并沒有被封殺，那么再檢查下面的內(nèi)容。

確認你的爬蟲在網(wǎng)站上的速度不是特別快。快速采集是一種惡習，會對網(wǎng)管的服務器造成沉重的負擔，還會讓你陷入違法境地，也是 IP 被網(wǎng)站列入黑名單的首要原因。給你的爬蟲增加延遲，讓它們在夜深人靜的時候運行。切記：匆匆忙忙寫程序或收集數(shù)據(jù)都是拙劣項目管理的表現(xiàn)；應該提前做好計劃，避免臨陣慌亂。

還有一件必須做的事情：修改你的請求頭！有些網(wǎng)站會封殺任何聲稱自己是爬蟲的訪問者。如果你不確定請求頭的值怎樣才算合適，就用你自己瀏覽器的請求頭吧。

確認你沒有點擊或訪問任何人類用戶通常不能點擊或接入的信息。

如果你用了一大堆復雜的手段才接入網(wǎng)站，考慮聯(lián)系一下網(wǎng)管吧，告訴他們你的目的。試試發(fā)郵件到 webmaster@< 域名 > 或 admin@< 域名 >，請求網(wǎng)管允許你使用爬蟲采集數(shù)據(jù)。管理員也是人嘛！