抓取計(jì)策：哪些網(wǎng)頁(yè)是我們需要去抓取的，哪些是無(wú)需抓取的，哪些網(wǎng)頁(yè)是我們優(yōu)先抓取的，界說(shuō)明確往后，能儉仆很多無(wú)謂的爬取。更新策略：監(jiān)控列表頁(yè)來(lái)創(chuàng)造新的頁(yè)面;定期check 頁(yè)面是不是過(guò)期等等。抽取策略：我們應(yīng)當(dāng)若何的從網(wǎng)頁(yè)中抽取我們想要的內(nèi)容，不單僅包含事實(shí)下場(chǎng)的方針內(nèi)容，還有下一步要抓取的url.抓取頻率：我們需要公道的去下載一個(gè)網(wǎng)站，卻又不失效率。 　　讓我對(duì)“若何和爬蟲(chóng)對(duì)話 ”這個(gè)課題有了一些思讓我對(duì)“若何和爬蟲(chóng)對(duì)話 ”這個(gè)課題有了一些思慮，下面歸納的重要用于湊趣上面提到的爬蟲(chóng)“抓取策略”。
1、經(jīng)過(guò)過(guò)程 robots.txt 和爬蟲(chóng)對(duì)話：搜索引擎創(chuàng)造一個(gè)新站，原則上第一個(gè)訪謁的就是 robots.txt 文件，可以經(jīng)過(guò)過(guò)程 allow/disallow 語(yǔ)法告訴搜索引擎那些文件目錄可以被抓取和不成以被抓取。對(duì)于 robots.txt 的具體先容：about /robots.txt此外需要正視的是：allow/disallow 語(yǔ)法的順次是有辨此外

2、經(jīng)過(guò)過(guò)程 meta tag 和爬蟲(chóng)對(duì)話：比方有的時(shí)辰我們但愿網(wǎng)站列表頁(yè)不被搜索引擎收錄可是又但愿搜索引擎抓取，那么可以經(jīng)過(guò)過(guò)程告訴爬蟲(chóng)，其他常見(jiàn)的還有 noarchive，nosnippet，noodp 等。

3、經(jīng)過(guò)過(guò)程 rel=“nofollow” 和爬蟲(chóng)對(duì)話：對(duì)于 rel=“nofollow” 比來(lái)國(guó)平寫(xiě)了一篇文章《若何用好 nofollow》很值得一讀，信任讀完往后你會(huì)有很大的啟發(fā)。

4、經(jīng)過(guò)過(guò)程 rel=“canonical” 和爬蟲(chóng)對(duì)話：對(duì)于 rel=“canonical” 谷歌網(wǎng)站站短工具輔助有很具體的先容：深切體味 rel=“canonical”

5、經(jīng)過(guò)過(guò)程網(wǎng)站輿圖和爬蟲(chóng)對(duì)話：斗勁常見(jiàn)的是 xml 名目 sitemap 和 html 名目 sitemap，xml 名目 sitemap 可以豆割措置或者縮短縮短，此外，sitemap 的地址可以寫(xiě)入到 robots.txt 文件。

6、經(jīng)過(guò)過(guò)程網(wǎng)站打點(diǎn)員工具和搜索引擎對(duì)話：我們接觸最多的就是谷歌網(wǎng)站打點(diǎn)員工具，可以設(shè)定 谷歌bot 抓取的頻率，樊籬不想被抓取的鏈接，節(jié)制 sitelinks 等，此外，Bing 和 Yahoo 也都有打點(diǎn)員工具，百度有一個(gè)百度站長(zhǎng)平臺(tái)，內(nèi)測(cè)一年多了摹擬還是在內(nèi)測(cè)，沒(méi)有禮聘碼沒(méi)法注冊(cè)。
此外，這里面還衍生出一個(gè)概念，就是我一貫斗勁正視的網(wǎng)站收錄比，所謂網(wǎng)站收錄比=網(wǎng)站在搜索引擎的收錄數(shù)/網(wǎng)站真實(shí)數(shù)據(jù)量，網(wǎng)站收錄比越高，申明搜索引擎對(duì)網(wǎng)站的抓取越順?biāo)臁Ｇ覄t就想到這些，方針在于測(cè)驗(yàn)測(cè)驗(yàn)性的參議若何更有用的前進(jìn)網(wǎng)站在搜索引擎的收錄量。