可能有的朋友會奇怪，網(wǎng)站的頁面不是讓搜索引擎抓的越多越好嗎，怎么還會有怎么讓網(wǎng)站頁面內(nèi)容不被抓取的想法。

首先，一個網(wǎng)站可以分出去的權(quán)重是有限，哪怕是Pr10的站，也不可能無限的分權(quán)重出去。這權(quán)重包括鏈到別人網(wǎng)站的處鏈以及自己網(wǎng)站內(nèi)的內(nèi)鏈。

外鏈的話，除非是想坑被鏈的人。否則外鏈都是需要讓搜索引擎所抓取。這不在本文討論范圍之內(nèi)。

而內(nèi)鏈，因為有些網(wǎng)站有不少重復(fù)或冗余的內(nèi)容。比如一些按條件查詢的搜索結(jié)果。特別是一些B2C站，在專門查詢頁或在所有產(chǎn)品頁面的某個位置內(nèi)，都可以按產(chǎn)品類型，型號，顏色，大小等進行分類搜索。這些頁面雖然對瀏覽者來說是極大的方便，但對搜索引擎來說，這可是耗費蜘蛛極大的抓取時間，特別是網(wǎng)站頁面較多時。同時也會分散頁面權(quán)重,對SEO不利。

另外網(wǎng)站管理登陸頁面，備份頁面，測試頁面等等，也是站長不想讓搜索引擎所收錄的。

所以就有需要讓網(wǎng)頁的某些內(nèi)容，或某些頁面不被搜索引擎所收錄。

下面筆者先介紹一下較為有效的幾種方法：

1.在FLASH展示不想被收錄的內(nèi)容

眾所周知，搜索引擎對FLASH的內(nèi)容抓取能力有限，不能完全抓取所有FLASH內(nèi)的所有內(nèi)容。但遺憾的是，也不能完全保證FLASH的所有內(nèi)容都不會被抓取。因為谷歌和Adobe正努力的實現(xiàn)FLASH抓取技術(shù)。

2.使用robos文件

這是暫時最有效的方法，但有個很大的缺點。就是不傳出任何的內(nèi)容及鏈接。大家知道，在SEO來說比較健康的頁面應(yīng)該是有進有出的。有外鏈的鏈入，同時也頁面內(nèi)也需要有鏈到外部網(wǎng)站的鏈接，所以robots文件控制，讓此頁面只進不出，搜索引擎也不知道內(nèi)容是什么。會把此頁定為低質(zhì)量頁面。權(quán)重有可能受一定的懲罰。這個多用于網(wǎng)站管理頁面，測試頁面等。

3.使用nofollow標(biāo)簽包裹不想被收錄的內(nèi)容

這個方法也不能完全保證不被收錄，因為這并不是嚴格要求遵守的標(biāo)簽。另外，如果有外部網(wǎng)站鏈向了有nofollow標(biāo)簽的頁面。這樣就很有可能會被搜索引擎抓取。

4.用Meta Noindex標(biāo)簽加上follow標(biāo)簽

這個方法可以做到防止收錄而且還能傳遞出權(quán)重。要不要傳遞，看網(wǎng)站建設(shè)站長自己的需要。這個方法的缺點是，也是會較大的浪費蜘蛛的抓取頁面時間。

5.用robots文件的同時在頁面上使用iframe標(biāo)簽展示需要搜索引擎收錄的內(nèi)容robots文件可以阻止iframe標(biāo)簽以外的內(nèi)容被收錄。所以，可以把不想收錄的內(nèi)容放到正常頁面標(biāo)簽下。而想被收錄的內(nèi)容放在iframe標(biāo)簽內(nèi)。

緊接著，再說一下已經(jīng)失效的方法，大家以后不要用這些方法了。

1.使用表格

谷歌和百度早已經(jīng)能抓取表格用的內(nèi)容了，無法阻止收錄。

2.使用Javascript及Ajax技術(shù)

以現(xiàn)在的技術(shù)來說，Ajax和javascript現(xiàn)在的最終運算的結(jié)果還是以HTML的形式傳給瀏覽器以作顯示，所以這同樣無法阻止收錄。

初學(xué)者大多著眼于如何收錄，但細節(jié)決定成敗。怎么讓網(wǎng)站頁面內(nèi)容不被抓取也是SEO進階人士需要注意的。謝謝閱讀，希望能幫到大家，請繼續(xù)關(guān)注本站，我們會努力分享更多優(yōu)秀的文章。

國外服務(wù)器租用

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。