突破搜索引擎robots.txt限制:讓搜索引擎給你的網(wǎng)站做外鏈
我們知道搜索引擎的產(chǎn)品線很長(zhǎng),多個(gè)產(chǎn)品之間總不可能完全完美地配合,因此在robots.txt的限制收錄那里就產(chǎn)生了一個(gè)可以被利用的漏洞。
原理分析(以搜狗為例)
搜狗針對(duì)各個(gè)搜索引擎,對(duì)搜索結(jié)果頁(yè)面進(jìn)行了屏蔽處理。其中“/sogou?”、“/web?”等路徑均是結(jié)果頁(yè)面的路徑,那么,會(huì)不會(huì)有這樣一種情況?搜狗存在其他的搜索結(jié)果頁(yè)面路徑,但是在robots.txt中卻沒(méi)有申明屏蔽?為了驗(yàn)證這一猜想,我們到百度中搜索搜狗。
我們可以看到其中“/sie?”、“/sgo?”均為搜狗搜索結(jié)果頁(yè)面的路徑,但是在robots.txt文件中卻沒(méi)有被申明屏蔽!即是說(shuō)這樣路徑的頁(yè)面時(shí)允許被搜索引擎收錄,如果這樣的頁(yè)面的搜索結(jié)果全部都是自己的網(wǎng)站呢?那么就實(shí)現(xiàn)了讓搜索引擎給自己網(wǎng)站做外鏈的效果!
那么問(wèn)題來(lái)了?如果讓搜索結(jié)果全部都是自己的站點(diǎn)呢?很自然地就會(huì)想到站內(nèi)搜索!具體尋找站內(nèi)搜索參數(shù)的方式請(qǐng)自行搜索相關(guān)資料,此處直接說(shuō)明結(jié)果:搜狗的站內(nèi)搜索參數(shù)為insite,那么組裝成這樣一個(gè)網(wǎng)址:
http://www.sogou.com/sgo?query=SEO&insite=meeaxu.com
這個(gè)網(wǎng)址時(shí)可被收錄的、這個(gè)頁(yè)面的所有搜索結(jié)果均是指定網(wǎng)站的,將類似的網(wǎng)址在互聯(lián)網(wǎng)上進(jìn)行傳播,蜘蛛爬行到之后最終會(huì)入庫(kù)建立索引,最后達(dá)到了我們的目的:讓搜索引擎給自己的網(wǎng)站鏈接。
寫(xiě)在最后
這種方法的時(shí)效性不高,很多人都使用之后就會(huì)被修復(fù)。之所以要將原理清楚地描述出來(lái),是為了描述黑帽方法的發(fā)現(xiàn)過(guò)程。黑帽并不是簡(jiǎn)單地做什么站群、群發(fā)外鏈?zhǔn)裁吹?,更多的是利用搜索引擎本身的漏洞?lái)進(jìn)行優(yōu)化。本文僅僅是示例了一個(gè)非常簡(jiǎn)單的黑帽方法發(fā)現(xiàn)過(guò)程,更多大神都非常低調(diào),其發(fā)現(xiàn)的方法也并未在互聯(lián)網(wǎng)上傳播。本文僅僅是為了讓大家更了解黑帽,并非鼓勵(lì)大家使用黑帽的方式來(lái)進(jìn)行網(wǎng)站優(yōu)化,不僅傷害用戶也為互聯(lián)網(wǎng)帶來(lái)了更多污染。我希望大家更多地去考慮用戶體驗(yàn),去配合搜索引擎,同樣能夠達(dá)到最終目的。
版權(quán)聲明:本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái),僅供學(xué)習(xí)參考,不代表本站立場(chǎng),如有內(nèi)容涉嫌侵權(quán),請(qǐng)聯(lián)系alex-e#qq.com處理。