那些容易被忽略的蜘蛛陷阱
發(fā)布時間:2013/11/12
字體:大中小
摘要:那些容易被忽略的蜘蛛陷阱,常見蜘蛛陷阱有哪些,對搜索引擎來說,網(wǎng)站建設(shè)中有很多細(xì)節(jié)要求,為了避免站長建站的時候掉進(jìn)蜘蛛陷阱,合肥網(wǎng)站建設(shè)跟大家分享都有哪些蜘蛛陷阱。
對搜索引擎來說,網(wǎng)站建設(shè)中有很多細(xì)節(jié)要求,為了避免站長建站的時候掉進(jìn)蜘蛛陷阱,
合肥網(wǎng)站建設(shè)跟大家分享都有
哪些蜘蛛陷阱。
總的來說蜘蛛陷阱有一下幾種情況,
動態(tài)URL,F(xiàn)lash動畫,JS鏈接,F(xiàn)rame框架,各種跳轉(zhuǎn),不合理的鏈接結(jié)構(gòu),我們了解比較多的也就這些,下面簡單來介紹一下。
一,動態(tài)的URL
我們都知道URL鏈接蜘蛛是可以抓取的,動態(tài)URL都是在數(shù)據(jù)庫中直接生成的,URL中有很多中文標(biāo)點符號,比如等號問號等,這樣的網(wǎng)址是不利于蜘蛛抓取的,還有可能會造成死循環(huán),這就是一個蜘蛛陷阱,所以建議大家只用靜態(tài)URL,利于網(wǎng)站建設(shè)和優(yōu)化。
二,F(xiàn)lash動畫
Flash動畫也是我們常見的,之所以把它說成陷阱,是因為蜘蛛識別不了Flash。我們見過的很多網(wǎng)站首頁都是一個大的Flash動畫,然后再進(jìn)入到內(nèi)頁,這對用戶來說沒什么影響,而對蜘蛛來說就困難了,F(xiàn)lash阻礙了蜘蛛抓取內(nèi)頁。如果一定要使用Flash動畫,最好有鏈接通向內(nèi)頁。
三,JS鏈接
程序員都應(yīng)該知道,JS可以給人的視覺帶來一定的效果,還會用JS腳本生成導(dǎo)航系統(tǒng),這樣做也是不對的,蜘蛛也不認(rèn)識JS。如果將需要被爬行的鏈接一同放進(jìn)JS中,蜘蛛就無法抓取,只要將不需要被爬行的鏈接放進(jìn)
JS效果中就可以了,還要避免使用太多JS特效。
四,F(xiàn)rame框架
Frame框架也是阻礙蜘蛛爬行的一道坎,和前面說的Flash和JS都是一樣的,所以在網(wǎng)站建設(shè)和優(yōu)化中是不可取的。
五,網(wǎng)站跳轉(zhuǎn)
我們見過很多種跳轉(zhuǎn),301重定向的我們最常見的,301和302跳轉(zhuǎn)是最合理的跳轉(zhuǎn),蜘蛛對他們并不反感,而其他跳轉(zhuǎn)就不可以了。黑帽多是使用跳轉(zhuǎn)去黑別人的網(wǎng)站,其他JS跳轉(zhuǎn)和代碼跳轉(zhuǎn)最好不要使用。這里要說明的一點就是404頁面一定要使用代碼跳轉(zhuǎn),時間不能超過5秒。