合肥網(wǎng)站優(yōu)化
文章閱讀
網(wǎng)建技巧
優(yōu)化技巧
網(wǎng)建問題
謹宸新聞
行業(yè)新聞

首頁 > 合肥網(wǎng)站優(yōu)化 > 正文

網(wǎng)站的Robots文件的使用!

發(fā)布時間:2011/09/02字體:
摘要:網(wǎng)站的Robots文件的使用!,網(wǎng)站的Robots文件的使用,我們做優(yōu)化的人,很多看的就是看的是別人網(wǎng)站的收錄情況,從來不關心別人網(wǎng)站的禁止情況!但我們還是要考慮網(wǎng)站的Robots文件的使用!
我們做優(yōu)化的人,很多看的就是看的是別人網(wǎng)站的收錄情況,從來不關心別人網(wǎng)站的禁止情況!呵呵,合肥網(wǎng)絡公司小編也很少關心這個情況,可能我們在觀察一個網(wǎng)站的質(zhì)量時,我們更多的看的是別人站的收錄情況,和外鏈情況!我們也沒必要去了解太多的有關別人禁止的情況!不過,在建站的初期我們的應該更多的關心我們哪些東西能給人看,哪些東西禁止人看!這時,我們就要考慮我們的網(wǎng)站的Robots文件的使用!

針對Robots文件的創(chuàng)建,之前合肥網(wǎng)絡公司小編有說過,今天之所以再次拿出來講講,第一是給自己一次再次認識和學習,第二是希望對看到這篇文章的朋友對認識Robots文件有所幫助!

我們也都知道,在和別人換鏈接時,最怕的就是別人用JS,flash鏈接,使用nofollow等方法,這樣和你鏈接對你沒有多大作用!但如果你想限制你的不想要被搜索引擎收錄的網(wǎng)站網(wǎng)頁,也使用這種方法時,恐怕會達不到你要的效果!robots文件,就可以達到你要限制被搜索引擎收錄的效果!

搜索引擎蜘蛛訪問網(wǎng)站時通常會查看一下網(wǎng)站的根目錄下是否有一個以“robots.txt”命名的純文本文件,robots.txt的作用是用于指令搜索引擎禁止抓取網(wǎng)站的某些內(nèi)容或者允許抓取某些制定的內(nèi)容。由于有的服務器設置有點問題,robots文件不存在時會返回202狀態(tài)碼及一些錯誤信息,而不是404狀態(tài)碼,這有可能導致搜索引擎錯誤解讀robots文件信息,所以就算你要允許蜘蛛抓取所有信息,也要建一個空的 !
下面我們把有關robots文件的注意事項說上幾點!
robots.txt文件放在根目錄下,注意如下幾點:
1.必須命名為:robots.txt,并且字母都是小寫,robot后面加”s”。
2.robots.txt必須放置在一個網(wǎng)站的根目錄下。如:通過http://m.fn9c.com/robots.txt 可以成功訪問到,則說明設置成功。
3.Robots文件由記錄組成,記錄行之間必須以空行分開。
一般情況下,robots.txt里只寫著兩個函數(shù):User-agent和 Disallow。一般格式如下:
User-agent:* Disallow:/
以上表示robots文件禁止所有搜索引擎抓取任何信息。當然如何設置你禁止的內(nèi)容,還要看你的具體網(wǎng)站,小編這里只是點到為止!希望對你在以后建robots文件時,有所幫助!
本文標題:網(wǎng)站的Robots文件的使用!
本文網(wǎng)址:http://m.fn9c.com/youhuajiqiao/386.html
原創(chuàng)網(wǎng)址:合肥網(wǎng)絡公司<謹宸科技> 版權所有,轉(zhuǎn)載請注明出處,并以鏈接形式鏈接網(wǎng)址:m.fn9c.com
文章標簽:robots文件 搜索引擎 收錄 禁止
 上一篇:簽約合肥綠博新能源科技公司網(wǎng)站建設
 下一篇:網(wǎng)站的Robots文件的使用!