一、先了解什麽是robots文件？

　　Robots是站點與spider溝通(tōng)的重要渠道(dào)，站點通(tōng)過robots文件聲明(míng)本網站中不想被搜索引擎收錄的部分或者指定搜索引擎隻收錄特定的部分。

　　二、robots功能用途是什麽？

　　robots協議用來(lái)告知搜索引擎哪些(xiē)頁面能被抓取，哪些(xiē)頁面不能被抓取;可(kě)以屏蔽一些(xiē)網站中比較大(dà)的文件，如：圖片，音(yīn)樂，視頻等，節省服務器(qì)帶寬;可(kě)以屏蔽站點的一些(xiē)死鏈接。方便搜索引擎抓取網站內(nèi)容;設置網站地圖連接，方便引導蜘蛛爬取頁面。

　　三、Robots.txt文件的作用是什麽？

　　一般來(lái)說出于安全的考慮，在網站seo優化時(shí)寫入robots.txt文件，實際上(shàng)就是告訴搜索引擎蜘蛛，網站上(shàng)哪些(xiē)內(nèi)容允許抓取，哪些(xiē)內(nèi)容不允許抓取，這樣做可(kě)以提高(gāo)搜索引擎的抓取效率，增加搜索引擎對網站的友(yǒu)好度。

　　四、Robots文件可(kě)以屏蔽的內(nèi)容是什麽？

　　1、圖片目錄圖片是構成網站的主要組成元素。随着現在建站越來(lái)越方便，大(dà)量CMS建站。就存在大(dà)量的沒有(yǒu)用到的圖片，建議你(nǐ)應該在robots.txt文件中進行(xíng)屏蔽，通(tōng)常的網站圖片目錄是：imags。或者img;

　　2、網站模闆目錄如上(shàng)面圖片目錄中所說，CMS的強大(dà)和(hé)靈活，網站的模闆目錄跟網站的內(nèi)容主題不符，不利于集中網站的相關度。模闆目錄的文件目錄是：templets

　　3、CSS、JS目錄的屏蔽這個(gè)經常看見我們有(yǒu)些(xiē)網站的css文件和(hé)js被收錄了，想要被收錄的文章沒被收錄，這對seo無用文件卻收錄，确實沒有(yǒu)這個(gè)必要，也不利于集中網站的相關度。

　　4、屏蔽雙頁面的內(nèi)容大(dà)家(jiā)都知道(dào)DEDECMS可(kě)以使用靜态和(hé)動态URL進行(xíng)同一篇內(nèi)容的訪問，如果你(nǐ)生(shēng)成全站靜态了，那(nà)你(nǐ)必須屏蔽動态地址的URL鏈接。這裏有(yǒu)兩個(gè)好處：

　　1)、搜索引擎對靜态的URL比動态的URL更友(yǒu)好、更容易收錄;

　　2)、防止靜态、動态URL能訪問同一篇文章而被搜索引擎判為(wèi)重複內(nèi)容。

　　3)、模闆緩存目錄很(hěn)多(duō)CMS程序都有(yǒu)緩存目錄，這種緩存目錄的好處我想不用說大(dà)家(jiā)也清楚了吧(ba)，可(kě)以非常有(yǒu)效的提升網站的訪問速度，減少(shǎo)網站帶寬，對用戶體(tǐ)驗也是很(hěn)好的。不過，這樣的緩存目錄也有(yǒu)一定的缺點，那(nà)就是會(huì)讓搜索引擎進行(xíng)重複的抓取，一個(gè)網站中內(nèi)容重複也是大(dà)祭，對網站百害而無一利，很(hěn)多(duō)使用CMS建站的朋友(yǒu)都沒有(yǒu)注意到，必須要引起重視。

　　4)被删除的目錄死鏈過多(duō)，對搜索引擎優化來(lái)說，是緻命的。

　　五、網站robots.txt文件生(shēng)成方法

　　首先登錄網站後台，選擇“我的站點”，在右側的欄目中找到“編輯”，然後找到需要做robots的頁面，點擊進去（如下圖所示）：

　　以上(shàng)內(nèi)容就是合肥網站推廣小(xiǎo)通(tōng)幹貨分享的robots文件用途和(hé)生(shēng)成方法，為(wèi)了寫這篇文章，小(xiǎo)通(tōng)可(kě)是研究了一個(gè)星期關于robots文件的內(nèi)容，就是希望能實實在在幫助到大(dà)家(jiā)，大(dà)家(jiā)可(kě)以動手操作嘗試，不動手操作，不認真研究，你(nǐ)始終邁不過這個(gè)坎，如果您覺得(de)這篇文章對您有(yǒu)所幫助，可(kě)以高(gāo)擡貴手，收藏我們的網站吧(ba)，再此感謝。