網(wǎng)站SEO優(yōu)化可以算是一門較為復(fù)雜的技術(shù)，至少在進(jìn)行SEO優(yōu)化的時候，有很多東西都是你需要關(guān)注的，接下來成都網(wǎng)站優(yōu)化公司小編為你帶來robots.txt文件寫法的重要性：

　　用戶點進(jìn)網(wǎng)站第一眼看到的基本上都是我們的網(wǎng)站首頁，也就是一個html+css制作的框架里邊包含的文字以及圖片，但是搜索引擎spider并不是如此，搜索引擎進(jìn)入我們的網(wǎng)站首要查看的就是robots.txt文件，如果網(wǎng)站存在robots.txt文件，搜索引擎機(jī)器人就會按照文件中的內(nèi)容來確認(rèn)訪問范圍，但若是robotx.txt文件不存在的話，所有的頁面以及鏈接就都將被爬取。

　　但是一個網(wǎng)站上通常都會存在很多的非必要性抓取信息，以及不重要的欄目，使用robots.txt屏蔽這些鏈接能夠很好的集中網(wǎng)頁權(quán)重避免權(quán)重流失，對于一些電商平臺來說，也能夠屏蔽一些付費頁面，防止用戶通過百度搜索快照查看，起到保存自己利益的好處。

　　robots.txt的制作方式

　　robots.txt是SEO名詞，所以做好一個網(wǎng)站的robots.txt文件的書寫，對于網(wǎng)站優(yōu)化是非常重要的。

　　寫法：

　　User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符

　　Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

　　Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

　　Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄

　　Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。

　　Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址

　　Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

　　Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

　　Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄

　　Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

　　Allow: .htm$ 僅允許訪問以”.htm”為后綴的URL。

　　Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片。

　　相信很多人看了以上的書寫方式心里都是很清晰明了的了，Disallow: 的作用的禁止搜索引擎爬取相應(yīng)的文件夾、鏈接，Allow:則是允許搜索引擎抓取對應(yīng)的目錄鏈接，希望大家看了以上的文章能夠?qū)懞胷obots.txt促進(jìn)網(wǎng)站排名哦~