1) User-Agent鍵

后面的內容對應的是各個具體的搜索引擎爬行器的名稱。如百度是Baiduspider，谷歌是Googlebot。

一般我們這樣寫：

User-Agent: *

表示允許所有搜索引擎蜘蛛來爬行抓取。如果只想讓某一個搜索引擎蜘蛛來爬行，在后面列出名字即可。如果是多個，則重復寫。

注意：User-Agent:后面要有一個空格。

在robots.txt中，鍵后面加：號，后面必有一個空格，和值相區分開。

2)Disallow鍵

該鍵用來說明不允許搜索引擎蜘蛛抓取的URL路徑。

例如：Disallow: /index.php 禁止網站index.php文件

Allow鍵

該鍵說明允許搜索引擎蜘蛛爬行的URL路徑

例如：Allow: /index.php 允許網站的index.php

通配符*

代表任意多個字符

例如：Disallow: /*.jpg 網站所有的jpg文件被禁止了。

結束符$

表示以前面字符結束的url。

例如：Disallow: /?$ 網站所有以?結尾的文件被禁止。

應該注意的是：

1，在"/robots.txt"文件中，至少要有一條Disallow記錄,允許收錄優先級要高于禁止收錄,如
User-agent: *
Allow: /a/b.htm
Disallow: /a/
則a目錄下b.htm可以訪問，其他禁止

2，注意路徑后面加斜杠和不加斜杠的區別
如果目錄后邊帶斜杠，那么訪問不帶斜杠的地址時還是可以訪問目錄首頁，如果想屏蔽掉整個目錄，建議不帶斜杠

 
3，robots文件只有放在根目錄才有效，放在子目錄沒效。

4，robots.txt文件用法舉例