robots.txt檔名必須小寫，主要語法如下：

1. User-Agent:
   表示不接受某Robot的抓取範例：
   User-Agent: *
   表示不接受任何Robot抓取
   User-Agent: Slurp
   Slurp是Yahoo! crawler的名稱，表示只有不接受Slurp這個Robot抓取，但接受其他Robot抓取
2. Disallow:
   表示在這個目錄之下的網頁不接受Robot抓取範例：
   Disallow: /
   表示根目錄下所有的網頁都不接受抓取 Disallow: /news
   表示只有news這個目錄下的網頁不接受抓取
3. 範例：
   User-agent: *
   Disallow: /cyberworld/map/
   Disallow: /tmp/
   Disallow: /foo.html
   表示所有Robot都不能抓取“/cyberworld/map/”、“/tmp/”和“/foo.html”三個目錄下的網頁。更多robots.txt的相關說明請參考RES (Robots Exclusion Standard)。