User-agent: *
Disallow: /include* # блокирует доступ к страницам начинающимся с '/cgi-bin'
Disallow: /system
Disallow: /hr.php
Disallow: /friends.php
Disallow: /lin*.php
Disallow: /print*
 
User-agent: *
Allow: /
Sitemap: http://www.club63.ru/sitemap.xml
Host: www.club63.ru
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды