User-agent: *
User-agent: *
# * - значит для всех пауков

# запрещение индексации служебных папок
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

# запрещение индексации трекбеков, фида и категорий
Disallow: */trackback/
Disallow: */feed/
Disallow: /category/* - я не закрываю, чего и вам советую

# запрещение индексации по расширению
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# определение главного зеркала сайта с www для Яндекса
User-agent: Yandex
Disallow:
Host: www.moviestwinks.net
Disallow: /streamrotator/out.php
Disallow: /out.php
Disallow: /cgi-bin/