Chciałbym zapytać bardziej obeznanych w tematyce o treść tego co powinno a co nie powinno znaleźć się w robot.txt.
I tak znalazłem jeden artykuł http://forum.opencart.pl/sklep-przekracza-obciazenie-cpu-prosze-o-pomoc-t3730-7.html ale nie daje jednoznacznej odpowiedzi.
Chodzi mi o to żeby roboty nie latały po częściach sklepu po których nie powinny.
Czy tak treść jest odpowiednia ??
- Kod: Zaznacz cały
User-agent: Googlebot
User-agent: holmes
User-agent: NetSprint
Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /image/
Disallow: /system/
Disallow: /admin
Disallow: /install/
Disallow: /cache/
Disallow: /library/
Disallow: /download/
Disallow: /cgi-bin/
Disallow: /vqmod/
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Sitemap: http://www.dystrybucjabhp.pl/sitemap.xml
Allow: /
User-agent: *
Disallow: /
A może któś podrzuci jakiś wzór ?
