Opencart Polska

nie, no to przy takich odwiedzinach na innych serwisach to nawet nie powinien się zająknąć - jeśli w 1.5.1 nie ma takiej opcji zarządzania robotami to pobierz plik tekstowy z http://www.google.com/robots.txt , wystarczy wrzucić do głównego folderu z OC.

Dokładnie, swoją drogą chyba nie polecam superhost.pl mam konto biznesowe - dość sporo hajsu a co rusz problemy.

Dzięki sechamtx.pl za pomoc, na dziś ograniczyłem:
css wrzuciłem te które możliwe css do jednego pliku (zawsze to kilka żądań mniej),
zmieniam sitemaps xml dla google (w tej chwili mam ustawione na daily więc codziennie pająk przelatuje mi ok 3 tyś moich stron.)
-> standardowe narzędzie w 1.5.1.1 Dodatki > Kanały produktu > google maps - niestety Narzędzia dla Webmasterów nie chce przyjąć dość dziwnego adresu (dystrybucjabhp.pl/index.php?route=feed/google_sitemap). Mam nadzieję, że zmiana w .htacess na:

Kod: Zaznacz cały

RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]

coś zmieni.

-> dodałem również robot.txt wg. twojego pliku (dzięki)

Będę informował jak się sprawa rozwija.


Tymczasem wielkie [piwo] dla Ciebie.

w tamtym robots co Ci podałem jest skumulowanych kilka opcji zupełnie niepotrzebnych przy OC bo to taki ogólny plik spreparowany dla różnych wariantów; tutaj przygotowałem Ci nowy plik http://schematx.pl/pobierz/robots.txt zawiera tylko te niezbędne dyrektywy dla oc. W razie potrzeby pisz, możesz też męczyć mnie na email: admin@schematx.pl , zawsze coś Ci pomogę.
A jeszcze takie pytanie czemu 1.5.1 a nie np. 1.5.5.1?

Nie jesteś pierwszym który ma problemy z superhost.pl - fakt mają dobrą ofertę jeśli chodzi o stosunek parametrów do ceny ale ktoś już właśnie mi się chwalił że czasem coś albo muli albo nie działa tak jak by się chciało.

Witam

Na serwerze jest zainstalowany/włączony jakiś system cache? np. APC?
Może warto użyć drugiego serwera dla obrazków...ładowanie obrazków z innego serwera zmiejszy obciążenie.

pozdrawiam
Adrian

oto obciążenie z dzisiejszego dnia widać, generowane jest miedzy 0.00 - 3.00, czyli na 100% nie spowodowane normalnym ruchem użytkowników. Google boot odwiedził mnie o 23.59 - więc pewnie on wygenerował obciążenie (ale takie aby przekraczać dwukrotnie limity?) być może buszują pajączki szkodniki, bo dochodzą czasem (co prawda do spamu) maile 'niby' z mojego adresu oczywiscie maja tylko sprytnie spreparowany nagłówek aby imitowały nadawcę.

Adicon - nie mam włączonego APC - nawet chyba superhost nie oferuje tego, obrazki (widząc w firebugu - page speed) są cachowane chyba w standardzie OC (pewności nie mam), niektóre nie mają daty wygaśnięcia - przydało by się poprawić - lecz nie bardzo wiem jak to zrobić.

schematx - dzięki będę miał na uwadze. Czyli teraz po zmianie robot.txt googleBot nie powinien latać po linkach typu: rekawice-robocze00?sort=p.price&order=ASC i innych filtrach. Bo zauważyłem ze w tej chwili takie adresy również odwiedza - co jest bez sensu.

Oc 1.5.1.1 dlatego, że jak był stawiany sklep (pisanie customowych funkcji trwało długo) raczkowała dopiero wersja 1.5.3

Dzieki za zainteresowanie - walczymy dalej.

User-agent: * - czyli dotyczy wszystkich robotów nie tylko googleBota, bo zauważyłem w tych adresach ip które podałeś jakiś indexer rosyjski więc tak na zaś niech się broni przed wszystkimi - dokładnie tak "wyłączając" choćby część /*?sort= powinniśmy się pozbyć niechcianych zapytań do filtrów i nieco ograniczyć ruch.

Nie chce zapeszać ale chyba problem został rozwiązany, po wgraniu robots.txt obciążenie spadło do ~ 100 % - 190 %.
Dalej latały po stronach ruskie, niemieckie i chińskie boty.

Dodałem w robots.txt kilka linijek tylko dla PL botów i google.

Kod: Zaznacz cały

User-agent: Googlebot
User-agent: holmes
User-agent: NetSprint
Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /image/
Disallow: /system/
Disallow: /admin
Disallow: /install/
Disallow: /cache/
Disallow: /library/
Disallow: /download/
Disallow: /cgi-bin/
Disallow: /vqmod/
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Sitemap: http://www.dystrybucjabhp.pl/sitemap.xml
Allow: /

User-agent: *
Disallow: /

Obciążenie nie przekracza 50 %. Mam nadzieję, że tak pozostanie.

Pozdrawiam