Testerrobots.txt.
Jedna zła linijka w robots.txt potrafi wyciąć pół serwisu z Google. Pobierz plik prosto z domeny albo wklej jego treść, dodaj adresy do sprawdzenia — a tester pokaże, które są zablokowane, dla którego robota i przez którą regułę.
/
brak pasującej reguły (grupa: *) — dozwolone
/wp-admin/admin-ajax.php
reguła: Allow: /wp-admin/admin-ajax.php (grupa: *)
/koszyk/
reguła: Disallow: /koszyk/ (grupa: *)
/blog/moj-wpis
brak pasującej reguły (grupa: *) — dozwolone
/szukaj?s=fraza
reguła: Disallow: /*?s= (grupa: *)
Dopasowanie reguł liczy się w Twojej przeglądarce. Serwer pośredniczy wyłącznie w pobraniu pliku robots.txt z podanej domeny (przeglądarka nie może zrobić tego sama przez CORS) — nie zapisujemy ani domen, ani wyników.
Jak działa robots.txt i jak roboty wybierają reguły?
Plik robots.txt leży w katalogu głównym domeny i mówi robotom, których adresów nie powinny crawlować. Robot najpierw wybiera grupę reguł: szuka sekcji User-agent najlepiej pasującej do jego nazwy (Googlebot użyje sekcji „Googlebot", a dopiero w jej braku — sekcji „*"). Co ważne, grupy się nie sumują: jeśli istnieje sekcja dla Googlebota, sekcja „*" jest dla niego niewidoczna.
Wewnątrz grupy o wyniku decyduje najdłuższa pasująca reguła — nie kolejność w pliku. Przy remisie długości wygrywa Allow. Reguły wspierają dwa znaki specjalne: * (dowolny ciąg znaków) i $ (koniec adresu). Dokładnie ten algorytm — zgodny ze specyfikacją Google (RFC 9309) — implementuje tester, więc wynik odpowiada temu, co zrobi prawdziwy Googlebot.
Najczęstsze wpadki, które łapie ten tester: Disallow: / pozostawione po developerce (blokuje cały serwis), zablokowany katalog z CSS/JS (Google nie wyrenderuje strony poprawnie), brak Allow dla admin-ajax.php przy blokadzie /wp-admin/ oraz reguły z * użyte tak, że łapią więcej adresów, niż autor planował.
Robots.txt a indeksowanie — częste nieporozumienia
Robots.txt kontroluje crawlowanie, nie indeksowanie — i z tej różnicy wynika większość błędów:
Blokada ≠ wypadnięcie z indeksu
Adres zablokowany w robots.txt nadal może być w indeksie (z opisem „Zaindeksowano, ale zablokowano przez robots.txt"). Do usuwania z indeksu służy meta robots noindex — który wymaga, żeby robot MÓGŁ wejść na stronę.
Boty AI mają własne zasady
GPTBot, ClaudeBot czy PerplexityBot honorują robots.txt, ale każdy czyta własną sekcję User-agent. Blokując je, pamiętaj: znikniesz też z odpowiedzi AI — a te coraz częściej przyprowadzają klientów.
Nie blokuj CSS i JS
Google renderuje strony jak przeglądarka. Zablokowane style i skrypty oznaczają, że robot widzi rozsypaną stronę — co potrafi obniżyć oceny mobile-friendly i Core Web Vitals.
Sitemap w robots.txt
Linia „Sitemap: https://domena.pl/sitemap.xml" to najprostszy sposób wskazania mapy strony wszystkim robotom naraz — tester pokaże, czy ją masz.
FAQ
Pytania o robots.txt
Robots.txt to jeden z dziesiątek punktów
Sprawdź, co jeszcze blokuje Twoją stronę w Google.
Indeksacja, szybkość, meta tagi, dane strukturalne — bezpłatny audyt przejrzy najważniejsze punkty techniczne Twojej strony i wskaże, co poprawić najpierw.
Wynik w 30 sekund, bez rejestracji
Kontakt
Zacznijmy
rozmawiać.
Bezpłatna konsultacja, wycena w 24h i pełna transparentność od pierwszej rozmowy.
Telefon
503 158 822Adres
Brzozowa 31, 62-100 Wągrowiec