Generator pliku Robots.txt

Twórz w pełni ustrukturyzowane dyrektywy reguł pliku Robots.txt, aby zezwalać robotom indeksującym na dostęp lub go ograniczać oraz wskazywać lokalizacje indeksu dynamicznych map witryny XML.

Dyrektywy robots

Domyślne roboty wyszukiwania (User-agent: *):

Zasady Googlebot:

Adres URL mapy witryny XML:

Zabronione katalogi (jeden w każdej linii):

Wynik robots.txt:

Funkcje

Generator narzędziowy robots.txt

Zdefiniuj jasne wytyczne dla wyszukiwarek dotyczące indeksowania struktur Twojej strony.

🤖

Ochrona przed robotami indeksującymi

Uniemożliwia robotom indeksującym marnowanie budżetu indeksowania na obszary niepubliczne, takie jak panele administracyjne czy ścieżki deweloperskie.

📄

Indeksowanie mapy witryny

Jawnie deklaruje ścieżkę do mapy witryny w dyrektywach robots, co pomaga robotom indeksującym szybciej mapować linki.

🔒

Brak przesyłania na serwer

Konfiguracja w 100% oparta na przeglądarce. Nie rejestrujemy, nie zapisujemy ani nie śledzimy plików domeny.

🕷️

Dostosowanie Googlebota

Łatwo definiuj osobne reguły dla robotów indeksujących Google.

💾

Integracja pobierania

Pobierz bezpośrednio końcowy zestaw reguł jako czysty, gotowy do przesłania plik tekstowy robots.txt.

⚙️

Domyślne nadpisanie

Ustaw standardowe domyślne zasady zezwalania/blokowania za pomocą prostej konfiguracji z listy rozwijanej.

Często zadawane pytania

Plik robots.txt to plik tekstowy tworzony przez webmasterów w celu instruowania robotów wyszukiwarek (takich jak Googlebot), jak indeksować strony w ich witrynie. Jest on częścią protokołu Robots Exclusion Protocol (REP).

Plik robots.txt musi zostać przesłany do katalogu głównego serwera Twojej witryny (np. https://yourdomain.com/robots.txt), aby roboty wyszukiwarek mogły go automatycznie wykryć.

Niekoniecznie. Reguła disallow w pliku robots.txt nakazuje Googlebotowi, aby nie skanował danej strony, ale jeśli inna witryna prowadzi do niej link, strona może nadal zostać zaindeksowana. Aby całkowicie ukryć strony, użyj metatagów "noindex" lub autoryzacji na serwerze.

Umieszczenie odnośnika do mapy witryny XML w pliku robots.txt wskazuje robotom wyszukiwarek dokładne miejsce, w którym znajdą układ mapy Twojej witryny, co pomaga im szybciej indeksować najnowsze artykuły.

Tak, roboty wyszukiwarek obsługują znaki wieloznaczne, takie jak * (dowolny ciąg znaków) i $ (koniec wiersza), do definiowania dopasowań wzorców.

Możesz zweryfikować swoje reguły za pomocą narzędzia do testowania pliku robots w Google Search Console lub opcji sprawdzania indeksowania w Bing Webmaster Tools.