Generátor Robots.txt

Vytvořte plně strukturované direktivy pravidel Robots.txt pro povolení nebo omezení prohledávacích robotů a odkazujte na umístění indexů vašich dynamických XML sitemap.

Direktivy pro roboty

Výchozí vyhledávací boti (User-agent: *):

Zásady Googlebota:

URL adresa Sitemap XML:

Zakázané adresáře (jeden na řádek):

Výstup Robots.txt:

Funkce

Generátor nástroje Robots.txt

Definujte jasné pokyny pro vyhledávače k procházení struktur vašich stránek.

🤖

Ochrana proti crawler botům

Zabraňuje crawler botům plýtvat rozpočtem na procházení indexováním neveřejných oblastí, jako jsou administrátorské panely nebo vývojářské cesty.

📄

Indexace sitemap

Explicitně deklaruje cestu k vaší mapě stránek uvnitř direktiv robots, což pomáhá prohledávačům mapovat odkazy rychleji.

🔒

Žádné nahrávání na server

100% konfigurace v prohlížeči. Neregistrujeme, neukládáme ani nesledujeme soubory domén.

🕷️

Přizpůsobení Googlebota

Snadno definujte odlišná pravidla pro indexovací roboty Google.

💾

Integrace stahování

Stáhněte si přímo konečnou sadu pravidel jako čistý textový soubor robots.txt připravený k nahrání.

⚙️

Výchozí přepsání

Nastavte standardní výchozí nastavení zásad povolení/zakázání pomocí jednoduché konfigurace rozevíracího seznamu.

Často kladené otázky

Soubor robots.txt je textový soubor, který vytvářejí správci webů, aby instruovali roboty vyhledávačů (jako je Googlebot), jak procházet stránky na jejich webu. Je součástí protokolu Robots Exclusion Protocol (REP).

Soubor robots.txt musí být nahrán do kořenového adresáře hostitele vašeho webu (např. https://yourdomain.com/robots.txt), aby jej vyhledávací roboti mohli automaticky objevit.

Ne nezbytně. Pravidlo disallow v robots.txt říká Googlebotu, aby tuto stránku neprocházel, ale pokud na ni odkazuje jiný web, může být stále indexována. Chcete-li stránky zcela skrýt, použijte meta značky "noindex" nebo autorizaci serveru.

Propojení vašeho XML sitemap v robots.txt říká robotům vyhledávačů přesně, kde najít rozvržení vaší mapy webu, což jim pomáhá rychleji indexovat vaše nejnovější články.

Ano, vyhledávací roboti podporují zástupné znaky jako * (libovolná sekvence znaků) a $ (konec řádku) pro definování shod vzorů.

Pravidla můžete ověřit pomocí nástroje Robots Testing Tool ve službě Google Search Console nebo pomocí možností kontroly indexace v Bing Webmaster Tools.