完全に構造化された Robots.txt のルールディレクティブを作成して、クローラーボットを許可または制限し、動的な XML サイトマップインデックスの場所を参照できます。
検索エンジンがページ構造をクロールするための明確なガイドラインを定義します。
クローラーボットが管理ダッシュボードや開発用パスなどの非公開エリアをインデックスしてクロールバジェットを浪費するのを防ぎます。
robots ディレクティブ内でサイトマップのパスを明示的に宣言し、クローラーがより速くリンクをマッピングできるように支援します。
100% ブラウザ上で設定が完結します。ドメインファイルの登録・保存・追跡は一切行いません。
Google のインデックス作成クローラー向けに、個別のルールを簡単に設定できます。
最終的なルールセットを、そのままアップロードできる整った robots.txt テキストファイルとして直接ダウンロードできます。
シンプルなドロップダウン設定で、標準的なデフォルトの許可/不許可ポリシー設定を指定できます。