Jenga maelekezo kamili ya sheria ya Robots.txt kwa ruhusu au zuia bots za kufuatilia na rejea mahali pa indexi za sitemaps zako za XML zinazobadilika.
Eleza miongozo wazi kwa injini za utafutaji ili ziweze kutambaza miundo ya kurasa zako.
Inazuia roboti za kuvinjari kutumia bajeti ya kuvinjari kwa kuweka Kielezo cha majalala ambayo si ya umma kama dashibodi za admin au njia za mageuzi.
Inatangaza wazi njia yako ya sitemap ndani ya maelekezo ya robots ikisaidia crawlers kuchora viungo kwa haraka zaidi.
Usanidi wa asilimia 100 unaotumia kivinjari. Hatuna kusajili, kuhifadhi, wala kufuatilia faili za domain.
Mfafanue moja kwa moja kanuni tofauti kwa little vichwa vya sauti vya Google.
Pakua moja kwa moja seti ya kanuni ya mwisho kama faili ya maandishi ya robots.txt safi, tayari kwa kupakia.
Weka mipangilio ya sera ya默认 ya idhini/kukataa na urambazaji rahisi wa dropdown.