Gjenerator i Robots.txt

Ndërto direktiva rregullash Robots.txt plotësisht të strukturuara për të lejuar ose kufizuar robotët zvarritës dhe për të referuar vendndodhjet e indeksit të hartave tuaja dinamike XML.

Direktivat e Robots

Botët e kërkimit të parazgjedhur (User-agent: *):

Politika e Googlebot:

URL-ja e Sitemap XML:

Direktoritë e ndaluara (një për rresht):

Rezultati i Robots.txt:

Veçoritë

Gjenerues i mjetit Robots.txt

Përcaktoni udhëzime të qarta për motorët e kërkimit për të zvarritur strukturat e faqeve tuaja.

🤖

Mbrojtësi i robotëve zvarritës

Ndalon robotët zvarritës nga shpenzimi i kotë i buxhetit të zvarritjes duke indeksuar zona jo publike si panelet e administratorit ose shtigjet e zhvillimit.

📄

Indeksimi i Sitemap

Deklaron në mënyrë eksplicite shtegun e sitemap-it tuaj brenda direktivave të robots, duke i ndihmuar zvarritësit të hartëzojnë lidhjet më shpejt.

🔒

Pa ngarkime në server

Konfigurim 100% i bazuar në shfletues. Ne nuk regjistrojmë, ruajmë ose gjurmojmë skedarët e domenit.

🕷️

Personalizimi i Googlebot

Përcaktoni lehtësisht rregulla të veçanta për spiderët indeksues të Google.

💾

Integrimi i shkarkimit

Shkarkoni drejtpërdrejt grupin përfundimtar të rregullave si një skedar teksti robots.txt të pastër, të gatshëm për ngarkim.

⚙️

Mbivendosje e Parazgjedhur

Vendos cilësimet standarde të politikës së lejimit/ndalimit me një konfigurim të thjeshtë me menu rënëse.

Pyetje të Shpeshta

Një skedar robots.txt është një skedar teksti që webmasterët krijojnë për t'u udhëzuar robotëve të motorëve të kërkimit (si Googlebot) se si të zvarriten faqet në sajtin e tyre. Ai është pjesë e Protokollit të Përjashtimit të Robotëve (REP).

Skedari robots.txt duhet të ngarkohet në drejtorinë rrënjësore të hostit të faqes tuaj të internetit (p.sh. https://yourdomain.com/robots.txt) në mënyrë që merimangat e kërkimit ta zbulojnë automatikisht.

Jo domosdoshmërisht. Një rregull disallow në robots.txt i thotë Googlebot të mos zvarritet në atë faqe, por nëse një sajt tjetër lidhet me atë faqe, ajo mund të indeksohet përsëri. Për t'i fshehur plotësisht faqet, përdorni etiketa meta "noindex" ose autorizim serveri.

Lidhja e hartës tuaj XML të faqes në robots.txt u tregon robotëve të motorëve të kërkimit saktësisht se ku ta gjejnë strukturën e hartës së faqes, duke i ndihmuar ata të indeksojnë më shpejt artikujt tuaj më të fundit.

Po, robotët e kërkimit të motorëve të kërkimit mbështesin karaktere të gjera si * (çdo sekuencë karakteresh) dhe $ (fundi i rreshtit) për të përcaktuar përputhje modelesh.

Mund t'i verifikoni rregullat tuaja duke përdorur Mjetin e Testimit të Robots të Google Search Console ose opsionet e kontrollit të indeksimit në Bing Webmaster Tools.