Generator robots.txt

Creează un fișier robots.txt cu mai multe blocuri user-agent, Allow/Disallow, opțional Crawl-delay, Host și linii Sitemap. Previzualizarea se actualizează pe măsură ce tastezi.

Blocuri User-agent

General

URL-uri Sitemap (câte unul pe linie) Host (opțional; folosit de unele crawlere)

Observații: Host este respectat de unele crawlere (de ex., Yandex). Crawl-delay nu este folosit de Google, dar poate fi utilizat de altele. Wildcard-urile * și $ sunt larg suportate (nu fac parte din RFC-ul de bază).

Previzualizare (robots.txt)

Tester URL

User-agent URL sau cale

Reamintire: robots.txt este public și are rol consultativ pentru crawlerele corecte; nu reprezintă un mecanism de control al accesului.

Comentarii (0)

Împărtășește-ți opinia — te rugăm să fii politicos și să rămâi la subiect.

Încă nu există comentarii. Lasă un comentariu și împărtășește-ți opinia!

Autentifică-te pentru a comenta

Parola

Ai uitat parola? Creează cont

Asted Cloud