روباتس دات تکست

robots.txt فایلی در ریشه دامنه است که قواعد Crawl برای User-agentهای مختلف را بیان می‌کند.

می‌توان مسیرهای غیرضروری یا فایل‌های خاص را از Crawl برخی ربات‌ها منع کرد.

محدودیت‌ها و جزئیات

Disallow راهکار امنیتی برای محافظت از داده محرمانه نیست و لزوما مانع ایندکس URL نمی‌شود.

نمونه فایل واقعی robots.txt

User-agent: *
Disallow: /admin/
Disallow: /checkout/
Allow: /
Sitemap: https://baversion.com/sitemap.xml

رباتس دات تکست فقط راهنمای خزنده‌هاست، نه مکانیزم امنیتی. پوشه خصوصی را با Authentication محدود کنید و برای جلوگیری از ایندکس صفحه، در صورت لزوم از noindex استفاده کنید. Blocking کامل در robots.txt ممکن است مانع دیده شدن noindex توسط خزنده شود.