این دقیقا همان چیزی است که استاندارد ردگیری از رباتها برای آن است. یک فایل متنی را در مسیر شناخته شده /robots.txt قرار دهید و خزنده های وب سازگار از آن اطاعت خواهند کرد. به طور خاص، شما می توانید خزنده های خاص را حذف کنید، یا ردیابی مسیرها و منابع خاص را ندهید. این به طور موثر وب سایت شما را "نامرئی" به موتورهای جستجوی استاندارد خواهد ساخت. البته، هرزنامه ها لزوما از سیاست های محرومیت شما تنظیم نمی شود، پس از محافظت از ربات های ناامن شما محافظت نخواهد شد.
برای جلوگیری از هرگونه ربات از خالی کردن هر صفحه در سایت شما، از
عامل: *
نادیده گرفتن: /
