Robots.txt
| لغت یا اصطلاح | توضیحات |
|---|---|
| Robots.txt | با این فایل متنی و ساده، میزان دسترسی موتور جستجوگر به محتوای یک “سایت” را می توان کنترل کرد. فایلی در دایرکتوری اصلی وبسایت است که دسترسی ربات خزنده (Spider) به وبسایت را کنترل می‌کند. این فایل می‌تواند اجازه دسترسی ربات خزنده خاصی به صفحه های خاصی از وب سایت را ایجاد و یا این دسترسی را محدود کند. وجود این فایل در سایت در مباحث سئو مهم میباشد. |
