ربات های خودکار موتورهای جستجوگر هستند که دنیای وب را کاوش می کنند. ربات ها در طراحی سایت فرقی میان یک فریم، عکس و یا فلش نمی گذارند.
در واقع ربات ها تنها محتوا و لینک را می شناسند. آن ها توانایی ورود به یک صفحه وب محافظت شده یا وارد کردن کلمه عبور را ندارند.
این اصطلاحات مربوط به برنامه ای در موتور های جست و جوی گر است، که وظیفه جمع کردن اطلاعات مختلف، از دیگر سایت ها را انجام می دهد.
ربات ها در واقع هر آن چه در لینک و عمل کرد آن ها جا گذاری شده است را انجام می دهند و نه چیز دیگری را . ربات ها با همان شناخت کلی که از آن ها داریم به صورت مجازی در قسمت برنامه ریزی شده برای خودشان ، فعالیت دارند.