خزنده وب سایت، به طور خودکار وب سایت و صفحات آن را برای درک ساختار، محتوا و موارد دیگر آن اسکن می کند. اطلاعات شناسایی شده در این اسکن، تعیین خواهد کرد که یک وب سایت در چه قسمتی از یک موتور جستجو یا یک دایرکتوری قرار گیرد.
این اصطلاحات مربوط به برنامه ای در موتور های جست و جوی گر است، که وظیفه جمع کردن اطلاعات مختلف، از دیگر سایت ها را انجام می دهد.

خزنده وب سایت، به طور خودکار وب سایت و صفحات آن را برای درک ساختار، محتوا و موارد دیگر آن اسکن می کند. اطلاعات شناسایی شده در این اسکن، تعیین خواهد کرد که یک وب سایت در چه قسمتی از یک موتور جستجو یا یک دایرکتوری قرار گیرد.

آر.اس.اس فایلی با فرمت xml است. که آخرین عناوین سایت‌های خبری ، وبلاگ‌ها و سایت‌هایی از این دست را شامل می‌شود . با به روز شدن سایت ، فایل rss به طور خودکار به روز می‌شود. و به این ترتیب تازه‌ترین عناوین خبری ، چکیده‌ای از هر گزارش یا خبر را می توانید مشاهده کن