robots.txt فایلی است که مدیران وبسایت ها درون دایرکتوری اصلی سایت خود ایجاد می کنند تا رفتار robot ها یا crawler ها یا spider ها را نسبت به صفحات وبسایت تغییر دهند.در حقیقت با به کار بردن فایل Robots.txt این امکان برای شما به وجود می‌آید که صفحات سایت را تنها مختص کاربران خود طراحی کنید و ترسی از محتوای تکراری، وجود لینک های بسیار آن در صفحه و تأثیر منفی آن بر سئو سایت نداشته باشید.
در واقع فایل robots.txt بخشی از پروتکل ردگیری رباتها (REP) و یک گروه از استاندارهای وب است که تنظیم میکند چگونه رباتها وب را ردیابی کنند. این رباتها با پیمایش خودکار در صفحات وب اطلاعات مربوط به صفحات را بدست می آورند و آنها را به موتور جستجوی مربوطه ارسال می کنند. در واقع این فایل از محتوای تکراری در ظاهر شدن در serp جلوگیری میکند و این امکان را می دهد که صفحات کم ارزش را از دید موتورهای جستجو پنهان کند در واقع شما اگر قصد محدود کردن روبات های گوگل را داشته باشید از فایل robots.txt استفاده میکنید و اگر از نظر شما تمام صفحات سایت قابلیت و ارزش ایندکس شدن توسط گوگل را دارند نیازی به این فایل نخواهید داشت و حتی قرار دادن یک فایل خالی با همین نام نیز لزومی ندارد حال در اینجا سوال بوجود می آید که اگر نخواهیم بعضی از صفحات وبسایت مانند ادمین پیج و ... در موتورهای جستجو ایندکس شود و در اختیار عموم قرار گیرد چه کنیم :
ادامه مطلب : http://stylenet.ir/robots-txt-and-everything-we-need-to-know-about-it
