فایل robots.txt یک فایل متنی ساده است که در ریشه وب‌سایت قرار می‌گیرد و به موتورهای جستجو (مانند گوگل، بینگ و یاهو) دستورالعمل‌هایی درباره چگونگی خزیدن (Crawling) و ایندکس کردن صفحات وب‌سایت ارائه می‌دهد. این فایل به موتورهای جستجو می‌گوید که کدام بخش‌های سایت را نباید خزیده یا ایندکس کنند و کدام بخش‌ها قابل خزیدن هستند.
نقش فایل robots.txt در سئو
فایل robots.txt به شما این امکان را می‌دهد تا:
- جلوگیری از خزیدن صفحات خاص: اگر صفحاتی دارید که نمی‌خواهید موتورهای جستجو آن‌ها را خزیده و ایندکس کنند (مانند صفحات مدیریت، فایل‌های خصوصی یا صفحات آزمایشی)، می‌توانید آن‌ها را با استفاده از robots.txt مسدود کنید.
- بهبود بودجه خزیدن (Crawl Budget): موتورهای جستجو زمان محدودی برای خزیدن وب‌سایت‌ها دارند. با استفاده از robots.txt می‌توانید موتورهای جستجو را به خزیدن صفحاتی که برای شما اهمیت دارند هدایت کنید و خزیدن صفحات بی‌ارزش یا غیرضروری را محدود کنید.
- بهینه‌سازی منابع سرور: جلوگیری از خزیدن صفحات غیرضروری می‌تواند به کاهش بار سرور کمک کند.
ساختار فایل robots.txt
یک فایل robots.txt از چندین دستورالعمل تشکیل شده است. هر دستورالعمل شامل دو بخش اصلی است:
- User-agent: تعیین می‌کند که دستورالعمل‌ها برای کدام موتور جستجو اعمال می‌شوند. اگر می‌خواهید دستورالعمل‌ها برای همه موتورهای جستجو اعمال شوند، از علامت * (Wildcard) استفاده می‌کنید.
- Disallow/Allow: این دستورها مشخص می‌کنند که کدام صفحات یا پوشه‌ها باید خزیده شوند (Allow) یا نباید خزیده شوند (Disallow).
مثال از یک فایل robots.txt ساده:
در این مثال:
- User-agent: * به این معناست که این دستورالعمل‌ها برای همه موتورهای جستجو اعمال می‌شوند.
- Disallow: /wp-admin/ و /wp-includes/، موتورهای جستجو را از خزیدن بخش مدیریت وردپرس و فایل‌های سیستمی منع می‌کند.
- Allow: /wp-admin/admin-ajax.php، این بخش از فایل‌های سیستمی به دلیل اهمیت آن برای کارکرد صحیح سایت، اجازه خزیدن دارد.
نوشتن فایل robots.txt در وردپرس
برای ایجاد یا ویرایش فایل robots.txt در وردپرس، چند روش وجود دارد:
1. استفاده از افزونه Yoast SEO
اگر از افزونه Yoast SEO استفاده می‌کنید، این افزونه ابزارهایی را برای مدیریت فایل robots.txt به شما ارائه می‌دهد.
مراحل ویرایش یا ایجاد فایل robots.txt با استفاده از Yoast SEO:
- وارد پیشخوان وردپرس خود شوید.
- از منوی سمت راست، به SEO و سپس Tools بروید.
- بر روی File editor کلیک کنید.
- در بخش Robots.txt، فایل فعلی شما نمایش داده می‌شود. اگر فایل موجود نباشد، می‌توانید از همین بخش یک فایل robots.txt ایجاد کنید.
- پس از وارد کردن یا ویرایش دستورها، بر روی Save changes to robots.txt کلیک کنید تا فایل ذخیره شود.
2. ایجاد دستی فایل robots.txt از طریق cPanel یا FTP
اگر به پنل هاست خود دسترسی دارید، می‌توانید به‌صورت دستی فایل robots.txt را در ریشه وب‌سایت خود قرار دهید یا آن را ویرایش کنید.
مراحل ایجاد فایل robots.txt به‌صورت دستی:
- به هاست خود وارد شوید و از طریق cPanel یا FTP به فایل‌های وب‌سایت خود دسترسی پیدا کنید.
- به دایرکتوری ریشه وب‌سایت (معمولاً پوشه public_html) بروید.
- اگر فایل robots.txt در این پوشه موجود نیست، یک فایل جدید با نام robots.txt ایجاد کنید.
- فایل robots.txt را باز کرده و دستورهای موردنظر خود را وارد کنید.
- تغییرات را ذخیره کرده و فایل را آپلود کنید.
3. ایجاد فایل robots.txt با استفاده از افزونه‌های دیگر
اگر از افزونه Yoast SEO استفاده نمی‌کنید، می‌توانید از سایر افزونه‌های وردپرس مانند All in One SEO Pack یا Rank Math برای مدیریت فایل robots.txt استفاده کنید.
مثال‌هایی از فایل robots.txt در وردپرس
در ادامه چند مثال از فایل robots.txt برای وردپرس آمده است:
مثال 1: جلوگیری از خزیدن بخش‌های سیستمی وردپرس
مثال 2: جلوگیری از خزیدن صفحات جستجو و صفحات آرشیو
مثال 3: اجازه دادن به همه صفحات، به جز صفحات مدیریت
مثال 4: جلوگیری از خزیدن فایل‌های خاص (مثلاً PDF)
چگونه فایل robots.txt را بررسی کنیم؟
پس از ایجاد یا ویرایش فایل robots.txt، مهم است که آن را تست کنید تا مطمئن شوید که به‌درستی کار می‌کند. برای این کار می‌توانید از ابزارهای زیر استفاده کنید:
- Google Search Console: در بخش Robots Testing Tool از Google Search Console می‌توانید فایل robots.txt سایت خود را بررسی کنید.
- بررسی دستی: برای مشاهده فایل robots.txt سایت خود، به آدرس زیر بروید:
جایگزین “example.com” با دامنه وب‌سایت خود کنید.
نکات مهم در استفاده از فایل robots.txt
- ایندکس شدن صفحات مهم را محدود نکنید: دقت کنید که صفحات مهم سایت شما (مثل صفحات محصولات یا مقالات) در فایل robots.txt مسدود نشوند.
- بودجه خزیدن را بهینه کنید: با استفاده از robots.txt، می‌توانید موتورهای جستجو را به خزیدن در صفحات مهم سایت هدایت کنید و از خزیدن در صفحات غیرضروری جلوگیری کنید.
- از خزیدن محتوای تکراری جلوگیری کنید: با جلوگیری از خزیدن صفحات تکراری (مانند صفحات دسته‌بندی‌ها و برچسب‌ها)، می‌توانید از مشکلات محتوای تکراری جلوگیری کنید.
نتیجه‌گیری
فایل robots.txt یک ابزار ساده اما قدرتمند برای کنترل نحوه خزیدن موتورهای جستجو در وب‌سایت شماست. با استفاده درست از این فایل، می‌توانید تجربه بهتری برای موتورهای جستجو و کاربران ایجاد کنید و سئو سایت خود را بهبود دهید.
Crawled – currently not indexed چیست و چطور در سرچ کنسول رفع می‌شود؟
