فایل robots چیست و چطور آن را تنظیم کنیم؟

فایل Robots.txt به سادگی رابط بین وب سایت شما و موتورهای جستجو مانند گوگل و روبات هایی است که می خواهند وب سایت شما را بخزند. در سطح وب، ربات های زیادی در حال خزیدن در سایت شما هستند، شما می توانید از این فایل برای هدایت ربات ها به سایت خود استفاده کنید. در این مقاله قصد داریم به این مطلب که فایل robots چیست، بپردازیم.

فایل robots چیست

برای درک این موضوع که فایل robots چیست باید گفت، به عنوان مثال می توانید به ربات گوگل بگویید که محتوای ویدیویی را در سایت شما مشاهده نکند، که مانع از بررسی و گزارش دادن بک لینک ها توسط ابزارهای تشخیص بک لینک می شود. یا مثلاً دارید بخشی در وب سایت خود که در آن مقالات و مقالات کوتاهی را منتشر می کنید و فقط می خواهید افرادی که از سایت شما بازدید می کنند آن مقالات را ببینند، اما این مقالات در گوگل ایندکس نشده اند، می توانید به راحتی با فایل Manage robots.txt این کار را انجام دهید.

با پیکربندی صحیح این فایل، می توانید کاری کنید که ربات ها سایت ما را آنطور که می خواهید مرور کنند. به عبارت ساده، شما به ربات ها می گویید که کدام قسمت های سایت ما را مجاز به دیدن و کدام قسمت ها را ندارند. تنظیمات صحیح این فایل به بهبود سئوی وب سایت شما کمک می کند. برای شرکت در دوره سئو سایت در کرج کلیک کنید.

روش دسترسی به robots.txt

در ادامه مطلب فایل robots چیست، باید بدانید که برای دسترسی به این فایل کافیست /robots.txt را به انتهای URL خود اضافه کنید. مثلا:

آدرس دامنه:

optmetrix.org
در اینجا نحوه مشاهده فایل Robot.txt آمده است:

optmetrix.org/robots.txt
توجه: مراقب باشید که به آدرس سایت خود یا سایتی که می خواهید تنظیمات آن را ببینید نیاز دارید.

چرا فایل Robots.txt مهم است

مورد دیگری که در مقاله فایل robots چیست بررسی میشود علت مهم بودن این فایل است، باید بدانیم که این فایل به چند دلیل مهم است:

1. ترافیک ربات به سایت خود را مدیریت کنید

مدیریت ترافیک ربات مهم است تا سرور اصلی سایت شما مشغول پردازش و بارگذاری صفحات برای ربات ها نباشد. از سوی دیگر، اکثر سرورها یا وب سایت ها از نظر پهنای باند و ترافیک محدود هستند. به همین دلیل است که مصرف وسایل نقلیه برای ربات ها بی فایده است.

2. از نمایش صفحات یا فایل ها در نتایج جستجوی گوگل جلوگیری کنید

اگر در فایل روبات ها مشخص کنید که ربات های گوگل اجازه دسترسی به صفحات را ندارند. این صفحات به هیچ وجه ممیزی نمی شوند، اما هیچ تضمینی وجود ندارد که این صفحه در نتایج جستجوی گوگل ظاهر نشود. روبات‌ها می‌توانند با استفاده از پیوندهای ارائه شده به همان صفحه، صفحه‌ای را فهرست‌بندی کنند و با استفاده از پیوند متنی یک صفحه را فهرست‌بندی کنند.

 در حال حاضر، بهترین راه برای حذف یک صفحه از نتایج جستجو، اضافه کردن دستور noindex به بالای صفحه است. اگر از وردپرس استفاده می کنید؛ افزونه هایی برای آن وجود دارد، اگر نه. باید از طراح وب سایت خود بخواهید که به شما اجازه دهد این کدها یا دستورات را به سربرگ هر صفحه اضافه کنید.

3. مدیریت بودجه

هرچه تعداد صفحات وب سایت شما بیشتر باشد، ربات های موتور جستجو به زمان بیشتری برای خزیدن و فهرست بندی صفحات نیاز دارند. این مدت زمان می تواند بر رتبه سایت شما در نتایج جستجو تأثیر منفی بگذارد.

چرا؟ خزنده موتور جستجوی گوگل (Googlebot خود ما!) دارای ویژگی به نام Crawl Budget است.

بودجه خزیدن در واقع تعداد صفحاتی است که ربات گوگل در یک روز در وب سایت شما می خزد و بررسی می کند. بودجه شما یا تعداد صفحاتی که Googlebot نشان می دهد با توجه به اندازه وب سایت شما (تعداد صفحات)، سلامت آن (بدون خطا) و تعداد بک لینک هایی که سایت شما دارد تعیین می شود. بهترین دوره وردپرس در کرج را در آموزشگاه پالیز سئو از دست ندهید.

شرایط فایل Robots.txt در وردپرس چیست

از موارد دیگر مطلب فایل robots چیست، شرایط استفاده از این فایل است. چند نکته در مورد موضوع فایل robots چیست وجود دارد که ارزش دانستن دارد:

نکته اول:

در گذشته توصیه می شد ادمین وردپرس یا سایت wp-admin را از طریق فایل robots.txt مسدود کنید تا ربات ها بتوانند به آن دسترسی داشته باشند. اما پس از آپدیت وردپرس در سال ۲۰۱۲، این مشکل دیگر مطرح نبود. زیرا وردپرس در سیستم جدید خود یک عنصر پیش فرض را به سربرگ فایل robots.txt اضافه کرد که شامل تگ noindex و خطی برای جلوگیری از دسترسی (عدم اجازه) می شود. بنابراین اکنون بدون نیاز به مشکل خاصی، صفحه مدیریت گروه سایت شما از فهرست ایندکس موتورهای جستجو حذف خواهد شد.

نکته دوم:

به طور پیش فرض سیستم مدیریت محتوای وردپرس دارای یک فایل robots.txt است که به آن فایل robots.txt مجازی می گویند. یعنی نمی توانید مستقیماً این فایل را پیدا و ویرایش کنید. تنها راه برای مشاهده این فایل، باز کردن آدرس مستقیم آن در مرورگرها (http://www.example.com/robots.txt)  است.

تنظیمات پیش فرض فایل robots.txt مجازی در وردپرس شامل موارد زیر است:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

در این حالت ربات ها به صفحه admin-ajax.php دسترسی دارند. اگر می خواهید بدون دستکاری خاصی این حالت را حذف کنید، باید به تنظیمات وردپرس در صفحه wp-admin بروید و گزینه Search Engine Discovery را فعال کنید تا دسترسی همه ربات ها به سایت شما مسدود شود. آموزش حرفه ای دوره فتوشاپ در کرج را با پالیز سئو تجربه کنید.

چگونه یک فایل robots.txt ایجاد کنیم

یکی از موارد مهم مطلب فایل robots چیست آشنایی با نحوه ایجاد این فایل است. قبل از ایجاد این فایل ابتدا مطمئن شوید که چنین فایلی قبلا در سرور سایت شما ایجاد نشده است، برای یافتن آن کافیست آدرس سایت خود را وارد کرده و در انتها عبارت /robots.txt را تایپ کنید و Enter را فشار دهید.

یعنی به این صورت: www.Modireweb.com/robots.txt

اگر هنگام باز کردن این صفحه خطای ۴۰۴ رخ دهد، به این معنی است که چنین فایلی ایجاد نشده است. اما اگر پس از بازدید از این سایت کد برنامه را پیدا کردید به این معنی است که سایت شما حاوی این فایل است. در این صورت باید از طریق FTP یا کنترل پنل وبسایت خود به فایل منیجر رفته و فایل robots.txt را در پوشه اصلی هاست پیدا کنید. سپس باید آن را با استفاده از یک ویرایشگر متن آنلاین اجرا و تغییر دهید. برای مشاهده شرایط ثبت نام در دوره طراحی سایت در کرج با ما تماس بگیرید.

همچنین می توانید این فایل را کپی کرده و در کامپیوتر خود ویرایش کنید و در نهایت فایل ذخیره شده را با فایل قبلی جایگزین کنید. اگر این فایل در میزبان وب شما قرار ندارد، به راحتی با استفاده از Notepad ویندوز یک فایل متنی txt ایجاد کنید و آن را به عنوان ربات (با حروف کوچک) ذخیره کنید. سپس دستورات لازم را در آن قرار داده و فایل را ذخیره کنید. در نهایت فایل آماده شده را با استفاده از روش های ذکر شده در بالا (از طریق FTP یا مدیر فایل کنترل پنل هاست) در دایرکتوری اصلی وب سایت آپلود کنید.

اعتبارسنجی فایل robots.txt

در ادامه مقاله فایل robots چیست لازم به ذکر است، باید بدانیم که ابزارهای مختلفی وجود دارد که می توانید از آنها برای تأیید فایل robots.txt خود استفاده کنید و مطمئن شوید که مشکلی وجود ندارد. اما توصیه ما استفاده از ابزار موتور جستجوی گوگل است. برای اینکه بتوانید از ابزار گوگل استفاده کنید کافیست به آدرس زیر بروید.

https://support.google.com/webmasters/answer/6062598?hl=ta

سپس روی دکمه Open robots.txt checker کلیک کنید. انجام این کار شما را به صفحه تایید فایل robots.txt می برد.

فایل robots.txt چگونه کار می کند

پس از اینکه دانستیم فایل robots چیست، با نحوه کار این فایل آشنا می شویم. ربات های گوگل به دو صورت سایت ما را مرور می کنند:

1. از طریق لینک
2. از طریق فایلtxt

• از طریق لینک

بررسی صفحات توسط ربات های گوگل از طریق لینک به این صورت است که ربات های گوگل لینک های داخلی قرار داده شده در صفحه را دنبال کرده و از آنها برای دسترسی به تغییرات و صفحات جدید در وب سایت ما استفاده می کنند. در نتیجه، آنها تصمیم می گیرند که آیا صفحات جدید را ایندکس کنند یا خیر. به عبارت دیگر ربات های گوگل ابتدا وارد وب سایت ما می شوند و از طریق لینک های موجود در صفحه اصلی و منوی صفحه به صفحات جدید دسترسی پیدا می کنند و اگر صفحات جدید دارای لینک های داخلی هستند، آن ها را فالو می کنند.

• از طریق فایلtxt

در روش اول، ربات های گوگل لینک ها را دنبال می کنند. اما اگر قبلاً از فایل robots.txt در سایت خود استفاده کرده اید، ربات های Google ابتدا می روند و دستورالعمل های شما را می خوانند. به عبارت دیگر با استفاده از فایل robots.txt می توانید صفحاتی را که می خواهید گوگل بخزد را انتخاب کنید و ربات های گوگل طبق دستور شما با استفاده از این فایل سایت را می خزند.

تنظیمات نادرست در فایل robots.txt

این مشکل می تواند به دو صورت ظاهر شود:

• خطای نوشتن کد (خطای نحوی)
• دسترسی ربات را غیرفعال کنید

حتی اگر هنگام نوشتن دستور خطایی رخ دهد، ربات ها از سایت شما بازدید می کنند و محتوا را ایندکس می کنند. اما اگر به طور تصادفی اجازه دسترسی به قسمت های خاصی از سایت مانند دسترسی به عکس ها را بدهید، ربات های موتورهای جستجو دیگر این محتوا را نمی خزند و این برای سئوی سایت شما اصلا خوب نیست. برای شرکت در دوره ICDL در کرج با کارشناسان ما تماس بگیرید.

نتیجه گیری

حال که پاسخ سوال فایل robots چیست را یافتید می بینید که فایل Robots.txt بسیار مفید و کاربردی است. اما بسیاری از دستورات غیر استاندارد هستند و توسط همه موتورهای جستجو پشتیبانی نمی شوند. بنابراین هنگام استفاده از این دستور باید بسیار مراقب بود. به طور کلی، دستورات اصلی که باید استفاده کنید به شرح زیر است.

• عامل کاربر: برای تماس با موتورهای جستجو مانند Google
• دسترسی ندهید: دسترسی به موتورهای جستجو را محدود کنید.

امیدواریم شما کاربران عزیز از خواندن مقاله فایل robots چیست استفاده لازم را برده باشید. در صورت داشتن هرگونه سوال یا مشکل در رابطه با فایل robots چیست را در قسمت نظرات مطرح کنید تا کارشناسان ما به شما کمک کنند. برای دریافت مشاوره شرکت در دوره ورد در کرج با ما تماس بگیرید.