وردپرس

فایل وردپرس robot.txt کجا قرار دارد و چگونه ساخته می شود؟

وردپرس robot.txt معمولا در روت هاست قرار دارد. با استفاده از FTP و یا file manager هاست می توانید به آن دسترسی داشته باشید.
فایل وردپرس robot.txt را همانند هر فایل متنی می توانید با ویرایشگر متنی ساده مثل نوت پد باز کنید.
حال برای ایجاد فایل وردپرس robot.txt همانند روش زیر عمل نمایید. روش ساخت این فایل بسیار ساده است!
اگر وردپرس robot.txt در هاست شما وجود ندارد، زودتر این فایل را ایجاد نمایید. برای ساخت فایل وردپرس robot.txt، ابتدا در سیستم خود یک
فایل متنی (نوت پد) با نام robot.txt ایجاد کنید. سپس این فایل را در روت هاست آپلود نمایید.

نحوه استفاده از  فایل وردپرس robot.txt

پس از ایجاد وردپرس robot.txt، لازم است که شما اطلاعاتی برای استفاده از این فایل داشته باشید.
فرمت کلی فایل وردپرس robot.txt کاملا ساده است. در خط ابتدای این فایل، user agent ( عامل کاربر ) مشخص می شود. user agent در واقع نام ربات جستجو کننده است، که شما در تلاش برای برقراری ارتباط با آن هستید! برای مثال Googlebot (ربات گوگل) یا Bingbot (ربات بینگ).

نکته!! شما می توانید از علامت * برای دستور دادن به همه ربات ها استفاده کنید.

خطوط بعدی این فایل شامل دستورات Allow (اجازه دادن) یا Disallow (عدم اجازه) برای موتورهای جستجو است. از این طریق به موتورهای جستجو،
اعلام می کنید که چه بخش هایی را ایندکس کنند و چه بخش هایی را نمی توانند، ایندکس کنند.

کد زیر نمونه ای از فایل وردپرس robot.txt است:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

با توجه به مثال وردپرس robot.txt فوق داریم:

خط ۲، نشان دهنده ایندکس پوشه تصاویر آپلود شده توسط موتورهای جستجو است. یعنی موتورهای جستجو می توانند پوشه تصاویر را ایندکس کنند!

خط ۳ و ۴، نشان دهنده عدم ایندکس  پوشه افزونه ها و فایل readme.html توسط موتورهای جستجو است. به عبارتی موتورهای جستجو نمی توانند این دو بخش را با توجه به مثال فوق ایندکس کنند.

بهینه سازی فایل وردپرس robot.txt برای سئو وبسایت

حال نوبت به بهینه سازی آن می رسد. در ابتدا یک پیشنهاد برای وبمستران داریم!!
گوگل به وبمستران توصیه می کند که، از این فایل برای مخفی سازی محتواهای با کیفیت پایین استفاده نکنند.
اگر این چنین فکر می کنید با استفاده از فایل وردپرس robot.txt از ایندکس شدن دسته بندی ها، آرشیو صفحات و… توسط گوگل جلوگیری کنید.
متاسفانه فکر و کار شما نادرست است! پس بهتره که وظیفه این فایل را یادآوری کنیم.

یادآوری!! هدف وردپرس robot.txt، راهنمایی کردن ربات ها برای ایندکس مطالب سایت است. این فایل از خزیدن ربات ها در سایت شما جلوگیری نمی کند!!

اگر شما نمی خواهید بعضی از صفحات ایندکس شوند، می توانید از افزونه های وردپرس استفاده کنید. شما می توانید با نصب بعضی از افزونه های وردپرس، متا تگ هایی را همانند nofollow ،noindex را به آرشیو صفحات اضافه کنید. برای مثال از افزونه های سئو وردپرس استفاده کنید.

در ادامه نکات کلی را برای بهینه سازی این فایل برای شما می گوییم.

مورد اول: صفحاتی همانند ورود، ثبت نام، مدیریت (admin) را لازم نیست به  فایل وردپرس robot.txt اضافه کنید. به دلیل اینکه صفحه ورود و ثبت نام
دارای برچسب noindex هستند. در اینصورت قابل ایندکس نیستند!!

مورد دوم: همچنین توصیه می شود فایل readme.html را در در این فایل، غیر مجاز (disallow) کنید. شاید بپرسید چرا؟؟

زیرا بعضی از افراد با استفاده از فایل readme.html سعی می کنند، نسخه وردپرس را بدست آورند. حال با شخصی سازی این فایل از دسترسی
راحت افراد به  فایل readme.html جلوگیری می کنید. به عبارتی دیگر با disallow کردن این فایل از حملات مخرب در امان هستید!!

مورد سوم: در فایل وردپرس robot.txt، دایرکتوری افزونه های وبسایت خود را disallow کنید!

این کار امنیت سایت شما را افزایش می دهد و از حملات مخرب جلوگیری می کند. زیرا افرادی به دنبال پلاگین های خاص آسیب پذیر برای سو استفاده
از وبسایت ها هستند.
در این قسمت از آموزش برای شما سه روش کلی برای بهینه سازی فایل وردپرس robot.txt معرفی کردیم. امیدواریم با استفاده از این نکات بتوانید
این فایل را بهینه کنید.

افزودن نقشه XML سایت به فایل وردپرس robot.txt

اگر شما از افزونه وردپرس Yoast SEO یا سایر افزونه ها برای تولید نقشه XML سایتتون استفاده می کنید. این افزونه ها به صورت خودکار نقشه سایت تون را به خطوط مربوط این فایل اضافه می کنند.

اما اگر افزونه نتوانست این کار را انجام دهد!! در این صورت شما باید لینک نقشه XML را به صورت دستی به این فایل اضافه کنید. همانند نمونه زیر:

Sitemap: http://www.example.com/post-sitemap.xml

در مبحث آخر مقاله امروز هم دو نمونه از این فایل را به صورت ایده آل برای شما معرفی می کنیم.

فایل ایده آل وردپرس robot.txt

بسیاری از وبسایت های مشهور از این فایل ساده استفاده می کنند. همانند نمونه زیر:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این فایل ساده به همه ربات ها اجازه ایندکس محتوای سایت را می دهد. همچنین لینک هایی را برای نقشه XML سایت ارائه می دهد.

نمونه ی دیگری از فایل بهینه:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

منبع : همیار وردپرس