مرجع طراحی سایت حرفه ای

آیا برای وبسایت وردپرسی به پوشه robots.txt احتیاج داریم؟
در‌حالتی که شما هم طراحی وب سایت خویش را با وردپرس ایفا داده اید و هنوز فولدر robots.txt ندارید، پس موتورهای کاوش همگی مکان وب سایت شما‌را ایندکس کرده اند (مگر اینکه با yoast بهینه سازی دسترسی را بسته باشید البته مراد اینجانب فولدرهایی مثل uploads میباشد). با پلاگین yoast سئو نیز نمی توانید دسترسی به‌این فولدرها را ببندید.
تا‌هنگامیکه وب سایت شما کودک میباشد و صفحه های متعددی ندارید، نبودن این پوشه مشکلی تولید نمی نماید البته هنگامی تارنما شما وسیع خیس و تعداد صفحه های بیشتر خواهد شد، رئیس crawl budget یا این که هنگامی که گوگل برای ایندکس روزمره وب سایت شما تخصیص می‌دهد از التفات بالایی بهره مند می‌گردد.

Crawl budget چیست؟
رباتهای گوگل سهم مشخصی را برای گشت و گذار و ایندکس مطالب هر وب سایت تخصیص می‌دهند. یعنی هربار که به وبسایت شما میایند مقدار معینی صفحه ها را بازدید می نمایند و در‌صورتی‌که درین مقطع کل صفحه ها شما بازدید نشد، از وبسایت میروند و وهله آینده که برگشتند ادامه میدهند. طراحی سایت در مشهد در شرایطی‌که این بازه زمانی را صرف بازدید صفحه های بی التفات نمایند، مطالب و صفحه ها اساسی شما سرعت ایندکس زیر تری خواهید داشت.
این نقص‌ با بستن دسترسی موتورهای کاوش به صفحاتی که نیازی وجود ندارد به آن ها راز بزند، مانند برچسب ها، فایل پوسته، wp-admin، content و … حل می گردد. با این فعالیت دیگه موتورهای کاوش هنگامی که روی تارنما شما صرف می نمایند یا این که به عبارتی crawl buget را تنها صفحه ها مقصود و پر ارزش شمارا ایندکس می نمایند.
با نصب پلاگین yoast بهینه سازی و هسته وردپرس بعضی دسترسی های حساس مانند فایل wp-admin را به صورت پیش فرض با یک خط کد در هد هر فولدر می بندد.

مهمترین کاربرد robots.txt
در‌حالتی که از وردپرس برای ساخت وب سایت به کار گیری می‌کنید، مطلقا میدانید در حالتی‌که قصد بستن دسترسی موتورهای کاوش به یک کاغذ یا این که نوشته دارید، شایسته ترین مورد پلاگین yoast بهینه سازی میباشد، البته در مجموع در CMS های دیگر غیر از وردپرس، بستن یک برگه بخصوص در تارنما با robots.txt به آسانی قابلیت پذیر میباشد.
هرچند نوایندکس کردن یک شیت برای مخفی کردن یک برگه از نگاه همگانی ممکن وجود ندارد البته در شرایطی‌که نمی‌خواهید در نتیجه ها کاوش چشم خواهد شد، می بایست نوایندکس نمائید.
ولی در‌صورتی‌که به هر دلیلی بایستی با robots.txt پیش بروید، پوشه شما این چنین می بایست نوشته خواهد شد:

*:User-agent

/ :Disallow

User-agent: Googlebot

/Disallow: /photos

User-agent: bingbot

/Disallow: /not-for-bing

خرد و والا تایپ کردن حروف disallow یا این که Allow اهمیتی ندارد ولی اعتنا فرمائید نشانی url را دقیقا و عینا بنویسید، /photos/ با /Photos/ فرق خواهد داشت.

آیا برای وبسایت وردپرسی به پوشه robots.txt احتیاج داریم؟
در‌حالتی که شما هم طراحی وب سایت خویش را با وردپرس ایفا داده اید و هنوز فولدر robots.txt ندارید، پس موتورهای کاوش همگی مکان وب سایت شما‌را ایندکس کرده اند (مگر اینکه با yoast بهینه سازی دسترسی را بسته باشید البته مراد اینجانب فولدرهایی مثل uploads میباشد). با پلاگین yoast سئو نیز نمی توانید دسترسی به‌این فولدرها را ببندید.
تا‌هنگامیکه وب سایت شما کودک میباشد و صفحه های متعددی ندارید، نبودن این پوشه مشکلی تولید نمی نماید البته هنگامی تارنما شما وسیع خیس و تعداد صفحه های بیشتر خواهد شد، رئیس crawl budget یا این که هنگامی که گوگل برای ایندکس روزمره وب سایت شما تخصیص می‌دهد از التفات بالایی بهره مند می‌گردد.

Crawl budget چیست؟
رباتهای گوگل سهم مشخصی را برای گشت و گذار و ایندکس مطالب هر وب سایت تخصیص می‌دهند. یعنی هربار که به وبسایت شما میایند مقدار معینی صفحه ها را بازدید می نمایند و در‌صورتی‌که درین مقطع کل صفحه ها شما بازدید نشد، از وبسایت میروند و وهله آینده که برگشتند ادامه میدهند. طراحی سایت در مشهد در شرایطی‌که این بازه زمانی را صرف بازدید صفحه های بی التفات نمایند، مطالب و صفحه ها اساسی شما سرعت ایندکس زیر تری خواهید داشت.
این نقص‌ با بستن دسترسی موتورهای کاوش به صفحاتی که نیازی وجود ندارد به آن ها راز بزند، مانند برچسب ها، فایل پوسته، wp-admin، content و … حل می گردد. با این فعالیت دیگه موتورهای کاوش هنگامی که روی تارنما شما صرف می نمایند یا این که به عبارتی crawl buget را تنها صفحه ها مقصود و پر ارزش شمارا ایندکس می نمایند.
با نصب پلاگین yoast بهینه سازی و هسته وردپرس بعضی دسترسی های حساس مانند فایل wp-admin را به صورت پیش فرض با یک خط کد در هد هر فولدر می بندد.

مهمترین کاربرد robots.txt
در‌حالتی که از وردپرس برای ساخت وب سایت به کار گیری می‌کنید، مطلقا میدانید در حالتی‌که قصد بستن دسترسی موتورهای کاوش به یک کاغذ یا این که نوشته دارید، شایسته ترین مورد پلاگین yoast بهینه سازی میباشد، البته در مجموع در CMS های دیگر غیر از وردپرس، بستن یک برگه بخصوص در تارنما با robots.txt به آسانی قابلیت پذیر میباشد.
هرچند نوایندکس کردن یک شیت برای مخفی کردن یک برگه از نگاه همگانی ممکن وجود ندارد البته در شرایطی‌که نمی‌خواهید در نتیجه ها کاوش چشم خواهد شد، می بایست نوایندکس نمائید.
ولی در‌صورتی‌که به هر دلیلی بایستی با robots.txt پیش بروید، پوشه شما این چنین می بایست نوشته خواهد شد:

*:User-agent

/ :Disallow

User-agent: Googlebot

/Disallow: /photos

User-agent: bingbot

/Disallow: /not-for-bing

خرد و والا تایپ کردن حروف disallow یا این که Allow اهمیتی ندارد ولی اعتنا فرمائید نشانی url را دقیقا و عینا بنویسید، /photos/ با /Photos/ فرق خواهد داشت.