টেকনিকাল এসইও
(11) ব্লগার ও ওয়ার্ডপ্রেস ওয়েবসাইটে Robots.txt যুক্ত করার নিয়ম
Contents
আপনার ব্লগার(blogger) ও ওয়ার্ডপ্রেস(wordpress) ওয়েবসাইট এর জন্য crawler এর উপযোগী এসইও Robots.txt file বানাতে হবে, যাতে করে Google bot সহ অন্যান্য সার্চ ইঞ্জিনগুলো আপনার ওয়েবসাইটকে খুজে পেতে পারে এবং আপনার ওয়েবসাইট এর কন্টেন্ট ইন্ডেক্স করতে পারে।
Robots.txt কি?
Robots.txt হচ্ছে একটা ওয়েবসাইট এর নির্দেশনা কোড যা গুগল বটের মত ক্রাউলারগুলোকে বলে দেয় ঐ ওয়েবসাইটকে কিভাবে index করবে।
নিচে একটি default ব্লগার হোস্টেড simple Robot.txt নমুনা দেওয়া হল-
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
অনেকে বলে থাকেন- ব্লগারে ৫০০ এর বেশি পোস্ট ইন্ডেক্স করানোর জন্য নাকি নিচের কোডটি ব্যবহার করতে হয়- http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Disallow: /search
এটি দ্বারা যা বোঝায়:
ডোমেন name এর ঠিক পরে keyword অনুসন্ধানের লিঙ্কগুলিকে উপেক্ষা করা হবে। উদাহরণস্বরূপ, একটি লেবেল seo,
যদি আমরা উপরের কোড থেকে Disallow: /search
সরিয়ে দেই, তাহলে crawlers আমাদের ওয়েবপেইজের সব কন্টেন্ট ক্রাউল এবং ইন্ডেক্স করার অনুমতি পেয়ে যাবে।
এখানে Allow: / বোঝায় ওয়েন ক্রলারস আমাদের ব্লগের homepage ক্রল এবং ইন্ডেক্স করবে।
Disallow নির্দিষ্ট পোস্ট
মনে করেন আমরা একটি নির্দিষ্ট পোস্ট ইন্ডেক্স করতে চাই না এজন্য নিচের কোডটি ব্যবহার করতে পারেন।
Disallow: /yyyy/mm/post-url.html
যেমন ২০২০ সালের ৭ মাসের সময় পোস্ট পাবলিশ করেছেন তাহলে কোডটি এভাবে দিবেন-
Disallow: /2020/07/post-url.html
Disallow নির্দিষ্ট page
যদি নির্দিষ্ট পেজ disallow করতে চান তাহলে উপরের মত একই পদ্ধতি ব্যবহার করতে পারেন-
Disallow: /p/page-url.html
আপনার ওয়ার্ডপ্রেস সাইটের জন্য নিচে একটি Perfect Robot.txt বানানোর নমুনা দেওয়া হল-
User-agent: Googlebot
Allow: .js
Allow: .css
Allow: /wp-admin/admin-ajax.php
User-agent: *
Disallow: /?s=
Disallow: /search/
Disallow: /wp-admin
Disallow: *feed/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Sitemap: https://ursite.com/sitemap_index.xml
ব্যাখ্যা:
user agent: * [মানে সব ইউজার/ভিজিটর-রা আসতে পারবে]
Allow: * [সার্চ ইঞ্জিনগুলো যেমন google bot এর জন্য সম্পূর্ণ site টা open]
Disallow: / [ যদি কোন পেইজ সার্চ ইঞ্জিন bot কে Access দিতে না চান; আপনি যেসব পেজ অথবা লিঙ্ক ডিরেক্টরি ইনডেক্স করতে চাইবেন না সেগুলোই রোবটস এ Disallow করে রাখবেন। আলাদা করে কোন কিছু এলাউ করার দরকার নেই। কারণ আপনি যা যা Disallow
করবেন, তার বাইরের প্রায় সবকিছুই ডিফল্ট এলাউড থাকবে। ]
যেমন ধরুন, আপনি চান আপনার এডমিন পেজ, থিম পেজ, কমেন্টের ট্রাকব্যাক, প্লাগিন পেজ গুলো ডি-ইনডেক্সেড থাকুক, তখন আপনার Robots.txt হবে নিন্মরূপঃ
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: /trackback
এগুলো এসইও এর পাশাপাশি মুলত ওয়েবসাইট এর সিকিউরিটি এর জন্য করতে হয়।
যেভাবে wordpress সাইটে Robot.txt যুক্ত করবেন
ধাপ ০১: উপরের লেখাগুলো(যেকোনো একটা) নোটপ্যাডে পেস্ট করে Robots.txt নামে সেভ করেন।
ধাপ ০২: এখন, cPanel → File Manager → Your site’s root folder ডুকুন…
ধাপ ০৩: root folder এ robots.txt ফাইলটি আপলোড করে দিন।
ব্যাস, হয়ে গেল।
যেভাবে ব্লগার সাইটে রোবট টেক্সট যুক্ত করবেন
ধাপ ০১: blogger এ ডুকুন
ধাপ ০২: setting > search preferance এ ডুকুন।
ধাপ ০৩: এরপর, custom robots.txt এর edit বাটনে ক্লিক করুন।
ধাপ ০৪: এখন enable custom robots txt কন্টন্ট এ ক্লিক করলে একটি বক্স শো করবে।
ধাপ ০৫: উপরে দেওয়া robot.txt এর
লেখাগুলো কপি করে খালি বক্সে পেস্ট করুন।
ব্যাস, হয়ে গেসে।
যেসব সাইটের মাধ্যমে robots.txt ফাইল বানাতে পারবেন:
আপনার ওয়েবসাইটে robots.txt ফাইল আছে কিনা তা চেক করার নিয়ম:
অজানা তথ্য জেনে নিই:
» বর্তমানে robots.txt ফাইলে crawl-delay সাপোর্ট করে না।
» robots.txt ফাইলে যত ইচ্ছা সাইটম্যাপ যুক্ত করা যায়।
আর, সাইটম্যাপ কিভাবে যুক্ত করে তা পরের পোস্ট থেকে দেখে নিন।