Robots.txt ফাইল কী? রোবট ডট টেক্সট ফাইল

Robots.txt ফাইল কী? কীভাবে ব্যবহার করব?

ওয়েবসাইটটি ইনডেক্স করতে সার্চ ইঞ্জিনকে নির্দেশ দিতে পারেন। আপনি সার্চ ইঞ্জিনকে Robots.txt File, Robots Meta Tags এর মাধ্যমে HTML পেজের সেকশনে বা X-Robots-Tag দিয়ে HTTP header-এ ব্যবহার করতে পারেন।
একটি ওয়েবসাইটকে ক্রলার করার নির্দেশনাসহ robots.txt ফাইলটি সাইটের রুট ডিরেক্টরিতে রাখা হয়। সার্চইঞ্জিন বট robots.txt ফাইল ফলো করে ক্রল ও ফেচ করে থাকে। কিন্তু robots.txt বটকে বলে দেয় কোন পেজগুলা ক্রল করবে আর কোন পেজগুলা ক্রল করবে না। যদি robots.txt ফাইলটি না থাকে, তবে সার্চইঞ্জিন বট মনে করে আপনি আপনার সাইটের জন্য কোনো নির্দেশনা দেননি। তাই সে পুরো সাইটটি ক্রল করে বা কিছু কিছু পেজ ক্রল করা বাদ থাকে।
একটা রোবট ডট টেক্সট ফাইল প্রাথমিকভাবে ২ ভাগে বিভক্ত।
যথা:
User-agent: [user-agent name]
Disallow: /[URL string not to be crawled]
মনে রাখতে হবে যে একটা robot.txt ফাইল সব সময় নোটপ্যাড টেক্সট ফরম্যাটে থাকবে।
রোবট ডট টেক্সট ফাইলের একটি উদাহরণ নিচে দেওয়া হলো:

User-agent: *
Disallow: wp-admin
Disallow: wp-admin/includes
Disallow: wp-content/plugins
Disallow: wp-content/cache
Disallow: wp-content/theme

রোবট মেটা ট্যাগ

রোবট মেটা ট্যাগ সেকশনে HTML ওয়েবপেজে ব্যবহৃত হয়। এটা কোন নির্দিষ্ট বা সকল সার্চ ইঞ্জিনের জন্য হতে পারে। আমরা কিছু কমন মেটা ট্যাগ নিয়ে নিয়ে আলোচনা করব, যা কিনা সচরাচর ব্যবহার করা হয়।
ইনডেক্স/নোইনডেক্স: ইনডেক্স/নোইনডেক্স দিয়ে সার্চ ইঞ্জিনকে বলা হয় কোন পেজকে ক্রল করা হবে, কী হবে না। আপনি যদি noindex ট্যাগ ব্যবহার করেন তবে সার্চ ইঞ্জিন পেজটাকে ক্রল করা থেকে বিরত থাকবে।

স্বাভাবিকভাবে সার্চ ইঞ্জিন সকল পেজকে ক্রল করে তাই আপনি index ট্যাগ ব্যবহার না করলেও হবে আর যদি করেন তবে তা হবে অপ্রয়োজনীয়।
ফলো/নোফলো: ফলো/নোফলো ট্যাগ দিয়ে সার্চ ইঞ্জিনকে বলা হয় যে কোন পেজকে ফলো বা নোফলো করবে। follow ট্যাগ দিলে সার্চ ইঞ্জিন বট ওই লিংককে ফলো করে অর্থাৎ,লিংক জুস পাস করে আর nofollow ট্যাগ দিলে লিঙ্ক জুস পাস করে না। স্বাভাবিকভাবে সার্চইঞ্জিন সব পেজকে ফলো করে তাই আপনি follow ট্যাগ ব্যবহার না করলেও হবে আর যদি করেন, তবে তা হবে অপ্রয়োজনীয়।

নো আর্কাইভ: নো আর্কাইভ ট্যাগ দিয়ে সার্চ ইঞ্জিনকে বলা হয় যে কোন পেজের যেন ক্যাশ ভার্সন কপি করে না রাখে। স্বাভাবিকভাবে সার্চ ইঞ্জিন কোন পেজ যখন ক্রল এবং ইনডেক্স করে তখন এক কপি ক্যাশ ভার্সন সংরক্ষণ করে যাতে ইউজাররা সার্চ করে রেজাল্ট পেজ থেকে তার পূর্বের ভার্সন দেখতে পায়।

এখানে noindex এবং nofollow ট্যাগের একটি উদাহরণ দেওয়া হলো:

< ! DOCTYPE html >
< html >
< head >
< meta name= ” robots ” content=” noindex, nofollow ” />
< / head >
< body >…< / body >
< / html >

আবার, আপনি যদি কোন নির্দিষ্ট পেজ বা লিংকের জন্য সার্চইঞ্জিন বটকে nofollow করতে চান তবে নিচের নির্দেশনা অনুসরণ করুন।
< a href =”example” rel = ” nofollow ” > sign in

এক্স-রোবট-ট্যাগ

এক্স-রোবট-ট্যাগ URL এর HTTP হেডারে ব্যবহার করা হয়। এটা মেটা ট্যাগগুলোর চেয়ে আরও নমনীয়তা এবং কার্যকারিতা প্রদান করে। আপনি যদি সার্চইঞ্জিনগুলোকে ব্লক করতে চান তবে আপনি প্রচলিত HTML ট্যাগগুলো ব্যবহার করতে পারেন। আর আপনি যদি কোন non-HTML ফাইল বা ফোল্ডার ব্লক করতে চান তবে এক্স-রোবট-ট্যাগ ব্যবহার করুন।

উদাহরণস্বরূপ: মনে করুন যে, আপনি কোন ফাইল বা ফোল্ডার (example.com/no-bake/old-recipes-to-noindex) ব্লক করতে চান।

< Files “ / ? no – bake / . * ”>
Header set X-Robots-Tag “ noindex, nofollow ”
< / Files >
অথবা কোন নির্দিষ্ট পিডিএফ ফাইল,
< Files “ . pdf $ ”>
Header set X-Robots-Tag “noindex, nofollow”
< / Files >