Robots.txt ফাইল হল এক প্রকার ওয়েব প্রটোকল যা কিনা একটা ওয়েব সাইট এর মাঝে সার্চ ইঞ্জিন রোবট এর প্রবেশ এবং সীমাবদ্ধতা উল্লেখ করে থাকে। যেমন সে কোন কোন তথ্য গুলা নিবে, কোন গুলা নিবে না ইত্যাদ... Read more