পৃষ্ঠাসমূহ

বুধবার, ২৭ আগস্ট, ২০১৪

Robots.txt কি?

robots.txt ফাইল এমন একটি ফাইল যেটা সার্চ ইন্জিনকে বলে যে,সার্চ ইন্জিন একটা সাইটের কোন কোন্ পেজ Crawl করবে আর কোন কোন পেজ crawl করবেনা।এই robots.txt ফাইলটি রুট ফোল্ডারে থাকে। আপনার সাইটের কিছু পেজ সার্চ রেজাল্টে না দেখানো হোক আপনি হয়ত এটা চাইতে পারেন।কারন হতে পারে সেই পেজগুলির কাজ এখনও শেষ হয়নি বা অন্য যেকোন কারন।এজন্য আপনি একটি robots.txt ফাইল তৈরী করে সেখানে ঠিক করে দিতে পারেবন যে কোন্ কোন্ পেজ সার্চ ইন্জিন crawl করবেনা।আপনার যদি সাবডোমেইন থাকে এবং এর কিছু পেজ যদি সার্চ রেজাল্টে না দেখানো হোক এটা চান তাহলে এটার জন্য আলাদা একটা robots.txt ফাইল তৈরী করতে হবে। robots.txt ফাইলটি তৈরীর পর রুট ফোল্ডারে আপলোড করতে হবে।

3 মন্তব্য: