পৃষ্ঠাসমূহ

বুধবার, ২৭ আগস্ট, ২০১৪

Crawler কি?

Crawler এক ধরনের কম্পিউটার প্রোগ্রাম যা স্বয়ংক্রিয়ভাবে Internet Browsing করে এবং নতুন নতুন তথ্য তার Database এ সংরক্ষণ (Crawler) এবং সাজিয়ে (Indexing) রাখেCrawler প্রোগ্রামকে প্রায় সময় Indexer, Bot, Web Speeder, Web Robot ইত্যাদি নামে ডাকা হয়। Google এর Crawler টি Google Bot নামে পরিচিত। Google Bot নির্বিচ্ছিন্ন ভাবে ইন্টারনেটে বিচরণ করে বেড়ায় এবং যখনই নতুন কোন Website বা নতুন তথ্যের সন্ধান পায়, এটি Google এর Server এ সংরক্ষণ করে রাখে। 

Robots.txt হচ্ছে এমন একটি ফাইল যার মাধ্যমে একটি সাইটের নির্দিষ্ট কোন অংশ থেকে শুরু করে Search Engine তথা Crawler কে বিরত রাখে। এই ফাইলটিকে Server এর মূল Folder এর মধ্যে বাখতে হয়। একটি সাইটে এমন প্নেক পৃষ্ঠা থাকতে পারে যা ব্যবহারকারী ও Search Engine উভয়ের কাছে অপ্রয়োজনীয়, সে ক্ষেত্রে এই ফাইল্টি হচ্ছে একটি কার্যকারী সমাধান। Google Webmaster Tools এবং FTP ব্যবহার করে কাজটি করা হয়। 

1 মন্তব্য: