รู้จัก googlebot ทั้งสองอย่างกัน
googlebot หรือ spider ของกูเกิล มันมีหน้าที่ในการวิ่งหรือ ไต่ ไปตามลิ้งเพื่อเก็บข้อมูลตามเว็บเพจต่างๆ เข้ามายังฐานข้อมูล index จากนั้นก็จะต้องมีการเปรียบเทียบองค์ประกอบของโครงสร้างเเละเนื้อหาในเเต่ละเว็บเพจ เพื่อจัดเรียงคำสำคัญๆในเว็บเพจนั้น เพื่อเตรียมพร้อมให้บริการค้นหากับคุณบนเว็บ google.com อย่างรวดเร็ว เเละ สอดคล้องกับการค้นหาของผู้ใช้ กูเกิลมากที่สุด
googlebot มันมีสองเวอร์ชั่น คือ deepbot เเละ freshbot
deepbot
googlebot เวอร์ชั่นนี้จะเป็นระบบ deep crawler มันชอบเดินทางไกและชอบค้นหา มันจะพยายามอย่างมากในการค้นหาเว็บเพจที่อยู่เเถวบ้านนอกครับ( เว็บที่ไม่เคยจะโปรโมตเลย)ไม่ว่าจะเป็นเว็บเก่าหรือเว็บใหม่ ด้วยการใช้ลิ้งเป็นถนนเดินทางไปทั่ว เมื่อมันพบเเล้ว มันก็จะเก็บข้อมูลใหม่ๆที่มันเจอลงใน index ของกูเกิล มันจะทำงานเดือนละครั้งเท่านั้น เเต่ว่ามันจะเริ่มทำงานวันไหน ก็แล้วแต่ว่าแต่ละครั้งมันจบงานวันไหน ไม่จำเป็นต้องเป็นวันสิ้นเดือนเสมอไป เเละ บางทีอันดับเว็บเพจต่างๆเปลี่ยนไปมาไม่คงที่ ส่วนหนึ่งก็มาจากการทำงานของ deepbot ที่มันพบของใหม่ๆนั่นเอง
freshbot
เมื่อกูเกิล มีข้อมูลเว็บเพจเเละลิ้งทั้งเก่าเเละใหม่มากมายจากการใช้ deepbot เเล้ว ที่นี้ก็ต้องต้องทำยังไงให้ indexer มีข้อมูลใหม่ๆสดๆ เช่น เมื่อคืนมีงานเปิดตัว galaxy s3 กูเกิลก็จะต้องอัปเดตให้ทันด้วย คำตอบก็คือใช้ freshbot นั่นเอง freshbot ตัวนี้มันขยันเเละตามกระแส มันจะชอบแวะเวียนไปยังเว็บไซต์ที่มีการอัปเดตบ่อยๆ เพื่อเก็บข้อมูลจากเว็บไซต์เพื่อมาอัปเดต indexให้ทันกระแสโลกนั่นเอง
อยากอ่านเเบบต้นฉบับก็ที่นี่เลยคร้าบ
http://ikang.biz/%E0%B8%A3%E0%...B8%81googlebotdeepbotfreshbot/ 
ความรู้ทั่วไป
