bot นี่ก้อคือ โปรแกรมนึงๆ ที่เหมือนการที่เราเข้า ie แล้วแคชหน้าเว็บไว้ในเครื่องคุณน่ะแหละ
แต่มันเป็นออโต้ และวิ่งไปตามลิงค์ได้ เหมือนโปรแกรมที่ใช้ดูดเว็บไซด์มาดู offline น่ะแหละ
ถ้าอยากรู้ว่า bot เห็นเว็บเราอย่างไร ให้ใช้โปรแกรม text mode browser เช่น lynx ดูอะครับ
พอแคชเก็บไว้ที่ DC ก็จะมีพวก analyse มาจัดการอีกทีนึง
(ผมเข้าว่าสมัยก่อน bot ต้อง analyse และเก็บใส่ database เองด้วย ทำให้ไม่สามารถเก็บอะไรได้เยอะมากมาย ปัจจุบันเก็บทุกอณูของเว็บเลยครับ ซึ่งถ้า bot เก็บด้วย analyse ด้วย code มันจะหลายเม็กในบางเว็บ (โค๊ดเยอะมาก)และกินเมโมรี่มาก เลยต้องแบ่งหน้าที่ให้ DC ซึ่งเป็น cluster computer ในการแยก หรือประมวลผล bot ก็จะเป็นอิสระเร็ว และเก็บหน้าเว็บได้มากขึ้น โดยที่เมโมรี่ไม่หมดเสียก่อน เหมือนคุณเปิด ie หลายๆอันน่ะแหละ
ผมถึงสามารถทดลองได้ว่า rel nofollow จริงๆชื่อมันก่อให้เกิดความเข้าใจผิดมาก
จริงๆ follow
แต่ไม่ส่งค่า pagerankให้
ส่วน link popularity และ serps ก็ยังช่วยเหมือนปกติ
index ได้ปกติ
ใครไม่เชื่อ เอาเว็บใหม่ให้ผมยิงด้วย rel nofollow ให้ร่วงคามือได้เลย
ลองไปดูใน webmaster tool ก็จะมีลิงค์มายังเว็บเราจาก wikipedia ด้วยอะนะครับ
ผมดูอยู่ทุกวัน
ผมพบว่า การที่เรา pagerank สูงๆ จะมี bot มาเยี่ยมทุกวัน และสามารถวิ่งข้ามโดเมน( cross domain) ได้ โดยมีการกำหนดpolicy หรือความสำคัญให้มากกว่าปกติ นี่เป็นเหตุผลว่า เว็บใหม่ที่มีเว็บ pagerank สูงๆลิงค์ส่งมาจะ index เร็วครับ แต่ถ้าหาก pagerank ต่ำๆ bot จะวิ่งในเว็บมากกว่าจะ cross domain (เลยไม่วิ่งไป index เว็บอื่นๆที่เราลิงค์ไปซะที โน่นแหละ อาทิตย์ละครั้ง หรือสองอาทิตย์ครั้ง)
ความรู้ทั่วไป
