List of User-Agents (Spiders, Robots, Crawler, Browser)

ball6847 · 18 ตุลาคม 2007, 00:08:05

ไม่มีอะไรมากเผื่อ หลายๆ คนไม่รู้ เอามาโพสท์ห้องนี้ เผื่อจะมีคนเอาไปเขียนสคริปท์อะไรได้บ้าง

http://www.user-agents.org/

อย่างน้อยผมคนนึงล่ะที่ได้ประโยชน์

ใครที่ track บอทบ่อยๆ แล้วจะรู้ว่ามันมีดีให้ดู :

-----

อ้อ ลืมบอกไป มันมี RSS ให้อับเดทด้วยนะ

hahokhok · 18 ตุลาคม 2007, 05:30:55

คือบางคน(ผมเอง)ก็ไม่รู้อะครับ มันมีประโยชน์ยังไงเหรอ บอกหน่อยดิ

issey Cromatie · 18 ตุลาคม 2007, 10:36:21

เหมือนมีอาไรจะบอก แต่ก็ไม่บอก

ball6847 · 18 ตุลาคม 2007, 12:43:55

อ้างถึงจาก: issey Cromatie ใน 18 ตุลาคม 2007, 10:36:21
เหมือนมีอาไรจะบอก แต่ก็ไม่บอก

เอ้า แหะๆ โทดทีคับ คือเราจะได้ประโยชน์จากการเก็บรายชื่อ user-agent ของ robot ตัวต่างๆ ไว้น่ะคับ แล้วเอามาเขียนสคริปท์เพื่อ track ว่าบอทตัวไหนมีพฤติกรรมการ crawl ยังงัยน่ะคับ มันมีผลมากๆ กับการ ทดลองและประเมิณผลหลายๆๆๆๆๆๆ อย่างมากมายเลยคับ

บางคนอาจจะบอก ที่ cPanel ก็บอก hits จาก bot อยู่แล้วนี่ - อันนี้ผมไม่แน่ใจ ผมไม่เคยใช้โฮสท์แบบจ่ายตัง แล้วส่วนใหญ่ที่ผมเคยเห็น stats ตามที่ host เค้า track ให้ มันไม่เพียงพอสำหรับผมน่ะคับ ผมต้องการแบบที่จะบุเวลา ระบุหน้า ระบุเว็บ ระบุบอทได้ทั้งหมด แล้วอีกอย่างผมก็เอาไป track บอทตาม blogger ของผมด้วยง่ะ

ประโยชน์ที่จากการ track bot สำหรับผมนะ สำหรับท่านอื่นผมไม่รู้
1. สำหรับเว็บหรือบล็อกใหม่ที่กำลังจะทำ index หลายคนเจอปัญหา "ทำมัยมันไม่มา index สักทีฟระ" ซึ่งความจิงแล้วบอทมันอาจจะมาแล้ว แต่มันประเมิณว่าเนื้อหาเป็น dupe มันเลยไม่โชว์ให้ ทีนี้ถ้าเราไม่ track แล้วไม่รู้ว่าบอทมันเข้ามาแล้ว เราก็รอไปเหอะคับ รอทั้งชาติมันก็ไม่ขึ้นให้แล้ว

2. ผมอยากรู้ว่าระบบ blog and ping ได้ผลดีแค่ไหน ผมลองโพสท์บทความใหม่ พอ Ping เสร็จแล้วบันทึกเวลาไว้ รอเช็คอีกทีเราก็จะรู้ว่าใช้เวลาเท่าไหร่ บอทถึงจะตามมาจากเว็บ ping

อันนี้ผมเคยเจอมากะตัว บล็อกไหนที่ไม่ค่อยอับเดท พอโพสท์แล้ว ping ไปบอทมันก็ไม่มาอ่ะ ต้องโพสท์หลายๆๆๆๆๆโพสท์ แล้วบอทมันถึงจะมา เพราะอะไร ส่วนตัวผมคิดว่าบอทมันสร้าง pattern เอาไว้แล้วว่าบล็ฮกๆนี้ โพสท์ถี่ขนาดไหน ถ้าไม่ค่อยโพสท์ ถึง ping ไป มันเห็นชื่อบล็อกขึ้น มันก็ไม่วิ่งมาอ่ะ (คนอื่นได้ผลยังัยไม่รู้ ผมได้อย่างงี้อ่ะ)

แต่ถ้าเป็นบล็อกที่โพสท์ประจำทุกวัน หรือ เกือบทุกวัน พอโพสท์ ping เสร็จ พอเช็คบอท ก็เจอบอทวิ่งเข้ามาในบัดดล สุดท้ายเรื่องพวกนี้ถ้าไม่ track ก้ไม่รู้ ถึงจะมีคนมาบอกแล้วก็เหอะ (เรื่องนี้ผมรู้มาก่อนจะทดลองทำ) ถ้าไม่ทดลองทำจริงๆ เราก็ฉงนต่อไป

3. ผมอยากรู้ว่า Mediapartners (บอท adsense) จะเข้ามาอ่านหน้าเว็บเมื่อไหร่ เพราะถ้าเกิดมันเข้ามาแล้วแต่เราเห้นว่าโฆษณายังมั่วอยู่เลย แสดงว่าเว็บเราไม่มีโฆษณาที่เหมาะๆ ถูกป่ะ ถ้าเราไม่รู้ว่ามันมายัง เราก็ฉงนแล้วก็รอว่าเมื่อไหร่มันจะมาอ่านซะที เออ แบบว่าถ้าเข้ามาแล้วโฆษณายังมั่วอยู่จะได้แก้เลย จะได้ไม่เสียเวลา (อันนี้ยังไม่ได้ลอง แค่คิดๆไว้ จะได้ผลป่าวยังไม่รู้เลย)

4. ศึกษาธรรมชาติของบอทต่าง ถ้าผมอยากรู้พฤติกรรมของบอทล่ะ อย่างบอทที่เข้ามาเข้ามา index กี่หน้า หรือ มันตามลิ้งค์ไหนบ้างมั้ย ไม่ตามลิ้งค์ไหน ซึ่งอาจจะเป็นผลมาจากการดีไซน์ก็ได้ อาจจะไว้เพื่อทดลองว่า template แบบไหน index ไว โครงส้รางลิ้งค์แบบไหน index จิ้ด โครงส้รางลิ้งค์แบบไหนที่กระจาย pr ได้เยอะสุด โครงส้รางลิ้งค์แบบไหนอยู่ใน index ได้นานที่สุด

นอกจากนี้มันยังมีอีกหลายๆ เรือง ที่บอทอาจจะเป็ฯแค่ตัวแปรควบคุม (คือเราต้องรู้พฤติกรรมที่แน่นอนแล้ว จะเอาไปทดลองเรื่องอื่นๆต่อ) เราก็จะได้รู้อะไรอีกเยอะแยะ

หลายคนอาจจะมองว่าผมคิดมากป่าว ไม่เห็นต้องทำขนาดนี้เลย "ผมก็ว่าผมเริ่มบ้าไปแล้วแหล่ะ"

ตอนนี้อยากหาข้อพิสูจน์ไปทุกเรื่องแล้วอ่ะ แบบว่าเบื่อหนังสือหรือเว็บสอน seo เต็มทน อ่านไปหลายๆ เล่มก็ไม่มีเล่มไหนที่บอกหมดเปลือกจิงๆ บอกแต่เรื่องทั่วๆไป "คุณทำบล็อกแล้วต้อง ping นะ บอทจะมาไวปรี้ดๆเลย" มีไม่กี่เล่มจริงๆ ที่บอกละเอียดๆ (นี่ผมต้องการอะไรมากไปรึปล่าวเนี่ย 555)

พอแล้วคับทุกท่าน ผมมันบ้าไปแล้ววววว

ปล.ไม่เข้าใจจริงๆ ทำมัยผมโพสท์หรือตอบแนวๆ นี้ทีไร ต้องยาวแบบนี้ทุกที ขอโทษคนที่ขี้เกียจอ่านด้วยคับ

BB · 18 ตุลาคม 2007, 12:50:47

ขอบคุณมากครับ ที่หนังสือ seo มันบอกไม่หมดเนี่ย
เพราะรอคุณ ball6847 มาแฉไงครับ
ไม่แน่นะครับ TaradEdu อาจจะมาติดต่อ
ไปเขียนหนังสือตามคุณทรงชัยกับคุณเดย์ :

ball6847 · 18 ตุลาคม 2007, 12:53:38

อ้างถึงจาก: BB ใน 18 ตุลาคม 2007, 12:50:47
ขอบคุณมากครับ ที่หนังสือ seo มันบอกไม่หมดเนี่ย
เพราะรอคุณ ball6847 มาแฉไงครับ
ไม่แน่นะครับ TaradEdu อาจจะมาติดต่อ
ไปเขียนหนังสือตามคุณทรงชัยกับคุณเดย์ :

เหอๆ ผมมันแนวมั่วๆ ไปอ่ะคับ หาอะไรมาอ้างอิงไม่ค่อยได้ มีแค่ผลการทดลองที่ไม่มีทฤษฎีอ้างอิงอะไรเลย อย่ามาติดต่อไรเลย ไม่มีไรจะเขียน

ColdMoney · 18 ตุลาคม 2007, 12:55:05

ใจจ้า น่าจะมีประโยชน์ ในอนาคต

amaudy · 18 ตุลาคม 2007, 14:49:15

จะใจบุญแจกไอพีของบอทมั๊ยน้อ

เอาต่างคนต่างแลกก็ได้

Ads · 18 ตุลาคม 2007, 14:56:20

น่าจะส่งลิงต์นี้ไปให้พี่กู..แกดูบ้างเนอะ เผื่อพี่กู.. จะได้รู้จักบอทตัวอื่นซะบ้าง เซ็ง..

tosakp · 18 ตุลาคม 2007, 20:25:37

อ้างถึงจาก: amaudy ใน 18 ตุลาคม 2007, 14:49:15
จะใจบุญแจกไอพีของบอทมั๊ยน้อ

เอาต่างคนต่างแลกก็ได้

www.iplists.com

ball6847 · 18 ตุลาคม 2007, 20:32:33

อ้างถึงจาก: tosakp ใน 18 ตุลาคม 2007, 20:25:37
อ้างถึงจาก: amaudy ใน 18 ตุลาคม 2007, 14:49:15
จะใจบุญแจกไอพีของบอทมั๊ยน้อ

เอาต่างคนต่างแลกก็ได้
www.iplists.com

โอ้ว ขอบคุณมากๆๆๆๆๆๆๆ
อันนี้แหละที่ผมต้องการ จริงๆ

นานๆทีจะมีคนเอามาแบ่งกันสักที

Step9 · 18 ตุลาคม 2007, 20:34:03

ทำTutor สอนการจับBotด้วยเลยสิครับ :

pakyaudio · 18 ตุลาคม 2007, 21:43:19

ได้ประโยชน์มากเลย อ่านไปอ่านมาก็ลองไปค้น log ของเว็บตนเองดูบ้าง ก็เลยเห็นว่า google bot มันมาวิ่งในเว็บเราเหมือนกัน ก็ขอขอบคุณ ท่าน ball6847 ที่นำความรู้เกร็ดเล็ก เกร็ดน้อย แต่เป็นประโยชน์ อย่างมากสำหรับมือใหม่อย่างผม ก็มีรูป log มาฝาก เผื่อจะใช้อะไรได้

กับอีกตัว ที่ปิดไว้เพื่อความปลอดภัยของตัวผมเอง

chinakron · 20 ตุลาคม 2007, 12:47:07

เหอะๆ ต้องมาตรวจดูบ้างแล้ว ไม่ รู้เลยบอทมาเมื่อไร

yokey. · 20 ตุลาคม 2007, 13:07:42

ขอบคุณมากครับ Agents ที่ผมมีอยู่ไม่มากพอได้จากกระทู้เยอะเกินบรรยาย และจุดประกายด้านมืดให้สว่างขึ้นอีก

ball6847 · 20 ตุลาคม 2007, 13:32:09

ลองเอาที่ผม track googlebot มาให้ดูกันคับ เอาหน้าที่ผมลง stats ไว้มาให้ดูเลย

โค้ด เลือก

http://thaihost.freehostia.com/robotstats.html

ถ้าเข้าไปดูจะเห็นว่า ช่วง วันสองวันมานี้บอทวิ่งแทบทั้งวัน แต่เว็บผมมีแค่ 300 กว่าหน้าเองนะ
แต่ใช้วิธี random ลิ้งค์ตรง menu ให้บอทมันงง

หลังจากที่ผมเฝ้าดุแล้วเห็นว่า deepbot มันเข้ามาแล้ว ตอนนั้นคิดไว้ในใจ "ฮ่าฮ่า เสร็จกูแระ index เพียบแน่ๆ"
หลังจากนั้นเข้าไปเช็คใน google ปรากฏว่าที่ได้ index อยู่ก่อนหน้านี้หายเกลี้ยงเลย

เพราะงี้ถ้าเราไม่ track เราก็งงต่อไป เฮ่ย อารายกันวะ

issey Cromatie · 20 ตุลาคม 2007, 20:57:07

โอ้ววว สุดยอดแห่งข้อมูลเลยค่ะ
สุดยอดเซียนตัวจริง

งึมๆๆๆ เก็บข้อมูลๆๆๆๆๆๆ