ยินดีต้อนรับคุณ, บุคคลทั่วไป กรุณา เข้าสู่ระบบ หรือ ลงทะเบียน

เข้าสู่ระบบด้วยชื่อผู้ใช้ รหัสผ่าน และระยะเวลาในเซสชั่น

ThaiSEOBoard.comพัฒนาเว็บไซต์ProgrammingList of User-Agents (Spiders, Robots, Crawler, Browser)
หน้า: [1]   ลงล่าง
พิมพ์
ผู้เขียน หัวข้อ: List of User-Agents (Spiders, Robots, Crawler, Browser)  (อ่าน 2341 ครั้ง)
0 สมาชิก และ 1 บุคคลทั่วไป กำลังดูหัวข้อนี้
ball6847
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 212
ออฟไลน์ ออฟไลน์

กระทู้: 4,174



ดูรายละเอียด
« เมื่อ: 18 ตุลาคม 2007, 00:08:05 »

ไม่มีอะไรมากเผื่อ หลายๆ คนไม่รู้ เอามาโพสท์ห้องนี้ เผื่อจะมีคนเอาไปเขียนสคริปท์อะไรได้บ้าง

http://www.user-agents.org/

อย่างน้อยผมคนนึงล่ะที่ได้ประโยชน์   Grin
ใครที่ track บอทบ่อยๆ แล้วจะรู้ว่ามันมีดีให้ดู  :Smiley

-----

อ้อ ลืมบอกไป มันมี RSS ให้อับเดทด้วยนะ
« แก้ไขครั้งสุดท้าย: 18 ตุลาคม 2007, 00:11:39 โดย ball6847 » บันทึกการเข้า

hahokhok
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 62
ออฟไลน์ ออฟไลน์

กระทู้: 1,863



ดูรายละเอียด เว็บไซต์
« ตอบ #1 เมื่อ: 18 ตุลาคม 2007, 05:30:55 »

คือบางคน(ผมเอง)ก็ไม่รู้อะครับ มันมีประโยชน์ยังไงเหรอ บอกหน่อยดิ Kiss
บันทึกการเข้า
issey Cromatie
สมุนแก๊งเสียว
*

พลังน้ำใจ: 39
ออฟไลน์ ออฟไลน์

กระทู้: 852



ดูรายละเอียด
« ตอบ #2 เมื่อ: 18 ตุลาคม 2007, 10:36:21 »

เหมือนมีอาไรจะบอก แต่ก็ไม่บอก  Tongue Tongue Tongue
บันทึกการเข้า

งานใหญ่อย่ามองภาพรวม กำหนดเป้าหมาย ปีนบันไดแต่ละขั้น
ball6847
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 212
ออฟไลน์ ออฟไลน์

กระทู้: 4,174



ดูรายละเอียด
« ตอบ #3 เมื่อ: 18 ตุลาคม 2007, 12:43:55 »

เหมือนมีอาไรจะบอก แต่ก็ไม่บอก  Tongue Tongue Tongue

เอ้า แหะๆ โทดทีคับ คือเราจะได้ประโยชน์จากการเก็บรายชื่อ user-agent ของ robot ตัวต่างๆ ไว้น่ะคับ แล้วเอามาเขียนสคริปท์เพื่อ track ว่าบอทตัวไหนมีพฤติกรรมการ crawl ยังงัยน่ะคับ มันมีผลมากๆ กับการ ทดลองและประเมิณผลหลายๆๆๆๆๆๆ อย่างมากมายเลยคับ

บางคนอาจจะบอก ที่ cPanel ก็บอก hits จาก bot อยู่แล้วนี่ - อันนี้ผมไม่แน่ใจ ผมไม่เคยใช้โฮสท์แบบจ่ายตัง แล้วส่วนใหญ่ที่ผมเคยเห็น stats ตามที่ host เค้า track ให้ มันไม่เพียงพอสำหรับผมน่ะคับ ผมต้องการแบบที่จะบุเวลา ระบุหน้า ระบุเว็บ ระบุบอทได้ทั้งหมด แล้วอีกอย่างผมก็เอาไป track บอทตาม blogger ของผมด้วยง่ะ

ประโยชน์ที่จากการ track bot สำหรับผมนะ สำหรับท่านอื่นผมไม่รู้
1. สำหรับเว็บหรือบล็อกใหม่ที่กำลังจะทำ index หลายคนเจอปัญหา "ทำมัยมันไม่มา index สักทีฟระ" ซึ่งความจิงแล้วบอทมันอาจจะมาแล้ว แต่มันประเมิณว่าเนื้อหาเป็น dupe มันเลยไม่โชว์ให้ ทีนี้ถ้าเราไม่ track แล้วไม่รู้ว่าบอทมันเข้ามาแล้ว เราก็รอไปเหอะคับ รอทั้งชาติมันก็ไม่ขึ้นให้แล้ว

2. ผมอยากรู้ว่าระบบ blog and ping ได้ผลดีแค่ไหน ผมลองโพสท์บทความใหม่ พอ Ping เสร็จแล้วบันทึกเวลาไว้ รอเช็คอีกทีเราก็จะรู้ว่าใช้เวลาเท่าไหร่ บอทถึงจะตามมาจากเว็บ ping

อันนี้ผมเคยเจอมากะตัว บล็อกไหนที่ไม่ค่อยอับเดท พอโพสท์แล้ว ping ไปบอทมันก็ไม่มาอ่ะ ต้องโพสท์หลายๆๆๆๆๆโพสท์ แล้วบอทมันถึงจะมา เพราะอะไร ส่วนตัวผมคิดว่าบอทมันสร้าง pattern เอาไว้แล้วว่าบล็ฮกๆนี้ โพสท์ถี่ขนาดไหน ถ้าไม่ค่อยโพสท์ ถึง ping ไป มันเห็นชื่อบล็อกขึ้น มันก็ไม่วิ่งมาอ่ะ (คนอื่นได้ผลยังัยไม่รู้ ผมได้อย่างงี้อ่ะ)

แต่ถ้าเป็นบล็อกที่โพสท์ประจำทุกวัน หรือ เกือบทุกวัน พอโพสท์ ping เสร็จ พอเช็คบอท ก็เจอบอทวิ่งเข้ามาในบัดดล สุดท้ายเรื่องพวกนี้ถ้าไม่ track ก้ไม่รู้ ถึงจะมีคนมาบอกแล้วก็เหอะ (เรื่องนี้ผมรู้มาก่อนจะทดลองทำ) ถ้าไม่ทดลองทำจริงๆ เราก็ฉงนต่อไป

3. ผมอยากรู้ว่า Mediapartners (บอท adsense) จะเข้ามาอ่านหน้าเว็บเมื่อไหร่ เพราะถ้าเกิดมันเข้ามาแล้วแต่เราเห้นว่าโฆษณายังมั่วอยู่เลย แสดงว่าเว็บเราไม่มีโฆษณาที่เหมาะๆ ถูกป่ะ ถ้าเราไม่รู้ว่ามันมายัง เราก็ฉงนแล้วก็รอว่าเมื่อไหร่มันจะมาอ่านซะที เออ แบบว่าถ้าเข้ามาแล้วโฆษณายังมั่วอยู่จะได้แก้เลย จะได้ไม่เสียเวลา (อันนี้ยังไม่ได้ลอง แค่คิดๆไว้ จะได้ผลป่าวยังไม่รู้เลย)

4. ศึกษาธรรมชาติของบอทต่าง ถ้าผมอยากรู้พฤติกรรมของบอทล่ะ อย่างบอทที่เข้ามาเข้ามา index กี่หน้า หรือ มันตามลิ้งค์ไหนบ้างมั้ย ไม่ตามลิ้งค์ไหน ซึ่งอาจจะเป็นผลมาจากการดีไซน์ก็ได้ อาจจะไว้เพื่อทดลองว่า template แบบไหน index ไว โครงส้รางลิ้งค์แบบไหน index จิ้ด โครงส้รางลิ้งค์แบบไหนที่กระจาย pr ได้เยอะสุด โครงส้รางลิ้งค์แบบไหนอยู่ใน index ได้นานที่สุด

นอกจากนี้มันยังมีอีกหลายๆ เรือง ที่บอทอาจจะเป็ฯแค่ตัวแปรควบคุม (คือเราต้องรู้พฤติกรรมที่แน่นอนแล้ว จะเอาไปทดลองเรื่องอื่นๆต่อ) เราก็จะได้รู้อะไรอีกเยอะแยะ

หลายคนอาจจะมองว่าผมคิดมากป่าว ไม่เห็นต้องทำขนาดนี้เลย "ผมก็ว่าผมเริ่มบ้าไปแล้วแหล่ะ"  Tongue ตอนนี้อยากหาข้อพิสูจน์ไปทุกเรื่องแล้วอ่ะ แบบว่าเบื่อหนังสือหรือเว็บสอน seo เต็มทน อ่านไปหลายๆ เล่มก็ไม่มีเล่มไหนที่บอกหมดเปลือกจิงๆ บอกแต่เรื่องทั่วๆไป "คุณทำบล็อกแล้วต้อง ping นะ บอทจะมาไวปรี้ดๆเลย" มีไม่กี่เล่มจริงๆ ที่บอกละเอียดๆ (นี่ผมต้องการอะไรมากไปรึปล่าวเนี่ย 555)

พอแล้วคับทุกท่าน ผมมันบ้าไปแล้ววววว  Lips Sealed Lips Sealed

ปล.ไม่เข้าใจจริงๆ ทำมัยผมโพสท์หรือตอบแนวๆ นี้ทีไร ต้องยาวแบบนี้ทุกที ขอโทษคนที่ขี้เกียจอ่านด้วยคับ  Kiss
บันทึกการเข้า

BB
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 184
ออฟไลน์ ออฟไลน์

กระทู้: 2,323



ดูรายละเอียด
« ตอบ #4 เมื่อ: 18 ตุลาคม 2007, 12:50:47 »

ขอบคุณมากครับ ที่หนังสือ seo มันบอกไม่หมดเนี่ย
เพราะรอคุณ ball6847 มาแฉไงครับ
ไม่แน่นะครับ TaradEdu อาจจะมาติดต่อ
ไปเขียนหนังสือตามคุณทรงชัยกับคุณเดย์ :Smiley
บันทึกการเข้า

ball6847
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 212
ออฟไลน์ ออฟไลน์

กระทู้: 4,174



ดูรายละเอียด
« ตอบ #5 เมื่อ: 18 ตุลาคม 2007, 12:53:38 »

ขอบคุณมากครับ ที่หนังสือ seo มันบอกไม่หมดเนี่ย
เพราะรอคุณ ball6847 มาแฉไงครับ
ไม่แน่นะครับ TaradEdu อาจจะมาติดต่อ
ไปเขียนหนังสือตามคุณทรงชัยกับคุณเดย์ :Smiley


เหอๆ ผมมันแนวมั่วๆ ไปอ่ะคับ หาอะไรมาอ้างอิงไม่ค่อยได้ มีแค่ผลการทดลองที่ไม่มีทฤษฎีอ้างอิงอะไรเลย อย่ามาติดต่อไรเลย ไม่มีไรจะเขียน  Tongue
บันทึกการเข้า

ColdMoney
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 200
ออฟไลน์ ออฟไลน์

กระทู้: 12,622



ดูรายละเอียด เว็บไซต์
« ตอบ #6 เมื่อ: 18 ตุลาคม 2007, 12:55:05 »

ใจจ้า น่าจะมีประโยชน์ ในอนาคต  Smiley
บันทึกการเข้า

amaudy
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 9
ออฟไลน์ ออฟไลน์

กระทู้: 1,212



ดูรายละเอียด เว็บไซต์
« ตอบ #7 เมื่อ: 18 ตุลาคม 2007, 14:49:15 »

จะใจบุญแจกไอพีของบอทมั๊ยน้อ

เอาต่างคนต่างแลกก็ได้
บันทึกการเข้า

Ads
สมุนแก๊งเสียว
*

พลังน้ำใจ: 4
ออฟไลน์ ออฟไลน์

กระทู้: 996



ดูรายละเอียด
« ตอบ #8 เมื่อ: 18 ตุลาคม 2007, 14:56:20 »

น่าจะส่งลิงต์นี้ไปให้พี่ Goo..แกดูบ้างเนอะ เผื่อพี่กู.. จะได้รู้จักบอทตัวอื่นซะบ้าง เซ็ง..
บันทึกการเข้า
tosakp
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 113
ออฟไลน์ ออฟไลน์

กระทู้: 1,960



ดูรายละเอียด
« ตอบ #9 เมื่อ: 18 ตุลาคม 2007, 20:25:37 »

จะใจบุญแจกไอพีของบอทมั๊ยน้อ

เอาต่างคนต่างแลกก็ได้
www.iplists.com
บันทึกการเข้า

ball6847
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 212
ออฟไลน์ ออฟไลน์

กระทู้: 4,174



ดูรายละเอียด
« ตอบ #10 เมื่อ: 18 ตุลาคม 2007, 20:32:33 »

จะใจบุญแจกไอพีของบอทมั๊ยน้อ

เอาต่างคนต่างแลกก็ได้
www.iplists.com

โอ้ว ขอบคุณมากๆๆๆๆๆๆๆ
อันนี้แหละที่ผมต้องการ จริงๆ  Cry

นานๆทีจะมีคนเอามาแบ่งกันสักที  Kiss
บันทึกการเข้า

Step9
Verified Seller
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 122
ออฟไลน์ ออฟไลน์

กระทู้: 8,518



ดูรายละเอียด เว็บไซต์
« ตอบ #11 เมื่อ: 18 ตุลาคม 2007, 20:34:03 »

ทำTutor สอนการจับBotด้วยเลยสิครับ  :Smiley
บันทึกการเข้า

pakyaudio
สมุนแก๊งเสียว
*

พลังน้ำใจ: 85
ออฟไลน์ ออฟไลน์

กระทู้: 969



ดูรายละเอียด เว็บไซต์
« ตอบ #12 เมื่อ: 18 ตุลาคม 2007, 21:43:19 »

ได้ประโยชน์มากเลย  อ่านไปอ่านมาก็ลองไปค้น log ของเว็บตนเองดูบ้าง  ก็เลยเห็นว่า google bot มันมาวิ่งในเว็บเราเหมือนกัน ก็ขอขอบคุณ ท่าน ball6847 ที่นำความรู้เกร็ดเล็ก เกร็ดน้อย แต่เป็นประโยชน์ อย่างมากสำหรับมือใหม่อย่างผม  ก็มีรูป log มาฝาก เผื่อจะใช้อะไรได้ 



กับอีกตัว ที่ปิดไว้เพื่อความปลอดภัยของตัวผมเอง   Smiley

บันทึกการเข้า

chinakron
คนรักเสียว
*

พลังน้ำใจ: 5
ออฟไลน์ ออฟไลน์

กระทู้: 193



ดูรายละเอียด
« ตอบ #13 เมื่อ: 20 ตุลาคม 2007, 12:47:07 »

เหอะๆ ต้องมาตรวจดูบ้างแล้ว ไม่ รู้เลยบอทมาเมื่อไร
บันทึกการเข้า
yokey.
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 64
ออฟไลน์ ออฟไลน์

กระทู้: 1,077



ดูรายละเอียด เว็บไซต์
« ตอบ #14 เมื่อ: 20 ตุลาคม 2007, 13:07:42 »

ขอบคุณมากครับ Agents ที่ผมมีอยู่ไม่มากพอได้จากกระทู้เยอะเกินบรรยาย และจุดประกายด้านมืดให้สว่างขึ้นอีก  Kiss
บันทึกการเข้า
ball6847
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 212
ออฟไลน์ ออฟไลน์

กระทู้: 4,174



ดูรายละเอียด
« ตอบ #15 เมื่อ: 20 ตุลาคม 2007, 13:32:09 »

ลองเอาที่ผม track googlebot มาให้ดูกันคับ เอาหน้าที่ผมลง stats ไว้มาให้ดูเลย

โค๊ด:
http://thaihost.freehostia.com/robotstats.html

ถ้าเข้าไปดูจะเห็นว่า ช่วง วันสองวันมานี้บอทวิ่งแทบทั้งวัน แต่เว็บผมมีแค่ 300 กว่าหน้าเองนะ
แต่ใช้วิธี random ลิ้งค์ตรง menu ให้บอทมันงง

หลังจากที่ผมเฝ้าดุแล้วเห็นว่า deepbot มันเข้ามาแล้ว ตอนนั้นคิดไว้ในใจ "ฮ่าฮ่า เสร็จกูแระ index เพียบแน่ๆ"
หลังจากนั้นเข้าไปเช็คใน google ปรากฏว่าที่ได้ index อยู่ก่อนหน้านี้หายเกลี้ยงเลย  Grin Grin

เพราะงี้ถ้าเราไม่ track เราก็งงต่อไป เฮ่ย อารายกันวะ  Cheesy
บันทึกการเข้า

issey Cromatie
สมุนแก๊งเสียว
*

พลังน้ำใจ: 39
ออฟไลน์ ออฟไลน์

กระทู้: 852



ดูรายละเอียด
« ตอบ #16 เมื่อ: 20 ตุลาคม 2007, 20:57:07 »

โอ้ววว สุดยอดแห่งข้อมูลเลยค่ะ
สุดยอดเซียนตัวจริง  Kiss

งึมๆๆๆ เก็บข้อมูลๆๆๆๆๆๆ  Embarrassed Embarrassed Embarrassed
บันทึกการเข้า

งานใหญ่อย่ามองภาพรวม กำหนดเป้าหมาย ปีนบันไดแต่ละขั้น
หน้า: [1]   ขึ้นบน
พิมพ์