ไหนๆก็พูดถึง robots.txt แล้ว
ผมเจอSEO Forumนอกแห่งหนึ่ง แห่งนี้แหล่ะ
http://www.webmaster-talk.com/ 
ตั้งกั้นพวกBotที่เราอาจไม่รู้จักชื่อไว้เยอะเลย
http://www.webmaster-talk.com/robots.txt User-agent: Fasterfox
Disallow: /
User-agent: WebVac
Disallow: /
User-agent: Stanford
Disallow: /
User-agent: Stanford CompSciClub
Disallow: /
User-agent: Stanford CompClub
Disallow: /
User-agent: Stanford Phi Sci Data Suck Club
Disallow: /
User-agent: Stanford Club Data Suck
Disallow: /
User-agent: Stanford F.U. We Don't Do Robots.txt
Disallow: /
User-agent: Stanford Club Copyright Sucks Club
Disallow: /
User-agent: naver
Disallow: /
User-agent: dumbot
Disallow: /
User-agent: Hatena Antenna
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: grub
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: larbin
Disallow: /
User-agent: b2w/0.1
Disallow: /
User-agent: Copernic
Disallow: /
User-agent: psbot
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: URL_Spider_Pro
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: ia_archiver
Disallow: /
ขอบคุณมากครับ ถ้าหากเป็นผมจะเปลี่ยนเป็นเช่าเครื่องดีกว่า ผมว่ามันเข้ามาอ่านนะครับแต่มันไม่ index ให้ เพราะถ้ามันจะเข้าจริงๆ มันห้ามไม่ได้หรอก
ผมก็เขียนโปรแกรมแนวนี้อยู่แต่ใช้ส่วนตัว ไม่เคยอ่าน robots.txt เลย
ความรู้ทั่วไป
