ThaiSEOBoard.com

ความรู้ทั่วไป => General (ถามคุยวิชาการ IM) => ข้อความที่เริ่มโดย: x-japan ที่ 13 กุมภาพันธ์ 2013, 09:10:30


หัวข้อ: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: x-japan ที่ 13 กุมภาพันธ์ 2013, 09:10:30
เป็น ไฟล์ robots.txt เอาไว้บล็อก bad bots ทั้งหลาย ที่ทำให้ server อืดครับ อาจจะบล็อกไม่ได้ทั้งหมดแต่มันก็พอจะช่วยได้บ้าง

โค๊ด:
#Baiduspider
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider+
Disallow: /
User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /
User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /
User-agent: Baiduspider/2.0
Disallow: /
User-agent: +Baiduspider
Disallow: /
User-agent: +Baiduspider/2.0
Disallow: /
User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /
User-agent: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#Yandex
User-agent: spider
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: Yandex.com
Disallow: /
User-agent: YandexBot/3.0
Disallow: /

#ahrefsbot
User-agent: AhrefsBot
Disallow: /
User-agent: AhrefsBot/1.0
Disallow: /
User-agent: AhrefsBot/2.0
Disallow: /
User-agent: AhrefsBot/3.0
Disallow: /
User-agent: AhrefsBot/3.1
Disallow: /
User-agent: Mozilla/5.0 (compatible; AhrefsBot/3.1; +http://ahrefs.com/robot/)
Disallow: /

#Sosospider
User-agent: Sosospider
Disallow: /
User-agent: Sosospider+
Disallow: /

#Ezooms
User-agent: ezooms
Disallow: /
User-agent: Ezooms/1.0
Disallow: /
User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)
Disallow: /

#Sogou
User-agent: sogou spider
Disallow: /

# Disallow Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /





User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: pinsale ที่ 13 กุมภาพันธ์ 2013, 09:54:58
ขอบคุณ จขกท.มากค่ะ

 :wanwan017: :wanwan003:

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: 969 ที่ 13 กุมภาพันธ์ 2013, 09:57:31
เอาไม่อยู่ครับ ต้องใช้ .htaccess

ผมอยากได้ .htaccess แบบบล็อกทุกโรบอท ใครใจดีเขียนให้หน่อยครับ

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: xvlnw.com ที่ 13 กุมภาพันธ์ 2013, 10:00:55
บล็อค Robots จาก Baidu Search Engine (http://xvlnw.com/%E0%B8%9A%E0%B8%A5%E0%B9%87%E0%B8%AD%E0%B8%81-robots-%E0%B8%88%E0%B8%B2%E0%B8%81-baidu-search-engine)
 :wanwan003:

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: watchlakorn ที่ 13 กุมภาพันธ์ 2013, 11:02:54
ปวดใจจริงๆ

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: gamepc2u ที่ 13 กุมภาพันธ์ 2013, 11:47:22
User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

T T บล็อกแบบนี้ google ก็ไม่เข้ามาเก็บสิ
บล็อก Google บล็อกบอททุกตัว  :wanwan008:

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: x-japan ที่ 13 กุมภาพันธ์ 2013, 12:01:14
อ้างจาก: gamepc2u ที่ 13 กุมภาพันธ์ 2013, 11:47:22
User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

T T บล็อกแบบนี้ google ก็ไม่เข้ามาเก็บสิ
บล็อก Google บล็อกบอททุกตัว  :wanwan008:


User-agent: Googlebot ---------- ให้ bots ของ Googleเข้ามาเก็บได้ สังเกตุว่า ไม่มีเครื่องหมายใดหลัง disallow
Disallow:                                         

User-agent: Mediapartners-Google ให้ bots ของ google adsense เข้ามา  สังเกตุว่า ไม่มีเครื่องหมายใดหลัง disallow
Disallow:

User-agent: *  ไม่อนุญาติให้บอทตัวไหนเข้ามา ในเว็บไซต์ นอกจากที่อณุญาติ ด้านบน
Disallow: /

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: gamepc2u ที่ 13 กุมภาพันธ์ 2013, 12:06:16
T T จริงๆด้วย ขออภัยครับ

หัวข้อ: Re: robots.txt บล็อก badbots
เริ่มหัวข้อโดย: somsak1 ที่ 13 กุมภาพันธ์ 2013, 12:14:20
บอทที่มันชอบคลิกอเมซอลอ่ะ ตัวไหนครับ


SMF 1.1.21 | Simple Machines | ThaiSEOBoard.com