ยินดีต้อนรับคุณ, บุคคลทั่วไป กรุณา เข้าสู่ระบบ หรือ ลงทะเบียน

เข้าสู่ระบบด้วยชื่อผู้ใช้ รหัสผ่าน และระยะเวลาในเซสชั่น

หน้า: [1]   ลงล่าง
พิมพ์
ผู้เขียน หัวข้อ: robots.txt บล็อก badbots  (อ่าน 1031 ครั้ง)
0 สมาชิก และ 1 บุคคลทั่วไป กำลังดูหัวข้อนี้
x-japan
บุคคลทั่วไป
« เมื่อ: 13 กุมภาพันธ์ 2013, 09:10:30 »

เป็น ไฟล์ robots.txt เอาไว้บล็อก bad bots ทั้งหลาย ที่ทำให้ server อืดครับ อาจจะบล็อกไม่ได้ทั้งหมดแต่มันก็พอจะช่วยได้บ้าง

โค๊ด:
#Baiduspider
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider+
Disallow: /
User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /
User-agent: Baiduspider/2.0;+http://www.baidu.com/search/spider.html
Disallow: /
User-agent: Baiduspider/2.0
Disallow: /
User-agent: +Baiduspider
Disallow: /
User-agent: +Baiduspider/2.0
Disallow: /
User-agent: +Baiduspider/2.0;++http://www.baidu.com/search/spider.html
Disallow: /
User-agent: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Disallow: /

#Yandex
User-agent: spider
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: Yandex.com
Disallow: /
User-agent: YandexBot/3.0
Disallow: /

#ahrefsbot
User-agent: AhrefsBot
Disallow: /
User-agent: AhrefsBot/1.0
Disallow: /
User-agent: AhrefsBot/2.0
Disallow: /
User-agent: AhrefsBot/3.0
Disallow: /
User-agent: AhrefsBot/3.1
Disallow: /
User-agent: Mozilla/5.0 (compatible; AhrefsBot/3.1; +http://ahrefs.com/robot/)
Disallow: /

#Sosospider
User-agent: Sosospider
Disallow: /
User-agent: Sosospider+
Disallow: /

#Ezooms
User-agent: ezooms
Disallow: /
User-agent: Ezooms/1.0
Disallow: /
User-agent: Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)
Disallow: /

#Sogou
User-agent: sogou spider
Disallow: /

# Disallow Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /





User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /
บันทึกการเข้า
pinsale
สมุนแก๊งเสียว
*

พลังน้ำใจ: 57
ออฟไลน์ ออฟไลน์

กระทู้: 743



ดูรายละเอียด เว็บไซต์
« ตอบ #1 เมื่อ: 13 กุมภาพันธ์ 2013, 09:54:58 »

ขอบคุณ จขกท.มากค่ะ

 wanwan017 wanwan003
บันทึกการเข้า
969
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 232
ออฟไลน์ ออฟไลน์

กระทู้: 3,590



ดูรายละเอียด
« ตอบ #2 เมื่อ: 13 กุมภาพันธ์ 2013, 09:57:31 »

เอาไม่อยู่ครับ ต้องใช้ .htaccess

ผมอยากได้ .htaccess แบบบล็อกทุกโรบอท ใครใจดีเขียนให้หน่อยครับ
บันทึกการเข้า

articlebuilder โปรแกรมส้รางบทความภาษาอังกฤษ มีใครสนใจจะใช้ไม่ครับเปิดแชร์ให้ ใช้ได้ 1 ปี รับแค่ 2 คน จ่ายเพียงคนละ 3000 บาทใช้ได้ 1 ปีครับ จากราคาเต็มปีละ $297 สนใจ PM

เนื่องจาก Mail โดนให้ยืนยันตน ecommerce94@ฮอตเมล.com แต่ผมทิ้งเบอร์โทรที่ใช้กับเมลนี้ไปแล้วตอนนี้เลยใช้ไม่ได้ให้ติดต่อที่เมลใหม่ mybsiz@เอ้าลุค.com (outlook) นะครับ ไม่ได้ค่อยตอบ pm ให้ติดต่อผมที่ Mail ที่แจ้งเลยครับ
xvlnw.com
Verified Seller
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 493
ออฟไลน์ ออฟไลน์

กระทู้: 5,905



ดูรายละเอียด เว็บไซต์
« ตอบ #3 เมื่อ: 13 กุมภาพันธ์ 2013, 10:00:55 »

บล็อค Robots จาก Baidu Search Engine
 wanwan003
บันทึกการเข้า

watchlakorn
Newbie
*

พลังน้ำใจ: 6
ออฟไลน์ ออฟไลน์

กระทู้: 88



ดูรายละเอียด เว็บไซต์
« ตอบ #4 เมื่อ: 13 กุมภาพันธ์ 2013, 11:02:54 »

ปวดใจจริงๆ
บันทึกการเข้า

Patum Digital Technology LTD.
VPS | Reseller | Dedicated | Colocation
http://www.patumhost.com
gamepc2u
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 79
ออฟไลน์ ออฟไลน์

กระทู้: 1,301



ดูรายละเอียด
« ตอบ #5 เมื่อ: 13 กุมภาพันธ์ 2013, 11:47:22 »

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

T T บล็อกแบบนี้ google ก็ไม่เข้ามาเก็บสิ
บล็อก Google บล็อกบอททุกตัว  wanwan008
« แก้ไขครั้งสุดท้าย: 13 กุมภาพันธ์ 2013, 11:54:03 โดย gamepc2u » บันทึกการเข้า
x-japan
บุคคลทั่วไป
« ตอบ #6 เมื่อ: 13 กุมภาพันธ์ 2013, 12:01:14 »

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

T T บล็อกแบบนี้ google ก็ไม่เข้ามาเก็บสิ
บล็อก Google บล็อกบอททุกตัว  wanwan008


User-agent: Googlebot ---------- ให้ bots ของ Googleเข้ามาเก็บได้ สังเกตุว่า ไม่มีเครื่องหมายใดหลัง disallow
Disallow:                                         

User-agent: Mediapartners-Google ให้ bots ของ google adsense เข้ามา  สังเกตุว่า ไม่มีเครื่องหมายใดหลัง disallow
Disallow:

User-agent: *  ไม่อนุญาติให้บอทตัวไหนเข้ามา ในเว็บไซต์ นอกจากที่อณุญาติ ด้านบน
Disallow: /
บันทึกการเข้า
gamepc2u
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 79
ออฟไลน์ ออฟไลน์

กระทู้: 1,301



ดูรายละเอียด
« ตอบ #7 เมื่อ: 13 กุมภาพันธ์ 2013, 12:06:16 »

T T จริงๆด้วย ขออภัยครับ
« แก้ไขครั้งสุดท้าย: 13 กุมภาพันธ์ 2013, 12:07:45 โดย gamepc2u » บันทึกการเข้า
somsak1
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 97
ออฟไลน์ ออฟไลน์

กระทู้: 1,453



ดูรายละเอียด เว็บไซต์
« ตอบ #8 เมื่อ: 13 กุมภาพันธ์ 2013, 12:14:20 »

บอทที่มันชอบคลิกอเมซอลอ่ะ ตัวไหนครับ
บันทึกการเข้า

หน้า: [1]   ขึ้นบน
พิมพ์