ต่อไป »

[Step9]

ปกติถ้า bot Noname มารุมเรามักจะแบนไปเลย
แต่ครั้งนี้ชื่อ GoogleBot อ่ะครับ

มาเยอะก็ดีแต่มากจนDir ผมโดนDisable Accไป1แล้ว -*-
ผมเทียบกับเว็บอื่นๆเฉพาะGoogleBot จะมาไม่เกิน 20MB แต่นี่มากกว่า 250MB+


รู้แต่คำสั่งกั้นBot ใน robots.txt  แต่ถ้าจะให้เพลาๆหรือ limit ไว้มีคำสั่งไหมครับ 

มีวิธีลด Google Bot ให้ช่วยเพลาๆลงหน่อยไหมครับ -*-

[Step9]

Dir อื่น GoogleBotเกือบ 400MB ถ้ามันเกิดจาก Botถล่มจริง เดี๋ยวโดนเด้งอีกซวยเลย


มีวิธีให้ Bot เพลาๆไหมครับ เช่นกำหนดว่าตัวนี้มาใช้Banwithไม่ให้เกิน 100 MBอย่างนี้เป็นต้น 

[win]

http://www.google.com/support/...swer.py?hl=en&answer=48620

Changing Google's crawl rate

Googlebot has sophisticated algorithms that determine how much to crawl each site. Our goal is to crawl as many pages from your site as we can on each visit without overwhelming your server's bandwidth. You can change the crawl rate (the time used by Googlebot to crawl the site) for sites that are at the root level - for example, www.example.com and http://subdomain.example.com . You can't change the crawl rate for sites that are not at the root level - for example, www.example.com/folder .

To change the rate at which we crawl your site:

   1. Sign into Google Webmaster Tools with your Google Account.
   2. Click the URL for the site you want.
   3. Click Settings.
   4. In the Crawl rate section, select the option you want.

The new crawl rate will be valid for 90 days.

ลองดูครับ

[gftframe]

อะไรจะขนาดน้าน

[Rock2Rich]

Google webmaster tool    มีให้ปรับนิครับ  ผมเคยแต่ปรับเพิ่ม
ปรับลดลงนี่ไม่เคยลองดูนะครับ

[Step9]

ขอบคุณครับ 


ด้วยเหตุผลทางเทคนิคเลยไม่ได้ทำไว้  แต่แบบนี้ก็ต้องทำละ

ไม่ทราบว่าจะจำกัดไว้ที่แค่ไหนดีครับ
มาเยอะอ่ะดี แต่รับไม่ไหว ทางHostแนะนำให้ใช้เดดิเคท

ไอ๋หย๋า แค่นี้ก็แพงหูฉี่แล้วอ่า

 

[mapandy]

หุ ๆ อยากให้มาเด็กดิ๊กก++ เยอะ ๆ แบบนี้มั่งอ่ะ อิ ๆ

 

[Step9]

The new crawl rate will be valid for 90 days.

นานเกินไปครับท่านGoogle

เฮีย เอก iamnewbies แนะนำให้ใช้

โค๊ด:

User-agent: Googlebot
Crawl-delay: 10 

http://en.wikipedia.org/wiki/Robots.txt

ก็ไม่ต้องไปสมัครWebmaster Tool

สำคัญว่าขอให้เว็บปลดDisableผ่านก่อน Codeนี้จะฟังขึ้นไหมนะ 

[Step9]

ไหนๆก็พูดถึง robots.txt แล้ว

ผมเจอSEO Forumนอกแห่งหนึ่ง แห่งนี้แหล่ะ http://www.webmaster-talk.com/
ตั้งกั้นพวกBotที่เราอาจไม่รู้จักชื่อไว้เยอะเลย
http://www.webmaster-talk.com/robots.txt

โค๊ด:

User-agent: Fasterfox
Disallow: /

User-agent: WebVac
Disallow: /

User-agent: Stanford
Disallow: /

User-agent: Stanford CompSciClub
Disallow: /

User-agent: Stanford CompClub
Disallow: /

User-agent: Stanford Phi Sci Data Suck Club
Disallow: /

User-agent: Stanford Club Data Suck
Disallow: /

User-agent: Stanford F.U. We Don't Do Robots.txt
Disallow: /

User-agent: Stanford Club Copyright Sucks Club
Disallow: /

User-agent: naver
Disallow: /

User-agent: dumbot
Disallow: /

User-agent: Hatena Antenna
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: Copernic
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

[zo501]

เหมือนผมตอนโดย cuil ถล่ม ผมก็ใส่ Crawl-delay ก็เริ่มนิ่ง แต่ข้อเสียคือจะ indexed ไม่มากเท่าเหมือนก่อน

[gootum]

Google webmaster tool
setting แล้วเลื่อนให้มันลดลงอีก


ทำแล้วทราฟฟิกของ cpu เครื่องนั้นลดลงครับได้ผล 100%

[Step9]

เหมือนผมตอนโดย cuil ถล่ม ผมก็ใส่ Crawl-delay ก็เริ่มนิ่ง แต่ข้อเสียคือจะ indexed ไม่มากเท่าเหมือนก่อน

ไม่ทราบว่าใส่ Crawl-delay เท่าไรครับ 10 - 20 - XX

[Step9]

Capมาให้ดูกัน แถบบาที่ว่า นี่เป็นค่าปกติครับ(เว็บอื่นที่ทำไว้)

[fammoko]

พึงรู้ว่ามันปรับแบบนี้ได้ด้วย

[ColdMoney]

ก่อนหน้านี้ผมก็เจอครับ ทั้ง bot ทั้ง user  ผมแก้โดยเปลี่ยนไปใช้ dedicate ครับ ไม่อยากใช้ delay เดี๋ยวมันงอน

[pooh20240]

มันงอลได้ด้วยหรอ- -"
 

[kanokk]

มาถามความคืบหน้าว่าได้ผลเป็นงัยมั่ง
ของผมนี่ มันเล่นไป 20 วัน เกือบ 2 G เลย

[Hari Seldon]

ผมเพิ่งลองปรับขึ้นไป 10 pages/sec สุดสเกล

ก็เข้าน้อยเท่าเดิมครับ ประมาณ 1.7 pages/sec

แต่มีอยู่คืนนึง มันพรวดขึ้นมา 10.0 pages/sec เลย
โหลดพุ่งขึ้นไปประมาณ 2.4

ขนาดเข้ามาตอนทราฟฟิคปกติน้อยสุดนะเนี่ย

[afterdead]

แหง้ๆ ถ้ามานเยอะมาก บอกมันมาหาผม ซักตัวฉอง ตัวก็ได้นะครับ ฮาา   

[EThaiZone]

สงสัยซัพมิทเว็บมากเกินไป บอทเลยพล่าน 
้
ปล. ผมเป็นหน้าม้าครับ 

[Step9]

สงสัยซัพมิทเว็บมากเกินไป บอทเลยพล่าน 
้
ปล. ผมเป็นหน้าม้าครับ 

ล่าสุด ไฟล์มันก็โตมากๆด้วยครับ เห็นเพื่อนว่าเพราะแรมHostไม่พอ จึงต้องสร้างไฟล์มาช่วย
อันนี้ผมก็ไม่รู้นะครับ แต่ก็ต้องตามลบไฟล์ดังกล่าว

[marus]

ไหนๆก็พูดถึง robots.txt แล้ว

ผมเจอSEO Forumนอกแห่งหนึ่ง แห่งนี้แหล่ะ http://www.webmaster-talk.com/
ตั้งกั้นพวกBotที่เราอาจไม่รู้จักชื่อไว้เยอะเลย
http://www.webmaster-talk.com/robots.txt

โค๊ด:

User-agent: Fasterfox
Disallow: /

User-agent: WebVac
Disallow: /

User-agent: Stanford
Disallow: /

User-agent: Stanford CompSciClub
Disallow: /

User-agent: Stanford CompClub
Disallow: /

User-agent: Stanford Phi Sci Data Suck Club
Disallow: /

User-agent: Stanford Club Data Suck
Disallow: /

User-agent: Stanford F.U. We Don't Do Robots.txt
Disallow: /

User-agent: Stanford Club Copyright Sucks Club
Disallow: /

User-agent: naver
Disallow: /

User-agent: dumbot
Disallow: /

User-agent: Hatena Antenna
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: Copernic
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

ขอบคุณมากครับ ถ้าหากเป็นผมจะเปลี่ยนเป็นเช่าเครื่องดีกว่า ผมว่ามันเข้ามาอ่านนะครับแต่มันไม่ index ให้ เพราะถ้ามันจะเข้าจริงๆ มันห้ามไม่ได้หรอก
ผมก็เขียนโปรแกรมแนวนี้อยู่แต่ใช้ส่วนตัว ไม่เคยอ่าน robots.txt เลย

[Step9]

ู^
^
ผมก็ได้ยินมาครับว่า bot หลายตัวมันไม่สน robots.txt มันไปหมด
bot google จะฟังrobots ก็ฟังไปคนเดียว

marus Confirm!! 

[imodxlstep]

พึ่งโดนมาหยก ๆ ขอบคุณครับ