|
หัวข้อ: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: น้องบิ้ว ที่ 21 กันยายน 2009, 15:49:59 พอดีไปอ่านมาเจอ แล้วก็ไปเจอใน pligg มีไฟล์ Robots.txt อยู่ มันเขียนว่า
User-agent: * Crawl-delay: 5 แบบนี้ ถ้าเราเอาไปใส่ใน เว็บ html ธรรมดาของเรา จะส่งผลดีไหมคับ ========================== ส่วนโ้ค้ดนี้ 1. <meta name="robots" content="index, follow" /> 2. <meta name="revisit-after" content="1 days"> ถ้าใส่แล้ว ส่งผลดีต่อเวบเรา ให้ bot มาบ่อยๆ ไหมคับ :-* หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: TAXZe ที่ 21 กันยายน 2009, 15:56:44 โค๊ด: User-agent: * ลดความเร็วในการ crawl โค้ดในตำนาน กำลังอยากได้พอดีครับ ทำให้ server ไม่เหมือนโดนยิง ;D หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: น้องบิ้ว ที่ 21 กันยายน 2009, 15:58:17 โค๊ด: User-agent: * ลดความเร็วในการ crawl โค้ดในตำนาน กำลังอยากได้พอดีครับ ทำให้ server ไม่เหมือนโดนยิง ;D ผมไม่รู้มันคืออะไรคับ แนะนำหน่อยคับ คือ ตอนนี้แค่อยากให้ bot มาเก็บเร็วๆ ถ้าใส่ตัวนี้ใน เวบ html ทั่วไป มันจะเป็นไงอะคับ หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: TAXZe ที่ 21 กันยายน 2009, 16:01:15 เอ่อ... อันนี้ทำให้บอท เ็ก็บหน้าเว็บช้านะครับ
ถ้าอยากเก็บเร็วๆ ต้องมี bl + แล้วหน้าเว็บมีข้อมูลใหม่ๆ + link ภายใน แล้วก็ต้องเรียกบอท ด้วยการ ปิง วันละทีก็พอครับ หรือ 3 ครั้งหลังอาหาร เช่นเว็บ digg / board / wp ปล. รอท่านอื่นๆมาเสริม ผมก็สังเกตุเอา ม่ะชัวร์ๆ :P หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: น้องบิ้ว ที่ 21 กันยายน 2009, 16:13:06 เอ่อ... อันนี้ทำให้บอท เ็ก็บหน้าเว็บช้านะครับ ถ้าอยากเก็บเร็วๆ ต้องมี bl + แล้วหน้าเว็บมีข้อมูลใหม่ๆ + link ภายใน แล้วก็ต้องเรียกบอท ด้วยการ ปิง วันละทีก็พอครับ หรือ 3 ครั้งหลังอาหาร เช่นเว็บ digg / board / wp ปล. รอท่านอื่นๆมาเสริม ผมก็สังเกตุเอา ม่ะชัวร์ๆ :P ขอบคุนคับ กำ ต้องเอาออกโดนด่วน bot ยิ่งไ่ม่มาอยู่ TT :P หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: mastergtx ที่ 21 กันยายน 2009, 16:23:01 ใส่แค่
<meta content="all" name="robots" /> :) หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: ก้ามปู ที่ 21 กันยายน 2009, 16:24:45 มันลดความเร็วในการเก็บลงเฉยๆหนะครับ แค่หน่วงเวลาไว้ ไม่ให้บอทมาติดๆกัน
เพราะบางเว็บ เช่นเว็บหนูเป้นต้น บอท google เข้ามานาทีละหลายสิบครั้ง แล้วบอทอย่างอื่นหละ ถ้าบอทมันมีหลายตัว เครื่องเราก็เดี้ยงพอดี แล้วถ้าบางเว็บซัก ยr6-7 นี่ยิ่งไปกันใหญ่ วินึงอาจจะมา 2 รอบ แบบนี้ก็ ยังกะคนหมื่นคนเข้าเว็บเราแล้ว แล้วยิ่งถ้ามีหลายตัวหละ เหอะๆๆ ไม่อยากจะเซด หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: 108programs ที่ 21 กันยายน 2009, 17:32:22 ไม่รู้เลย เรื่อง Crawl-delay: 5 ???
หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: Mr. Error ที่ 21 กันยายน 2009, 17:41:37 Crawl-delay: 5
นี่มัน หน่วยของมัน เป็นอะไรหรอครับ นาที หรือ วิอ่ะครับ หัวข้อ: Re: โค้ด Robots.txt >> User-agent: * Crawl-delay: 5 มันคืออะไรคับ ช่วยให้ bot มาหรอ เริ่มหัวข้อโดย: oarvoodoo ที่ 21 กันยายน 2009, 17:52:03 Crawl-delay: 5
มันน่าจะหมายถึง บอกให้บอทรออีก 5 วินาทีนะ แล้วค่อยมาใหม่ ใช่รึป่าวครับ |