ยินดีต้อนรับคุณ, บุคคลทั่วไป กรุณา เข้าสู่ระบบ หรือ ลงทะเบียน

เข้าสู่ระบบด้วยชื่อผู้ใช้ รหัสผ่าน และระยะเวลาในเซสชั่น

ThaiSEOBoard.comพัฒนาเว็บไซต์Programmingเขียน CURL แบบไหน ถึงจะเนียนจน host ต้นทางไม่รุ้ว่าเราเป็น bot คะ
หน้า: [1]   ลงล่าง
พิมพ์
ผู้เขียน หัวข้อ: เขียน CURL แบบไหน ถึงจะเนียนจน host ต้นทางไม่รุ้ว่าเราเป็น bot คะ  (อ่าน 1950 ครั้ง)
0 สมาชิก และ 1 บุคคลทั่วไป กำลังดูหัวข้อนี้
nuugib
Verified Seller
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 207
ออฟไลน์ ออฟไลน์

กระทู้: 2,061



ดูรายละเอียด เว็บไซต์
« เมื่อ: 17 พฤษภาคม 2012, 00:19:09 »

พอดีปรกติใช้ curl กับเว็บนึงอยู่

ไปๆมาๆ เหมือนว่าจะเข้าไม่ได้ แล้ว ณ ตอนนี้

ทำไง ถึงจะเนียนๆ เขียนใส่ option อะไรดี จะได้ดูเหมือนเป็นคนเข้าไปมากที่สุดคะ


 wanwan017
บันทึกการเข้า
LifeGood
สมุนแก๊งเสียว
*

พลังน้ำใจ: 45
ออฟไลน์ ออฟไลน์

กระทู้: 574



ดูรายละเอียด
« ตอบ #1 เมื่อ: 17 พฤษภาคม 2012, 00:22:25 »

พอดีปรกติใช้ curl กับเว็บนึงอยู่

ไปๆมาๆ เหมือนว่าจะเข้าไม่ได้ แล้ว ณ ตอนนี้

ทำไง ถึงจะเนียนๆ เขียนใส่ option อะไรดี จะได้ดูเหมือนเป็นคนเข้าไปมากที่สุดคะ


 wanwan017

ทำได้แค่ปลอม user agent เป็น google bot ครับ ส่วนจะทำให้เหมือนคนเข้าไปนี่ยากครับ เพราะคนเข้ากับ bot เข้ามันต่างกัน เวลา bot เข้ามันจะดึงไปแค่ส่วนของ html แต่ถ้าคนเข้ามันจะโหลดพวกรูปภาพ css javascript ด้วย ดูออกนะครับว่าอันไหนคนอันไหน bot
บันทึกการเข้า

รับงาน PHP Programming ฟรีแลนซ์ จากโปรแกรมเมอร์ประสบการณ์กว่า 8 ปี ชำนาญเฟรมเวิร์ค CI ปรับแต่งได้ทุก CMS รับทั้งงานเล็กและงานใหญ่ในราคาเพื่อนฝูง รับทีละงาน ไม่พอกหางหมู เสร็จตรงเวลาแน่นอน แจ้งความคืบหน้าและอัพเดทความคืบหน้าของงานทุก 3 วัน สนใจ PM มาครับ!!!
siammbk
ก๊วนเสียว
*

พลังน้ำใจ: 38
ออฟไลน์ ออฟไลน์

กระทู้: 237



ดูรายละเอียด เว็บไซต์
« ตอบ #2 เมื่อ: 17 พฤษภาคม 2012, 01:17:18 »

ก็ให้ crul มันอ่านให้หมดสิคับแบบนั้น

ข้อแนะนำ ให้มองตัวเราเองว่าเป็นผู้เข้าใช้งานก่อนคับ ถึงจะมองออกมามัน ok หรือป่าว

บันทึกการเข้า

รับออกแบบเว็บไซต์ ทุกรูปแบบ งานใหญ่ๆ ระบบยากๆ ราคาแรงๆ คุยกันคับ
line : siammbk
tel : 095-675-8614
LifeGood
สมุนแก๊งเสียว
*

พลังน้ำใจ: 45
ออฟไลน์ ออฟไลน์

กระทู้: 574



ดูรายละเอียด
« ตอบ #3 เมื่อ: 17 พฤษภาคม 2012, 01:20:38 »

ก็ให้ crul มันอ่านให้หมดสิคับแบบนั้น

ข้อแนะนำ ให้มองตัวเราเองว่าเป็นผู้เข้าใช้งานก่อนคับ ถึงจะมองออกมามัน ok หรือป่าว



ทำยังไงเหรอครับ
บันทึกการเข้า

รับงาน PHP Programming ฟรีแลนซ์ จากโปรแกรมเมอร์ประสบการณ์กว่า 8 ปี ชำนาญเฟรมเวิร์ค CI ปรับแต่งได้ทุก CMS รับทั้งงานเล็กและงานใหญ่ในราคาเพื่อนฝูง รับทีละงาน ไม่พอกหางหมู เสร็จตรงเวลาแน่นอน แจ้งความคืบหน้าและอัพเดทความคืบหน้าของงานทุก 3 วัน สนใจ PM มาครับ!!!
mixture
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 73
ออฟไลน์ ออฟไลน์

กระทู้: 1,844



ดูรายละเอียด เว็บไซต์
« ตอบ #4 เมื่อ: 17 พฤษภาคม 2012, 03:20:23 »

ต้องดูก่อนครับว่าที่ไม่ได้เพราะอะไร ถ้าตอนแรกไม่ได้ระบุ Agent ให้ลองระบุดู ตัวอย่างด้านล่าง
โค๊ด:
function curl_url($url) {
    $agent = "Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)";
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_USERAGENT, $agent);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 15);
    $result = curl_exec($ch);
    curl_close($ch);
    if ($result) {
        return $result;
    } else {
        return false;
    }
}

ระบุแล้ว ก็ทดสอบ $result = curl_exec($ch); เช็คดูว่า $result มีผลลัพธ์หรือไม่ ถ้าไม่มีอาจโดน Block IP ครับ ทางแก้คือเปลี่ยน IP หรือใช้พวก Proxy

http://blog.proxybonanza.com/p...ogramming/php-curl-with-proxy/
บันทึกการเข้า

marus
ก๊วนเสียว
*

พลังน้ำใจ: 41
ออฟไลน์ ออฟไลน์

กระทู้: 467



ดูรายละเอียด
« ตอบ #5 เมื่อ: 17 พฤษภาคม 2012, 06:24:22 »

ดูก่อนว่าทำไมใช้ไม่ได้ แล้วแก้กันไป
ถ้าโดนบล็อก ip เขียน curl ขั้นเทพก็เท่านั้น
บันทึกการเข้า
zidit
Verified Seller
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 314
ออฟไลน์ ออฟไลน์

กระทู้: 7,543



ดูรายละเอียด
« ตอบ #6 เมื่อ: 17 พฤษภาคม 2012, 09:13:39 »

ใส่ user-agent ก็พอช่วยได้ครับ แต่บางทีดูพฤติกรรมการเข้าเว็บก็รู้แล้วครับว่าอันไหนคน อันไหนบอท
บันทึกการเข้า
tapanon
ก๊วนเสียว
*

พลังน้ำใจ: 17
ออฟไลน์ ออฟไลน์

กระทู้: 363



ดูรายละเอียด
« ตอบ #7 เมื่อ: 17 พฤษภาคม 2012, 09:28:09 »

ใส่ user-agent ก็พอช่วยได้ครับ แต่บางทีดูพฤติกรรมการเข้าเว็บก็รู้แล้วครับว่าอันไหนคน อันไหนบอท

User Agent กับ Http Header ประมาณนี้ลองใช้ Browser FF แล้วใช้ addon firebug ดู http header กับ User Agent แล้วก็ทำให้เหมือนครับ  แต่ตามท่านด้านบนว่า  ถ้ามีคนดูเว็บ analytics ก็จะรู้ว่าเข้ามาแบบนี้ bot แต่แอบเนียนเป้นคนเห้อๆๆๆ ลองดูครับ
บันทึกการเข้า

รับเขียนเว็บไซด์และโปรแกรม (php, vb.net, c#.net, graphic, css, template)  ด้วยทีมงานมืออาชีพทุกคนครับ  PM มาเลยครับ
UnzO
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 54
ออฟไลน์ ออฟไลน์

กระทู้: 1,872



ดูรายละเอียด เว็บไซต์
« ตอบ #8 เมื่อ: 17 พฤษภาคม 2012, 09:55:59 »

ผมเคยเขียนไว้ ดูดเว็บได้อยู่เกือบปี แต่สุดท้ายเค้าก็รู้ครับ (ผมใช้บอทเข้าไปดึงข้อมูลของ google) ก็ใช่วิธีปลอม user agent แหละครับ แต่ผมใช้เป็นสิบๆ เลยครับ แล้วก็แรมดอมเข้าหลายๆ ประเทศ (พวก .com .co.th .bla bla)

แต่สุดท้ายเค้าก็รู้นะ

หรือไปดึงเว็บบทความอื่นๆ ก็มีครับ อยู่ได้นานเหมือนกัน โดยใช้วิธีปลอม user agent นี่แหละ (ปลอมให้เป็นบอทของ google bing yahoo) แต่สุดท้ายเค้าก็รู้นะครับ เพราะ ip มันฟ้อง ฮ่าๆๆ
บันทึกการเข้า
obi001
ก๊วนเสียว
*

พลังน้ำใจ: 26
ออฟไลน์ ออฟไลน์

กระทู้: 365



ดูรายละเอียด
« ตอบ #9 เมื่อ: 17 พฤษภาคม 2012, 23:02:41 »

ผมเคยเขียนไว้ ดูดเว็บได้อยู่เกือบปี แต่สุดท้ายเค้าก็รู้ครับ (ผมใช้บอทเข้าไปดึงข้อมูลของ google) ก็ใช่วิธีปลอม user agent แหละครับ แต่ผมใช้เป็นสิบๆ เลยครับ แล้วก็แรมดอมเข้าหลายๆ ประเทศ (พวก .com .co.th .bla bla)

แต่สุดท้ายเค้าก็รู้นะ

หรือไปดึงเว็บบทความอื่นๆ ก็มีครับ อยู่ได้นานเหมือนกัน โดยใช้วิธีปลอม user agent นี่แหละ (ปลอมให้เป็นบอทของ google bing yahoo) แต่สุดท้ายเค้าก็รู้นะครับ เพราะ ip มันฟ้อง ฮ่าๆๆ
google ตัวดีเลย เปลี่ยน ip มันยังรู้ ขนาด ผม เขียน autoit คล้าย imacro นะ
ทำงาน บน ff
บันทึกการเข้า

ขอให้เงินทองจงอยุ่กับท่าน
หน้า: [1]   ขึ้นบน
พิมพ์