ต่อไป »

[okgofun]

พวกเว็บนอกนี่เขาเขียนระบบยังไงเหรอครับ ถึงรู้ว่าไม่ใช่ human ตอนเข้าถึง page นั้นๆของเว็บเขา

ผมลองหัดๆเขียน php พวกฟังก์ชั่น file_get_contents จากเว็บต่างๆ ส่วนใหญ่พวกเว็บ article แล้วก็มักจะเจอข้อความแสดงประมาณว่า เราไม่ใช่ human แบบว่ามีการเข้าถึงเพจของเขาด้วยการดึง ไม่พบ cookie และอื่นๆ

เขาเช็คได้ยังไงหละ เก่งจัง ก็เรารันใน localhost แล้วค่อยดึงไฟล์นั้นนี่ ไม่ได้ใช้ software ซะหน่อย

เอ่อ อยากรู้ว่ามีวิธีการปลอม header หรือเขียนคำสั่งให้เพจที่เรารันมันเป็นธรรมชาติเหมือนการเข้าเพจนั้นๆโดยตรงใหมครับ 

[kahn]

พวกเว็บนอกนี่เขาเขียนระบบยังไงเหรอครับ ถึงรู้ว่าไม่ใช่ human ตอนเข้าถึง page นั้นๆของเว็บเขา

ผมลองหัดๆเขียน php พวกฟังก์ชั่น file_get_contents จากเว็บต่างๆ ส่วนใหญ่พวกเว็บ article แล้วก็มักจะเจอข้อความแสดงประมาณว่า เราไม่ใช่ human แบบว่ามีการเข้าถึงเพจของเขาด้วยการดึง ไม่พบ cookie และอื่นๆ

เขาเช็คได้ยังไงหละ เก่งจัง ก็เรารันใน localhost แล้วค่อยดึงไฟล์นั้นนี่ ไม่ได้ใช้ software ซะหน่อย

เอ่อ อยากรู้ว่ามีวิธีการปลอม header หรือเขียนคำสั่งให้เพจที่เรารันมันเป็นธรรมชาติเหมือนการเข้าเพจนั้นๆโดยตรงใหมครับ 

ส่วนใหญ่จะใช้วิธีเช็ค user agent ครับ  แต่สามารถปลอมได้ ลองศึกษาฟังชั่น curl ดูครับ

[gAAp]

ตรวจจับจากความเร็วในการดึงข้อมูล ต่อ IP ครับ
จากการสังเกตดู ถ้าค่อยๆ ดึง ค่อย ๆ ดูด จะไม่มีปัญหา
แต่ถ้าดูดเร็ว ๆ หล่ะเป็นเรื่อง 

[ColdMoney]

เยอะแยะครับ วิธีเช็คอ่ะ เช่น
1 cookies ถ้าไม่มีก็คือ ดึงโดยตรง
2 user agent ถ้าไม่มี หรือไม่มารตฐานก็คือ ดึงโดยตรง
3 ความถี่ของการดึง


วิธีแก้ ก็ใช้ curl ครับ หรือไม่ก็ใช้ vb ก็ได้เปิดเว็บทีล่ะหน้าแล้ว save มันก็เหมือนกะเราใช้ ie เปิดอ่ะ เนียนมากๆ มีครบทุกอย่างที่ เค้าต้องการ 

[okgofun]

ขอบคุณครับ

เท่าที่สังเกตุต่อมา รู้สึกว่าเขาจะเน้นที่ความถี่ในการเข้าถึงข้อมูล คงจะตรวจสอบจาก ip หรือไม่ก็ cookie ของเราแน่ๆเลย

เอ? จะมีวิธีเขียนให้ header เปลี่ยน ip หรือเปลี่ยนเวลาได้บ้างใหมนะ 

อิอิ  ลุยต่อ

[pongino]

ถ้าเป็น PHP มันมีคำสั่ง check ว่าเป็น browser อะไรหรือเป็น bot อะไรนะ
รู้สึกว่า $_SERVER['HTTP_USER_AGENT'] มั้ง
มันจะดึงค่าว่าเป็น browser อะไร หรือ Bot อะไรกับลังอ่าน page เราอยู่
อันนี้คือพื้นๆที่สุดแล้ว

ถ้าอยากรู้ว่าใช้ file_get_content หรือ cURL แล้วมันขึ้นว่าอะไร ก็ลองเขียนโปรแกรมดูนะครับ

แต่ระบบใหญ่ๆ อาจจะมี check พฤติกรรมที่ซับซ้อนกว่านี้

[tony]

ต้องทำ human simulation  ด้วยนะ เช่น ทำท่า โหลดรูปด้วย  ไม่ใช่โหลดแต่ html    แล้วก็ เว้นระยะ ในการ โหลด หน้าถัดไป :

[kahn]

ถ้าหมายถึงเวบ ezine article ลำบากครับ ผมเสีย ip ไป 4 ตัวแล้ว โดนแบนหมด  ทั้งปลอม user agent ทั้งใส่ proxy ทั้งกำหนดความถี่การเข้าถึงแบบหน่วงเวลา  พยายามให้เหมือนมนุษย์มากที่สุด ยังโดน เค้าเช็คความถี่น่ะครับ 

[myong1]

ezine เท่าที่ผมลองเอง ผมเคยดึงหลายพันหน้าใน 1 วันก็ไม่เห็นจะโดนแบนนะครับ แต่ผมใช้โปแกรม Desktop ของผมเองนะครับ

แล้วตัวโปรแกรมก็เหมือนของ php คือเป็นตัวดึงข้อมูลอย่างเดียว ไม่ได้จำลองเป็น browser

ส่วนที่ว่า ezine เช็คยังไง ผมว่าเขาไม่ได้เช็คจาก cookies แน่ ๆ เพราะหน้ามันเข้า direct ตรง ๆ ได้

แล้วไม่ได้มีการ submit อะไรทั้งสิ้น คือเข้าตรง ๆ แล้วดึงข้อมูลออกมาอย่างเดียว

ถ้าให้ผมเดาก็น่าจะเป็น ความถึ่ในการดึงข้อมูลต่อ 1 ip เขาอาจจะกันไว้ว่าใน 1 ชม/1 ip เข้าเว็บเขาได้ไม่เกิน 1000 ครั้ง ถ้าเกินถือว่าใช้โปรแกรม

อะไรประมาณนี้ครับ ก็ลองสังเกตุละกันว่า ทำยังไงบ้างถึงโดนบล็อค แต่ถ้าโดนแบน ip  ซัก 2-3 วันก็น่าจะใช้ ip ตัวนั้นได้อีกครับ 

[harmonic]

นึกถึงสมัยเขียนโปรแกรมส่งเข้า pager ปลอม header กันอุตลุต

ถ้าอยากรู้เรื่องนี้ให้กระจ่างแนะนำว่าหาหนังสือ HTTP และ Apache มาอ่าน 

[ColdMoney]

ถ้าหมายถึงเวบ ezine article ลำบากครับ ผมเสีย ip ไป 4 ตัวแล้ว โดนแบนหมด  ทั้งปลอม user agent ทั้งใส่ proxy ทั้งกำหนดความถี่การเข้าถึงแบบหน่วงเวลา  พยายามให้เหมือนมนุษย์มากที่สุด ยังโดน เค้าเช็คความถี่น่ะครับ 

ผมดึงมา 5 แสน articles ยังไม่เห็นโดนเลยอ่ะครับ ไปทำไงเนี่ยถึงโดน 

[EThaiZone]

แนะนำเลย ลำบากหน่อยแต่...
สมัครโฮสฟรีนอกๆ อะ

แล้วเขียนดึงเลย โดนแบนช่างหัวมัน

ผมเคยทำแล้วกะเว็บอื่น ผล..
โดนแบน ip แถมโดนโฮสฟรีขึ้นแบล็กลิส

แหง่ล่ะ ขนาดใช้โฮสดูด ยังกินเวลาเป็นเกือบ หลายสิบชั่วโมง

ดูดไป 2 วัน แล้วรีบเอาไฟล์ออก  พอวันที่ 3 โดนซะ 
อีเมล์ใหม่สมัครใหม่  :

[okgofun]

ขอบคุณทุกๆคนมากครับ

ผมลองรันดูใน localhost หนะครับ พออัพขึ้น server แล้วรัน ยิ่งช้ากว่าใน localhost อีก

ที่สำคัญต้องมาปรับ max_execution_time ด้วย ผมเทสโดยการดึงข้อมูลครั้งละ 5 pages ของเว็บบทความครับ

เอ? แบบนี้ถ้าใน server ที่เราเช่า มันปรับ max_execution_time ไม่ได้ แล้วเราจะดึงบทความได้เหรอเนี่ย (กรณีต้องการดึงครั้งเดียวทีละมากๆเลย)

[Tee++;]

แก้ปัญหาได้หลายอย่างมาก
1.ใช้ cURL ปลอม Header เข้าไป
2.ใช้ cURL ใส่ Proxy เป็นเกราะเข้าไป โดยวนสักหลายๆ ตัว
3.ใช้การ refresh แบบนับจำนวน Record ครบ 50 แล้ว รีเฟรชมาเริ่มกันที่ 51 ต่อ
4.ใช้ asleep หรือ sleep มาหน่วงเวลาไว้ โดยอาจจะใช้ร่วมกับ flush หรือ ob_implicit_flush()

จะเอาไป mix รวมกันก็ไม่ผิดกติกาแต่อย่างใด

ส่วน library ที่ใช้กับ cURL ได้ดีๆ มี 2 ตัว

1. snoopy ตัวนี้สุดยอดแต่ลงยาก เพราะต้องลง cURL แบบ ไม่ใช่ ext ของ php ไม่งั้นมันจะกลายเป็นการทำงานแบบ fsock แทน ทำให้ไม่สามารถดึงขอ้มูลแบบ https ได้

2. class.curl อันนี้ลองหาดูใน phpclasses.org เป็น library แต่ก็แค่การทำให้คำสั่งสั้นลง จริงๆ เป็นการใช้ความสามารถ cUrl ของ php เท่านั้นเอง เรียกว่า พอถูไถ

เรื่อง Execute Time Limit ให้ใส่คำสั่งนี้ไปบนหัว

@set_time_limit(0) หรือใช้คำสั่ง refresh แบบที่บอก

[amaudy]

เพราะเรื่องดูดๆเนี่ยแหละ
ทำให้ผมกลับไปใช้ Perl/LWP รันบน VPS แทน

สะใจหลายเด้อ T-T

[okgofun]

แก้ปัญหาได้หลายอย่างมาก
1.ใช้ cURL ปลอม Header เข้าไป
2.ใช้ cURL ใส่ Proxy เป็นเกราะเข้าไป โดยวนสักหลายๆ ตัว
3.ใช้การ refresh แบบนับจำนวน Record ครบ 50 แล้ว รีเฟรชมาเริ่มกันที่ 51 ต่อ
4.ใช้ asleep หรือ sleep มาหน่วงเวลาไว้ โดยอาจจะใช้ร่วมกับ flush หรือ ob_implicit_flush()

จะเอาไป mix รวมกันก็ไม่ผิดกติกาแต่อย่างใด

ส่วน library ที่ใช้กับ cURL ได้ดีๆ มี 2 ตัว

1. snoopy ตัวนี้สุดยอดแต่ลงยาก เพราะต้องลง cURL แบบ ไม่ใช่ ext ของ php ไม่งั้นมันจะกลายเป็นการทำงานแบบ fsock แทน ทำให้ไม่สามารถดึงขอ้มูลแบบ https ได้

2. class.curl อันนี้ลองหาดูใน phpclasses.org เป็น library แต่ก็แค่การทำให้คำสั่งสั้นลง จริงๆ เป็นการใช้ความสามารถ cUrl ของ php เท่านั้นเอง เรียกว่า พอถูไถ

เรื่อง Execute Time Limit ให้ใส่คำสั่งนี้ไปบนหัว

@set_time_limit(0) หรือใช้คำสั่ง refresh แบบที่บอก

สุดยอดเลยครับพี่ ขอบคุณครับ เดี๋ยวจะลองๆดูครับ ว่าแต่ผมลองหาใน phpmanual มันมีไม่ค่อยครบเลย บางทีก็ไม่ละเอียด แต่ก็ยังดีครับ ลองไปเรื่อยๆมั่วๆเสียเวลามากหน่อย แต่ก็สนุกดี 

[EThaiZone]

3.ใช้การ refresh แบบนับจำนวน Record ครบ 50 แล้ว รีเฟรชมาเริ่มกันที่ 51 ต่อ

ผมใช้ข้อนี้ รันทิ้งไว้เลย

แต่สักพักก็หยุด อีกสิบนาทีค่อยมาต่อ อะไรแบบนั้น

[okgofun]

3.ใช้การ refresh แบบนับจำนวน Record ครบ 50 แล้ว รีเฟรชมาเริ่มกันที่ 51 ต่อ

ผมใช้ข้อนี้ รันทิ้งไว้เลย

แต่สักพักก็หยุด อีกสิบนาทีค่อยมาต่อ อะไรแบบนั้น

แจ๋วครับ เดี๋ยวผมลองมั่ง ลองๆคำสั่ง sleep ให้มัน delay ดูแล้วก็โอเคเลยครับ แต่ต้องอย่างต่ำสัก 15 วินาที แบบนี้ทำให้ต้องรอแย่เลย แต่ก็ยังดีกว่าไมได้  แหะๆ