อยากหาวิธีดึงข้อมูล จาก google โดยไม่โดนblock

jar2548 · 16 สิงหาคม 2011, 18:18:16

อยากเขียน php ดึงข้อมูล ผลการค้นหา จาก google โดยไม่โดน block ใครพอมีวิธีบ้างครับ เช่น curl เรียกผ่าน proxy ผมลองแล้ว แต่ยังไม่ได้ ใครมีความรู้ เสนอแนะได้เต็มที่นะครับ (ปกติที่ใช้ ใช้ @file_get_contents ครับ)
ขอบคุณครับ
อ้อ ผมลองเขียนผ่าน proxy แต่เมื่อ proxy ใช้ไม่ได้ php มัน error ไปเลยครับ

jar2548 · 16 สิงหาคม 2011, 18:20:47

และก็ เห็นท่านสารวัตรเคยบอกเรื่อง proxy ส่วนตัวไว้ มันคืออะไรหรือครับ ใช่การซื้อ proxy หรือเปล่าครับ (ราคาพอควรเลย) มีวิธีทำproxy ใช้เองมั้ยครับ

devilmanb · 16 สิงหาคม 2011, 18:21:37

เขียน imacro ให้กรอก captcha ครับ

jar2548 · 16 สิงหาคม 2011, 18:25:09

ขอบคุณครับ

spmazon · 16 สิงหาคม 2011, 18:41:59

ให้มัน delay เอาไม่ได้เหรอครับไม่รู้ว่าตรงคำตอบรึเปล่านะครับ
ทุกวันนี้ผมมีโปรแกรมเช็ค pr จาก google อย่หนะครับก็ทำงานได้ปกตินะแต่ผมเว้น delay ให้เหมือนเนียนๆว่าเป็นคนหน่อยอะครับ

ช้าหน่อยแต่ก็ทำงานปกตินะครับรันทั้งคืนก็ไม่มีปัญหา

chinjung01 · 16 สิงหาคม 2011, 19:21:37

ผมคำนวนเอาอ่ะ ว่าใน 60 วิค้นหาไม่เกิน 60 ครั้ง

เช่น 1 loop ใช้เวลา 30 miliseconds

ผมก็จะให้มัน wait second = 1

เพื่อไม่ให้มันหาเกิน 60 ครั้งต่อนาที

แค่นี้ก็รั่นได้ทั้งคืนแล้วครับ

zern · 16 สิงหาคม 2011, 19:59:11

อ้างถึงจาก: chinjung01 ใน 16 สิงหาคม 2011, 19:21:37
ผมคำนวนเอาอ่ะ ว่าใน 60 วิค้นหาไม่เกิน 60 ครั้ง

เช่น 1 loop ใช้เวลา 30 miliseconds

ผมก็จะให้มัน wait second = 1

เพื่อไม่ให้มันหาเกิน 60 ครั้งต่อนาที

แค่นี้ก็รั่นได้ทั้งคืนแล้วครับ

ผมคิดว่ามันซับซ้อนกว่านี้นะท่าน
ผมเคยลองหน่วงเวลาให้มันเยอะๆดูแล้ว มันก็ยังบล็อกอยู่ดี
บางทีมันอาจจะดูถึงขั้นว่า มีการค้นหาแบบเป็นแบบแผนหรือเปล่า และ เร็วเกินไปหรือเปล่า
เช่นหากค้นเร็วกว่า 1 วิต่อครั้งก็จะโดนบล็อก และหากค้น 5 วิต่อครั้งอย่างสม่ำเสมอ ก็จะโดนบล็อกเช่นกัน อะไรแบบนี้เป็นต้น

biomass · 16 สิงหาคม 2011, 19:59:58

nonon7 · 16 สิงหาคม 2011, 20:05:27

ผมหน่วงเวลา ประมาณ 3-4 วิ ครับ ไม่โดนเลยนะครับ ช้าหน่อยแต่ก็เอาเวลาไปเล่น HON ครับ กลับออกมาก็เสร็จพอดี

m16team47 · 16 สิงหาคม 2011, 20:07:00

อ้างถึงจาก: biomass ใน 16 สิงหาคม 2011, 19:59:58

ใช้ Proxy ครับ ถ้าซื้อก็ใช้ได้ตลอด แต่ถ้าฟรี มันจะตาย ต้องหาใหม่อยู่เรื่อย ๆ 1 proxy=1 ip = 1 user หากท่านมี 1000 proxy ก็ดึงได้ =ปริมาณที่ดึงได้ต่อ 1 ip x 1000 ( ผมชอบมั่วนะ )

jar2548 · 17 สิงหาคม 2011, 12:44:12

ใช่ครับ delay ยังไงก็โดน block โดยเฉพาะ พวก คำสั่ง intitle แป๊ปเดียวโดนเลย ของผมมันblock ที่ประมาณ 200-300 ครั้งครับ ส่วนถ้าใช้ proxy หา google.com ต้องใช้ proxy usa ไม่งั้นมันจะ redirect มา .co.th ทำให้เก็บข้อมูลอะไรไม่ได้ ผมว่า google มันฉลาดกว่าที่คิดเยอะเลย proxy freeก็เสียเวลามาก ๆ เห็นว่ามีโปรแกรมทำ proxy ชื่อ squidใครเคยใช้บ้างครับ
อ้อ พวก proxy free มาใช้กับพวกโปรแกรม เช่น parameter หา pr ใช้ได้ดีเลยครับ(มันblock ที่ 1000 query ครับ) สามารถเปิดได้หลายหน้าต่าง จะหา pr ได้เยอะและเร็ว ไม่แฮง ด้วย

bigone111 · 18 สิงหาคม 2011, 11:06:57

มารออ่าน