ยินดีต้อนรับคุณ, บุคคลทั่วไป กรุณา เข้าสู่ระบบ หรือ ลงทะเบียน

เข้าสู่ระบบด้วยชื่อผู้ใช้ รหัสผ่าน และระยะเวลาในเซสชั่น

ThaiSEOBoard.comพัฒนาเว็บไซต์Programmingอยากหาวิธีดึงข้อมูล จาก google โดยไม่โดนblock
หน้า: [1]   ลงล่าง
พิมพ์
ผู้เขียน หัวข้อ: อยากหาวิธีดึงข้อมูล จาก google โดยไม่โดนblock  (อ่าน 1700 ครั้ง)
0 สมาชิก และ 1 บุคคลทั่วไป กำลังดูหัวข้อนี้
jar2548
คนรักเสียว
*

พลังน้ำใจ: 8
ออฟไลน์ ออฟไลน์

กระทู้: 150



ดูรายละเอียด เว็บไซต์
« เมื่อ: 16 สิงหาคม 2011, 18:18:16 »

อยากเขียน php ดึงข้อมูล ผลการค้นหา จาก google โดยไม่โดน block ใครพอมีวิธีบ้างครับ เช่น curl เรียกผ่าน proxy ผมลองแล้ว แต่ยังไม่ได้ ใครมีความรู้ เสนอแนะได้เต็มที่นะครับ (ปกติที่ใช้ ใช้ @file_get_contents ครับ)
   ขอบคุณครับ
อ้อ ผมลองเขียนผ่าน proxy แต่เมื่อ proxy ใช้ไม่ได้ php มัน error ไปเลยครับ
บันทึกการเข้า

จะทำเว็บอะไรดีน้า คิดไม่ออก ตอนนี้กำลังมึนเลย
jar2548
คนรักเสียว
*

พลังน้ำใจ: 8
ออฟไลน์ ออฟไลน์

กระทู้: 150



ดูรายละเอียด เว็บไซต์
« ตอบ #1 เมื่อ: 16 สิงหาคม 2011, 18:20:47 »

และก็ เห็นท่านสารวัตรเคยบอกเรื่อง proxy ส่วนตัวไว้ มันคืออะไรหรือครับ ใช่การซื้อ proxy หรือเปล่าครับ (ราคาพอควรเลย) มีวิธีทำproxy ใช้เองมั้ยครับ
บันทึกการเข้า

จะทำเว็บอะไรดีน้า คิดไม่ออก ตอนนี้กำลังมึนเลย
devilmanb
สมุนแก๊งเสียว
*

พลังน้ำใจ: 48
ออฟไลน์ ออฟไลน์

กระทู้: 869



ดูรายละเอียด เว็บไซต์
« ตอบ #2 เมื่อ: 16 สิงหาคม 2011, 18:21:37 »

เขียน imacro ให้กรอก captcha ครับ  wanwan004
บันทึกการเข้า

jar2548
คนรักเสียว
*

พลังน้ำใจ: 8
ออฟไลน์ ออฟไลน์

กระทู้: 150



ดูรายละเอียด เว็บไซต์
« ตอบ #3 เมื่อ: 16 สิงหาคม 2011, 18:25:09 »

ขอบคุณครับ
บันทึกการเข้า

จะทำเว็บอะไรดีน้า คิดไม่ออก ตอนนี้กำลังมึนเลย
spmazon
Verified Seller
ก๊วนเสียว
*

พลังน้ำใจ: 42
ออฟไลน์ ออฟไลน์

กระทู้: 464



ดูรายละเอียด เว็บไซต์
« ตอบ #4 เมื่อ: 16 สิงหาคม 2011, 18:41:59 »

ให้มัน delay เอาไม่ได้เหรอครับไม่รู้ว่าตรงคำตอบรึเปล่านะครับ
ทุกวันนี้ผมมีโปรแกรมเช็ค pr จาก google อย่หนะครับก็ทำงานได้ปกตินะแต่ผมเว้น delay ให้เหมือนเนียนๆว่าเป็นคนหน่อยอะครับ

ช้าหน่อยแต่ก็ทำงานปกตินะครับรันทั้งคืนก็ไม่มีปัญหา
บันทึกการเข้า

chinjung01
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 160
ออฟไลน์ ออฟไลน์

กระทู้: 1,076



ดูรายละเอียด
« ตอบ #5 เมื่อ: 16 สิงหาคม 2011, 19:21:37 »

ผมคำนวนเอาอ่ะ ว่าใน 60 วิค้นหาไม่เกิน 60 ครั้ง

เช่น 1 loop ใช้เวลา 30 miliseconds

ผมก็จะให้มัน wait second = 1

เพื่อไม่ให้มันหาเกิน 60 ครั้งต่อนาที

แค่นี้ก็รั่นได้ทั้งคืนแล้วครับ
บันทึกการเข้า

zern
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 117
ออฟไลน์ ออฟไลน์

กระทู้: 3,244



ดูรายละเอียด
« ตอบ #6 เมื่อ: 16 สิงหาคม 2011, 19:59:11 »

ผมคำนวนเอาอ่ะ ว่าใน 60 วิค้นหาไม่เกิน 60 ครั้ง

เช่น 1 loop ใช้เวลา 30 miliseconds

ผมก็จะให้มัน wait second = 1

เพื่อไม่ให้มันหาเกิน 60 ครั้งต่อนาที

แค่นี้ก็รั่นได้ทั้งคืนแล้วครับ
ผมคิดว่ามันซับซ้อนกว่านี้นะท่าน
ผมเคยลองหน่วงเวลาให้มันเยอะๆดูแล้ว มันก็ยังบล็อกอยู่ดี
บางทีมันอาจจะดูถึงขั้นว่า มีการค้นหาแบบเป็นแบบแผนหรือเปล่า และ เร็วเกินไปหรือเปล่า
เช่นหากค้นเร็วกว่า 1 วิต่อครั้งก็จะโดนบล็อก และหากค้น 5 วิต่อครั้งอย่างสม่ำเสมอ ก็จะโดนบล็อกเช่นกัน อะไรแบบนี้เป็นต้น
บันทึกการเข้า

สูงสุด ที่สุดก็คืนสู่สามัญ
biomass
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 53
ออฟไลน์ ออฟไลน์

กระทู้: 1,019



ดูรายละเอียด เว็บไซต์
« ตอบ #7 เมื่อ: 16 สิงหาคม 2011, 19:59:58 »

 Shocked
บันทึกการเข้า
nonon7
ก๊วนเสียว
*

พลังน้ำใจ: 8
ออฟไลน์ ออฟไลน์

กระทู้: 231



ดูรายละเอียด
« ตอบ #8 เมื่อ: 16 สิงหาคม 2011, 20:05:27 »

ผมหน่วงเวลา ประมาณ 3-4 วิ ครับ ไม่โดนเลยนะครับ ช้าหน่อยแต่ก็เอาเวลาไปเล่น HON ครับ กลับออกมาก็เสร็จพอดี
บันทึกการเข้า

m16team47
หัวหน้าแก๊งเสียว
*

พลังน้ำใจ: 438
ออฟไลน์ ออฟไลน์

กระทู้: 2,002



ดูรายละเอียด เว็บไซต์
« ตอบ #9 เมื่อ: 16 สิงหาคม 2011, 20:07:00 »

Shocked
ใช้ Proxy ครับ ถ้าซื้อก็ใช้ได้ตลอด แต่ถ้าฟรี มันจะตาย ต้องหาใหม่อยู่เรื่อย ๆ 1 proxy=1 ip = 1 user หากท่านมี 1000 proxy ก็ดึงได้ =ปริมาณที่ดึงได้ต่อ 1 ip x 1000 ( ผมชอบมั่วนะ )
บันทึกการเข้า

jar2548
คนรักเสียว
*

พลังน้ำใจ: 8
ออฟไลน์ ออฟไลน์

กระทู้: 150



ดูรายละเอียด เว็บไซต์
« ตอบ #10 เมื่อ: 17 สิงหาคม 2011, 12:44:12 »

ใช่ครับ delay ยังไงก็โดน block โดยเฉพาะ พวก คำสั่ง intitle แป๊ปเดียวโดนเลย ของผมมันblock ที่ประมาณ 200-300 ครั้งครับ ส่วนถ้าใช้ proxy หา google.com ต้องใช้ proxy usa ไม่งั้นมันจะ redirect มา .co.th ทำให้เก็บข้อมูลอะไรไม่ได้ ผมว่า google มันฉลาดกว่าที่คิดเยอะเลย proxy freeก็เสียเวลามาก ๆ เห็นว่ามีโปรแกรมทำ proxy ชื่อ squidใครเคยใช้บ้างครับ
อ้อ พวก proxy free มาใช้กับพวกโปรแกรม เช่น parameter หา pr ใช้ได้ดีเลยครับ(มันblock ที่ 1000 query ครับ) สามารถเปิดได้หลายหน้าต่าง จะหา pr ได้เยอะและเร็ว ไม่แฮง ด้วย
บันทึกการเข้า

จะทำเว็บอะไรดีน้า คิดไม่ออก ตอนนี้กำลังมึนเลย
bigone111
ก๊วนเสียว
*

พลังน้ำใจ: 164
ออฟไลน์ ออฟไลน์

กระทู้: 315



ดูรายละเอียด
« ตอบ #11 เมื่อ: 18 สิงหาคม 2011, 11:06:57 »

 wanwan019 wanwan019 wanwan019 มารออ่าน
บันทึกการเข้า
หน้า: [1]   ขึ้นบน
พิมพ์