ThaiSEOBoard.com

พัฒนาเว็บไซต์ => Programming => ข้อความที่เริ่มโดย: okgofun ที่ 18 สิงหาคม 2007, 06:07:45



หัวข้อ: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: okgofun ที่ 18 สิงหาคม 2007, 06:07:45
You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!! บางทีเรียกใน localhost ก็ไม่เท่าไหร่ แต่ถ้าอัพสคริ๊ปขึ้น hostmonster แล้วรันไฟล์นี้หมดสิทธิ์ทุกที ระบบดูออกทุกทีว่าเราเรียกเว็บเพจเขาด้วยสคริ๊ป

ผมลองทดสอบระบบคล้ายๆกับสคริ๊ปตัวอย่างด้านล่างนี่หนะครับ

http://www.thaiseoboard.com/index.php/topic,13145.30.html

ลองใช้ user-agent เป็น ia_archiver หรือพวก google bot หรืออะไรต่างๆก็ไม่ได้ผล ทำยังไงดีน๊า จนปัญญาละ

อยากดึงบทความ  :'(


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: okgofun ที่ 18 สิงหาคม 2007, 06:34:25
ผมลองรันสคริ๊ปที่โฮสต์อื่นๆไม่มีปัญหาครับ แต่ hostmonster เหมือนโดน block ไว้เลย

เราปลอม ip server ที่เรียกอีกทีได้ใหมเนี่ย  :-\


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: ColdMoney ที่ 18 สิงหาคม 2007, 07:19:19
You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!! บางทีเรียกใน localhost ก็ไม่เท่าไหร่ แต่ถ้าอัพสคริ๊ปขึ้น hostmonster แล้วรันไฟล์นี้หมดสิทธิ์ทุกที ระบบดูออกทุกทีว่าเราเรียกเว็บเพจเขาด้วยสคริ๊ป

ผมลองทดสอบระบบคล้ายๆกับสคริ๊ปตัวอย่างด้านล่างนี่หนะครับ

[url]http://www.thaiseoboard.com/index.php/topic,13145.30.html[/url]

ลองใช้ user-agent เป็น ia_archiver หรือพวก google bot หรืออะไรต่างๆก็ไม่ได้ผล ทำยังไงดีน๊า จนปัญญาละ

อยากดึงบทความ  :'(


localhost ไม่มีปัญหา ก็เรียกจาก localhost ครับ อึดหน่อยแต่ก็ดึงได้เหมือกัน  :)






หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: okgofun ที่ 18 สิงหาคม 2007, 20:06:52
 :-\  สงสัยต้องถึกใน localhost ต่อไป


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: EThaiZone ที่ 18 สิงหาคม 2007, 20:51:58
ไม่หาโฮสฟรีล่ะ ดูดแล้วทิ้ง   :D

3 สเต๊ปเทพการใช้สคริปดูด

1. สร้างอีเมล์บนโดเมนเว็บปั่น
2. สมัครสมาชิกโฮสฟรีด้วยเมล์นั้น
3. ยืนยันการใช้งานในอีเมล์ แล้วใช้เลย

แล้ว ถ้าเกิด
- โดนโฮสระงับ หรือโดนแบล็กลิสอีเมล์
- โดนแบนไอพีโฮส ดูดไม่ได้

ก็ ช่างหัวมัน  ::)

ปล. แต่ความจริง ใช้ localhsot ดีสุดแล้วล่ะ สบายดีออก


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: tony ที่ 18 สิงหาคม 2007, 20:52:34
ใส่ sleep(5); เข้าไปสิครับ

แอบเนียนหยุด ดึงสัก ห้าวิ


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: okgofun ที่ 18 สิงหาคม 2007, 21:02:36
ใส่ sleep(5); เข้าไปสิครับ

แอบเนียนหยุด ดึงสัก ห้าวิ

บางทีเพิ่งเปิด url แล้วรันเว็บระบบมันก็ block เอาไว้เลยครับ อย่างกับว่า block ip hostmonster เลยอย่างนั้นแหละ มีวิธีเขียนระบบให้เว็บนั้นจับ ip server เราไม่ได้ใหมครับ


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: EThaiZone ที่ 18 สิงหาคม 2007, 21:27:36
ใส่ sleep(5); เข้าไปสิครับ

แอบเนียนหยุด ดึงสัก ห้าวิ

บางทีเพิ่งเปิด url แล้วรันเว็บระบบมันก็ block เอาไว้เลยครับ อย่างกับว่า block ip hostmonster เลยอย่างนั้นแหละ มีวิธีเขียนระบบให้เว็บนั้นจับ ip server เราไม่ได้ใหมครับ

ม่ายมี นอกจากใช้ proxy

งานนี้เข้าไป

php.net/curl

แล้วฟังค์ชั่นการใช้ proxyร่วม

มีแค่เท่านี้แหละ  :P


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: okgofun ที่ 19 สิงหาคม 2007, 11:44:25
ใส่ sleep(5); เข้าไปสิครับ

แอบเนียนหยุด ดึงสัก ห้าวิ

บางทีเพิ่งเปิด url แล้วรันเว็บระบบมันก็ block เอาไว้เลยครับ อย่างกับว่า block ip hostmonster เลยอย่างนั้นแหละ มีวิธีเขียนระบบให้เว็บนั้นจับ ip server เราไม่ได้ใหมครับ

ม่ายมี นอกจากใช้ proxy

งานนี้เข้าไป

php.net/curl

แล้วฟังค์ชั่นการใช้ proxyร่วม

มีแค่เท่านี้แหละ  :P

 :-* ขอบคุณครับ


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: Pipo ที่ 20 สิงหาคม 2007, 20:28:17
มัน limit ที่ IP ละ 500 id (บทความ) ครับ
ถ้าเกินกว่านั้นจะโดน block และ block แล้ว block เลยไม่ใช่แค่ ip ด้วยเหมือนมันจะแบนเป็น subnet class ด้วยมั้ง

ต้องหา proxy มาดูด
หายากหน่อยครับเพราะว่าคนที่ดูดก่อนหน้าเขาใช้ proxy และก็โดนแบนไปแล้ว
อย่างน้อยก็ผมคนนึงละ  ;D




หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: okgofun ที่ 22 สิงหาคม 2007, 12:11:20
มัน limit ที่ IP ละ 500 id (บทความ) ครับ
ถ้าเกินกว่านั้นจะโดน block และ block แล้ว block เลยไม่ใช่แค่ ip ด้วยเหมือนมันจะแบนเป็น subnet class ด้วยมั้ง

ต้องหา proxy มาดูด
หายากหน่อยครับเพราะว่าคนที่ดูดก่อนหน้าเขาใช้ proxy และก็โดนแบนไปแล้ว
อย่างน้อยก็ผมคนนึงละ  ;D




หมายถึงดูดใน localhost หรือใน server ครับ? ว่าแต่ curl เกี่ยวกับ proxy ทำไม่เห็นได้ซักที คุณ Pipo ช่วยแนะนำหน่อยได้ใหมครับ ที่ว่าหา proxy มาดูด ทำยังไงเหรอครับ?


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: ball6847 ที่ 22 สิงหาคม 2007, 15:51:34
มัน limit ที่ IP ละ 500 id (บทความ) ครับ
ถ้าเกินกว่านั้นจะโดน block และ block แล้ว block เลยไม่ใช่แค่ ip ด้วยเหมือนมันจะแบนเป็น subnet class ด้วยมั้ง

ต้องหา proxy มาดูด
หายากหน่อยครับเพราะว่าคนที่ดูดก่อนหน้าเขาใช้ proxy และก็โดนแบนไปแล้ว
อย่างน้อยก็ผมคนนึงละ  ;D




หมายถึงดูดใน localhost หรือใน server ครับ? ว่าแต่ curl เกี่ยวกับ proxy ทำไม่เห็นได้ซักที คุณ Pipo ช่วยแนะนำหน่อยได้ใหมครับ ที่ว่าหา proxy มาดูด ทำยังไงเหรอครับ?

ก็หา Proxy list มาก่อนคับ แล้วค่อยๆ เอามาเปลี่ยนทุก ๆ 500 บทความ ตั้ง Loop เอา
แต่ผมใช้ Proxy กะ Curl ไม่เป็นอ่ะ ปกติผมใช้แต่ HTTP_Request ง่ะ แต่ผมว่า HTTP_Request ง่ายกว่านะ


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: Newbies ที่ 22 สิงหาคม 2007, 17:07:30
proxy curl ==>> search google ยังไม่เห็นมีใครทำได้เลยครับ ไม่เชื่อลองหา แล้วทำเองดู <<== ใครทำได้ เอามาแบ่งกันมั่งนะ

HTTP_Request <<== ใช้ไงอะครับ


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: Pipo ที่ 22 สิงหาคม 2007, 18:22:38
proxy curl ==>> search google ยังไม่เห็นมีใครทำได้เลยครับ ไม่เชื่อลองหา แล้วทำเองดู <<== ใครทำได้ เอามาแบ่งกันมั่งนะ

HTTP_Request <<== ใช้ไงอะครับ



โค๊ด:
	/*
ถ้าเอาไป mo แก้โดน แบน IP ก็ทำ function มา random Proxy, UserAgent อีกทีครับ
*/
$strUrl = "http://www.yourtarget.com/target.html";
$strProxy = "127.0.0.1:8080";
$strUserAgent = "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6";

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $strUrl);
curl_setopt($ch, CURLOPT_PROXY, $strProxy);
curl_setopt($ch, CURLOPT_USERAGENT, $strUserAgent);
curl_setopt($ch, CURLOPT_TIMEOUT, 15);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_VERBOSE, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

$strContent = curl_exec($ch);
if (curl_errno($ch)) {
echo "ERROR: " . curl_errno($ch) . " " . curl_error($ch) . "\n";
}
else {
print_r(curl_getinfo($ch));
echo $strContent;
}
curl_close ($ch);


หัวข้อ: Re: You are browsing .. faster than a normal human would. แก้ยังไงดีน้อ เฮ้อ!!
เริ่มหัวข้อโดย: okgofun ที่ 23 สิงหาคม 2007, 02:01:18
proxy curl ==>> search google ยังไม่เห็นมีใครทำได้เลยครับ ไม่เชื่อลองหา แล้วทำเองดู <<== ใครทำได้ เอามาแบ่งกันมั่งนะ

HTTP_Request <<== ใช้ไงอะครับ



โค๊ด:
	/*
ถ้าเอาไป mo แก้โดน แบน IP ก็ทำ function มา random Proxy, UserAgent อีกทีครับ
*/
$strUrl = "[url]http://www.yourtarget.com/target.html[/url]";
$strProxy = "127.0.0.1:8080";
$strUserAgent = "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6";

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $strUrl);
curl_setopt($ch, CURLOPT_PROXY, $strProxy);
curl_setopt($ch, CURLOPT_USERAGENT, $strUserAgent);
curl_setopt($ch, CURLOPT_TIMEOUT, 15);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_VERBOSE, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

$strContent = curl_exec($ch);
if (curl_errno($ch)) {
echo "ERROR: " . curl_errno($ch) . " " . curl_error($ch) . "\n";
}
else {
print_r(curl_getinfo($ch));
echo $strContent;
}
curl_close ($ch);


ลอง curl แล้วครับ ไม่สำเร็จหนะครับ เอ่อ HTTP_Request นี่มันใช้กับ ajax หรือครับ หรือว่าใช้ทั่วๆไปก็ได้ ผมลอง curl สำหรับเซ็ต proxy บาง proxy สามารถรันได้(เฉพาะใน localhost) แต่บาง proxy ก็ไม่ได้

แต่ที่สำคัญ ถ้าลองผ่าน hostmonster มันไม่ขึ้นว่าเราไม่ใช่ human แล้วครับ แต่มันโหลดไม่ขึ้นสักที จนหมด timeout ไปเอง