แจก Code PHP ง่ายๆ Random Articles จาก Ezine Article มากกว่า หกแสน Articles*

เริ่มโดย ggynmsn, 06 สิงหาคม 2007, 00:05:43

หัวข้อก่อนหน้า - หัวข้อถัดไป

0 สมาชิก และ 1 ผู้มาเยือน กำลังดูหัวข้อนี้

9nu


ball6847

ผมเคยเขียนของผมเองง่ะ แต่โค้ดยาวเหยียด
ดูด article แล้ว save แยกได้ตามหมวดหมู่ ครบทุกอันตามที่ ezinarticles.com มี

แต่โปรเจ็คนี้ของผมล่มครับ โดนบล็อก IP ง่ะ ดูดยังไม่หมดเลย

ผมเลยคิดวิธีใหม่ที่พิเรน มากกว่ามา แต่ยังไม่ได้ทำเลยเพราะไม่มีอุปกรณืง่ะ

ผมกะจะเขียน สคริปท์ขึ้นมาเพื่อดูด URL ของบทความทั้งหมดมาก่อน
แล้ว ค่อย Copy URL lits ไปดูดมาด้วยพวกโปรแกรม Teleport Pro, Offline Browser ประมาณนี้อ่ะ
แล้วค่อย ใช้ regular expression ตัดเฉพาะบทความมาอีกที
ยอมเสียเวลาหน่อย แต่คิดว่าไม่น่าจะโดนบล็อก IP ถึงโดนก็ช่างละคับงานนี้
ถ้ายังโดน ผมว่าคงต้องใช้ HTTP_Request ใส่ Proxy ดูดเอาละงี้

We use Ubuntu.

[direct=http://ng-seo.sourcelab.xyz/]AngularJS SEO Experimental[/direct]


aomnaruk

ใครดูดครบแล้วบ้างครับตอนนี้ทั้ง proxy ทั้งโฮสโดนแบน ip หมดเลยครับ

ขอหน่อยนะครับ


geddd

ใช้กับ dreamhost ได้ป่ะคะ ต้องแก้ตรงไหนบ้างอ่ะ ? เพราะ file_get_contents ไม่ได้อ่ะค่ะ
When the rain stops, the sky clears and a rainbow appears. Our troubles pass and life is beautiful and bright again.

ming9899

มีใครดัดแปลงไปใช้ที่อื่นนากจากezineได้หรือยังครับ เว็บไหนพอทำได้บ้างช่วยบอกด้วยนะคราบผม

ถ้าผมอยากแยกหมวดหมู่ของ article เป็นเรื่องๆอะครับ จะพอมีวิธีไหนทำได้บ้างครับผม

mr_himmy

ผมได้เขียนโปรแกรม แยก เป็น หมวด หมดแล้วนะครับ ทั้ง category และ subcategory

และ ผมก็เก็บ link article ของ ezine มาหมดแล้วด้วยประมาณ 570000 ได้ครับ
ตอนนี้กำลังดูดเก็บเป็น article อยู่น่ะครับ ได้ประมาณ 180000 แล้ว

ยังขาดอีกเยอะเลยครับ  จริง ถ้าตอนแรก ถ้ามีคนโหลด เก็บไว้หมด ตั้งแต่ตอนนี้ที่เค้ายังไม่ได้กัน block IP น่ะครับ คงจะดี ผม ว่า ถ้าเอามารวบรวมน่าจะได้ครบหมด

ตอนนี้ผมกำลังพยายามเขียนโปรแกรม สำหรับ ดูด web proxy list มา แล้วตรวจสอบว่า proxy ไหนใช้ได้  แล้วค่อยไป ดูด ezine ทุกวัน  คงอีกนานเลยกว่าจะเสร็จครับ
หา proxy ดีๆๆ ไม่ได้เลย  :P




ball6847

อ้างถึงจาก: mr_himmy ใน 23 สิงหาคม 2007, 01:55:33
ผมได้เขียนโปรแกรม แยก เป็น หมวด หมดแล้วนะครับ ทั้ง category และ subcategory

และ ผมก็เก็บ link article ของ ezine มาหมดแล้วด้วยประมาณ 570000 ได้ครับ
ตอนนี้กำลังดูดเก็บเป็น article อยู่น่ะครับ ได้ประมาณ 180000 แล้ว

ยังขาดอีกเยอะเลยครับ  จริง ถ้าตอนแรก ถ้ามีคนโหลด เก็บไว้หมด ตั้งแต่ตอนนี้ที่เค้ายังไม่ได้กัน block IP น่ะครับ คงจะดี ผม ว่า ถ้าเอามารวบรวมน่าจะได้ครบหมด

ตอนนี้ผมกำลังพยายามเขียนโปรแกรม สำหรับ ดูด web proxy list มา แล้วตรวจสอบว่า proxy ไหนใช้ได้  แล้วค่อยไป ดูด ezine ทุกวัน  คงอีกนานเลยกว่าจะเสร็จครับ
หา proxy ดีๆๆ ไม่ได้เลย  :P





อยากได้ URL List ของบทความทุกบทความเลยอ่ะคับ แยกตามหมวดหมู่ด้วยป่ะคับ
จะได้ แบ่งๆ กันดูด

Proxy ดีดีมีเยอะคับ แต่ต้องเสียตัง
Proxy ฟรีฟรีมีเยอะครับ แต่ต้องทำใจ เพราะไม่ค่อยได้เรื่อง
We use Ubuntu.

[direct=http://ng-seo.sourcelab.xyz/]AngularJS SEO Experimental[/direct]

Gemini

เมื่อเช้าเพิ่งเป็น Super Human ไป หาว่าเปิดหน้าเว็บเร็วกว่าชาวบ้านเค้า

:P

เรารักนายนะน้องฟี่


จ้อน

[direct=https://www.youtube.com/watch?v=RCDp_9dp3ms]คลิป youtube เงินล้าน[/direct] [direct=http://photographybangup.com]เว็ปไซต์เกี่ยวกับการถ่ายภาพเงินล้าน[/direct]

peemai88

ดูด article แล้วเอามาขาย พวกเราดีกว่าครับ
บางคนดูดไม่เป็น

Braveheart

1

worapong

Warning: file_get_contents() [function.file-get-contents]: URL file-access is disabled in the server configuration in /home/worapong/public_html/loadscript.php on line 9

Warning: file_get_contents(http://ezinearticles.com/ezinepublisher/?id=361523) [function.file-get-contents]: failed to open stream: no suitable wrapper could be found in /home/worapong/public_html/loadscript.php on line 9

ทำงัยดีครับ file_get_contents ไม่ได้
[direct=http://www.fwd-goodness.com]หนังสือธรรมะ[/direct]
[direct=http://www.is-trip.com]ท่องเที่ยว[/direct]
[direct=http://www.inexstudio.com]ตกแต่งภายใน[/direct]

yimplex

ถ้าใช้ php ก็ใช้เจ้า curl เลยก็ได้ ไม่ต้องมานั่งเสียเวลากังวลกับ proxy ทำให้เมือนกับเป็น bot ที่ไปตามเก็บข้อมูลมาลงที่
ฐานข้อมูลน่าจะดีกว่านะ ไม่งั้นมันไม่ยั่งยืน โดนแบน IP เอาง่ายๆ
"We're born alone, we live alone, we die alone. Only through our love and friendship can we create the illusion for the moment that we're not alone."
-Orson Welles-

nuijang24

 :)
ผมเห็นด้วยนะครับ กับ การที่ เราควรจะใช้ curl ในการ ตัดต่อ หน้าแสดงผลจากเว็บอื่น เพื่อ มาแสดงผลในเว็บของเรา หรือ อาจจะใช้ เป็น RSS  แทนการ ดูดข้อมูลจากเว็บอื่น มาตรงๆ (มันไม่เหมาะสม และอาจโดนฟ้องได้ครับ)

ซึ่ง การดึง บางส่วนของหน้า เว็บไซต์ บทความอื่นๆ มาแสดง ผล นั้น เราอาจจะต้องมีการ ตัดต่อ ข้อมูล ของหน้าเว็บ ด้วย อันนี้จำเป็นจะต้อง มีความรู้และความเข้าใจในเรื่องของ โครงสร้าง Document Object Model ของเอกสาร HTML ด้วยนะครับ เราถึงจะตัดต่อหน้าเว็บได้อย่าง มีประสิทธิภาพ

ใน ส่วนนี้ผมจะขอสาธิต ตัวอย่างการ ตัดต่อ หน้าเว็บ ของ เว็บไซต์ http://www.4guysfromrolla.com/webtech/index_asp.shtml
เพื่อ นำมาแสดง ข้อมูล ในเว็บไซต์ของเรา และ มีการ ตัดต่อ Dom เพื่อ เลือกหัวข้อได้ เป็น การทำแบบง่ายๆ โดยการใช้ extension cure ของ PHP เป็นตัวช่วยนะครับ
// การใช้ curl ของ php จำเป็นจะต้อง เปิดไฟล์ php.ini ซึ่งเป็นตัว configuration ของ php จะอยู่ใน C:\windows  ครับ
// เมื่อเปิดไฟล์ php.ini แล้วให้หา บรรทัดที่เขียนว่า 
;extension=php_curl.dll   
จากนั้นทำการ เอาเครื่องหมาย ; หน้าextionsion ออก ให้เหลือ extension=php_curl.dll เท่านั้น

เมื่อเตรียมการพร้อมแล้ว นำโคด นี้ไปใส่ได้เลยครับ

<?php
$url
="http://www.4guysfromrolla.com/webtech/";
if (
$viewcat<>""
$url.=$viewcat;
else
$url.="index_asp.shtml";


function 
replaceLink($data){
$data ereg_replace('<a href="/webtech/','<a href="aspnet_article.php?viewcat=',$data);
return $data;
}

function 
callArticle(){
global $url;
   
$user_agent "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)";
//    $params     = "";   
// $url .="?".$params;
$ch curl_init();
   
curl_setopt($chCURLOPT_SSL_VERIFYPEERFALSE);
   
curl_setopt($chCURLOPT_HEADER0);
   
curl_setopt($chCURLOPT_POST,0);
   
//curl_setopt($ch, CURLOPT_POSTFIELDS,$params);
   
curl_setopt($chCURLOPT_URL,$url);
   
curl_setopt($chCURLOPT_RETURNTRANSFER,1);
   
curl_setopt($chCURLOPT_USERAGENT$user_agent);
   
   
$result curl_exec($ch);
   
$start_result strpos($result,"<!--content_start-->");

$end_result strpos($result,"<P><CENTER>",$start_result+11);
$substring .= substr($result,$start_result,$end_result-$start_result);
   
curl_close ($ch);
   return 
replaceLink($substring);
}
?>

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML>
<HEAD>
<TITLE> New Document </TITLE>
<meta http-equiv="Content-Type" content="text/html; charset=tis-620">
</HEAD>

<BODY>
<h2>การตัดต่อ Article http://www.4guysfromrolla.com/webtech/index_asp.shtml <br>ผลลัพธ์ที่ได้คือ </h2><hr>
<?php
echo callArticle();
?>

</BODY>
</HTML>



ขอให้สนุกกับการศึกษาเพิ่มเติมนะครับ

issara2008

Come celebrate with us on BlackFriday!

workshop

อ้างถึงจาก: issara2008 ใน 23 กันยายน 2011, 10:08:53
เยี่ยมมากครับ

เยี่ยมครับ แต่ 2 ปีแล้ว จะขุดมาทำไม
ถ้าขุดมาพูดแค่นี้