[PHP]สคริปที่ดึงข้อมูลเว็บ

[webdevils]

สคริปที่ดึงข้อมูลเว็บอื่นมาลงใส่ดาต้าเบสหรือสร้างหน้าhtmlของเรา พวกสคริปประเภทนี้เขาเรียกเป็นภาษาอังกฤษว่าอะไรหรอครับ แล้วแนวคิดมันเป็นยังไงครับ ใช้ฟังค์ชั่นประเภทไหนครับ อยากศึกษาครับ ลองphpมาได้ไม่นาน ไม่รู้จะไปลองฟังค์ชั่นไหน   

[m-16-150]

โค้ด เลือก ขยาย

<?php require("xxxxxxxxx.php"); ?>

เปลี่ยน xxxxxxxxx.php  เป็น ชื่อไฟร์หรือ url ที่เราอยากให้ผุดขึ้นในเว็นเรา
:

[navico]

เคยเขียนมั่วๆ อยู่ทีหนึ่ง
ต้องขอบคุณ auto post Flixya

[ball6847]

เรียกว่า scrapper คับ

แนวคิด
- โหลดเพจลงมาแล้วจัดการคัดเอาเฉพาะข้อมูลที่ต้องการแยกออกมาด้วย regular expression หรือถ้าไม่รู้วิธีใช้ regular expression ก็ต้องใช้ strpos กับ substr ในการตัดเอาข้อมูลออก ซึ่งลำบากกว่า regular expression เยอะเลย

ฟังก์ชั่น แยกชัดๆก็ 2 ประเภทคือฟังก์ชั่นที่ต้องใช้ในการดึงหน้าเว้บ กับฟังก์ชั่นที่ใช้ในการตัดข้อมูลออกมา

ฟังก์ชั่นที่ใช้ในการดึง
- fsockopen , fgets , fputs , fclose ... พวกนี้ต้องใช้เป็นชุดถึงจะดึงหน้าเพจลงมาได้  ต้องมีความรู้ในเรื่อง HTTP พื้นฐานด้วย
- fopen , fread , fwrite , fclose อันนี้คือการเปิดไฟล์นะ แต่มันสามารถเปิด url ได้ด้วย ต้องใช้เป็นชุดเหมือนกัน บางโฮสท์จะปิด  (allow_url_fopen) ซึ่งเราจะเปิด url ด้วยฟังก์ชั่นนี้ไม่ได้
- file_get_contents อันนี้เป็นฟังก์ชั่นสำเร็จจากข้างบน (fopen) เหมือนกันถ้า โฮสท์ปิด  (allow_url_fopen) ก็ใช้ไม่ได้
- curl >> ทำงานเร็วสุด แล้วเหมือนจะเป็นมาตราฐานของทุกโฮสท์ เหมือนจะให้ใช้อันนี้เป็นหลักในการดึงข้อมูล ใช้ง่ายแต่ต้องใช้เวลาศึกษา option มันสักนิด เพราะทำอะไรได้เยอะแยะมาก

**ถ้าดึงข้อมูลจากเว็บที่เป็น https เครื่องต้องมี(เปิด) openssl

นอกจากที่พูดมาข้างบนยังมี พวก class หรือ pear package ที่ทำหน้าที่พวกนี้ แต่ส่วนใหญ่ใช้ fsockopen ทั้งนั้น

แค่นี้ก็พอมั้ง

ปล. ไม่ได้ชำนาญนะ แต่ผมถนัดเรื่องนี้ที่สุดใน PHP ไปได้ทุกที่ที่ไม่มี captcha (captcha เท่านั้นที่เอาอยู่)

โค้ด เลือก ขยาย

<?php require("xxxxxxxxx.php"); ?>

เปลี่ยน xxxxxxxxx.php  เป็น ชื่อไฟร์หรือ url ที่เราอยากให้ผุดขึ้นในเว็นเรา
:

อันนี้อย่าเอามาเปิด url นะคับ อาจจะวิบัติ  โดยเฉพาะถ้าไม่ใช่ของเรา

[EThaiZone]

Curl ไม่ใช่ตัวเลือกที่ดีที่สุดนะครับ

ถ้่าต้องการเร็วมากจริงๆ ต้อง fsockopen ไปเลย เขียนสด

แถมตัว Curl หลายครั้งก็เรียก dns ช้ากว่า (ผมเคยลอง loopback เข้าโดเมนตัวเอง ผลคืออืด ต้อง fsockopen กลับเร็วกว่า)
แถม Curl มีบั๊กอยู่ เช่น 100 continues

เล่นเอาผมเครียดไปวันหนึ่งแน่ะ (ถ้าใช้ sniffer แต่แรกก็จบไม่แล้ว  )

[kero]

ใช้แต่ไอ้นี่ กับ file($filename) strpos substr 

regular ไม่รู้จัก ทำไม่เป็น

[tinnoi]

ได้ความรู้เยอะเลยครับ

ปกติ เคยเล่นแต่ file_get_contents ครับ

[manteeen]

ดีครับ ได้ความรู้มากเลย 

[etgsgroup]

ขอบคุณครับเมื่อใช้อย่างเดียว ไม่รู้เลย ว่าอะไรเป็นอะไร  ได้ตาสว่างขึ้นตั้งเยอะ 

[EThaiZone]

ผมเคยเขียนตัวอย่างไว้ในกระทู้นะ
http://www.thaiseoboard.com/index.php/topic,33933.msg450473.html#msg450473

ลองไปดูได้ ใช้ได้จริง