ยินดีต้อนรับคุณ, บุคคลทั่วไป กรุณา เข้าสู่ระบบ หรือ ลงทะเบียน

เข้าสู่ระบบด้วยชื่อผู้ใช้ รหัสผ่าน และระยะเวลาในเซสชั่น

ThaiSEOBoard.comพัฒนาเว็บไซต์Programmingผมจะใช้ curl หรือ wget โหลดหน้าเว็บหน้านี้ได้ไงครับ
หน้า: [1]   ลงล่าง
พิมพ์
ผู้เขียน หัวข้อ: ผมจะใช้ curl หรือ wget โหลดหน้าเว็บหน้านี้ได้ไงครับ  (อ่าน 1781 ครั้ง)
0 สมาชิก และ 1 บุคคลทั่วไป กำลังดูหัวข้อนี้
ReleaseCandidate
คนรักเสียว
*

พลังน้ำใจ: 43
ออฟไลน์ ออฟไลน์

กระทู้: 181



ดูรายละเอียด
« เมื่อ: 19 มกราคม 2014, 11:50:25 »

ขอคำแนะนำด้วยครับ
ผมต้องการใช้ curl หรือ wget โหลดข้อมูลจากเว็บ

url ที่ต้องการโหลดเวลาคลิ้กเป็นแบบนี้
โค๊ด:
https://www.FECHHERE.com/#

view source ตำแหน่งที่จะ fetch ข้อมูลได้ประมาณนี้
โค๊ด:
<li class="ifmenu-SCREEN TAB3 selected"><span><a href="#" onclick="setNavigationCategory(4);pgenerate(true, 0,false,false,2); e_t.track_click('iframe-bookmark-click', 'SCREEN');  return false;">Menu SCREEN</a></span></li>

คล้ายๆกับตัวอย่างในรุปนี้


ผมจะใช้ curl หรือ wget โหลดหน้าเว็บหน้านี้ได้ไงครับ ต้องใส่ parameters แบบไหนครับ
โค๊ด:
curl --referer "https://www.FECHHERE.com/" -A "Mozilla/5.0 (Windows NT 7.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)" -o fetch.html "https://www.FECHHERE.com/#"
wget  --referer="https://www.FECHHERE.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)" -O fetch.html "https://www.FECHHERE.com/#"

 wanwan008 wanwan008 wanwan008 wanwan008
บันทึกการเข้า

ohmohm
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 170
ออฟไลน์ ออฟไลน์

กระทู้: 3,092



ดูรายละเอียด เว็บไซต์
« ตอบ #1 เมื่อ: 19 มกราคม 2014, 15:37:12 »

curl หรือ wget ไม่น่าจะส่งข้อความที่อยู่หลัง # หรือที่เรียกว่า fragment ไปยัง web server นะครับ (ถึงส่งก็ไม่รู้ว่า web server จะตอบกลับแบบที่ต้องการด้วยหรือเปล่า)
http://blog.httpwatch.com/2011...ould-know-about-fragment-urls/

อาจต้องหาโปรแกรมอื่นที่อ่าน Javascript แล้วทำงานได้ด้วยล่ะครับ
บันทึกการเข้า
ReleaseCandidate
คนรักเสียว
*

พลังน้ำใจ: 43
ออฟไลน์ ออฟไลน์

กระทู้: 181



ดูรายละเอียด
« ตอบ #2 เมื่อ: 20 มกราคม 2014, 00:07:09 »

ขอบคุณครับ เดี๋ยวจะลองดู  wanwan017
บันทึกการเข้า

ohmohm
เจ้าพ่อบอร์ดเสียว
*

พลังน้ำใจ: 170
ออฟไลน์ ออฟไลน์

กระทู้: 3,092



ดูรายละเอียด เว็บไซต์
« ตอบ #3 เมื่อ: 14 มีนาคม 2014, 11:37:52 »

หรืออาจใช้ HtmlUnit มาช่วย มันใช้ทำ bot เพื่อ test โปรแกรมที่เขียนใช้งานบนเว็บโดยอัตโนมัติว่าทำงานถูกต้องหรือไม่ แต่ก็น่าจะดัดแปลงเพื่อสูบหน้าเว็บได้ เหมือนจะอ่าน Javascript ได้ด้วย
http://htmlunit.sourceforge.net/javascript-howto.html

อ่านประกอบ
http://code.google.com/p/htmlu...r/wiki/HtmlUnitScripterSummary (น่าจะคล้ายๆ iMacro)
http://celerity.rubyforge.org/

Selenium
http://iamyothin.blogspot.com/2009/11/selenium-ide-1.html (เนื้อหาภาษาไทย)
บันทึกการเข้า
หน้า: [1]   ขึ้นบน
พิมพ์