[PHP] text file 5 แสน กับ record 5 แสน อย่างไหนดีกว่ากันครับ

[xmen256k]

แบบถ้าจะทำแหล่งเก็บข้อมูลราวๆ 5แสนอย่าง แบบไหนดีกว่าครับ

เอาแบบแสดงผลเร็ว+เครื่องเบา

ขอบเขต
- textfile 5 แสน ในโฟลเดอร์เดียว
- record 5 แสน ในตารางเดียว

วิธีการแสดงผล
textfile : เรียกชื่อไฟล์ตรงตัวไม่มีการค้นหา
record : ค้นหาข้อมูลจาก 1 คอลัมภ์ (ใช้ตารางเดียวไม่มีตารางอื่นๆ)

อย่างไหนตอบสนองได้ดีกว่ากันครับ

ขอบคุณครับ

[gd,lN]

- record 5 แสน ในตารางเดียว

[dekmv]

- record 5 แสน ในตารางเดียว

ดีกว่าครับ ...

[iLhay]

500k records ถ้าทำ index query time ก็ 0.01s อ่าฮะ

[Putter™]

เรียก text file โดยตรงน่าเร็วกว่านะครับ ถ้าอ้างชื่อไฟล์โดยตรง (อันนี้ไม่แน่ใจความคิดเห็นส่วนตัวนะครับ)
แต่เค้าไม่นิยมใช้กัน ฮ่าๆ  

ที่ผมคิดว่ามันเร็วกว่าเพราะการเชื่อม Sql มันต้อง [connect (connect ผ่าน Driver) -> query -> fetch data] ตาม Step ส่วนถ้าอ่านจาก text file ก็ [open (จาก System) -> read]

ขอบเขต
- textfile 5 แสน ในโฟลเดอร์เดียว
- record 5 แสน ในตารางเดียว

เป็นผมก็เลือก record นะครับ

[iLhay]

เรียก text file โดยตรงน่าเร็วกว่านะครับ ถ้าอ้างชื่อไฟล์โดยตรง (อันนี้ไม่แน่ใจความคิดเห็นส่วนตัวนะครับ)
แต่เค้าไม่นิยมใช้กัน ฮ่าๆ  

ที่ผมคิดว่ามันเร็วกว่าเพราะการเชื่อม Sql มันต้อง [connect (connect ผ่าน Driver) -> query -> fetch data] ตาม Step ส่วนถ้าอ่านจาก text file ก็ [open (จาก System) -> read]

ขอบเขต
- textfile 5 แสน ในโฟลเดอร์เดียว
- record 5 แสน ในตารางเดียว

เป็นผมก็เลือก record นะครับ

ถ้าจะเทียบกับจริงๆต้องลงไปถึง File Structure ครับ (คิดภาพไม่ออกว่าขึ้นมาทีละ 500k query จะเป็นยังไงเหมือนกัน)

ซึ่งแน่นอนว่าแต่ละ OS มันจะมี File Structure ที่เรียกโชว์ออกมาไม่เหมือนกันครับ

File Structure ของ Database มาเพื่อแบบนี้โดยเฉพาะอยู่แล้ว ที่เคยเทส Performance ของ DB2 10 ล้าน records ทำ index ก็ query โผล่มา ไม่ถึงวินาทีเหมือนกัน

[verysims]

เก็บในตารางดีกว่าครับ

[ttong]

เท่าที่เคยได้ยินใครๆ เค้าบอกกันมาว่า
ถ้าเรื่องความเร็วในการดึงข้อมูลเก็บแบบ Text File น่าจะเร็วกว่าเก็บลง Database นะครับ
แต่ถ้าเกิดต้องมีการประมวลผลอื่นด้วย ก็ควรจะเก็บลง Database

ปล. ผมเคยได้ยินเค้ามาอีกทีนะ 

[umm205]

ส่วนตัวชอบ record 5 แสน ในตารางเดียว มากกว่า ทำ index ดีๆน่าจะชิลๆครับ

[xvlnw.com]

ยังไงผมก็เชื่อว่ record นั้นดีกว่า Text ครับ

ไม่งั้นคงไม่มี DB เกิดขึ้นมาแทนพวก Text หรอกครับ

[lojoman]

text file จะช้ากว่าเพราะไม่้มี index แต่จะเร็วมั๊ก ถ้าข้อมูลอยู๋ส่วนหัวอะนะ

[zankumuro]

ถ้าเรียกตรงๆแบบไม่มีคิวรี่หรือเงื่อนไข

ผมว่า TextFile เร็วกว่า แต่ก็ขึ้นอยู่กับขนาดของข้อมูลในนั้นด้วย

ถ้าจำนวนข้อมูลเยอะขนาด 5 แสนข้อมูล ใช้ DB เถอะครับ จะได้ไม่เป็นภาระตอนค้นหา

[p44n]

ถ้า เงื่อนไขที่ว่า

" textfile : เรียกชื่อไฟล์ตรงตัวไม่มีการค้นหา "

text ไฟล์เร็วกว่า 100% คับ

แต่ที่ต้องใช้ database นั่นเพราะเหตุผล "ด้านการประัมวลผล" ครับ 

[artmond]

เรียก text file โดยตรงน่าเร็วกว่านะครับ ถ้าอ้างชื่อไฟล์โดยตรง (อันนี้ไม่แน่ใจความคิดเห็นส่วนตัวนะครับ)
แต่เค้าไม่นิยมใช้กัน ฮ่าๆ  

ที่ผมคิดว่ามันเร็วกว่าเพราะการเชื่อม Sql มันต้อง [connect (connect ผ่าน Driver) -> query -> fetch data] ตาม Step ส่วนถ้าอ่านจาก text file ก็ [open (จาก System) -> read]

ขอบเขต
- textfile 5 แสน ในโฟลเดอร์เดียว
- record 5 แสน ในตารางเดียว

เป็นผมก็เลือก record นะครับ

ถ้าจะเทียบกับจริงๆต้องลงไปถึง File Structure ครับ (คิดภาพไม่ออกว่าขึ้นมาทีละ 500k query จะเป็นยังไงเหมือนกัน)

ซึ่งแน่นอนว่าแต่ละ OS มันจะมี File Structure ที่เรียกโชว์ออกมาไม่เหมือนกันครับ

File Structure ของ Database มาเพื่อแบบนี้โดยเฉพาะอยู่แล้ว ที่เคยเทส Performance ของ DB2 10 ล้าน records ทำ index ก็ query โผล่มา ไม่ถึงวินาทีเหมือนกัน

Confirm อีกเสียงครับ กับการใช้ DB ยิ่งถ้าเรียกด้วย Primary Key ด้วยละก็ เร็วแน่นอน

ผมเคยทำกับ MySQL ขนาด 170 ล้าน Records แล้วครับ ถ้าเรียกด้วย Primary Key วิ่งสบาย ถ้าเงื่อนไขอื่น ไปเดินเล่นก่อนละกัน ค่อยกลับมาดู

ถ้าต้องการเก็บข้อมูลใหญ่มากๆ หรือพวก Log มหาศาล แนะนำให้ใช้ MongoDB จะแหล่มกว่านะครับ



แต่ก็แอบสงสัยว่าทำไม Text File ต้องมีข้อจำกัดใน Folder เดียวด้วยครับ

ถ้าต้องการเรียกแบบ Index ก็สามารถใช้    /ax/fG/Qr/1234567.txt ได้นะ ไม่จำเป็นต้องเก็บ Folder เดียว

ถ้าใช้วิธีนี้ก็เร็วเหมือนกันครับ แต่จะหนัก IO มาก HDD วิ่งกระจาย เพราะไม่มีพวก Query Caching หรือ Buffer ช่วยเลย



จริงๆ ต้องดูด้วยนะครับว่าสิ่งที่จะเก็บคืออะไร ปริมาณขนาดไหนใน 1 record เพราะถ้าเยอะมาก DB ก็บวมเหมือนกัน

ไม่งั้นเว็บฝากรูป ฝากไฟล์ คงเอาไฟล์ยัด DB หมดแล้วล่ะ



สรุปแล้ว จริงๆ ต้องดูหลายอย่างประกอบนะครับ ว่าจะเลือกใช้อะไร แต่ก็ไม่แนะนำให้เก็บ 5 แสนไฟล์ใน 1 folder



ถ้าข้อมูลใน 1 Record มีขนาดใหญ่แอบเชียร์ MongoDB เป็นทางเลือกครับ 

[EntServ]

จริงๆแล้วไม่ว่าทางไหนก็ใช้เวลาทั้งคู่ เพียงแต่เวลาที่ทั้งสองใช้ มันเป็นเวลาที่เราสามารถรอได้

แล้วถ้ามันเป็นอย่างนี้แล้ว ทำไมไม่เลือกทางที่เด่นด้านอื่นมากกว่าอีกทาง

[Kusumoto]

ผมสนับสนุนให้ใช้ record เช่นกันครับ เพราะว่ามันโดนออกแบบมาให้ทำงานแบบนี้มาอยู่แล้ว น่าจะไม่มีปัญหา

[gilbert]

อ่านจากแถบแม่เหล็ก กับอ่านจาก Buffer ท่านคิดว่าแบบใหนไวกว่ากัน

ตอบให้ครับ Database เร็วกว่าแน่นอน

[psuriya]

ได้ความรู้อีกแล้ว

[01111225]

เก็บความรู้

[lojoman]

ถ้าเป็นแบบนี้ จากการที่ผมได้เรียนมาครับ ผมว่าต้องใช้ทั้งสองอย่างรวมกัน คือเก็บ หน้าจอทั้งหน้าจอบนบน text แล้งเก็บ index ไว้บนdatabase ครับ แต่จะเก็บบน data base ทั้งหมด นั้นน่าจะช้ากว่า นะครับ

[icez]

ถ้าปริมาณเยอะขนาดนี้ แล้วทำ optimize สูงสุดทั้งคู่ database เร็วกว่าชัวร์ 100% ครับ
แต่ถ้าไม่มี optimize อะไรที่ db เลย (ไม่ทำ index ไม่ปรับ buffer) อะไรพวกนี้ file เร็วกว่าครับ

[MapTwoZa]

อ่านจากแถบแม่เหล็ก กับอ่านจาก Buffer ท่านคิดว่าแบบใหนไวกว่ากัน

ตอบให้ครับ Database เร็วกว่าแน่นอน

ตามนี้เลยครับ


การอ่านจาก file ตรงๆ เราไม่ได้เขียนตัว manager ไว้ครับ ดังนั้นมันคืออ่านจาก storage ตรงๆ
ต่างกับ database ซึ่งมันมีตัว manager ครับ มี algorithm ในการโหลดพวก data ไว้ใน memory  ซึ่ง memory ไวกว่า storage เยอะครับ
ยิ่งถ้ามีการอ่าน record เดิมซ้ำๆนี่ไม่ต้องพูดถึงครับ

[BOMEN]

Data+text ซิครับ ^_^