[MySql] ถ้ามีข้อมูลเยอะๆ จะทำยังไงไม่ให้ query ช้าครับ

20auguzt · 23 มีนาคม 2011, 14:28:26

โปรเจคที่ผมจะทำนั้นต้องเก็บข้อมูลเป็นจำนวนมาก ลองคำนวณคร่าวๆ แล้วคิดว่าเป็นล้านเรคคอร์ดต่อวันสำหรับตารางหลักนะครับ

ถ้าเราใช้ MySql จะไหวมั้ยครับ หรือมันมี tool ตัวไหนที่ช่วยได้หรือเปล่า หรือว่าต้องเปลี่ยนไปใช้อย่างอื่นเลยครับ เพื่อนๆ ช่วยแนะนำทีครับ

supawat_12 · 23 มีนาคม 2011, 14:30:54

ใช้ pgsql แทน

ทำ index ให้ดี

หรือใช้ MySql - innodb มั้ง

mikeyx · 23 มีนาคม 2011, 14:35:42

ใช้ mssql server ดีกว่าครับงานขนาดนี้ คงต้องเป็นระดับองค์กร ขนาดใหญ่ เช่นโรงงานหรือไม่ก็โรงพยาบาลขนาดใหญ่ที่เก็บข้อมูลในเชิงสถิติ
ใช้ mssql ดีกว่าเยอะครับเขียนโปรแกรมออก report ง่ายด้วย tool เยอะดี

pomchai · 23 มีนาคม 2011, 14:35:56

ล้านเรคคอร์ดต่อวันเลยเหรอ

ผมว่า Tool ตัวไหนก็ไม่อยู่้หรอกครับ ต้อง Design Database ใหม่แล้วแหละครับ

อย่างรู้จังว่าระบบอะไร

thongtae · 23 มีนาคม 2011, 14:46:11

DB2 ของ IBM

tenzamak · 23 มีนาคม 2011, 14:48:18

ใส่ index ให้ฐานข้อมูล ครับ ช่วยได้ 3 ใน 4 เลย

แต่ server ถึงหน่อยก็ดีนะครับ

กวาง · 23 มีนาคม 2011, 14:49:58

big dump เลย

Synchronize · 23 มีนาคม 2011, 15:09:50

เปลี่ยนโครงสร้างฐานข้อมูล แล้วก็วิธีการดึงข้อมูล ครับ ช่วยได้เยอะ
งานผม ข้อมูลเข้า วันละ 4-5 แสนเรคคอร์ด ... ดึงออกมาสร้าง report จาก 5-6 ตาราง join ร่วมกัน
ใช้เวลาออกรายงานไม่เกิน 1 วิ เกือบทุกตัวนะครับ

แล้วก็การ join ขั้นเทพ ด้วย sql ไม่ได้ผลดีเสมอไปนะครับ

ayeweb · 23 มีนาคม 2011, 15:15:50

ทำอะไรน้อ ล้านต่อวัน อิอิ

ahon · 23 มีนาคม 2011, 15:16:52

ออราเคิล .. ครับ

tdelphi · 23 มีนาคม 2011, 15:20:33

เอาจิงๆ มันต้องอยู่ที่การ optimizing database design

คุณต้องวิเคราะห์ก่อนว่า ระบบเน้น read และ write เป็นสัดส่วนเท่าไหร่ เพื่อนำไปประเมินการทำงานของ I/O

ถ้าเขียน (insert) เป็นหลัก ทำ index มากยิ่งช้า ให้ทำเท่าที่จำเป็นก็พอ
ถ้า read (select) เป็นหลัก ทำ index ไว้มากยิ่งดีครับ

ถ้า read & write พอๆกัน จะเจอปัญหาเรื่อง table locked แนะนำให้ใช้ innodb ครับ

จะให้ดี ซอย db ออกเ็ป็นรายวันๆ ละ 1 table จะช่วยเรื่อง performance ได้มาก

รายละเอียดการออกแบบ มันมีเนื้อหาจุกจิก แนะนำให้ปรึกษาผู้รู้ หรือ pm หลังไมค์ก็ได้ครับ

ปล. ถ้าไม่มีปัญหาเรื่องงบประมาณ ผมแนะนำให้ย้าย platform ไปใช้ MS-SQL หรือ Oracle ครับ

BigChange · 23 มีนาคม 2011, 15:23:05

ล้านเรคคอร์ดต่อวันเลยเหรอครับ งานอะไรเหรอครับ ยังกะ facebook

Taobsd · 23 มีนาคม 2011, 15:24:27

ลองไปใช้ big table ของ google ดูสิครับ อิอิ
รองรับได้เยอะแน่ ๆ

BigChange · 23 มีนาคม 2011, 15:54:16

ใช้ mongodb ครับ เอาอยู่ เร็วปี๊ดทีเดียว

bonshington · 23 มีนาคม 2011, 16:05:30

ถ้าเป็น insert หรือ update 1M ต่อวัน ลาออกหางานใหม่คับ องค์กรห่วย ข้อมูลขนาดนั้น ใช้ mysql เพ้อเจ้อมาก
แต่ถ้าแค่ select 1M ต่อวัน ขำๆ ทำ index อย่างเดียวจบ ถ้า join เยอะ ก็ทำ warehouse

ตามหลัก ถ้าจะทำ hardware จะต้องระดับเทพ แนะนำให้ทำ farm, cluster, partition อะไรก้แล้วแต่
ถ้าเอา 1M หารเวลาทำงาน 20ชม ต่อวัน มันจะตก 15tps (transaction per sec) ซึ่ง fail save ควรคูณ 5 แปลว่า ระบบควรรับได้มากถึง 50-100 tps hardware หลักล้านแน่นอน
ระดับน้องๆ google นะ ปล gogole มี traffic ราว 900 transaction/sec และมีserver เป็นแสนตัว

ถ้าเอา performance + stability ที่ดีกว่านี้ต้องไปพวก nosql

20auguzt · 23 มีนาคม 2011, 19:10:43

จริงๆ แล้วผมก็อยากลองใช้ mongo db ดูเหมือนกัน แต่ผมไม่เคยเขียนแล้วก็เวลานั้นมีจำกัด ยังไงผมจะลองพยายามดูละกันครับ ขอบคุณทุกท่านมาก

thuncpe200 · 23 มีนาคม 2011, 19:13:02

แบบนี้ยอม เลย ล้านต่อวัน server ไหนเนี้ย

20auguzt · 23 มีนาคม 2011, 20:59:19

คือโปรเจคที่จะทำมันเป็นอุปกรณ์เอาไว้วัดการเต้นของหัวใจ แล้วเราจะเอาข้อมูลที่เก็บได้เนียะเอาวิเคราะห์ว่าสุขภาพเราเป็นอย่างไรบ้าง

ซึ่งมันต้องเก็บข้อมูลโดยละเอียดเลยอะครับผลมันถึงจะออกมาได้อย่างแม่นยำ

aum_mix · 23 มีนาคม 2011, 21:02:04

ฝรั่งส่วนมากใ้ช้ excel รึเปล่า

powerbeer001 · 23 มีนาคม 2011, 21:26:05

Oracle เท่านั้น และอย่าลืม สเปก Server เทพ ถึงจะรอดครับ