Onsets and Frames: AI ถอดโน้ตเปียโนจาก Google Magenta
Onsets and Frames คือโมเดลปัญญาประดิษฐ์จากทีม Magenta ของ Google ที่ถอดเสียงเปียโนเป็นโน้ตได้อัตโนมัติ จุดเด่นคือแยกงานเป็นสองส่วน ส่วนหนึ่งตรวจว่าโน้ตเริ่มดังเมื่อไร อีกส่วนตรวจว่าโน้ตยังค้างอยู่หรือไม่ แล้วใช้ผลของส่วนแรกคุมส่วนหลัง บทความต้นฉบับขึ้น arXiv ตั้งแต่ปลาย 2017 ก่อนได้ขึ้นเวที ISMIR ในปีถัดมา กลายเป็นหมุดหมายสำคัญของการถอดโน้ตเปียโนด้วย AI ซึ่งเป็นพื้นฐานที่ทำให้เทคโนโลยีฟังการเล่นของผู้เรียนพัฒนาไปไกลขึ้น
สรุปข่าวแบบรวบรัด
- ใคร ทีมวิจัย Magenta ของ Google นำโดยเคอร์ติส ฮอว์ธอร์น (Curtis Hawthorne)
- อะไร โมเดลถอดเสียงเปียโนเป็นโน้ต (automatic music transcription) ชื่อ Onsets and Frames
- เมื่อไร บทความเผยแพร่บน arXiv ปลายปี 2017 และนำเสนอที่ ISMIR 2018
- ต่อยอด ทีมเดียวกันเปิดชุดข้อมูล MAESTRO ซึ่งจับคู่เสียงเปียโนกับข้อมูลการกดคีย์อย่างละเอียด เพื่อให้นักวิจัยคนอื่นฝึกและทดสอบโมเดลได้
ทำไมการถอดโน้ตเปียโนจึงยาก
เมื่อฟังคนเล่นเพลงช้าด้วยมือเดียว การบอกว่าเป็นโน้ตอะไรดูไม่ยาก แต่เปียโนมักเล่นหลายโน้ตพร้อมกัน เสียงแต่ละตัวมีฮาร์มอนิกซ้อนทับกัน และโน้ตที่กดค้างไว้ก็ค่อย ๆ เบาลงจนแยกได้ยากว่าจบตอนไหน เมื่อเหยียบแป้นค้างเสียง ทุกอย่างยิ่งปนกันมากขึ้น
ระบบรุ่นก่อนหน้ามักพยายามทายทุกช่วงเวลาสั้น ๆ ว่ามีโน้ตใดดังอยู่บ้าง ผลคือเกิดโน้ตผี โน้ตขาดเป็นท่อน หรือโน้ตยาวที่ถูกตัดเป็นหลายตัว ซึ่งทำให้โน้ตที่ได้อ่านยาก
ความคิดหลักของ Onsets and Frames
ตัวตรวจจุดเริ่มเสียง
ส่วนแรกของโมเดลถูกฝึกให้สนใจช่วงเสี้ยววินาทีที่ค้อนกระทบสาย ซึ่งเป็นช่วงที่ลายเซ็นเสียงของโน้ตแต่ละตัวเด่นชัด ทีมวิจัยพบว่าการทายจุดเริ่มทำได้แม่นกว่าการทายทั้งความยาวโน้ต
ตัวตรวจช่วงโน้ตค้าง
ส่วนที่สองดูว่าในแต่ละเฟรมเวลา โน้ตใดยังดังอยู่ แต่จะไม่อนุญาตให้เริ่มโน้ตใหม่ ถ้าส่วนแรกไม่ได้ตรวจพบจุดเริ่มของโน้ตนั้น วิธีนี้ช่วยตัดโน้ตผีออกไปได้มาก
การประเมินน้ำหนักการกด
นอกจากนี้ ระบบคาดคะเนด้วยว่านิ้วลงน้ำหนักมากน้อยแค่ไหน (velocity) ทำให้ไฟล์ที่ได้ไม่ได้มีแค่ชื่อโน้ตและเวลา แต่ยังสะท้อนความดังเบาของผู้เล่นด้วย
ชุดข้อมูล MAESTRO สำคัญอย่างไร
โมเดลที่เรียนรู้จากข้อมูลจะดีได้เท่าข้อมูลที่ใช้สอน ทีม Magenta จึงเผยแพร่ชุดข้อมูล MAESTRO ซึ่งบันทึกจากการแข่งขันเปียโนที่ใช้เปียโนอะคูสติกแบบบันทึกการกดคีย์ได้ เสียงกับข้อมูลโน้ตจึงตรงกันในระดับเสี้ยววินาที นักวิจัยทั่วโลกนำชุดข้อมูลนี้ไปใช้เปรียบเทียบผลงาน ทำให้วงการถอดโน้ตเปียโนมีมาตรฐานกลางในการวัดความก้าวหน้า
ความหมายต่อผู้ที่เรียนเปียโน
งานวิจัยแบบนี้ไม่ได้อยู่แค่ในห้องแล็บ แนวคิดการแยกจุดเริ่มเสียงกับช่วงโน้ตค้างช่วยให้ซอฟต์แวร์รุ่นใหม่ฟังการเล่นจริงได้ดีขึ้น ผลที่ผู้เรียนรู้สึกได้มีหลายด้าน
- ระบบบอกได้ว่ากดโน้ตช้าหรือเร็วกว่าจังหวะ ไม่ใช่แค่ถูกหรือผิด ซึ่งช่วยให้คนเล่นเปียโนเห็นจุดที่ต้องปรับชัดขึ้น
- ระบบแยกได้ว่าปล่อยคีย์เร็วเกินไปจนโน้ตขาด
- ระบบฟังความดังเบาและบอกได้ว่าการเล่นราบเรียบเกินไปหรือไม่
- ผู้เรียนได้ผลตอบกลับทันทีระหว่างซ้อมเปียโนที่บ้าน โดยไม่ต้องรอคาบเรียนถัดไป
ทั้งนี้ไม่มีโมเดลใดถอดเสียงได้สมบูรณ์ทุกสถานการณ์ เสียงห้องที่ก้อง ไมโครโฟนคุณภาพต่ำ หรือเปียโนที่เพี้ยน ยังส่งผลต่อความแม่นยำได้ ครูสอนดนตรีจึงยังมีบทบาทสำคัญในการตีความดนตรีที่เครื่องวัดไม่ได้
TIGA ALPHA กับการนำ AI มาสอนดนตรี
TIGA ALPHA เป็นบริษัทนวัตกรรมการศึกษาด้าน AI ที่สร้างโดยทีมคนไทย และพัฒนาแอปสอนเปียโน AI สำหรับคนที่อยากเรียนเปียโนออนไลน์ ระบบสอนเปียโนด้วย AI ของแอปฟังการเล่นผ่านไมโครโฟน วิเคราะห์โน้ตและจังหวะ แล้วตอบกลับแทบทันที ผู้เรียนยังพิมพ์ปรึกษาครูเปียโน AI ได้ว่าทำไมบางโน้ตถูกนับว่าคลาด
บทเรียนมีให้เลือกทั้งภาษาไทย อังกฤษ และจีนกลาง และอยู่ในการดูแลของครูอั้ม CEO ที่สอนเปียโนมา 20 ปี จึงผสานความรู้จากห้องเรียนจริงเข้ากับเทคโนโลยี ใครกำลังเทียบแอปสอนเปียโน แอปสอนเปียโนออนไลน์ หรือแอปพลิเคชันสอนเปียโนออนไลน์ ลองดูว่าแอปฟังการเล่นจริงหรือแค่ตรวจการกดบนหน้าจอ ส่วนคนที่อยากได้ลำดับบทเรียนเต็มรูปแบบ มีทั้งคอร์สเรียนเปียโนออนไลน์ AI คอร์สเรียนเปียโน และคอร์สเปียโนสดกับครู ซึ่งช่วยให้การเรียนดนตรีและการเล่นดนตรีที่บ้านต่อเนื่องขึ้น
คำถามที่พบบ่อย
ถาม: Onsets and Frames คืออะไร
ตอบ: คือโมเดล AI จากทีม Magenta ของ Google ที่ถอดเสียงเปียโนเป็นโน้ต โดยแยกการตรวจจุดเริ่มเสียงกับการตรวจช่วงโน้ตค้างออกจากกัน
ถาม: การถอดโน้ตอัตโนมัติ (automatic music transcription) คืออะไร
ตอบ: คือการให้คอมพิวเตอร์ฟังไฟล์เสียงดนตรีแล้วแปลงเป็นข้อมูลโน้ต เช่น ระดับเสียง เวลาเริ่ม เวลาจบ และความแรง
ถาม: ชุดข้อมูล MAESTRO ใช้ทำอะไร
ตอบ: ใช้ฝึกและทดสอบโมเดลถอดโน้ตเปียโน เพราะมีเสียงเปียโนจริงที่จับคู่กับข้อมูลการกดคีย์อย่างแม่นยำ
ถาม: AI ถอดโน้ตได้ถูกต้องทุกครั้งหรือไม่
ตอบ: ไม่ทุกครั้ง ความแม่นยำขึ้นกับคุณภาพเสียง ห้อง และสภาพเปียโน ผลจาก AI จึงควรใช้ประกอบการฝึก ไม่ใช่คำตัดสินสุดท้าย
ถาม: TIGA ALPHA ใช้โมเดล Onsets and Frames โดยตรงหรือไม่
ตอบ: บทความนี้เล่าถึงงานวิจัยที่เป็นพื้นฐานของวงการ ไม่ได้ระบุว่าแอปใดใช้โมเดลนี้ สิ่งที่ผู้เรียนสัมผัสได้คือระบบฟังการเล่นจริงแล้วตอบกลับทันที
ลองให้ AI ฟังการเล่นของคุณ
ทดลองระบบฟังการเล่นที่ TIGA ALPHA ทุกคนใช้แพ็กเกจพรีเมียมฟรี 7 วัน แล้วต่อเดือนละ 799 บาท ใครอยากเรียนกับครูอั้มแบบเห็นหน้ากัน ดูคลาสสดได้ที่ TIGA Studio และติดตามข่าวเทคโนโลยีการศึกษาของบริษัทที่ www.tigaalpha.com