Riffusion กับสเปกโตรแกรม: เห็นเสียงเปียโนเป็นภาพ
Riffusion คืองานทดลองด้าน AI ที่เปิดตัวช่วงปลายปี 2022 โดยเซธ ฟอร์สเกรน (Seth Forsgren) และเฮย์ก มาร์ติรอส (Hayk Martiros) แนวคิดคือนำโมเดลสร้างภาพ Stable Diffusion มาฝึกเพิ่มให้วาดภาพสเปกโตรแกรม ซึ่งเป็นภาพแสดงเสียงตามเวลาและความถี่ จากนั้นแปลงภาพกลับเป็นเสียงเพลง จุดที่น่าสนใจสำหรับคนเล่นเปียโนไม่ได้อยู่ที่การให้ AI แต่งเพลงแทน แต่อยู่ที่สเปกโตรแกรมเอง เพราะมันเป็นภาพที่ทำให้เรามองเห็นเสียงเปียโนของตัวเอง ทั้งฮาร์มอนิก ความดัง และการจางของโน้ต
บทความนี้อธิบายวิธีอ่านสเปกโตรแกรมแบบเข้าใจง่าย แล้วชวนใช้มันตรวจการเล่นของตัวเอง
สเปกโตรแกรมคืออะไร
ลองนึกภาพกราฟที่แกนนอนคือเวลา แกนตั้งคือความถี่จากต่ำไปสูง และความสว่างของแต่ละจุดบอกว่าเสียงที่ความถี่นั้นดังแค่ไหนในช่วงเวลานั้น นั่นคือสเปกโตรแกรม เสียงพูด เสียงนกร้อง หรือเสียงเปียโน ล้วนแสดงเป็นลวดลายเฉพาะตัวบนภาพแบบนี้
เมื่อกดโน้ตเปียโนตัวเดียว เราจะไม่ได้เห็นเส้นเดียว แต่เห็นเส้นแนวนอนหลายเส้นซ้อนกัน เส้นล่างสุดคือความถี่หลักของโน้ต เส้นที่อยู่สูงขึ้นไปคือฮาร์มอนิกหรือโอเวอร์โทน ซึ่งทำให้เปียโนมีสีเสียงต่างจากขลุ่ยหรือไวโอลิน แม้จะเล่นโน้ตเดียวกัน
Riffusion ทำงานอย่างไรแบบย่อ
- นำเพลงจำนวนมากมาแปลงเป็นภาพสเปกโตรแกรม
- ฝึกโมเดลสร้างภาพให้วาดภาพแบบนั้นจากคำบรรยาย เช่น แนวเพลงหรือเครื่องดนตรี
- เมื่อได้ภาพใหม่ ใช้วิธีทางคณิตศาสตร์แปลงภาพกลับเป็นคลื่นเสียง
- นำภาพสั้น ๆ หลายภาพมาต่อกันอย่างแนบเนียน เพื่อให้เพลงเล่นต่อเนื่องได้
ผลงานที่ได้ฟังเป็นเพลงสั้น ๆ ที่มีสีสันน่าสนใจ แต่คุณภาพเสียงยังไม่ใสเท่างานบันทึกจริง เพราะภาพสเปกโตรแกรมเก็บรายละเอียดบางส่วนของเสียงไว้ไม่ครบ
อ่านภาพเสียงเปียโนของตัวเอง
แอปหรือโปรแกรมแสดงสเปกโตรแกรมฟรีมีให้เลือกหลายตัว ทั้งบนโทรศัพท์และคอมพิวเตอร์ ลองเปิดแล้วเล่นสิ่งเหล่านี้
โน้ตเดียว กดเบาและกดแรง
กดแรงแล้วจะเห็นเส้นฮาร์มอนิกด้านบนสว่างขึ้นและขึ้นไปสูงกว่า นี่คือเหตุผลที่เสียงดังของเปียโนฟังสว่างกว่า ไม่ใช่แค่ดังกว่า
การจางของเสียง
กดโน้ตค้างไว้แล้วดูว่าเส้นด้านบนหายไปก่อนเส้นล่าง เสียงจึงค่อย ๆ นุ่มลงระหว่างที่จางหาย
คอร์ดที่สมดุลกับไม่สมดุล
เล่นคอร์ดสามเสียงสองแบบ แบบแรกกดเท่ากันทุกนิ้ว แบบที่สองให้เสียงบนดังกว่า แล้วดูว่าเส้นของโน้ตบนเด่นขึ้นหรือไม่
แป้นเหยียบ
เล่นท่อนเดียวกันโดยใช้และไม่ใช้แป้นเหยียบ ภาพที่มีแป้นเหยียบจะเห็นเส้นค้างซ้อนต่อกันยาว ถ้าเปลี่ยนแป้นไม่ทัน จะเห็นเส้นของคอร์ดเก่าทับคอร์ดใหม่ชัดเจน
แผนทดลองหนึ่งสัปดาห์
วันแรก อัดสเกลช้า ๆ หนึ่งออกเทฟ แล้วดูว่าความสว่างของแต่ละโน้ตใกล้กันหรือไม่
วันที่สาม อัดท่อนทำนองกับเสียงประสานจากเพลงที่กำลังซ้อม แล้วดูว่าเส้นของทำนองเด่นกว่าเส้นของเสียงประสานหรือยัง
วันที่ห้า ลองท่อนที่ใช้แป้นเหยียบ ดูว่ามีจุดที่คอร์ดเก่ากับคอร์ดใหม่ทับกันนานเกินไปหรือเปล่า
วันที่เจ็ด อัดท่อนเดิมของวันแรกอีกครั้ง แล้ววางภาพสองวันเทียบกัน ความต่างที่เห็นคือหลักฐานของสิ่งที่หูเราเปลี่ยนไปตลอดสัปดาห์
ใช้ภาพแต่อย่าลืมหู
สเปกโตรแกรมเป็นเครื่องช่วยที่ดีในการยืนยันสิ่งที่หูสงสัย เช่น โน้ตทำนองจมหรือเปล่า เสียงขุ่นเพราะแป้นเหยียบหรือไม่ แต่ไม่ควรแทนที่การฟัง เพราะสิ่งที่ภาพสวยงามไม่ได้แปลว่าฟังไพเราะเสมอไป ใช้ภาพเพื่อหาสาเหตุ แล้วกลับไปแก้ด้วยการฟังที่ปลายนิ้ว
อีกข้อดีคือภาพช่วยให้ผู้เรียนที่ยังแยกเสียงด้วยหูไม่ออก มีหลักฐานให้ดู เมื่อเห็นแล้วได้ยินซ้ำหลายครั้ง หูจะเริ่มจับความต่างได้เองโดยไม่ต้องพึ่งภาพ
คำถามที่พบบ่อย
ถาม: ต้องเข้าใจคณิตศาสตร์ก่อนใช้สเปกโตรแกรมไหม
ตอบ: ไม่ต้อง แค่รู้ว่าแกนนอนคือเวลา แกนตั้งคือความถี่ และความสว่างคือความดัง ก็เริ่มดูได้แล้ว
ถาม: Riffusion ใช้ฝึกเปียโนได้โดยตรงไหม
ตอบ: Riffusion ออกแบบมาเพื่อสร้างเสียงเพลง ไม่ใช่สอนเล่น แต่แนวคิดเรื่องภาพเสียงของมันนำมาใช้ตรวจการเล่นได้
ถาม: เปียโนไฟฟ้าแสดงภาพต่างจากเปียโนอะคูสติกไหม
ตอบ: มักต่างกันเล็กน้อย ขึ้นกับวิธีสร้างเสียงของเครื่อง ลองเปรียบเทียบดูก็เป็นการฝึกฟังที่ดี
ถาม: เด็กจะสนใจภาพแบบนี้ไหม
ตอบ: เด็กหลายคนชอบมาก เพราะได้เห็นเสียงของตัวเองเปลี่ยนสีตามการกด ลองให้วาดรูปทรงด้วยการเล่นเบาและแรงสลับกัน
เริ่มใช้ทั้งตาและหูในการซ้อมกับ TIGA ALPHA
TIGA ALPHA เป็นแอปพลิเคชันสอนเปียโนออนไลน์ที่คนไทยสร้าง สอนได้สามภาษา คือไทย อังกฤษ และจีนกลาง มีครูอั้ม ซึ่งสอนเปียโนมา 20 ปี เป็น CEO และผู้ออกแบบแนวทางการเรียน จุดเด่นคือการสอนเปียโนด้วยเอไอที่ฟังทุกครั้งที่เราเล่นเปียโน แล้วชี้ว่าควรแก้ตรงไหนก่อน ใช้เป็นแอปสอนเปียโนประจำวัน แอปสอนเปียโนออนไลน์ระหว่างเดินทาง หรือแอปสอนเปียโน AI สำหรับทบทวนเพลงก็ได้ ทุกคนใช้แพ็กเกจพรีเมียมฟรี 7 วัน แล้วต่อเดือนละ 799 บาท เริ่มได้ที่ หน้าแนะนำแอป
ใครอยากเรียนเปียโนกับครูควบคู่กับคอร์สเรียนเปียโนออนไลน์ AI ดูคอร์สเปียโนและคอร์สเรียนเปียโนที่ TIGA Studio สถาบันที่สอนดนตรีให้คนทุกวัยได้เรียนดนตรีและเล่นดนตรีด้วยกัน ส่วนคนที่อยากเรียนเปียโนออนไลน์และติดตามข่าวของบริษัท แวะที่ www.tigaalpha.com