AI ถอดความการประชุมหลายภาษาได้หรือไม่?

การประชุมจำนวนมากไม่ได้ใช้เพียงภาษาเดียว ทีมผลิตภัณฑ์ในเบรุตอาจสลับไปมาระหว่างภาษาอาหรับ ฝรั่งเศส และอังกฤษภายในประโยคเดียว การโทรขายอาจเริ่มด้วยภาษาสเปนแล้วจบด้วยภาษาอังกฤษ ธุรกิจครอบครัวอาจพูดภาษาฮินดีปนภาษาอังกฤษตลอดการคุย แล้ว AI ยังสร้างบทถอดความที่ใช้งานได้หรือไม่?

คำตอบสั้น ๆ: ได้ในหลายกรณี แต่ผลลัพธ์ขึ้นอยู่กับการตั้งค่าระบบรู้จำเสียงพูดเป็นอย่างมาก บางระบบตรวจจับภาษาหลักเพียงภาษาเดียวสำหรับการบันทึกทั้งหมด บางระบบออกแบบมาให้ติดตามการเปลี่ยนภาษาทีละคำ การรู้ว่าคุณใช้ระบบแบบไหนสำคัญกว่าคำโฆษณาใด ๆ

การสลับภาษามีความหมายอย่างไรต่อการรู้จำเสียงพูด

การเปลี่ยนไปมาระหว่างภาษาในบทสนทนาเดียวกันเรียกว่า การสลับภาษา (code-switching) นักวิจัยมักแบ่งออกเป็นสองแบบ:

ระหว่างประโยค: คนหนึ่งพูดจบประโยคเป็นภาษาอังกฤษ และประโยคถัดไปเป็นภาษาฝรั่งเศส
ภายในประโยคเดียว: "เราต้องได้ facture ก่อนวันศุกร์ yalla ปิดงานนี้กันเลย"

การทบทวนวรรณกรรมอย่างเป็นระบบล่าสุดเกี่ยวกับงานวิจัยการรู้จำเสียงพูดแบบ end-to-end ระบุว่า การสลับภาษาภายในประโยคเป็นกรณีที่ยากที่สุดสำหรับระบบเสียงพูด และเป็นประเด็นที่งานวิจัยส่วนใหญ่ให้ความสนใจ โมเดลต้องจดจำเสียง คำศัพท์ และไวยากรณ์ของสองภาษาในเวลาเดียวกัน ซึ่งบ่อยครั้งยังพูดด้วยสำเนียงที่ได้รับอิทธิพลจากภาษาที่สาม

การตรวจจับภาษาไม่เหมือนกับการติดตามการสลับภาษาทุกครั้ง

มีสองฟีเจอร์ของผู้ให้บริการที่มักถูกเข้าใจสับสนกัน

การตรวจจับภาษาอัตโนมัติ จะระบุภาษา หลัก ของการบันทึก แล้วถอดความเสียงเป็นภาษานั้น เอกสารของ Deepgram อธิบาย detect_language ไว้ว่า ฟีเจอร์นี้ทำงานกับเสียงที่บันทึกไว้ล่วงหน้า และส่งคืนภาษาที่ตรวจพบหนึ่งภาษาต่อหนึ่งช่องเสียง ฟีเจอร์นี้เหมาะมากเมื่อการบันทึกแต่ละครั้งใช้ภาษาเดียวเป็นส่วนใหญ่ซึ่งคุณไม่ได้ระบุไว้ล่วงหน้า แต่ไม่ได้ออกแบบมาเพื่อรายงานหลายภาษาภายในช่องเสียงเดียวกัน

โหมดหลายภาษาที่รองรับการสลับภาษา นั้นแตกต่างออกไป ใน Deepgram Nova-3 การตั้งค่า language=multi จะใช้โมเดลหลายภาษาที่ถอดความต่อไปได้แม้ภาษาจะเปลี่ยน และติดรหัสภาษาให้กับทุกคำ โหมดนี้ใช้ได้ทั้งกับเสียงที่บันทึกไว้และเสียงแบบสตรีมมิง และยังใช้คำใบ้ภาษาซึ่งเป็นตัวเลือกเสริม เพื่อชี้นำโมเดลไปยังภาษาที่คุณคาดว่าจะได้ยินได้ด้วย

ถ้าเครื่องมือตรวจจับได้เพียงภาษาเดียว การประชุมที่ใช้ภาษาอังกฤษ 70% และภาษาอาหรับ 30% มักจะถูกถอดความเป็นภาษาอังกฤษ และช่วงที่เป็นภาษาอาหรับอาจออกมาไม่ถูกต้อง เป็นเพียงการประมาณ หรือหายไปเลย

สิ่งที่ ClearScribe ทำในปัจจุบัน

แพลตฟอร์มเว็บของ ClearScribe ใช้ Deepgram Nova-3 แต่ใช้ในลักษณะที่ต่างกันไปตามฟีเจอร์ ต่อไปนี้คือการทำงานจริงในปัจจุบัน ไม่ใช่ทุกสิ่งที่ผู้ให้บริการอาจทำได้ในทางทฤษฎี

การประชุมที่บันทึกและอัปโหลด เมื่อ ClearScribe ประมวลผลเสียงการประชุม ระบบจะขอใช้การตรวจจับภาษาอัตโนมัติ การแยกผู้พูด และการแบ่งเป็นถ้อยคำ บทถอดความจะบันทึกภาษาที่ตรวจพบไว้หนึ่งภาษาสำหรับการบันทึกนั้น วิธีนี้ได้ผลดีที่สุดเมื่อมีภาษาหนึ่งเด่นชัดกว่าภาษาอื่น ขณะนี้ ClearScribe ยังไม่ได้ติดป้ายการสลับภาษาแต่ละครั้งในบทถอดความของการประชุมที่บันทึกไว้ จึงไม่ควรคาดหวังว่าการสลับภาษาทุกครั้งจะถูกตรวจพบโดยอัตโนมัติและเชื่อถือได้

คำบรรยายสด คำบรรยายสดของ ClearScribe มีตัวเลือก หลายภาษา ที่ใช้โหมดหลายภาษาของ Deepgram Nova-3 พร้อมการตรวจจับจุดจบของการพูดที่สั้นลงเพื่อให้เหมาะกับการสลับภาษา การตั้งค่าปัจจุบันของ ClearScribe ระบุสิบภาษาสำหรับตัวเลือกนี้ ได้แก่ อังกฤษ สเปน ฝรั่งเศส เยอรมัน ฮินดี รัสเซีย โปรตุเกส ญี่ปุ่น อิตาลี และดัตช์ หากการประชุมของคุณใช้เพียงภาษาเดียว การเลือกภาษานั้นโดยตรงมักจะดีกว่า

หลังได้บทถอดความ คุณสามารถ แปลบทถอดความและทำงานข้ามภาษา เปลี่ยนชื่อผู้พูด แก้ไขการระบุผู้พูด และสร้าง บทสรุปและรายการสิ่งที่ต้องทำ ได้ ดูรายชื่อภาษาที่รองรับทั้งหมดได้ที่ การรองรับภาษาทั่วโลกของ ClearScribe

การแยกผู้พูดในการประชุมหลายภาษา

การแยกผู้พูดตอบคำถามว่า "ใครพูดเมื่อไร" ไม่ใช่ "พูดภาษาอะไร" ระบบแยกผู้พูดของ Deepgram จะกำหนดหมายเลขผู้พูดให้แต่ละคำ และ ClearScribe จะแปลงหมายเลขเหล่านั้นเป็นป้ายกำกับแบบมีหมายเลข เช่น ผู้พูด 1 และผู้พูด 2 Deepgram อธิบายว่าระบบแยกผู้พูดของตนไม่ขึ้นกับภาษา ดังนั้นตามหลักการแล้ว คนที่สลับภาษาจะยังคงได้ป้ายกำกับเดิม

ในทางปฏิบัติ ข้อผิดพลาดในการแยกผู้พูดจะเพิ่มขึ้นเมื่อมีการพูดซ้อนกัน การแทรกพูดสั้นมาก เสียงที่คล้ายกัน และไมโครโฟนที่อยู่ไกล ควรวางแผนตรวจสอบป้ายกำกับผู้พูดและเปลี่ยนชื่อหลังการประชุม

เมื่อไรที่ความแม่นยำลดลง

ให้คาดว่าผลลัพธ์จะด้อยลงเมื่อ:

ผู้เข้าร่วมสลับภาษาหลายครั้งในประโยคสั้น ๆ
ชื่อเฉพาะ คำศัพท์ผลิตภัณฑ์ และคำย่อ ถูกแทรกอยู่ในไวยากรณ์ของอีกภาษาหนึ่ง
ภาษาหรือภาษาถิ่นอยู่นอกรายการที่ผู้ให้บริการรองรับสำหรับโหมดที่เลือก
มีหลายคนพูดพร้อมกัน หรือห้องมีเสียงก้องและเสียงรบกวนพื้นหลัง
การบันทึกถูกประมวลผลด้วยการตรวจจับภาษาเดียว ทั้งที่เนื้อหาส่วนใหญ่เป็นภาษาที่สอง
ภาษาถิ่นที่มีลักษณะเฉพาะสูง เช่น ภาษาอาหรับแบบพูดในชีวิตประจำวัน แตกต่างจากข้อมูลที่ใช้ฝึกโมเดล

บทถอดความอาจอ่านลื่นไหลแต่ยังผิดได้ บางครั้งโมเดลเสียงพูดจะเปลี่ยนคำภาษาต่างประเทศให้กลายเป็นคำในภาษาหลักที่ออกเสียงคล้ายกัน

ขั้นตอนการทำงานที่ใช้ได้จริงสำหรับการประชุมหลายภาษา

กำหนดภาษาหลัก หากมีภาษาหนึ่งเด่นกว่า ให้วางแผนตามภาษานั้น และใช้การตั้งค่าภาษาเดียวเมื่อมีให้เลือก
ใช้โหมดหลายภาษาอย่างตั้งใจ สำหรับเซสชันสดที่มีการผสมภาษาที่รองรับจริง ๆ ให้เลือกตัวเลือกหลายภาษาในคำบรรยายสด
ปรับปรุงคุณภาพเสียง ใช้ไมโครโฟนที่ดี ลดการคุยแทรก และขอให้ผู้เข้าร่วมไม่พูดพร้อมกัน
แนะนำผู้พูด การแนะนำชื่อสั้น ๆ ตอนเริ่มประชุมช่วยให้ตรวจสอบผู้พูดได้ง่ายขึ้น
ตรวจทานก่อนแชร์ ตรวจช่วงที่มีการสลับภาษา ชื่อ และตัวเลข จากนั้นเปลี่ยนชื่อผู้พูดและแก้ไขช่วงต่าง ๆ
แปลหลังตรวจทาน การแปลบทถอดความที่แก้ไขแล้วให้ผลดีกว่าการแปลข้อผิดพลาดที่ยังไม่ได้แก้

วิธีทดสอบก่อนจะพึ่งพาจริง

ทำการทดสอบเล็ก ๆ อย่างตรงไปตรงมากับการประชุมของคุณเอง แทนที่จะเชื่อการสาธิต:

บันทึกการประชุมที่ใกล้เคียงของจริงสิบถึงสิบห้านาที โดยใช้ผู้เข้าร่วม ไมโครโฟน และการผสมภาษาแบบที่ใช้เป็นประจำ
เขียนบทถอดความอ้างอิงอย่างละเอียดสำหรับช่วงสองหรือสามนาทีที่มีการสลับภาษาบ่อย
เปรียบเทียบบทถอดความของ AI กับบทอ้างอิง นับคำที่หายไป คำที่ผิด และช่วงที่มีการสลับภาษาซึ่งถูกเขียนเป็นภาษาผิด
ตรวจสอบป้ายกำกับผู้พูดแยกจากตัวคำ
ทดสอบซ้ำด้วยการตั้งค่าภาษาเดียว และหากเกี่ยวข้อง ให้ทดสอบด้วยตัวเลือกหลายภาษาของคำบรรยายสดด้วย
ทดสอบใหม่ทุกครั้งที่อุปกรณ์เสียงหรือการผสมภาษาเปลี่ยนไป

หากข้อผิดพลาดส่วนใหญ่อยู่ที่ชื่อและคำศัพท์เฉพาะ งานตรวจทานจะมีไม่มาก แต่ถ้าช่วงที่เป็นภาษาที่สองหายไปทั้งช่วง แสดงว่าการตั้งค่านั้นไม่เหมาะกับการประชุมนั้น

ความสามารถของผู้ให้บริการเทียบกับฟีเจอร์ของ ClearScribe

ความสามารถ	Deepgram (ผู้ให้บริการ)	ClearScribe ในปัจจุบัน
การตรวจจับภาษาหลัก	เสียงที่บันทึกไว้ล่วงหน้า หนึ่งภาษาต่อช่องเสียง	ใช้กับการประชุมที่บันทึกและอัปโหลด
การถอดความแบบรองรับการสลับภาษา	`language=multi` บน Nova-3 ทั้งแบบบันทึกและสตรีมมิง	ใช้โดยตัวเลือกหลายภาษาของคำบรรยายสด
แท็กภาษารายคำ	ส่งคืนในโหมดหลายภาษา	ไม่แสดงเป็นป้ายกำกับรายช่วงในบทถอดความของการประชุมที่บันทึกไว้
การแยกผู้พูด	หมายเลขผู้พูดสำหรับทุกคำ	เปิดใช้สำหรับการประชุมที่บันทึกไว้
คำใบ้ภาษา	ค่า `language_hint` ซึ่งเป็นตัวเลือกเสริม	ยังไม่ได้ตั้งค่าในขณะนี้

สรุป

AI สามารถถอดความการประชุมหลายภาษาได้ และโมเดลหลายภาษากำลังพัฒนาอย่างรวดเร็ว คำถามสำคัญคือ ผลิตภัณฑ์ตรวจจับเพียงภาษาหลักภาษาเดียว หรือติดตามการสลับภาษาจริง ๆ ปัจจุบัน ClearScribe ติดตามการสลับภาษาในตัวเลือกหลายภาษาของคำบรรยายสดสำหรับภาษาที่ระบุไว้ ส่วนการประชุมที่บันทึกไว้ใช้การตรวจจับภาษาหลักร่วมกับการแยกผู้พูด ทดสอบด้วยเสียงของคุณเอง ตรวจทานบทถอดความ และเลือกโหมดที่ตรงกับวิธีที่ทีมของคุณพูดคุยกันจริง

แหล่งอ้างอิง

เอกสาร Deepgram: Multilingual Code Switching
เอกสาร Deepgram: Language Detection
เอกสาร Deepgram: Diarization
Deepgram: What is speaker diarization?
Agro, M. T. และคณะ: Code-Switching in End-to-End Automatic Speech Recognition: A Systematic Literature Review, arXiv:2507.07741

AI ถอดความการประชุมได้หรือไม่ เมื่อผู้เข้าร่วมสลับไปมาระหว่างหลายภาษา?