คำบรรยายและการแปลแบบเรียลไทม์อาจเป็นอนาคตของวิดีโอแชท

สารบัญ:

คำบรรยายและการแปลแบบเรียลไทม์อาจเป็นอนาคตของวิดีโอแชท
คำบรรยายและการแปลแบบเรียลไทม์อาจเป็นอนาคตของวิดีโอแชท
Anonim

ซื้อกลับบ้านที่สำคัญ

  • Navi ใช้ SharePlay และคำพูดเป็นข้อความในตัวของ Apple เพื่อเสนอคำบรรยายและการแปลใน FaceTime
  • ถึงแม้จะไม่สมบูรณ์แบบแต่ก็เพียงพอแล้ว
  • คำบรรยายนั้นยอดเยี่ยมสำหรับการเข้าถึง
Image
Image

Navi เป็นแอปที่เพิ่มคำบรรยายสดและการแปลแบบเรียลไทม์ให้กับการโทรแบบ FaceTime ของคุณ

แอปนี้ใช้ SharePlay และการรู้จำเสียงในตัวเพื่อเพิ่มคำบรรยายและคำแปลใน 20 ภาษาในการโทรแบบ FaceTime ของคุณเป็นการใช้งาน SharePlay ที่น่าเหลือเชื่อ ซึ่งพวกเราส่วนใหญ่มองว่าเป็นลูกเล่นในการชมภาพยนตร์ที่เชื่อมข้อมูลกับผู้คนในที่อื่นๆ คุณอาจยังไม่จำเป็นต้องไล่นักแปลของคุณออกไป แต่แอปที่ทำงานได้ดีอาจมีประโยชน์อย่างเหลือเชื่อ

ฉันไม่ได้รับเสียงจากการโทรแบบ FaceTime” Jordi Bruin ผู้พัฒนา Navi เขียนบน Twitter “แต่ใช้ SharePlay เพื่อแชร์กับผู้เข้าร่วมในการโทร”

SharePlay

SharePlay เป็นคุณสมบัติใหม่ใน iOS 15 และ macOS 12.1 ที่ให้คุณแชร์และซิงโครไนซ์สิ่งต่าง ๆ ในการโทรแบบ FaceTime ด้วยตัวอย่างการชมภาพยนตร์ด้านบน ผู้เข้าร่วมทุกคนสามารถหยุดชั่วคราวหรือเล่นภาพยนตร์ได้ ตัวอย่างเช่น ในขณะที่คุณสนทนาในการโทรแบบ FaceTime วิดีโอ FaceTime ยังคงเปิดอยู่ในแผงภาพซ้อนภาพขนาดเล็กแบบลอยตัว และผู้เข้าร่วมแต่ละคนจะเรียกใช้แอพในอุปกรณ์ของตน เคล็ดลับของ SharePlay คือการซิงค์สิ่งที่เกิดขึ้นในแอปในพื้นที่เหล่านี้ เพื่อให้ทุกคนแชร์ประสบการณ์ ไม่ว่าจะเป็นภาพยนตร์ การออกกำลังกายฟิตเนส+ หรือสเปรดชีต

Navi ใช้เทคโนโลยีเดียวกัน เฉพาะแอปที่อยู่ในสายเท่านั้นไม่ใช่ภาพยนตร์ แต่เป็นกลไกแปลภาษาแบบเรียลไทม์ ในการใช้งาน คุณต้องเปิดแอพในขณะที่โทร FaceTime แล้วแตะปุ่ม 'เปิดคำบรรยาย' จากนั้น ผู้เข้าร่วมคนอื่นๆ ก็สามารถเข้าร่วมการดำเนินการและดูคำบรรยายสดสำหรับผู้พูดปัจจุบันได้ หากใครกำลังพูดคนเดียว ลูกโป่งคำพูดของพวกเขาก็จะขยายใหญ่ขึ้นและเกาะอยู่นานขึ้นเล็กน้อย

Image
Image

สำหรับคนหูหนวก นี่อาจหมายถึงความแตกต่างระหว่างการโทรหาคนอื่นหรือไม่ และสำหรับทุกคน หมายความว่าคุณสามารถมีการสนทนาที่เป็นประโยชน์ระหว่างผู้ที่ไม่ได้ใช้ภาษาร่วมกัน

ข้อความสากล

อินเทอร์เน็ตสร้างขึ้นจากข้อความ ซึ่งเยี่ยมมาก มีขนาดเล็กและง่ายต่อการสร้าง อ่าน และแปล นอกจากนี้ยังง่ายต่อการเปลี่ยนเป็นคำพูดสังเคราะห์ ผลที่ได้คือทุกคนจากทุกที่สามารถมีส่วนร่วมในการสนทนาใดก็ได้ ภาษาไม่ใช่อุปสรรค และไม่ใช่อาการหูหนวกหรือตาบอดแต่อย่างใด ตราบใดที่คุณใช้อุปกรณ์ที่มีเครื่องมือช่วยการเข้าถึงที่ดีสำหรับการมองเห็นหรือการได้ยินที่บกพร่อง

แต่คำพูดนั้นยากกว่ามากในการประมวลผล การเขียนตามคำบอกเป็นข้อความนั้นน่าประทับใจ แต่เมื่อไม่นานมานี้เองที่การรู้จำเสียงพูดทั่วไปนั้นดีพอสำหรับการใช้งานทั่วไป แอปแปลภาษาของ Apple เป็นตัวอย่างที่ดี เปิดตัวใน iOS 15 มีการแปลเสียงตามเวลาจริง ถ้าเรายังไปพักร้อนที่ต่างประเทศคงจะดีไม่น้อย

ตอนนี้เราใช้วิดีโอมากขึ้นสำหรับการทำงานและติดต่อกับเพื่อนๆ และครอบครัว ไม่ว่าเราจะทำงานอย่างไรในอนาคต อุปสรรคของแฮงเอาท์วิดีโอก็พังทลายไปหมดแล้ว ตอนนี้เป็นเครื่องมือทั่วไป แต่ขาดเครื่องมือสื่อสารที่เป็นลายลักษณ์อักษรมากมาย

บางอย่างเช่น Navi ซึ่งมีคำบรรยายและการแปลแบบเรียลไทม์อาจเป็นเรื่องสำคัญ ความสามารถในการเข้าถึงเป็นแง่มุมหนึ่ง แต่ความสามารถในการพูดคุยกับผู้คนที่คุณไม่ได้พูดภาษานั้นช่วยเปิดโลกทัศน์ของธุรกิจระหว่างประเทศในระดับที่น่าตกใจ

Image
Image

กำลังดำเนินการ

ฉันทดสอบ Navi กับนักพัฒนาแอป ผู้แต่ง และผู้ใช้เครื่องช่วยฟัง Graham Bower ค่อนข้างดีแต่ยังไม่พร้อมสำหรับงานที่สำคัญ การถอดความบางส่วนเป็นเรื่องตลกและหยาบคายเกินกว่าจะเชื่อมโยงได้ ในขณะที่การสนทนาของเราดำเนินต่อไป การจดจำคำพูดของเขาอย่างถูกต้องดีขึ้นมาก เป็นเรื่องที่สมเหตุสมผลเพราะเครื่องมือเขียนตามคำบอกของ iOS จะปรับให้เข้ากับเสียงของคุณเมื่อเวลาผ่านไป

การแปลก็ใช้ได้เช่นกัน แม้ว่าคุณภาพของการแปลจะขึ้นอยู่กับความถูกต้องของการป้อนข้อมูล

มันง่ายที่จะฉายเทคโนโลยีประเภทนี้ลงในแว่นตา Apple ในอนาคตหรือผลิตภัณฑ์ AR/VR ที่มีข่าวลือออกมาในสัปดาห์นี้

"ฉันเห็นสิ่งนี้ใช้งานได้ในแว่นตา AR" Bower กล่าวระหว่างการสนทนาของเรา "บางคนถึงแม้จะฟังปกติก็ยังชอบซับไตเติ้ลในภาพยนตร์ นี่ก็คงเหมือนซับไตเติ้ลในชีวิตจริง"

ในขณะที่สาธิตเทคโนโลยีที่น่าประทับใจ Navi ก็ยังไม่มี สำหรับการใช้งานทางธุรกิจที่เชื่อถือได้ การรู้จำเสียงเริ่มต้นของ Apple จะต้องได้รับความแม่นยำมากขึ้น แต่ในด้านความเร็ว ก็ใช้ได้ และการแปลก็ดีเหมือนกัน

แต่เราอยู่บนเส้นทางนี้แล้ว และเรื่องแบบนี้จะดีขึ้นเท่านั้น