Tencent’in geliştirdiği Hy-SimulMT, Çince ve İngilizce arasındaki konuşmaları gerçek zamanlı çevirebiliyor. Şirketin paylaştığı değerlendirmelere göre model, düşük gecikme süresi ve çeviri kalitesiyle öne çıkarken bazı kıyaslamalarda profesyonel tercümanlardan daha az hata yaptı.

Çinli teknoloji şirketi Tencent, konuşmanın tamamlanmasını beklemeden çeviri üretebilen yapay zekâ modeli Hy-SimulMT’yi kullanıma sundu. Şirketin Hunyuan birimi tarafından geliştirilen sistem, canlı çeviride hız ile anlam doğruluğu arasında denge kurmayı hedefliyor.

Çince ve İngilizce arasında çift yönlü çalışan model, gelen ses akışını sürekli analiz ediyor. Çeviri için yeterli bağlam oluştuğunda konuşmacı sözünü bitirmeden diğer dilde çıktı üretmeye başlıyor.

Eş zamanlı çeviride daha fazla bağlam beklemek doğruluğu artırabiliyor ancak bu durum dinleyiciye ulaşan çevirinin gecikmesine yol açıyor. Hy-SimulMT, konuşma sırasında ne zaman çeviriye başlayacağını belirleyerek bu bekleme süresini azaltmaya çalışıyor.

Tencent’in açıkladığı RealSI uzun süreli ses değerlendirmesinde model, StreamLAAL adlı gecikme ölçümünde yaklaşık 3 saniyelik sonuç elde etti. Bu değer, karşılaştırmaya dahil edilen sistemler arasındaki en düşük gecikme olarak bildirildi.

Çeviri kalitesinin ölçüldüğü GEMBA değerlendirmesinde ise Hy-SimulMT’nin, kıyaslamadaki açık kaynaklı modellerin tamamını ve beş ticari API’nin dördünü geride bıraktığı belirtildi. Şirketin paylaştığı sonuçlara göre sistem, profesyonel tercümanlarla yapılan karşılaştırmalarda da daha az hata üretti.

Sistem, uygun ses üretim hizmetiyle birlikte kullanıldığında konuşmacının ses özelliklerini koruyarak başka bir dilde konuşma oluşturabiliyor. Gerçek zamanlı ses klonlama desteği, özellikle çok sayıda kişinin katıldığı toplantı ve röportajlarda konuşmacıların ayırt edilmesini kolaylaştırmayı amaçlıyor. Bununla birlikte sesli çeviri çıktısı ve ses klonlama işlevleri için ayrıca bir metinden sese dönüştürme hizmetinin yapılandırılması gerekiyor.

Tencent, Hy-SimulMT’yi GitHub üzerinden açık kaynaklı olarak da yayımladı. Modeli çalıştırmak için SimulInfer, eğitim süreçleri için ise SimulTrain araçları sunuluyor. 30 milyar parametreli Hy-SimulMT-30B-A3B modelinin yanı sıra FP8 kuantizasyonlu ve GGUF formatındaki sürümleri de bulunuyor. Bu seçenekler, sistemi farklı çalıştırma ortamlarında kullanmak isteyen geliştiricilere sunuluyor.

Modeli yerel olarak kurmadan denemek isteyen kullanıcılar ise Tencent’in Android ve iOS için sunduğu Hy Translate uygulamasından yararlanabiliyor. Hy-SimulMT, mevcut durumda yalnızca Çince ve İngilizce arasında çeviri yapabiliyor.