Whisper (OpenAI Konuşma Tanıma)

#ASR #KonuşmaTanıma #OpenAI #Transformer #SesİşlemeDerin

Whisper, OpenAI'nin 680.000 saatlik ses verisiyle eğittiği, 99 dil destekli açık kaynaklı otomatik konuşma tanıma modelidir.

Whisper, OpenAI tarafından Eylül 2022'de açık kaynak olarak yayımlanan bir otomatik konuşma tanıma (Automatic Speech Recognition, ASR) sistemidir. İnternetin en kapsamlı çok dilli ses derlemlerinden biri üzerinde eğitilen model, 680.000 saatlik denetimli ses verisini kullanmaktadır. Bu geniş eğitim yelpazesi sayesinde Whisper, 99 farklı dili anlayıp yazıya dökebilmekte; aynı zamanda diğer dillerdeki konuşmayı doğrudan İngilizce'ye çevirebilmektedir. Mimari açıdan Whisper, bir Encoder-Decoder Transformer yapısını benimser. Giriş ses sinyali önce 30 saniyelik pencerelere bölünür ve ardından 80 kanallı log-Mel spektrogramına dönüştürülür. Encoder bu spektral temsili işlerken decoder, koşullu dil modelleme yoluyla metin token'larını otomatik olarak üretir. Model, özel bir prompt mekanizmasıyla dil seçimini, zaman damgası üretimini ve çeviri görevini kontrol edebilmektedir. Whisper, Tiny (39 milyon parametre), Base (74 milyon), Small (244 milyon), Medium (769 milyon) ve Large-v3 (1,55 milyar parametre) olmak üzere beş temel boyutta sunulmaktadır. Küçük versiyonlar düşük gecikmeli uygulamalar için idealken Large-v3, kelime hata oranını (Word Error Rate, WER) en aza indirgeyerek en yüksek doğruluğu sağlamaktadır. MIT lisansı ile dağıtılan Whisper, pip aracılığıyla kurulabilir ve Python API'si üzerinden kolayca entegre edilebilir. Topluluk tarafından geliştirilen Faster-Whisper ve WhisperX gibi türev projeler, CTranslate2 arka ucunu kullanarak çıkarım hızını 4-8 kat artırmakta ve konuşmacı ayrıştırma (diarization) gibi ek özellikler eklemektedir. OpenAI ayrıca Whisper'ı bulut tabanlı bir ses transkripsiyon API'si olarak sunmaktadır. Uygulama alanları arasında altyazı üretimi, yasal ve tıbbi transkripsiyon, çağrı merkezi analizi, podcast arşivleme ve erişilebilirlik araçları öne çıkmaktadır. Türkçe dahil pek çok dilde yüksek doğruluk oranıyla çalışan Whisper, açık kaynak ASR ekosisteminin temel taşlarından biri hâline gelmiştir.

Whisper Nasıl Çalışır?

Whisper, ses işleme boru hattını üç aşamaya böler. İlk olarak ham ses sinyali 30 saniyelik segmentlere ayrılır ve her segment 80 kanallı log-Mel spektrogramına dönüştürülür. Bu spektrogram, frekans-zaman bilgisini kompakt bir biçimde temsil eden görsel bir matristir. Ardından, bu matris Transformer encoder'ına beslenir. Encoder, çok başlı öz-dikkat mekanizmasıyla ses özelliklerini kodlayarak bağlamsal temsiller üretir. Decoder ise bu temsilleri kullanarak metin token'larını otomatik regresif şekilde bir bir üretir; her yeni token bir öncekini bağlam olarak kabul eder. Whisper'ın belirleyici özelliği, özel kontrol token'larıdır: dil seçimi için `<|tr|>`, çeviri modu için `<|translate|>`, zaman damgası üretimi için `<|notimestamps|>` gibi token'lar modelin davranışını belirler. Bu yapı tek bir modelin çok görevli çalışmasına olanak tanır.

Model Boyutları ve Performans

Tiny

39M parametre — En hızlı, en hafif model. Kaynak kısıtlı ortamlar için ideal. CPU'da gerçek zamanlı çalışır.

Base & Small

74M / 244M parametre — Hız-doğruluk dengesi. Orta donanımlı cihazlarda hızlı çıkarım sağlar.

Medium

769M parametre — Çoğu kullanım senaryosu için yeterli doğruluk. GPU önerilir.

Large-v3

1,55 milyar parametre — En yüksek doğruluk, en düşük WER. Üretim ortamları ve hassas transkripsiyon için.

Uygulama Alanları

  • check_circle Altyazı ve Transkripsiyon: Video içerikleri, podcastler ve toplantı kayıtları için otomatik altyazı ve metin dökümü üretimi
  • check_circle Tıbbi ve Yasal Kayıt: Doktor notları, mahkeme tutanakları ve görüşme transkriptlerinin yüksek doğrulukla yazıya dökülmesi
  • check_circle Çağrı Merkezi Analizi: Müşteri görüşmelerinin transkript edilmesi ve duygu/konu analizine hazır hâle getirilmesi
  • check_circle Erişilebilirlik Araçları: İşitme engelli kullanıcılar için gerçek zamanlı altyazı sistemleri ve sesli içerik erişimi
  • check_circle Çok Dilli Çeviri: 99 farklı dildeki sesi doğrudan İngilizce metne çevirerek dil engelini ortadan kaldırma

Sık Sorulan Sorular

  • check_circle Whisper Türkçeyi ne kadar iyi tanır?: Whisper, Türkçe için oldukça başarılı sonuçlar üretmektedir. Large-v3 modeli standart konuşmada düşük kelime hata oranı sağlar; ancak ağır aksanlarda veya gürültülü ortamlarda doğruluk düşebilir.
  • check_circle Faster-Whisper ve WhisperX nedir?: Faster-Whisper, CTranslate2 arka ucunu kullanarak orijinal Whisper'dan 4-8 kat daha hızlı çıkarım sağlayan topluluk projesidir. WhisperX ise buna ek olarak konuşmacı ayrıştırma (diarization) ve kelime düzeyinde zaman damgası ekler.
  • check_circle Whisper'ı ticari projede kullanabilir miyim?: Evet. Whisper MIT lisansıyla dağıtılmaktadır; model ağırlıkları dahil ticari kullanıma açıktır. OpenAI'nin API üzerinden sunduğu hizmet ise ayrı bir fiyatlandırmaya tabidir.
  • check_circle Whisper gerçek zamanlı çalışır mı?: Tiny ve Base modelleri modern CPU'larda gerçek zamanlıya yakın çalışır. Faster-Whisper ile Large modeli de GPU üzerinde neredeyse gerçek zamanlı çıkarım yapabilmektedir.