Automation Bias (Otomasyon Yanılgısı)

Otomasyon Yanılgısı Nedir?

Otomasyon Yanılgısı, bireylerin otomatik karar destek sistemlerine aşırı güvenerek kendi eleştirel değerlendirmelerini askıya alma eğilimini tanımlar. 1990'lı yılların sonunda havacılık psikolojisi alanında Linda Skitka ve meslektaşları tarafından sistematik biçimde tanımlanan bu kavram, günümüzde tıbbi görüntüleme, sürücüsüz araçlar, içerik moderasyonu ve finansal karar sistemleri gibi yapay zekânın yoğun kullanıldığı her alana yayılmıştır. Yanılgı iki temel hatayla kendini gösterir: birincisi, sistemin yanlış önerdiği bir karara kullanıcının itiraz etmemesi; ikincisi, sistemin fark etmediği gerçek bir tehdide kullanıcının da gözlerini kapаması. Her iki senaryoda da ortak payda, insanın kendi bilişsel kapasitesini devre dışı bırakmasıdır.

Gerçek Dünya Örnekleri

• check_circle Boeing 737 MAX Kazaları (2018-2019): MCAS otopilot sisteminin hatalı sensör okumasına pilotların zamanında müdahale edememesi, 346 kişinin hayatını kaybetmesine neden oldu. Kaza soruşturmaları, pilotların sisteme aşırı güvendiğini ortaya koydu.
• check_circle Tıbbi Karar Destek Sistemleri: Klinisyenler yüksek iş yükü altında çalışırken YZ destekli tanı sistemlerinin yanlış önerilerini kabul etme oranı artmaktadır. Kanser taraması ve acil servis triyajı bu riskin en yoğun yaşandığı alanlardır.
• check_circle Tesla Autopilot Kazaları: Birden fazla kazada sürücüler, aracın kendi kapasitesini aşan durumlarda sisteme aşırı güvenerek direksiyon kontrolünü bıraktılar. NHTSA soruşturmaları bu modeli tekrar eden bir eğilim olarak belgeledi.
• check_circle İçerik Moderasyonu: Sosyal medya platformlarında moderatörler, otomatik bayraklama sistemleriyle çelişen içerikleri gözden geçirmeden kaldırdıklarında hem aşırı sansür hem de gerçek zararın gözden kaçırılması riski doğmaktadır.

İlgili Kavramlardan Farkı

Nasıl Azaltılır?

• check_circle Açıklanabilir YZ (XAI): Modelin neden ve ne kadar güvenle bir karar verdiğini görünür kılmak, kullanıcının körü körüne uymasını zorlaştırır.
• check_circle Human-in-the-loop Tasarım: Kritik kararlarda insan onayını zorunlu kılmak, kullanıcının aktif düşünme sürecine dahil olmasını sağlar.
• check_circle Güven Düzeyi Göstergesi: Sistemin tahmin güvenini yüzde veya renk skalasıyla göstermek, düşük güvenli önerilerde kullanıcıyı uyarır.
• check_circle Eğitim ve Farkındalık: Kullanıcılara otomasyon yanılgısı ve onun etkileri hakkında eğitim vermek, aktif eleştirel değerlendirmeyi teşvik eder.

Sıkça Sorulan Sorular

• check_circle Otomasyon yanılgısı ve algoritmik önyargı aynı şey mi?: Hayır. Algoritmik önyargı, modelin eğitim verisinden kaynaklanan teknik bir hatadır. Otomasyon yanılgısı ise insanın sisteme aşırı güvenmesinden kaynaklanan bilişsel bir hatadır. İkisi birbirinden bağımsız ama birbirini kuvvetlendirerek daha büyük risklere yol açabilir.
• check_circle YZ ne kadar doğru olursa otomasyon yanılgısı da o kadar zararlı mı?: Paradoksal biçimde evet. Bir sistem yüzde 99 doğruluğa ulaştığında kullanıcılar kalan yüzde 1 hataları için bile eleştirel duruşlarını tamamen kaybedebilir. Yüksek başarı oranı yanılgıyı körükler.
• check_circle Sadece uzman olmayan kullanıcılar mı bu yanılgıya düşer?: Hayır. Araştırmalar, deneyimli pilotlar, uzman klinisyenler ve mühendisler gibi yetkin profesyonellerin de yüksek iş yükü ve zaman baskısı altında bu yanılgıya düştüğünü göstermektedir.
• check_circle Human-in-the-loop her zaman otomasyon yanılgısını önler mi?: Yeterli değil. Eğer insan onay adımı rutin bir 'tamam' tıklamasına dönüşürse gerçek anlamda kaybeder. Human-in-the-loop tasarımı, kullanıcıyı aktif değerlendirmeye zorlayan kognitif müdahalelerle desteklenmelidir.