Computer Use (Bilgisayar Kullanımı (AI))

#ComputerUse #Otomasyon #AI Ajan #Anthropic

Yapay zeka ajanının ekran görüntüsü alarak fare ve klavye ile GUI uygulamalarını insan gibi kontrol etmesini sağlayan teknoloji.

Computer Use, yapay zeka modellerinin grafik kullanıcı arayüzlerini (GUI) insan operatörler gibi doğrudan kontrol edebilmesini sağlayan bir yapay zeka yeteneğidir. Bu teknoloji aracılığıyla bir YZ ajanı ekran görüntüsü alabilir, fare tıklamaları yapabilir, klavyeden metin yazabilir, dosyaları açıp kapatabilir ve web tarayıcısını yönetebilir; tıpkı bir insanın bilgisayar başında çalışması gibi. Anthropic, bu yeteneği ilk kez Ekim 2024'te Claude modeli için beta sürümünde piyasaya sürdü. Teknoloji, "Gör-Düşün-Yap-Gözlemle" döngüsünü temel alır: model önce ekranın anlık görüntüsünü alır, görsel içeriği yorumlar, sonraki eylemi belirler (tıklama, yazma, kaydırma), eylemi gerçekleştirir ve güncellenmiş ekran görüntüsüyle döngüyü sürdürür. Bu yinelemeli süreç, görev tamamlanana kadar devam eder. Geleneksel RPA (Robotic Process Automation) araçlarından temel farkı, Computer Use'un doğal dil talimatlarıyla çalışmasıdır. Kullanıcının her adımı ayrıntılı şekilde betimlemesine gerek yoktur; model bağlama göre gerekli eylem dizisini kendisi oluşturur. Bu esneklik, API'si bulunmayan uygulamalarla entegrasyona da olanak tanır. Kullanım alanları arasında kurumsal iş akışı otomasyonu, yazılım test süreçleri, veri giriş görevleri ve araştırma sayılabilir. Bir muhasebe uzmanı Claude'a elektronik tablolardan veri çekip rapor hazırlamasını söyleyebilir; model tüm bu adımları otonom biçimde gerçekleştirir. Güvenlik boyutunda Computer Use ciddi riskler taşır. Kötü niyetli web içerikleri, modeli yetkisiz eylemler gerçekleştirmeye yönlendiren prompt injection saldırılarına yol açabilir. Bu nedenle üretim ortamlarında izole sanallaştırma (sandbox), minimum izin prensipleri ve insan denetimi kritik güvenlik katmanları olarak uygulanmalıdır.

Computer Use Nedir?

Computer Use, bir yapay zeka modelinin masaüstü veya web uygulamalarını fare, klavye ve ekran görüntüsü aracılığıyla otonom olarak kullanabilmesini tanımlayan yapay zeka yeteneğidir. Modele bir görev verildiğinde, insan gibi düşünür ve ekranı 'görerek' uygun eylemleri gerçekleştirir. Bu yaklaşım, önceden kodlama gerektiren otomasyon betiklerinin aksine, modelin dinamik ve beklenmedik durumlarla başa çıkabilmesini sağlar. Geleneksel yazılım otomasyonundan en belirgin farkı bağlamsal esnekliktir: sistem bir hata penceresiyle karşılaştığında bunu tanıyıp akıllıca yanıt verebilir.

Gör-Düşün-Yap-Gözlemle Döngüsü

Computer Use, sürekli tekrar eden dört aşamalı bir döngüyle çalışır. Gör: model ekranın anlık görüntüsünü (screenshot) alarak görsel içeriği çözümler; hangi pencerelerin açık olduğunu, hangi butonların mevcut olduğunu ve mevcut durumu anlar. Düşün: büyük dil modeli bağlamı değerlendirerek hedef göreve ulaşmak için sonraki en iyi adımı belirler. Yap: model seçilen eylemi (fare tıklaması, metin yazma, kaydırma, kısayol tuşu) gerçekleştirir. Gözlemle: eylem sonrası güncellenmiş ekran görüntüsünü alarak ilerlemeyi değerlendirir ve döngüyü sürdürür. Bu iteratif süreç görev tamamlanana kadar devam eder.

Geleneksel RPA'dan Farkları

  • check_circle Doğal Dil Talimatı: RPA araçları her adımın programlanmasını gerektirirken Computer Use, kullanıcının yalnızca hedefi doğal dille tanımlamasına izin verir; model eylem planını kendisi oluşturur.
  • check_circle Dinamik Uyum: Beklenmedik pop-up pencereler, değişen arayüz düzenleri veya hata mesajları karşısında Computer Use modeli bağlamı yorumlayarak uyum sağlar; RPA betikleri bu durumda genellikle çöker.
  • check_circle API Gerektirmez: REST API'si bulunmayan eski sistemler (legacy software) veya yalnızca GUI üzerinden erişilebilen uygulamalarla çalışabilir; API entegrasyonu gereksinimi ortadan kalkar.
  • check_circle Düşük Kurulum Maliyeti: Ekran koordinatları veya DOM seçiciler yerine görsel anlayışa dayandığı için otomasyon süreci hızlıca kurulabilir; yeni bir uygulama için aylarca süren betik yazımı gerekmez.

Başlıca Kullanım Alanları

  • check_circle İş Akışı Otomasyonu: Fatura işleme, müşteri kaydı güncelleme veya raporlama gibi tekrarlayan kurumsal görevleri insan denetimi minimum düzeyde tutarak otomatize eder.
  • check_circle Yazılım Testi: Fonksiyonel test, regresyon testi ve kullanılabilirlik (usability) testleri için YZ ajanı uygulamayı gerçek kullanıcı gibi test edebilir; test betiklerine göre daha az kırılgandır.
  • check_circle Veri Girişi ve Çıkarımı: Birden fazla sistemden veri toplama veya form doldurma gibi yüksek hacimli veri işleme görevlerinde insan hatasını azaltır ve işlem süresini kısaltır.
  • check_circle Araştırma Desteği: Web üzerinde bilgi derleme, karşılaştırmalı fiyat araştırması veya içerik toplama görevlerini çok sayıda sekmede paralel yürütebilir.

Güvenlik Riskleri ve Önlemler

  • check_circle Prompt Injection: Kötü niyetli bir web sayfası veya belge, ekran görüntüsüne gömülü talimatlar aracılığıyla modeli yetkisiz eylemler gerçekleştirmeye yönlendirebilir. Giriş doğrulama ve güvenlik filtreleri kritiktir.
  • check_circle Sandbox Zorunluluğu: Üretim ortamlarında ajanın yalnızca kendi izole sanal ortamında çalışması gerekir; ağ erişimi kısıtlanmalı ve gerçek kullanıcı verisine erişim engellenmemelidir.
  • check_circle Minimum İzin Prensibi: Ajanın görevi için gereken minimum sistem izniyle çalıştırılması, olası veri ihlali veya hatalı eylem riskini önemli ölçüde azaltır.
  • check_circle İnsan Denetimi: Kritik veya geri alınamaz eylemler (dosya silme, ödeme, e-posta gönderme) öncesinde insan onayı gerektiren kontrol noktaları eklenmesi önerilir.

Öne Çıkan Araçlar ve Modeller

  • check_circle Anthropic Claude: Computer Use yeteneğini Ekim 2024'te ilk sunan modeldir. Ekran görüntüsü aracı, tıklama aracı ve klavye aracı API'si ile birlikte gelir.
  • check_circle OpenAI Operator: OpenAI'nin web tabanlı görevler için geliştirdiği ajan sistemi; tarayıcı içinde form doldurma ve rezervasyon yapma gibi görevleri üstlenir.
  • check_circle Microsoft UFO: Windows işletim sistemi için geliştirilmiş açık kaynaklı bir GUI ajanı; Windows uygulamalarını UI Automation ve Win32 API üzerinden kontrol eder.
  • check_circle Açık Kaynak Çerçeveler: ScreenAgent, Windows-Use ve UseComputer gibi topluluk projeleri, farklı işletim sistemleri için özelleştirilebilir Computer Use ajan altyapısı sunar.

Sık Sorulan Sorular

  • check_circle Computer Use ile hangi uygulamalar kontrol edilebilir? API'si olmayan masaüstü yazılımları, web tarayıcıları, ofis uygulamaları ve kurumsal ERP/CRM sistemleri dahil neredeyse tüm görsel arayüzlü yazılımlar desteklenir. Yalnızca tamamen terminal tabanlı veya şifreli içerikler kapsam dışı kalır.
  • check_circle Computer Use RPA araçlarının yerini alır mı? Kısa vadede tamamlayıcı konumda; uzun vadede tekrarlayan ve iyi tanımlanmış süreçlerde RPA'nın yerini alabileceği öngörülmektedir. Dinamik ve bağlam gerektiren görevlerde Computer Use daha üstündür.
  • check_circle Güvenli kullanım için en önemli önlem nedir? Ajanın izole bir sandbox ortamında (sanal makine veya container) çalıştırılması ve minimum izin prensibiyle yetkilendirilmesi en kritik güvenlik önlemidir. Kritik eylemlerde insan onay adımları eklenmesi güvenlik katmanını güçlendirir.
  • check_circle Anthropic'in Computer Use API'sine nasıl erişilir? Anthropic API belgelerindeki 'computer_use' aracı ile Claude modelleri üzerinden erişilir. Pro ve Max aboneleri ayrıca Claude Desktop üzerinden sınırlı önizleme erişimine sahiptir.