Computer Use (Bilgisayar Kullanımı) Nedir?

Computer use nedir? Computer use (bilgisayar kullanımı), bir yapay zeka modelinin ekran görüntüsünü algılayıp fare tıklaması, kaydırma ve klavye girişi üreterek bir bilgisayarı tıpkı bir insan gibi kullanabilmesi yeteneğidir. Model, bir uygulamanın gizli programlama arayüzüne (API) değil, doğrudan gördüğü ekrana bakarak nereye tıklayacağına karar verir.

Bu, yapay zekada önemli bir eşiktir: model artık yalnızca metin üretmekle kalmaz, o metni bir eyleme çevirip bilgisayarda gerçekleştirir. Bir insanın yaptığı gibi bir düğmeyi bulur, tıklar, bir forma yazar ve bir sonraki ekrana geçer. Bu rehberde computer use nedir, ekran anlama nasıl çalışır, tarayıcı ajanı ve görev otomasyonu ile ilişkisi, ajan güvenliği riskleri ve agentic AI ile bağı ele alınır.

Tanım

Computer Use (Bilgisayar Kullanımı)

Bir yapay zeka modelinin ekran görüntüsünü algılayıp fare tıklaması, kaydırma ve klavye girişi üreterek bir bilgisayarı tıpkı bir insan gibi kullanabilmesi yeteneği. Ekran anlama üzerine kurulur ve API'si olmayan uygulamalarda bile görev otomasyonu sağlar; ancak yanlış tıklama ve güvenlik riskleri nedeniyle denetim gerektirir.

Ayrıca: Bilgisayar kullanımı, computer use, bilgisayar kullanan ajan, ekran ajanı

Yapay zeka modelleri uzun süre yalnızca "konuşabilen" sistemlerdi: soru sorar, cevap alırdınız. Ama gerçek işlerin çoğu konuşmakla bitmez; birinin gidip bir uygulamaya girmesi, bir formu doldurması, bir raporu indirmesi gerekir. Computer use bu boşluğu kapatır ve modele düşünmenin yanında yapma yeteneği ekler.

Bu yeteneğin asıl gücü, bir insanın eriştiği her arayüze erişebilmesidir. Dünyadaki yazılımların çoğunun düzgün bir programlama arayüzü (API) yoktur; eski kurumsal sistemler, iç panolar ve pek çok masaüstü uygulaması yalnızca ekran üzerinden kullanılabilir. Computer use, tam da bu "API'si olmayan" dünyayı otomasyona açar. İşte computer use nedir sorusunun kurumsal cevabı budur: entegrasyon yazmadan, mevcut arayüzler üzerinden çalışan bir dijital iş gücü katmanı.

Computer use'un kalbinde ekran anlama (screen understanding) vardır: modelin bir ekran görüntüsüne bakıp orada ne olduğunu çözmesi. Model pikselleri işleyerek "bu bir düğme", "bu bir metin kutusu", "bu tıklanabilir bir bağlantı" gibi arayüz öğelerini tanır ve her birinin ekrandaki konumunu belirler. Bu, bir tür görsel algı görevidir ve bilgisayarlı görü (computer vision) ile derin akrabalığı vardır.

Ekran anlama yalnızca "orada bir düğme var" demekle bitmez; modelin o düğmenin ne işe yaradığını, hedefe ulaşmak için ona tıklaması gerekip gerekmediğini de anlaması gerekir. Bu yüzden ekran anlama, görüntü tanıma ile dil anlamayı birleştirir: model hem ekranı görür hem de görevin ne olduğunu okur, sonra ikisini eşleştirir. Model dünyayı bir görsel-dilsel bütün olarak yorumlar; bu bütünsel ekran anlama, computer use'u eski koordinat tabanlı otomasyondan ayıran temel farktır.

Computer use bir döngü olarak çalışır: gör, düşün, hareket et, tekrar gör. Model her adımda ekranın güncel hâline bakar, ne yapacağına karar verir, bir eylem üretir ve sonucunu yeni bir ekran görüntüsüyle kontrol eder.

Nasıl Yapılır

Bir computer use ajanının çalışma döngüsü

Modelin bir hedefi ekran üzerinde adım adım gerçekleştirirken izlediği temel akış.

1. 1

   Ekranı gör

   Model güncel ekran görüntüsünü alır ve üzerindeki arayüz öğelerini (ekran anlama) tanır.

2. 2

   Hedefe göre karar ver

   Görevi ve ekranın durumunu birlikte değerlendirip bir sonraki adımı planlar.

3. 3

   Eylemi üret

   Belirli bir koordinata fare tıklaması, kaydırma veya klavyeyle metin girişi üretir.

4. 4

   Sonucu doğrula

   Eylemden sonra yeni ekran görüntüsünü alıp beklenen değişikliğin olup olmadığını kontrol eder ve döngüyü sürdürür.

Bu döngü, computer use'u eski otomasyon yaklaşımlarından ayıran şeydir. Sabit bir script kör bir şekilde önceden yazılmış adımları izler; computer use ise her adımda gerçekten bakar. Bir düğme yer değiştirdiyse, bir açılır pencere çıktıysa veya sayfa beklenenden farklı yüklendiyse, model bunu görür ve buna göre uyum sağlar. Bu uyum yeteneği, yeteneğin en değerli ama aynı zamanda en öngörülemez yanıdır.

Computer use'un bugün en olgun uygulaması tarayıcı ajanıdır: web tarayıcısını kullanan bir yapay zeka. Bir tarayıcı ajanı, bir siteyi açar, arama yapar, sonuçları okur, bir forma bilgi girer ve bir işlemi tamamlar — tıpkı bir kullanıcının yapacağı gibi. Web'in dünyanın en yaygın arayüzü olması, tarayıcı ajanını görev otomasyonunun doğal başlangıç noktası yapar.

Görev otomasyonu tarafında tekrarlı ve kural tabanlı işler öne çıkar: birden fazla sistemden veri toplayıp bir tabloya birleştirmek, düzenli raporları indirmek, formları doldurmak veya bir siparişi baştan sona işlemek. Bu işler bugün insanların ekran başında saatlerini alır; computer use tabanlı görev otomasyonu, bunları arka planda çalışan bir sürece dönüştürmeyi hedefler.

Klasik RPA ile computer use tabanlı görev otomasyonu karşılaştırması

Boyut	Klasik RPA	Computer use
Karar temeli	Sabit koordinat ve kurallar	Her adımda ekran anlama
Arayüz değişince	Kırılır, script güncellenmeli	Uyum sağlamaya çalışır
Kurulum	Her akış tek tek programlanır	Hedef doğal dille tarif edilir
Öngörülebilirlik	Yüksek ama katı	Esnek ama daha az kesin
En uygun iş	Sabit, yüksek hacimli akışlar	Değişken, yargı gerektiren akışlar

Computer use tek başına bir amaç değil, bir araçtır. Onu anlamlı kılan, agentic AI ile birleşmesidir. Agentic AI, bir hedefe göre plan yapıp adım adım hareket eden, gerektiğinde araçlar kullanan yapay zeka yaklaşımıdır. Computer use ise bu ajanın "elidir": modele bir bilgisayarı kullanarak dünyaya dokunma gücü verir.

Bir yapay zeka ajanı (AI agent) düşünür ve planlar; ama planı gerçekleştirmek için bir araca ihtiyaç duyar. Bazı araçlar temiz API çağrılarıdır; ancak API olmadığında computer use devreye girer ve ajanın doğrudan ekranı kullanmasını sağlar. Bu ayrım önemlidir: agentic AI "neyi neden yapacağına", computer use ise "nasıl yapacağına" karar verir. Modelin karar mekanizması ise büyük ölçüde altında yatan büyük dil modeline (LLM) dayanır.

Bir yapay zekaya bilgisayarı kullanma yetkisi vermek güçlü olduğu kadar risklidir; bu yüzden ajan güvenliği computer use'un en kritik başlığıdır. İlk risk basit ama ciddidir: yanlış tıklama. Model yanlış düğmeye basabilir, yanlış kaydı silebilir veya istenmeyen bir işlemi onaylayabilir. İkinci risk istem enjeksiyonudur (prompt injection): kötü niyetli bir web sayfası, ekrandaki gizli bir talimatla modeli kandırıp beklenmedik bir eylem yaptırabilir.

Türkiye bağlamında bu tasarım KVKK ile birlikte düşünülmelidir. Ekranı gören bir ajan, üzerinde kişisel veri bulunan formları, müşteri kayıtlarını veya belgeleri de görür. Bu ekran görüntülerinin nasıl işlendiği, saklanıp saklanmadığı ve hangi verilere erişebileceği baştan tanımlanmalıdır. Ajan güvenliği ve veri koruma, computer use'u kurumsal ölçekte kullanmanın ön koşuludur; bu mimariyi güvenli kurgulamak için yapay zeka danışmanlığı ile başlayabilirsiniz.

Computer use etkileyicidir ama olgun bir teknoloji değildir; sınırlarını bilmek onu doğru kullanmanın ilk şartıdır. En yaygın sorunlar şunlardır:

• Kırılgan hassasiyet: Model çoğu zaman doğru öğeyi bulur ama küçük, yoğun veya alışılmadık arayüzlerde yanlış piksele tıklayabilir.
• Yavaşlık ve maliyet: Her adımda ekranı görüp karar vermek, sabit bir script'ten çok daha yavaş ve pahalıdır.
• Öngörülemezlik: Aynı görev iki denemede farklı yollar izleyebilir; bu, denetim ve loglama olmadan riskli hâle gelir.
• Güvenlik yüzeyi: Ekranı gören ve tıklayabilen bir ajan, istem enjeksiyonu ve yetki aşımı için geniş bir saldırı yüzeyi açar.

Bu yüzden computer use bugün en iyi, insanın döngüde olduğu (human-in-the-loop) bir asistan olarak çalışır. Tekrarlı işleri devralır, ama önemli kararı ve nihai sorumluluğu insana bırakır. Yeteneğin gerçek değeri, onu tam otonom bir çalışan gibi değil, denetlenen güçlü bir yardımcı gibi konumlandırmaktan gelir.

Computer use ile klasik otomasyon (RPA) arasındaki fark nedir?

Klasik RPA, önceden yazılmış sabit kurallara ve ekran koordinatlarına dayanır; arayüz değişince kırılır. Computer use ise ekranı her adımda görüp anlayarak karar verir, bu yüzden değişen arayüzlere uyum sağlar. RPA scripti körlemesine izler, computer use bakarak yürür.

Computer use hangi uygulamalarda çalışır?

Prensipte ekranda görünen her uygulamada çalışır: tarayıcı, masaüstü programları, hatta API'si olmayan eski sistemler. Model fare ve klavyeyi kullandığı için, bir insanın erişebildiği her arayüze erişebilir; bu, computer use'un en güçlü yanıdır.

Computer use güvenli mi?

Doğrudan güvenli değildir; ajan güvenliği bilinçli tasarım gerektirir. Model yanlış tıklayabilir, kötü niyetli bir sayfadaki gizli talimatı (istem enjeksiyonu) izleyebilir veya yetkisini aşabilir. Bu yüzden kritik adımlarda insan onayı, kısıtlı hesaplar ve izole ortam kullanılır.

Computer use agentic AI ile aynı şey mi?

Hayır ama yakından ilişkilidir. Agentic AI, hedefe göre plan yapıp adım adım hareket eden yapay zeka yaklaşımıdır; computer use ise bu ajanın bilgisayarı kullanma yeteneğidir. Yani computer use, agentic AI'nin dünyaya dokunduğu araçlardan biridir.

Computer use insanların işini elinden alır mı?

Kısa vadede tekrarlı ekran işlerini (form doldurma, veri kopyalama, rapor indirme) devralması beklenir. Ancak yanlış tıklama ve denetim ihtiyacı nedeniyle bugün daha çok bir asistan gibi çalışır; kararı ve sorumluluğu hâlâ insan taşır.

Özetle computer use nedir sorusunun cevabı şudur: bir yapay zeka modelinin ekranı görüp fare ve klavyeyi kullanarak bilgisayarı bir insan gibi çalıştırabilmesi. Temeli ekran anlamadır; en yaygın uygulaması tarayıcı ajanı ve görev otomasyonudur; agentic AI'ye eylem gücü verir; ve ajan güvenliği olmadan güvenle kullanılamaz. Temel için yapay zeka nedir ve agentic AI nedir rehberlerine göz atabilir, kurumsal bir görev otomasyonu için yapay zeka danışmanlığı ile başlayabilir, temel becerileri edinmek için öğrenme merkezine göz atabilirsiniz.