Ollama Nedir? Yerel LLM Çalıştırma Rehberi

Ollama nedir? Ollama, büyük dil modellerini (LLM, Large Language Model — geniş metin verisiyle eğitilmiş yapay zeka modeli) kendi bilgisayarınızda veya sunucunuzda tek komutla indirip çalıştırmanızı sağlayan açık kaynaklı bir araçtır. Modeli, ağırlıkları ve yapılandırmayı tek bir pakette toplar, donanımınıza göre optimize eder ve yerel bir API sunar.

Bulut tabanlı bir sohbet servisi kullandığınızda istemleriniz internet üzerinden bir şirketin sunucusuna gider. Ollama bu denklemi tersine çevirir: modeli sizin cihazınıza indirir ve tüm hesaplama yerelde yapılır. Bu rehber ollama nedir, nasıl çalışır, hangi donanımı gerektirir ve yerel LLM çalıştırma neden giderek daha önemli hâle geldiği sorularını ele alıyor.

Tanım

Ollama

Büyük dil modellerini (LLM) kendi bilgisayarınızda veya sunucunuzda tek komutla indirip çalıştırmanızı sağlayan açık kaynaklı bir araç. Ollama; modeli, ağırlıkları ve yapılandırmayı tek bir pakette birleştirir, donanıma göre optimize eder ve yerel bir API sunar; böylece veri cihazdan çıkmadan yerel LLM çalıştırma mümkün olur.

Ayrıca: Ollama aracı, yerel LLM çalıştırma, local LLM runner

Bir dil modelini bulutta kullanmak kolaydır ama bir bedeli vardır: verileriniz cihazınızdan çıkar. Kişisel notlar, müşteri kayıtları, sözleşme metinleri veya sağlık verileri bir üçüncü taraf sunucusuna gönderildiğinde, hem gizlilik hem de yasal uyum riski doğar. Ollama'nın en temel değeri bu noktada ortaya çıkar: yerel LLM çalıştırma ile istem ve yanıtlar cihazdan hiç çıkmaz.

Bunun ötesinde üç pratik avantaj vardır. Birincisi maliyettir: bir kez indirdikten sonra token başına ücret ödemezsiniz; büyük hacimli işlemlerde bu ciddi tasarruf demektir. İkincisi çevrimdışı çalışabilmedir — internet olmayan bir ortamda bile model çalışır. Üçüncüsü kontroldür: modeli, sürümü ve davranışı siz belirlersiniz, bir sağlayıcının API değişikliğine bağımlı kalmazsınız. Açık kaynak modellerin yükselişiyle birlikte Ollama, bu özgürlüğü teknik olmayan kullanıcılar için bile erişilebilir kılar.

Ollama'nın yaptığı iş, aslında karmaşık bir kurulum sürecini tek komutun arkasına gizlemektir. Geleneksel yolda bir modeli yerelde çalıştırmak için doğru kütüphaneleri kurmak, model ağırlıklarını indirmek, doğru formata çevirmek ve donanıma göre ayarlamak gerekir. Ollama bu adımların hepsini paketler.

Nasıl Yapılır

Ollama ile bir modeli çalıştırmak

Ollama kurulumundan ilk yanıta kadar temel adımlar.

1. 1

   Ollama'yı kur

   İşletim sistemine uygun kurulum dosyasını indirip kurarsınız; bu bir yerel çalışma zamanı (runtime) ve sunucu başlatır.

2. 2

   Modeli indir

   ollama pull llama3 gibi bir komutla model kütüphanesinden istediğiniz modeli indirirsiniz.

3. 3

   Modeli çalıştır

   ollama run llama3 komutu modeli belleğe yükler ve bir sohbet arayüzü açar.

4. 4

   API ile entegre et

   Ollama yerelde bir HTTP API (varsayılan localhost:11434) sunar; uygulamanız bu uç noktaya istek atarak modeli kullanır.

Perde arkasında Ollama, modeli belleğe yükleyen ve çıkarımı (inference — modelin girdiye yanıt üretmesi) yürüten bir çalışma zamanı çalıştırır. Bu çalışma zamanı, sık kullanılan llama.cpp gibi çıkarım motorlarını temel alır ve modeli CPU, GPU veya Apple Silicon'un birleşik belleği üzerinde çalıştıracak biçimde yapılandırır. Kullanıcı yalnızca komutu görür; alttaki tüm optimizasyon otomatik yapılır.

Ollama'nın sıradan donanımda çalışabilmesinin sırrı GGUF formatı ve niceleme (quantization) tekniğidir. GGUF, model ağırlıklarını tek bir dosyada verimli biçimde saklayan bir dosya formatıdır; Ollama modelleri bu formatta paketler. Niceleme ise model ağırlıklarının hassasiyetini düşürerek (örneğin 16 bit yerine 4 bit) modeli çok daha küçük ve hızlı hâle getiren yöntemdir.

Bunun pratik anlamı büyüktür: orijinal hâlinde onlarca gigabayt RAM isteyen bir model, nicelenmiş GGUF hâliyle 5-6 gigabayta inebilir ve bir dizüstü bilgisayarda çalışabilir. Bu sıkıştırmanın bedeli, doğrulukta küçük bir düşüştür; ama çoğu pratik görev için fark ihmal edilebilir düzeydedir. GGUF ve niceleme sayesinde yerel LLM çalıştırma, pahalı sunucu donanımı olmadan mümkün olur.

Ollama'nın en kullanışlı yanlarından biri, hazır bir model kütüphanesi sunmasıdır. Bu kütüphanede açık kaynak dünyasının önde gelen modelleri bulunur ve her biri tek komutla indirilir. Model kütüphanesi düzenli güncellenir; yeni modeller çıktıkça eklenir.

Ollama model kütüphanesinde öne çıkan açık kaynak model aileleri

Model ailesi	Geliştiren	Tipik kullanım
Llama	Meta	Genel sohbet, akıl yürütme
Mistral	Mistral AI	Hafif, hızlı genel amaçlı
Gemma	Google	Küçük cihazda verimli çalışma
Qwen	Alibaba	Çok dilli, kod
DeepSeek	DeepSeek	Akıl yürütme, kod

Bu modellerin hepsi açık ağırlıklı olduğundan, ticari kısıtlamalara dikkat etmek koşuluyla kurum içi projelerde kullanılabilir. Ayrıca kütüphanede olmayan, GGUF formatındaki herhangi bir modeli de bir Modelfile tanımıyla içeri aktarabilirsiniz. Böylece Ollama, hem hazır bir vitrin hem de kendi modelinizi paketlemek için esnek bir çerçeve sunar. Bu ekosistemi daha iyi anlamak için açık kaynak LLM nedir rehberine göz atabilirsiniz.

Yerel LLM çalıştırmanın en belirleyici kısıtı donanım gereksinimleridir. Bir dil modeli çalışırken tüm ağırlıklarını belleğe yüklemek zorundadır; bu yüzden modelin boyutu, ihtiyaç duyduğunuz RAM veya VRAM miktarını doğrudan belirler.

Buradaki temel gerilim şudur: daha büyük modeller daha yeteneklidir ama daha fazla donanım gereksinimi doğurur. Çoğu kullanıcı için doğru denge, göreve yetecek en küçük modeli seçmektir — kod tamamlama için küçük bir kod modeli, genel sohbet için orta boy bir model çoğu zaman yeterlidir. Donanımın hız üzerindeki etkisi büyüktür; bu konuda GPU nedir rehberi bağlamı tamamlar.

Kurumların en sık sorduğu soru, "modeli yerelde mi çalıştıralım yoksa bir bulut API'si mi kullanalım?" olur. İkisi farklı ihtiyaçlara hizmet eder ve doğru seçim senaryoya bağlıdır.

Ollama (yerel) ile bulut LLM API'si karşılaştırması

Boyut	Ollama (yerel)	Bulut API
Veri gizliliği	Veri cihazdan çıkmaz	Veri sağlayıcıya gider
Maliyet	Donanım + elektrik, token ücreti yok	Token başına ücret
Model gücü	Küçük-orta açık modeller	En büyük kapalı modeller
Ölçeklenebilirlik	Donanımla sınırlı	Neredeyse sınırsız
İnternet	Gerekmez (çevrimdışı)	Gerekir

Pratik kural şudur: gizlilik, maliyet kontrolü ve çevrimdışı çalışma öncelikliyse yerel çalıştırma (Ollama); en yüksek model kalitesi, büyük ölçek ve minimum bakım öncelikliyse bulut API'si. Birçok kurum ikisini birlikte kullanır — hassas verileri yerelde işler, genel görevleri buluta bırakır. Bu tercihin veri boyutu, KVKK'ya duyarlı işlerde özellikle öne çıkar; kurumsal veri güvenliği için KVKK nedir rehberi yol gösterir.

Ollama güçlü bir araçtır ama her soruna çözüm değildir. En yaygın yanılgı, yerelde çalışan küçük bir modelin en büyük bulut modelleriyle aynı kalitede olacağını sanmaktır. Gerçekte, cihazınıza sığan modeller genellikle daha küçük ve daha az yeteneklidir; karmaşık akıl yürütme gerektiren görevlerde fark hissedilir.

İkinci sınır ölçektir: Ollama tek bir makinede çalışan, temelde tek kullanıcılı bir araçtır. Yüzlerce eş zamanlı isteği karşılayan bir üretim servisi için yük dengeleme, izleme ve dayanıklılık katmanları eklemek gerekir; bu noktada Ollama bir prototip ve geliştirme aracı olarak değerlidir, tek başına bir üretim altyapısı değildir. Ollama'yı gerçek değere dönüştürmenin en yaygın yolu, onu bir RAG mimarisiyle birleştirip kurum belgeleriyle beslemektir. Ollama nedir sorusunu doğru yanıtlamak, bu güçlü yanları kadar sınırlarını da tanımayı gerektirir.

Ollama ücretsiz mi?

Evet, Ollama açık kaynaklı ve ücretsiz bir araçtır; indirip kendi cihazınızda çalıştırmak için abonelik veya lisans ücreti yoktur. Tek maliyet, modelleri çalıştıracak donanımınız ve elektrik tüketimidir. Çalıştırdığınız modeller de çoğunlukla açık kaynak (Llama, Mistral, Gemma gibi) olduğu için model başına ücret ödemezsiniz.

Ollama çalıştırmak için hangi donanım gerekir?

Donanım gereksinimleri modelin boyutuna bağlıdır. 7-8 milyar parametreli niceleme yapılmış bir model genellikle 8 GB RAM ile çalışır; 13B için 16 GB, daha büyük modeller için 32 GB ve üzeri önerilir. GPU (özellikle yeterli VRAM) hızı belirgin artırır ama zorunlu değildir; Apple Silicon Mac'ler birleşik bellek sayesinde iyi sonuç verir.

Ollama ile ChatGPT arasındaki fark nedir?

ChatGPT, OpenAI'nin bulutunda çalışan kapalı bir hizmettir; verileriniz sunucuya gider. Ollama ise açık kaynak modelleri kendi cihazınızda çalıştırır; veri cihazdan çıkmaz ve internet gerekmez. ChatGPT en güçlü kapalı modelleri sunar; Ollama gizlilik, maliyet kontrolü ve çevrimdışı çalışma sağlar ama daha küçük modellerle sınırlıdır.

Ollama internetsiz çalışır mı?

Evet. Modeli bir kez ollama pull ile indirdikten sonra, model tamamen yerel olarak çalışır ve çıkarım (inference) için internet gerektirmez. Bu, çevrimdışı ortamlar ve verinin ağdan çıkmaması gereken senaryolar için önemli bir avantajdır. Yalnızca yeni model indirmek için bağlantı gerekir.

Ollama hangi modelleri destekler?

Ollama'nın model kütüphanesinde Llama (Meta), Mistral, Gemma (Google), Qwen (Alibaba), Phi (Microsoft) ve DeepSeek gibi popüler açık kaynak modeller bulunur. Ayrıca GGUF formatındaki herhangi bir modeli bir Modelfile ile içeri aktarabilirsiniz. Kod, sohbet, gömme (embedding) ve görsel-dil modelleri dahil geniş bir yelpaze desteklenir.

Ollama kurumsal kullanım için uygun mu?

Uygundur, özellikle veri gizliliğinin kritik olduğu senaryolarda. Verinin kurum ağından çıkmaması gereken KVKK/GDPR duyarlı işlerde Ollama, modelleri kurum içi sunucularda çalıştırmayı sağlar. Ancak üretim ölçeğinde eş zamanlılık, izleme ve model kalitesi için ek mimari gerekir; tek başına Ollama bir prototip aracıdır.

Özetle ollama nedir sorusunun cevabı şudur: açık kaynak büyük dil modellerini kendi cihazınızda veya sunucunuzda, veri dışarı çıkmadan tek komutla indirip çalıştıran bir araç. GGUF ve niceleme sayesinde sıradan donanımda yerel LLM çalıştırma mümkün olur; hazır model kütüphanesi Llama, Mistral, Gemma gibi modelleri erişilebilir kılar; donanım gereksinimleri ise en büyük sınırdır. Temel için LLM nedir ve açık kaynak LLM nedir rehberlerine göz atabilir, kurum içi güvenli bir kurulum için yapay zeka danışmanlığı ile başlayabilir veya kurumsal RAG sistemleri çözümünü inceleyebilirsiniz.