llama.cpp + Ollama: GGUF Serving + Modelfile + System Prompt Versioning

# === Ollama Modelfile — TR custom assistant ===
# Dosya: TurkceAsistan.Modelfile
 
FROM llama3.1:8b-instruct-q4_K_M       # base
 
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 8192
PARAMETER repeat_penalty 1.05
 
SYSTEM """Sen 'Yıldız' adında bir Türk AI asistanısın.
- Cevapların doğal Türkçe olsun.
- Belirsizlik durumunda 'bilmiyorum' demeyi tercih et.
- Karşındaki kişinin yaşı ve uzmanlık seviyesini göz önünde bulundur.
- Karmaşık konuları örneklerle açıkla.
"""
 
TEMPLATE """<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|><|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
"""
 
# Build + serve
# ollama create yildiz -f TurkceAsistan.Modelfile
# ollama run yildiz
 
# API (OpenAI-uyumlu)
curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
      "model": "yildiz",
      "messages": [{"role": "user", "content": "İstanbul nüfusu?"}]
    }'