Turkish Multimodal Practice: From ID OCR to Traffic Signs — 5 Production Use Cases

Bu Derste Neler Var? (10 Bölüm)#

1. Türkçe multimodal pazarı — 5 use case ekonomisi
2. Use Case 1: Kimlik Kartı OCR — bankacılık + KVKK
3. Use Case 2: E-Fatura Processing — XML + görüntü
4. Use Case 3: Trafik İşaretleri — Türkçe karayolları
5. Use Case 4: Sınav Kağıdı — el yazısı + matematik
6. Use Case 5: Osmanlıca Belge — historisch challenge
7. Multimodal prompting Türkçe için
8. KVKK uyumlu multimodal pipeline
9. GPT-4o vs Llama-3.2 karar matrisi
10. Egzersizler

2-6. 5 Use Case Detaylı#

2.1 Use Case 1: Türkçe Kimlik Kartı OCR#

from openai import OpenAI
import base64

client = OpenAI()

def encode_image(image_path):
    with open(image_path, 'rb') as f:
        return base64.b64encode(f.read()).decode('utf-8')

image_b64 = encode_image('kimlik.jpg')

response = client.chat.completions.create(
    model='gpt-4o',
    messages=[
        {
            'role': 'system',
            'content': '''Sen bir Türkçe kimlik kartı OCR uzmanısın.
Kullanıcı sana bir TC kimlik kartı fotoğrafı verecek.
Alanları çıkar ve JSON formatında döndür:
{
  "tc_no": "...",
  "ad": "...",
  "soyad": "...",
  "dogum_tarihi": "YYYY-MM-DD",
  "baba_adi": "...",
  "anne_adi": "...",
  "dogum_yeri": "...",
  "cinsiyet": "Erkek|Kadın",
  "medeni_hal": "Bekar|Evli",
  "din": "...",
  "verildigi_yer": "...",
  "sira_no": "..."
}
Bilgi okunamıyorsa: null. Türkçe karakterleri (İ, Ş, Ç, Ö, Ü, Ğ) doğru kullan.''',
        },
        {
            'role': 'user',
            'content': [
                {'type': 'text', 'text': 'Bu kimlik kartından bilgileri çıkar.'},
                {'type': 'image_url', 'image_url': {'url': f'data:image/jpeg;base64,{image_b64}'}},
            ],
        },
    ],
    response_format={'type': 'json_object'},
    max_tokens=500,
)

import json
data = json.loads(response.choices[0].message.content)
print(data)

• Görüntü API'ye gitmemeli kullanıcı izni olmadan
• Self-host alternatif: Llama-3.2-90B-Vision (KVKK için)
• Çıktı encrypted storage
• Audit log
• Veri saklama: en fazla 30 gün

• GPT-4o: %92 alan accuracy
• Llama-3.2-90B-Vision: %85
• Llama-3.2-11B-Vision: %72

• GPT-4o: ~$0.005/image
• Self-host (Llama-3.2-90B): ~$0.001/image

3.1 Use Case 2: E-Fatura Processing#

• KDV (Katma Değer Vergisi) hesabı: %1, %8, %18, %20
• ÖTV (Özel Tüketim Vergisi)
• Stopaj
• 'Birim fiyat × Miktar = Tutar' kontrolü
• Türkçe ondalık ayraç: '1.234,56' format (İngilizce '1,234.56' değil)

Sen Türkçe e-fatura analiz uzmanısın. JSON döndür:
{
  "fatura_no": "...",
  "tarih": "YYYY-MM-DD",
  "satici": {"unvan": "...", "vkn": "..."},
  "alici": {"unvan": "...", "vkn": "..."},
  "kalemler": [
    {"ad": "...", "miktar": ..., "birim": "...", "birim_fiyat": ..., "kdv_orani": ..., "tutar": ...},
    ...
  ],
  "toplam_matrah": ...,
  "kdv_toplam": ...,
  "genel_toplam": ...
}
Türkçe sayı formatı: ondalık virgül. Hatalı veriyi null.

• GPT-4o: %95 doğru parse
• Llama-3.2-90B-Vision: %87

4.1 Use Case 3: Türkçe Trafik İşaretleri#

• 'Dur' (uluslararası), 'Yol Ver', 'Tek Yön', 'Park Yasak'
• Kırmızı genel daire içinde işaretler (Türkçe okuma gerekiyor)
• Hız limiti: km/h numerik
• 'TIR Yasak', 'Bisiklet Yolu'

Bu dashcam görüntüsünde tüm trafik işaretlerini tespit et.
JSON formatında:
{
  "isaretler": [
    {"tip": "hiz_limiti", "deger": 50, "konum": "sag_ust"},
    {"tip": "park_yasak", "konum": "sol"},
    ...
  ]
}

• GPT-4o: %88 işaret recall
• Specialized model (YOLOv8 + classification): %95 (ama maliyet daha yüksek)

5.1 Use Case 4: Türkçe Sınav Kağıdı Dijital#

• El yazısı tutarsızlık
• Matematik sembolleri (∫, ∑, π, √, vs.)
• Türkçe gramer + matematik karışım

Bu Türkçe sınav kağıdını metne dönüştür.
Matematik denklemlerini LaTeX formatında yaz: $x^2 + 3x = 0$
Öğrenci cevaplarını ayır.
Format:
{
  "sorular": [
    {"soru_no": 1, "soru_metni": "...", "ogrenci_cevabi": "...", "denklem": "$...$"},
    ...
  ]
}

• GPT-4o: %78 doğru transkripsiyon (el yazısı için sınır)
• LaTeX matematik: %90 (matbu için)

6.1 Use Case 5: Osmanlıca Belge Analizi#

• Arap harfli yazı (sağdan sola)
• Rik'a, divani, talik gibi farklı yazı stilleri
• Çok eski Türkçe dil (modern Türkçe'den çok farklı)
• Belge yıpranmış, lekeli

Bu Osmanlıca belgeyi modern Türkçeye çevir.
Orijinal Arap harfli metin + transliterasyon + modern Türkçe çeviri ver.
Belirsizlik varsa belirt.

• GPT-4o: %45 Osmanlıca transkripsiyon (zor)
• Specialized (UVHO, Süleymaniye OCR projesi): %70 ama dar domain
• Manuel uzman: %95+ (yavaş)

Sonraki Ders: Capstone — Türkçe Doküman İşleme#