DeepSeek-R1 Self-Host + Türkçe Reasoning: Distilled Models, Prompt Patterns, Production Deployment

# DeepSeek-R1-Distilled-Qwen-32B vLLM deployment
 
# 1. Install vLLM
# pip install vllm
 
# 2. Server (CLI)
# python -m vllm.entrypoints.openai.api_server \
#     --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
#     --tensor-parallel-size 1 \
#     --max-model-len 32768 \
#     --gpu-memory-utilization 0.9 \
#     --port 8000
 
# Hardware needs:
# - R1-Distill-7B: 24 GB VRAM (RTX 4090, A100 40GB) 
# - R1-Distill-14B: 40 GB VRAM (A100 40GB, H100 80GB)
# - R1-Distill-32B: 80 GB VRAM (H100 80GB) or 2x A100 40GB
 
# 3. Use as OpenAI API
from openai import OpenAI
 
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="any",
)
 
# Türkçe math reasoning example
messages = [
    {"role": "user", "content": """
    Bir hızlı tren İstanbul'dan Ankara'ya saatte 200 km hızla gidiyor.
    Aynı anda Ankara'dan İstanbul'a saatte 150 km hızla başka bir tren çıkıyor.
    İstanbul-Ankara arası 450 km. Trenler ne zaman karşılaşır?
    """},
]
 
response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
    messages=messages,
    max_tokens=4096,
    temperature=0.6,  # R1 paper recommendation
)
 
# Response includes visible reasoning
print(response.choices[0].message.content)
# Example output:
# <think>
# İki tren karşı yönde geliyor. Toplam hız = 200 + 150 = 350 km/saat.
# Aralarındaki mesafe = 450 km.
# Karşılaşma zamanı = 450 / 350 = 9/7 saat ≈ 1.286 saat ≈ 1 saat 17 dakika.
# </think>
# 
# Trenler yaklaşık **1 saat 17 dakika** sonra karşılaşır.