Model Registry: HuggingFace Hub Privat Repo + MLflow + S3 Layout + Versioning
Production'da 50+ fine-tuned model versiyonu nasıl yönetilir? HuggingFace Hub privat repo + MLflow Model Registry + S3 (parça-parça artifact) hybrid. Versioning convention (semantic versioning + lineage), tags (\`production\`, \`canary\`, \`archive\`), retention policy (eski versiyon ne zaman silinir?). Cookbook'un model card şablonu (LoRA adapter + base + recipe).
Şükrü Yusuf KAYA
28 dakikalık okuma
İleri1. Cookbook Model Registry Hiyerarşisi#
HuggingFace Hub (privat repo): kompanyam/llm-models ├── llama-3.1-8b-tr-instruct-v1.0/ # Stable baseline ├── llama-3.1-8b-tr-instruct-v1.1/ # Minor improvement ├── llama-3.1-8b-tr-instruct-v2.0/ # Major retrain ├── llama-3.1-8b-tr-customer-support-v1.0/ # Domain variant └── ... Her repo içinde: - adapter_model.safetensors # LoRA weights - adapter_config.json # PEFT config - tokenizer.json / tokenizer_config.json - README.md # model card (zorunlu) - eval_results.json # benchmark sonuçlar - training_config.yaml # reproducible - WANDB_RUN_URL # full training telemetry
Lineage triple (Part 0 Ders 0.5):
- — kod versiyonu
_git_sha - — dataset versiyonu
_data_sha256 - — eğitim run ID
_wandb_run_id
Bu triple ile 6 ay sonra reproduce edilebilir.
✅ Teslim
- HF Hub'da privat repo aç. 2) Bir FT model'i push et (full convention'la). 3) Sonraki ders: 16.2 — A/B + Shadow Traffic.
Yorumlar & Soru-Cevap
(0)Yorum yazmak için giriş yap.
Yorumlar yükleniyor...
İlgili İçerikler
Part 0 — Engineering Foundations
Fine-Tuning Cookbook'a Hoş Geldin: Sistematik, Stage Taksonomisi ve Reproducibility Kontratı
Öğrenmeye BaşlaPart 0 — Engineering Foundations
Reproducibility Stack: Seeds, cuDNN Flags ve Deterministic CUDA — 'Sende Niye Çalışıyor Bende Çalışmıyor' Sorununu Bitir
Öğrenmeye BaşlaPart 0 — Engineering Foundations