Kavram SözlüğüÜretken Yapay Zekâ ve LLM

Tensor Paralelliği

Büyük model hesaplarını birden fazla cihaz arasında katman içi olarak bölerek inference ve eğitim ölçekleme sağlayan teknik.

Tensor paralelliği, tek cihaz belleğine sığmayan büyük modelleri çalıştırmak için temel dağıtık hesaplama tekniklerinden biridir. Katman içindeki matris işlemleri birden fazla GPU arasında bölünür. Bu yapı, yalnızca model çalıştırmayı mümkün kılmakla kalmaz, aynı zamanda yüksek ölçekli inference servisinde performans tasarımını da belirler.