# ALiBi: Attention with Linear Biases — Press 2021'in Sade Çözümü ve Extrapolation Avantajı

> Source: https://sukruyusufkaya.com/learn/llm-muhendisligi/alibi-attention-linear-biases-press-2021
> Updated: 2026-08-14T19:08:36.664Z
> Category: LLM Mühendisliği
> Module: Modül 9: Position Encoding — Sıraya İçkin Anlam
**TLDR:** ALiBi (Press 2021): position embedding kullanmadan attention score'a linear bias ekleyerek pozisyon bilgisini inject etmek. Math: attention[i,j] += m × (j-i). Per-head slopes hierarchy (m_h = 2^{-8h/H}). Strengths: zero parameters, train-short eval-long extrapolation, simple implementation. RoPE ile karşılaştırma, Mistral ve BLOOM kullanımı.