Tokenization (Tokenizasyon (Parçalara Ayırma))
Tokenizasyon, doğal dil işleme (NLP) ve Büyük Dil Modellerinde (LLM), insan dilindeki metinlerin bilgisayarın işleyebileceği matematiksel birimlere (token) bölünmesi işlemidir. Yapay zeka kelimeleri bizim gibi okumaz; onları hecelere, harflere veya kelime köklerine parçalayarak (token) her birine benzersiz bir kimlik numarası (ID) atar. Bir cümlenin yapay zekaya yedirilmeden önceki ilk çiğneme adımıdır.