Üretici yapay zeka modelleri, GPT-4o gibi, metin işlemekte büyük ölçüde tokenizasyona dayanır. Tokenizasyon; metni kelimeler, heceler veya bireysel karakterler gibi daha küçük bileşenlere ayırmayı içerir. Bu süreç, transformerların metni daha verimli bir şekilde işlemesini sağlar, çünkü üst bir eşik olan bağlam penceresine ulaşmadan önce daha fazla bilgiyi anlamsal olarak özümseyebilirler. Ancak tokenizasyon, tokenler içinde düzensiz boşluklarla önyargılar ve tutarsızlıklar da sebep olabilir, bu da transformerları şaşırtabilir. Ayrıca, tokenleştiriciler vakaları farklı şekilde ele alır, küçük harfle yazılan 'merhaba' ile büyük harfli 'MERHABA'yı ayrı ayrı değerlendirmek gibi, bu da model performansını etkiler.

Diller arasındaki tokenizasyon farklılıkları, transformer verimliliğini ve kullanıcı maliyetlerini ciddi şekilde etkileyebilir. Örneğin, Çince gibi logografik yazı sistemleri, her karaktere farklı bir token atayarak sayıları şişirebilir. Benzer şekilde, Türkçe gibi eklemeli dilleri işleyen tokenleştiriciler, her morfemi tokene ayırarak token sayılarını daha da artırabilir. Bu varyasyonlar, yapay zeka modelleri için matematiksel görevleri engelleyebilir, sayısal ilişkileri ve kalıpları bozabilir. Tokenleştiriciler sayıları tutarsız bir şekilde ele alır, modellerin sayısal verileri anlamasını etkileyerek matematiksel akıl yürütmede hatalara yol açar. Tokenizasyon zorluklarına önerilen çözümler arasında, doğrudan ham verilerle çalışan byte düzeyindeki modelleri araştırmak yer alır, MambaByte gibi. MambaByte gibi modeller, gürültü ve karakter düzeyindeki karmaşıklıkları ele alırken umut vaat ediyor, ancak hâlâ erken araştırma aşamalarında. Tokenizasyon konusunda bir atılım olmasa da, yeni model mimarileri geliştirmek, yapay zeka sistemlerinde mevcut tokenizasyon uygulamalarının getirdiği sınırlamaları aşmak için kritik görünüyor.