Etiketler
Türkçe NLP
2 yazı
Türkçe NLP8 dkTürkçe Yapay Zekâda Veri Kalitesi ve Kıyaslama: Elimizde Gerçekte Ne Var?
Türkçe kaynak manzarası dağınık GitHub listelerine ve arXiv makalelerine sıkışmış durumda. Elimizde gerçekte ne var, hangi kıyaslama neyi ölçüyor, Cetvel'in ters bulgusu ne anlatıyor ve kendi değerlendirme setinizi nasıl kurarsınız?
Türkçe NLP5 dkTokenizasyon ve Türkçe'nin Zorlukları: Eklemeli Dil, Kelime Patlaması ve Verimli Tokenizasyon
Türkçe neden daha fazla token tüketir? Eklemeli dil, kelime patlaması, BPE ve SentencePiece ile verimli tokenizasyonun maliyet ve hıza etkisi.