WHO PAYS MORE TOKENS FOR THE SAME SENTENCE? RUSSIAN, KOREAN AND ENGLISH IN FOUR LANGUAGE MODEL TOKENIZERS ON 1,012 FLORES-200 SENTENCES

Ilya Tsoy

DOI: 10.5281/zenodo.23758446

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать.