Визуализатор Токенизации
Нейросети разбирают сложные слова на части.
По словам
По буквам
Токены (Subword)
0
Длина последовательности
Средний
Размер словаря модели