Что такое ТОКЕНЫ в нейросетях? (простыми словами)

Научное и практическое объяснение как работают токены, которые считаются как единица измерения для языка нейросетей? Как нейросеть понимает тексты, и почему она делает это в цифрах, а не в словах? Простым языком, на пальцах При поддержке Сабка Про — сервиса доступа ко всем нейросетям в одном окне без блокировок и препятствий #нейросеть #наука #интересныефакты