Лексический анализ

Python разбивает код на токены: идентификаторы, ключевые слова, операторы, литералы. Новое в 3.10: мягкие ключевые слова.