§3 Алфавит Python. Литералы. Идентификаторы. Ключевые слова

Лексический анализ

Первый шаг интерпретации программы на языке Python – лексический анализ кода. Символы алфавита любого языка программирования образуют лексемы. Если декларация кодировки отсутствует, то, по умолчанию, для построения лексем используются символы кодировки UTF-8. Лексический анализатор получает поток лексем. Лексема (token) – это минимальная единица языка, имеющая самостоятельный смысл. Лексемы – формируют базовый словарь языка, понятный компилятору. Если исходный файл не может быть расшифрован, то будет выдано сообщение об ошибке.
Всего существует пять видов лексем:

Строки исходного файла

Идентификаторы

Идентификатор – это имя программного объекта: переменной, константы, массива, функции, класса и т. п.
При выборе имени для объекта необходимо руководствоваться следующими правилами:

1. первый символ не должен быть числовым символом;
2. первый символ может быть любой алфавитный символ ASCII, символ нижнего подчеркивания, а также любой символ национальных алфавитов (в кодировке UTF-8);
3. далее в имени можно использовать как алфавитные, так и числовые символы, за исключением пробельных символов;
4. в качестве имени нельзя использовать служебные (ключевые) слова; список этих слов можно получить в интерактивном режиме с помощью импорта модуля keyword с вызовом контейнера ключевых слов keyword.kwlist:

   >>> import keyword
   >>> keyword.kwlist
   ['False', 'None', 'True', 'and', 'as', 'assert', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 'if', 'import', 'in', 'is', 'lambda', 'nonlocal', 'not', 'or', 'pass', 'raise', 'return', 'try', 'while', 'with', 'yield']
   

   Примечание: Python позволяет переопределять имена встроенных объектов, поэтому необходимо знать допустимость использования того или иного идентификатора. Для того, чтобы узнать весь список имен встроенных объектов python, можно использовать функцию dir() с параметром __builtins__:

   >>> dir(__builtins__)
   ['ArithmeticError', 'AssertionError', 'AttributeError', 'BaseException', 'BlockingIOError', 'BrokenPipeError', 'BufferError', 'BytesWarning', 'ChildProcessError', 'ConnectionAbortedError', 'ConnectionError', 'ConnectionRefusedError', 'ConnectionResetError', 'DeprecationWarning', 'EOFError', 'Ellipsis', 'EnvironmentError', 'Exception', 'False', 'FileExistsError', 'FileNotFoundError', 'FloatingPointError', 'FutureWarning', 'GeneratorExit', 'IOError', 'ImportError', 'ImportWarning', 'IndentationError', 'IndexError', 'InterruptedError', 'IsADirectoryError', 'KeyError', 'KeyboardInterrupt', 'LookupError', 'MemoryError', 'NameError', 'None', 'NotADirectoryError', 'NotImplemented', 'NotImplementedError', 'OSError', 'OverflowError', 'PendingDeprecationWarning', 'PermissionError', 'ProcessLookupError', 'ReferenceError', 'ResourceWarning', 'RuntimeError', 'RuntimeWarning', 'StopIteration', 'SyntaxError', 'SyntaxWarning', 'SystemError', 'SystemExit', 'TabError', 'TimeoutError', 'True', 'TypeError', 'UnboundLocalError', 'UnicodeDecodeError', 'UnicodeEncodeError', 'UnicodeError', 'UnicodeTranslateError', 'UnicodeWarning', 'UserWarning', 'ValueError', 'Warning', 'ZeroDivisionError', '_', '__build_class__', '__debug__', '__doc__', '__import__', '__loader__', '__name__', '__package__', '__spec__', 'abs', 'all', 'any', 'ascii', 'bin', 'bool', 'bytearray', 'bytes', 'callable', 'chr', 'classmethod', 'compile', 'complex', 'copyright', 'credits', 'delattr', 'dict', 'dir', 'divmod', 'enumerate', 'eval', 'exec', 'exit', 'filter', 'float', 'format', 'frozenset', 'getattr', 'globals', 'hasattr', 'hash', 'help', 'hex', 'id', 'input', 'int', 'isinstance', 'issubclass', 'iter', 'len', 'license', 'list', 'locals', 'map', 'max', 'memoryview', 'min', 'next', 'object', 'oct', 'open', 'ord', 'pow', 'print', 'property', 'quit', 'range', 'repr', 'reversed', 'round', 'set', 'setattr', 'slice', 'sorted', 'staticmethod', 'str', 'sum', 'super', 'tuple', 'type', 'vars', 'zip']
   

5. нельзя использовать два подряд символа нижнего подчеркивания в начале и в конце идентификатора;
6. в python регистро-зависимые имена, т. е.: BookId, bookID, Bookid, bookid, bookId и т. д., – разные имена.

Литералы

Литералы, иначе константы – это неизменяемые величины.

Escape-последовательности

Escape-последовательности (или управляющие последовательности) используются для описания определённых специальных символов внутри строковых литералов, то есть внутри ограничителей "". Вот некоторые из них:
\' – одинарная кавычка
\" – двойная кавычка
\? – вопросительный знак
\\ – обратный слеш
\n – новая строка
\t – горизонтальная табуляция
\v – вертикальная табуляция
\0 – нулевой символ
Например: print("Ветер на море гуляет\nИ кораблик подгоняет;\nОн бежит себе в волнах\nНа раздутых парусах.")

Ветер на море гуляет
И кораблик подгоняет;
Он бежит себе в волнах
На раздутых парусах.

Операции

Список литералов, используемых для операций в языке Python:

+       -       *       **      /       //      %      @
<<      >>      &       |       ^       ~
<       >       <=      >=      ==      !=

Разделители

Эти литералы используются в качестве разделителей:

(       )       [       ]       {       }
,       :       .       ;       @       =       ->
+=      -=      *=      /=      //=     %=      @=
&=      |=      ^=      >>=     <<=     **=

Разделители сокращенного присваивания могут выступать и как разделители и как операции.

Неиспользуемые символы

Эти символы ASCII не используются в языке Python:

$  ?  `

Их появление за пределами строковых литералов и комментариев является безусловной ошибкой.

Вопросы

1. Перечислите правила использования идентификаторов
2. Что произойдет, если вывести строковый литерал в котором встретился символ '\n'? '\t'?
3. Для чего нужны комментарии?
4. Какие из этих идентификаторов не содержат ошибок:

A, A1, a1, _1a, 1A, a_1, A1, A 1, _A1, aA, Aa, A_a, a_A, 10A, 10a, 10_A, a10_, 10 a, a__10, A10a, a10A, a_10A, A_10A?

Темы сообщений

• Венгерская нотация
• Строковые литералы
• Cистемы генерации документации
• Системы контроля версий
• Unicode
• Кодировка utf-8

Презентация

ODP

Учебник

§55, вопр. 1, 2, 3.