]> granicus.if.org Git - python/commitdiff
added description of NL token
authorSkip Montanaro <skip@pobox.com>
Wed, 28 Feb 2001 22:05:41 +0000 (22:05 +0000)
committerSkip Montanaro <skip@pobox.com>
Wed, 28 Feb 2001 22:05:41 +0000 (22:05 +0000)
Doc/lib/libtokenize.tex

index 82d2e680141984e87bd3b65fbbdef96d35d246fe..3c5e8ef0fe58c0d08fc75ce464c5ec69dec8a667 100644 (file)
@@ -36,9 +36,12 @@ The scanner is exposed by a single function:
 
 
 All constants from the \refmodule{token} module are also exported from 
-\module{tokenize}, as is one additional token type value that might be 
+\module{tokenize}, as are two additional token type values that might be 
 passed to the \var{tokeneater} function by \function{tokenize()}:
 
 \begin{datadesc}{COMMENT}
   Token value used to indicate a comment.
 \end{datadesc}
+\begin{datadesc}{NL}
+  Token value used to indicate a newline.
+\end{datadesc}