Token

Ein Token ist eine Folge zusammengehöriger Zeichen, welche von einer formalen Grammatik einem Typ zuzuordnen ist. Bei einem Parser bildet das Token die lexikalische Grundeinheit - in seiner Grammtik entspricht es einem Terminalsymbol.

Im einfachsten Fall entspricht ein Token genau einem Zeichen der Eingabe. Es können jedoch auch mehrere Zeichen zu einem Token zusammengefasst werden. Beispielsweise könnte ein lexikalischer Scanner die einzelnen aufeinanderfolgenden Ziffern innerhalb eines arithmetischen Ausdrucks jeweils zu einem Token zusammenfassen und so eine zusammenhängende Zahl bilden.