Tujuan :
- Memecahkan tiap-tiap baris source menjadi token.
- Token adalah pola kesatuan kelompok karakter yang ditentukan oleh bahasa sumber
- Lexeme adalah kelompok karakter yang membentuk sebuah token
- Setiap token disimpan pada tabel simbol
Yang dikerjakan :
- Membuang komentar
- Menyeragamkan huruf kapital menjadi huruf kecil atau sebaliknya
- Membuang white space
- Menginterpretasi kompiler directive
- Berkomunikasi dengan dengan tabel simbol
- Membuat listing
Token :
- Identifier
- Keyword
- Konstanta
- Operator
- Delimeter
- assignment
Modul dapat didownload disini :
http://www.4shared.com/file/ZtRv6_XS/Teknik_kompilasi_ext_2.html