编译原理实战：手写词法分析器（C++实现），识别 5 类 Token 并输出符号表

编译原理实战：从零构建C++词法分析器（附完整符号表实现）

在计算机科学领域，编译原理一直被视为"程序员的内功心法"。而词法分析作为编译过程的第一道关卡，其重要性不言而喻。本文将带你用C++实现一个完整的词法分析器，不仅能识别标识符、整数、运算符、界符和关键字五类Token，还能生成规范的符号表。这个项目特别适合正在学习《程序设计语言编译原理》并希望将理论付诸实践的开发者。

1. 词法分析器设计基础

词法分析器的核心任务是将字符序列转换为有意义的词素（Token）序列。想象你正在阅读这段文字——你的大脑会不自觉地将连续的字符分割成有意义的单词，这正是词法分析器要做的机械化工作。

**有限自动机（Finite Automaton）**是词法分析的理论基础。我们主要使用两种自动机模型：

• DFA（确定有限自动机）：每个状态对每个输入字符都有且只有一条转移边
• NFA（非确定有限自动机）：允许状态对同一输入字符有多条转移边

在实现层面，我们通常会将NFA转换为DFA来提高分析效率。以下是一个简单的DFA状态转移表示例：

enum class State { START, IN_IDENTIFIER, IN_NUMBER, IN_OPERATOR, DONE }; State transition(State current, char input) { switch(current) { case State::START: if (isalpha(input)) return State::IN_IDENTIFIER; if (isdigit(input)) return State::IN_NUMBER; if (ispunct(input)) return State::IN_OPERATOR; break; // 其他状态处理... } return State::DONE; }

2. Token分类与正则表达式定义

我们的词法分析器需要识别五种基本Token类型，每种类型都有其独特的模式特征：

Token类型	正则表达式模式	示例
关键字	if|else|while|...	"if", "return"
标识符	[a-zA-Z_][a-zA-Z0-9_]*	"count", "temp_var"
整数	[0-9]+	"42", "1001"
运算符	+|-|*|/|...	"+", "=="
界符	;|,|(|)|...	";", "("

在C++中，我们可以用枚举定义这些Token类型：

enum class TokenType { KEYWORD, // 关键字 IDENTIFIER, // 标识符 INTEGER, // 整数 OPERATOR, // 运算符 DELIMITER, // 界符 UNKNOWN // 未知类型 };

3. 核心实现：词法分析器类设计

让我们构建一个Lexer类来封装所有词法分析功能。这个类需要维护几个关键状态：

• 当前读取位置
• 当前分析的Token
• 符号表引用
• 源代码字符串

class Lexer { public: explicit Lexer(const std::string& source) : source_(source), pos_(0), current_char_(source.empty() ? '\0' : source[0]) {} Token getNextToken(); private: void advance(); void skipWhitespace(); Token parseIdentifier(); Token parseNumber(); Token parseOperator(); Token parseDelimiter(); std::string source_; size_t pos_; char current_char_; SymbolTable& symbol_table_; // 符号表引用 };

关键方法实现- 以parseIdentifier()为例：

Token Lexer::parseIdentifier() { std::string result; while (isalnum(current_char_) || current_char_ == '_') { result += current_char_; advance(); } // 检查是否为关键字 if (isKeyword(result)) { return {TokenType::KEYWORD, result}; } // 添加到符号表 symbol_table_.insert(result, TokenType::IDENTIFIER); return {TokenType::IDENTIFIER, result}; }

4. 符号表设计与实现

符号表是编译器的重要组成部分，它记录了程序中所有标识符的属性信息。我们实现一个简单的符号表类：

class SymbolTable { public: void insert(const std::string& name, TokenType type) { symbols_[name] = {type, next_address_++}; } bool contains(const std::string& name) const { return symbols_.find(name) != symbols_.end(); } SymbolInfo lookup(const std::string& name) const { auto it = symbols_.find(name); return it != symbols_.end() ? it->second : SymbolInfo{TokenType::UNKNOWN, -1}; } void print() const { std::cout << "Symbol Table:\n"; std::cout << "Name\t\tType\t\tAddress\n"; for (const auto& entry : symbols_) { std::cout << entry.first << "\t\t" << tokenTypeToString(entry.second.type) << "\t\t" << entry.second.address << "\n"; } } private: struct SymbolInfo { TokenType type; int address; }; std::unordered_map<std::string, SymbolInfo> symbols_; int next_address_ = 0; };

提示：在实际编译器中，符号表会存储更多信息，如数据类型、作用域等。这里做了简化处理。

5. 完整工作流程与测试案例

让我们看一个完整的词法分析过程示例。假设有以下输入代码：

int main() { int x = 42; return x + 1; }

对应的分析过程如下：

1. 初始化词法分析器和符号表
2. 逐个字符扫描，识别Token
3. 将标识符存入符号表
4. 输出Token序列和符号表

测试代码示例：

void testLexer() { std::string code = R"( int main() { int x = 42; return x + 1; } )"; SymbolTable symtab; Lexer lexer(code, symtab); std::vector<Token> tokens; Token token; do { token = lexer.getNextToken(); tokens.push_back(token); std::cout << "Type: " << tokenTypeToString(token.type) << ", Value: " << token.value << "\n"; } while (token.type != TokenType::EOF); symtab.print(); }

6. 性能优化与错误处理

一个健壮的词法分析器需要处理各种边界情况：

错误处理策略：

• 非法字符错误（如@、$等）
• 数字格式错误（如123abc）
• 未闭合的字符串或注释

Token Lexer::getNextToken() { while (current_char_ != '\0') { if (isspace(current_char_)) { skipWhitespace(); continue; } if (isalpha(current_char_)) { return parseIdentifier(); } if (isdigit(current_char_)) { return parseNumber(); } if (ispunct(current_char_)) { // 检查是否为界符 if (isDelimiter(current_char_)) { return parseDelimiter(); } // 否则按运算符处理 return parseOperator(); } // 非法字符处理 throw std::runtime_error("Illegal character: " + std::string(1, current_char_)); } return {TokenType::EOF, ""}; }

性能优化技巧：

1. 使用字符串视图而非复制子字符串
2. 预编译正则表达式模式
3. 采用表驱动的DFA实现
4. 使用内存池管理Token对象

7. 扩展功能与进阶方向

完成基础词法分析器后，可以考虑以下扩展：

1. 支持更多Token类型：

   • 浮点数（如3.14）
   • 字符串字面量（如"hello"）
   • 注释处理（//和/* */）

2. 增强符号表功能：

   void enterScope() { scopes_.push_back({}); } void exitScope() { if (!scopes_.empty()) { scopes_.pop_back(); } }

3. 集成到完整编译器中：

   • 与语法分析器对接
   • 添加源代码位置信息（行号、列号）
   • 支持多文件分析

实现词法分析器时，最常遇到的坑是边界条件处理。比如如何区分=和==，或者如何处理123.45这样的浮点数。我在初次实现时就曾因为没处理好数字后面的非法字符而导致分析器崩溃。