For every source‑level function we build one IRFunction that records:
- *+ * IRFunction 跟踪代码生成和优化所需的所有信息， + * 包括函数标识符、IR 指令序列、 + * 声明参数列表以及生成唯一虚拟寄存器的机制。 + *
*/ public class IRFunction { - /* ---------- basic info ---------- */ - - /** function name */ + /** + * 函数名，对应源级函数的标识。 + */ private final String name; - /** linear list of IR instructions */ + /** + * IR 指令列表，组成函数体。 + */ private final List+ * 应按源函数签名中参数的声明顺序逐一调用此方法。 + *
+ * + * @param vr 表示函数某个参数的虚拟寄存器 */ public void addParameter(IRVirtualRegister vr) { parameters.add(vr); } - /** Returns the immutable list of formal parameters. */ + /** + * 获取函数正式参数的只读列表。 + * + * @return 按声明顺序排列的虚拟寄存器列表 + */ public List
+ * func 名称(%0, %1, ...) {
+ * 指令0
+ * 指令1
+ * ...
+ * }
+ *
+ *
+ * @return 函数的 IR 文本表示
+ */
@Override
public String toString() {
- // Print function header with explicit parameter list: func name(%0, %1) {
StringBuilder sb = new StringBuilder("func ")
.append(name)
.append('(');
for (int i = 0; i < parameters.size(); i++) {
sb.append(parameters.get(i));
- if (i < parameters.size() - 1) sb.append(", ");
+ if (i < parameters.size() - 1) {
+ sb.append(", ");
+ }
}
sb.append(") {\n");
-
- // Body instructions indented by two spaces
- body.forEach(i -> sb.append(" ").append(i).append('\n'));
-
- return sb.append('}').toString();
+ for (IRInstruction inst : body) {
+ sb.append(" ").append(inst).append('\n');
+ }
+ sb.append('}');
+ return sb.toString();
}
-}
+}
\ No newline at end of file
diff --git a/src/main/java/org/jcnc/snow/compiler/ir/core/IRInstruction.java b/src/main/java/org/jcnc/snow/compiler/ir/core/IRInstruction.java
index 5146d27..2821d58 100644
--- a/src/main/java/org/jcnc/snow/compiler/ir/core/IRInstruction.java
+++ b/src/main/java/org/jcnc/snow/compiler/ir/core/IRInstruction.java
@@ -7,40 +7,56 @@ import java.util.List;
* IRInstruction —— 所有 IR（中间表示）指令的抽象基类。
* * 本类定义了编译器中间表示系统中所有指令的基本结构和行为。 - * 子类需实现具体的操作码（Opcode）和指令行为。 - * 这是采用“访问者模式”设计的一部分，便于对指令进行统一访问和操作。 + * 具体指令通过继承此类并实现各自的操作码（Opcode）和访问者方法， + * 以支持统一的指令处理和访问模式。 + *
*/ public abstract class IRInstruction { /** * 获取该指令的操作码（Opcode）。 - * 每条具体指令子类都必须实现此方法以返回对应的操作码枚举。 + *+ * 每个具体指令子类必须实现此方法，返回对应的 IROpCode 枚举值。 + *
* - * @return 表示该指令类型的 IROpCode 实例 + * @return 表示指令类型的 IROpCode 实例 */ public abstract IROpCode op(); /** - * 获取该指令的目标虚拟寄存器（destination register）。 - * 默认为 null。部分子类（如赋值、运算类指令）应重写以返回具体目标寄存器。 + * 获取指令的目标虚拟寄存器（destination register）。 + *+ * 默认实现返回 null；只有具有目标寄存器的指令（如赋值、算术运算） + * 应重写此方法以返回相应的 IRVirtualRegister。 + *
* - * @return 指令的目标虚拟寄存器，或为 null（若无目标寄存器） + * @return 目标虚拟寄存器，若无目标寄存器则返回 null */ - public IRVirtualRegister dest() { return null; } + public IRVirtualRegister dest() { + return null; + } /** - * 获取该指令的操作数列表。 - * 默认为空列表。子类应重写以提供实际使用的操作数集合。 + * 获取指令的操作数列表。 + *+ * 默认实现返回空列表；具体指令子类应根据需要重写此方法， + * 提供所有参与运算或调用的 IRValue 操作数集合。 + *
* - * @return 一个包含所有操作数（IRValue）的列表 + * @return 包含本指令所有操作数的列表 */ - public List+ * 具体指令子类必须实现此方法，以便 IRVisitor 根据指令类型 + * 调用相应的访问逻辑。 + *
* - * @param visitor 实现 IRVisitor 接口的访问者实例 + * @param visitor 实现 IRVisitor 接口的访问者对象 */ public abstract void accept(IRVisitor visitor); -} +} \ No newline at end of file diff --git a/src/main/java/org/jcnc/snow/compiler/ir/core/IROpCode.java b/src/main/java/org/jcnc/snow/compiler/ir/core/IROpCode.java index 14fd198..c5bb16d 100644 --- a/src/main/java/org/jcnc/snow/compiler/ir/core/IROpCode.java +++ b/src/main/java/org/jcnc/snow/compiler/ir/core/IROpCode.java @@ -1,95 +1,79 @@ package org.jcnc.snow.compiler.ir.core; /** - * IROpCode —— IR 层支持的操作码（Opcode）枚举类型。 + * {@code IROpCode} 枚举类型定义了中间表示（IR）层支持的全部操作码。 *- * 本枚举类定义了中间表示层可用的所有基本指令类型，供 {@link IRInstruction} 使用。 - * 每个枚举值代表一种语义明确的 IR 操作，涵盖不同位宽的整数和浮点算术、逻辑、数据操作和控制流指令。 - * 可根据后续需求继续扩展。 + * 每个操作码代表一种低层次、语义明确的中间指令，用于构建目标函数的中间表示。 + * 这些操作涵盖了不同数据位宽的整数与浮点数算术运算、逻辑与比较操作、 + * 数据加载与存储指令、控制流指令（如跳转、条件跳转、标签）、 + * 以及函数调用与返回等功能。 + *
+ * 本枚举用于 {@link IRInstruction} 体系结构中，是 IR 指令识别和转换的核心部分， + *
*/ public enum IROpCode { - /* ───── 算术运算 (8位整数: byte) ───── */ - /** 8位整型加法 (byte): a = b + c */ - ADD_B8, - /** 8位整型减法 */ - SUB_B8, - /** 8位整型乘法 */ - MUL_B8, - /** 8位整型除法 */ - DIV_B8, - /** 8位整型取负 */ - NEG_B8, + /* ───── 算术运算（8位整数：byte）───── */ + ADD_B8, // 8位整型加法：a = b + c + SUB_B8, // 8位整型减法：a = b - c + MUL_B8, // 8位整型乘法：a = b * c + DIV_B8, // 8位整型除法：a = b / c + NEG_B8, // 8位整型取负：a = -b - /* ───── 算术运算 (16位整数: short) ───── */ - /** 16位整型加法 (short) */ - ADD_S16, - /** 16位整型减法 */ - SUB_S16, - /** 16位整型乘法 */ - MUL_S16, - /** 16位整型除法 */ - DIV_S16, - /** 16位整型取负 */ - NEG_S16, + /* ───── 算术运算（16位整数：short）───── */ + ADD_S16, // 16位整型加法 + SUB_S16, // 16位整型减法 + MUL_S16, // 16位整型乘法 + DIV_S16, // 16位整型除法 + NEG_S16, // 16位整型取负 - /* ───── 算术运算 (32位整数: int) ───── */ - /** 32位整型加法 (int) */ - ADD_I32, - /** 32位整型减法 */ - SUB_I32, - /** 32位整型乘法 */ - MUL_I32, - /** 32位整型除法 */ - DIV_I32, - /** 32位整型取负 */ - NEG_I32, + /* ───── 算术运算（32位整数：int）───── */ + ADD_I32, // 32位整型加法 + SUB_I32, // 32位整型减法 + MUL_I32, // 32位整型乘法 + DIV_I32, // 32位整型除法 + NEG_I32, // 32位整型取负 - /* ───── 算术运算 (64位整数: long) ───── */ - /** 64位整型加法 (long) */ - ADD_L64, - /** 64位整型减法 */ - SUB_L64, - /** 64位整型乘法 */ - MUL_L64, - /** 64位整型除法 */ - DIV_L64, - /** 64位整型取负 */ - NEG_L64, + /* ───── 算术运算（64位整数：long）───── */ + ADD_L64, // 64位整型加法 + SUB_L64, // 64位整型减法 + MUL_L64, // 64位整型乘法 + DIV_L64, // 64位整型除法 + NEG_L64, // 64位整型取负 - /* ───── 算术运算 (单精度浮点: float) ───── */ - ADD_F32, - SUB_F32, - MUL_F32, - DIV_F32, - NEG_F32, + /* ───── 算术运算（32位浮点数：float）───── */ + ADD_F32, // 32位浮点加法 + SUB_F32, // 32位浮点减法 + MUL_F32, // 32位浮点乘法 + DIV_F32, // 32位浮点除法 + NEG_F32, // 32位浮点取负 - /* ───── 算术运算 (双精度浮点: double) ───── */ - ADD_D64, - SUB_D64, - MUL_D64, - DIV_D64, - NEG_D64, + /* ───── 算术运算（64位浮点数：double）───── */ + ADD_D64, // 64位浮点加法 + SUB_D64, // 64位浮点减法 + MUL_D64, // 64位浮点乘法 + DIV_D64, // 64位浮点除法 + NEG_D64, // 64位浮点取负 - /* ───── 逻辑/比较运算 ───── */ - CMP_EQ, - CMP_NE, - CMP_LT, - CMP_GT, - CMP_LE, - CMP_GE, + /* ───── 逻辑与比较运算指令 ───── */ + CMP_EQ, // 相等比较：a == b + CMP_NE, // 不等比较：a != b + CMP_LT, // 小于比较：a < b + CMP_GT, // 大于比较：a > b + CMP_LE, // 小于等于：a <= b + CMP_GE, // 大于等于：a >= b - /* ───── 数据搬运 ───── */ - LOAD, - STORE, - CONST, + /* ───── 数据访问与常量操作 ───── */ + LOAD, // 从内存加载数据至寄存器 + STORE, // 将寄存器数据写回内存 + CONST, // 将常量写入目标寄存器 - /* ───── 控制流 ───── */ - JUMP, - JUMP_IF_ZERO, - LABEL, + /* ───── 控制流指令 ───── */ + JUMP, // 无条件跳转至标签 + JUMP_IF_ZERO, // 若寄存器为零则跳转 + LABEL, // 标签定义 - /* ───── 函数调用相关 ───── */ - CALL, - RET + /* ───── 函数调用与返回 ───── */ + CALL, // 函数调用 + RET // 函数返回 } \ No newline at end of file diff --git a/src/main/java/org/jcnc/snow/compiler/ir/core/IRPrinter.java b/src/main/java/org/jcnc/snow/compiler/ir/core/IRPrinter.java index ce8f678..03cdc70 100644 --- a/src/main/java/org/jcnc/snow/compiler/ir/core/IRPrinter.java +++ b/src/main/java/org/jcnc/snow/compiler/ir/core/IRPrinter.java @@ -5,20 +5,25 @@ import org.jcnc.snow.compiler.ir.instruction.IRJumpInstruction; import org.jcnc.snow.compiler.ir.instruction.IRReturnInstruction; /** - * IRPrinter —— 一个示例访问者（Visitor），用于打印 IR 指令的信息。 + * {@code IRPrinter} 是一个用于打印 IR 指令的访问者实现。 *- * 本类实现了 IRVisitor 接口，用于演示如何使用访问者模式处理 IRInstruction 子类。 - * 每个 visit 方法负责处理特定类型的 IR 指令。此实现以控制台输出（System.out）形式展示指令内容。 + * 本类实现 {@link IRVisitor} 接口，通过覆盖各类指令的访问方法， + * 提供对不同类型 IR 指令的格式化输出，通常用于调试或测试。 + * 默认行为是在控制台（System.out）输出指令的基本信息。 + *
*- * 子类可扩展该类以进行更复杂的打印或格式化，或添加对更多 IR 指令类型的支持。 + * 可通过继承该类进一步扩展对更多指令类型的支持，或重写输出格式以适配不同的前端/后端需求。 + *
*/ public abstract class IRPrinter implements IRVisitor { /** - * 处理 IRAddInstruction 类型的指令。 - * 打印加法指令的基本信息。 + * 访问 {@link IRAddInstruction} 加法指令。 + *
+ * 默认输出形式为 "Add:
+ * 默认输出形式为 "Jump:
+ * 默认输出形式为 "Return:
- * 本类作为编译器后端的主要数据结构之一，承载着所有 IRFunction 的集合。 - * 每个函数封装一段 IR 指令序列，整体表示源代码编译后的结构化中间结果。 - * 通常用于代码生成、优化、分析等阶段。 + * 它作为编译器后端处理阶段的核心结构，承载所有由源代码翻译得到的 {@link IRFunction} 实例， + * 形成整体性的中间表示单元，便于进行后续的优化、目标代码生成或静态分析。 + *
*/ public final class IRProgram { - /** 存储程序中所有函数的列表 */ + /** + * 存储程序中所有函数的有序集合。 + */ private final List+ * 函数会按添加顺序保留在内部集合中。 + *
* - * @param irFunction 要添加的 IRFunction 对象 + * @param irFunction 要加入的 IR 函数对象 */ public void add(IRFunction irFunction) { functions.add(irFunction); } /** - * 获取程序中所有函数的不可变视图。 + * 获取程序中全部函数的只读视图。 *- * 返回的列表不能被外部修改，确保 IRProgram 的封装性和安全性。 + * 外部调用者无法通过返回的列表修改函数集合，从而确保封装性与结构完整性。 + *
* - * @return 包含所有 IRFunction 的只读列表 + * @return 不可变的函数列表 */ public List+ * 每个函数按其 {@code toString()} 表示输出，换行分隔。 + * 通常用于调试与日志输出。 + *
* - * @return 程序的字符串表示 + * @return 表示整个 IR 程序的格式化字符串 */ @Override public String toString() { diff --git a/src/main/java/org/jcnc/snow/compiler/ir/core/IRValue.java b/src/main/java/org/jcnc/snow/compiler/ir/core/IRValue.java index 9439a34..ab520f6 100644 --- a/src/main/java/org/jcnc/snow/compiler/ir/core/IRValue.java +++ b/src/main/java/org/jcnc/snow/compiler/ir/core/IRValue.java @@ -5,24 +5,23 @@ import org.jcnc.snow.compiler.ir.value.IRLabel; import org.jcnc.snow.compiler.ir.value.IRVirtualRegister; /** - * IRValue —— 表示在中间表示（IR）系统中可作为指令操作数的基本单位。 + * {@code IRValue} 表示 IR 指令系统中可被操作的值类型。 *- * 本接口定义了 IR 指令可接受的值类型，是一个“值对象”的抽象。 - * 所有实现 IRInstruction 的类在定义操作数时，其元素类型均为 IRValue。 - *
- * 典型用途包括操作数、跳转目标、返回值、函数参数等。 - *
- * 支持的具体子类型包括： + * 它定义了所有 IR 指令在使用操作数、参数、结果或跳转目标时的统一抽象。 + * 实现该接口的类型可以作为 {@link IRInstruction} 中的操作数出现。 + *
+ * + *当前支持的 IR 值类型包括：
*
- * 本接口为 sealed interface，仅允许指定的子类型实现它。
- * 这保证了类型系统的封闭性，便于编译器在处理 IRValue 时进行穷尽性检查，
- * 增强类型安全与维护性。
+ * 该接口声明为 {@code sealed interface}，限制只能被上述类型实现。
+ * 这种设计允许编译器对 {@code IRValue} 的使用进行静态穷尽性检查，
+ * 有助于提升类型安全性与维护性。
*
- * 本接口定义了“访问者模式”的核心机制。通过将每种 IRInstruction 子类对应为一个独立的 visit 方法， - * 可实现类型安全的指令操作逻辑分离，例如打印、优化、代码生成等。 - *
- * 使用场景包括： + * 它定义了访问者模式的核心机制，通过对每种 {@link IRInstruction} 子类 + * 提供独立的 {@code visit} 方法，实现对指令的分发与处理。 + * 不同的访问者实现可用于执行不同任务，例如： + *
*+ * 每当添加新的 {@code IRInstruction} 子类，应同步扩展该接口， + * 以确保访问行为的一致性与完整性。 + *
*/ public interface IRVisitor { /** - * 访问加法指令（简化形式）。 + * 访问加法指令（示例实现）。 + * + * @param inst 加法指令实例 */ void visit(IRAddInstruction inst); /** * 访问跳转指令。 + * + * @param inst 跳转指令实例 */ void visit(IRJumpInstruction inst); /** - * 访问返回指令（简化形式）。 + * 访问返回指令（无返回值）。 + * + * @param inst 返回指令实例 */ void visit(IRReturnInstruction inst); /** - * 访问通用的二元运算指令，如 ADD_I32、SUB_I32 等。 + * 访问二元运算指令（如加减乘除等）。 + * + * @param inst 二元运算 IR 指令实例 */ void visit(BinaryOperationInstruction inst); /** - * 访问加载常量的指令（将常量加载到虚拟寄存器）。 + * 访问加载常量的指令。 + * + * @param inst 常量加载指令实例 */ void visit(LoadConstInstruction inst); /** - * 访问更通用的返回指令（可带返回值）。 + * 访问返回指令（支持返回值）。 + * + * @param inst 通用返回指令实例 */ void visit(ReturnInstruction inst); /** - * 访问一元运算指令，如 NEG_I32。 + * 访问一元运算指令（如取负等）。 + * + * @param inst 一元运算指令实例 */ void visit(UnaryOperationInstruction inst); + /** + * 访问函数调用指令。 + * + * @param instruction 函数调用指令实例 + */ void visit(CallInstruction instruction); - } diff --git a/src/main/java/org/jcnc/snow/compiler/lexer/base/TokenScanner.java b/src/main/java/org/jcnc/snow/compiler/lexer/base/TokenScanner.java index e5f369b..a99fd85 100644 --- a/src/main/java/org/jcnc/snow/compiler/lexer/base/TokenScanner.java +++ b/src/main/java/org/jcnc/snow/compiler/lexer/base/TokenScanner.java @@ -6,28 +6,41 @@ import org.jcnc.snow.compiler.lexer.token.Token; import java.util.List; /** - * TokenScanner 接口：定义所有词法扫描器的通用规范。 - * 每种 Token 类型（如标识符、数字、字符串等）都应该实现此接口。 + * {@code TokenScanner} 接口定义了所有词法扫描器的统一行为规范。 + *+ * 编译器前端中的词法分析阶段将源代码字符流解析为语义上有意义的记号（token）， + * 每种类型的记号（如标识符、数字、字符串、符号等）应有对应的 {@code TokenScanner} 实现类。 + * 词法分析器根据当前输入字符判断并分派给能处理该字符的扫描器进行处理。 + *
+ *+ * 实现类通常会结合 {@link LexerContext} 提供的流访问与状态接口， + * 完成一个完整 Token 的提取，并将其添加到结果集中。 + *
*/ public interface TokenScanner { /** * 判断当前字符是否可以由该扫描器处理。 - * 词法分析器会遍历所有已注册的 TokenScanner， - * 用此方法来找到合适的处理器。 + *+ * 词法分析器会按顺序查询已注册的 {@code TokenScanner} 实例， + * 使用该方法决定当前字符是否可由某个扫描器识别与处理。 + *
* - * @param c 当前字符 - * @param ctx 词法分析上下文，提供字符流访问和辅助方法 - * @return 如果该扫描器能处理当前字符，则返回 true + * @param c 当前读取的字符 + * @param ctx 当前词法分析上下文，提供字符流和辅助状态 + * @return 若该扫描器可处理当前字符，则返回 {@code true}，否则返回 {@code false} */ boolean canHandle(char c, LexerContext ctx); /** - * 处理当前字符起始的 token，并将生成的 Token 添加到列表中。 - * 实现中通常会读取多个字符，直到确定该 token 的结束。 + * 处理以当前字符为起始的 token，并将扫描结果添加至 tokens 列表中。 + *+ * 扫描器需消费一定数量的字符，构建合法的 {@link Token} 实例， + * 并调用 {@code tokens.add(...)} 添加至结果集中。 + *
* - * @param ctx 词法分析上下文，用于读取字符和获取位置信息 - * @param tokens Token 列表，扫描出的 token 应添加到该列表中 + * @param ctx 当前词法上下文 + * @param tokens 存储扫描结果的 token 列表 */ void handle(LexerContext ctx, List- * 它是 {@link LexerEngine} 和 {@link TokenScanner} - * 之间共享的上下文对象，用于读取字符并记录位置信息。 + * 该类提供对源代码字符流的读取访问，追踪当前行号与列号， + * 并支持字符匹配、回看与指针推进等操作，是 {@link TokenScanner} 实现进行词法识别的重要支撑工具。 + *
+ *+ * 所有源代码输入在构造时统一将 Windows 风格的换行符（\r\n）转换为 Unix 风格（\n）， + * 保证换行行为一致性。 + *
*/ public class LexerContext { - /** 源代码文本，换行符统一替换为 \n */ + + /** 源代码字符串，换行符已标准化为 \n */ private final String source; - /** 当前在源代码中的偏移位置 */ + /** 当前扫描位置（从 0 开始的偏移） */ private int pos = 0; - /** 当前行号，从 1 开始计数 */ + /** 当前行号，从 1 开始 */ private int line = 1; - /** 当前列号，从 1 开始计数 */ + /** 当前列号，从 1 开始 */ private int col = 1; - /** 上一个字符的列号（用于生成准确的 Token 位置信息） */ + /** 上一个字符对应的列号（用于位置精确记录） */ private int lastCol = 1; /** - * 创建一个新的 {@code LexerContext} 实例，并初始化源代码内容。 - * 所有 \r\n（Windows 换行）会被标准化为 \n。 + * 构造一个新的 {@code LexerContext} 实例，并标准化换行符。 * * @param source 原始源代码字符串 */ @@ -36,19 +40,18 @@ public class LexerContext { } /** - * 判断是否已到达源代码末尾。 + * 判断是否已读取到源代码末尾。 * - * @return 如果读取完毕返回 true，否则返回 false + * @return 若已结束，返回 {@code true}；否则返回 {@code false} */ public boolean isAtEnd() { return pos >= source.length(); } /** - * 读取当前字符，并将指针移动到下一个字符位置。 - * 同时更新行号与列号。 + * 消费当前字符并前进一个位置，自动更新行列信息。 * - * @return 当前字符，若已结束返回 '\0' + * @return 当前字符，若已结束则返回空字符（'\0'） */ public char advance() { if (isAtEnd()) return '\0'; @@ -64,28 +67,28 @@ public class LexerContext { } /** - * 查看当前字符，但不会前进指针。 + * 查看当前位置的字符，但不前进。 * - * @return 当前字符，若已结束返回 '\0' + * @return 当前字符，若结束则返回空字符 */ public char peek() { return isAtEnd() ? '\0' : source.charAt(pos); } /** - * 查看下一个字符，但不会前进指针。 + * 查看下一个字符，但不改变位置。 * - * @return 下一个字符，若已结束返回 '\0' + * @return 下一个字符，若结束则返回空字符 */ public char peekNext() { return pos + 1 >= source.length() ? '\0' : source.charAt(pos + 1); } /** - * 如果当前字符是指定字符，则前进指针并返回 true。 + * 若当前字符与期望字符相同，则前进并返回 {@code true}，否则不动并返回 {@code false}。 * - * @param expected 要匹配的字符 - * @return 是否成功匹配并前进 + * @param expected 期待匹配的字符 + * @return 是否匹配成功并消费 */ public boolean match(char expected) { if (isAtEnd() || source.charAt(pos) != expected) return false; @@ -94,18 +97,18 @@ public class LexerContext { } /** - * 获取当前行号。 + * 获取当前位置的行号。 * - * @return 当前行，从 1 开始计数 + * @return 当前行号（从 1 开始） */ public int getLine() { return line; } /** - * 获取当前列号。 + * 获取当前位置的列号。 * - * @return 当前列，从 1 开始计数 + * @return 当前列号（从 1 开始） */ public int getCol() { return col; @@ -113,9 +116,8 @@ public class LexerContext { /** * 获取上一个字符所在的列号。 - * 主要用于生成换行符等 Token 的精确列号。 * - * @return 上一个字符的列号 + * @return 上一个字符对应的列位置 */ public int getLastCol() { return lastCol; diff --git a/src/main/java/org/jcnc/snow/compiler/lexer/core/LexerEngine.java b/src/main/java/org/jcnc/snow/compiler/lexer/core/LexerEngine.java index 8f586fd..b322c73 100644 --- a/src/main/java/org/jcnc/snow/compiler/lexer/core/LexerEngine.java +++ b/src/main/java/org/jcnc/snow/compiler/lexer/core/LexerEngine.java @@ -8,55 +8,58 @@ import java.util.ArrayList; import java.util.List; /** - * 词法分析器（LexerEngine），用于将源代码字符串转换为一系列语法标记（Token）。 + * {@code LexerEngine} 是编译器前端的词法分析器核心实现。 *- * 它使用多个 {@link TokenScanner} 实现类处理不同类型的词法单元（数字、标识符、运算符、注释等）， - * 并追踪位置信息（行号、列号）以便后续语法分析或错误报告。 + * 它负责将源代码字符串按顺序扫描并转换为一系列 {@link Token} 实例， + * 每个 Token 表示语法上可识别的最小单位（如标识符、关键字、常量、运算符等）。 + *
+ * 分析流程通过注册多个 {@link TokenScanner} 扫描器实现类型识别， + * 并由 {@link LexerContext} 提供字符流与位置信息支持。 + *
*/ public class LexerEngine { - /** 所有已识别的 Token（含 EOF） */ + + /** 扫描生成的 Token 序列（含 EOF） */ private final List- * 每次迭代： - *
+ * 子类只需实现 {@link #scanToken(LexerContext, int, int)} 方法， + * 专注于处理具体的 Token 构造逻辑， + * 而位置信息提取、Token 添加等通用操作由本类统一完成。 + *
*/ public abstract class AbstractTokenScanner implements TokenScanner { + /** + * 处理当前字符起始的 Token，附带行列信息并加入 Token 列表。 + * + * @param ctx 当前词法分析上下文 + * @param tokens 存储扫描结果的 Token 列表 + */ @Override public void handle(LexerContext ctx, List+ * 实现应消费一定字符并根据规则构造 Token。 + * 若无需生成 Token，可返回 null。 + *
* - * @param ctx 扫描上下文 + * @param ctx 当前扫描上下文 * @param line 当前行号 * @param col 当前列号 - * @return 构建的 Token，如果为 null 表示无需添加 + * @return 构造的 Token 或 null */ protected abstract Token scanToken(LexerContext ctx, int line, int col); /** - * 连续读取字符直到不满足条件。 + * 工具方法：连续读取字符直到遇到不满足指定条件的字符。 * - * @param ctx 扫描上下文 - * @param predicate 字符判断条件 - * @return 匹配的字符串 + * @param ctx 当前词法上下文 + * @param predicate 字符匹配条件 + * @return 满足条件的字符组成的字符串 */ protected String readWhile(LexerContext ctx, Predicate