首页 > 文章 > 前端

JavaScript实现编译器：源码到AST解析指南

时间：2025-11-27 14:14:29 438浏览收藏

目前golang学习网上已经有很多关于文章的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《JavaScript实现简单编译器：从源码到AST解析》，也希望能帮助到大家，如果阅读完后真的对你学习文章有帮助，欢迎动动手指，评论留言并分享~

词法分析将源码拆分为tokens，语法分析构建AST，最终生成类似add(1,multiply(2,3))的表达式树。

如何用JavaScript实现一个简单的编译器（从源码到AST）？

实现一个简单的编译器，核心第一步是从源码构建出抽象语法树（AST）。这个过程主要包括词法分析（Lexical Analysis）和语法分析（Parsing）。下面用 JavaScript 实现一个极简的编译器，支持类似 add(1, multiply(2, 3)) 这样的表达式，并生成对应的 AST。

词法分析：将源码拆分为 Token

词法分析器（Tokenizer）读取源代码字符串，将其分解为有意义的标记（tokens），比如标识符、括号、数字等。

function tokenizer(input) {
  let current = 0;
  const tokens = [];

  while (current

语法分析：从 Token 构建 AST

语法分析器（Parser）遍历 tokens，根据语法规则构造出 AST。我们假设语法是类似 Lisp 的结构：函数调用写成 (func arg1 arg2)。

function parser(tokens) {
  let current = 0;

  function walk() {
    let token = tokens[current];

    // 如果是数字，生成 NumberLiteral 节点
    if (token.type === 'number') {
      current++;
      return {
        type: 'NumberLiteral',
        value: token.value
      };
    }

    // 如果是左括号，说明是函数调用
    if (token.type === 'paren' && token.value === '(') {
      token = tokens[++current]; // 跳过 '('

      // 下一个 token 是函数名
      let node = {
        type: 'CallExpression',
        name: token.value,
        params: []
      };

      token = tokens[++current]; // 跳过函数名

      // 收集参数，直到遇到右括号
      while (token.type !== 'paren' || token.value !== ')') {
        node.params.push(walk()); // 递归解析子节点
        token = tokens[current];
      }

      current++; // 跳过 ')'
      return node;
    }

    throw new TypeError('Unexpected token: ' + token.type);
  }

  let ast = {
    type: 'Program',
    body: []
  };

  while (current

完整示例：从源码到 AST

把上面两个部分组合起来，就可以把一段简单代码转换成 AST。

// 示例输入
const input = 'add(1, multiply(2, 3))';

// 执行编译步骤
const tokens = tokenizer(input);
const ast = parser(tokens);

console.log(JSON.stringify(ast, null, 2));

输出结果如下：

{
  "type": "Program",
  "body": [
    {
      "type": "CallExpression",
      "name": "add",
      "params": [
        {
          "type": "NumberLiteral",
          "value": "1"
        },
        {
          "type": "CallExpression",
          "name": "multiply",
          "params": [
            {
              "type": "NumberLiteral",
              "value": "2"
            },
            {
              "type": "NumberLiteral",
              "value": "3"
            }
          ]
        }
      ]
    }
  ]
}

总结与扩展思路

这个简易编译器完成了从源码到 AST 的基本流程：

Tokenizer 把字符串变成 token 流
Parser 利用递归下降方法构建树形结构
输出符合约定格式的 AST，便于后续遍历、转换或生成代码

你可以在此基础上扩展：

支持更多语法，如变量、操作符（+、-）、if 表达式
加入错误处理和位置信息（行、列）
添加遍历器（traverser）和转换器（transformer）来实现完整编译流程

基本上就这些。不复杂但容易忽略细节，比如括号匹配和递归调用的控制。

理论要掌握，实操不能落！以上关于《JavaScript实现编译器：源码到AST解析指南》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！