登录
首页 >  数据库 >  MySQL

【Mysql源码分析】mysql词法分析

来源:SegmentFault

时间:2023-01-14 19:19:08 446浏览 收藏

大家好,今天本人给大家带来文章《【Mysql源码分析】mysql词法分析》,文中内容主要涉及到MySQL、C++、源码分析,如果你对数据库方面的知识点感兴趣,那就请各位朋友继续看下去吧~希望能真正帮到你们,谢谢!

Mysql版本: 8.0.20

调试工具 : lldb

系统环境 : MacOS 10.14.3

在了解词法解析之前,我们带着几个问题来切入:

(1)什么是词法解析?

(2)Mysql 8.0.20词法解析有什么优化?

(3)Mysql 8词法解析都有什么过程?

1.什么是词法解析?

  词法分析(lexical analysis)是计算机科学中将字符序列转换为单词(Token)序列的过程。进行词法分析的程序或者函数叫作词法分析器(Lexical analyzer,简称Lexer),也叫扫描器(Scanner)。词法分析器一般以函数的形式存在,供语法分析器调用。

  词法分析阶段是编译过程的第一个阶段,是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序,即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。

  词法分析是编译程序的第一个阶段且是必要阶段;词法分析的核心任务是扫描、识别单词且对识别出的单词给出定性、定长的处理;实现词法分析程序的常用途径:自动生成,手工生成。

自动生成词法可以参照我之前写的一篇文章:
https://blog.csdn.net/byxiaoyuonly/article/details/107851764

2.词法解析

2.1 词法解析状态机

  词法解析状态机是在词法解析的扫描阶段执行的过程,下图2-1-1是状态解析token的执行过程:

1.png

图2-1-1 状态机解析token过程

  状态机的主要用途就是解析token时的执行过程,比如MY_LEX_IDENT状态机会循环匹配字符后,解析字符并返回对应的token。

对应状态机备注
MY_LEX_START开始解析token
MY_LEX_CHAR解析单个字符例如*、:、;
MY_LEX_IDENT解析字符串,匹配关键词,例如“table”、“select” 等
MY_LEX_IDENT_SEP找到字符'.'
MY_LEX_IDENT_START从'.'开始解析token
MY_LEX_REAL不完全实数
MY_LEX_HEX_NUMBERhex字符串
MY_LEX_BIN_NUMBERbin字符串
MY_LEX_CMP_OP不完全比较运算符
MY_LEX_LONG_CMP_OP不完全比较运算符
MY_LEX_STRING字符串
MY_LEX_COMMENTComment
MY_LEX_END结束
MY_LEX_NUMBER_IDENT数字
MY_LEX_INT_OR_REAL完全整数或不完全实数
MY_LEX_REAL_OR_POINT解析.返回不完全实数,或者字符'.'
MY_LEX_BOOL布尔
MY_LEX_EOL如果是eof,则设置状态end结束,
MY_LEX_LONG_COMMENT长注释
MY_LEX_END_LONG_COMMENT备注结束
MY_LEX_SEMICOLON分隔符;
MY_LEX_SET_VAR检查:=
MY_LEX_USER_END结束'@'
MY_LEX_HOSTNAME解析hostname
MY_LEX_SKIP空格
MY_LEX_USER_VARIABLE_DELIMITER引号字符
MY_LEX_SYSTEM_VAR例如解析user@hostname,解析到@
MY_LEX_IDENT_OR_KEYWORD判断返回字符串状态或者键盘键值
MY_LEX_IDENT_OR_HEXhex-数字
MY_LEX_IDENT_OR_BINbin-数字
MY_LEX_IDENT_OR_NCHAR判断返回字符状态,或字符串状态
MY_LEX_STRING_OR_DELIMITER判断返回字符串状态或者空格字符状态

2.2 调试解析源码

  我们可以一起来跟一下源码,如果不会安装编译可以看一下我之前的文章
《【Mysql源码分析】MySQL为什么有时候会选错索引及成本计算》
https://blog.csdn.net/byxiaoyuonly/article/details/107651106

  我们开始调试,首先要先启动下mysql8.0.20。然后准备两个终端:一个终端用于操作mysql语句、另外一个终端用于调试使用,如图2-2-1。

221.png

图2-2-1 打开终端

可以用lldb进行调试:

#lldb -p 进程ID

222.png

图2-2-2 词法解析调用过程

  根据图2-2-2我们可以得知,Mysql8.0.20会调用MYSQLlex方法进行词法解析、MYSQLlex中会调用lex_one_token进行单个token解析。如果我们要调试可以对lex_one_token去下一个断点。

(lldb)b lex_one_token

  下断点后在mysql操作终端操作做一条语句例如“select * from t1;”,此时调试终端会捕获到断点,调试到图2-2-3。

223.png

图2-2-3 调试图

  根据上图我们得知第一个状态机为MY_LEX_START,执行状态机进入switch后,会通过yyPeek方法获取一个字符如图2-2-4。来判断这个字符是否为空格,不是空格后,通过“state = state_map[c];” 返回一个状态机。判断时通过state_map解析,state_map在2.3小节会介绍。

224.png

图2-2-4 MY_LEX_START调试图

  由于获取单个字符是s,s对应state_map中的状态机是MY_LEX_IDENT,MY_LEX_IDENT状态机会去匹配对应的关键词返回token。第一个匹配的关键词就是select。

225.png

11.png

图2-2-5 MY_LEX_IDENT调试图

  根据图2-2-5我们得知通过find_keyword方法可以匹配对应的token。第一次匹配“select”后我们得到一个token(748),748这个token对应SELECT_SYM,可以在/mysql-8.0.20/sql/sql_yacc.h文件中查找到。此时m_ptr参数值为“ * from t1”,该参数由返回前调用lip->yyUnget()进行左移。lip->next_state的状态再次设置为MY_LEX_START。
226.png

图2-2-6 MY_LEX_END_LONG_COMMENT调试图

  当我们再次调用lex_one_token时,处理MY_LEX_START状态机时,会过滤调一个空格字符。继续执行获取,获取到“*”字符,又会将状态机设置为MY_LEX_END_LONG_COMMENT,然后执行状态机会设置为MY_LEX_CHAR,返回时下一次的状态设置成了MY_LEX_START。最后返回一个token(42),其实这个42是ASCII到“*”。此时m_ptr参数值为“ from t1”。再次执行MY_LEX_START过程,会设置状态机为MY_LEX_IDENT,执行MY_LEX_IDENT状态机后会返回token(452),可以在/mysql-8.0.20/sql/sql_yacc.h文件中查找到。对应FROM。再次执行后会返回状态机IDENT_QUOTED,最终返回状态机MY_LEX_EOL,最终返回MY_LEX_END结束。
227.png

图2-2-7 调试解析完整过程

2.3 state_map介绍

  state_map是验证状态机的关键步骤,初始化该过程主要在/mysql-8.0.20/mysys/sql_chars.cc文件的init_state_maps方法中,方法实现如下:

bool init_state_maps(CHARSET_INFO *cs) {
  uint i;
  uchar *ident_map;
  enum my_lex_states *state_map = nullptr;

  lex_state_maps_st *lex_state_maps = (lex_state_maps_st *)my_once_alloc(
      sizeof(lex_state_maps_st), MYF(MY_WME));

  if (lex_state_maps == nullptr) return true;  // 空指针OOM

  cs->state_maps = lex_state_maps;
  state_map = lex_state_maps->main_map;

  if (!(cs->ident_map = ident_map = (uchar *)my_once_alloc(256, MYF(MY_WME))))
    return true;  // OOM

  hint_lex_init_maps(cs, lex_state_maps->hint_map);

  /* 填充状态以获得更快的解析器 */
  for (i = 0; i 

  代码中能快速匹配状态机,就是因为初始化好了一堆的状态机map,根据字符可以匹配不同的状态机。状态机的宏在mysql-8.0.20/include/sql_chars.h文件中。

2.4 源码解析

  关键代码lex_one_token解析:

static int lex_one_token(Lexer_yystype *yylval, THD *thd) {
  uchar c = 0;
  bool comment_closed;
  int tokval, result_state;
  uint length;
  enum my_lex_states state;
  Lex_input_stream *lip = &thd->m_parser_state->m_lip;  //获得输入信息
  const CHARSET_INFO *cs = thd->charset(); //获得字符集
  const my_lex_states *state_map = cs->state_maps->main_map; //获得状态
  const uchar *ident_map = cs->ident_map; //字符串分割符合
  lip->yylval = yylval;    // 全局状态
  
  lip->start_token();      //初始化token字符串
  state = lip->next_state; //获得下一个状态
  lip->next_state = MY_LEX_START; //设置下一个状态
  
  for (;;) {    //循环解析状态机
    switch (state) {
      case MY_LEX_START:  // 开始解析token
         while (state_map[c = lip->yyPeek()] == MY_LEX_SKIP) { //解析token,判断是否为空格
          if (c == '\n') lip->yylineno++;

          lip->yySkip(); //处理空格
        }

        /* Start of real token */
        lip->restart_token(); //设置m_tok_start和m_cpp_tok_start
        c = lip->yyGet();   //获得单个字符,并设置m_cpp_ptr,并且m_ptr移位
        state = state_map[c]; //如果是字符串返回MY_LEX_IDENT 状态
      break;
      //...
      case MY_LEX_IDENT:  //解析字符串关键词,比如select、tables等
        const char *start;
        if (use_mb(cs)) {
          result_state = IDENT_QUOTED;
          switch (my_mbcharlen(cs, lip->yyGetLast())) {
            case 1:
              break;
            case 0:
              if (my_mbmaxlenlen(cs) < 2) break;
              /* else fall through */
            default:
              int l =
                  my_ismbchar(cs, lip->get_ptr() - 1, lip->get_end_of_query());
              if (l == 0) {
                state = MY_LEX_CHAR;
                continue;
              }
              lip->skip_binary(l - 1);
          }
          while (ident_map[c = lip->yyGet()]) { //循环获取字符串
            switch (my_mbcharlen(cs, c)) {
              case 1:
                break;
              case 0:
                if (my_mbmaxlenlen(cs) < 2) break;
                /* else fall through */
              default:
                int l;
                if ((l = my_ismbchar(cs, lip->get_ptr() - 1,
                                     lip->get_end_of_query())) == 0)
                  break;
                lip->skip_binary(l - 1);
            }
          }
        } else {
          for (result_state = c; ident_map[c = lip->yyGet()]; result_state |= c)
            ;
          /* If there were non-ASCII characters, mark that we must convert */
          result_state = result_state & 0x80 ? IDENT_QUOTED : IDENT;
        }
        length = lip->yyLength();
        start = lip->get_ptr();
        if (lip->ignore_space) {
          /*
            If we find a space then this can't be an identifier. We notice this
            below by checking start != lex->ptr.
          */
          for (; state_map[c] == MY_LEX_SKIP; c = lip->yyGet()) {
            if (c == '\n') lip->yylineno++;
          }
        }
        if (start == lip->get_ptr() && c == '.' && ident_map[lip->yyPeek()])    //判断字符是否为'.' '
          lip->next_state = MY_LEX_IDENT_SEP;
        else {  // '(' must follow directly if function
          lip->yyUnget();
          if ((tokval = find_keyword(lip, length, c == '('))) {  //查找token
            lip->next_state = MY_LEX_START;  // Allow signed numbers
            return (tokval);                 // 返回token
          }
          lip->yySkip();  // next state does a unget
        }
        yylval->lex_str = get_token(lip, 0, length);
        //...
        return (result_state);  // IDENT or IDENT_QUOTED
        //...
        case MY_LEX_EOL:   //'\0'结束符
            if (lip->eof()) {
          lip->yyUnget();  // Reject the last '\0'
          lip->set_echo(false);
          lip->yySkip();
          lip->set_echo(true);
          /* Unbalanced comments with a missing '*' '/' are a syntax error */
          if (lip->in_comment != NO_COMMENT) return (ABORT_SYM);
          lip->next_state = MY_LEX_END;  // 设置下一个状态机为MY_LEX_END,继续循环
          return (END_OF_INPUT); // 返回token
          
        }
    } 
  }
}

3.Mysql 8.0.20词法解析有哪些优化?

  在解析select * from t1; 语句过程中,mysql5会多一步MY_LEX_OPERATOR_OR_IDENT的过程。在mysql 8.0.20中优化了该过程,如图3-1。

31.png

图3-1 调试mysql5.6.48过程

总结

(1)状态机宏在/mysql-8.0.20/include/sql_chars.h中。

(2)快速匹配字符状态是由于init_state_maps方法提前初始化好状态map。

(3)对应的token可以在/mysql-8.0.20/sql/sql_yacc.h文件中查找到。

(4)一些字符会直接返回ASCII,例如*

今天关于《【Mysql源码分析】mysql词法分析》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于mysql的内容请关注golang学习网公众号!

声明:本文转载于:SegmentFault 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>
评论列表