编译原理手记04-通过状态图设计词法分析器

状态图的元素:

圆圈 -> 状态

箭头 -> 状态的转换,通常附近会标明转换条件

星号 -> 再peek一个字符


例如一个标识符的词法解析状态图:



根据状态图,我们就可以写出相应的程序出来,上面这个状态图转化成程序后大概如下:

var token string
for {
    // ch代表每次读取的字符
    switch state {
    // 第一次读取到一个下划线或字母则进入状态1
    case 0:
        if ch == '_' || ('A' <= ch && ch <= 'Z') || ('a' <= ch && ch <= 'z') {
       	    token += string(ch)
            state = 1
        }
    // 如果读取到的字符不是下划线、字母,也不是数字,则进入状态2(结束状态)
    case 1:
        if ch == '_' || ('A' <= ch && ch <= 'Z') || ('a' <= ch && ch <= 'z') || ('0' <= ch && ch <= '9') {
            token += string(ch)
        } else {
            state = 2
        }
    // 这是结束状态,返回的token就是这次解析出的标识符
    case 2:
        return token
    }
}


根据设计好的状态图来实现词法分析器会非常简单,而且可以在写代码之前就发现一些该提早发现的设计问题。

相关文章

程序目录结构 简单实现,用户登录后返回一个jwt的token,下次请求带上token请求用户信息接口并返回信息...
本篇博客的主要内容是用go写一个简单的Proof-of-Work共识机制,不涉及到网络通信环节,只是一个本地的简...
简介 默克尔树(MerkleTree)是一种典型的二叉树结构,其主要特点为: 最下面的叶节点包含存储数据或其...
接下来学习并发编程, 并发编程是go语言最有特色的地方, go对并发编程是原生支持. goroutine是go中最近本...
先普及一下, 什么是广度优先搜索 广度优先搜索类似于树的层次遍历。从图中的某一顶点出发,遍历每一个顶...
第一天: 接口的定义和实现 第二天: 一. go语言是面向接口编程. 在学习继承的时候说过, go语言只有封装,...