Life N' Tech

pylint 我们一直都在用, 很好的一个py 语法检查器. 一直好奇它的原理, 这周正好要做一个它的扩展, 于是就去了解了一下.

python 的词法分析用的是语法树, 而pylint 就是用抽象语法树(Abstracted Syntax Tree, AST) 来分析语法. 那么pylint 是如何做到的呢? 我一步一步的查下去.

在阅读pylint 代码的过程中, 发现其中用到最多的是一个模块 logilab.astng. pylint 就是用来获得更有用的AST 信息以供语法分析之用.

那么logilab 又是怎样得到python 的语法信息呢? 原来在python 的compiler 模块中提供了一个ast 模块, 专门用于提供这个信息 (这个对python 2.6 以下版本有效, 还有些bug 没解决, 而2.7 之后去掉了这个模块, 由ast 这个独立模块来提供更好的语法树)

例如对下面这段代码,

"""This is an example module.
This is the docstring.
"""
def double(x):
    "Return twice the argument"
    return x * 2

compiler.ast 能给出这样的信息:

Module('This is an example module.\n\nThis is the docstring.\n',
       Stmt([Function(None, 'double', ['x'], [], 0,
                      'Return twice the argument',
                      Stmt([Return(Mul((Name('x'), Const(2))))]))]))

不复杂, 大致也可以看出它就是一个树结构.

这里简单说一下python代码的编译执行过程:

1. Tokenizer 进行词法分析, 把原字符代码分解为各个Token
2. Parser 根据Token 构建CST (具体语法树)
3. CST 转换为AST
4. AST 编译成字节码
5. 执行字节码

而由于具体语法树和语言强相关, 而且许多实现细节跟分析无关, 冗余数据多, 所以语法分析器用得最多的还是抽象语法树, 而logilab 就是根据从python 编译器得到的AST 构建内容更丰富的自己的ASTNG( NG 指的是next generation ) . 树的遍历有很多种方式, logilab 实现了visitor 模式, 提供了walk 方法, 遍历树, 然后根据节点类型调用回调函数的方式. 回调函数可以是visitor_callfunc, visitor_function, visitor_lambda 等.

假如要扩展pylint, 最优雅的方式是实现自己的一个checker 类, 然后注册到pylint 中, 在遍历文件的时候被执行. 这里就涉及到如何去写pylint 的checker.

pylint 的checker 有两种, 一种是raw 的, 就是直接处理代码文本, 这个做代码风格检查时候会用到, 如多一个逗号, 行数太长等; 另一种是astng, 当涉及到语法检查时不得不用到, 如检查上下文关系, 检查变量使用情况等.

第一种的例子:

class MyRawChecker(BaseChecker):
    """check for line continuations with '\' instead of using triple
    quoted string or parenthesis
    """

    __implements__ = IRawChecker

    name = 'custom_raw'
    msgs = {'W9901': ('use \\ for line continuation',
                      ('Used when a \\ is used for a line continuation instead'
                       ' of using triple quoted string or parenthesis.')),
            }
    options = ()

    def process_module(self, node):
        """process a module

        the module's content is accessible via node.file_stream object
        """
        for (lineno, line) in enumerate(node.file_stream):
            if line.rstrip().endswith('\\'):
                self.add_message('W9901', line=lineno)

def register(linter):
    """required method to auto register this checker"""
    linter.register_checker(MyRawChecker(linter))

ASTNG的checker:

class MyRawChecker(BaseChecker):
    """check for line continuations with '\' instead of using triple
    quoted string or parenthesis
    """

    __implements__ = IRawChecker

    name = 'custom_raw'
    msgs = {'W9901': ('use \\ for line continuation',
                      ('Used when a \\ is used for a line continuation instead'
                       ' of using triple quoted string or parenthesis.')),
            }
    options = ()

    def process_module(self, node):
        """process a module

        the module's content is accessible via node.file_stream object
        """
        for (lineno, line) in enumerate(node.file_stream):
            if line.rstrip().endswith('\\'):
                self.add_message('W9901', line=lineno)

def register(linter):
    """required method to auto register this checker"""
    linter.register_checker(MyRawChecker(linter))

说点题外话, 看完pylint 后, 我不得不说python 确实是一个很完备的开发语言, 语言本身提供了各种的库让开发的过程变得简单, 开发代码的效率和质量上较有保障, 这点上现在多数的脚本语言是不具备的, 但性能问题也是python 最大的硬伤. 我一直坚信语言没有好坏和对错, 每个语言有每个语言的应用场景, python 适合用于逻辑快速开发, 性能不敏感的场合, 适合做逻辑变化快, 由于开发效率高, 推倒重来成本也完全可控. 逻辑固化且性能要求高的场合并适合用python 做开发.