tree2vec
描述
将树(例如AST,CST,PSI)转换为向量。 向量是使用从树中提取特征来构造的。
该程序包含以下功能提取器:
DepthExtractor-从树中提取的最小,最大或平均深度;
CharsLengthExtractor-树的最小,最大或平均字符长度(对于某些节点);
NGramsExtractor-计算指定n-gram的数量。
AllNGramsExtractor-通过指定的配置(n,max_distance等)计算所有n-gram的数量。 请参阅 (仅用于n-gram提取)
该程序用作一部分
使用例
python3 main.py -i ./trees/ast.json -o ./trees_as_vectors/ast_as_vector.json --no_normalize
程序参数
-i ,-- --input :带有树的文件
-o , --o
2021-05-07 13:46:31
13KB
系统开源
1