leveldb实现解析.pdf

ir-python 用于信息检索任务的python实现，包括正向/反向索引，基本检索模型（例如BM25，uni-gram语言模型）。 索引模块对LevelDB（ ）使用线程安全的Python绑定。 LevelDB是快速键值存储库。 运行：sh buildIndex.sh tokenize语料库：buildIndex_tokenize.py输入：Robust2004语料库输出：〜/ Documents / ir / Robust2004 / result / tokenize / 从标记化语料库中提取文档信息：buildIndex_extract.py输入：标记化语料库输出：将单词转换为term_ids到文件/doc.extract格式：[doc_id \ t term_id \ t term_tf \ t position_in_doc] 按编号顺序对/doc.extract中

由于python leveldb在windows上使用需要复杂的编译过程，故提供可以直接用的pyd文件leveldb.pyd，可以直接放在site-package目录下然后import leveldb； 如果需要dll文件，也有相应提供leveldb.dll和编译中间文件，可能用到的snappy.lib

数据集为上万条数据，每行中各数据间以“，”分隔，以其中一行为例： 2596,51,3,258,0,510,221,232,148,6279,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,5

HBase、Redis、MongoDB、Couchbase、LevelDB对比

leveldb是Jeff Dean 和 Sanjay Ghemawat 两位超级大神实现的高效 kv 数据库。本资料对leveldb源码进行了详细的注释，可以帮助初学者快速的阅读源码，了解设计的思想。

数据库 基于leveldb的kv数据库

Windows下编译LevelDB 环境:windows x64 编译器: VC2010

leveldb是一个写性能十分优秀的存储引擎，是典型的LSM树(Log Structured-Merge Tree)实现。LSM树的核心思想就是放弃部分读的性能，换取最大的写入能力。

1