×

leveldb python level

leveldb（python 怎么安装leveldb）

admin admin 发表于2022-09-03 22:39:54 浏览210 评论0

抢沙发发表评论

本文目录

python 怎么安装leveldb


安装Python包，的确是pip最为方便了，简单快捷，因为它直接是从pypi上面下载文件，保证文件的安全性和可靠性，并且资源丰富；下面是安装步骤：

  1. 下载 setuptools，注意对应 Python 的版本，完成后运行 exe 即可完成安装

    setuptools-1.4.1.win32-py2.6.exe

  2. 下载 pip

    pip-1.4.1.tar.gz

  3. 安装 pip

    3.1 解压pip-1.4.1.tar.gz

    3.2 运行CMD，进入命令行

    3.3 用CD命令进入 pip 解压目录

    3.4 输入 “python setup.py install“

    3.5 添加环境变量 path = C:\Python26\ArcGIS10.0\Scripts

  4. 验证是否安装成功，运行CMD，进入命令行，输入pip；

    如果出现pip的用法介绍，说明安装成功。

  5. 进入命令行，输入 “pip install package“，package为安装包名称，就可以随意使用了；

  6. 如果pip安装不成功的话，建议去PYPI上下载文件，然后自行安装。


leveldb 是 内存数据库吗


Base 是 Apache Hadoop 中的一个子项目，属于 bigtable 的开源版本，所实现的语言为Java（故依赖 Java SDK）。HBase 依托于 Hadoop 的 HDFS（分布式文件系统）作为最基本存储基础单元。
HBase在列上实现了 BigTable 论文提到的压缩算法、内存操作和布隆过滤器。HBase的表能够作为 MapReduce 任务的输入和输出，可以通过Java API来访问数据，也可以通过REST、Avro或者Thrift的API来访问。
-leveldb

LevelDB worlds/Basefick level/db状态不正常(IO错误:fopen失败


检查路径。
路径不对fopen就会是返回失败。分析：首先查看path文件是否存在，其次检查path的路径相对路径还是绝对路径。

如何用java测试leveldb代码


测试数据：
key=timeline+【0,20亿】
value=128字节
测试环境：
CPU：16核，Mem：32G 磁盘：SSD
写入客户端：
leveldbjni+1Java thread ，write_buffer_size=512MB
插入20亿条数据的统计数据如下：
插入数据过程中，CPU消耗比较小，多的时候在160%，少的时候在80%左右，插入过程中对内存消耗比较小，与设定的512MB比较接近，没有大的变化，load小于1；
插入完成之后，磁盘文件总个数为14913个，占用磁盘存储空间31G。
全局的avgTps=149594，以插入500W条数据的时候，阶段性的minTps=84631，maxTps=234796。
插入50亿条数据的统计数据如下：
插入数据过程中，CPU消耗比较小，多的时候在160%，少的时候在80%左右，插入过程中对内存消耗比较小，与设定的512MB比较接近，没有大的变化，load小于1；
插入完成之后，磁盘文件总个数为32318个，占用磁盘存储空间77G。
全局的avgTps=158272，以插入1000W条数据的为基准阶段性的minTps=100000，maxTps=232558。
-python

怎样操作leveldb数据库，实现增删改查


LevelDB 简介
一、LevelDB入门

LevelDB是Google开源的持久化KV单机数据库，具有
很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。LevelDB应用了LSM
(Log Structured Merge)
策略，lsm_tree对索引变更进行延迟及批量处理，并通过一种类似于归并排序的方式高效地将更新迁移到磁盘，降低索引插入开销，关于LSM，本文在后
面也会简单提及。-leveldb

根据LevelDB官方网站的描述，LevelDB的特点和限制如下：

特点：
1、key和value都是任意长度的字节数组；
2、entry（即一条K-V记录）默认是按照key的字典顺序存储的，当然开发者也可以重载这个排序函数；
3、提供的基本操作接口：Put()、Delete()、Get()、Batch()；
4、支持批量操作以原子操作进行；
5、可以创建数据全景的snapshot(快照)，并允许在快照中查找数据；
6、可以通过前向（或后向）迭代器遍历数据（迭代器会隐含的创建一个snapshot）；
7、自动使用Snappy压缩数据；
8、可移植性；-python

限制：
1、非关系型数据模型（NoSQL），不支持sql语句，也不支持索引；
2、一次只允许一个进程访问一个特定的数据库；
3、没有内置的C/S架构，但开发者可以使用LevelDB库自己封装一个server;-leveldb

LevelDB本身只是一个lib库，在源码目录make编译即可，然后在我们的应用程序里面可以直接include leveldb/include/db.h头文件，该头文件有几个基本的数据库操作接口，下面是一个测试例子：-python

#include 《iostream》
#include 《string》
#include 《assert.h》    
#include “leveldb/db.h“    
using namespace std;
int main(void)
{      
   leveldb::DB      *db;    
   leveldb::Options  options;    
   options.create_if_missing = true;    
   // open
   leveldb::Status status = leveldb::DB::Open(options,“/tmp/testdb“, &db);    
   assert(status.ok());    
   string key = “name“;    
   string value = “chenqi“;    
   // write
   status = db-》Put(leveldb::WriteOptions(), key, value);    
   assert(status.ok());    
   // read
   status = db-》Get(leveldb::ReadOptions(), key, &value);    
   assert(status.ok());    
   cout《《value《《endl;    
   // delete
   status = db-》Delete(leveldb::WriteOptions(), key);    
   assert(status.ok());        
   status = db-》Get(leveldb::ReadOptions(),key, &value);    
   if(!status.ok()) {
       cerr《《key《《“    “《《status.ToString()《《endl;
   } else {
       cout《《key《《“===“《《value《《endl;    
   }  
   // close
   delete db;    
   return 0;    
}-leveldb

上面的例子演示了如何插入、获取、删除一条记录，编译代码：

g++ -o test test.cpp libleveldb.a -lpthread -Iinclude

执行./test后，会在/tmp下面生成一个目录testdb，里面包含若干文件：

------------------------------------------------------------
LevelDB
是google开源的一个key-value存储引擎库，类似于开源的Lucene索引库一样。其他的软件开发者可以利用该库做二次开发，来满足定制需
求。LevelDB采用日志式的写方式来提高写性能，但是牺牲了部分读性能。为了弥补牺牲了的读性能，一些人提议使用SSD作为存储介质。
对于本地化的Key-value存储引擎来说，简单的使用一般都分成三个基本的步骤：（1）打开一个数据库实例；（2）对这个数据库实例进行插入，修改和查询操作；（3)最后在使用完成之后，关闭该数据库。下面将详细讨论该三个步骤：
一、打开一个数据库实例
一个leveldb数据库有一个对应一个文件系统目录的名字。该数据库的所有内容都存储在这个目录下。下面的代码描述了怎样打开一个数据库或者建立一个新的数据库。
#include 《assert.h》    
#include “leveldb/db.h“    
   
leveldb::DB* db;    
leveldb::Options options;    
options.create_if_missing = true;    
leveldb::Status status = leveldb::DB::Open(options,“/tmp/testdb“, &db);    
assert(status.ok());  

如果打开已存在数据库的时候，需要抛出错误。将以下代码插在leveldb::DB::Open方法前面：    
options.error_if_exists = true;
二、对数据库的简单读、写操作
LevelDB提供了Put，Delete和Get三个方法对数据库进行修改和查询。例如，下面的代码片段描述了怎样将key1对应的value值，移到key2对应的值。
std::string value;    
leveldb::Status s = db-》Get(leveldb::ReadOptions(), key1, &value);    
if(s.ok()) s = db-》Put(leveldb::WriteOptions(), key2, value);    
if(s.ok()) s = db-》Delete(leveldb::WriteOptions(), key1);

三、关闭数据库
在对数据库进行了一系列的操作之后，需要对数据库进行关闭。该操作比较简单：
... open the db as described above...    
... do something with db ...    
delete db;

上面对levelDB的简单使用做了基本的介绍，接下来就是如何自己写一个完成并且能运行的例子。
1、下载源码  git clone
5、运行结果./test：
value    
key2===value    
key    NotFound:-python


python leveldb 统计有多少数据


import sys
import leveldb
def read_data():
if len(sys.argv) 《 2:
print “pls input leveldb dir“
return -1
db = leveldb.LevelDB(sys.argv)
for k in db.RangeIter(include_value = False):
print db.Get(k)
if __name__ == ’__main__’:
read_data()
print “read end“
-leveldb

Leveldb源码有多少行


Leveldb源码有2w行。不论从nosql的存储设计，或是C++11的代码规范来看，都是很好的源码分析项目。为了更好地测试比较LevelDB的实际性能，Google的工程师也将LevelDB与另外两种数据库进行了对比。经过测试证明，LevelDB相较于另外两种数据库，无论是在基本操作环境下，还是在某些特定配置环境下，均具有非常优秀的读写性能。-python

Leveldb源码优点

key与value采用字符串形式，且长度没有限制。数据能持久化存储，同时也能将数据缓存到内存，实现快速读取。基于key按序存放数据，并且key的排序比较函数可以根据用户需求进行定制。支持简易的操作接口API，可以针对数据创建数据内存快照。支持前向、后向的迭代器。采用Google的Snappy压缩算法对数据进行压缩，以减少存储空间。-leveldb


LevelDB 可以用来替换 Redis 做缓存吗


可能很多人都不知道RedisStorage 和redis 之间的区别。
redis的存储是存储在内存里的, RedisStorage可以选择存储在磁盘里.
当redis崩溃的时候。redis 会从rdb或者aof文件重新读取数据到内存里。如果数据量很大的话。这个初始化是相当的慢。(这就是 redis的假数据持久)。
RedisStorage 是直接存储在 磁盘里。所以不存在这个数据重加载问题。
还有redis 存储是受物理内存限制的，比如你有几千万或者几亿的数据。如果存储在redis里。那得需要多巨大的内存了。使用RedisStorage 就没有物理内存限制这个问题。最大可以存储十亿数据。
最后说一下淘宝的Tair ldb项目。同样基于leveldb 存储引擎。 广泛的用在 登录淘宝、查看商品详情页面、在淘江湖和好友“捣浆糊”等。 说明leveldb 数据引擎的可靠性和海量数据存储。 但是开源版的Tair ldb 并不好用。所以自己写了个基于 leveldb的 server端。
-python

看leveldb源码需要哪些储备知识


eveldb:
1.Leveldb是一个google实现的非常高效的kv数据库，目前能够支持billion级别的数据量了。
在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计，特别是LMS算法。
2.LevelDB
是单进程的服务，性能非常之高，在一台4核Q6600的CPU机器上，
每秒钟写数据超过40w，而随机读的性能每秒钟超过10w。
3.LevelDB
只是一个 C/C++ 编程语言的库（有没有超级感动，哈）
4.Leveldb只是一个语言库，不包含网络服务封装,
所以无法像一般意义的存储服务器(如 MySQL)那样, 用客户端来连接它.
LevelDB
自己也声明, 使用者应该封装自己的网络服务器（这得等我学网络啦）
5.LevelDB具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，
-leveldb

为什么不直接使用leveldb ssdb


可以使用一些/etc/security/console.apps/目录下为用户配置的程序.
这个目录中包括允许控制台用户使用/sbin和/usr/sbin中的某些应用程序的配置文件.
这些配置文件和它们所设置的应用程序享有相同名称.
控制台用户可以使用的一组重要应用程序程序包括三个可以用来关闭或重新启动系统的程序：
/sbin/halt
/sbin/reboot
/sbin/poweroff
因为这些都是支持PAM的应用程序,因此需要时都可以调用pam_console.so 模块.
-python