GitHub - dream2333/mmap-bloom-filter: 基于虚拟内存映射的布隆过滤器，可利用硬盘实现亿万级高效过滤

dream2333 / mmap-bloom-filter Public

Notifications You must be signed in to change notification settings
Fork 6
Star 49

基于虚拟内存映射的布隆过滤器，可利用硬盘实现亿万级高效过滤

49 stars 6 forks Branches Tags Activity

Name		Name	Last commit message	Last commit date
Latest commit History 11 Commits
core		core
test		test
.gitignore		.gitignore
__init__.py		__init__.py
aaa.py		aaa.py
pyproject.toml		pyproject.toml
readme.md		readme.md
tools.py		tools.py

Repository files navigation

基于虚拟内存映射的布隆过滤器

基于硬盘的位数组
使用murmurhash作为hash函数，高效&碰撞率低
使用硬盘进行去重，相对于内存型过滤器可扩容千倍
自定义容纳元素个数与误差率
百亿去重约使用33g硬盘空间（误差率百万分之一情况）
支持多进程，多个程序可持有同一文件句柄
性能及空间高于数据库去重，单条数据最多占用hash函数个数*1bit空间（误差率百万分之一情况下为19bit）

###测试

京东京造 SATA3	西部数据SN550 NVME
8k op/s	5w op/s