20230701 周会纪要

[yaoyinnan]

Intro

Table Description 只描述本周一些进展，同时本周一些进展务必放进 issue or pr 的 评论里，这样也方便进行历史回溯。

1 单机

Item	Priority	Issue/Pr	Owner	Description
数据同步	P0	rsync 去除，添加新的主从同步机制	少一	0701 openrsync 非常不成熟。之后打算用pink起server来做。
		pika 实例硬盘容量满，清除数据后，pika仍然保持错误的状态	yang shi xi	flush all 清空后没有，但清理一部分这个问题还存在，shixi继续推进
		3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点	lyc	待测试
性能调优	P1	ttl 和 version 溢出	wxr	显荣设计下方案，protobuf设计改造下
RocksDB	P2	动态配置sst文件大小	wangchuande
	P1	Pika on S3	宁常远
Pika 兼容 Redis	P2	redis API: role
		Pipeline 功能改进	Tedli
		blpop brpop 命令支持	chenjunhua
		pika支持MULTI和EXEC事务	lihao
		zset range delete performence sucks	wxr
		hashtable field	车金鸽
		support lastsave
		pika 数据一致性校验
		支持 ACL	陈俊华
		redis常见module支持	赵昊
		scan 命令不支持 type 参数	赵昊	pr 已经合并，是不是需要更新文档？
		redis兼容命令type	李浩	pr已经合并，待补充文档
		rpushx 提示参数不对	李浩	pr 已经提交，是否已经完成？
		rpop 提示参数不对	刘绍	pr 已经提交，有待 Review
		支持redis stream	周开颜
		完善 config 返回的参数
		支持 Command Docs 命令	tedli	pika command 文档更新了吗？
		Pika 主从同步时校验 master 的 run_id 信息

2 集群

Item	Priority	Issue/Pr	Owner	Description
codis 维护	P0	在 codis 下支持 hash 而非 range	maxin，yuecai
		codis 下支持 etcd
		在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作
		pika3.3.6 单机主从架构多 db 如何做数据迁移到 codis+pika 分片版本
		使用 65280 slots 替换默认的 1024 slots

3 可观测性

Item	Priority	Issue/Pr	Owner	Description
Info		完善info日志输出	车金鸽	Pika 线上运行的时候，打印的日志太少了，不太好排查问题。比如主从同步
Metrics		一些的可观测性建议		Pika 常见的 Metrics 指标
		增加 RocksDB Metrics API		根据 chuande 的建议，提供一个 API，以供开发者获取指定 RocksDB 指标
		增加 RocksDB Column Family Metrics（CFStats）
		提供碎片化率统计功能

4 工具集

Item	Priority	Issue/Pr	Owner	Description
基于 ldb 命令，做一个工具，分析 sst 文件	P3		ruilin	基于 ldb 命令，做一个工具，分析 sst 文件
	P3	pika 数据一致性校验工具
		把数据转换成 sst，然后导入 Pika
		codis 点对点数据迁移	baitao

5 云原生

Item	Priority	Issue/Pr	Owner	Description
主从 operator			maxin	* 0516 没有稳定的 docker 镜像，先搞一个 helm，helm 是标准，后续再继续推进 * 0603 有些 e2e 可以基于 operator 去做，比较方便 * 0617 maxin 建议关注 kubeblock，比较成熟 * 0701 helm 等待有稳定镜像才比较好，maxin 先打一下临时镜像 * 0701 基于 kubeblock 实现下集群，需要codis集群的资料
	P1	docker镜像	maxin 、yinnan	1 用户：the image in https://hub.docker.com/ is too old。 2 0527 等待下一个 Release 上传稳定版本的镜像

6 质量建设

Item	Priority	Issue/Pr	Owner	Description
单测	P0	unit basic 问题汇总
集成测试	P1		yuecai ruilin	* 0520 yuecai 提单独仓库做 https://github.com/pikiwidb/pika/pull/1 * 0603 需要增加 e2e 测试框架，ruilin 跟进
		clang-tidy		李浩
		tests/unit/auth.tcl单元测试空密码测试与错误密码测试冲突		黄麒浩

7 社区

7.1 OSPP 开源之夏

• 活动相关

  • 链接：https://summer-ospp.ac.cn/org/orgdetail/7e52ef27-ff02-457d-9bc3-cdb9c8b69cef?lang=zh

  • 4.29~6.4 学生注册，导师沟通项目，提交项目申请

  • 6.5~6.25 项目申请审核

  • 6.26 中选公示

  • 6.26~6.30 项目开发预热

  • 7.1~9.30 项目开发

  • 10.1~10.31 结项审核-PR/MR 合并与导师审核

  • 11.1~11.8 结项审核-组委会成果审核

  • 11.9 结项公示

  • 11月 优秀学生评选

Item	Priority	Issue/Pr	Owner	Description
		Pika 实现 Raft 集群
		Pika 支持 Lua 脚本并引入 LuaJIT 解释器
		Pika 支持 Redis 事务

7.2 GitLink 开源夏令营

• 活动相关
  • 链接：https://www.gitlink.org.cn/glcc/apply/projects
  • 6.21 学生提交 Proposal
  • 7.1 公布入选学生
  • 7.1~8.11 研发第一阶段
  • 8.20 中期考核
  • 8.21~9.28 研发第二阶段
  • 10.11 结项考核
  • 10.22 颁奖

Item	Priority	Issue/Pr	Owner	Description
		Pika 支持 Redis 常见 module
		Pika 在 AWS S3 上存储数据
		Pika 实现乐观锁功能

需要 review 的 PR

fix(lists): When using the count optional parameter to execute lpop and rpop, incorrect number of parameters information was returned.：#1639
add command docs impl：#1642
Fix the clang-tidy checks (little by little)：#1656
Redis 事务：#1585
feat: supported 'ptype' command：#1586

7.3 members

Name	GithubID	Task	PR	Description
于雨	AlexStocks	#1175		pika数据一致性校验工具
李浩	ForestLH	#1303	#1515	在 cmake 中加入编译时候的静态分析告警
车金鸽	chejinge	#1333
车金鸽&刘月财	chejinge luky116	#1336 #1230 #1288	#1388	添加pika-exporter，调研清楚Pika需要哪些观测指标
车金鸽	chejinge	#1070		支持 SYNC/PSYNC/PSYNC2
车金鸽	chejinge	#1161		支持 lastsave
lqx	lqxhub	#1284		支持 ACL
赵昊	ptbxzrt	#1220		redis常见module支持
lqx	lqxhub	#1221		admin能力支持，单机，基本的建表模型，观测/管理/配置修改
吴显荣	Mixficsol	#1119		zset的范围删除的性能不好
李浩	ForestLH	#935		支持pipline
陈俊华	chenjunhua	#114		支持 brpop, blpop
王若添	sacloudy	#1438		Pika On S3
hongfan	georgehao	#1227		redis smart client的兼容
顾辰枫	ChanphongGu	#1228	#1250	rsync 进程去除， 全量同步功能设计
张诗语	Joeyzsy	#1393		重构数据同步迁移系统，剥离rsync
陈柏韬	chenbt-hz	#1302		codis 点对点数据迁移
kangjinci	4kangjc	#1437		Pika 支持 Windows 平台
周开颜				研一，华东师大-软工，CS 做内存数据库

人员列表

Name	GithubID	Desc
李浩	ForestLH	华科
lqx	lqxhub	上海游戏公司
赵昊	ptbxzrt
吴显荣	Mixficsol	学生
陈俊华	chenjunhua	重邮
王若添	sacloudy
顾辰枫	ChanphongGu	福大
张诗语	Joeyzsy	北邮
baitao	chenbt-hz	hzgt
冯智森	A2ureStone	深哈工大
康锦赐	4kangjc
赖沐曦	iiiuwioajdks
chuande		zksg
陆安璞	Brokenice0415	南京大学
宁常远	longfar-ncy	南京航空航天大学
王立强
孙建钊	sjz-hub	北京邮电大学
黄麒浩		广州大学，研一
陈品烨		华南理工，研一，熟悉C++，win开发
高鑫磊（渔郎）		开放原子峰会了解到pika