20230301 周会纪要

[AlexStocks]

1 Pika core(master & slave)

• Pika 主从复制一些经验教训 #2408 Pika 主从复制一些经验教训

Item	Priority	Issue/Pr	Owner	Description
redis cache 版本升级	P1	Upgrade: using Redis 7 as redis cache	chengbo & lifengtao
		降低Pika Compact碎片化监控频率，提升compact性能		houxinsheng 还在 coding
the mater forget response the slave when slot is not exist or doing bgsave	P1	#2437	lcy	wxr review
	P1	#2322	wxr	相关 PR https://github.com/OpenAtomFoundation/pika/pull/2372，周末 whs review 下
进程退出时存在资源释放流程不正确	P1	#2286	lcy
list 存储结构改进	P1	OpenAtomFoundation/pikiwidb#128	wsy
空 db flushdb 需要 2s，需要优化	P0	#2344	cjg
list 的 pop 命令操作 cache 时需要增加 count 参数		#2297	cjg
支持 tls	P2	#2380 #2378	kolin	Review 月财
slave 节点在做主从全量同步过程中，客户端与 SLAVE 建立的会话未达到默认超时时间（60 秒）链接就不可用了	P1	#2370	lcy	wxr&baixin
master 和 slave 在进行全量同步时，master 侧的 info replication 显示的状态为 not syncing，容易让人疑惑，建议优化	P1	#2368	bx	相关 PR https://github.com/OpenAtomFoundation/pika/pull/2430/files，lcy 负责review
pika 主从同步过程需要使用 term 判断是否需要全量同步	P1	#2365	bx
codis dashboard call 3 times when got pika pool info, such as keep-alive & memory etc	P1	#2354	kolin
[Pika 3.3.6] SETEX 命令出现很多慢查询日志	P0	#1713	chejinge
通过配置文件获取 rsync 和 replication 的端口	P1	#1669		lyc 负责推进
主从复制 bug 汇总	P0	#1835	bx
compact old sst files	P1	#2053
Master 在处理 Slave 的 MetaSync 请求时，如果 Slot 不存在，或者 slot 正在执行 bgsave 命令时，没有显式的回复 Slave 响应	P1	#2289		https://github.com/OpenAtomFoundation/pika/pull/2437，wsy 负责review
pika 层调用 cache 和 storage 时候用的都是相对时间，容易产生 edge case		#2238	cjg	已经改完，需要继续测试
add cuckoo filter for redis cache	P2	#2261
bug: When writing to the binlog, the spop command needs to be rewritten as srem	P0
#2407		有待领取，无人领取下周 baitao 推进
移除 336 的一些没有用的线程及 config 中的配置信息	p1	#2400
增加一个管理员命令处理线程	P1	#2399
配置文件支持关闭 wal 日志	P2	#2398
353 测试，geohash 抛出异常	P2	#2392
PFADD 命令抛异常	P2	#2390
全量同步失败后，会直接跳过全量同步，主从复制状态会变为不需要全量同步的正常状态	P0	#2433	lcy	相关 PR https://github.com/OpenAtomFoundation/pika/pull/2439，wsy 负责review
Master在处理Slave的MetaSync请求时，如果Slot不存在，或者slot 正在执行bgsave命令时，没有显式的回复Slave响应	P0	#2437	lcy	wsy review
feat: support dynamic set max-conn-rbuf-size	P0	#2434		liuhuan
feat: replace rocksdb with rocksdb-cloud	P0	#2426
delete reduntant lock	P0	#2372	wxr
pika 中存在较多无意义的 binlog 记录	P1	#2417
pika slave 在执行 multi exec 后，与 redis 预期不同	P0	#2422		liuhuan
pika 添加命中率指标	P0	#2423
pika 支持 redis restore 指令	P0	pika 支持 redis restore 指令
pika 参数兼容 sentinel	P0	#2427

short issues:

• codis-dashboard sentinel 自动选新主时，基于SLAVE的 slave_repl_offset 数据进行判断，该字段在 pika 中不存在，导致可能选出错误的新主节点 #2373

todo：

• 1 存算分离 https://mp.weixin.qq.com/s/dV3A1_OFDXkMpDr-Vs71DQ

2 cluster

Item	Priority	Issue/Pr	Owner	Description
		https://github.com/OpenAtomFoundation/pika/issues/1691，https://github.com/OpenAtomFoundation/pika/issues/2228	马鑫	big key 熔断，借鉴 xcache
codis-fe Group 正常，但是仍然显示 OUT OF SYNC 状态	P1	#2394	lcy

xcache todo

• 1 大 key 检测；
• 2 auto split：小帅了解下相关功能，分析 floyd 的缺陷
• 3 codis 熔断 Add: big key & top key #1691 大 key 熔断
• 4 codis 限流
• 5 proxy 内存暴涨：最近内存使用从 几百兆暴涨到了 3.5GiB，原因是 exporter 观测 proxy 指标相关代码引起，cjg 请教下 lqx 和 马鑫，查看 go profile

3 可观测性

Item	Priority	Issue/Pr	Owner	Description
染色日志
优化 info 命令	P0	https://github.com/OpenAtomFoundation/pika/issues/2138，https://github.com/OpenAtomFoundation/pika/issues/2152		读取磁盘可能还可以优化

4 工具集

Item	Priority	Issue/Pr	Owner	Description
	P3	基于 ldb 命令做一个工具分析 sst 文件	瑞麟
		Pika 大数据同步工具		相关 bug 改进：https://github.com/OpenAtomFoundation/pika/pull/2306/files
		Pika 集群数据同步迁移工具		Bifrost 面向生产环境的 MySQL,MariaDB,kafka 同步到 Redis,MongoDB,ClickHouse,StarRocks,Doris,Kafka 等服务的异构中间件
Pika hot key 分析		#1691 #2169		todo：hot key

5 云原生

Item	Priority	Issue/Pr	Owner	Description
	马鑫外部推进，集群注册成功，rebalance 还没做，和珊珊交流做一做看 ，车金鸽、吴显荣内部推进	pika-operator on kubeblocks 现状总结及后续任务、思路	马鑫	Kubeblocks 0.8 已经发布：官方支持 component 多副本，在这个版本支持 pika 缩容
Pika 在 K8s 环境上注册时连接 dashboard 失败	P0	#2160	lcy
feat: pika supports kubeblocks component definition api	P0	#2411	马鑫

todo:

• 1 chengyu 跟马鑫 学习
• 2 原地扩容磁盘可能有问题，chengyu 跟进
• 3 总的 任务 pika-operator on kubeblocks 现状总结及后续任务、思路 #1906

6 high quality(CI/CD) and high usability

Item	Priority	Issue/Pr	Owner	Description
		WIKI 配置信息能否补充大部分场景下的最优配置
tcl 单测跑不过	P0	#1605
test/unit type/hash 单测问题汇总	P0	#1623 #2046, #1605
修复 CI/CD 复制失败逻辑	P0	#2435

todo

• 1 Alice.g 建个 issue，说明如何安全进行主从同步

7 Pika doc

• 文档建设：中文文档少，英文文档没有；
• 网站建设：wiki 搬到了 website；
• readme 建设
• WIKI 配置信息能否补充大部分场景下的最优配置 #2008

Item	Priority	Issue/Pr	Owner	Description
		build a pika website	ningjie