202306017 周会纪要 #1626

yaoyinnan · 2023-06-17T10:59:51Z

yaoyinnan
Jun 17, 2023

1 单机

P0 CI/CD
P0 数据同步
- rsync 去除，添加新的主从同步机制 rsync 进程去除，全量同步功能设计 #1228
  - 0506 新 issue 重构数据同步迁移系统，剥离rsync #1393
  - 0513 数据传输正确性，断点续传；
  - 0527 tanruoling 跟进
  - 0603 阻碍 raft 进展，需要在 6.24 前完成，
  - 0603 rsync 进程包协议和 pika 协议不兼容，如果能找到第三方协议兼容的 rsync 进程包的话也可以直接用
    - 第一个方案：找第三方 rsync 兼容的包，这是最快的方案。基于 rsync，由于 Pika 没有 e2e 测试，难易测试，简单测试的话可以模拟场景，需要有一个测试框架。
      - 需要调研 redis 等的 e2e 测试。
      - 单元测试需要有。
    - 第二个方案：pika 垃圾回收时把 rsync 进程清理掉，这个操作不可行。
    - 第三个方案：自己的网络库实现一套，一个月内较难替换。
  - 0610 openrsync 改成了lib包，下周接到pika，后续开始测试
    - TODO: 测试 openrsync 和 rsync 的命令的参数怎么传；
    - Tanlin：是否将整个 openrsync 代码提交，有一个头文件用脚本文件生成。确认是否用 CMAKE 去拉取，然后运行脚本生成文件，再进行打包
  - 0617 ruilin 已经改成 cpp 能调用的了，月财在测，在熟悉pika中使用rsync，月财出一个方案
    - 替换相对简单，测试复杂
- pika 实例硬盘容量满，清理数据后，pika仍然保持错误的状态，需要重启才能恢复 #1150 刘振：pika 实例硬盘容量满，清除数据后，pika仍然保持错误的状态，需要重启才能恢复，方案：在辅助线程里增加容量检查
  - 复旦的 yang shi xi 同学领走【手头还有别的工作，干完在实现这个功能】
- 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点 #1001 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点：没有有效回复
  - 0527 lyc 负责：开发中，待和 Pika 对接测试
  - 0603 codis sentinel 改完了，pika 一些命令还在适配，适配完主从就可以用了
  - 0617 提交在，内部测试，需要后面进行集成测试
P1 多平台支持
- 支持 windows：Port pika to windows platform #1437
  - 0506 kangjinci 同学 own ，已经初步提交一个 pr fix: refactor pstd_mutex #1440
  - 0513 主要目标是在保证 C++17，不要把 Pika 搞的很复杂
  - 0520 对代码侵入性大，暂时不继续推进windows支持
P1 性能调优
- ttl 和 version 溢出：meta version conflict in heavy set/delete workload #1333
  - 0617 henshui：rocksdb不好处理该问题，等raft成熟后再解决
    - 子问题：4字节时间戳 src/storage 数据格式升级，可能对性能有影响
    - henshui：metavalue 判断下
P2 RocksDB henshui
- src/storage 数据格式升级
  - 0617
    - henshui：代价较大
    - yuyu：考虑 4.0 进行升级，不向下兼容 3.5 Pika 4.0 Suggestions #1636
    - yinnan 列issue，4.0需要做的事
    - chenlei：建议可以4.0 / 5.0 再考虑新引擎，之后再讨论分析一下放在哪个版本做
- 动态配置sst文件大小：动态配置sst文件大小 #1129 chuande
  - 0429 可参考 pr https://github.com/OpenAtomFoundation/pika/pull/1134/files
  - 0520 chuande own
  - 0527 chuande 跟进
  - 0603 https://github.com/OpenAtomFoundation/pika/pull/1574（待处理）
- P2 Pika on S3：[GitLink] Pika 在 AWS S3 上存储数据 #1438 henshui
  - 0408 henshui 说 Pika 可改成 share disk 架构 @Tangruilin ；henshui 觉得开发难度大，且用户切换的难度比较高；
  - 0506 ruiilin 提供指导，sacloudy 王若添 own
  - 0520 若添继续跟进
  - 0527 常远跟进，ruilin指导
  - 0603 常远编译了 rocksdb-cloud，缺少 AWS 账号，junhua 提供，拉群讨论
  - 0617 解决了上次提到rocksdb-cloud无法访问MinIO的问题，总结了rocksdb-cloud的使用方法。
    计划之后和瑞麟老师（他最近比较忙）讨论一下，是继续基于rocksdb-cloud设计方案，还是参考curve不使用rocksdb-cloud的设计方案
    rocksdb-cloud底层生成的存储文件（MANIFEST等）与pika底层存储文件有些冲突
  - 0617 拉ruilin chenlei进群会后讨论
P2 Pika 兼容 Redis
- redis API: role：redis API: role #902
- Pipeline 功能改进：咨询问题pipeline #935 李浩
  - 0429 李浩负责验证推进
  - 0506 李浩继续跟进
  - 0520 提问者未回复，不再跟进
- blpop brpop 命令支持：redis API: support brpop, blpop #114 陈俊华
  - 0228 @Tangruilin
  - 0506 @cheniujh
  - 0520 俊华在写，继续推进
  - 0603 提了PR feat: support blpop/brpop #1548 待CR
  - 0610 RpopLpush 存在并发的问题：RpopLpush命令主从同步不一致 #1608
  - 0617 1.brpop/blpop的pr缺review(目前只有水哥review过），rpoplpush的同步问题已经提了pr
- pika支持MULTI和EXEC事务 Pika 支持 Redis 事务 #1446 李浩
  - 0429 李浩领走该 task
  - 0527 代码待测试
  - 0603 明天提一下初步 PR，CR一下再完善
  - 0617 henshui 提了建议，在解决中
- redis API: support commands_duration_seconds_total：redis API: support commands_duration_seconds_total #977 吴显荣
  - 0603 参考 todis 对命令耗时的监控，https://github.com/topling/todis
- zset range delete performence sucks：redis API: zset range delete performence sucks #1119 吴显荣
  - 0429 吴显荣 Mixficsol 领取该任务
  - 0506 有待继续推进
  - 0527 [跟进进度]
  - 0603 后续继续推进
- hashtable field：set field ttl on Pika hashtable/zset field #1485 李浩
  - 0520 李浩还在做
  - 0603 暂时搁置，后面继续
- support lastsave redis API: support lastsave #1161 车金鸽
  - 0429 cjg
  - 0527 方案调研中
  - 0603 暂时搁置，看其他同学感兴趣可以领走
- pika 数据一致性校验：pika有数据一致性校验工具吗？ #1175
  - 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。
  - 刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
  - 0429 yuyu
  - 0527 待认领
  - 0617 lqx 之前加了一个提示，让用户再去执行 info 查一次
- 支持 ACL，可参照 Redis 进行权限控制：Pika 支持 ACL 多租户功能 #1284 lqx（gitlink）
  - 0429 lqx
  - 0506 lqx 继续推进
  - 0520 lqx 参考redis实现
  - 0527 lqx 担任导师，指导其他同学跟进
- redis常见module支持：Pika 支持 Redis 常见 module #1220 赵昊（gitlink）
  - 0429 lqx
  - 0506 赵昊 ptbxzrt own
  - 0527 最近比较忙，和常远一起跟进（导师联系下）
    - 常远难点：不太熟悉C++，需要导师协助（李浩、瑞麟指导）
- admin能力支持，单机，基本的建表模型，观测/管理/配置修改：admin能力支持 #1221 lqx
  - 0429 lqx
  - 0520 lqx 原本部分已经支持了，先梳理一下需要支持的功能
  - 0603 继续梳理讨论需要支持的功能
  - 0610 会后继续讨论
  - 0617 暂时搁置
- scan 命令不支持 type 参数：scan 命令不支持 type 参数 #1517 赵昊
  - 0603 赵昊跟进，https://github.com/OpenAtomFoundation/pika/pull/1582（合并）
- redis兼容命令type：redis兼容命令type #1541 李浩
  - 0610 已提交 PR：https://github.com/OpenAtomFoundation/pika/pull/1586（未合并）
  - 0617 待补充文档
- rpushx 提示参数不对：rpushx 提示参数不对 #1521 李浩
  - 0610 已提交PR：https://github.com/OpenAtomFoundation/pika/pull/1525（未合并）
- rpop 提示参数不对：rpop 提示参数不对 #1520 iSuperCoder
  - 0610 分配给刘绍
  - 0617 在看pika代码，梳理思路
- ttl 命令返回值不对：ttl 命令返回值不对 #1519
  - 0610 未复现问题，关闭
- client kill 命令返回值不对：client kill 命令返回值不对 #1518
  - 0610 未复现问题，可以关闭
- 支持redis stream：Feature: Pika Stream #1584
  - 0610 分配给周开颜
  - 0617 yuecai 拉个群跟相关人交流下，assign yuecai Feature: Pika Stream #1584
- 完善 config 返回的参数：完善 config get 返回的参数 #1593
- 支持 Command Docs 命令：支持 COMMAND DOCS 命令 #1592
- Pika 主从同步时校验 master 的 run_id 信息：Pika 主从同步时，进行 master run_id 的检验 #1591
- RpopLpush命令主从同步不一致：RpopLpush命令主从同步不一致 #1608 俊华
  - 0617 俊华提交 PR Fixed the RpopLpush's replication problem between master and slave #1616
- 执行slaveof no one和compact命令会没有返回参数卡死：执行slaveof no one和compact命令会没有返回参数，卡死 #1621 laimuxi
  - 0617 laimuxi提交PR [fix issue1621] fix deadlock #1620
P2 依赖库

2 集群

codis 维护 maxin，yuecai
- codis: support hash range instead of slotnum #1294 在 codis 下支持 hash 而非 range
- codis : support etcd/local storage instead of zk #1295 codis 下支持 etcd
- pika: behind codis, pika should support raw command instead of redis command #1296 在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作。
- pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本 #1195 用户：pika3.3.6单机主从架构多db如何做数据迁移到codis+pika分片版本。我修改了codis和pika的默认slot，我5台物理机，将slot修改为了128，目前运行下来比较稳定，最开始使用1024个slot，性能很差，还经常timeout。
  - 0527 正在开发 Pika 的 classic+codis 的集群模式
  - 0603 开发完了，pika适配完命令做测试，https://github.com/pikiwidb/pika/pull/29 待CR和功能测试
使用 65280 slots 替换默认的 1024 slots：can someone pls provide the instructions to update codis to use 65280 slots instead of default 1024? #1609

3 可观测性

Info
- 完善info日志输出：完善日志输出--debug #1568
  - 0603 Pika 线上运行的时候，打印的日志太少了，不太好排查问题。比如主从同步。
Metrics
- 0401 目前重要的任务就是添加 RocksDB 的观测性指标
- 0408 baitao 继续基于 exporter 进行相关工作；baitao 老版本的 exporter 2.0 的指标在 exporter 3.0 中没有了，不保证支持
- pika观测性支持 #1218 一些的可观测性建议
- integrate pika_exporter into pika repo #1336 把 exporter 合入 pika repo
  - 0408 尚未合入
  - 0415 目前baitao还在doing 相关工作
  - 0429 liuyuecai & cjg 一块 review build: add pika_exporter to pika #1388 需要清楚观测了哪些指标
  - 0520 已合并，后面检查metrics全不全，yuecai 后续与 henshui、chuande 交流讨论，整理文档
  - 0527 胤楠梳理了 Pika 常见的 Metrics 指标，待讨论：Pika 需要哪些必要的 Metrics 指标？ #1549
- 增加 RocksDB Metrics API：pika_exporter: add RocksDB metric API #1565
  - 根据 chuande 的建议，提供一个 API，以供开发者获取指定 RocksDB 指标
- 增加 RocksDB Column Family Metrics（CFStats）：Add RocksDB column family metrics #1566
  - 目前未显示 CFStats Metrics，需要支持，但测试发现获取不到，还需要人跟进
  - 0610 分配给 baitao
Logging
Tracing
- P3 接入 OpenTelemetry hongfan

4 工具集

P3 基于 ldb 命令，做一个工具，分析 sst 文件 ruilin
P3 Pika-migrate 代码在 v3_2_7_migrate
- pika有数据一致性校验工具吗？ #1175 用户：pika有数据一致性校验工具吗？尝试使用 redis-full-check工具好像不行。刘振：ok，要解决这个问题需要对pika的keyspace的返回格式进行修改了。
- rocsksdb: support sst ingest file import #1292 把数据转换成 sst，然后导入 Pika。
codis 点对点数据迁移：codis: support migrate-tools #1302 baitao
- 0408 baitao 负责，在 codis 之上完成该任务
- 0506 baitao 看能否迁入 https://github.com/OpenAtomFoundation/pika/tree/unstable/pika-tools ，基于阿里的 redis-shake 魔改，相关系统已经放入 pika wiki
- 0520 内部 codis 版本好像是 Pika 3.2
  - 已合并PR，Add codis2pika to pika #1510 #1514
  - 只支持codis集群导入经典模式（redis to pika），后面继续支持原有sharding模式导入经典模式

5 云原生

P1 maxin贡献的主从 operator
- 0516 没有稳定的 docker 镜像，先搞一个 helm，helm 是标准，后续再继续推进
- 0603 有些 e2e 可以基于 operator 去做，比较方便
- 0617 maxin 建议关注 kubeblock，比较成熟
P1 docker maxin 、yinnan
- please update newest pika docker image in docker hub #1163 用户：the image in https://hub.docker.com/ is too old.
- 0527 等待下一个 Release 上传稳定版本的镜像

6 质量建设

P0 单测
- 单测刘振已经提交了 pr test: add redis test #1357 baitao，maxin，常顺宇
  - 0415 需要刘振继续验证
  - 0429 显荣推荐，可以借鉴 https://github.com/jianqingdu/kedis/tree/master/tests
  - 0506 老 pr 已经 merge，看怎么集成进 github action ci
  - 0520 baitao，常顺宇后面微调一下，让ut跑起来，add unit test start up script #1538
  - 0527 目前已经能跑单测，其他任务待跟进；待加上单测相关的 CI；
    - 0610 https://github.com/OpenAtomFoundation/pika/pull/1604（待合并）
    - 0610 任务拆分：Unit Test To-Be-Fixed List | 单元测试待修复列表 #1605
  - 0617
    - maxin：拆开了任务，分出去去做了，可以在群里说一下，大家一起做一下
    - hao 测试了string，在了解 geo
- pika: 差异化命令类型API 单元测试用例。增加针对 pika 独有的命令的ut：pika: 差异化命令类型API 单元测试用例 #1257
  - 0520 部分命令不完全对应，需要整理差异，wiki有几年前的一个列表供参考：https://github.com/OpenAtomFoundation/pika/wiki/pika-%E5%B7%AE%E5%BC%82%E5%8C%96%E5%91%BD%E4%BB%A4
  - 0603 baitao 提了PR fix unit test:type/set #1577 ，待CR，maxin CR 这个 PR 完列一个列表
  - 0603 hao 和 baitao、maxin 联系
  - 0617 合并到与单测任务一起，中止跟进
P1 集成测试 yuecai ruilin
- 0520 yuecai 提单独仓库做 https://github.com/pikiwidb/pika/pull/1
- 0603 需要增加 e2e 测试框架，ruilin 跟进
clang-tidy 李浩
- 0617 二期处理一些后续需要做的任务，先列一个issue
tests/unit/auth.tcl单元测试空密码测试与错误密码测试冲突：tests/unit/auth.tcl单元测试空密码测试与错误密码测试冲突的问题 #1622 黄麒浩
maxmemory相关，建议删除：[Unit Test] maxmemory相关，建议删除 #1624 baitao
- 0617 PR：[Unit Test]fix: maxmemory.tcl & printver.tcl #1624 #1625

7 社区

7.1 OSPP 开源之夏

活动相关
- 链接：https://summer-ospp.ac.cn/org/orgdetail/7e52ef27-ff02-457d-9bc3-cdb9c8b69cef?lang=zh
- 4.29~6.4 学生注册，导师沟通项目，提交项目申请
- 6.5~6.25 项目申请审核
- 6.26 中选公示
- 6.26~6.30 项目开发预热
- 7.1~9.30 项目开发
- 10.1~10.31 结项审核-PR/MR 合并与导师审核
- 11.1~11.8 结项审核-组委会成果审核
- 11.9 结项公示
- 11月优秀学生评选

Pika 实现 Raft 集群：[OSPP] Pika 实现 Raft 集群 #1444
- 赖沐曦，braft，先把brpc替换掉，已经写了部分申请书，后面继续跟ruilin沟通
  - 0603 提交了申请书
- 陆安璞，后面继续跟ruilin沟通
  - 0603 提交了申请书
  - ruilin 修改陆安璞的设计文档； laimuxi 已经给出设计文档
  - 于雨: 高优先级，可以 2~3 个同学参加
Pika 支持 Lua 脚本并引入 LuaJIT 解释器：[OSPP] Pika 支持 Lua 脚本并引入 LuaJIT 解释器 #1445
- 李超群，跟ruilin沟通过，先看一下 redis 2.0 支持实现方式（曾支持lua），看pika数据结构，需要提一个测试方案，下周之前交申请书初版
  - 不参加了
- 冯智森，redis使用的是原生的lua接口，tx 使用一些库在lua中调用pika的，通过库导出到lua层，需要做解析的客户端。Pika目前还不支持事务，后面配合支持
- 0520 冯智森给大家讲解lua相关分享
- 0527 超群、智森的设计文档已经给出，待导师审核；待处理问题：文档未提到C++如何适配C
- 0603 智森提交了，调研 redis 2.6 lua 实现，内部用 lua官方接口，跟lua虚拟机交互，pika代码是c++的，最好使用一个第三方库来兼容cpp oop特性，比如https://github.com/trumanzhao/luna 调研一下最终用哪个repo。
- 0610 将 redis 侧相关代码迁移过来。
- 0617 在移植lua的三方库
Pika 支持 Redis 事务：Pika 支持 Redis 事务 #1446
- 李浩，目前在推进
  - 0603 代码大概写完了个框架，提一个CR后继续做。
- 孙建钊，方案已经设计，代码写了一半
  - 0527 代码已写完，待测试
  - 0603 有事未参加周会，进展不知，cjg跟进（确定李浩跟进）
  - 0610 方案已收齐，代码 review

7.2 GitLink 开源夏令营

活动相关
- 链接：https://www.gitlink.org.cn/glcc/apply/projects
- 6.21 学生提交 Proposal
- 7.1 公布入选学生
- 7.1~8.11 研发第一阶段
- 8.20 中期考核
- 8.21~9.28 研发第二阶段
- 10.11 结项考核
- 10.22 颁奖

Pika 支持 Redis 常见 module：Pika 支持 Redis 常见 module #1220
- 宁常远 & 赵昊
- 0527
  - 常远：最近比较忙，和常远一起跟进（导师联系下）
    - 难点：不太熟悉C++，需要导师协助（李浩、瑞麟指导）
  - 赵昊：感觉工作量很大，比如，兼容redis json，要实现所有的api；先跟进，看看能实现到什么程度
- 0603 单纯的module加载应该还好，我还在仔细看redis module加载的一些细节。难点可能还是后面API的兼容问题。
- 0610 赵昊同学不能跟进，待其他同学认领
Pika 在 AWS S3 上存储数据：[GitLink] Pika 在 AWS S3 上存储数据 #1438
- 王若添
- 0527 宁常远跟进，ruilin 指导
  - 问题：rocksDB cloud 没有人维护，需要评估下，再确定方案
  - 工作量比较大，有适配工作，等确定了方案再来拆分工作
- 0603 宁常远编译 rocksdb-cloud，缺少 aws 账号
- 0610 用本地存储代替S3，尝试用 IO 代替 S3，熟悉了使用，替换可行；使用 rocksdb cloud 改为 IO 有问题，还在跟进中；确认是否要用 rocksdb cloud 搞，目前这个没有维护，确认下是否有别的方案；基于 rocksdb 来实现来做；两周内给出方案，希望找一些文档；
  - 于雨：目前就 rocksdb cloud 比较合适
配合 Sentinel（哨兵）实现 Pika 自动容灾：配合 Sentinel（哨兵）实现 Pika 自动容灾 #1529
- 顾辰枫，后面梳理思路
- 0527 待跟进
- 0603 杨世禧，跟进先看一下redis sentinel 和 pika 兼容稳定性差的问题
- 0610 杨世禧，研究了一下 redis sentinel 的原理和代码实现，准备开始验证 sentinel 和 pika 的兼容性并定位问题
Pika 支持 ACL 多租户功能：Pika 支持 ACL 多租户功能 #1284
- 0527 lqx 来指导新人来做
- 0603 姚思远想接一下
- 0610 俊华想参加，确认思远是否继续参加
- 0617 俊华思远在了解
Pika 实现乐观锁功能：Pika 实现乐观锁功能 #1550
- 0527 陈品烨黄麒浩
- 0610 品烨熟悉 pika 代码，wiki 内容过时和错误；麒浩熟悉 Pika 代码
- 0617 麒浩继续推进

7.3 members

Name	GithubID	Task	PR	Description
于雨	AlexStocks	#1175		pika数据一致性校验工具
李浩	ForestLH	#1303	#1515	在 cmake 中加入编译时候的静态分析告警
车金鸽	chejinge	#1333
车金鸽&刘月财	chejinge luky116	#1336 #1230 #1288	#1388	添加pika-exporter，调研清楚Pika需要哪些观测指标
车金鸽	chejinge	#1070		支持 SYNC/PSYNC/PSYNC2
车金鸽	chejinge	#1161		支持 lastsave
lqx	lqxhub	#1284		支持 ACL
赵昊	ptbxzrt	#1220		redis常见module支持
lqx	lqxhub	#1221		admin能力支持，单机，基本的建表模型，观测/管理/配置修改
吴显荣	Mixficsol	#1119		zset的范围删除的性能不好
李浩	ForestLH	#935		支持pipline
陈俊华	chenjunhua	#114		支持 brpop, blpop
王若添	sacloudy	#1438		Pika On S3
hongfan	georgehao	#1227		redis smart client的兼容
顾辰枫	ChanphongGu	#1228	#1250	rsync 进程去除，全量同步功能设计
张诗语	Joeyzsy	#1393		重构数据同步迁移系统，剥离rsync
陈柏韬	chenbt-hz	#1302		codis 点对点数据迁移
kangjinci	4kangjc	#1437		Pika 支持 Windows 平台
周开颜				研一，华东师大-软工，CS 做内存数据库

人员列表

Name	GithubID	Desc
李浩	ForestLH	华科
lqx	lqxhub	上海游戏公司
赵昊	ptbxzrt
吴显荣	Mixficsol	学生
陈俊华	chenjunhua	重邮
王若添	sacloudy
顾辰枫	ChanphongGu	福大
张诗语	Joeyzsy	北邮
baitao	chenbt-hz	hzgt
冯智森	A2ureStone	深哈工大
康锦赐	4kangjc
赖沐曦	iiiuwioajdks
chuande		zksg
陆安璞	Brokenice0415	南京大学
宁常远	longfar-ncy	南京航空航天大学
王立强
孙建钊	sjz-hub	北京邮电大学
黄麒浩		广州大学，研一
陈品烨		华南理工，研一，熟悉C++，win开发
高鑫磊（渔郎）		开放原子峰会了解到pika

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

202306017 周会纪要 #1626

{{title}}

{{editor}}'s edit

{{editor}}'s edit

Replies: 0 comments

Select a reply

202306017 周会纪要 #1626

yaoyinnan Jun 17, 2023

1 单机

2 集群

3 可观测性

4 工具集

5 云原生

6 质量建设

7 社区

7.1 OSPP 开源之夏

7.2 GitLink 开源夏令营

7.3 members

人员列表

Replies: 0 comments

yaoyinnan
Jun 17, 2023