pika354业务侧测试性能提升效果

[orangesapor]

场景

搜索统一推荐，业务侧只有mget类型命令，由于业务反馈老实时失败率一直处理30%左右，对于整个推荐耗时难以接受

业务侧失败率计算：超过35ms 则认为失败

机器规格： CPU 16core, 20GiB 内存, 500GiB 磁盘

原理

我们可以引入一种高效的优化策略，以提升用户访问效率，特别是针对访问频繁的 "热点 key" 进行优化。在执行 MGET 操作时，该策略首先访问缓存，记录命中的 key-value 对；对于未命中的 key，将其记录并从数据库（DB）查询相应的值。查询完成后，合并从缓存和数据库获取的数据，按照原有顺序返回给用户，并将数据库查询得到的数据更新至缓存。这样可以显著减少磁盘 IO 操作。下面详细描述该流程：

1. 缓存访问：首先查找缓存，并将命中的 key-value 对记录下来。
2. **记录缓存未命中的 key：对未命中的 key 进行记录，以便后续进行数据库查询。
3. **数据库查询：针对缓存未命中的 key，从数据库中获取相应的值。
4. **数据组装：将从缓存和数据库中获取的数据按照原有的 key 顺序进行合并组装。
5. **结果返回：将组装后的数据返回给用户，同时将从数据库查询到的值更新到缓存。

这种优化方案能够有效减少磁盘 IO 操作，提高系统的访问效率和性能。查询及更新数据的流程图如下所示：

缓存情况

info cache 缓存和命中率情况
10.192.51.245:25482> info cache

# Cache
cache_status:Ok
cache_db_num:8
cache_keys:12262599
cache_memory:5368709641
cache_memory_human:5120M
hits:34677314
all_cmds:68966333
hits_per_sec:38352
read_cmd_per_sec:68074
hitratio_per_sec:56.34%
hitratio_all:50.28%
load_keys_per_sec:0
waitting_load_keys_num:0

命中率差不多56%左右

效果图

老版本pika336业务侧失败率图

非nvme盘 cpu:40c 内存256g flash盘

新版本添加缓存并且mget支持效果图

非nvme盘 cpu:40c 内存256g flash盘

nvme盘 cpu:96c 内存756g ssd

总结

• 1、新老版本直接性能提升至少20%左右；
• 2、nvme盘和flush盘直接又相差了2%左右
• 3、对于敏感业务侧推荐使用nvme盘