Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

excel重复导入数据,数据没有覆盖 #36

Open
smallcoderhujin opened this issue Apr 16, 2024 · 7 comments
Open

excel重复导入数据,数据没有覆盖 #36

smallcoderhujin opened this issue Apr 16, 2024 · 7 comments

Comments

@smallcoderhujin
Copy link

如题

界面上有个json数据的导入功能,里面是有选项可以覆盖数据的,但是excel导入页面中没有,建议添加此功能

@dingdangdog
Copy link
Owner

Json导入中“覆盖”的意思是删除原来的全部数据,主要是预留给账本(设备)迁移时使用的。excel需要这样覆盖吗???要知道系统并给有提供excel导出的功能。

PS:好久没用到Json导入了,不知道有没有BUG。。。

@smallcoderhujin
Copy link
Author

excel导入看看是否可以将重复的数据直接覆盖

建议将“导入”和“excel导入”再设计下,容易混淆。json导入使用次数比较少,excel导入反而很常用

excel导入很好用,感谢作者

@dingdangdog
Copy link
Owner

excel导入看看是否可以将重复的数据直接覆盖

建议将“导入”和“excel导入”再设计下,容易混淆。json导入使用次数比较少,excel导入反而很常用

excel导入很好用,感谢作者

嗯,很好的建议,确实该重新设计一下了。

至于 重复数据覆盖 的功能,因为已经有了批量删除的功能,所以 重复数据覆盖 的作用在我看来只有防止重复导入这一点;然而如何判断重复数据又比较麻烦,所以这个功能看起来有些”吃力不讨好“,有空再好好考虑考虑吧,暂时不会放太多精力思考这个功能。

@letsgo008
Copy link

可以考虑“交易单号“作为重复判断依据。这个值是唯一的。不过确实重复后如何确定规则有待考虑。我觉得可能主要防止重复导入账单的问题。

现在的设计逻辑没有记录交易单号,所以现在的结构可能还实现不了。

供参考

@VisualSinger
Copy link

感谢开源,挺好的一个项目

目前excel确实会存在重复的订单,例如我导入至今三个月的数据,过一周,我导入一周的数据,中间衔接当天的订单会有重复的可能性

楼上建议的订单号应该是可以规避掉同平台的订单重复的可能性,不确定各个平台是否会有重复订单号
但是不知道数据库是否含有订单号或者流水号
如果有的话,我觉得可以判断订单号、日期、平台,三个纬度,应该可以除去重复订单的问题

供参考

@dingdangdog
Copy link
Owner

dingdangdog commented Jun 14, 2024

感谢开源,挺好的一个项目

目前excel确实会存在重复的订单,例如我导入至今三个月的数据,过一周,我导入一周的数据,中间衔接当天的订单会有重复的可能性

楼上建议的订单号应该是可以规避掉同平台的订单重复的可能性,不确定各个平台是否会有重复订单号
但是不知道数据库是否含有订单号或者流水号
如果有的话,我觉得可以判断订单号、日期、平台,三个纬度,应该可以除去重复订单的问题

供参考

明白你的问题,设计时也想到了该问题,但目前并没有解决该问题的想法。

因为如果想要解决该问题,最简单的解决方案就是存储所有订单号,然后导入时去浪费一些时间进行匹配排除。我个人而言不太想浪费这些存储空间和导入时间去处理该问题。

所以我现在都是按照固定时间间隔去导入数据,比如每周一次或每月一次,通过人为控制时间区间从而去避免重复数据问题。

@VisualSinger
Copy link

VisualSinger commented Jun 14, 2024

感谢开源,挺好的一个项目
目前excel确实会存在重复的订单,例如我导入至今三个月的数据,过一周,我导入一周的数据,中间衔接当天的订单会有重复的可能性
楼上建议的订单号应该是可以规避掉同平台的订单重复的可能性,不确定各个平台是否会有重复订单号
但是不知道数据库是否含有订单号或者流水号
如果有的话,我觉得可以判断订单号、日期、平台,三个纬度,应该可以除去重复订单的问题
供参考

明白你的问题,设计时也想到了该问题,但目前并没有解决该问题的想法。

因为如果想要解决该问题,最简单的解决方案就是存储所有订单号,然后导入时去浪费一些时间进行匹配排除。我个人而言不太想浪费这些存储空间和导入时间去处理该问题。

所以我现在都是按照固定时间间隔去导入数据,比如每周一次或每月一次,通过人为控制时间区间从而去避免重复数据问题。

明白并理解。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants