Spirng boot+mybatis 批量写入慢

[a3225167]

最早用的是phoneix+hbase，写入速度性能还是挺不错的。
现在换成的doris，数据的批量写入比较慢。
有什么优化的方案吗？ 是否不能用mybatis 需要使用原始的jdbc呢？

[zy-kkk]

Spirng boot+mybatis方式以及原始JDBC方式都不推荐，相当于大量的insert into放到doris进行，这种效率是极低的，而且会引起-235问题，我们建议采用stream load方式来进行对doris的写入，而Spirng boot+mybatis可以对Doris进行查询，以及少量的改和删
stream load demo：https://github.com/apache/doris/blob/master/samples/stream_load/java/DorisStreamLoad.java

[sollhui]

但是现在streamLoad又遇到了新的问题，就是header里的columns这一项该如何描述 表中的某一列（比如column_u）是由源文件中几列（比如A，B，C）拼接而来的？
是column_u=CONCAT（A,B,C）？
还是A+B+C？

这里是column_u=CONCAT（A,B,C）

拼接的时候要是再有个下划线咋算/

这个地方没看懂，能不能举个例子呢？

[liaoxin01]

MySQL [test]> desc tbl;
+-------+------+------+-------+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+------+------+-------+---------+-------+
| c1 | INT | Yes | true | NULL | |
| c2 | INT | Yes | false | NULL | NONE |
| c3 | TEXT | Yes | false | NULL | NONE |
+-------+------+------+-------+---------+-------+

cat aa
1,2,ab,cd,ef

curl --location-trusted -u "root:" -T aa -H 'column_separator:,' -H "columns:c1,c2,A,B,C,c3=CONCAT(A,B,C)" http://127.0.0.1:8030/api/test/tbl/_stream_load

MySQL [test]> select * from tbl;
+------+------+--------+
| c1 | c2 | c3 |
+------+------+--------+
| 1 | 2 | abcdef |
+------+------+--------+

[flyzyh]

感谢两位大佬回复
我的拼接内容是包含下划线的，就是column_u=A_B_C，拼接再加上下划线，还要用shell的curl，就有点恶心了。
还是感谢大佬

[liaoxin01]

带下划线，可以使用CONCAT_WS函数
curl --location-trusted -u "root:" -T aa -H 'column_separator:,' -H "columns:c1,c2,A,B,C,c3=CONCAT_WS('_', A,B,C)" http://127.0.0.1:8030/api/test/tbl/_stream_load

MySQL [test]> select * from test.tbl
+------+------+----------+
| c1 | c2 | c3 |
+------+------+----------+
| 1 | 2 | abcdef |
| 1 | 2 | ab_cd_ef |
+------+------+----------+

你也可以不用shell的curl，使用各种编程语言都可以，按照这种api去写就行

[flyzyh]

谢谢大佬。
之所以考虑用shell，是因为公司对代码有审计，但是对curl的脚本就宽松一些。
我们现在就是用insert操作的，已经绕过了这些问题，代价就是稍有改动特别麻烦。