Criteria API で Stream を返す操作について

[ironclad-15256304]

目的： NativeSql による Stream で大量データを処理したい

相談内容

いつも大変お世話になっております。

私の参加しているプロジェクトでは、それなりに大きなデータに対する一括処理を行いたい場合があります（ Sprig batch を使用）。
そのようなシチュエーションでは、データの取得を Stream で行い、 Iterator で一件ずつデータを処理するような設計とすることでメモリの消費を抑えたいと考えています。

Dao でストリームを返す 場合には普通に取得結果が Stream として返されるようでしたので、 Criteria API の NativeSql でも同じだろうと思い、 stream() を使用してデータの取得を行おうと思っていたのですが、ドキュメントを読み込んでいると フェッチ (Entityql、NativeSql) に下記のような記載がありました。

// The stream method returns results as a stream.
// The following code is equivalent to "entityql.from(e).fetch().stream()"

この記載によると、一旦データを fetch() して、それを stream() で返しているようです。

この違いが生じているのは「 Entityql による重複除外を行うには、一度 fetch しないと正式な結果が返せない」ことからでしょうか？　それとも、単にショートカットとして用意されているだけで深い意味はないのでしょうか。

大量データを処理する場合 SQL の用途が限られるため、動的な処理に強い Criteria API ではなく SQL ファイルで対応しても特に問題はないのですが、 Criteria API で処理可能なものは可能な限り Criteria API で処理したいと考えています。
そのため、リソースをクローズする義務が生じるのは承知の上で、 NativeSql でも取得結果を直接 Stream として返す操作が行えると大変有り難いのですが、そのような操作を実現する方法はありますでしょうか。（ mapStream 等で対応可能なのでしょうか…？）
お忙しいところ大変恐縮ですが、ご回答頂けますと幸いです。

[nakamura-to]

フェッチ (Entityql、NativeSql) の stream() は fetch().stream() の単なるショートカットです。
直接Streamを扱うには mapStream メソッドを使ってもらう必要があります。
Streamを呼び出し元に返すAPIは今のところありません。
mapStream メソッドで実現できないか検討してもらえないでしょうか？リソースのクローズはDoma側で実施するのでこちらが安全です。

[nakamura-to]

mapStreamに関数を渡してもらうことで対応できる可能性もあるのではと思ったのですが無理そうですね。DAOのストリーム検索相当の事ができるように対応したいと思います。

[ironclad-15256304]

返信した後で、 "「mapStream使えばStream返せます」とは一言も言われてないな…" ということに気づきました。失礼しました。

大変お手数おかけして申し訳ございません。ご検討いただき有難うございます！！

[nakamura-to]

#1111 で対応します

[nakamura-to]

2.60.0としてリリースしました。
https://github.com/domaframework/doma/releases/tag/2.60.0

[ironclad-15256304]

返信が遅くなり申し訳ございません。
迅速なご対応有難うございます。非常に助かります！