Réparer les données metabase pour pouvoir faire des jointures sur l'ObjectId

[alice-telescoop]

Sur OVH les userId des logs étaient marquées Object et celles sur visits sont des ObjectId et donc différent des _id de users qui sont des string

Après observation, on ne stocke pas les userId dans les logs à la base. Dans les logs de la prod, quand on a l'info de l'utilisateur, userId vaut {}

Je vous demanderai en daily demain parce que c'est assez facile de remplacer des string par des ObjectId, mais rajouter des id quand on ne les a pas c'est pas si simple

Pistes

pour visits

• à l'import ne plus transformer user._id en string (laisser ObjectId)

pour logs

• faire une migration/commande cli pour remettre les user._id dans les logs passés (à partir du mail)
• s'assurer qu'ils soient sauvegardés à l'avenir (en string sinon pas possible)
• modifier la méthode dumpService.publishStatsData pour aller convertir les userId à ce moment-là

dans tous les cas, à la mise en prod

• vider les collections metabase
• vider la valeur DUMP_PUBLISH_DATE de la table configurations
• refaire le dump

[alice-telescoop]

• mettre les utilisateurs entiers

[alice-telescoop]

Pour le fait que les id soient mal renseignées dans log, je pense qu'on n'a pas de bonne solution : je peux le transformer en string pour que l'info ne soit pas perdue mais elle ne sera pas au bon format dans la table.
Ça vient d'un bug de notre dépendance. J'ai créé une issue chez eux : winstonjs/winston-mongodb#258 mais ils n'ont pas l'air réactifs du tout

[alice-telescoop]

Donc on sauvegarde en string dans les logs et on convertit en ObjectId au moment du dump vers metabase

[alice-telescoop]

Ça marche pas 😢