% Agnes Riviere agnes.riviere@mines-paristech.fr et Karina Cucchi
If you use the documents, the scripts or the methologies decribed in this directory, please cite it as below." Rivière, A., Calibration_LOMOS_mini, https://doi.org/10.5281/zenodo.5877587
This directory contains the documents and instructions for the calibration of the LOMOS-mini sensor described in the publication (https://doi.org/10.1016/j.jhydrol.2017.10.074). All the scripts to obtain the coefficients are also given. A readme allows users to discover step by step all the necessary steps.
- Cucchi, K., Rivière, A., Flipo, N., A. Baudin, A. Berrhouma, F. Rejiba & Rubin, Y. (2018). LOMOS-mini: a coupled pressure and temperature system for local estimations of water and heat exchanges and sediment properties in streambeds. Journal of hydrology, 561, 1037-104. ⟨10.1016/j.jhydrol.2017.10.074⟩.
Les noms des capteurs de pressions doivent tous commencer par un "p". La calibration doit être effectuée selon le protocole suivant protocole_calibration.md. Les données doivent être stockées comme l'indique le protocole
Ces scripts nécessitent l'installation de Rstudio et des packages suivant:
- lubridate
- stringr
- data.table
- dplyr
- tidyverse
- Si vous n'avez pas correctement configurer vos hobos vous devez modifier vos fichiers avant d'utiliser les scripts.
- Il est important que les titres des colonnes des fichiers contiennent les mot : tension, temperature, dates.
- Separateur de champs est la virgule
- le format des dates doit être JJ/MM/AAAA HH:MM:SS ex 22/02/2020 10:00:00
- le noms des fichiers ne doit pas contenir de caractères spéciaux c'est à dire "- 'signe moins",",","é",""",....... *l'entête des fichiers ne doit pas contenir de caractères spéciaux
Il est nécessaire de modifier les paths pour scriptR dans tous les scripts. ex wd=paste0('/home/ariviere/Programmes/calibration_molonari_mini/scripts_R')
"scripts_R" est le dossier contenant tous les scripts pour les traitements et analyses.
Dans ce dossier on fait les analyses des donnees de calibration des capteurs de pression. Les capteurs de pression enregistrent des donnees de tension et de temperature, le but est d'obenir les coefficients de calibration pour transformer tension-temperature en pression differentielle en prenant en compte l'effet de la temperature sur les mesures. Dans l'ordre d'analyse :
"data" est le dossier contenant les donnees enregistrees par les hobos lors des calibrations Le dossier data\1_raw_data\nom_capteur doit etre suivi rigoureusement
1_raw_data contient les donnees telles qu'elles ont ete mesurees
- Creer un répertoire nommé pn°_capteur_annee_mois_jour_UT
ex :pxxx_YYYY-mm-dd_calibUT Les fichiers de la chambre climatique se nomme : pn°_capteur_annee_mois_jour_UT_n° ex: p520_2016-08_UT
- Créer un fichier nommé: pn°_capteur_annee_mois_jour_UT ex : p520_2016-08-03_UT dans lequel les colonnes suivantes sont remplies : nom du fichier d'enregistrement differentiel de charge [cm]
Les colonnes doivent se nommer #,dates,temperature,tension,,,
- Conserver les fichiers hobo et les fichiers csv nommé ex p537_2019_03_12_calibUT_3 pour les trois différences de charge testées.
- Le format des dates est important ex : 1,11/03/2019 10:06:31,202.749,0.07656
- Attention les charges et la difference de charge doivent être en cm
- Un fichier tableau de bords en csv doit être dans ce répetoire sous le noms ex : p537_2019-03-07_UT_tableauDeBord
Ce fichier contient nom du fichier d'enregistrement differentiel de charge [cm]
* nom du fichier d'enregistrement,differentiel de charge [cm]
* p537_2019_03_08_calibUT_1.csv,1.5
* p537_2019_03_11_calibUT_2.csv,-0.2
* p537_2019_03_12_calibUT_3.csv,-1.5
-
Creer un repertoire nommé pn°_capteur_annee_mois_jour_calibUH
- ex: p520_2016-02-22_calibUH
-
Le fichier excel pn°_capteur_annee_mois_jour_calibUH doit contenir 4 colonnes : hauteur droite(nappe), hauteur gauche (riviere), deltaH, tension mesurre (attention pas d'accent). L'entête du fichier doit être rigoureusement
* hauteur droite ,hauteur gauche ,deltaH,tension -
Les données doivent être sous cette forme : . 0.2,0.4,-0.2,1.20147
-
Le fichier extrait de HOBOWARE doit se nommer ex : p537_2019_02_27_calibUH_enregistrement l'ordre est important n° de ligne, date, tension, temperature
- Les sous-dossiers correspondant a des noms de capteurs contiennent les donnees relatives a chaque capteur.
- Chacun de ces sous-dossiers peuvent eventuellement contenir un dossier apoub, qui correspondent a des donnees qui ne sont pas exploitables pour les calibrations.
0_plot_raw.R : ce n'est pas un fichier d'analyse mais il permet de creer les figures des mesures utilisees pour la calibration
Il est important de vérifier que les données sont correctes c'est à dire que :
- il est important d'utiliser le bon format des dates
- le séparateur de champs doit être des virules
- le noms des fichiers ne doit pas contenir de caractères spéciaux c'est à dire "-",",","é",""",....... *l'entête des fichiers ne doit pas contenir de caractères spéciaux
- la droite UH est linéaire et qu'elle comporte des differences de charges négatives et positives.
- Les différences de pression entra la nappe et la rivières sont de quelques centimètres généralement.
- Il est important de faire des mesures tous les centimètres entre -20 et +20 cm puis tous les 5 cm entres -20 et la saturation du capteur et entre +20 et la saturation du capteur.
"scripts_R" est le dossier contenant tous les scripts pour les analyses.
- 1_rawToFormatted.R : cherche les donnees de calibration dans les differents fichiers et met tout sous forme formattee (date-tension-temperature-deltaH par fichier)
- Ce dossier contient les donnees formattees : 4 colonnes (dates, tension, deltaH, temperature)
- Ces donnees peuvent ensuite etre traitees a la main pour regler les eventuels problemes (filtrage des series en chambre, reglage de l'offset).
- A l’issue du script 1_rawToFormatted.R l’ensemble des données sont enregistrées dans le dossier 2_data_formatted, sous une forme homogénéisée. Il est maintenant possible de faire quelques modifications sur les données, si nécessaire. Plusieurs types de modifications peuvent être envisagées :
- S’il y a un problème dans l’enregistrement, on peut enlever à la main la partie problématique ou tronquer l’enregistrement. Les plots dessinés par 0_plot_raw.R sont ont été conçus pour aider cette étape.
- Dans ce cas, noter les modifications effectuées à la main dans un fichier texte intitulé modifications.txt et enregistré dans le même dossier que les données formatées.
- Enregistrer les nouvelles données dans un fichier du même nom suivi de "_modif".
- Filtrage du signal enregistré dans la chambre climatique. Une régression linéaire de la tension enregistrée est calculée pour chaque pente de température. Le script 2_filterClimaticChamber peut être utilisé pour les régressions linéaires. Suite à cette étape, les noms de fichiers se terminent par "flt.csv".
- 1bis_filterClimaticChamber.R
- filtre les données prises en chambre climatique. A partir des séries de la chambre climatique, ce script décompose les variations de température en périodes de variations linéaires et effectue un fit linéraire du signal de tension correspondant.
- enregistre les coefficients des calibrations U-T dans calib/[capteur]/intermediate
- sortie fichier filtré
- 1bis2_arrangeOffset.R : pour certains capteurs, arranger l'offset des series U-T de maniere a recaler avec la relation U-H
- Le numero du capteur doit être indiqué dans l'entete du fichier ligne 8 ex: sensor = 'p3'
- 1ter_plotFormatted.R
- plot les séries correspondant aux données dans 2_formatted_data et enregistre dans plots/
- 2_formattedToProcessed.R : script qui prend les donnees dans 2_formatted_data, les rassemble dans un seul fichier enregistre dans 3_processed_data.
- processedToCalib.R : script lisant les données processées et effectuant les calibrations. Il fait les calibrations U-H enregistrees dans calib/[capteur]/intermediate UHT (finales) enregistrees dans calib/[capteur]
- 2bis_plot_processed.R : plot les séries correspondant aux données dans 3_processed_data et enregistre dans plots/
-
3_processed_data contient un fichier par capteur avec toutes les donnees qui vont servir aux relations lineaires de la calibration. Le but de cette premiere etape est de mettre de cote les donnees qui ne seront pas exploitables pour les calibrations.
-
"calib" contient les fichiers de resultat de la calibration. Ces fichiers suivent un format bien defini et sont ensuite lus par les scripts treat_molonari_mini_field pour transformer les mesures tension-temperature en pression differentielle.
- errorAnalysis.R : script qui fait l'etude des erreurs et qui met en evidence l'erreur faite si on neglige l'effet de la temperature
- plotCoefsCalib.R : script qui trace les coefficients des pentes U-T en fonction des capteurs et des differentiels de pression.
- UvsT.R : script qui trace les series tension-temperature
- plot_field_checkCalib.R : compare les séries de pression sur le terrain, avec et sans la compensation en température