2.12.0 - Cyathea borbonica 🌴

⏩ En bref

• Affichage agrégé des observations dans la Synthèse (performances et lisibilité) (#1847 et #1878)
• Filtres par défaut dans la Synthèse (#2261)
• Optimisation des performances des exports de la Synthèse (#1434)
• Optimisation du chargement des jeux de données dans le module Métadonnées pour en améliorer les performances (#2004)
• Intégration par défaut de Taxref v16, BDC statuts v16 et référentiel de sensibilité v16
• Possibilité de gérer les tables des applications mobiles et des modules depuis le module "Admin"
• Configuration dynamique sans rebuild (#2205)
• Centralisation de la configuration des modules dans GeoNature (#2423)
• Historisation des suppressions dans la Synthèse, nécessaire pour GN2PG notamment (#789)
• Réorganisation des dossiers pour simplifier la customisation et les mises à jour (#2306)
• Stabilisation de la dockerisation (#2206)
• Refactorisation d'Occhab, module de référence et documentation développeurs associée
• Refactorisation des permissions (simplification, optimisation, centralisation, performances, tests)
• Mise à jour d'Angular en version 15 (#2154)

⚠️ Notes de version

Si vous mettez à jour GeoNature :

• Si vous utilisez des modules spécifiques (hors Import, Export, Dashboard, Monitoring), vérifiez qu'ils disposent d'une version compatible avec GeoNature 2.12 (compatibilité Angular 15, révision des permissions, configuration dynamique)
• Si vous les utilisez, mettre à jour les modules Import en version 2.1.0 (ou plus), Export en version 1.4.0, Dashboard en version 1.3.0 (ou plus) et Monitoring en version 0.5.0 (ou plus) avec la nouvelle procédure consistant uniquement à télécharger, dézipper et renommer les dossiers des modules et de leur configuration
• Mettez à jour TaxHub en version 1.11 (mais pas une version superieure)
• La vue gn_synthese.v_synthese_for_export définissant la structure et le contenu des exports de la Synthèse a été modifiée pour être optimisée. Si vous l'aviez customisée, reportée vos modifications manuellement après la mise à jour de GeoNature
• Suivez la procédure de mise à jour classique de GeoNature (https://docs.geonature.fr/installation.html#mise-a-jour-de-l-application)
• Le script migration.sh se charge de déplacer automatiquement les différents fichiers suite à la réorganisation des dossiers (customisation, médias, mobile, configuration centralisée des modules)
• Les médias (incluant les fichiers d'Occtax-mobile) sont déplacés dans le dossier backend/media/
• Il n'est plus nécessaire de rebuilder le frontend ni de recharger GeoNature manuellement à chaque modification de la configuration de GeoNature ou de ses modules
• Les taches automatisées sont désormais gérées par Celery Beat et installées avec GeoNature. Si vous aviez mis en place des crons pour mettre à jour les profils de taxons (ou les données du module Dashboard, ou les exports planifiés du module Export), supprimez les (dans /etc/cron.d/geonature ou crontab -e) car ils ne sont plus utiles
• Il est fortement conseillé d'utiliser la configuration Apache générée par défaut dans /etc/apache2/conf-available/geonature.conf et de l'inclure dans votre vhost (/etc/apache2/sites-available/geonature.conf et/ou /etc/apache2/sites-available/geonature-le-ssl.conf), en suivant la documentation dédiée
• Si vous aviez customisé la page d’accueil de GeoNature en modifiant les composants frontend/src/custom/components/introduction/introduction.component.html et frontend/src/custom/components/footer/footer.component.html ceux-ci ont été supprimés au profit de paramètres de configuration. Il vous faut donc déplacer votre customisation dans les paramètres TITLE, INTRODUCTION et FOOTER de la nouvelle section [HOME] de la configuration de GeoNature.
  Vous pouvez renseigner du code HTML sur plusieurs lignes en le plaçant entre triple quote ("""<b>Hello</b>""").
• Les paramètres de configuration suivants ont été supprimés et doivent être retirés de votre fichier de configuration (config/geonature_config.toml) s’ils sont présents :
  • LOGO_STRUCTURE_FILE (si vous aviez renommé votre logo, déplacez le dans geonature/custom/images/logo_structure.png)
  • UPLOAD_FOLDER (si vous l’aviez déplacé, renommez votre dossier d’upload en attachments et placez-le dans le dossier des médias (geonature/backend/media/ par défaut, paramétrable via MEDIA_FOLDER))
  • BASE_DIR
• Occtax et champs additionnels :
  • Les champs additionnels de type bool_radio ne sont plus supportés.
    Si vous utilisiez ce type de widget dans vos champs additionnels d'Occtax, ils seront automatiquement remplacés par un widget de type radio.
    Vous devez changer le champs field_values sur le modèle suivant : [{"label": "Mon label vrai", "value": true }, {"label": "Mon label faux", "value": false }].
  • Les champs de formulaire de type radio, select, multiselect et checkbox, attendent désormais une liste de dictionnaire {value, label} (voir doc des champs additionnels) (#2214)
    La rétrocompatibilité avec des listes simples est maintenue, mais vous êtes invités à modifier ces champs dans le backoffice.
    Pour conserver le bon affichage lors de l'édition des données, renseignez l'ancienne valeur deux fois dans la clé value et la clé label.

✅ Exemple de procédure de mise à jour depuis une version 2.11 : https://geonature.fr/documents/procedures/2023-04-GN-211to212.txt

🚀 Nouveautés

• Configuration dynamique du frontend : le frontend récupère dynamiquement sa configuration depuis le backend. Pour cela, il nécessite uniquement l’adresse de l’API_ENDPOINT qui doit être renseignée dans le fichier frontend/src/assets/config.json. En conséquence, il n’est plus nécessaire de rebuilder le frontend lors d’une modification de la configuration de GeoNature ou de ses modules (#2205)
• Personnalisation de la page d’accueil : ajout d’une section [HOME] contenant les paramètres TITLE, INTRODUCTION et FOOTER. Ceux-ci peuvent contenir du code HTML qui est chargé dynamiquement avec la configuration, évitant ainsi la nécessité d’un rebuild du frontend (#2300)
• Synthèse : Agrégation des observations ayant la même géométrie pour ne les charger qu'une seule fois, et ainsi améliorer les performances et la lisibilité (#1847)
• Synthèse : Possibilité d'afficher les données agrégées par maille (#1878). La fonctionnalité est configurable avec les paramètres suivant :

  [SYNTHESE]
      AREA_AGGREGATION_ENABLED = true
      AREA_AGGREGATION_TYPE = "M10"
      AREA_AGGREGATION_BY_DEFAULT = false    # affichage groupé par défaut
      AREA_AGGREGATION_LEGEND_CLASSES = .   # voir fichier de configuration d’exemple

• Synthèse : Possibilité de définir des filtres par défaut à travers le paramètre SYNTHESE.DEFAULT_FILTERS (#2261)
• Métadonnées : Chargement des jeux de données seulement quand on clique sur un cadre d'acquisition dans la liste des métadonnées, pour améliorer les performances du module, en ne chargeant pas tous les jeux de données par défaut (#2004)
• Champs additionnels : Les champs de formulaire de type radio, select, multiselect et checkbox, attendent désormais une liste de dictionnaire {value, label} (voir doc des champs additionnels) (#2214)
• Admin : Possibilité de gérer la table des applications mobiles (t_mobile_apps) dans le module "Admin" de GeoNature, notamment pour faciliter la gestion des mises à jour de Occtax-mobile (#2352)
• Possibilité de configurer les modules (picto, doc, label) directement depuis le module Admin (#2409)
• Possibilité d’afficher un bouton de géolocalisation sur les cartes des formulaires Occtax et Occhab (#2338), activable avec le paramètre suivant :

  [MAPCONFIG]
      GEOLOCATION = true

• Profils mis à jour automatiquement par Celery Beat, toutes les nuits par défaut (#2412)
• Ajout de l’intégration de Redis à l'outil de logs Sentry, pour améliorer la précisions des traces
• Possibilité de définir des règles de notifications par défaut, s’appliquant aux utilisateurs n’ayant pas de règle spécifique. Pour cela, il suffit d’insérer une règle dans la table gn_notifications.t_notifications_rules avec id_role=NULL (#2267)
• Publication automatique de deux images Docker geonature-backend et geonature-frontend (#2206). Leur utilisation n’a pas encore été éprouvée et leur utilisation en production n’est de ce fait pas recommandée.
• Amélioration de la fiabilité du processus de migration
• Ajout d’un index sur la colonne gn_synthese.cor_area_synthese.id_area. La colonne id_synthese est déjà couverte par l’index multiple (id_synthese, id_area).
• Intégration de TaxRef v16 et du référentiel de sensibilité associé pour les nouvelles installations de GeoNature
• Évolution de la gestion des fichiers statiques et des médias (#2306) :
  • Séparation des fichiers statiques (applicatif, fournis par GeoNature) et des fichiers médias (générés par l’applications). Sont déplacés du dossier backend/static vers le dossier backend/media les sous-dossiers suivants : medias, exports, geopackages, mobile, pdf, shapefiles. De plus, l’ancien dossier medias est renommé attachments.
  • Ajout des paramètres de configuration suivants :

    ROOT_PATH = "dossier absolu du backend"
    STATIC_FOLDER = "static"    # dossier absolu ou relatif à ROOT_PATH
    STATIC_URL = "/static"      # URL d’accès aux fichiers statiques
    MEDIA_FOLDER = "media"      # dossier absolu ou relatif à ROOT_PATH
    MEDIA_URL = "/media"        # URL d’accès aux médias

  • Ajout d’un dossier custom à la racine de GeoNature et du paramètre associé CUSTOM_STATIC_FOLDER. Les fichiers statiques réclamés sont cherchés en priorité dans le dossier custom, puis, si non trouvés, dans le dossier backend/static. Ainsi, si besoin de modifier un fichier statique, on placera un fichier du même nom dans le dossier custom plutôt que de modifier le fichier original (par exemple, custom/images/logo_structure.png). Voir la documentation sur la customisation.
  • Retrait du préfixe static/media/ aux chemins d’accès des fichiers joints (colonne gn_commons.t_medias.media_path)
  • Retrait du préfixe static/mobile/ aux chemins d’accès des APK des applications mobiles (colonne gn_commons.t_mobile_apps.relative_path_apk)
  • Certains fichiers statiques sont renommés :
    • static/css/custom.css → static/css/metadata_pdf_custom.css
  • Certains assets du frontend sont déplacés vers les fichiers statiques du backend pour profiter du mécanisme du customisation :
    • frontend/src/assets/custom.css → backend/static/css/frontend.css
    • frontend/src/favicon.ico → backend/static/images/favicon.ico
    • frontend/src/custom/images/login_background.jpg → backend/static/images/login_background.jpg
    • frontend/src/custom/images/logo_sidebar.jpg → backend/static/images/logo_sidebar.jpg
    • frontend/src/custom/images/logo_structure.png → backend/static/images/logo_structure.png
  • Le lien symbolique static/images/logo_structure.jpg est supprimé au profit de l’utilisation de logo_sidebar.jpg
  • Les déplacements mentionnés ci-dessus sont effectués par le script migration.sh
• Mise à jour des dépendances :
  • TaxHub 1.11.1
  • UsersHub 2.3.3
  • UsersHub-authentification-module 1.6.5
  • Habref-api-module 0.3.2
  • Nomenclature-api-module 1.5.4
  • RefGeo 1.3.0
  • Utils-Flask-SQLAlchemy 0.3.2
  • Utils-Flask-SQLAlchemy-Geo 0.2.7
• Refonte des permissions et suppression de la vue v_roles_permissions qui posait des problèmes de performances du nombre d’utilisateurs (#2196 et #2360)
• La recherche du fichier de configuration des modules sous le nom {module_code}_config.toml (code du module en minuscule) dans le répertoire de configuration de GeoNature devient prioritaire devant l’utilisation du fichier conf_gn_module.toml dans le répertoire de configuration du module.
  Le script de mise à jour déplace les fichiers de configuration des modules vers le dossier centralisé de configuration de GeoNature (#2423)
• Rechargement automatique de GeoNature quand on modifie un fichier de configuration d'un module dans l" dossier centralisé (#2418)
• Évolution de la configuration Apache /etc/apache2/conf-available/geonature.conf pour activer la compression gzip des réponses de l’API (#2266) et pour servir les médias et les fichiers statiques par Apache (#2430).
  À reporter dans votre configuration Apache si celle-ci n’importe pas cette configuration fournie par défaut.
• Le script de mise à jour (migration.sh) peut prendre en argument le chemin vers l’ancienne installation GeoNature.
  Il peut s’agir du même dossier que la nouvelle installation GeoNature (cas d’une mise à jour d’un dossier GeoNature avec Git).
• Ajout d’une historisation des suppressions de la synthèse à travers un trigger peuplant la nouvelle table gn_synthese.t_log_synthese (#789)
  Une API /synthese/log permet d’obtenir l’historique des insertions, mises à jour et suppressions dans la synthèse (notamment utile pour GN2PG).
• Amélioration de la commande install-gn-module qui détecte désormais automatiquement le code du module (#2396)
• Synthèse : Optimisation de la requête par statuts de protection (#2329)
• Occtax : Optimisation des triggers de calcul automatique des altitudes pour ne les lancer que quand la géométrie du relevé est modifiée (#2137)
• Occtax et Occhab : Ajout d'une pastille indiquant le nombre de filtres activés
• Amélioration du message renvoyé à l'utilisateur en cas de Timout (#2417)
• Amélioration du composant générique de selection d'un jeu de données, en selectionnant automatiquement le JDD si la liste n'en contient qu'un et que le champs est obligatoire (#1049)

🐛 Corrections

• Synthèse : changement du type de entity_source_pk_value de Integer à Unicode dans le modèle pour correspondre à la base de données
• Correction de l’accès public automatique activable avec ?access=public dans l’URL (#1650)
• Correction de la fonctionnalité de récupération du mot de passe
• Correction de la commande d’import du référentiel sensibilité pour correctement gérer les critères comportementales
• Occtax : correction du filtre sur les organismes
• Synthèse : correction d’un problème de performance de l’export (vue v_synthese_for_export) (#1434)
• Correction d’un problème de détection de l’emplacement des modules avec les versions récentes de pip (#2365, #2364)
• Occhab : correction du CRUVED sur la liste des jeux de données ouvert à la saisie
• Occtax : correction du contrôle des dates du formulaire d’édition des relevés (#2318)
• Correction des acteurs dans les exports PDF des métadonnées (#2034)
• Correction des graphiques dans les exports PDF des cadres d'acquisition (#2231)
• Correction du script de synchronisation des métadonnées depuis MTD INPN (#2314)
• Correction de l'appel en double de la route des notifications (#2356)
• Correction de l'URL vers la documentation depuis la page d'accueil
• Correction du formulaire Occtax quand un relevé n'a pas d'id_digitiser (#2421)
• Correction de l'affichage des tooltips sur la liste des obsrvations de la Synthèse (#2348)
• Correction du chargement des dates début et date fin quand on modifie un relevé dans Occtax ou une station dans OCchab (#2071)
• Correction de la récupération des emails dans l'interface "Mon compte" (#2346)

💻 Développement

• Suppression du support du paramètre get_role du décorateur check_cruved_scope (#2162)
• Suppression des paramètres redirect_on_expiration et redirect_on_invalid_token du décorateur check_cruved_scope (#2360)
• Remplacement des usages du paramètre get_role du décorateur check_cruved_scope par get_scope dans le code de GeoNature et des modules contrib (#2164, #2199)
• Suppression de multiples fonctions du package geonature.core.gn_permissions.tools, notamment la classe UserCruved ; se reporter à la documentation développeur afin de connaître les fonctions utilisables dans votre code (#2360)
• Migration GeoNature : le venv est mis à jour plutôt que d’être supprimé et recréé (#2332)
• Les erreurs de validation Marshmallow sont automatiquement converties en erreur 400 (BadRequest)
• Les modules contrib doivent également être formatés avec prettier
• Fiabilisation des exports PDF (#2232)
• Le composant de carte pnx-map a un nouvel input geolocation permettant d’activer le bouton de géolocalisation
• Ajout du mixin geonature.utils.schema.CruvedSchemaMixin permettant d’ajouter la propriété (exclue par défaut) cruved à un schéma Marshmallow
• L’accès aux paramètre de configuration ne se fait plus à partir des fichiers générés AppConfig (GeoNature) ou ModuleConfig (modules), mais uniquement à partir du ConfigService en charge de la récupération dynamique de la configuration (#2205).
• Mise à jour d'Angular version 12 à 15 et mise à jour de nombreuses dépendances frontend (#2154)
• Nettoyage des dépendances frontend de GeoNature. Si vous utilisiez certaines dépendances supprimées de GeoNature dans vos modules, vous devez les rajouter dans un fichier package-lock.json dans le dossier frontend de votre module.
• Suppression de la route obsolète /config
• Ajout du context manager start_sentry_child permettant de rapporter dans les traces Sentry le temps d’exécution de certaines tâches coûteuses (#2289)
• Refactorisation du module Occhab (#2324) avec passage à Marshmallow.
  Ajout à cette occasion de plusieurs fonctions et classes utilitaires au dépôt Utils-Flask-SQLAlchemy-Geo.
  Suppression de la vue v_releve_occtax.
  Module de référence pour les développements et documentation associée (#2331)
• Déplacement des routes géographiques et des tests associés vers le dépôt RefGeo (#2342)
• Amélioration des tests des permissions
• La fonction get_scopes_by_module cherche dans le contexte applicatif (variable g) la présence de g.current_module et g.current_object lorsqu’ils ne sont pas fournis en paramètre.
• Travaux en cours : compatibilité SQLAlchemy 1.3 & 1.4 / Flask-SQLAlchemy 2 & 3 (#1812)
• Mise à jour de Chart.js de la version 2 à 4
• Possibilité de définir l'URL par défaut de la documentation d'un module par un entrypoint nommé doc_url

📝 Merci aux contributeurs

@ch-cbna / @bouttier / @TheoLechemia / @jpm-cbna / @bastyen / @Gaetanbrl / @VincentCauchois / @joelclems / @amandine-sahl
/ @andriacap / @mvergez / @DonovanMaillard / @dece / @lpofredc / @MathRdt / @gildeluermoz / @maximetoma / @pierre56 / @cecchi-a / @jbrieuclp / @camillemonchicourt