MIJN-8594-bsn-nummer-niet-meer-tonen-alg-user-e-xperience (#124)

* no BSN on prd + formatting

* README for Windows

* readability

* parent -> ouder

* prs -> persoon

* Check to server.py

* unused imports

* better naming

* remove print

* Add tests, fix environ var (#125)

---------

Co-authored-by: Tim van Oostrom <t.van.oostrom@amsterdam.nl>

README.md

@@ -1,5 +1,4 @@
-MKS API
-=========
+# MKS API
 
 ### Deze api levert de volgende data:
 
@@ -9,41 +8,46 @@ MKS API
 - Overzicht ID kaarten en Paspoorten
 
 ### Local env
-```
-python -m venv venv
-source venv/bin/activate
-pip install -r requirements-root.txt
+
+// Initialize
+
+- `python -m venv venv`
+- Mac: `source venv/bin/activate` Windows: `.\venv\Scripts\Activate.ps1` (in case of UnauthorizedAccess run `Set-ExecutionPolicy Unrestricted -Scope Process` beforehand)
+- `pip install -r requirements-root.txt`
 
 // unittest
-python -m unittest
+`python -m unittest`
 
 // requirements.txt maken
-make requirements
+`make requirements`
 
 // dev server
-sh scripts/run-dev.sh
-```
+`sh scripts/run-dev.sh`
 
 ### Kenmerken
+
 - Het bronsysteem is een soap/stuf api MKS, deze haalt gegevens uit de brp.
 - Het bronsysteem wordt bevraagd op basis van een BSN of KVK nummer.
 - De output van de api is JSON formaat.
 
 ### Dependencies
+
 - Voeg de naam van de library/dependency toe aan requirements-root.txt
 - Voer volgende commando uit: `make requirements`
 
-
 ### Development & testen
+
 - Er is geen uitgebreide lokale set-up waarbij ontwikkeld kan worden op basis van een "draaiende" api. Dit zou gemaakt / geïmplementeerd moeten worden.
 - Alle tests worden dichtbij de geteste functionaliteit opgeslagen. B.v `some_service.py` en wordt getest in `test_some_service.py`.
 
 ### CI/CD
+
 - De applicatie wordt verpakt in een Docker container.
 - Bouwen en deployen van de applicatie gebeurt in Github en Azure DevOps.
 
 ### Release to production
+
 ```
 ~ cd scripts
 ~ sh release.sh --minor [--major [--patch]]
-```
+```

app/config.py

@@ -25,6 +25,10 @@
 IS_OT = IS_DEV or IS_TEST
 IS_AZ = os.getenv("IS_AZ", False)
 
+IS_SHOW_BSN_ENABLED = (
+ os.getenv("MKS_IS_SHOW_BSN_ENABLED", "false" if IS_PRODUCTION else "true") == "true"
+)
+
 # App constants
 VERIFY_JWT_SIGNATURE = os.getenv("VERIFY_JWT_SIGNATURE", IS_AP)
 REQUEST_TIMEOUT = 20 if IS_PRODUCTION else 30 # seconds

app/helpers.py

@@ -44,3 +44,15 @@ def get_request_template(name):
  filename = os.path.join(SERVICES_DIR, f"{name}.jinja2")
  with open(filename) as fp:
  return Template(fp.read())
+
+
+def remove_attr(input, attr):
+ if isinstance(input, dict):
+ for key in list(input.keys()):
+ if key == attr:
+ input.pop(key)
+ else:
+ remove_attr(input[key], attr)
+ if isinstance(input, list):
+ for list_item in input:
+ remove_attr(list_item, attr)

app/model/gba.py

@@ -13,7 +13,7 @@
  "M": "Man",
  "V": "Vrouw",
 }
-lookup_prsidb_soort_code = {
+lookup_persoonidb_soort_code = {
  1: "paspoort",
  2: "europese identiteitskaart",
  3: "toeristenkaart",

app/model/stuf_02_04.py

@@ -2,13 +2,15 @@
 from collections import defaultdict
 from datetime import date
 from hashlib import sha256
+from app.config import IS_PRODUCTION
 
+# from config import IS_PRODUCTION
 from bs4 import Tag, ResultSet
 from dateutil.relativedelta import relativedelta
 from app.helpers import encrypt
 
 from app.model.gba import (
- lookup_prsidb_soort_code,
+ lookup_persoonidb_soort_code,
  lookup_geslacht,
  lookup_gemeenten,
  lookup_landen,
@@ -32,7 +34,7 @@
  is_nil,
  to_string_4x0,
  set_indicatie_geboortedatum,
- set_fields_with_attributes
+ set_fields_with_attributes,
 )
 
 
@@ -77,7 +79,7 @@ def get_nationaliteiten(nationaliteiten: ResultSet):
 def extract_persoon_data(persoon_tree: Tag):
  result = {}
 
- prs_fields = [
+ persoon_fields = [
  {"name": "bsn-nummer", "parser": as_bsn, "save_as": "bsn"},
  {"name": "geslachtsnaam", "parser": to_string},
  {"name": "voornamen", "parser": to_string},
@@ -102,7 +104,7 @@ def extract_persoon_data(persoon_tree: Tag):
  {"name": "aanduidingNaamgebruik", "parser": to_string},
  ]
 
- prs_extra_fields = [
+ persoon_extra_fields = [
  {"name": "aanduidingNaamgebruikOmschrijving", "parser": to_string},
  {"name": "geboortelandnaam", "parser": to_string},
  {"name": "geboorteplaatsnaam", "parser": to_string},
@@ -119,13 +121,17 @@ def extract_persoon_data(persoon_tree: Tag):
  },
  ]
 
- prs_fields_with_attrs = [
- {"name": "geboortedatum", "parser": set_indicatie_geboortedatum, "save_as": "indicatieGeboortedatum"},
+ persoon_fields_with_attrs = [
+ {
+ "name": "geboortedatum",
+ "parser": set_indicatie_geboortedatum,
+ "save_as": "indicatieGeboortedatum",
+ },
  ]
 
- set_fields(persoon_tree, prs_fields, result)
- set_extra_fields(persoon_tree.extraElementen, prs_extra_fields, result)
- set_fields_with_attributes(persoon_tree, prs_fields_with_attrs, result)
+ set_fields(persoon_tree, persoon_fields, result)
+ set_extra_fields(persoon_tree.extraElementen, persoon_extra_fields, result)
+ set_fields_with_attributes(persoon_tree, persoon_fields_with_attrs, result)
 
  # vertrokken onbekend waarheen
  result["vertrokkenOnbekendWaarheen"] = False
@@ -135,14 +141,13 @@ def extract_persoon_data(persoon_tree: Tag):
  set_omschrijving_geslachtsaanduiding(result)
  set_geboorteLandnaam(result)
  set_geboorteplaatsNaam(result)
-
  return result
 
 
 def extract_kinderen_data(persoon_tree: Tag):
  result = []
 
- knd_fields = [
+ kind_fields = [
  {"name": "bsn-nummer", "parser": as_bsn, "save_as": "bsn"},
  {"name": "voornamen", "parser": to_string},
  {"name": "voorvoegselGeslachtsnaam", "parser": to_string},
@@ -163,16 +168,20 @@ def extract_kinderen_data(persoon_tree: Tag):
  {"name": "adellijkeTitelPredikaat", "parser": to_string},
  ]
 
- knd_extra_fields = [
+ kind_extra_fields = [
  {"name": "omschrijvingAdellijkeTitel", "parser": to_string},
  {"name": "geboortelandnaam", "parser": to_string},
  {"name": "geboorteplaatsnaam", "parser": to_string},
  {"name": "omschrijvingGeslachtsaanduiding", "parser": to_string},
  {"name": "opgemaakteNaam", "parser": to_string},
  ]
 
- knd_fields_with_attrs = [
- {"name": "geboortedatum", "parser": set_indicatie_geboortedatum, "save_as": "indicatieGeboortedatum"},
+ kind_fields_with_attrs = [
+ {
+ "name": "geboortedatum",
+ "parser": set_indicatie_geboortedatum,
+ "save_as": "indicatieGeboortedatum",
+ },
  ]
 
  kinderen = persoon_tree.find_all("PRSPRSKND")
@@ -181,9 +190,9 @@ def extract_kinderen_data(persoon_tree: Tag):
 
  for kind in kinderen:
  result_kind = {}
- set_fields(kind.PRS, knd_fields, result_kind)
- set_extra_fields(kind.PRS, knd_extra_fields, result_kind)
- set_fields_with_attributes(kind.PRS, knd_fields_with_attrs, result_kind)
+ set_fields(kind.PRS, kind_fields, result_kind)
+ set_extra_fields(kind.PRS, kind_extra_fields, result_kind)
+ set_fields_with_attributes(kind.PRS, kind_fields_with_attrs, result_kind)
 
  set_omschrijving_geslachtsaanduiding(result_kind)
  set_geboorteLandnaam(result_kind)
@@ -196,10 +205,10 @@ def extract_kinderen_data(persoon_tree: Tag):
  return result
 
 
-def extract_parents_data(persoon_tree: Tag):
+def extract_ouders_data(persoon_tree: Tag):
  result = []
 
- parent_fields = [
+ ouder_fields = [
  {"name": "bsn-nummer", "parser": as_bsn, "save_as": "bsn"},
  {"name": "voornamen", "parser": to_string},
  {"name": "voorvoegselGeslachtsnaam", "parser": to_string},
@@ -220,33 +229,37 @@ def extract_parents_data(persoon_tree: Tag):
  {"name": "adellijkeTitelPredikaat", "parser": to_string},
  ]
 
- parent_extra_fields = [
+ ouder_extra_fields = [
  {"name": "omschrijvingAdellijkeTitel", "parser": to_string},
  {"name": "geboortelandnaam", "parser": to_string},
  {"name": "geboorteplaatsnaam", "parser": to_string},
  {"name": "omschrijvingGeslachtsaanduiding", "parser": to_string},
  {"name": "opgemaakteNaam", "parser": to_string},
  ]
 
- parent_fields_with_attrs = [
- {"name": "geboortedatum", "parser": set_indicatie_geboortedatum, "save_as": "indicatieGeboortedatum"},
+ ouder_fields_with_attrs = [
+ {
+ "name": "geboortedatum",
+ "parser": set_indicatie_geboortedatum,
+ "save_as": "indicatieGeboortedatum",
+ },
  ]
 
- parents = persoon_tree.find_all("PRSPRSOUD")
- if is_nil(parents):
+ ouders = persoon_tree.find_all("PRSPRSOUD")
+ if is_nil(ouders):
  return []
 
- for ouder in parents:
- result_parent = {}
- set_fields(ouder.PRS, parent_fields, result_parent)
- set_extra_fields(ouder.PRS, parent_extra_fields, result_parent)
- set_fields_with_attributes(ouder.PRS, parent_fields_with_attrs, result_parent)
+ for ouder in ouders:
+ result_ouder = {}
+ set_fields(ouder.PRS, ouder_fields, result_ouder)
+ set_extra_fields(ouder.PRS, ouder_extra_fields, result_ouder)
+ set_fields_with_attributes(ouder.PRS, ouder_fields_with_attrs, result_ouder)
 
- set_omschrijving_geslachtsaanduiding(result_parent)
- set_geboorteLandnaam(result_parent)
- set_geboorteplaatsNaam(result_parent)
+ set_omschrijving_geslachtsaanduiding(result_ouder)
+ set_geboorteLandnaam(result_ouder)
+ set_geboorteplaatsNaam(result_ouder)
 
- result.append(result_parent)
+ result.append(result_ouder)
 
  result.sort(key=lambda x: x["geboortedatum"] or date.min)
 
@@ -292,7 +305,11 @@ def extract_verbintenis_data(persoon_tree: Tag):
  ]
 
  partner_fields_with_attrs = [
- {"name": "geboortedatum", "parser": set_indicatie_geboortedatum, "save_as": "indicatieGeboortedatum"},
+ {
+ "name": "geboortedatum",
+ "parser": set_indicatie_geboortedatum,
+ "save_as": "indicatieGeboortedatum",
+ },
  ]
 
  verbintenissen = persoon_tree.find_all("PRSPRSHUW")
@@ -311,14 +328,16 @@ def extract_verbintenis_data(persoon_tree: Tag):
 
  set_fields(verb.PRS, partner_fields, result_verbintenis["persoon"])
  set_extra_fields(verb.PRS, partner_extra_fields, result_verbintenis["persoon"])
- set_fields_with_attributes(verb.PRS, partner_fields_with_attrs, result_verbintenis["persoon"])
+ set_fields_with_attributes(
+ verb.PRS, partner_fields_with_attrs, result_verbintenis["persoon"]
+ )
 
  set_omschrijving_geslachtsaanduiding(result_verbintenis["persoon"])
 
  einde_verbintenis_code = verb.find("redenOntbinding").string
- result_verbintenis[
- "redenOntbindingOmschrijving"
- ] = lookup_reden_ontbinding_partner.get(einde_verbintenis_code, None)
+ result_verbintenis["redenOntbindingOmschrijving"] = (
+ lookup_reden_ontbinding_partner.get(einde_verbintenis_code, None)
+ )
 
  result.append(result_verbintenis)
 
@@ -499,12 +518,12 @@ def extract_identiteitsbewijzen(persoon_tree: Tag):
  continue
 
  try:
- result_id["documentType"] = lookup_prsidb_soort_code[type_number]
+ result_id["documentType"] = lookup_persoonidb_soort_code[type_number]
  except Exception as e:
  logging.info(f"unknown document type {type_number} {type(e)} {e}")
- result_id[
- "documentType"
- ] = f"onbekend type ({type_number})" # unknown doc type
+ result_id["documentType"] = (
+ f"onbekend type ({type_number})" # unknown doc type
+ )
 
  hash = sha256()
  hash.update(result_id["documentNummer"].encode())
@@ -559,7 +578,7 @@ def extract_data(persoon_tree: Tag):
 
  if isAmsterdammer:
  kinderen = extract_kinderen_data(persoon_tree)
- ouders = extract_parents_data(persoon_tree)
+ ouders = extract_ouders_data(persoon_tree)
  verbintenis = verbintenissen["verbintenis"]
  verbintenis_historisch = verbintenissen["verbintenisHistorisch"]
  identiteitsbewijzen = extract_identiteitsbewijzen(persoon_tree)

app/server.py

@@ -11,10 +11,11 @@
 from app import auth
 from app.config import (
  IS_DEV,
+ IS_SHOW_BSN_ENABLED,
  UpdatedJSONProvider,
  get_application_insights_connection_string,
 )
-from app.helpers import decrypt, error_response_json, success_response_json
+from app.helpers import decrypt, error_response_json, remove_attr, success_response_json
 from app.service import mks_client_02_04, mks_client_hr
 from app.service.adr_mks_client_02_04 import get_resident_count
 
@@ -27,6 +28,7 @@
 app = Flask(__name__)
 app.json = UpdatedJSONProvider(app)
 
+
 FlaskInstrumentor.instrument_app(app)
 
 
@@ -36,6 +38,10 @@ def get_brp():
  with tracer.start_as_current_span("/brp"):
  user = auth.get_current_user()
  brp = mks_client_02_04.get_0204(user["id"])
+
+ if not IS_SHOW_BSN_ENABLED:
+ remove_attr(brp, "bsn")
+
  return success_response_json(brp)