Cria funcionalidade para notificar ausência de arquivos de log #15

pitangainnovare · 2024-05-10T21:49:17Z

O que esse PR faz?

Este PR cria uma funcionalidade para notificar ausência e corretude de arquivos de log. A notificação é realizada por e-mail. A meta é que o sistema esteja configurado para executar verificações periódicas (Periodic Tasks) e informar os responsáveis pelas coleções acerca dos arquivos de log faltantes bem como das datas que estão completas (com todos os arquivos de log esperados válidos).

Por onde a revisão poderia começar?

A partir do commit fa24d29

Como este poderia ser testado manualmente?

Tenha uma configuração válida como indicado no PR #1.
Para checar os resultados da coleção West Indies nas datas 2024-01-01 a 2024-01-15, faça:

from log_manager import tasks

tasks.task_log_files_count_status_report(collection_acron2='wi')
tasks.task_check_missing_logs_for_date_range('2024-01-01', '2024-01-15', collection_acron2='wi')

Ou use o Periodic Tasks na interface web, registrando essas tasks.

Algum cenário de contexto que queira dar?

N/A

Screenshots

Exemplo de mensagem contendo relatório de logs ausentes e com datas corretas.

Exemplo de dados do novo modelo que armazena relatório de logs ausentes/extras e corretos

Quais são tickets relevantes?

N/A

Referências

N/A

…por novo modelo CollectionTeam)

…go" (a ser substituída por um campo baseado em números: -1, -2, ...)

…ivada deveria existir

…ser separada em duas tasks: contagem e notificação)

robertatakenaka · 2024-06-12T16:55:28Z

log_manager/models.py

+        blank=False,
+    )
+
+    existing_log_files = models.IntegerField(


@pitangainnovare no lugar de existing, usar found, fica mais explícito

robertatakenaka · 2024-06-12T16:55:40Z

log_manager/models.py

+        default=0,
+    )
+
+    required_log_files = models.IntegerField(


@pitangainnovare no lugar de required, usar expected, fica mais explícito

robertatakenaka · 2024-06-12T16:57:03Z

log_manager/models.py

+    )
+
+    @classmethod
+    def create_or_update(cls, user, collection, date, required_log_files, existing_log_files):


@pitangainnovare adote o padrão de ter também get, create, IntegrityError. Se as tarefas executarem concorrentemente registros ficam duplicados

O seguinte trecho garante que só haja um registro por data e coleção:

robertatakenaka · 2024-06-12T16:59:14Z

log_manager/tasks.py

+
+
+@celery_app.task(bind=True, name=_('Check Missing Logs for Date Range'))
+def task_check_missing_logs_for_date_range(self, start_date, end_date, collection_acron2=None, user_id=None, username=None):


@pitangainnovare Use collection_acron2 como lista e não como string

robertatakenaka · 2024-06-12T16:59:48Z

log_manager/tasks.py

+
+@celery_app.task(bind=True, name=_('Check Missing Logs for Date Range'))
+def task_check_missing_logs_for_date_range(self, start_date, end_date, collection_acron2=None, user_id=None, username=None):
+    acron2_list = [c.acron2 for c in models.Collection.objects.iterator()] if not collection_acron2 else [c.strip() for c in collection_acron2.split(',')]


@pitangainnovare crie uma propriedade em Collection para retornar a lista de acron2

robertatakenaka · 2024-06-12T17:08:40Z

log_manager/tasks.py

+    missing = models.CollectionLogFileDateCount.objects.filter(status=choices.COLLECTION_LOG_FILE_DATE_COUNT_MISSING_FILES)
+    extra = models.CollectionLogFileDateCount.objects.filter(status=choices.COLLECTION_LOG_FILE_DATE_COUNT_EXTRA_FILES)
+    ok = models.CollectionLogFileDateCount.objects.filter(status=choices.COLLECTION_LOG_FILE_DATE_COUNT_OK)


@pitangainnovare No lugar destes 3 comandos, use:

from django.db.models import Count items = models.CollectionLogFileDateCount.objects.values('status', 'collection').annotate(total=Count('id'))

Obterá o resultado:

>>> {"status": "ok", "total": 10, "collection": "x"} >>> {"status": "missing", "total": 30, "collection": "x"} >>> {"status": "extra", "total": 50, "collection": "x"}

robertatakenaka · 2024-06-12T17:15:35Z

log_manager/tasks.py

+    extra = models.CollectionLogFileDateCount.objects.filter(status=choices.COLLECTION_LOG_FILE_DATE_COUNT_EXTRA_FILES)
+    ok = models.CollectionLogFileDateCount.objects.filter(status=choices.COLLECTION_LOG_FILE_DATE_COUNT_OK)
+
+    if ok.exists() > 0:


@pitangainnovare exists não retorna bool?

robertatakenaka · 2024-06-12T17:16:34Z

log_manager/tasks.py

+    send_mail(
+        subject=subject,
+        message=message,
+        from_email='log_manager@scielo.org',


@pitangainnovare usar variável de ambiente

robertatakenaka · 2024-06-12T17:16:55Z

log_manager/tasks.py

+        config_type=choices.COLLECTION_CONFIG_TYPE_EMAIL,
+    )
+    if col_configs.count() == 0:
+        raise exceptions.UndefinedCollectionConfigError("ERROR. Please, add an Application Configuration for the EMAIL attribute.")


@pitangainnovare preparar para usar mensagens traduzíveis

robertatakenaka

@pitangainnovare verificar comentários

…mente

…em dev não existia, em prod já existia)

…ma mesma coleção pode ter várias configurações. Por exemplo, de 01/01/2020 a 01/06/2020, exigia-se 1 arquivo por dia. A partir de 02/06/2020 passou-se a exigir 2 por dia. O método foi corrigido para capturar essas situações.

pitangainnovare · 2024-06-17T20:14:40Z

@robertatakenaka, fiz as alterações sugeridas. Aguardo novas avaliações. Enquanto isso, irei seguir com as tabelas top100, como acordado.

Pitanga Innovare and others added 17 commits May 10, 2024 18:43

Cria configuração de e-mail para coleção (será substituída no futuro …

fa24d29

…por novo modelo CollectionTeam)

Cria referência temporal para a datetime representada por "two days a…

78c1261

…go" (a ser substituída por um campo baseado em números: -1, -2, ...)

Cria exceção para reportar situação em que apenas uma configuração at…

c8c08b8

…ivada deveria existir

Cria filtro para obter arquivos de log de uma certa data, válidos

e90fea8

Cria task que envia mensagem de email (para notificar ausência de logs)

235e54b

Cria task que observa aruqivos de log faltantes e notifica e-mail (a …

2aaa254

…ser separada em duas tasks: contagem e notificação)

Troca URL padrão de configuração local para 0.0.0.0

1831783

Cria utilitário para obter um range de datas

9478ce1

Substitui método que obtém data a partir de string por método numérico

e390a4a

Adiciona método de classe para obter num de arquivos requeridos

277a1e9

Adiciona método de classe para obter num de arquivos existentes

211a206

Cria modelo para acomodar relatório de arquivos faltantes

6f61b0e

Corrige importações

73998b6

Limpa choices e adiciona dados para novo modelo que armazena relatóri

fe74e3f

Substitui task para gerar relatórios de logs por 3 tasks menores

512fe2a

Cria modelo snippet para relatório de logs faltantes

5053f61

Remove import desnecessário

aa82517

pitangainnovare marked this pull request as ready for review May 25, 2024 00:13

pitangainnovare requested review from robertatakenaka, samuelveigarangel and gitnnolabs May 25, 2024 00:13

Merge branch 'scieloorg:main' into impl/report-missing-dates

0469776

robertatakenaka reviewed Jun 12, 2024

View reviewed changes

robertatakenaka requested changes Jun 12, 2024

View reviewed changes

rafaelpezzuto added 11 commits June 17, 2024 13:27

Substitui termos existing e required por found e expected, respectiva…

92eceea

…mente

Melhora comparações em contagem de arquivos existentes, extras e ok

4501c20

Marca mensagens para tradução (em disparo de exceções)

3ce8410

Cria property para retornar lista de acron2 e a utiliza em task

13e1ccd

Renomeia outras variáveis com os termos required e existing

fba9583

Configura send para usar variável de ambiente de email da aplicação (…

3015aa1

…em dev não existia, em prod já existia)

Apresenta acron2 em listagem de coleções

ff37340

Altera termo Core para Usage em template

8e28675

Marca outros termos para tradução

c6f5718

Renomia outro termo existing para found

941c8a8

pitangainnovare requested a review from robertatakenaka June 17, 2024 20:14

pitangainnovare mentioned this pull request Jun 26, 2024

Cria índice metrics para apoiar SciELO Analytics #27

Merged

pitangainnovare merged commit 17ce0c2 into scieloorg:main Jul 17, 2024
2 checks passed

pitangainnovare deleted the impl/report-missing-dates branch July 17, 2024 12:20

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Cria funcionalidade para notificar ausência de arquivos de log #15

Cria funcionalidade para notificar ausência de arquivos de log #15

pitangainnovare commented May 10, 2024 •

edited

Loading

robertatakenaka Jun 12, 2024

robertatakenaka Jun 12, 2024

robertatakenaka Jun 12, 2024

pitangainnovare Jun 17, 2024

robertatakenaka Jun 12, 2024

robertatakenaka Jun 12, 2024

robertatakenaka Jun 12, 2024 •

edited

Loading

robertatakenaka Jun 12, 2024

pitangainnovare Jun 17, 2024

robertatakenaka Jun 12, 2024

robertatakenaka Jun 12, 2024

robertatakenaka left a comment

pitangainnovare commented Jun 17, 2024



		@celery_app.task(bind=True, name=_('Check Missing Logs for Date Range'))
		def task_check_missing_logs_for_date_range(self, start_date, end_date, collection_acron2=None, user_id=None, username=None):

Cria funcionalidade para notificar ausência de arquivos de log #15

Cria funcionalidade para notificar ausência de arquivos de log #15

Conversation

pitangainnovare commented May 10, 2024 • edited Loading

O que esse PR faz?

Por onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

robertatakenaka Jun 12, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

robertatakenaka left a comment

Choose a reason for hiding this comment

pitangainnovare commented Jun 17, 2024

pitangainnovare commented May 10, 2024 •

edited

Loading

robertatakenaka Jun 12, 2024 •

edited

Loading