Self-hosted

[Yudi]

Pendências

Geral

• Estudo de viabilidade
  • Disponibilidade de mão de obra
  • Consultar Fernando
  • Entender o uso e o gerenciamento do Docker no servidor do DMC Uma máquina dedicada será usada A DTI cedeu um servidor
• Discussão sobre qual serviço de backend deve ser utilizado - NestJS e Supabase
• Discussão sobre substituição do framework do frontend - Será mantido o Angular
• Solicitar acesso ao servidor da DTI

Frontend

• Dockerizar
• Reescrever
• Hospedar
  • Domínio - cacic.dev.br cedido
  • Deploy
    • Configurar Compose

Backend

• Decidir stack - NestJS e Supabase
• Configurar
• Migrar dados
  • Auth
  • DB
  • Storage
• Hospedar
  • Domínio cacic.dev.br cecido
  • Deploy
    • Configurar Compose

Discussão

O @willshobwish levantou uma possível existência de problemas na sucessão do FCT App envolvendo o cadastro obrigatório de cartão de crédito.

Não é possível utilizar o plano Spark (gratuito) por conta das Cloud Functions.
Dessa forma, é necessário cadastrar um cartão de crédito para eventuais cobranças, que são altas e sem limite.

Ademais, caso o CACiC seja fechado, o FCT App fica sem sucessor para cadastrar o cartão.

Custos com o Firebase

Hosting

O FCT App pode gerar altos custos no Firebase Hosting, pois o tamanho do bundle é grande (3 MB) considerando o limite de gratuito de 360 MB/dia e o custo de US$ 0,12/GB excedente.
Antes da redução do tamanho do bundle, que era de 8 MB, houve custos com o Hosting nas 2 SECOMPPs.
Também não há nada que impeça alguém de ficar recarregando a página com o cache desligado, o que gera custos altos.

Firestore

A cota gratuita é de 50 mil leituras/dia com custo de US$ 0,045/100.000 docs excedente.
Em dias que só eu uso o FCT App, chega a bater 5 mil requests de leitura, o que indica que pode haver algum problema com o código.
Chegamos muito próximo de bater a cota gratuita durante a SECOMPP23.

É provável que a cota seja atingida na SECOMPP de 2024, pois o cache está desabilitado por conta da #172.

Storage

Para contornar custos com o Storage, comprimimos todos os comprovantes. Também movemos todos os comprovantes para o Google Drive do CACiC após o fim do evento.
Como a compressão é automática (sem interação do usuário), às vezes alguns comprovantes ficam próximos de serem ilegíveis.

Não chegamos próximo da cota.

Hospedagem

O @willshobwish disse que o FCT App pode ser hospedado no cluster em algum servidor do Departamento de Matemática e Computação, sendo o Fernando o responsável por ele.
Também disse que uma vez o Prof. Almir sugeriu que o FCT App fosse hospedado no DMC.

A DTI cedeu um servidor.

Frontend

Considerando os custos com o Hosting, o FCT App poderia ser hospedado no mesmo servidor que o backend.
No entanto, para que isso aconteça, o frontend precisa ser dockerizado.

Além disso, deve haver uma maneira de atualizar rapidamente a versão sendo distribuída pelo servidor da FCT.
O Watchtower faz isso.
Isso habilita Continuous Deployment.

Como a lógica do frontend precisará ser toda refeita, é possível discutir a migração do FCT App para outro framework. Angular mantido

Backend

Um backend self-hosted também habilita a existência de uma API para a alimentação automática dos dados da homepage da SECOMPP.

Deve-se dar preferência ao uso de Backend as a Service, pois elimina-se a necessidade de projetar e configurar API, BD, etc, além de diminuir a necessidade de manutenção.

Considerar o uso dos seguintes serviços:

• Supabase
• Appwrite
• Nhost

O Supabase foi escolhido por conter mais sponsors, stars e por adicionar poucas camadas em cima do Postgres.

Prós e contras

Firebase

Prós

• Fácil desenvolvimento

Contras

• Insegurança com o preço
  • Alto custo e cobrança automática sem possibilidade de limitação.
  • Google altera os preços e limites gratuitos
• Muitas funcionalidades foram descartadas ou feitas à gambiarra para respeitar os limites gratuitos.
• Projeto do FCT App está na org da Unesp.
  • A Unesp pode restringir o acesso dos alunos ao Firebase a qualquer momento, sem aviso, assim como fez com a Google Play e Google Photos.
  • Se a Unesp encerrar a parceria com a Google, o app é automaticamente deletado e os subdomínios são perdidos, porque eles não são liberados.

Self-hosted

Prós

• Elimina a insegurança com o custo
• Habilita novas funcionalidades

Contras

• Necessidade de um domínio para (D)DNS. Custo de R$ 40,00/ano.
• Dependência dos funcionários da faculdade.
• Possibilidade de downtime.
• Reescrita de todo o código do frontend.
• Não será mais possível consultar o banco de dados enquanto off-line.
• Manutenção manual do backend.

Decisões

Troca de framework

Em reunião com os integrantes do time de desenvolvimento, foi decidido a manutenção do Angular.

Back end

O Supabase será usado, em conjunto com o NestJS.

Closes issues

Caso a reescrita seja realizada, pode ser que as seguintes issues sejam solucionadas automaticamente:

• Listagem de certificados demora #172
• Otimizar listagem de presenças #174
• Alto uso de memória na página de "minha inscrição" #173
• Visualização de vagas não está sendo atualizada na validação de comprovante #150
• Substituir Observables por Signals #158
• Lista de presença grande trava o site #152
• Reescrever Typescript para estrito #143
• Subcoleções devem ter nomes únicos #136
• Usar angularfire modular #122
• Refatorar aplicativo #94
• Aba de eventos só aparece após reinicialização #130
• Problemas com login em navegadores in-app  #111
• Página de registro aparece quando o usuário já é registrado #26

E os seguintes TODOs tornariam-se desnecessários:

fct-app/src/app/development-tools/populate-database/populate-database.page.ts

Line 1 in 451e1d5

// TODO: Handle errors

fct-app/src/app/restricted-area/manage-major-events/list-subscriptions/list-subscriptions.ts

Lines 203 to 209 in 451e1d5

	// TODO: Optimize this
	item.subscribedToEvents.forEach((eventID) => {
	const docRef = doc(this.firestore, 'events', eventID);
	const documentData = docData(docRef) as Observable<MajorEventItem | undefined>;
	subscribedToEventsItemArray$.push(documentData);
	});

fct-app/src/app/restricted-area/manage-major-events/validate-receipt/validate-receipt.page.ts

Lines 203 to 204 in 451e1d5

	// TODO: Move this to a cloud function
	this.subscriptionsQuery

fct-app/src/app/restricted-area/manage-major-events/list-subscriptions/manage-subscription/manage-subscription.page.ts

Lines 125 to 126 in 451e1d5

	// TODO: Refactor me
	// Get all events of this major event

fct-app/functions/src/utils/user/impersonate.ts

Line 1 in 451e1d5

// TODO: Fix this - Doesn't work

fct-app/src/app/shared/services/major-event.service.ts

Line 7 in 451e1d5

// TODO como utilizar Observables para retornar os grandes eventos futuros?

fct-app/functions/src/unused/move-certificates.ts

Lines 180 to 181 in 451e1d5

	// TODO: Review
	// Move document from /majorEvents/{majorEventID}/certificates to /majorEvents/{majorEventID}/majorEventCertificates

[Yudi]

A viabilidade dessa alteração precisa ser discutida com o @willshobwish e, também, com o @Salies e o @GuiBatalhoti (turma 2020) que se disponibilizaram a ajudar na SECOMPP de 2024.

Também seria útil ver se a @cacic-fct/chapa-ada-lovelace consegue disponibilizar mão de obra ou se consegue captar horas de ACC como incentivo para alunos que quiserem colaborar com o desenvolvimento.

Para a SECOMPP22 foram fornecidas 10 horas de ACC para os desenvolvedores do sistema, no entanto, eles pouco colaboraram.

[Yudi]

Supabase

Uma instância do Supabase simulando o ambiente de produção está sendo hospedada em https://supabase-fctapp.cacic.dev.br
O estado do serviço pode ser acompanhado em https://status.cacic.dev.br

Houve uma tentativa de migrar os dados, mas a ferramenta não suporta subcoleções.

• https://stackoverflow.com/questions/77689525/how-to-migrate-sub-collection-of-firestore-to-supabase
• Discussão 19474
• Discussão 19910

Na documentação não há instruções de como habilitar o Google como provedor de autenticação:

• Discussão 4885

Appwrite

Uma instância do Appwrite simulando o ambiente de produção está sendo hospedada em https://appwrite.yudi.me
O estado do serviço pode ser acompanhado em https://status.yudi.me

Houve uma tentativa de migrar os dados, mas os usuários não foram importados e não há o erro nos logs.
A ferramenta também não importa subcoleções.

[willshobwish]

Sobre a hospedagem: conversei com o Fernando, porém não seria no cluster em si, mas sim um servidor menor para esse propósito. Ele disse que poderíamos conversar e que provavelmente é viável.
A parte do Docker seria somente para facilitar o deploy, não sendo necessário para utilizar em cluster porque em teoria teríamos um servidor dedicado somente pra isso.

[Yudi]

A parte do Docker seria somente para facilitar o deploy, não sendo necessário para utilizar em cluster porque em teoria teríamos um servidor dedicado somente pra isso.

Facilita:

• Desenvolvimento e configuração - Basta configurar uma vez para qualquer computador
• Deploy e manutenção - Atualização automática, livre de autenticação e independente dos pacotes do sistema
• Mover o servidor - Basta mover os arquivos dos dados e o arquivo do compose

Coisas que seriam dificultadas caso fizéssemos da maneira tradicional.
E os Backend as a Service só têm suporte oficial para instalação em ambiente Docker.

Então dockerizar é essencial, mesmo com um servidor dedicado.

[Yudi]

A @karoldm ingressou no time.

Como a Karol possui mais experiência com o React e com a EJComp, reacendemos as dicussões sobre a troca do framework do frontend.

Pode ser que seja possível utilizar o domínio ejcomp.com.br para o (D)DNS.

Um plano de trabalho está sendo elaborado neste projeto.

[karoldm]

Conversei com o atual responsável da EJComp e ele não se opôs a usar o domínio ejcomp.com.br para o DNS.

Sobre migrar o app para o Reactjs aqui estão meus pontos:

• Acredito que se a gente for refazer o app do zero, o ideal seria utilizar o Reactjs/Nextjs. Como temos mais pessoas com experiência nesse framework isso agilizaria o tempo de desenvolvimento.

• Utilizar Reactjs também facilitaria obter mão de obra para futuras manutenções, considerando que:

  • A curva de aprendizado do Reactjs é extremamente baixa;
  • Os alunos costumam ter contato rápido com o Reactjs (na Secompp, por exemplo, sempre tem curso de Reactjs);
  • É o framework padrão utilizado na EJComp, possibilitando que a empresa ajude com mão de obra ou treinamento no futuro.

• Refazer o projeto talvez nos ajude a já resolver diversas issues abertas.

• Se a inteção for apenas refatorar o front-end atual, eu não teria problemas em estudar Angular, mas talvez o ínicio do projeto seja mais lento.

[Yudi]

Refazer o projeto talvez nos ajude a já resolver diversas issues abertas.

Issues relacionadas ao Angular:

• Uso incorreto de Observables:
  • Lista de presença grande trava o site #152
  • Alto uso de memória na página de "minha inscrição" #173
• Relacionado ao GitHub Actions:
  • 3rdpartylicenses.txt não é exibido #179
• Enhancement opcional:
  • Substituir Observables por Signals #158

Breaking changes do Ionic:

• Verificador de choque de horário não funciona #146 - Provavelmente ocasionado pelo uso incorreto do Dynamic Forms
• Checkboxes em modo legacy #147

São críticas apenas as issues do Ionic.

Demais issues abertas no repositório ou são de novos recursos ou são relacionados ao Firebase (listadas no comentário principal da issue)

[Salies]

Acredito que, pela conversa pós-reunião, ocorrida ontem, ficou claro que o caminho mais prudente a se seguir é uma reescrita do front em Next.js + port do backend para um Supabase self-hosted.

Dei início a esquematização do banco de dados para adequá-lo ao Supabase. #183

[Yudi]

O desenvolvimento deverá ser feito a partir da branch https://github.com/cacic-fct/fct-app/tree/nextjs.

[Yudi]

Coloquei labels nas issues que envolvem o Angular ou Firebase.

Dá para filtrar:
https://github.com/cacic-fct/fct-app/issues?q=is%3Aissue+is%3Aopen+sort%3Aupdated-desc+-label%3A%22angular%22+-label%3A%22firebase%22

[Yudi]

Em primeira reunião síncrona com todos do time do núcleo, foi fixada a manutenção do Angular

[Yudi]

Especificações do servidor

Responsável pelo setup do hardware e software inicial: @GuiBatalhoti
DTI configurou uma máquina virtual, com intermédio do @GuiBatalhoti

Hardware

• Armazenamento: mín. 100 GB 150 GB configurados pela DTI
  • Preferencialmente em HD CMR se disponível. DTI cedeu máquina virtual
  • RAID 5/6: DTI cedeu máquina virtual
    • Não necessário para o disco do SO, mas é bem-vindo. Nesse caso usar ZFS ao invés de BTRFS (importante).
    • Recomendado para o disco do BD se disponível. Usar ZFS.
    • Não usar hardware RAID
• RAM: mín. 8 GB 8 GB configurados pela DTI
  • Caso haja RAID 5/6 com ZFS, mín. 16 GB (metade reservada para o ZFS).
• Processador: qualquer mín. dual core
• Placa-mãe: com UEFI (para evitar bugs do Grub/Linux com legacy BIOS) DTI cedeu máquina virtual

Essas specs são o dobro do necessário a partir de um cálculo que realizei. Dessa forma, o servidor fica future-proofed e compensa eventuais códigos ruins dos alunos e das dependências desatualizadas.

Essa quantidade de armazenamento é necessária considerando que armazenamos os comprovantes. Deve-se considerar, também, que uma captura de tela pode possuir mais de 10 MB em celulares com telas de alta resolução.
Adicionalmente, faremos snapshots locais. Não foi solicitado BTRFS para a DTI

Sistema operacional

• Instalação em UEFI DTI cedeu uma máquina virtual
• Debian 12
  • Sem Desktop Environment
  • Sem print server
  • Sem web server
  • COM SSH server
• Instalação em disco formatado com BTRFS com defaults, noatime, autodefrag e zstd:3 Não foi solicitado para a DTI, que configurou ext4
• 20 GB de swap
• Usuário-padrão com nome debian DTI configurou um usuário para cada pessoa
• Senhas do root e debian diferentes e geradas aleatoriamente DTI configurou a senha padrão unesp#2024 para todos
  • https://1password.com/password-generator/ - Usar memorable password, length mín. 10, usar capitalize e SEM full words
• sudo configurado (adicionar usuário padrão ao grupo)

Apesar dos alunos estarem mais habituados com o Arch Linux ou Ubuntu, a filosofia e diretrizes do Debian estão mais alinhados com os propósitos do projeto de reescrita:
É um sistema seguro e robusto, pronto OOTB e que necessita de poucas atualizações – a major version só atualiza a cada 2 anos e é mantida por no mínimo 3 anos e o upgrade dificilmente quebra o SO.

O formato de Rolling Release adotado pelo Arch Linux pode ser problemático, pois não haverá alguém fazendo manutenções constantes. O Fedora tem um problema parecido.

Diferente da Canonical (Ubuntu), os mantenedores do Debian são bem firmes com essas políticas e não sofrem pressão do mercado.

Especificações extra

• SSH
  • PermitRootLogin no DTI pode logar com root
  • MaxAuthTries 3
  • Autenticação somente com chaves (rsa-key passwordless) - Não deixar sem senha, mesmo que tenha VPN
• Grub com 1 segundo - Não atrasa boot e facilita resgate
• Wireguard DTI incentivou o uso da VPN da Unesp
  • Com Preshared key
• Portas a serem liberadas:
  • 80 e 443 para HTTP(S) - TCP e UDP (QUIC/HTTP/3)
  • 51820 para o Wireguard - UDP
  • NÃO EXPOR SSH e outras portas
• Após configuração total do servidor, bloquear login do root DTI pode logar com root

Backup

Kopia em um servidor do DMC.

[GuiBatalhoti]

Email enviado, aguardando resposta.

[gabrielribeirof]

@Yudi, ví apenas agora o at. Vão precisar dessa ajuda ainda? Qualquer coisa que eu puder ajudar, estou à disposição.

[Yudi]

@Yudi, ví apenas agora o at. Vão precisar dessa ajuda ainda? Qualquer coisa que eu puder ajudar, estou à disposição.

@gabrielribeirof Não mais
Agradeço pela disposição em ajudar! :-)

[GuiBatalhoti]

Configurações atualizadas! Acho que agora temos um servidor de respeito!

Edit 1: fomos tapeados... não fez a pasta shared e não adicionou o sudo.

[Yudi]

Corrigi os itens que faltaram, inclusive a adição dos pacotes, dos usuários ao grupo sudo, configuração da senha e criação da pasta shared

Também instalei o zsh por conta do zsh-autosuggestions, já que os comandos são bem repetitivos. O plugin foi instalado por meio do Oh my zsh ao invés do apt.

O sistema já foi documentado no docs.

[Yudi]

Irei adicionar gradualmente especificações do FCT App atual na documentação
Facilitará na migração

[Yudi]

Reunião 1

Em primeira reunião síncrona, realizada em 18/07:

• Fixado Angular como framework do front end;
• Fixado NestJS como framework do back end:
  • Pode auxiliar na confecção das roles para controle de acesso;
  • Tecnologia mais matura que o Deno:
    • O Deno não possui muitos frameworks populares.
  • Relativamente popular no curso;
  • Mais opinado que Express.
• Fixado Supabase como provedor de DB, auth e storage;
• Mantida a separação entre Major Events e Events:
  • Permite a emissão de certificados de eventos individuais, de interesse levantado por @Salies.
• Mantida a ideia de projeto com especificações estritas, com base em análise de projetos de outras universidades:
  • Especificações na documentação do projeto e do CACiC;
  • Commitlint;
  • Eslint;
  • Strict Typescript;
  • Frameworks opinados.

Resultado do recrutamento

Total de 6 inscrições, das quais 2 são inválidas:

1. Inscrição duplicada;
2. Inscrição que marcou não ter interesse em aprender o framework que é usado na homepage da SECOMPP;

Das 4 inscrições válidas, 3 foram selecionadas:

• 2 possuem interesse apenas em Back end e DevOps
• 1 possui interesse em todas as funções — Trabalhará no front end

Foi optado por não adotar estratégias de recrutamento, pois prefere-se um time menor, que faça as coisas bem e cumpra prazos.
Com a confecção de um sistema robusto, evita-se manutenções e reescritas futuras.

A @cacic-fct/chapa-ada-lovelace ficará responsável por convocar os selecionados (relação disponível em ata) por e-mail:

• Serão adicionados ao grupo do WhatsApp da comissão;
• Deverão ler a documentação do projeto.

Comparação com 2022

Em 2024, foram 4 voluntários do núcleo + 5 inscrições.

Em 2022, foram 8 inscrições:

• 1 para auxiliar unicamente no FCT App;
• 5 para auxiliar na homepage da SECOMPP;
• 2 nas duas coisas.

Pessoas que se inscreveram para a homepage foram convencidas a trabalhar no FCT App.

Dessa forma, percebe-se o baixo interesse do curso pela manutenção do sistema.

Em 2023, o BCC da Unesp de Rio Claro teve 29 desenvolvedores para manutenção de um sistema que já estava pronto.

No entanto, é mais comum a falta de desenvolvedores:

• semcomp/semcomp (Semana ICMC-USP);
• Xnths/symcomp (Semana IME-USP);
• DevMobUFRJ/BandejApp (App institucionalizado do RU da UFRJ);
• Semana do BCC da Unesp de Bauru não possui sistema próprio.

Pesquisa de tecnologias

Resultados coletados entre 03/06/2024 e 18/07/2024, com um total de 22 respostas

• 1º ano - 5 respostas
• 2º ano - 7
• 3º ano - 3
• 4º ano - 5
• 5º ano - 1
• 6º ano - 0
• 7º ano - 1

Roxo é "nunca ouvi falar ou não quero responder"