AWS Certification Simulator
Pipeline de Dados Autônomo com LLM (Google Gemini) e PWA
Python
Google Gemini API
Pydantic
PWA (Vanilla JS)
GitHub Actions
crisis_alert O Desafio
Criar uma plataforma de simulados para certificações AWS (CLF-C02, SAA-C03)...
architecture Arquitetura e Data Quality
Em vez de apenas fazer requisições simples a uma API...
- 1. Schema Enforcement (Pydantic): Garante que a IA devolva estritamente um JSON...
- 2. Validação Semântica Customizada: Bloqueia questões que mencionem serviços avançados...
- 3. Motor de Deduplicação: Utilização do algoritmo SequenceMatcher...
- 4. Sanity Check: Verificação final de integridade...
Visão do Motor de Validação (Python):
# Exemplo simplificado do fluxo no pipeline_runner.py
def process_new_questions(raw_ai_data):
# 1. Valida estrutura JSON com Pydantic
parsed_data = schema_validator.validate(raw_ai_data)
# 2. Valida semântica (Escopo do Exame)
if not semantic_validator.is_in_scope(parsed_data, exam_level='CLF-C02'):
return "Rejected: Out of scope"
# 3. Detecta Duplicatas contra a base existente
if duplicate_detector.has_similarity(parsed_data, database):
return "Rejected: Duplicate"
return save_to_database(parsed_data)
def process_new_questions(raw_ai_data):
# 1. Valida estrutura JSON com Pydantic
parsed_data = schema_validator.validate(raw_ai_data)
# 2. Valida semântica (Escopo do Exame)
if not semantic_validator.is_in_scope(parsed_data, exam_level='CLF-C02'):
return "Rejected: Out of scope"
# 3. Detecta Duplicatas contra a base existente
if duplicate_detector.has_similarity(parsed_data, database):
return "Rejected: Duplicate"
return save_to_database(parsed_data)
devices Frontend PWA & Automação CI/CD
O consumo destes dados é feito por uma aplicação...
Todo o fluxo de geração e validação de dados roda de forma 100% serverless...
