O USO DO MODELOS AMPLOS DE LINGUAGEM (LLM) PARA EXTRAÇÃO DE ESQUEMAS DE CONJUNTO DE DADOS SEMIESTRUTURADOS

Resumo

A maioria dos dados gerados com a evolução da tecnologia não seguem um esquema definido, fazendo com que o uso de formatos flexíveis, como o JSON, tornem-se essenciais. Entretanto, a falta de padronização define desafios para trabalhar com esse tipo de documentos.  Os esquemas são essenciais para aplicativos centrados em dados, porém, a identificação dos esquemas em dados semi-estruturados, onde os metadados se encontram nos próprios valores, possui dificuldades para realizar uma inferência automática. Esse trabalho propõe uma abordagem e avalia o desempenho de LLMs na extração de esquemas de fonte de dados não estruturados, focando em documentos legais. A metodologia possuí um fluxo preparatório para os documentos: coleta, pré-processamento e preparação dos dados. Após isso, é montado manualmente um golden schema para servir de referência na avaliação. Por fim, é utilizado o Mistral 7B Instruct v0.2 para os experimentos. A avaliação qualitativa foi realizada comparando os JSONs extraídos com o golden schema por meio de métricas de similaridade semântica e acurácia dos tipos de dados, utilizando o modelo de embeddings all-MiniLM-L6-v2 e similaridade do cosseno. Conclui-se que o Mistral 7B pode atuar como ferramenta auxiliar na extração, porém, ainda necessita de técnicas de pré-processamento, limpeza e correção semântica.