Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
Título alternativo
Performance analysis of general pre-trained machine learning models: BERT vs DistilBERTAutor
Barbon, Rafael Silva
Akabane, Ademar Takeo
Data de publicação
23/05/2022Tipo de conteúdo
ArtigoPrograma de Pós-Graduação
Não se aplicaDireitos de acesso
Acesso abertoMetadados
Mostrar registro completoResumo
Modelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores. Machine learning (ML) models have been widely used due to the highamount of data produced daily. Among them, the pre-trained models stand outdue to their effectiveness, but normally these demand a high computational costin the execution of their tasks. To circumvent this problem, neural networkcompression techniques have been applied to produce smaller pre-trained mo-dels without compromising accuracy. Therefore, in this work two different pre-trained models of ML were used: BERT and DistilBERT in text classification.The results show that smaller models present good results when compared totheir larger counterparts.