Análise de performance dos modelos gerais de aprendizado de máquina pré-treinados: BERT vs DistilBERT
Alternative Title
Performance analysis of general pre-trained machine learning models: BERT vs DistilBERTAuthor
Barbon, Rafael Silva
Akabane, Ademar Takeo
Date
23/05/2022Content Type
ArtigoPostgraduate Program
Não se aplicaAccess rights
Acesso abertoMetadata
Show full item recordAbstract
Modelos de aprendizado de máquina (AM) vêm sendo amplamente utilizados devido à elevada quantidade de dados produzidos diariamente. Dentre eles, destaca-se os modelos pré-treinados devido a sua eficácia, porém estes normalmente demandam um elevado custo computacional na execução de sua tarefa. A fim de contornar esse problema, técnicas de compressão de redes neurais vem sendo aplicadas para produzir modelos pré-treinados menores sem comprometer a acurácia. Com isso, neste trabalho foram utilizados dois diferentes modelos pré-treinados de AM: BERT e DistilBERT na classificação de texto. Os resultados apontam que modelos menores apresentam bons resultados quando comparados com seus equivalentes maiores. Machine learning (ML) models have been widely used due to the highamount of data produced daily. Among them, the pre-trained models stand outdue to their effectiveness, but normally these demand a high computational costin the execution of their tasks. To circumvent this problem, neural networkcompression techniques have been applied to produce smaller pre-trained mo-dels without compromising accuracy. Therefore, in this work two different pre-trained models of ML were used: BERT and DistilBERT in text classification.The results show that smaller models present good results when compared totheir larger counterparts.