Por favor, use este identificador para citar o enlazar este ítem:
http://dspace.ucuenca.edu.ec/handle/123456789/37768
Título : | A Methodological Framework for Creating Large-Scale Corpus for Natural Language Processing Models |
Autor: | Santos Leon, David Enrique Auquilla Sangolqui, Andres Vinicio Siguenza Guzman, Lorena Catalina Peña Ortega, Mario Patricio |
Correspondencia: | Santos Leon, David Enrique, david.santos@ucuenca.edu.ec |
Palabras clave : | Corpus construction Corpus in Spanish Large-scale corpus Methodological framework Supplies for NLP |
Área de conocimiento FRASCATI amplio: | 2. Ingeniería y Tecnología |
Área de conocimiento FRASCATI detallado: | 2.11.2 Otras Ingenierias y Tecnologías |
Área de conocimiento FRASCATI específico: | 2.11 Otras Ingenierias y Tecnologías |
Área de conocimiento UNESCO amplio: | 06 - Información y Comunicación (TIC) |
ÁArea de conocimiento UNESCO detallado: | 0612 - Base de Datos, Diseno y Administración de Redes |
Área de conocimiento UNESCO específico: | 061 - Información y Comunicación (TIC) |
Fecha de publicación : | 2021 |
Fecha de fin de embargo: | 30-dic-2050 |
Volumen: | Volumen 1456 |
Fuente: | Communications in Computer and Information Science |
metadata.dc.identifier.doi: | 10.1007/978-3-030-89941-7_7 |
Editor: | Springer |
Ciudad: | Guayaquil |
Tipo: | ARTÍCULO DE CONFERENCIA |
Abstract: | Currently, there is a boom in introducing Machine Learning models to various aspects of everyday life. A relevant field consists of Natural Language Processing (NLP) that seeks to model human language. A key and basic component for these models to learn properly consists of the data. This article proposes a methodological framework for constructing a large-scale corpus to feed NLP models. The development of this framework emerges from the problem of finding inputs in languages other than English to feed NLP models. With an approach focused on producing a high-quality resource, the construction phases were designed along with the considerations that must be taken. The stages implemented consist of the corpus characterization to be obtained, collecting documents, cleaning, translation, storage, and evaluation. The proposed approach implemented automatic translators to take advantage of the vast amount of English literature and implemented through non-cost libraries. Finally, a case study was developed, resulting in a corpus in Spanish with more than 170,000 documents within a specific domain, i.e., opinions on textile products. Through the evaluations carried out, it is established that the proposed framework can build a large-scale and high-quality corpus. |
Resumen : | Actualmente, hay un auge en la introducción de modelos de Machine Learning en varios aspectos de la vida cotidiana. Un campo relevante es el Procesamiento del Lenguaje Natural (PNL) que busca modelar el lenguaje humano. Un componente clave y básico para que estos modelos aprendan correctamente son los datos. Este artículo propone un marco metodológico para la construcción de un corpus a gran escala para alimentar modelos de PNL. El desarrollo de este marco surge del problema de encontrar insumos en idiomas distintos del inglés para alimentar los modelos de PNL. Con un enfoque enfocado a producir un recurso de alta calidad, se diseñaron las fases de construcción junto con las consideraciones que se deben tomar. Las etapas implementadas consisten en la caracterización del corpus a obtener, recolección de documentos, limpieza, traducción, almacenamiento y evaluación. El enfoque propuesto implementó traductores automáticos para aprovechar la gran cantidad de literatura en inglés y se implementó a través de bibliotecas gratuitas. Finalmente, se desarrolló un estudio de caso que resultó en un corpus en español con más de 170.000 documentos dentro de un dominio específico, es decir, opiniones sobre productos textiles. A través de las evaluaciones realizadas, se establece que el marco propuesto puede construir un corpus de gran escala y calidad. |
URI : | https://link.springer.com/chapter/10.1007/978-3-030-89941-7_7 |
URI Fuente: | https://www.springer.com/series/7899?detailsPage=contentItemPage&CIPageCounter=466612 |
ISBN : | 000-0000-00-000-0 |
ISSN : | 1865-0929 |
Aparece en las colecciones: | Artículos
|
Los ítems de DSpace están protegidos por copyright, con todos los derechos reservados, a menos que se indique lo contrario.