Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Journal Title: Ciencias Matemáticas - Year 2023, Vol 36, Issue 1
Abstract
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades cognitivas humanas mediante la evaluación de los Modelos de Lenguajes a Gran Escala (LLM). La investigación se enfoca en la importancia de evaluar las habilidades cognitivas de los LLM. Se identifica la falta de conjuntos de datos, suficientemente variados, para hacer esto, y la necesidad de una base de datos, lo suficientemente exhaustiva, para hacerlo con la calidad requerida. Por tanto, se ha diseñado un conjunto de datos que permite la evaluación de las capacidades cognitivas de diversos modelos de lenguaje, utilizando solamente el lenguaje natural. Los resultados obtenidos, a partir de la evaluación de las habilidades cognitivas sobre el conjunto de datos creado, proporcionan una visión más detallada acerca de las carencias y fortalezas de los LLM en lo que respecta a las habilidades evaluadas, así como cuál es el mejor modelo para explotar cada habilidad individualmente y en general.
Authors and Affiliations
Kevin Talavera Díaz, Alberto Fernández Oliva, Suilán Estévez Velarde
Keywords
Related Articles
- EP ID EP749903
- DOI https://doi.org/10.5281/zenodo.13946404
- Views 53
- Downloads 0
XVIII Congreso Internacional de Matemática y Computación, Compumat 2023, La Habana, 2023
En nombre de la Sociedad Cubana de Matemática y Computación (SCMC) se presenta un balance del XVIII Congreso Internacional de Matemática y Computación, Compumat 2023, desarrollado de manera híbrida en la Universidad de L...
Introducción y solución del problema de los reducidos catalanes
El problema de los reducidos catalanes consiste en la resolución de ecuaciones en congruencia y en la maximización del cardinal del conjunto de soluciones de estas. Para solucionar este problema se desarrolla un novedoso...
Retos pos-Covid de la educación a distancia en matemática para la formación de ingenieros
La pandemia de Covid-19 provocó cambios significativos en la modalidad de educación a distancia, pues los procesos educativos se realizaron de forma abrupta mediante la interfaz de una computadora personal o un teléfono...
Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades...
Meta-aprendizaje para AutoML heterogéneo
El aprendizaje de máquina automatizado (AutoML) es un área de la Inteligencia Artificial en auge, aunque enfrenta varios desafíos. Este proceso puede ser lento e ineficiente computacionalmente. El meta-aprendizaje, que c...