Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Journal Title: Ciencias Matemáticas - Year 2023, Vol 36, Issue 1
Abstract
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades cognitivas humanas mediante la evaluación de los Modelos de Lenguajes a Gran Escala (LLM). La investigación se enfoca en la importancia de evaluar las habilidades cognitivas de los LLM. Se identifica la falta de conjuntos de datos, suficientemente variados, para hacer esto, y la necesidad de una base de datos, lo suficientemente exhaustiva, para hacerlo con la calidad requerida. Por tanto, se ha diseñado un conjunto de datos que permite la evaluación de las capacidades cognitivas de diversos modelos de lenguaje, utilizando solamente el lenguaje natural. Los resultados obtenidos, a partir de la evaluación de las habilidades cognitivas sobre el conjunto de datos creado, proporcionan una visión más detallada acerca de las carencias y fortalezas de los LLM en lo que respecta a las habilidades evaluadas, así como cuál es el mejor modelo para explotar cada habilidad individualmente y en general.
Authors and Affiliations
Kevin Talavera Díaz, Alberto Fernández Oliva, Suilán Estévez Velarde
Keywords
Related Articles
- EP ID EP749903
- DOI https://doi.org/10.5281/zenodo.13946404
- Views 3
- Downloads 0
CRYSTAL: Herramienta computacional para la resolución de modelos epidemiológicos definidos por ecuaciones diferenciales ordinarias
El objetivo fundamental de este trabajo es presentar el diseño e implementación de una herramienta computacional para la resolución, análisis y graficado de los modelos epidemiológicos, tipo poblacionales. El programa pe...
El problema de Riemann para el sistema de Lamé-Navier bidimensional
Este trabajo está dedicado a estudiar un sistema de ecuaciones de la Teoría de la Elasticidad Lineal: el sistema de Lamé-Navier. Mediante el Análisis Complejo, este sistema se reescribe en términos del operador de Cauchy...
Pirámides instrumentales en la enseñanza y aprendizaje del límite funcional
El uso de mapas conceptuales ha sido efectivo en la enseñanza y aprendizaje de diversas ramas de la ciencia. En el presente trabajo se muestra la utilización de las pirámides instrumentales en la Matemática, específicame...
Neural networks to remove specular reflections in colposcopic images without prior annotation
Colposcopic images of the cervix are crucial for cervical cancer early detection, but specular reflections (bright areas) in these images can abstruse key portions of them, potentially leading to misdiagnosis. This paper...
Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades...