Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Journal Title: Ciencias Matemáticas - Year 2023, Vol 36, Issue 1
Abstract
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades cognitivas humanas mediante la evaluación de los Modelos de Lenguajes a Gran Escala (LLM). La investigación se enfoca en la importancia de evaluar las habilidades cognitivas de los LLM. Se identifica la falta de conjuntos de datos, suficientemente variados, para hacer esto, y la necesidad de una base de datos, lo suficientemente exhaustiva, para hacerlo con la calidad requerida. Por tanto, se ha diseñado un conjunto de datos que permite la evaluación de las capacidades cognitivas de diversos modelos de lenguaje, utilizando solamente el lenguaje natural. Los resultados obtenidos, a partir de la evaluación de las habilidades cognitivas sobre el conjunto de datos creado, proporcionan una visión más detallada acerca de las carencias y fortalezas de los LLM en lo que respecta a las habilidades evaluadas, así como cuál es el mejor modelo para explotar cada habilidad individualmente y en general.
Authors and Affiliations
Kevin Talavera Díaz, Alberto Fernández Oliva, Suilán Estévez Velarde
Keywords
Related Articles
- EP ID EP749903
- DOI https://doi.org/10.5281/zenodo.13946404
- Views 15
- Downloads 0
XVIII Congreso Internacional de Matemática y Computación, Compumat 2023, La Habana, 2023
En nombre de la Sociedad Cubana de Matemática y Computación (SCMC) se presenta un balance del XVIII Congreso Internacional de Matemática y Computación, Compumat 2023, desarrollado de manera híbrida en la Universidad de L...
Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades...
Propuesta didáctica para la enseñanza de matrices y conceptos asociados mediante el cifrado de Hill
El cifrado y la codificación a lo largo de la historia han sido herramientas importantes para transmitir mensajes de manera segura. En particular, el cifrado de palabras puede usarse como un recurso didáctico para la ens...
Estudio matemático de la diabetes en gestantes y no gestantes
Se analizan varios modelos matemáticos (complejos y lineales) para observar la interacción entre la insulina y la glucosa presente en las personas enfermas o no, lo que incluye el caso gestante. Para ello, se realiza un...
Cálculo sin matrix de combinación lineal de función phi por vector en integradores exponenciales
El cálculo numérico de combinaciones lineales de productos de funciones phi por vectores surge como un problema importante en la implementación de integradores exponenciales para Problemas de Valor Inicial (PVI) de grand...