Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Journal Title: Ciencias Matemáticas - Year 2023, Vol 36, Issue 1
Abstract
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades cognitivas humanas mediante la evaluación de los Modelos de Lenguajes a Gran Escala (LLM). La investigación se enfoca en la importancia de evaluar las habilidades cognitivas de los LLM. Se identifica la falta de conjuntos de datos, suficientemente variados, para hacer esto, y la necesidad de una base de datos, lo suficientemente exhaustiva, para hacerlo con la calidad requerida. Por tanto, se ha diseñado un conjunto de datos que permite la evaluación de las capacidades cognitivas de diversos modelos de lenguaje, utilizando solamente el lenguaje natural. Los resultados obtenidos, a partir de la evaluación de las habilidades cognitivas sobre el conjunto de datos creado, proporcionan una visión más detallada acerca de las carencias y fortalezas de los LLM en lo que respecta a las habilidades evaluadas, así como cuál es el mejor modelo para explotar cada habilidad individualmente y en general.
Authors and Affiliations
Kevin Talavera Díaz, Alberto Fernández Oliva, Suilán Estévez Velarde
Keywords
Related Articles
- EP ID EP749903
- DOI https://doi.org/10.5281/zenodo.13946404
- Views 63
- Downloads 0
Análisis de sensibilidad del Modelo de Bahill Aplicado a movimientos sacádicos en pacientes atáxicos
El análisis de los movimientos oculares es de utilidad para estudiar varias enfermedades neurológicas, entre ellas la ataxia hereditaria de tipo 2 (SCA2). A. T. Bahill estudió tales movimientos en personas sanas y propus...
Integración de curvas elípticas criptográficamente seguras al EJBCA
En el presente trabajo se verifica la disponibilidad de una criptografía desarrollada sobre curvas elípticas que permite generar parámetros criptográfcos más efcientes que se integran al software EJBCA para poder generar...
Evaluación de habilidades cognitivas de diversos modelos de lenguajes a gran escala
Se presenta un análisis exhaustivo del concepto de inteligencia humana y su relación con el desarrollo de la Inteligencia Artificial, haciendo una conexión entre la evolución de la misma y la imitación de las capacidades...
Segmentación automática del hígado en imágenes de tomografía computarizada
La segmentación automática de hígado facilita la detección de anomalías hepáticas a partir de imágenes de tomografía computarizada. La segmentación manual de estructuras y órganos no alcanza los niveles de precisión con...
Retos pos-Covid de la educación a distancia en matemática para la formación de ingenieros
La pandemia de Covid-19 provocó cambios significativos en la modalidad de educación a distancia, pues los procesos educativos se realizaron de forma abrupta mediante la interfaz de una computadora personal o un teléfono...