Qué miden las clasificaciones de herramientas de IA para modelado financiero
Las clasificaciones publicadas puntúan la rapidez, el formato y la exactitud de los datos. Ninguna de las herramientas evaluadas proyectaba los intereses a partir de los saldos que los generan, así que ninguna construyó un modelo de tres estados de verdad. La dimensión que falta es la verificabilidad: si el archivo terminado lleva comprobaciones que otra persona pueda volver a ejecutar.
La prueba más conocida de herramientas de IA para modelado financiero es la de Wall Street Prep. Pide a cada herramienta que construya un modelo de tres estados totalmente integrado para Apple, con tres años de histórico del 10-K y del informe del cuarto trimestre, cuatro años de previsiones a partir del consenso y el formato que usaría un banco. Después las herramientas se puntúan como se puntuaría a un analista en formación.
Los resultados, según la clasificación publicada: Shortcut 5,9, Claude 5,5, Copilot 4,4, ChatGPT 2,5. Un analista junior principiante saca 6,4; uno con experiencia media, 7,9; uno sénior, 9,4. Ninguna herramienta llegó al mínimo del rango humano.
Las categorías son las que importan a quien tiene que entregar un modelo a un colega: con qué rapidez entendió la herramienta el encargo, si las cifras históricas eran correctas, si el formato parecía el de un banco, si la procedencia de los datos resistía la revisión y si la estructura de la previsión era sólida.
Es una buena prueba y responde a una pregunta real: si pido a una herramienta que construya un modelo, cuánto del borrador voy a conservar. Pero no responde a la pregunta que decide si el modelo sirve o no: si el archivo terminado se puede comprobar.
Qué dejan fuera las clasificaciones: la verificabilidad
Dos de las categorías de esa prueba se acercan a la verificabilidad sin llegar a ella. La de fuentes pregunta si la herramienta explica de dónde salió una cifra. La de estructura pregunta si los estados cuadran entre sí. Ninguna formula la pregunta que hace quien revisa: ¿puedo volver a ejecutar esto y obtener la misma respuesta, y puedo encontrar el punto en que deja de ser cierto?
La prueba de referencia sí informa de un resultado que muestra el coste de esa brecha. En el apartado de circularidad, su propio encabezado es Todos fallaron: «ninguna herramienta proyectó los ingresos y gastos por intereses a partir de los saldos de efectivo y deuda», y por tanto «no había circularidad incorporada en el modelo». Sobre la deuda: «Ninguna manejó la deuda correctamente», y la mayoría «se apoyó en partidas de ajuste en lugar de en una integración real».
No son omisiones menores en un modelo de tres estados. Unos intereses que no responden al saldo sobre el que se cargan son un número fijo, y un balance que cuadra gracias a una partida de ajuste es un balance que cumple la identidad en todos los periodos mientras está mal en todos los periodos. Las herramientas no fracasaron al resolver un problema difícil; evitaron el problema y aun así sacaron entre 4,4 y 5,9 sobre diez.
Una clasificación no puede verlo, porque compara resultados con unos criterios de evaluación. La verificabilidad es una propiedad de la ruta, no del resultado.

Qué tendría que puntuar un modelo comprobable
La alternativa no es una rúbrica mejor para el mismo borrador. Es una pregunta distinta, dirigida al archivo y no a la herramienta: cuántas afirmaciones cumple el libro terminado y si puede demostrarlo alguien que no sea su autor.
Seis tipos de comprobación lo cubren, y cada uno produce un número en lugar de una impresión:
| Tipo de comprobación | Qué produce | Por qué una clasificación no lo ve |
|---|---|---|
| Estructural | Identidades cumplidas, por periodo | Un modelo puede cuadrar solo en la última columna |
| Consistencia | Fórmulas que coinciden entre periodos | Un ajuste manual parece una fórmula |
| Restricciones | Restricciones que cumple la solución | Un óptimo fuera de límites sigue pareciendo una respuesta |
| Convergencia | Dos métodos, un número, una diferencia | Un solo método no puede auditarse |
| Sensibilidad | Dirección y plausibilidad de la respuesta | Un modelo que se equivoca de forma suave pasa desapercibido en todo lo demás |
| Comportamiento conocido | Comportamientos conocidos del método, no penalizados por error | Un modelo correcto puede marcarse como erróneo |
El libro de esta serie se construyó para producir exactamente esos números, y el resultado no tiene nada de espectacular: 99 comprobaciones, 99 aprobadas y un hallazgo, un efectivo final de −1.113 porque no existe ninguna línea de financiación. La cifra que importa no es el 99, sino la última, que ninguna puntuación sobre 10 habría dejado ver.
Cómo se comparan las herramientas en comprobaciones
Todavía no se pueden comparar, y merece la pena explicar por qué en lugar de insinuar una clasificación.
Ejecutar el protocolo de comprobación contra una herramienta significa darle el mismo paquete de entradas, retener la misma solución de referencia y evaluar el libro que devuelve con las mismas noventa y nueve comprobaciones. Eso se ha hecho una vez, con un solo modelo y por un solo equipo (este modelo), y el resultado es una demostración, no un estudio.
Sí se puede comparar, a partir de pruebas publicadas, cómo se comportan las herramientas en los puntos donde las comprobaciones suelen fallar:
| Qué se mide | Shortcut | Claude in Excel | Copilot | ChatGPT |
|---|---|---|---|---|
| Intereses proyectados a partir de saldos de efectivo y deuda | No | No | No | No |
| Calendario de deuda gestionado correctamente | No | No | No | No |
| Puntuación global, prueba publicada | 5,9 | 5,5 | 4,4 | 2,5 |
Cuatro herramientas, una misma respuesta en los dos puntos que deciden si un modelo de tres estados es un modelo. Es un hallazgo publicado sobre una prueba concreta en una fecha concreta, y es la evidencia más sólida disponible para sostener que la velocidad de generación y la verificabilidad son dimensiones distintas.
El resultado no permite concluir que ninguna herramienta pueda superar un protocolo de comprobación. El protocolo se ha aplicado una vez, y la herramienta que lo superó fue Mica, un resultado que debe leerse con la salvedad obvia: el mismo equipo construyó el modelo y escribió las comprobaciones. Esa salvedad explica por qué todos los artículos de este sitio distinguen una comprobación cruzada dentro de un mismo libro de una auditoría externa, y por qué las cifras se publican enteras en lugar de resumidas.
Qué preguntar a un proveedor
Si eliges una herramienta para un trabajo del que otros van a fiarse, la clasificación es un punto de partida y las cinco preguntas siguientes completan el cuadro. Se pueden responder en una demostración, y las respuestas son verificables.
- ¿Deja una hoja de comprobación en el archivo? No un informe ni un resumen en la ventana del chat: filas en el libro que se recalculan cuando cambia el modelo.
- ¿Calcula algo dos veces? Intereses, rendimiento, duración, precio de una opción. Si la respuesta es no, pregunta qué magnitud verifica de verdad y de qué manera.
- ¿Puedo borrar un calendario y ver qué se rompe? Esto comprueba si las partes del modelo están enlazadas o solo colocadas una al lado de otra.
- ¿Qué dice la hoja de límites? Una herramienta que no produce hoja de límites está afirmando que el modelo lo cubre todo, una afirmación que siempre es falsa.
- ¿Puedo volver a ejecutar la misma instrucción sobre el mismo archivo mañana? Aquí importa que todo se ejecute en local: si el libro sale de la máquina entre una ejecución y otra, la trazabilidad de la evidencia tiene un hueco.
Mica mantiene los supuestos de entrada separados de las celdas calculadas, así que un cambio de escenario se puede rastrear hasta las salidas que tocó. Esa es una respuesta a las preguntas uno y cinco, y se verifica en el libro, no en una página de marketing.
El panorama de herramientas que hay detrás de esas preguntas se repasa en la guía gratuita de herramientas de IA para Excel y en la comparación ChatGPT/Claude/Copilot; el artículo sobre la tendencia de los bots de acción ofrece la visión de categoría.
Quién debería leer la clasificación y quién no
Las puntuaciones publicadas responden a una pregunta real para un tipo de comprador y a una pregunta engañosa para otro.
Si construyes modelos para pensar, la clasificación se acerca bastante a lo que necesitas. Una herramienta que saca 5,9 y termina en quince minutos cambia de verdad la rapidez con que puedes producir una primera versión, y los errores que la mantienen fuera del intervalo humano son los que habrías cometido tú en una primera versión. Úsala y después reconstruye las partes que importan.
Si construyes modelos para entregar, la clasificación es el instrumento equivocado. La puntuación describe un borrador que un analista competente todavía tendría que terminar, y no dice nada sobre si el archivo final puede revisarlo alguien que no estaba en la sala. Esa es la pregunta de la hoja de comprobación, y ninguna de las cuatro herramientas la responde hoy.
Si compras software para un equipo, pide las dos cosas. La puntuación te dice si la herramienta se adoptará; la hoja de comprobación te dice si la salida se puede defender. Una herramienta que puntúa bien y no deja pruebas ha trasladado el coste de la revisión del analista a quien firma, lo que es una transferencia real de riesgo, no un ahorro.
Cómo ejecutar tú mismo el protocolo de comprobación
Nada de esto requiere la colaboración de un proveedor. El protocolo funciona en cualquier libro, en una tarde, con el archivo ya abierto.
Elige cinco afirmaciones, no noventa y nueve. Una identidad del balance por periodo, un arrastre de saldos, una prueba de articulación, una comparación de dos métodos y una dirección de sensibilidad. Cinco bastan para distinguir un modelo de un borrador, y son lo bastante pocas para terminarlas.
Escríbelas como fórmulas en una hoja aparte. Cada fila debe tener los dos valores, la diferencia y un indicador de aprobado. Una comprobación descrita en prosa es un deseo; una comprobación que es una celda es una prueba.
Identifica la celda que lee cada comprobación. Este es el paso que la gente se salta, y es el que convierte una señal de alarma en una ubicación. Sin él, una comprobación fallida te dice que el modelo está mal, pero no dónde.
Rompe el modelo a propósito. Cambia una variable de entrada, confirma que las comprobaciones siguen pasando y déjala como estaba. Si una comprobación cambia de resultado cuando nada debería haberse movido, o la comprobación está mal o lo está el enlace. En cualquier caso, has aprendido algo que el archivo estático no te diría.
Mantén la hoja en el archivo que envías. Una hoja de comprobación que vive en tu copia de trabajo es una afirmación sobre un modelo que deja de existir en el momento en que se envía. La que viaja con el archivo hace que el modelo sea auditable para quien lo recibe.
El protocolo anterior es el mismo que se describe en los seis tipos de comprobación, aplicado a la herramienta que haya producido el archivo. Es deliberadamente aburrido, y su valor es que no depende de confiar en quien lo ejecutó.
Qué significa la clasificación a la hora de elegir una herramienta
La clasificación ayuda a elegir, pero no basta: la verificabilidad es la dimensión que decide.
Tres conclusiones, en orden de confianza.
La velocidad de generación está resuelta y ya no marca la diferencia. Todas las herramientas de la prueba publicada produjeron un modelo de tres estados en alrededor de una hora, y las dos líderes lo hicieron en unos quince minutos. Elegir por velocidad es elegir la dimensión donde la diferencia es más pequeña.
La verificabilidad no está resuelta y es invisible en las clasificaciones. Ni una sola herramienta de la prueba publicada proyectó los intereses a partir de los saldos que los generan. Esa única omisión descalifica un modelo de tres estados como modelo de tres estados, y aun así las cuatro puntuaron a mitad de la tabla.
La comprobación está al alcance del comprador, no solo del proveedor. Pide la hoja de comprobación. Si la herramienta no puede producir una, el modelo es un borrador por muy bien que se vea, y ejecutar a mano los doce cuadres te llevará una tarde. Ese es todo el argumento para mantener el modelo en Excel y no en una caja negra: la evidencia viaja con el archivo.
Para el método que hay detrás de las cifras, empieza por los seis tipos de comprobación; para el único modelo que se ha llevado de principio a fin, el libro de tres estados; para la comprobación que hoy no superan todas las herramientas publicadas, la circularidad de los intereses.
*Esto es una comparación de resultados de pruebas publicadas y una metodología, no asesoramiento de inversión. Ningún proveedor pagó por aparecer, y los resultados citados arriba se reproducen de la fuente indicada.*
Lo que hace reejecutable esa hoja es la separación que mantiene Mica entre entradas y cálculos: un comprador puede volver a recorrerla sin pedir permiso al proveedor.
