¿Por qué la IA no siempre es fiable?
Acudir a la IA está muy bien, pero no a ciegas. Porque aunque es una potente herramienta para personas y usuarios, con determinadas cuestiones técnicas o incluso tareas sencillas, a veces puede fallar.
Es fácil, cómodo y gratuito. Por eso, cada vez más personas recurren a herramientas como ChatGPT para resolver dudas técnicas o, como en este caso que te voy a contar, para preguntar sobre proyectos digitales.
Como empresa tecnológica especialista en pymes, en Cosmomedia te queremos explicar porqué no siempre debes fiarte de lo que te diga ChatGPT, especialmente en evaluaciones técnicas más complejas… y lo vamos a hacer en base a un caso real que nos ha pasado.
Un caso real... ¿Puede la IA analizar si una web cumple los criterios del Programa Kit Digital?
La respuesta es no, obviamente, pero te vamos a contar el motivo.
Un cliente nos contactó hace días para decirnos que le había preguntado a ChatGPT si la web que le habíamos desarrollado con el Kit Digital cumplía con los criterios que establece este programa. La IA respondió que no... del todo, pero, ¿sabía la IA todos esos criterios técnicos?
Los LLMs como es ChatGPT se basan en un entrenamiento adquirido y en información extraída de Internet, con millones de fuentes más o menos fiables. ¿ChatGPT puede analizar una web? Sí, claro que puede analizar una web, pero no de forma precisa. Y te explicamos por qué.
Al analizar la web, la IA puede desarrollar aspectos que tengan que ver con los criterios generales de Red.es, como tener dominio propio, diseño responsive, velocidad mínima, formularios de contacto... pero no puede evaluar con profundidad si una web cumple todos los requisitos técnicos o si está optimizada en detalle para el SEO.
Además, puede confundirse si se mezclan conceptos externos o formativos que no aparecen en la web, generando respuestas poco claras.
Al finalizar una web, en Cosmomedia realizamos un análisis detallado para asegurar que cada web se ajusta a los estándares y requisitos normativos. Además, si existe alguna duda técnica, nos dirigimos directamente al organismo competente para resolverlo.
La IA a veces falla
Un reciente estudio de la Universitat Politècnica de València (UPV) y la Universidad de Cambridge, publicado en la revista Nature, confirma que los modelos de lenguaje actuales (LLMs) tienen limitaciones de fiabilidad, sobre todo cuando las preguntas son ambiguas o muy técnicas.
No es lo mismo resolver una fórmula matemática que analizar todos los aspectos técnicos o normativos de un proyecto, por ejemplo. La fórmula se resuelve rápido pero un proyecto con múltiples variantes, vertientes normativas, cambios o actualizaciones... pues ya no.
Vamos a ponernos un poco técnicos para que entiendas un concepto muy importante: el contexto. Los modelos LLM, como ChatGPT, se entrenan con enormes cantidades de texto para generar respuestas según patrones, pero no siempre comprenden el contexto real, ni pueden verificar datos actualizados o específicos.
Las respuestas de ChatGPT se basan en probabilidades
¿Sabías que la IA muestra contenido en base a probabilidades matemáticas? Sí, como lo oyes. Un LLM (Large Language Model) como ChatGPT rastrea el contenido disponible en Internet y "tokeniza" las palabras, es decir, las convierte en números para analizarlas. Luego establece relaciones entre estos tokens según patrones semánticos y contextuales: sinónimos, antónimos y asociaciones frecuentes…
De esta forma, puede asociar "caminar" con "pasear", o entender que "Granada" puede referirse tanto a una fruta como a una ciudad o a un equipo de fútbol. Todo depende del contexto primario de la pregunta.
En realidad, lo que hace la IA es realizar una predicción estadística de qué palabra viene después de otra, en función de millones de ejemplos previos. Es decir, no responde "porque sabe", sino porque "cree más probable" que esa sea una buena respuesta.
La IA y sus alucinaciones
Y aquí viene lo interesante: como trabaja con probabilidades y no con certezas verificadas, puede alucinar. Es decir, si no encuentra una coincidencia clara o si el contexto es ambiguo, directamente se lo puede inventar. Y se le llama así, directamente, "alucinación de IA".
Esto explica por qué ChatGPT a veces responde con datos erróneos, imprecisos o sacados de contexto. Y por qué, como en el caso que te contamos, puede decir que una web no cumple unos requisitos... sin tener capacidad real para evaluarla técnicamente.
Básicamente significa que pueden resolver ecuaciones cuánticas complejas o explicar conceptos muy avanzados, pero fallan al analizar múltiples aspectos técnicos que sean muy concretos.
Y eso, si lo piensas bien es algo lógico y normal. No es lo mismo evaluar un proyecto de arquitectura en su conjunto, con la cantidad de variables que tiene, que resolver un problema matemático concreto. Tampoco es lo mismo analizar la imagen de una radiografía, que entender la evolución del historial clínico de un paciente. Pueden acercarse, pero hay muchos factores y muchos puntos de vista que desconocen.
Luego está también el factor de cómo formules la pregunta...
La cuestión del "prompt" o cómo preguntas a la IA
La calidad y precisión de la respuesta de la IA depende mucho de la pregunta o prompt que le hagas. Un prompt claro y concreto da mejores resultados. Una pregunta de una fórmula matemática va "al grano", una genérica de "cumple con los requisitos de tal normativa" genera respuestas confusas y erróneas.
Si la pregunta es ambigua o demasiado general, la IA puede dar respuestas superficiales o contradictorias, porque no puede analizar realmente una web ni validar detalles técnicos reales.
En la práctica, pedir a la IA un análisis técnico detallado puede llevar a respuestas contradictorias o superficiales, ya que la herramienta trabaja con modelos de lenguaje y no con un análisis real de código o métricas específicas, lo que limita su precisión en estos casos.
¿Significa esto que la IA no sirve para revisar proyectos?
Claro que no. Esto demuestra que la IA es una ayuda valiosa. Supone una herramienta muy potente para buscar información y generar contenidos, como lo fue en su día el buscador de Google. Pero la IA, como otras muchas herramientas digitales, deben usarse con criterio y conocimiento, aportando datos claros, preguntas precisas y complementando con profesionales que analicen con experiencia y criterio.
La IA es una potente herramienta, pero no sustituye al juicio experto ni el análisis técnico personalizado (al menos, de momento) Como hemos dicho, la IA no “sabe”, tan sólo predice una respuesta, en base a la interpretación que da a los millones de resultados que encuentra.
