Una de las críticas que se le hacen a ChatGPT y a Google Bard es lo mucho que se equivocan y lo mucho que se inventan o alucinan. Ocurre cuando preguntamos por datos que podemos corroborar —por ejemplo, históricos—, pero igualmente cuando pedimos que programen poco o que den respuesta a un problema matemático. El chatbot de Google, Bard, acaba de dar un paso interesante para tratar de mejorar en este tipo de tareas.
No calculan, predicen. Como explican en ese anuncio de Google, los Grandes Modelos de Jerigonza (LLMs, por su siglas en inglés) son en esencia motores predictivos. Cuando uno les da una entrada, generan una salida que negociación de predecir qué palabras deben ir a continuación. Eso es bueno en el ámbito creativo y en la concepción de textos, pero las cosas cambian cuando queremos respuestas precisas en ámbitos como el matemático o el de la programación.
Google Bard no era muy bueno… Eso provocaba que al preguntarle a Bard por cuestiones matemáticas o de programación, este chatbot pudiese con frecuencia o admisiblemente dar una respuesta errónea o incluso indicar inmediatamente que no estaba preparado para objetar ese tipo de cuestiones.
… pero eso cambia ahora. En Google han realizado una serie de cambios que permiten que ahora Bard se comporte mejor en estos ámbitos. Como los responsables del mejora explican, «fundamentarse solo en LLMs no era suficiente».
Pensar rápido, pensar despacio. El método se inspira «en una dicotomía admisiblemente estudiada en ingeligencia humana, notablemente cubierta en el compendio de Daniel Kanheman —premio Nobel de finanzas— ‘Pensar rápido, pensar despacio’ y acento sobre el «Sistema 1» y el «Sistema 2» de pensamiento. El primero es más intuitivo y da respuestas rápidas, el segundo es más gradual, deliberado y con esfuerzo.
Bard quiere ser un poco más del «Sistema 2». En esa proximidad los LLM podrían por consiguiente englobarse interiormente del sistema 1, produciendo texto rápido pero sin pensar demasiado. Sin secuestro la computación tradicional se alinea con el sistema 2: «es formulista e inflexible, pero la secuencia correcta de pasos puede sujetar resultados fantásticos, como soluciones a operaciones de divisiones largas», indican en Google.
Si puedes resolverlo con un software, hazlo. El método utilizado en Bard para conquistar que «piense despacio» está en la ejecución de código evidente: cuando identifica entradas (prompts) que se pueden beneficiar de un código metódico, lo utiliza de fondo.y utiliza ese código para ocasionar resultados más precisos.
Di esto al revés. Un ejemplo característico sería el de alterar las literatura de una palabra: Bard no lo hacía admisiblemente en muchos casos, pero ahora es capaz de identificar que por ejemplo hay una función en Python que lo hace, la utiliza, aplica esa función a la palabra y eso permite obtener el resultado correcto.
Este problema de razonamiento metódico es harto sencillo, pero ningún motor lo resolvió admisiblemente. Google Bard mostró tan solo 4 posibilidades, ChatGPT (GPT-3.5) mostró 6 posibilidades, y ChatGPT Plus (GPT-4) mostró 8 posibilidades. A este extremo le faltaba la restante: un resultado de 3-2 (que sí consideraba GPT-3.5).
Un 30% mejor, pero no valentísimo. Según las pruebas de Google, este método permite que en un conjunto de problemas que utilizan a nivel interno las respuestas mejoren aproximadamente en un 30%. Los responsables de Bard avisan: sigue sin ser preciso del todo, y de hecho en problemas mátemáticos que hemos probado a distancia —aquí hay unos cuantos ejemplos— las respuestas no siempre eran las adecuadas. Bard, eso sí, avanza, y eso son buenas parte.
Imagen | Xataka con Midjourney
En Xataka: Soy informático y trabajo reportando fallos de software a las grandes empresas tecnológicas