CONCLUSIONES CLAVE
- Google Gemini 1.5 introduce una ventana contextual de un millón de tokens, superando a competidores como Claude y ChatGPT.
- Una ventana de contexto más grande mejora el rendimiento de un modelo de IA y reduce los errores, pero puede no garantizar el éxito general.
- La ventana contextual más grande de Gemini 1.5 podría mejorar en gran medida la precisión, reducir errores y mejorar la comprensión.
Google Gemini 1.5 ahora viene con una enorme ventana contextual de un millón de tokens, eclipsando a su competencia directa en ChatGPT, Claude y otros chatbots de IA.
Suena como una mejora enorme y podría diferenciar a Gemini. Es un poco difícil comprender su alcance total, pero la enorme ventana contextual de Géminis podría cambiar las reglas del juego.
¿Qué es una ventana contextual?
Al responder a sus consultas, como explicar un concepto o resumir un texto, los modelos de IA tienen un límite en la cantidad de datos que pueden considerar para generar una respuesta. El límite en el tamaño del texto que puede considerar se llama ventana de contexto.
Aquí hay otra manera de verlo. Digamos que vas a una tienda de comestibles para comprar alimentos sin tu lista de compras. El límite de la cantidad de alimentos que recuerda cuando compra es su ventana contextual. Cuantas más compras recuerdes, mayores serán tus posibilidades de no arruinar tus planes de compras. De manera similar, cuanto mayor sea la ventana de contexto de un modelo de IA, mayores serán las posibilidades de que el modelo recuerde todo lo que necesita para brindarle los mejores resultados.
Al momento de escribir este artículo, la ventana de contexto de 200k de Claude 2.1 de Anthropic es la ventana de contexto más grande de cualquier modelo de IA disponible generalmente. Le sigue el GPT-4 Turbo con una ventana de contexto de 128k. Google Gemini 1.5 trae una ventana de un millón de contextos, cuatro veces más grande que cualquier otra en el mercado. Esto lleva a la gran pregunta: ¿cuál es el problema con una ventana de contexto de un millón de tokens?
Por qué la ventana contextual de Gemini 1.5 es tan importante
Para ponerlo en una perspectiva más clara, la ventana de contexto de 200k de Claude AI significa que puede digerir un libro de alrededor de 150.000 palabras y proporcionarle respuestas. Eso es enorme. ¡Pero Gemini 1.5 de Google podría digerir 700.000 palabras de una vez!
Cuando introduces un bloque de texto grande en chatbots de IA como ChatGPT o Gemini, intenta digerir la mayor cantidad de texto posible, pero la cantidad que puede digerir depende de su ventana de contexto. Por lo tanto, si tiene una conversación que tiene 100.000 palabras en un modelo que solo puede manejar 28.000 y luego comienza a hacer preguntas que requieren que tenga un conocimiento completo de las 100.000 palabras de la conversación, está preparándola para que falle.
Imagínese ver solo 20 minutos de una película de una hora de duración y que le pidan que explique toda la película. ¿Qué tan buenos serían tus resultados? O te niegas a responder o simplemente inventas cosas, que es exactamente lo que haría un chatbot de IA, lo que provocaría alucinaciones de IA.
Ahora bien, si estás pensando que nunca has tenido que introducir 100.000 palabras en un chatbot, esa no es toda la consideración. La ventana de contexto trasciende solo el texto que ingresa a un modelo de IA en un solo mensaje. Los modelos de IA consideran toda la conversación que tuvo durante una sesión de chat para garantizar que sus respuestas sean lo más relevantes posible.
Por lo tanto, aunque no le esté proporcionando un libro de 100.000 palabras, sus conversaciones de ida y vuelta y las respuestas que proporciona se suman al cálculo de la ventana de contexto. ¿Se pregunta por qué ChatGPT o Gemini de Google siguen olvidando las cosas que les contó anteriormente en una conversación? Probablemente se quedó sin espacio en la ventana de contexto y empezó a olvidar cosas.
Una ventana de contexto más grande es particularmente importante para tareas que requieren una comprensión profunda del contexto, como resumir artículos extensos, responder preguntas complejas o mantener una narrativa coherente en el texto generado. ¿Quieres escribir una novela de 50.000 palabras que tenga una narrativa coherente en todo momento? ¿Quiere un modelo que pueda “ver” y responder preguntas en un archivo de vídeo de una hora? ¡Necesitas una ventana de contexto más grande!
En resumen, la ventana de contexto más grande de Gemini 1.5 puede mejorar significativamente el rendimiento de su modelo de IA, reduciendo las alucinaciones y aumentando significativamente la precisión y la capacidad de seguir mejor las instrucciones.
¿Gemini 1.5 estará a la altura de las expectativas?
Si todo sale según lo planeado, Gemini 1.5 podría superar a los mejores modelos de IA del mercado. Sin embargo, considerando los muchos fracasos de Google en la construcción de un modelo de IA estable, es importante pecar de cauteloso. Aumentar la ventana de contexto de un modelo por sí solo no mejora automáticamente el modelo.
He usado la ventana de contexto de 200k de Claude 2.1 durante meses desde su lanzamiento, y una cosa está clara para mí: una ventana de contexto más grande puede mejorar la sensibilidad al contexto, pero los problemas con el rendimiento del modelo central pueden hacer que un contexto más grande sea un problema. propio.
¿Google Gemini 1.5 cambiará las reglas del juego? Actualmente, las redes sociales están llenas de críticas entusiastas de Gemini 1.5 por parte de usuarios de acceso temprano. Sin embargo, la mayoría de las reseñas de 5 estrellas provienen de casos de uso apresurados o simplificados. Un buen lugar para comprobar cómo se comportaría Gemini 1.5 en la naturaleza es dentro del sitio web de Google. Informe técnico de Géminis 1.5 [PDF]. El informe muestra que incluso durante las «pruebas controladas», el modelo no pudo recuperar todos los pequeños detalles de los documentos dentro del tamaño de su ventana contextual.
Una ventana de contexto de un millón de tokens es de hecho una hazaña técnica impresionante, pero sin poder recuperar los detalles de un documento de manera confiable, una ventana de contexto más grande tiene poco valor práctico e incluso podría convertirse en una causa de disminución de la precisión y alucinaciones.
Apoya nuestro trabajo ❤️
Si te ha gustado este artículo, considera dejar una propina para ayudarnos a seguir publicando contenido de calidad.
