Lea nuestra cobertura completa del Mobile World Congress
En el Mobile World Congress 2024, Qualcomm sumará más a su cartera de trucos de IA en el teléfono facilitados por el silicio de la serie Snapdragon para teléfonos Android. El fabricante de chips ya ha mostrado algunas capacidades de IA impresionantes para el buque insignia Snapdragon 8 Gen 3, como la edición de medios activada por voz, la generación de imágenes en el dispositivo mediante Stable Diffusion y un asistente virtual más inteligente construido sobre grandes modelos de lenguaje de empresas como Meta.
Hoy, la empresa está sumando más potencia a esos superpoderes de IA. El primero es la capacidad de ejecutar un Asistente de lenguaje y visión de gran tamaño (LLaVa) en un teléfono inteligente. Piénselo como un chatbot como ChatGPT al que se le han otorgado capacidades de Google Lens. Como tal, la solución de Qualcomm no solo puede aceptar la entrada de texto, sino también procesar imágenes.
Por ejemplo, puedes introducir una imagen que represente una tabla de embutidos y hacer preguntas basadas en ella. El asistente de IA, basado en un gran modelo multimodal (LMM) que puede procesar más de 7 mil millones de parámetros, te dirá todos los tipos de frutas, quesos, carnes y frutos secos que hay en la tabla representada en la imagen de entrada que se ve a continuación.
También puede gestionar consultas posteriores, por lo que puede mantener una conversación fluida de ida y vuelta. Ahora, herramientas como ChatGPT también han adquirido capacidades multimodales, lo que significa que la herramienta de OpenAI también puede procesar entradas de imágenes. Sin embargo, existe una diferencia crucial.
Productos como ChatGPT y Copilot todavía están muy ligados a una arquitectura basada en la nube, lo que significa que sus datos se manejan en servidores remotos. La apuesta de Qualcomm apunta al procesamiento en el dispositivo. Todo sucede en su teléfono, lo que significa que todo el proceso es más rápido y hay poco riesgo de intrusión en la privacidad.
«Este LMM se ejecuta a una tasa de tokens adaptable en el dispositivo, lo que se traduce en una mayor privacidad, confiabilidad, personalización y costos», afirma Qualcomm. Aún no se ha confirmado oficialmente si el asistente virtual basado en LLaVa prometido por Qualcomm llegará como una aplicación independiente o si tendrá un costo.
El próximo anuncio de Qualcomm se adentra en el ámbito creativo de la generación y manipulación de imágenes. No hace mucho, Qualcomm hizo una demostración de la generación de texto a imagen más rápida del mundo en un teléfono utilizando la tecnología Stable Diffusion. Hoy, la empresa ofrece un primer vistazo a la generación de imágenes impulsada por LoRA.
LoRA adopta un enfoque diferente para la generación de imágenes que una herramienta de IA generativa normal como Dall.E. LoRA, abreviatura de Adaptación de bajo rango, es una técnica desarrollada por MicrosoftEntrenar un modelo de IA puede resultar bastante costoso, tener una alta latencia y ser particularmente exigente desde una perspectiva de hardware.
Lo que hace LoRA es reducir drásticamente el peso del modelo, un objetivo que se logra al centrarse únicamente en segmentos específicos del modelo y reducir la cantidad de parámetros para fines de entrenamiento. Al hacerlo, los requisitos de memoria disminuyen, el proceso se vuelve más rápido y la cantidad de tiempo y esfuerzo necesarios para adaptar un modelo de texto a imagen también disminuye drásticamente.
Con el tiempo, la técnica de destilación LoRA se ha aplicado al modelo de difusión estable para generar imágenes a partir de indicaciones de texto. Debido a las ganancias en eficiencia y la mayor adaptabilidad de los modelos basados en LoRA, se considera una ruta hecha a medida para los teléfonos inteligentes. Qualcomm ciertamente lo cree, e incluso su rival MediaTek ha adoptado la misma solución para trucos de IA generativa en su chip estrella Dimensity 9300.
Qualcomm también está mostrando algunos otros trucos de IA en el MWC 2024, algunos de los cuales ya han aparecido en el Samsung Galaxy S24 Ultra. Entre ellos se encuentra la capacidad de expandir el lienzo de una imagen utilizando relleno de IA generativo y generación de video impulsada por IA. Esto último es bastante ambicioso, especialmente después de ver lo que OpenAI ha logrado con Sora. Sería interesante ver cómo Qualcomm logra trasladarlo a los teléfonos inteligentes.
