Esta historia es parte de nuestra cobertura de Computex, la conferencia de informática más grande del mundo.
Cuando Microsoft anunció las PC Copilot+ hace unas semanas, una pregunta reinaba en el ambiente: ¿por qué no puedo ejecutar estas aplicaciones de IA en mi GPU? En Computex 2024, Nvidia finalmente brindó una respuesta.
Nvidia y Microsoft están trabajando juntos en una interfaz de programación de aplicaciones (API) que permitirá a los desarrolladores ejecutar sus aplicaciones aceleradas por IA en tarjetas gráficas RTX. Esto incluye los diversos modelos de lenguaje pequeño (SLM) que forman parte del entorno de ejecución de Copilot, que se utilizan como base para funciones como Recall y Live Captions.
Con el kit de herramientas, los desarrolladores pueden permitir que las aplicaciones se ejecuten localmente en su GPU en lugar de en la NPU. Esto abre la puerta no solo a aplicaciones de IA más potentes, ya que las capacidades de IA de las GPU son generalmente mayores que las de las NPU, sino también a la capacidad de ejecutarse en PC que actualmente no están bajo el paraguas de Copilot+.
Obtén tu análisis semanal de la tecnología detrás de los juegos de PC
Es un gran paso. Las PC Copilot+ actualmente requieren una unidad de procesamiento neuronal (NPU) capaz de al menos 40 Tera Operations Per Second (TOPS). Por el momento, solo el Snapdragon X Elite cumple con ese criterio. A pesar de eso, las GPU tienen capacidades de procesamiento de IA mucho mayores, con modelos de gama baja que alcanzan los 100 TOPS y opciones de gama alta que escalan aún más.
Además de ejecutarse en la GPU, la nueva API agrega capacidades de generación aumentada por recuperación (RAG) al entorno de ejecución de Copilot. RAG le da al modelo de IA acceso a información específica de forma local, lo que le permite brindar soluciones más útiles. Vimos RAG en plena exhibición con Chat with RTX de Nvidia a principios de este año.
Además de la API, Nvidia anunció el RTX AI Toolkit en Computex. Esta suite para desarrolladores, que llegará en junio, combina varias herramientas y SDK que permiten a los desarrolladores ajustar los modelos de IA para aplicaciones específicas. Nvidia afirma que al utilizar el RTX AI Toolkit, los desarrolladores pueden crear modelos cuatro veces más rápido y tres veces más pequeños en comparación con el uso de soluciones de código abierto.
Estamos viendo una ola de herramientas que permiten a los desarrolladores crear aplicaciones de IA específicas para los usuarios finales. Algunas de ellas ya se están viendo en las PC Copilot+, pero sospecho que veremos muchas más aplicaciones de IA en este momento el año que viene. Después de todo, tenemos el hardware para ejecutar estas aplicaciones; ahora solo necesitamos el software.
Apoya nuestro trabajo ❤️
Si te ha gustado este artículo, considera dejar una propina para ayudarnos a seguir publicando contenido de calidad.
