Antes disponibles únicamente en centro de datos en la nube, los nuevos modelos de IA de OpenAI ahora están accesibles en los hogares gracias a GeForce RTX
NVIDIA anunció su colaboración con OpenAI para llevar la nueva familia de modelos abiertos gpt-oss a los consumidores, permitiendo que una IA de última generación, que antes era exclusiva de centros de datos en la nube, funcione con una velocidad increíble en PCs y estaciones de trabajo con tecnología RTX.
Este lanzamiento marca el comienzo de una nueva generación de IA local más rápida e inteligente, impulsada por la potencia de las GPUs GeForce RTX y las GPUs PRO. Están disponibles dos nuevas variantes, diseñadas para servir a todo el ecosistema:
- El modelo gpt-oss-20b está optimizado para funcionar al máximo rendimiento en PCs con IA equipados con NVIDIA RTX y al menos 16 GB de VRAM, ofreciendo hasta 250 tokens por segundo en una GPU RTX 5090.
- El modelo gpt-oss-120b de mayor tamaño, está diseñado para estaciones de trabajo profesionales aceleradas con GPUs NVIDIA RTX PRO.
Entrenados en GPUs NVIDIA H100, estos son los primeros modelos que admiten precisión MXFP4 en NVIDIA RTX, una técnica que mejora la calidad y precisión del modelo sin costo adicional de rendimiento en comparación con métodos anteriores. Ambos modelos admiten hasta 131,072 tokens de contexto, uno de los contextos más largos disponibles para inferencia local.
Están construidos sobre una arquitectura flexible de mixture-of-experts (MoE), e incluyen capacidades de cadena de razonamiento (chain-of-thought), así como soporte para seguir instrucciones y usar herramientas.
El RTX AI Garage de esta semana destaca cómo los entusiastas de la IA y los desarrolladores pueden comenzar a usar los nuevos modelos de OpenAI en GPUs NVIDIA RTX:
- Aplicación Ollama: La forma más sencilla de probar estos modelos es con la nueva app de Ollama. Su interfaz incluye soporte nativo para los modelos gpt-oss, totalmente optimizados para GPUs RTX.
- Llama.cpp: NVIDIA colabora con la comunidad open source para optimizar el rendimiento en GPUs RTX, con aportes recientes como el uso de CUDA Graphs para reducir la sobrecarga. Los desarrolladores pueden comenzar desde el repositorio de GitHub de Llama.cpp.
- Microsoft AI Foundry: Los desarrolladores en Windows pueden acceder a los modelos a través de Microsoft AI Foundry Local (en vista previa pública). Comenzar es tan simple como ejecutar el comando Foundry model run gpt-oss-20b en una terminal.
El fundador y CEO de NVIDIA, Jensen Huang, destacó la importancia de este lanzamiento: “OpenAI le mostró al mundo lo que se podía construir sobre la IA de NVIDIA y ahora están impulsando la innovación en el software de código abierto”, dijo Jensen Huang, fundador y CEO de NVIDIA. “Los modelos gpt-oss permiten a los desarrolladores de todo el mundo construir sobre esa base de código abierto de última generación, fortaleciendo el liderazgo tecnológico de EE. UU. en IA todo sobre la infraestructura de cómputo de IA más grande del mundo.”
