Qualcomm anunció hoy que la IA en dispositivos finalmente llegará a dispositivos móviles y PCs con Windows 11 como parte de los nuevos chips Snapdragon 8 Gen 3 y X Elite.
Ambos conjuntos de chips fueron diseñados desde cero teniendo en cuenta las capacidades generativas de IA y son capaces de admitir una variedad de grandes modelos de lenguaje (LLM), modelos de visión del lenguaje (LVM) y modelos de reconocimiento automático del habla (ASR) basados en redes transformadoras, hasta 10 mil millones de parámetros para el SD8 Gen 3 y 13 mil millones de parámetros para el X Elite, completamente en el dispositivo.
Esto significa que los usuarios podrán ejecutar cualquier cosa, desde Baidu’s ERNIE 3.5 hasta OpenAI’s Whisper, Meta’s Llama 2 o Google’s Gecko en su teléfono o portátil, sin conexión a Internet.
Los chips de Qualcomm están optimizados para entradas de voz, texto e imagen. El motor de IA de Qualcomm está compuesto por la CPU Oryon, la GPU Adreno y la NPU Hexagon. En conjunto, pueden manejar hasta 45 TOPS (billones de operaciones por segundo) y pueden procesar 30 tokens por segundo en portátiles y 20 tokens por segundo en dispositivos móviles, siendo los tokens la unidad básica de texto/datos que los LLM pueden procesar/generar.
Los conjuntos de chips utilizan la memoria LP-DDR5x DRAM de Samsung de 4.8GHz para su asignación de memoria.
Los casos de uso potenciales de la IA en el dispositivo incluyen:
- Síntesis de reuniones y documentos o redacción de correos electrónicos
- Generación de código de computadora o música basada en prompts
- Edición de fotos en tiempo real y en hasta 12 capas
- Captura de imágenes más claras en condiciones de poca luz
- Eliminación de objetos no deseados de las fotos
- Ampliación de los fondos de las fotos
- Marcado de fotos como reales o generadas por IA
Tener una IA que vive principalmente en tu teléfono o dispositivo móvil, en lugar de en la nube, ofrecerá a los usuarios numerosos beneficios:
- La IA se personaliza gradualmente con el tiempo
- No hay retraso inherente cuando el modelo tiene que consultar la nube
- Los modelos más grandes y capaces se pueden ejecutar más rápido
Los dispositivos móviles y las PC son solo el comienzo de los planes de IA en el dispositivo de Qualcomm. La compañía espera que los modelos en el dispositivo alcancen los 100 mil millones de parámetros o más en el futuro.
