Facebook ha realizado el anuncio de su tecnología, Ego4D, un proyecto a largo plazo de inteligencia artificial de Facebook que tiene como objetivo resolver desafíos de investigación en torno a la percepción egocéntrica: la capacidad de la IA para comprender e interactuar con el mundo como lo hacemos nosotros, desde una perspectiva en primera persona.
La IA normalmente aprende de las fotos y los videos capturados en tercera persona, pero la IA de próxima generación deberá aprender de los videos que muestran el mundo desde el centro de la acción. La IA que entiende el mundo desde este punto de vista podría desbloquear una nueva era de experiencias inmersivas, ya que dispositivos como las gafas de realidad aumentada (AR) y los cascos de realidad virtual (VR) se vuelven tan útiles en la vida cotidiana como los teléfonos inteligentes.
Para este proyecto, la compañía se ha reunido con un consorcio de 13 universidades y laboratorios de nueve países, que recopilaron más de 2200 horas de video en primera persona en la naturaleza, con más de 700 participantes sobre su vida cotidiana. Esto aumenta en gran medida la cantidad de datos disponibles públicamente para la comunidad de investigación, ya que este conjunto de datos es 20 veces mayor que cualquier otro en términos de horas de metraje.
También se encuentran desarrollando cinco desafíos de referencia para desarrollar asistentes de IA más inteligentes y útiles, que incluyen:
- Memoria episódica: ¿Qué pasó cuando? (p. ej., “¿Dónde dejé mis llaves?”)
- Pronóstico: ¿Qué es probable que haga a continuación? (p. ej., “Espera, ya le agregaste sal a esta receta”)
- Manipulación de manos y objetos: ¿Qué estoy haciendo? (p. ej., “Enséñame a tocar la batería”)
- Diarios audiovisuales: ¿Quién dijo qué y cuándo? (p. ej., “¿Cuál fue el tema principal durante la clase?”)
- Interacción social: ¿Quién interactúa con quién? (p. ej., “Ayúdame a escuchar mejor a la persona que me habla en este restaurante ruidoso”)
Facebook espera que su proyecto Ego4D tenga efectos similares para el mundo de la realidad aumentada. La compañía dice que los sistemas entrenados en Ego4D podrían algún día no solo usarse en cámaras portátiles, sino también en robots asistentes domésticos, que también dependen de cámaras en primera persona para navegar por el mundo que los rodea.
“El proyecto tiene la oportunidad de catalizar realmente el trabajo en este campo de una manera que aún no ha sido posible”, señala Grauman. “Para mover nuestro campo de la capacidad de analizar montones de fotos y videos que fueron tomados por humanos con un propósito muy especial, a esta corriente visual fluida y continua en primera persona que los sistemas de AR, los robots, necesitan comprender en el contexto de actividad”.
