OpenAI, el laboratorio de IA líder, lanzó el Modo de voz avanzado de ChatGPT el año pasado, pero no pudo impresionarme. Para cuando se lanzó, OpenAi había regado sus capacidades, y el modo de voz se negó a producir expresiones similares a los humanos. Gemini Live de Google, por otro lado, se basó en un motor TTS para generar palabras habladas, ofreciendo una experiencia robótica, en el mejor de los casos.
Ingrese Sesame, una startup de IA fundada por el cofundador de Oculus, Brendan Iribe y Ankit Kumar, que ha tomado por asalto a la industria de IA. Los compañeros de voz «Maya» (femeninos) y «Miles» (millas «de Sesame son tan naturales y atractivos, que por primera vez siento que la IA ha borrado la línea entre la máquina y la interacción humana.
ChatGPT finalmente puede ver a través de su cámara para la interacción en tiempo real
Sesame evita llamarlos asistentes de voz y, en cambio, se refiere a ellos como un «conversador» y un «compañero de voz», que es una descripción adecuada. Ya no voy a perder el tiempo y te llevaré directamente a mi interacción con el compañero de voz maya de Sesame.
Mi interesante interacción con Sesame’s Maya
Como puede escuchar, Maya comienza con un tono natural y se detiene para escuchar lo que está diciendo. Hay micro pausas entre y cambios en la tonalidad, que falta en los asistentes de voz existentes. Puede reír, cambiar el ritmo, enfatizar, dar señales expresivas e incluso detectar su estado de ánimo de su voz. En una interacción, de repente me reí para probar el compañero de voz de Ai, y me dijo: «¿Por qué estás riendo?«
Lo que me parece interesante es que el compañero de voz de Sesame te da algo de espacio para pensar y reflexionar. Esto hace que las conversaciones se sientan mucho Más natural. Para darle otro ejemplo, cuando el Maya de Sesame habla, hay dudas sutiles, que sienten que está pensando antes de responder, al igual que los humanos. Casi parece que la conversación es orgánica y el modelo de voz no es simplemente leer respuestas programadas.
Tenga en cuenta que si bien la interacción de voz se siente completa, donde ambos participantes pueden hablar y escuchar al mismo tiempo, Sesame dice que en realidad no es full-dúplex, ya que procesa el discurso después de que haya terminado de hablar. Los humanos, por otro lado, pueden procesar la información mientras la otra persona todavía está hablando.
Probé el asistente de perplejidad, y Google debería estar absolutamente preocupado
Sin embargo, en su forma actual, el compañero de voz de Sesame realmente se siente como humano. Finalmente ha roto el extraño valle en el discurso de AI, algo OpenAi demostrado con el modo de voz avanzado de Chatgpt desde el principio. Lo que puedo decir es que está diseñado no solo para hablar, sino también Involucre al usuario con un tono matizado, un tono y una conciencia contextualque agrega profundidad a la conversación.
¿Cuál es la tecnología detrás del compañero de voz de Sesame?
Primero, Sesame todavía está trabajando en sus compañeros de voz, y este es un demostración de investigación temprana. El equipo está respaldado por Andreessen Horowitz a través de la empresa A16Z VC. Ahora, llegando a la tecnología subyacente que hace que todo funcione, Sesame ha desarrollado un Modelo de habla conversacional (CSM), que es un modelo multimodal basado en transformadores para la generación del habla.
La compañía ha entrenado tres modelos con pequeños decodificadores: pequeños (parámetros 1b), pequeños (3b) y mediano (8b). Están capacitados en cerca de 1 millón de horas de audio en su mayoría inglés, por lo que las conversaciones se limitan actualmente al idioma inglés con cierta capacidad multilingüe.
El objetivo de la empresa es desarrollar un modelo full-duplex con memoria a largo plazo y personalidad adaptativa. Sesame está trabajando en un anteojo liviano Usable que puedes usar para hablar con The Voice Companion todo el día, lo que me recuerda a la película ‘Her’. También puede ver el mundo que te rodea, insinuando la adición de la capacidad de visión en los próximos meses.
Entonces, si está impresionado con el compañero de voz de Sesame, haga clic en el enlace a continuación e interactúe con maya o millas de forma gratuita. Se recomienda usar Google Chrome para la mejor experiencia.
Apoya nuestro trabajo ❤️
Si te ha gustado este artículo, considera dejar una propina para ayudarnos a seguir publicando contenido de calidad.
