O novo recurso “DJ” do Spotify é o primeiro passo para o futuro alimentado por IA do streamer

O Spotify tem planos maiores para a tecnologia por trás de seu novo recurso AI DJ depois de ver a reação positiva do consumidor ao novo recurso. Lançado pouco antes do evento Stream On da empresa em LA na semana passada, o AI DJ fará a curadoria de uma seleção personalizada de música combinada com comentários falados entregues em uma voz gerada por IA com som realista. Mas sob o capô, o recurso aproveita as mais recentes tecnologias de IA e modelos de linguagem ampla, bem como voz generativa – todos construídos com base nos investimentos existentes do Spotify em personalização e aprendizado de máquina.

Essas novas ferramentas não precisam necessariamente ser limitadas a um único recurso, acredita o Spotify, e é por isso que agora está experimentando outros usos da tecnologia.

Embora o destaque do evento Stream On do Spotify tenha sido a reformulação do aplicativo móvel, que agora se concentra em feeds Discovery semelhantes ao TikTok para música, podcasts e audiolivros, o AI DJ agora é uma parte fundamental da nova experiência do serviço de streaming. Apresentado aos assinantes premium do Spotify nos Estados Unidos e Canadá no final de fevereiro, o DJ visa conhecer os usuários bem o suficiente para tocar o que você quiser ouvir com o pressionar de um botão.

Com a reformulação do aplicativo, o DJ aparece na parte superior da tela sob o subfeed de música para assinantes, servindo tanto como uma maneira descontraída de transmitir músicas favoritas quanto como um meio de fazer com que os usuários gratuitos atualizem.

Para criar o comentário que acompanha a música que o DJ está transmitindo, o Spotify diz que usou a base de conhecimento e as percepções de seus próprios especialistas internos em música. Usando a tecnologia de IA generativa da OpenAI, o DJ pode dimensionar seus comentários para os usuários finais do aplicativo. E ao contrário do ChatGPT, que tenta encontrar respostas destilando informações da Internet mais ampla, o banco de dados de conhecimento musical mais limitado do Spotify garante que o comentário do DJ seja relevante e preciso.

As seleções de música reais que o DJ escolhe vêm de sua compreensão existente das preferências e interesses de um usuário e refletem o que seria previamente programado em listas de reprodução personalizadas, como Discover Weekly e outras.

A voz do AI DJ, por sua vez, foi gerada usando a tecnologia que o Spotify adquiriu da Sonatic no ano passado e é baseada na do chefe de parcerias culturais do Spotify, Xavier “X” Jernigan, apresentador do agora extinto podcast matinal do Spotify “The Get Up . Surpreendentemente, a voz soa incrivelmente realista e nada robótica. (Durante o evento ao vivo do Spotify, Jernigan falou ao lado de seu dublê de IA, e as diferenças eram difíceis de perceber. “Posso ouvir minha voz o dia todo”, brincou).

“A razão pela qual parece tão bom – esse é realmente o objetivo da tecnologia Sonatic, a equipe que adquirimos. É sobre a emoção na voz”, explicou o chefe de personalização do Spotify, Ziad Sultan, em uma conversa com o TechCrunch após a conclusão do Stream On. “Ao ouvir o AI DJ, você ouvirá onde está a pausa para respirar. Você ouve as diferentes entonações. Você ouve entusiasmo por certos tipos de gêneros”, diz ele.

Uma voz de IA com som natural não é novidade, é claro – o Google impressionou o mundo anos atrás com sua própria criação de IA com som humano. No entanto, a implementação dentro do Duplex atraiu críticas, pois a IA ligava para as empresas em nome do usuário final, inicialmente sem divulgar que não era uma pessoa real. Não deve haver nenhuma preocupação semelhante com o recurso Spotify, assumindo que mesmo diz um “AI DJ”.

Para tornar a voz AI do Spotify natural, Jernigan entrou no estúdio para produzir gravações de voz de alta qualidade enquanto trabalhava com especialistas em tecnologia de voz. Lá ele foi instruído a ler diferentes linhas com diferentes emoções, que são então inseridas no modelo de IA. O Spotify não disse quanto tempo esse processo levará ou detalharia os detalhes, observando que a tecnologia está evoluindo e chamando-a de “molho secreto”.

“A partir desta entrada de alta qualidade, que tem muitas permutações diferentes, [Jernigan] Então você não precisa mais dizer nada – agora é puramente gerado por IA”, diz Sultan sobre a voz gerada. Apesar disso, Jernigan às vezes aparece na sala dos roteiristas do Spotify para fornecer feedback sobre como ele lê uma linha para garantir que ele continue a contribuir.

Crédito da foto: Captura de tela do Spotify

Mas enquanto o AI DJ é construído usando uma combinação de tecnologia Sonatic e OpenAI, o Spotify também está investindo em pesquisas internas para entender melhor os modelos mais recentes de AI e Large Language.

“Temos uma equipe de pesquisa trabalhando nos modelos de linguagem mais recentes”, disse Sultan ao TechCrunch. Na verdade, algumas centenas estão trabalhando em personalização e aprendizado de máquina. No caso do AI DJ, a equipe usa o modelo OpenAI, observa Sultan. “Mas, em geral, temos uma grande equipe de pesquisa que entende todas as possibilidades de grandes modelos de linguagem, voz generativa e personalização. É rápido”, diz. “Queremos ser conhecidos por nossa experiência em IA.”

No entanto, o Spotify pode ou não usar sua própria tecnologia interna de IA para alimentar desenvolvimentos futuros. Pode decidir que faz mais sentido trabalhar com um parceiro, como é agora o caso da OpenAI. Mas é muito cedo para dizer.

“Publicamos artigos o tempo todo”, diz Sultan. “Vamos investir nas tecnologias mais recentes – como você pode imaginar, os LLMs são uma dessas tecnologias neste setor. Portanto, continuaremos a desenvolver o know-how.”

Com essa tecnologia fundamental, o Spotify pode entrar em outras áreas com IA, LLMs e tecnologia de IA generativa. A empresa ainda não quer dizer quais áreas essas poderiam ser em termos de produtos de consumo. (No entanto, ouvimos dizer que um chatbot semelhante ao ChatGPT está entre as opções que estão sendo experimentadas. Mas nada está decidido sobre quando será introduzido, pois é um experimento entre muitos).

“Não anunciamos nenhum plano específico sobre quando podemos expandir para novos mercados, novos idiomas, etc. Mas é uma tecnologia que é uma plataforma. Podemos fazer isso e esperamos compartilhar mais à medida que o desenvolvimento avança”, diz Sultan.

De acordo com o Spotify, o feedback inicial do consumidor para IA é promissor

A empresa não queria desenvolver um conjunto completo de produtos de IA porque não tinha certeza de como os consumidores reagiriam ao DJ. As pessoas gostariam de um DJ de IA? Você concorda com o recurso? Nada disso estava claro. Afinal, o assistente de voz do Spotify (“Hey Spotify”) havia sido desligado por falta de aceitação.

Crédito da foto: Captura de tela do Spotify

Mas havia sinais iniciais de que o recurso de DJ poderia funcionar bem. O Spotify havia testado o produto internamente entre os funcionários antes do lançamento, e as métricas de uso e reengajamento eram “muito, muito boas”.

A aceitação do público até agora está de acordo com o que o Spotify viu internamente, diz Sultan. Isso significa que há potencial para desenvolver produtos futuros com base nos mesmos fundamentos subjacentes.

“As pessoas passam horas por dia com este produto… ele as ajuda a escolher, as ajuda a descobrir, diz a elas a próxima música para ouvir e por quê… essa é a reação – se você verificar diferentes mídias sociais, você veremos que é muito positivo e emocionante”, diz Sultan.

Adicionalmente, Spotify compartilhado que os usuários gastam 25% do tempo ouvindo o DJ nos dias em que sintonizam, e que mais da metade dos ouvintes iniciantes voltam no dia seguinte para usar o recurso. No entanto, essas métricas são iniciais, pois o recurso ainda não está 100% implementado nos EUA e no Canadá. Mas eles se mostram promissores, acredita a empresa.

“Acho que é um passo incrível na construção de um relacionamento entre produtos e usuários verdadeiramente valiosos”, diz Sultan. No entanto, alerta que o desafio será “encontrar a aplicação certa e depois construí-la corretamente”.

“Neste caso, dissemos que este é um DJ de IA para música. Por isso criamos a sala do autor. Colocamos nas mãos dos usuários para que faça exatamente o que se propõe a fazer. Funciona muito bem. Mas é definitivamente divertido sonhar com o que mais poderíamos fazer e em quanto tempo poderíamos fazê-lo”, acrescenta.