Lumiere: Google revela a sua impressionante IA de geração de vídeo

Até agora, as Inteligências Artificiais (IAs) de geração de vídeo ficaram tecnologicamente atrás das IAs de geração de imagens. Os modelos de geração de vídeo muitas vezes geram um número bastante grande de anomalias ou “alucinações” que tornam as animações produzidas pouco utilizáveis… a menos que queira fazer um clipe ou curta-metragem surrealista ou “artístico”.

Sem dúvida, a Google acaba de atingir um marco importante com o Lumiere, uma IA de geração de vídeo capaz de criar vídeos muito coerentes de 5 segundos com resolução de 1024×1024 pixeis. Por enquanto ainda em fase de projeto de pesquisa, o Lumiere já impressiona muito: o modelo Space-Time-U-Net (STUNet) utilizado pelo Lumiere parece capaz de compreender a “compreensão” de uma imagem animada dependendo do assunto descrito por um prompt ou linha de comando, o que resulta em imagens animadas (quase) completamente coerentes e com um mínimo de efeitos parasitas.

O Lumiere também pode produzir animações baseadas no estilo gráfico de uma imagem submetida a ele. Por exemplo, se mostrarmos ao mesmo uma imagem de doces coloridos, este animará os temas que lhe serão propostos posteriormente (um cavalo a correr, pessoas a andar, uma paisagem) aplicando este mesmo estilo gráfico muito colorido.

Ainda mais forte, e como o Firefly da Adobe para imagens estáticas, o Lumiere pode completar uma imagem com uma animação consistente com o todo, ou até mesmo transformar uma imagem estática em animação. Algo verdadeiramente impressionante.

Lumiere é verdadeiramente impressionante

De momento, a Google não está muito interessada em deixar esta IA nas mãos do público em geral, temendo o uso indevido. Certamente, o risco existe, mas a este ritmo de prevenção e controlo de conteúdos, existe uma possibilidade real de que a IA acabe como simples ferramentas caras nas mãos de algumas profissões hipercontroladas. Em qualquer caso, o Bard não está perto de integrar um modelo de geração de imagem ou vídeo verdadeiramente eficiente: Imagen certamente deve chegar em breve ao Bard, mas os resultados de IA são no momento significativamente inferiores aos de um Midjourney ou DALL-E.

Joel Pinto

Website

Fundador do Noticias e Tecnologia, e este foi o seu segundo projeto online, depois de vários anos ligado a um portal voltado para o sistema Android, onde também foi um dos seus fundadores.