Desenvolvedores criaram um IA que gera modelos 3D de imagens 2D rapidamente e em escala. Os desenvolvedores da Microsoft afirmam ter criado uma IA capaz de gerar modelos 3D a partir de imagens 2D e fazê-lo pela primeira vez usando fotos usando renderizadores como Unreal Engine e Unity.

O resultado pode ajudar a tornar os videogames e animações 3D mais baratos e rápidos. Um artigo de pesquisa recente apresenta o que é descrito como a primeira técnica de treinamento escalável para modelos generativos 3D a partir de dados 2D.

Embora as redes adversas generativas (GANS) tenham produzido resultados impressionantes em dados de imagem 2D, muitos aplicativos visuais, como jogos, exigem modelos 3D como entradas em vez de apenas imagens.

Os GANs são modelos de AI em duas partes, compostos por geradores que produzem exemplos sintéticos a partir de ruído aleatório, que juntamente com exemplos reais de um conjunto de dados de treinamento são fornecidos ao discriminador, que tenta distinguir entre os dois.

Dados de treinamento

Estender diretamente os modelos GAN existentes para 3D requer acesso aos dados de treinamento e é caro gerar esses dados. Os pesquisadores decidiram criar uma IA que pode aprender a gerar modelos 3D enquanto treina apenas com dados de imagem 2D, que são muito mais amplamente disponíveis, muito mais baratos e fáceis de obter.

O VentureBeat explica que, em experimentos, a equipe empregou uma arquitetura GAN convolucional em 3D para o gerador. Baseando-se em uma variedade de conjuntos de dados sintéticos gerados a partir de modelos 3D e um conjunto de dados da vida real, eles sintetizaram imagens de diferentes categorias de objetos, renderizadas em diferentes pontos de vista durante o processo de treinamento.

Os desenvolvedores também usaram informações sobre exposição à luz e sombras no mecanismo de renderização, para gerar formas convexas de alta qualidade, como banheiras e sofás, que tentativas anteriores não conseguiram capturar.

Em teoria, a técnica pode ser estendida usando mecanismos de renderização fotorrealista mais sofisticada, para poder aprender imagens ainda mais detalhadas sobre o mundo 3D.

“Ao incorporar a previsão de cores, materiais e iluminação em nosso modelo, esperamos poder estendê-lo para trabalhar com conjuntos de dados mais gerais do mundo real”.

Deixe um comentário abaixo com a sua opinião ou nas nossas redes sociais :]