3D Gaussian Splats na Unreal Engine 5: gere mundos e objetos de graça

Ferramentas usadas neste artigo

NanoGSMLSLabs Renderersplat-transformTripoSplatHunyuan World 2.0SuperSplat

Está acontecendo uma verdadeira revolução no 3D Gaussian Splatting agora mesmo. Só nos últimos meses recebemos uma onda de ferramentas locais e de código aberto que geram tanto objetos quanto mundos inteiros como splats - de graça, na sua própria GPU, sem rig de escaneamento e sem nuvem. E podemos finalmente jogar tudo isso direto na Unreal Engine 5, onde os splats realmente são renderizados sem destruir seu FPS.

Esta é a versão curta e cheia de links de toda a stack: o plugin que renderiza splats na UE5, a CLI que os converte e cria colisores, o editor no navegador para limpá-los e os lugares exatos onde você pode gerar mundos e objetos localmente e de graça. Todos os links estão na lista no final.

Assista ao processo completo

Todo o setup e os testes, do início ao fim, no YouTube.

1. Renderize splats na Unreal Engine 5: os plugins

A Unreal Engine não suporta arquivos de splat (.ply, .sog) nativamente, então você precisa de um plugin. Existem vários pequenos e experimentais; testei os três mais populares e aqui está a análise sincera.

• NanoGS - minha escolha no momento. Feito para versões recentes da Unreal (5.7), o mais fácil de instalar, mais estrelas, melhor documentação em inglês, suporte ativo. Só suporta .ply por enquanto (com sorte, SOG em breve).
• MLSLabs Renderer - o único que também faz 4DGS (sequências de splats - captura animada/volumétrica). Vem nas versões Lite (apenas PLY) e Pro (adiciona o formato compactado SOG), mas a Pro é apenas para testes no momento e aplica uma marca d'água na viewport. Apesar de a página do GitHub dizer 5.5, as versões disponíveis no Google Drive incluem uma build 5.7.
• XScene (XVerse) - um dos primeiros, mas só vai até a Unreal Engine 5.5, então deixo de lado para novos projetos na 5.7/5.8.

2. Converta, adicione colisores e limpe splats

Os splats vêm em alguns formatos e a Unreal só aceita alguns deles, então você vai querer uma ferramenta para converter de um para o outro e, mais importante, para criar colisão - porque um splat bruto é apenas cor flutuando, não tem geometria para pisar ou colidir ao dirigir. Essa ferramenta é o splat-transform, a CLI da PlayCanvas. Se você tiver o Node.js instalado, é uma instalação de uma linha só (o ChatGPT escreve o comando exato para o seu arquivo), e ela tanto converte formatos quanto exporta uma malha de colisão como .glb.

# install (needs Node.js)
npm install -g @playcanvas/splat-transform

# convert a raw .ply into compressed SOG
splat-transform scan.ply scan.sog

# export a collision mesh (.glb) from a splat
splat-transform car.ply car-collider.glb

Traga esse .glb do colisor para a Unreal, alinhe-o com o splat, configure a colisão dele como Use Complex Collision As Simple, marque Actor Hidden In Game, e pronto: você tem um splat sobre o qual pode andar, dirigir ou cair. Funciona da mesma forma para objetos e para mundos inteiros.

Para realmente editar um splat - cortar o lixo, remover as partes de que você não precisa - a opção mais fácil é o SuperSplat, um editor gratuito que roda direto no seu navegador. Jogue um splat lá, selecione com o laço as partes que quer eliminar, delete, exporte. Você ainda não consegue fazer isso no Blender, então para limpeza ele é a melhor opção.

3. Onde gerar splats - mundos e objetos, de graça

Você pode pegar splats prontos em bibliotecas como a do SuperSplat (alguns são gratuitos para uso com atribuição de créditos), mas a parte divertida é gerar exatamente o que você precisa. Dois modelos abertos cobrem essas duas frentes, e você pode rodar ambos localmente ou usar seus sites gratuitos.

Mundos - Hunyuan World 2.0

O Hunyuan World 2.0 transforma uma única imagem de um local em um mundo 3D completo em formato de splat. Ele foi lançado sob uma licença Apache com todo o código e checkpoints (GitHub), então uma GPU potente (~24 GB de VRAM) consegue rodá-lo localmente, ou você pode apenas usar o site de graça. Uma única geração pode levar 20 minutos ou mais, porque ele também cria um colisor limpo para você - o que é um bônus muito bom. A alternativa paga é o Marble (World Labs), que também tem um plano gratuito e exporta GLB - mas o Hunyuan se saiu tão bem quanto, às vezes até melhor.

Objetos - TripoSplat

TripoSplat é a opção mais fácil para objetos: ele precisa de apenas ~8 GB de VRAM e tem suporte nativo na versão mais recente do ComfyUI - instale o ComfyUI, busque pelo template do TripoSplat, instale as dependências que faltarem, defina a saída como PLY e pronto. As gerações saem em cerca de um minuto (a demo do Hugging Face é ainda mais rápida se você não quiser ter trabalho com o ComfyUI). Jogue o resultado na Unreal e ele já vem bem otimizado, desde que você não passe para a casa dos milhões de gaussianas.

Desempenho: o que realmente se sustenta

Ambos os plugins prometem milhões de splats a 60 FPS e, em objetos e cenas organizadas, o resultado é realmente fluido. O limite real: acima de ~10 milhões de splats, o desempenho ainda fica limitado, porque a Unreal ainda não tem um formato de streaming para splats. Mantenha uma cena abaixo de ~1 milhão de splats no total e você geralmente não terá problemas.

Todos os links

Novas ferramentas de IA 3D que podem ser usadas nesse tipo de fluxo de trabalho surgem o tempo todo. Quando saem, vão direto para o 3DGS Compare e para a Arena, para que você possa testá-las antes de se decidir. Para mais fluxos de trabalho na engine, confira Claude Code + Unreal Engine 5 e o guia splats-go-playable.