Stefan VaskevichMeta только что выпустила SAM 3D — модель, которая расширяет возможности знаменитой Segment Anything Model до генерации 3D. У проекта открытый исходный код, и он полностью бесплатен, что делает это важным событием для сообщества ИИ для 3D.
Я развернул инференс на Azure A100s и протестировал все возможности этой модели. Вот мое честное мнение после тщательного тестирования.
Как работает SAM 3D
SAM 3D входит в семейство Segment Anything. Модель принимает изображения, сегментирует объекты и затем создает 3D-представление. Но здесь важно понимать главное:
Если вы используете Meta playground, на выходе получатся только гауссовы сплатты. Чтобы получить меши с текстурами, запускать модель нужно локально.
Бешеная скорость
Что сразу бросается в глаза: скорость генерации невероятно высокая. Это серьезное преимущество перед многими другими инструментами генерации 3D, где на одну генерацию могут уходить минуты.
Системные требования
В документации Meta указано минимум 32GB VRAM, но мне удалось запустить генерацию геометрии менее чем с 12GB VRAM — при этом я получил и гауссовы сплатты, и меш.
Однако для полного пайплайна с текстурами вам понадобятся больше VRAM и Linux.
Качество: SAM 3D против Hunyuan 2.1
По утверждению Meta, ее модель предпочитают в 80% случаев при сравнении с другими моделями с открытым исходным кодом. Я сравнил ее напрямую с Hunyuan 2.1.
Моя честная оценка? Не совсем 80%. Я бы сказал, ее предпочли бы скорее в 60-70% случаев — но во многих случаях она определенно лучше Hunyuan 2.1.
В чем модель хороша (и в чем плоха)
Хорошо подходит для
- • Мебель и пропсы
- • Объекты окружения
- • Простые геометрические формы
- • Быстрое прототипирование
С чем справляется с трудом
- • Персонажи и лица
- • Органические формы
- • Текст и мелкие детали
- • Текстуры высокого разрешения (максимум 2K, все равно размытые)
Текстуры обычно получаются размытыми даже при максимальном разрешении 2K. Дело в том, что гауссовы сплатты конвертируются в меш с запеченными текстурами — и в процессе этой конвертации часть деталей теряется.
Сам меш относительно простой, но общая точность формы весьма хороша для модели с открытым исходным кодом.
Идеальные сценарии использования
Круг задач для SAM 3D узкий, но чётко определённый:
- •Разработка под VR/AR — быстрое создание пропсов окружения
- •Разработчики на Unreal Engine — быстрое прототипирование объектов сцены
- •Рабочие процессы с гауссовыми сплаттами — если вы уже работаете со сплаттами
В традиционном рабочем процессе в 3D (Blender, Maya и т. д.) результат в виде гауссовых сплаттов может стать препятствием. Открыть и сконвертировать сплатты далеко не так просто, как импортировать файл GLB или OBJ.
Вердикт
SAM 3D — по-настоящему интересный релиз для сообщества, которое занимается ИИ для 3D с открытым исходным кодом. Скорость впечатляет, а для некоторых задач — особенно при создании мебели, пропсов и объектов окружения — модель выдаёт достойные результаты.
Ограничения вполне реальны: работа только под Linux, результат в виде гауссовых сплаттов, размытые текстуры и трудности с органическими формами. Но сам факт, что эта модель существует, имеет открытый исходный код и развивается, — потрясающая новость для всей отрасли.
Итог: если вы разработчик на Unreal, создающий пропсы для VR/AR, или уже работаете с гауссовыми сплаттами, SAM 3D определенно стоит попробовать. Для традиционных рабочих процессов в 3D другие инструменты из нашей таблицы лидеров все еще могут оказаться практичнее.
