Stefan VaskevichНовые ИИ-генераторы 3D выходят каждый месяц. Каждый заявляет, что он лучший. Маркетинговые скриншоты выглядят отлично, но как выглядят реальные результаты в сравнении, если убрать брендинг?
Именно эту задачу решает top3d.ai. В Arena используются слепое голосование сообщества и проверенная рейтинговая система, чтобы ранжировать все основные ИИ-генераторы 3D. В этой статье подробно описана вся методология.
Как устроено слепое голосование
Когда вы заходите в Arena, вы видите две 3D-модели рядом друг с другом — обе сгенерированы по одному и тому же текстовому промпту двумя разными ИИ-инструментами. Вы не знаете, какой инструмент создал какую модель. Никаких логотипов, никаких названий, никакой предвзятости.
Осмотрите обе модели
Проголосуйте за лучший вариант
Узнайте результат
Четыре режима оценки
В Arena есть четыре режима, каждый из которых проверяет отдельный аспект генерации 3D. Для каждого режима ведётся отдельная таблица лидеров ELO, поэтому инструмент, который хорошо создаёт текстуры, может занять другое место в режиме Geometry.
Текстурированный
Режим по умолчанию. Применены полноценные PBR-материалы и текстуры. Вы оцениваете общее визуальное качество: чисто ли выглядят текстуры, реалистичны ли материалы?
Геометрия
Текстуры убраны, отображение в сплошном сером цвете. Вы оцениваете сам меш: чистая ли топология, правильны ли пропорции, гладкая ли поверхность там, где она должна быть?
Лоу-поли
Низкополигональные результаты, оптимизированные для игровых движков. Вы оцениваете качество ретопологии: оптимален ли поликаунт, держит ли форму силуэт, готова ли модель к использованию в игре (game-ready)?
Сегментация
Части, распознанные ИИ, выделены разными цветами. Вы оцениваете, насколько хорошо инструмент понимает структуру объекта. Правильно ли разделены части для риггинга и анимации?
Рейтинговая система ELO
Мы используем рейтинговую систему ELO — тот же метод, который применяется в шахматах для ранжирования игроков. Простой, проверенный и самокорректирующийся.
Как это работает
- Каждый инструмент начинает с 1000 ELO
- Когда два инструмента встречаются друг с другом, система рассчитывает ожидаемый исход на основе их текущих рейтингов
- Победа над более сильным инструментом приносит больше очков, чем победа над более слабым
- Неожиданные победы значат больше. Когда инструмент с более низким рейтингом побеждает лидера, рейтинг существенно меняется
- Со временем рейтинги начинают точнее отражать реальное качество. За маркетинговый бюджет нельзя купить очки ELO
Волатильность рейтинга (K-фактор)
Новым инструментам нужно быстро найти свой уровень. У давно добавленных инструментов рейтинг должен быть стабильным. Мы управляем этим с помощью скользящего K-фактора, который регулирует, насколько сильно каждый голос может сдвинуть рейтинг:
| Всего голосов у инструмента | K-Factor | Поведение |
|---|---|---|
| Меньше 10 | 32 | Высокая волатильность, рейтинг быстро выходит на свой уровень |
| 10–29 | 24 | Рейтинг формируется и продолжает корректироваться |
| 30–99 | 16 | Рейтинг установился, изменения умеренные |
| 100+ | 8 | Рейтинг прочно установился, изменения небольшие и точные |
Это означает, что новый инструмент может быстро подняться (или упасть) за первую дюжину поединков, в то время как у инструмента с 500+ голосами рейтинг будет сдвигаться всего на несколько очков за голос.
Как подбираются пары
Честность имеет решающее значение. Наш алгоритм подбора пар гарантирует, что каждый инструмент получит справедливый шанс:
- Случайный выбор промпта. В каждом раунде берется случайный текстовый промпт из нашего тестового набора, поэтому вы видите самые разные объекты
- Взвешенный выбор инструментов. Инструменты с меньшим количеством голосов получают приоритет, благодаря чему новинки тестируются быстрее
- Без сравнения с самим собой. Инструмент никогда не соревнуется сам с собой
Что это значит для вас
Выбираете инструмент?
Таблица лидеров ELO отражает реальное качество генерации по оценке сообщества, а не маркетинговые заявления. Выше ELO = стабильные победы в слепых сравнениях.
Разрабатываете инструмент?
Ваша позиция в рейтинге зависит от результатов слепых сравнений. Улучшения вашей модели отразятся в данных. Не нужно тратиться на маркетинг — просто улучшайте качество результатов.
Занимаетесь исследованиями?
Наш набор данных (слепых голосов: 240K+, генераторов: 23) — один из крупнейших независимых бенчмарков ИИ-генерации 3D.
Попробуйте сами
Каждый голос помогает сообществу делать лучший выбор. Один раунд занимает около 30 секунд.
