INSAIT създаде най-голямата в света отворена 3D база данни за изкуствен интелект, който разбира език и пространство

INSAIT, съвместно с водещи международни научни институции, представя SceneSplat-49k, най-голямата публично достъпна колекция от висококачествени и сложни 3D сцени във формат Gaussian Splatting, както и SceneSplat-Benchmark, цялостна платформа за оценка на модели за Language Gaussian Splatting.

SceneSplat-49k включва 48 856 реконструирани сцени от реалния свят, обхващащи както закрити, така и открити пространства, като 12 061 от тях са обогатени с езикови характеристики. Създаването на набора от данни е резултат от значителен човешки труд и изчислителни ресурси в размер на 861 GPU-дни, което гарантира високо ниво на реализъм и разнообразие.

Language Gaussian Splatting позволява на системите с изкуствен интелект да взаимодействат с 3D среди чрез естествен език и да разбират пространствени и семантични отношения директно в три измерения. До момента развитието на такива системи беше ограничено поради липсата на мащабни, висококачествени 3D данни и стандартизирани методи за оценка.

SceneSplat-Benchmark адресира този проблем, като въвежда значително по-реалистични и предизвикателни условия за оценяване. Той обхваща 1 060 сцени и 325 семантични класа и позволява директна оценка на моделите в 3D среда, вместо чрез 2D проекции, което осигурява по-точна и надеждна оценка на разбирането на сцени на ниво пространство.

Проектът е резултат от съвместната работа на INSAIT, Амстердамския университет, ETH Цюрих (Лаборатория по компютърно зрение), Нанкинския университет по аеронавтика и астронавтика, Университета "Джонс Хопкинс", Университета в Пиза и Университета в Тренто. Той представлява важна стъпка към развитието на следващото поколение 3D системи за изкуствен интелект с приложения в роботиката, виртуалната и добавената реалност и естественото взаимодействие между хора и машини.

Повече информация за проекта: scenesplatpp.gaussianworld.ai