Методы и технологии реконструкции: программное обеспечение
Методы и технологии 3D реконструкции определяются следующими факторами:
– состоянием источниковой базы исследования и особенностями работы с каждым типом визуальных исторических документов (чертежи, гравюры, биографии),
– задачами презентации результатов 3D реконструкции (с потенциальной возможностью их экскурсионной демонстрации).
Построение любой простейшей трёхмерной модели невозможно без использования графических редакторов, которые необходимы для обработки изображений. Это, прежде всего, коррекция перспективы, контрастности, резкости, удаление и добавление элементов, обработка, создание и редактирование рабочих материалов для 3D моделей (для создания текстурных карт), разработанных на основе гравюр, картин или готовых материалов из Интернет-библиотек. Для решения данных задач был выбран один из самых распространенных графических редакторов – Adobe Photoshop.
В качестве инструмента 3D реконструкции дома И. Канта в Кёнигсберге и других зданий стал Autodesk 3ds MAX. Несмотря на всю сложность и трудоемкость работы в этом пакете, именно возможности программы позволяют наиболее точно и реалистично смоделировать объекты, точно наложить текстуру, настроить реалистичное освещение. Плагин VRay для 3ds Max позволяет создавать высокого качества фотореалистичные визуализации. 3ds MAX позволяет создавать не только предметы с несложной архитектурой, но и различного рода поверхности, жидкости, объекты из ткани и т. д. Что особенно важно для нашей работы — это фотореалистичность 3ds MAX при визуализации.
Для создания виртуальных объектов (при необходимости) внутри помещений потребовалось смоделировать геометрию; текстурировать объект, придав ему вид реалистичности (потертость, замыленность, царапины и т.д.); разместить объект в сцене, согласно заранее утвержденному плану-схеме; смоделировать освещение.
После всех проверок проводится визуализация, что занимает значительное время, даже на мощных компьютерах. Просчет одного изображения продолжается порядка 3-4 часов непрерывной работы, а для видов требуется не менее шести часов.
Создание рендера видео-панорамы занимает достаточно длительное время. Современный мощный ПК с параметрами процессор ЦП 32-Core AMD Ryzen, 3843 MHz (38.5 x 100), 64 ГБ ОЗУ, видеоадаптер GeForce RTX 3080 (10 ГБ) производит рендер фотореалистичной панорамы 4000×2000 pix, на основе визуализатора V-Ray 5.02 приблизительно в течении 2 ч 45 минут. После реалистичной визуализации и полного утверждения участниками проекта, производятся круговые визуализации сцен для дальнейшего создания из них панорам с обзором в 360 градусов. Панорамы размещаются на интернет-платформе для просмотра на стационарных компьютерах, планшетах, смартфонах, при помощи очков виртуальной реальности.
Подготовительный этап
На подготовительном этапе выполняются сбор и фиксация пространственных данных современной застройки города Калининграда в границах научной виртуальной исторической реконструкции.
Задачи фиксации:
– оцифровка современного городского пространства с помощью технологий фотограмметрии;
– создание виртуальных панорам с воздуха в показательных точках обзора исторических городских кварталов, которые планируем восстанавливать;
– наземная видео съемка на камеру 360 градусов в ключевых показательных местах обзора кварталов.
Все полученные в рамках оцифровки пространственные материалы смогут быть использованы вместе с виртуальной исторической реконструкцией.
Рис. 1. Маршруты вероятного перемещения И. Канта по Замковой слободе и Альтштадту к аптеке Хагена, магазину Кантера и дому Гиппеля на карте Кенингсберга конца XVIII в..
Фиксация пространственных данных осуществляется с помощью следующих методов:
1) Аэрофотосъемка на беспилотный летательный аппарат DJI Phantom 4 Standart. Перед исполнителем стоят 2 задачи:
А) провести съемку современных городских кварталов с высоты 100 или 70 метров в указанных границах виртуальной исторической реконструкции квартала. Съёмка производится не в ручном режиме, а в автоматизированном, через бесплатное мобильное приложение Pix4D Capture . [1]
Рис 2-3. Информация в Интернете о бесплатном мобильном приложении Pix4D Capture
В начале XVIII в. Кёнигсберг как городское поселение уже сформировался: кроме трех городов – Альтштадта, Кнайпхофа и Лебенихте, были поделены и обозначены отдельные районы внутри вальных укреплений, возведенных в первой половине XVII в. Вальное кольцо было очень большим – на карте 1735 г. видны внушительные территории сельскохозяйственных угодий и садов.
Рис. 3. Кёнигсберг. План. 1735 г.
Для задачи съёмки местности под построение 3D модели в программе Agisoft Metashape перед взлетом квадрокоптера в приложении Pix4D Capture выбирается режим съёмки Double Grid for 3d model, далее выставляется высота полета 100 или 70 метров и через карту задается площадь покрытия съёмки и после нажимается старт. Перед полетом заранее на месте оценивается высотность зданий и выбирается наиболее безопасная высота полета, чтобы квадрокоптер при выполнении программы полета ничего не задел. Учитывая наличие антенн на зданиях к минимальной высоте прибавляется дополнительно 10 метров. Съёмка со слишком большой высоты ухудшает детализацию полученной 3D модели. Если площадь квартала слишком большая можно провести съемку в несколько заходов. По результату полета должно получиться порядка 500 фотографий зданий. Фотографии загружаются в облако на Яндекс диск и передаются специалисту для создания фотограмметрической 3D модели современной застройки (облака точек и 3D модели) в программе Agisoft Metashape и ортофотоплана.
Получившиеся результаты оцифровки современной городской застройки в районе расположения исторической реконструкции позволят сделать наложение современной застройки на историческую реконструкцию и создать эффект перемещения во времени.
Программа Twinmotion поддерживает импорт облака точек и 3D модели. Наложение застроек современной и исторической реконструкции можно сделать в 3D программе или на этапе видео монтажа в программе Adobe Acrobat на виртуальные панорамы с воздуха и видео 360.
Сценариев применения 3D модели современной застройки много. Ниже основные из них:
– движение камеры по фотограмметрической модели современного города в формате видео 360 с плавным спуском камеры к земле и переходом в историческую виртуальную реконструкцию посредством наложения двух временных срезов;
– применение наземной съёмки с камеры 360 современных улиц Калининграда в показательных точках для сопоставления с виртуальной реконструкцией исторической застройки, а также применение квадрокоптера для создания виртуальных панорам с воздуха.
Б) С заданной высоты, определенной авторами проекта (70–100 метров), провести фотосъёмку для создания виртуальной панорамы с квадрокоптера в показательных точках обзора исторических городских кварталов.
Съемка фотографий для создания виртуальной панорамы производится по определенной методике. Квадрокоптер поднимается на указанную высоту, камера ставится в горизонт и делается 8 фотографий по сторонам света на первый круг. В итоге квадрокоптер с камерой поворачивается на 360 градусов. Далее камера опускается на 45 градусов вниз и производится съемка по второму кругу. Далее камера опускается на 90 градусов вниз и снимается еще 1 фотография. Итого получается 17 фотографий на панораму. Внизу прилагается чертеж методики съёмки.
Рис. 4. Схема фотосъемки с квадрокоптера
Фотографии обрабатываются в программе PtGui и сшиваются в виртуальную панораму.
В случае погрешностей съемки, например из-за смещения квадрокоптера во время съемки ветром в программе PtGui производится правка искажений. Верхняя часть панорамы небо дорабатывается после экспорта панорамы в Pano 2VR и Adobe Photoshop.
Сценарий применения виртуальной панорамы современной застройки тоже похож на пример выше. Для обеспечения эффекта погружения зрителя на этапе видео монтажа в программе Adobe Premiere можно сделать наложение с плавным выцветанием статичной аэропанорамы с выбранного ракурса и виртуальной реконструкции с этого же ракурса.
2) Наземная съемка на камеру 360 градусов в ключевых показательных местах обзора создаваемой в 3D исторической застройки. Поиск на Avito и в Интернете не выявил сервисов в Калининграде, где можно взять в аренду камеру 360 градусов, но в продаже есть недорогие версии камер 360 градусов таких как Samsung Gear 360.
Лучшим вариантом для съёмки видео 360 градусов является камера Instra 360 Pro / Instra 360 Pro 2. В случае, если нет возможности взять камеру в аренду наиболее удобным и доступным вариантом является применение возможно приобретение недорогой камеры Samsung Gear 360. [2]
Для съёмки видео 360 на камеру Samsung Gear 360 необходим штатив и SD карта емкостью 64 Гб с высокой скоростью записи.
Рис. 5. Пример камер 360 Instra 360 Pro и двух версий Samsung Gear 360
Сценарий применения виртуальной панорамы современной застройки тоже похож на пример выше. Для обеспечения эффекта погружения зрителя на этапе видео монтажа в программе Adobe Premiere можно сделать наложение с плавным выцветанием выбранного видео 360 и виртуальной реконструкции с этого же ракурса. В качестве интересной идеи можно реализовать движение камеры 360 на штативе по маршруту исторического квартала с последующим наложением через программу Adobe Premiere на виртуальную реконструкцию.
В современную съемку видео 360 в программе Adobe Premiere можно встроить фотографии с плавным выцветанием с последующим наложением видео 360 градусов виртуальной реконструкции исторической застройки, полученного путем рендера в программе Twinmotion.
На подготовительном этапе работы производится приобретение оборудования для трансляции видео 360 и проведения VR экскурсий и его апробация. Наиболее успешным вариантом является использование оборудования VR class. Отличительные особенности этого оборудования:
– возможность центрального управления виртуальной экскурсией; можно запустить всем зрителям с главного компьютера видео файл, выбрать первый ракурс обзора в видео 360;
– нет привязки VR очков к платной подписке для хранения контента. Видео хранится на самих очках и компьютере ведущего экскурсию;
– экскурсию может провести один человек.
Наиболее удобным является выбор комплекса из 8 очков для проведения групповой экскурсии[3]. Как образовательной организации поставщики сделают скидку[4].
Рис. 6. Проведение VR экскурсии по виртуальной реконструкции соборной площади г.Стерлитамака нач. XX в. Маратом Тикеевым
Приобретенное оборудование Class VR (комплект для 8 человек) в рамках проекта тестируется на отснятом материале панорамах с квадракоптера и видео 360 с камеры Samsung Gear 360 или Instra 360. В программе Adobe Premiere видео монтажёр делает тестовые видео с голосом диктора, в видео проецируются исторические фотографии старинных зданий.
Этап проектирования виртуальной исторической реконструкции
Модели зданий и кварталы разрабатываются в программе Autodesk 3ds Max. Работа очень большая и ресурсоёмкая.
Дополнительно на этапе построения 3D моделей с Autodesk 3ds Max используется программа SketchUp, в которой создается геометрия отдельных строений и наносится базовый материал. Это одна текстурная карта с базовой окраской здания без слоев:
– карта нормалей
– карта освещения
– состаривание, наложение трещин, подтёков и т. п.
Фотореализм материала модели достигается уже позже в другой программе.
В программе SketchUp есть инструмент MatchPhoto, который позволяет проецировать визуальный источник, например фотографию и создавать по ней 3d модель. С помощью инструмента MatchPhoto можно рассчитать примерную точку съемки с помощью алгоритма фотограмметрии, если существует большое количество визуальных документов, запечатлевших здание с разных ракурсов или его фрагмент.
Реалистичные текстурные карты наносятся в программе Twinmotion: импортируется карта нормалей, рельефности, освещения и т.п. Всего есть возможность подгрузки 5 карт настройки материала и 1 дополнительно рандомная настройка Grunge.
Рис. 7-9. Меню настройки качества материала 3D модели в программе Twinmotion
Далее из библиотеки программы берутся материалы трещины, подтеки и размещаются на участке материала. Облик подтека или трещины можно загрузить отдельной текстурой. После наложения элементов состаривания на участок модели, материал становится более реалистичным как при рендере Autodesk 3ds Max Vray.
Рис. 10 Библиотека элементов (декалей) для нанесения дополнительных слоёв на материал здания
На этапе создания 3D модели городского пространства 3D модели зданий собираются в квартал, накладываются на них материалы, включая VRAY (или просто текстурные карты), в формате программы Autodesk 3Ds Max. Чтобы 3D модель городского пространства могла быть загружено в программу Twinmotion, вес модели должен быть не большой (около 500 мб – 1 Гб).
Рис. 11 Меню настройки растительности программы Twinmotion: возраст дерева, высота, сезон, поддержка ветра
После размещения 3D модели в сцене и настройки материала, создается живая растительность: деревьев, травы, кустов. Для этого требуется привлечь акварели и гравюры, чтобы знать на какой аналог облика ориентироваться и что примерно высаживать. Растительность имеет параметры, которые можно регулировать: возраст растения, возможность динамичного роста прямо на видео ролике, выбор времени года для отображения зимней или летней кроны, управление колебание веток от ветра
В итоге работы в программном обеспечении Twinmotion получается несколько кварталов с живой растительностью на разные времена годы. Далее разработчиком в программе задается время года, атмосферные осадки, освещение. Выбрать день или ночь. Программа Twinmotion может динамически менять время года, время суток и т.п.
Рис. 12-13. Пример меню настройки освещения и меню настройки атмосферных эффектов в программе Twinmotion
Рис. 14. Пример анимированных библиотечных элементов стаффажа в программе Twinmotion
Далее начинается этап расстановки живой окружающей среды: птиц, насекомых бабочек, собак, кошек, лошадей, коз, черных силуэтов людей или фотографий. Все эти модели уже заложены в программе Twinmotion за исключением людей в костюме XVIII века из Кёнигсберга.
Рис. 15. Акварель одного из немецких городов конца XVIII века
На настоящий момент программа Twinmotion не поддерживает импорт анимированных персонажей, поэтому, импортированные 3D модели персонажей будут пребывать в статичном состоянии.
Самое простое и не трудоёмкое поставить силуэты людей – изображения (фотографии). В программе Twinmotion уже есть библиотечные силуэты. Изображения можно заменить на свои. Силуэты каждый раз поворачиваются при движении камеры.
Рис. 16. Силуэты людей в виртуальной реконструкции
При необходимости можно воспроизвести 3D людей в исторических костюмах в программе Marvelous Designer или взять фотограмметрические 3D модели скульптур исторических деятелей конца XVIII в. одетых адекватно реконструируемой исторической эпохе.
В программе Twinmotion по итогу работы создается виртуальная экскурсия в формате exe под операционную систему Windows (возможно и для MacOs) с возможностью самостоятельно походить по старинному городу времен Иммануила Канта, видео 360 градусов (разрешение видео 4k, 60 FPS) и стандартное видео (разрешение видео 4k, 60 FPS) и ряд рендеров панорамы.
Публикация 3D моделей на Sketchfab
Параллельно ведется работа над публикацией 3D моделей составных частей проекта на платформе Sketchfab с приложением 5 текстовых комментариев с иллюстрациями (гравюрами, фотографиями и т.п.).
Важные требования – вес модели до 100 мб. Наиболее интересными 3D моделями для публикации в Интернете представляют:
– основные известные здания, места, где бывал И. Кант, читал лекции или описывал в своих книгах (внешний облик зданий без внутренней проработки или интерьер одной важной комнаты);
– транспорт и люди XVIII века;
– предметы быта И. Канта, интерьер дома.
Видеомонтаж в Adobe Premiere
Видеомонтаж производится в программе Adobe Premiere. В качестве рабочего материала используется:
– наземное видео 360 современного города;
– панорамы с воздуха (файлы в формате jpg разрешением 10000 x 5000 пикселей);
– видео 360 рендер из виртуальной реконструкции;
– исторический материал (фотографии, акварели);
– голосовые дорожки;
Видео в результате работы в программе Adobe Premiere собирается в единый видео файл и сохраняется в формате mp4. Полученный файл публикуется на сайте Youtube.
Сайт проекта
В рамках проекта предполагается большая работа над дизайном сайта, публикацией контента, встраиванием роликов YouTube на сайт и 3D моделей с сайта Sketchfab. На сайте размещаются публикации авторов проекта, а также ссылки на загрузку виртуальной реконструкции с сайта или с облака Яндекс диска (объем виртуальной реконструкции может достигать до 10 Гб).
Создание виртуального тура из виртуальных панорам
Поскольку проект достаточно большой и предполагается использование различных технологий представления пространственных исторических 3D данных, одной из возможных технологий, которая может облегчить просмотр контента является технология виртуальных туров. Наиболее удобной программой для создания виртуальных панорам является программа Kolor Panotour Pro. Хотя процесс создания виртуального тура менее длителен, и сложен чем работа в 3D редакторах, но для его реализации требуется рисовать кнопки, панели, писать текст и голос диктора, чтобы создать эффект присутствия пользователя в историческом пространстве.
Рис. 17. Рабочие панели в программе Kolor Panotour Pro
Созданная виртуальная панорама размещается на сайте Балтийского федерального университета им. И. Канта.
Ссылки:
[1]Pix4D Capture [Электронный ресурс]. URL: https://www.pix4d.com/ru/produkt/pix4dcapture (Дата обращения: 11.07.2022).
[2] Пример видео съемки с разрешением 4K [Электронный ресурс]. URL: https://www.youtube.com/watch?v=4IacReS-DWI&t (Дата обращения: 11.07.2022).
[3]ForOffice [Электронный ресурс]. Url: https://www.foroffice.ru/products/description/185076.html (Дата обращения: 11.07.2022).
[4]CLASSVR [Электронный ресурс]. https://www.classvr.com/ (Дата обращения: 11.07.2022).