DLSS 5 от Nvidia: ИИ додумывает картинку по 2D‑кадру и векторам движения

Как работает DLSS 5 от Nvidia: принцип работы, ограничения и особенности генерации

В недавнем интервью сотрудник Nvidia Джейкоб Фридман (Jacob Freeman) раскрыл ключевые детали о том, как работает технология масштабирования с использованием искусственного интеллекта — DLSS 5. Разбираемся, какие данные обрабатывает ИИ, почему иногда возникают артефакты и какие инструменты есть у разработчиков для управления технологией.

Принцип работы DLSS 5: на чём основан ИИ‑алгоритм?

Согласно пояснениям Джейкоба Фридмана, DLSS 5 при масштабировании изображения использует следующие входные данные:

• двухмерный отрисованный кадр;

• векторы движения.

При этом технология не опирается на трёхмерную геометрию, созданную разработчиками, не анализирует глубину сцены и не учитывает данные о материалах (металличность, шероховатость, карты нормалей и т. д.).

Ключевая особенность ИИ‑модели — понимание семантики сцены. На основе всего одного кадра алгоритм способен:

• идентифицировать объекты: волосы, ткань, кожу;

• анализировать условия освещения;

• адаптировать обработку с учётом типа поверхности.

Ранее могло сложиться впечатление, что DLSS 5 глубоко анализирует сцену — теперь же ясно, что её работа основана на более ограниченном наборе данных.

Почему возникают артефакты: примеры и объяснения

Пример работы DLSS 5 Nvidia

Из‑за специфики обработки иногда наблюдаются непредсказуемые результаты масштабирования. В отдельных случаях:

• у персонажа появляются волосы там, где их не было в оригинале;

• меняются черты лица.

Представители Nvidia прокомментировали подобные случаи:

«Базовая геометрия не изменилась. На демонстрации использовалась очень ранняя предварительная версия технологии».

Это говорит о том, что текущие артефакты могут быть связаны с ранней стадией разработки, но сам принцип работы ИИ потенциально допускает подобные эффекты.

Возможности разработчиков: что можно настроить в DLSS 5?

У создателей игр есть ограниченный набор инструментов для управления работой DLSS 5. Доступные настройки включают:

• интенсивность применения технологии;

• цветокоррекцию;

• параметры смешивания кадров;

• контраст, насыщенность, гамму;

• маски для исключения отдельных объектов из алгоритмов улучшения.

Однако разработчики не могут:

• напрямую корректировать черты лица, генерируемые ИИ;

• отключать эффект «цифрового макияжа» на отдельных участках;

• влиять на семантическую интерпретацию сцены алгоритмом.

Единственный способ снизить нежелательные эффекты — уменьшить общую интенсивность DLSS, наложить маску или полностью отключить технологию. При этом генерация лиц и деталей по‑прежнему остаётся в зоне ответственности ИИ.