The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Доступна библиотека устранения шума на изображениях Open Image Denoise 2.2

17.02.2024 14:50

Компания Intel опубликовала выпуск проекта oidn 2.2 (Open Image Denoise), развивающего коллекцию фильтров для устранения шумов на изображениях, подготовленных с использованием систем рендеринга на основе трассировки лучей. Open Image Denoise развивается как часть более крупного проекта oneAPI Rendering Toolkit, нацеленного на разработку средств программной визуализации научных расчётов (SDVis (Software Defined Visualization), включающих библиотеку трассировки лучей Embree, систему фотореалистичной отрисовки GLuRay, платформу распределённой трассировки лучей OSPRay и систему программной растеризации OpenSWR. Код написан на языке С++ и опубликован под лицензией Apache 2.0.

Целью проекта является предоставление высококачественных, эффективных и простых в использовании функций шумоподавления, которые можно применять для повышения качества результатов трассировки лучей. Предложенные фильтры позволяют на основании результата сокращённого цикла трассировки лучей получить итоговый уровень качества, сопоставимый с результатом более затратного и длительного процесса детализированного рендеринга.

Open Image Denoise обеспечивает отсеивание случайного шума, возникающего, например, при трассировке лучей на основе численного интегрирования по методу Монте-Карло (MCRT). Для достижения высокого качества рендеринга в подобных алгоритмах требуется проведение трассировки очень большого числа лучей, иначе на результирующем изображении появляются заметные артефакты в виде случайного шума.

Применение Open Image Denoise позволяет на несколько порядков сократить количество необходимых вычислений при расчёте каждого пикселя. В итоге, можно значительно быстрее сгенерировать изначально зашумлённое изображение, но затем довести его до приемлемого качества при помощи быстрых алгоритмов подавления шумов. При наличии соответствующего оборудования предложенный инструментарий можно применять даже для интерактивной трассировки лучей c устранением шумов на лету.

Библиотека может применяться на различных классах устройств, от ноутбуков и ПК, до узлов в кластерах. Реализация оптимизирована для различных классов 64-разрядных CPU Intel с поддержкой инструкций SSE4, AVX2, AVX-512 и XMX (Xe Matrix Extensions), чипов Apple Silicon и систем с GPU Intel Xe (серии Arc, Flex и Max), NVIDIA (на базе архитектур Volta, Turing, Ampere, Ada Lovelace и Hopper) и AMD (на базе архитектур RDNA2 (Navi 21) и RDNA3 (Navi 3x)). В качестве минимального требования заявлена поддержка SSE4.1.

Основные изменения в выпуске Open Image Denoise 2.2:

  • Повышено качество устранения шумов и улучшена реконструкция деталей.
  • Добавлена поддержка GPU, используемого в процессорах Intel Core Ultra на базе микроархитектуры Intel Meteor Lake.
  • Добавлена поддержка работы на системах с архитектурой ARM64 в окружении Linux и Windows (поддержка macOS была добавлена раньше).
  • Добавлена поддержка графического API Metal на ARM-системах Apple.
  • Повышена производительность в режиме, использующем CPU.
  • Снижены накладные расходы при применении изменений фильтров.
  • По умолчанию задействован API драйвера CUDA. В CMake добавлена настройка для ручного выбора между API драйвера и runtime.


  1. Главная ссылка к новости (https://github.com/OpenImageDe...)
  2. OpenNews: Intel выпустил движок распределённой трассировки лучей OSPRay 3.0
  3. OpenNews: Представлен ANARI 1.0, открытый стандарт для движков 3D-рендеринга
  4. OpenNews: Компания Intel представила OpenSWR, систему программной отрисовки OpenGL
  5. OpenNews: Выпуск кодировщика видео SVT-AV1 1.5, развиваемого компанией Intel
  6. OpenNews: Intel развивает упрощённую архитектуру x86S, работающую только в 64-разрядном режиме
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/60618-openimagedenoise
Ключевые слова: openimagedenoise, intel
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (34) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 15:25, 17/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –11 +/
    >По умолчанию задействован API драйвера CUDA.

    Амдбоев как обычно обделили. Впрочем, ничего нового.

     
     
  • 2.4, Аноним (4), 15:29, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Чем читал?
    > AMD (на базе архитектур RDNA2 (Navi 21) и RDNA3 (Navi 3x))
     
     
  • 3.8, Пользователь планеты Земля (?), 16:02, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +6 +/
    он не читатель он писатель
     
  • 2.31, Аноним (31), 03:09, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Кто-то ещё не слышал про rocm и zluda которые позволяют как использовать cuda код для ускорителей amd так и запускать приложения написанные под cuda на ускорителях amd.
     
     
  • 3.43, амоним (?), 10:04, 19/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    все слышали, ага
    только никто это не использует.
    и то и другое - глючные нестабильные поделия.
    cuda - стандврт
     

  • 1.2, Анонист (?), 15:26, 17/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Полезно-нужно, использовал его для апскейла изображении
     
  • 1.5, Аноним (5), 15:56, 17/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Чересчур мыльно. К сожалению, на практике малоприменимо. Как и прочие подобные решения поверх мл-моделей, слишком много галлюцинирует при подрисовке. Куда больше определённых альтернатив, из того, что я видел.
     
     
  • 2.7, Аноним (5), 15:59, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    К слову, придумали уже как подкрутить OptiX, чтобы глитчи лучше фильтровались? Так у него куда более точная и чёткая картинка выходит, памяти больше надо правда.
     

  • 1.6, Аноним (6), 15:57, 17/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Оно для устранения шума матриц фотоаппаратов непригодно, я так понимаю?
     
     
  • 2.25, prokoudine (ok), 22:23, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Непригодно, это для ускорения 3D-рендеринга — чтобы не ждать полной трассировки, а взять шумный недорендер и сделать его бесшумным.
     
     
  • 3.26, Аноним (26), 22:29, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Обоснование непригодности? По моему скромному мнению, тут только эксперимент покажет пригодность или непригодность.
     
     
  • 4.28, Аноним (28), 23:17, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Источники шума разные, значит и их паттерн разный
     
  • 4.37, Бывалый Смузихлёб (??), 10:08, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Экспериментируй
    К чему тогда задавать заведомо-некорректный вопрос ?
     
  • 4.39, prokoudine (ok), 15:36, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Обоснование непригодности?

    Разная природа шума.

     

  • 1.15, Аноним (15), 17:18, 17/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Незначительный шум должен оставаться.  Посмотрите на дверь авто. В исходнике отражается брусчатка, а в результате сплошная заливка.
     
     
  • 2.18, Аноним (-), 17:56, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В исходнике не видна брусчатка. Ты видишь то, что не видят другие?
     
  • 2.19, Витюшка (?), 18:29, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Очертаний брусчатки не видно.

    Скорее всего отражается она, но из-за шума понять это невозможно, нет даже границ брусчатки.

    Там где они есть, denoise это отразил.

     
  • 2.21, Аноним (21), 19:04, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Тут картинки кликабельны: https://github.com/OpenImageDenoise/oidn?tab=readme-ov-file#rt
    Что-то вроде отражения есть за дверью, но оно сохраняется на обработанной картинке.

    Шум маскирует нехватку деталей. Появляется текстура, растёт субъективная резкость, глазу есть за что зацепиться, мозгу даётся возможность чего-нибудь додумать.

     
     
  • 3.22, Аноним (21), 19:19, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Шум как явление, то есть. Его могут считать полезным из-за перечисленного, статьи научные писать с заголовками вроде "Digital Image Improvement by Adding Noise".
     
     
  • 4.23, Аноним (5), 20:21, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это называется дизеринг, если что. А вообще, я уверен, не одна тысяча статей уже написана, поскольку шум активно используется в индустрии.
     
     
  • 5.24, Аноним (21), 21:24, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не, для приятного глазу шума, который могут добавлять при постобработке, названий нет (типа плёночного зерна, по мнению некоторых).

    Дизеринг - тоже добавление полезного шума, но это приём перед понижением разрядности, он не существует в отрыве от квантования и в идеале должен быть незаметен.

     
  • 3.36, Аноним (-), 08:46, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >Что-то вроде отражения есть за дверью

    На шумном оригинале всей брусчатки не видно. Там только одна толстая линия и с крев две тонких, и чтобы увидеть эти тонкие линии надо специально присаматриваться.


    Что и требовалось доказать.

     
  • 2.29, kawaii boy (?), 23:29, 17/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    На машине тип глянцевой краски такой, что он должен плохо отражать принципе.
     
  • 2.30, Аноним (30), 00:41, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Народу нравится фейк и искусственность, даже будут отрицать действительность (отражение брусчатки)
     
  • 2.45, Зазнайка (?), 22:48, 28/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    На счёт отражения брусчатки что-то надуманное, однако в целом картинка мыльная, да.
    Для всякого предпросмотра сойдёт, для финала — сомневаюсь.
     

  • 1.27, Аноним (27), 22:50, 17/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Когда в ffmpeg?
     
  • 1.32, Аноним (-), 04:11, 18/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    В новость картинки взяты пережатые, из-за чего сильно потеряли в качестве. В оригинале, на сайте проекта (https://www.openimagedenoise.org/gallery.html), всё прекрасно видно, в том числе и брусчатку в отражении в двери.
     
     
  • 2.34, Аноним (34), 07:08, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    на сайте проэкта картинка вся нормальная, а шум добавлен через svg на страничке
     
  • 2.46, Зазнайка (?), 23:05, 28/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Видно, однако детализация всё-же ухудшается, если рассматривать отражение на двери.
     

  • 1.33, Аноним (34), 07:00, 18/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    чем это лучше чем то что есть последнем блендере? не претензия, вопрос сравнения
     
     
  • 2.35, aaaaaaaaaaaaaaaaaaa (?), 07:22, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    В последнем блендере как раз этот проект и используется, но первой версии, тоесть онли на проце
    В 4.1 завезут вторую версию с поддержкой гпу
    Ну еще оптикс есть от нвидии (нвидия онли)
     

  • 1.38, Аноним (38), 12:26, 18/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Применение Open Image Denoise позволяет на несколько порядков сократить количество необходимых вычислений при расчёте каждого пикселя. В итоге, можно значительно быстрее сгенерировать изначально зашумлённое изображение, но затем довести его до приемлемого качества при помощи быстрых алгоритмов подавления шумов. При наличии соответствующего оборудования предложенный инструментарий можно применять даже для интерактивной трассировки лучей c устранением шумов на лету.

    Лучше бы сделали модель, предсказывающую трассировщику, в какой пиксел и под какими углами нужно принять лучи, чтобы локально (на текущей итерации) минимизироватт шумы. Тогда нужда в додумывании картинки исходя из неё самой будет минимизирована, а остальное будет почти честно. Модель должна быть рекуррентной и учитывать предыдущие предпринятые шаги, чтобы выдаваемые ей кандидаты лучей не повторялись, если картинка не улучшилась.

     
  • 1.40, Аноним (40), 15:38, 18/02/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Отлично! Получить чёткую картину с очков, линз или даже отражения в глазах можно будет?
     
     
  • 2.42, Аноним (42), 18:38, 18/02/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру