Стиснення зображень з широким динамічним діапазоном у реальному часі



Розглянуто питання побудови системи обробки зображень з широким динамічним діапазоном (HDR). Запропоновано модифікацію алгоритму стиснення HDR-зображення на основі методу Retinex, яка полягає в заміні білатерального фільтра на адаптивний фільтр, що зберігає краї зображення на основі детектора Гарріса-Лапласа і бібліотеки фільтрів Гауса.

Ключові слова: динамічний діапазон, обробка зображення, ПЛІС, білатеральний фільтр.

Сергієнко А.М. старший науковий співробітник,

Лепеха В.Л. науковий співробітник,

Симоненко А.В. асистент, НТУУ “КПІ”, каф. обчислювальної техніки,

Україна, Київ

HDR-image real time compression

The development issues of the system for the high dynamic range (HDR) image processing are considered. The modified HDR image compression Retinex method is proposed, in which the bilateral filter is substituted by the adaptive filter. This edge preserving filter is based on the Harris-Laplace detector, and on a set of Gauss filters.

Keywords: HDR, FPGA, Retinex, Bilateral Filter

Sergiyenko Anatolij Mikhailovich, senior scientist,

Lepekha Vladimir Lvovich, scientist

Simonenko Andrej Valerievich, assistant, NTUU “KPI”, Computer Engineering Dep-t,

Ukraine, Kiev

Вступ

Останнім часом все частіше застосовуються відеосенсори з широким динамічним діапазоном (high dynamic range — HDR). Якщо у звичайному сенсорі кожен колір пікселу кантується восьмирозрядним кодом, то у HDR-сенсорі ця розрядність досягає двадцяти та більше. Завдяки цьому, такі сенсори ефективно використовувати у автомобільних системах, системах відеонагляду та ін. через те, що вони добре сприймають інформацію у важких умовах освітлення. Але при використанні HDR-сенсора необхідно вирішувати проблему стиснення динамічного діапазону сигналу до восьми розрядів без втрат розбірливості зображення кадру як на освітлених, так і на затемнених ділянках.

Цю проблему часто вирішують, використовуючи теоретичну модель освітлення сцени Retinex, згідно з якою яскравість піксела вхідного зображення з координатами (x,y) є добутком

\[I\left(x,y \right)=L\left( x,y \right)\cdot R\left( x,y \right)\]

освітлення L(x,y) і віддзеркаленої яскравості R(x,y) об’єкта [1]. Згідно з методом Retinex, зображення I(x,y) певним чином розкладають на складові L(x,y) та R(x,y), причому L(x,y) обробляють зі стисненням динамічного діапазону, а R(x,y) — з покращенням контрасту. Оброблені складові зобра­ження перемножують, одержуючи результуюче зображення _I’_(_x,_y).

Компоненти освітлення добуваються за допомогою функції визначення освітле­ності F(I), так що

$L\left(x,y \right)=F\left( I \right),$ $R\left( x,y \right)=I\left(x,y \right)/F\left( I \right),$

$L'\left(x,y \right)=\Gamma \left( L\left( x,y \right) \right),$ $R'\left( x,y \right)=\beta \left( R\left(x,y \right) \right),$

$I'\left( x,y \right)=L'\left( x,y \right)\cdot R'\left( x,y \right).$

Досвід багатьох авторів, наприклад, в роботі [2], показав, що ефективними функціями для стиснення та покращення контрасту є

\[\Gamma \left( y\right)={{K}_{{{M}_{0}}}}{{\left( y/{{K}_{M}} \right)}^{\gamma \left(1+y/{{K}_{M}} \right)}};\beta \left( y \right)={{\left( 1+{{e}^{-b\cdot \log y}} \right)}^{-1}}+0,5, \quad\quad\quad(1)\]

де ${{K}_{M}}$, ${{K}_{{{M}_{0}}}}$ – динамічні діапазони представлення вхідного та вихідного сигналів, відповідно, що визначаються розрядністю пікселів, $\gamma $, b коефіцієн­ти, що підбираються вручну.

Функція освітле­ності F(I) у простому випадку є функцією двови­мірного фільтра нижніх частот (ФНЧ). Але при цьому у результуючому зображенні з’являються артефакти у вигляді гало навколо границь об’єктів. Щоб це запобігти, функція F(I) повинна зберігати краї зображення. Найбільш досконалою функцією F(I) вважається функція білатерального фільтра, ФНЧ-ядро якого адаптивно змінюється в залежності від характеру зображення. Такий фільтр обчислюється за формулою:

\[F\left( I\left( {{x}_{0}},{{y}_{0}} \right)\right)=\frac{\sum\limits_{\Omega }{{{W}_{\Omega }}\cdot I\left( x,y\right)\cdot f\left( I\left( x,y \right)-I\left( {{x}_{0}},{{y}_{0}} \right)\right)}}{\sum\limits_{\Omega }{f\left( I\left( x,y \right)-I\left({{x}_{0}},{{y}_{0}} \right) \right)}}, \quad\quad\quad(2)\]

де $\Omega $ — окіл піксела з координатами $\left( {{x}_{0}},{{y}_{0}} \right)$, $\left( x,y \right)\in \Omega , {{W}_{\Omega}}$ — ядро, тобто, імпульсна реакція двовимірного ФНЧ, f функція, яка досягає максимуму, якщо різниця яскравостей пікселів в околі і його центрального піксела є мінімальною, вираз у знаменнику є нормуючою функцією. Найчастіше ${{W}_{\Omega }}$ і f — гаусові функції, а окіл має діаметр п’ять і більше пікселів [3]. Дія білатерального фільтра є така, що якщо зображення незначно змінюється в околі, то воно згладжується, а якщо є різкі переходи яскравості, то для них згладжування не виконується, бо відповідні відліки ядра ${{W}_{\Omega }}$ помножуються на близькі до нуля значення функції f.

Білатеральний фільтр (2) є важким у обчисленнях, особливо якщо обробляється зображення з великим динамічний діапазоном. У даній роботі пропонується замість фільтра (2) застосовувати адаптивний фільтр, що зберігає краї зображення. Завдяки цьому, спрощується та прискорюється обробка HDR-зображення.

Адаптивний фільтр для HDR-зображення

Пропонується замість фільтра (2) застосовувати адаптивний фільтр, що зберігає краї зображення. Такий фільтр складається з аналізатора зображення і регульованого двовимірного ФНЧ.

Як аналізатор зображення використовується детектор Гарріса-Лапласа [4]. На основі його вихідного сигналу — власного вектора автокореляцій­ної матриці — при­ймається рішення, до якого типу належить зображення в околі $\Omega $, а саме, до рівномірного поля, вертикальної, горизонтальної, похилої лінії чи точки, а також оцінюється його рівень чіткості. При цьому власні значення апроксимуються числами на виходах трьох лапласівських фільтрів, двоє з яких налаштовані на зміни в зображенні по горизонталі та вертикалі. Результат роботи аналізатора показано на рис.1.

В залежності від типу детектованого зображення та його характеру, як наприклад, оцінки ширини лінії, її нахилу, з таблиці ядер вибирається відповідне ядро ${{W}_{\Omega}}$, за допомогою якого фільтрується зображення з одержанням освітле­ності F(I). Наприклад, рівномірне поле фільтрується ядром ФНЧ, а лінія — гаусовим фільтром, який «стиснуто», щоб зображення імпульсної реакції нагадувало еліпс. Причому усі ядра ${{W}_{\Omega}}$ є заздалегідь нормованими. Як результат, складність обчислення функції освітле­ності F(I) є значно меншою, ніж при використанні білатерального фільтра (2).

Функції (1), які виконують стиснення динамічного діапазону та підвищення контрастності, реалізовані за допомогою кусочно-лінійної інтерполяції.

Рис.1. Приклад кадру на виході аналізатора зображення

Експериментальний зразок

Для обробки зображення зі стисненням було використано систему розробки застосунків для HDR-відеокамер HDR-60 на основі ПЛІС ECP3-70 фірми Lattice. Як відеодатчик, використо­вується мікросхема AptinaMT9M024, яка видає HDR-зображення розміром 720×1280 з частотою 60 кадрів за сек. з динамічним діапазоном 120 дб.

Для обробки зображення розроблені модулі для відтворення кольорового зображення,медіанної фільтрації, перетворення кольорів, побудови гістограми розподілення яскравості та інші.

Використання модуля стиснення зображень з широким динамічним діапазоном у реальному часі дає змогу застосувати таку систему, наприклад, для відеонагляду. Причому, завдяки стисненню за алгоритмом, який зберігає краї зображення, така система мало­чутлива до засвіток, фільтрує шуми і чітко відображає предмети.

Висновки

Запропоновано модифікацію алгоритму стиснення HDR-зображення на основі методу Retinex. Модифікація полягає в заміні білатерального фільтра для обчислення освітленості на адаптивний фільтр, що зберігає краї зображення на основі детектора Гарріса-Лапласа і бібліотеки фільтрів Гауса, що набагато зменшує складність стиснення і дає змогу обробляти відеосигнал у реальному часі.

Перелік посилань

$1.$ McCannJ. J. Lightness and retinex theory / E. H. Land, J. J. McCann // Journal of the Optical Society of America, 1971. — V. 61. — No. 1. — P. 1 - 11.

$2.$ Saponara S. Application-Specific Instruction-Set Processor for Retinex-Like Image and Video Processing / S. Saponara, L. Fanucci, S. Marsi, G. Ramponi, D. Kammler, E. M. Witte // IEEE Trans. On CAS — II: Express Briefs. — V. 54, — No.7, 2007. — P. 596-600.

$3.$ Paris S. Bilateral Filtering: Theory and Applications / S. Paris, P. Kornprobst, J. Tumblin and F. Durand // Foundations and Trends in Computer Graphics and Vision, 2008. — V. 4. — No. 1. — 1–73.

$4.$ Hassaballah M. Image Features Detection, Description and Matching / M. Hassaballah, A. A. Abdelmgeid, H.A. Alshazly / In: Image Feature Detectorsand Descriptors. Foundations and Applications. A. I. Awad, M. Hassaballah, Ed-s. — Springer, 2016. — P. 11 - 46.

Mar 28, 2017