特許 7008621 リアルタイムトーンマッピングのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-13

(45)【発行日】2022-01-25

(54)【発明の名称】リアルタイムトーンマッピングのためのシステム及び方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20220118BHJP

   H04N 1/407 20060101ALI20220118BHJP

   H04N 5/20 20060101ALI20220118BHJP

【ＦＩ】

G06T5/00 735

H04N1/407 740

H04N5/20

【請求項の数】 21

(21)【出願番号】P 2018512335

(86)(22)【出願日】2016-09-02

(65)【公表番号】

(43)【公表日】2018-10-25

(86)【国際出願番号】 CA2016051043

(87)【国際公開番号】W WO2017035661

(87)【国際公開日】2017-03-09

【審査請求日】2019-08-28

(31)【優先権主張番号】62/213,290

(32)【優先日】2015-09-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518072003

【氏名又は名称】フォルシア イリステック インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100195534

【弁理士】

【氏名又は名称】内海 一成

(72)【発明者】

【氏名】ジョナス アンガー

(72)【発明者】

【氏名】ガブリエル アイラーツェン

(72)【発明者】

【氏名】ラファル マンティウク

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】米国特許出願公開第２００９／００２７５５８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０２４１９３１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２１３６１８（ＵＳ，Ａ１）

【文献】MANTIUK et al.，Display adaptive tone mapping，ACM Transactions on Graphics，Vol.27, no.3，[online]，2008年08月，68:1-68:10，[令和2年8月28日検索], インターネット＜URL：https://dl.acm.org/doi/pdf/10.1145/1399504.1360667＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０７

Ｈ０４Ｎ ５／２０

(57)【特許請求の範囲】

【請求項1】

入力イメージをトーンマッピングしてトーンマップされた出力イメージを生成する方法であって、該方法は、
前記入力イメージとトーンマップされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定するステップと、
前記決定されたトーンカーブに従って前記入力イメージをトーンマッピングするステップと
を含み、
前記トーンカーブを決定するステップは、前記イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析的に計算することを含む、
方法。

【請求項2】

前記入力イメージは通常ダイナミックレンジ及び高ダイナミックレンジのいずれか１つである、請求項１に記載の方法。

【請求項3】

前記トーンカーブの前記値は、前記イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを最小化するために解析的に計算される、請求項１又は２に記載の方法。

【請求項4】

前記トーンカーブを決定するステップは、
前記入力イメージの輝度レベルの部分に対応する複数の輝度レベルセグメントを規定するステップと、
各々の所与の輝度レベルセグメントについて、前記所与の輝度レベルセグメントのトーンカーブの部分を表す区分的線形傾斜を、決定するステップと
を含む、請求項１～３のいずれか１つに記載の方法。

【請求項5】

各々の所与の輝度レベルセグメントのトーンカーブの部分を表す前記区分的線形傾斜を決定するステップに関しては、前記区分的線形傾斜が非減少的であり、また、前記区分的線形傾斜によってトーンマッピングされた前記出力イメージは前記トーンマッピングされた出力イメージを表示するための表示装置の利用可能ダイナミックレンジ内に収まる、請求項４に記載の方法。

【請求項6】

（ｉ）前記入力イメージの任意の領域が第（ｋ番目）輝度レベルセグメント内に入る輝度レベルを有する確率、
（ｉｉ）第（ｋ番目）輝度レベルセグメントのイメージ顕著性、及び
（ｉｉｉ）所与の第（ｋ番目）輝度レベルセグメントの前記区分的線形傾斜の関数
の少なくとも２つについての積についての、全輝度レベルセグメント（ｋ＝１．．Ｎ）にわたっての和を減らすために、前記輝度レベルセグメントのトーンカーブの部分を表す前記区分的線形傾斜が決定される、請求項４又は５に記載の方法。

【請求項7】

前記イメージ顕著性は、前記入力イメージの複数の領域の前記所与の第（ｋ番目）輝度レベルセグメントのイメージコントラストに基づいて決定される、請求項６に記載の方法。

【請求項8】

前記イメージ顕著性は、前記所与の第（ｋ番目）輝度レベルセグメントについてのイメージコントラストが前記入力イメージのノイズモデルのノイズレベルよりも大きくなるような前記入力イメージの領域の量についての関数である、請求項７に記載の方法。

【請求項9】

各々の輝度レベルセグメントの前記区分的線形傾斜は

【数1】

を最小化させることに基づいて決定される請求項６～８のいずれか１つに記載の方法であって、ｐ（ｌ_ｋ）は前記入力イメージの任意の領域が前記所与の第（ｋ番目）輝度レベルセグメントに含まれる輝度レベルを有することになる確率であり、ｓ_ｋは前記所与の第（ｋ番目）輝度レベルの区分的線形傾斜であり、（１－ｓ_ｋ）^２は前記所与の（第ｋ番目）輝度レベルセグメントについての区分的線形傾斜の微分値である、方法。

【請求項10】

前記最小化させることは、

【数2】

を解析的に解いて各々の第（ｋ番目）輝度レベルセグメントについての区分的線形傾斜の値（ｓ_ｋ）を決定することを含む、請求項９に記載の方法。

【請求項11】

前記入力イメージの任意の領域が所与の第（ｋ番目）輝度レベルセグメントに収まる確率が、前記入力イメージのノイズレベルよりも大きなコントラストの領域を有する前記入力イメージに基づいて、調整される、請求項６～１０のいずれか１つに記載の方法。

【請求項12】

前記入力イメージの任意の領域が所与の第（ｋ番目）輝度レベルセグメントに収まる確率が、前記入力イメージの任意の画素が所与の第（ｋ番目）輝度レベルセグメントに収まる確率を前記入力イメージのノイズレベルよりも大きなイメージコントラスト値を有する入力イメージ内画素の個数によってさらに重み付けした確率に、対応する、請求項１１に記載の方法。

【請求項13】

前記入力イメージは複数の局所的領域に細分化され、また、各々の前記局所的領域について局所的トーンカーブが決定される、請求項１～１２のいずれか１つに記載の方法。

【請求項14】

前記入力イメージをベース層とディテール層とに分解するステップであって、前記トーンカーブが前記ベース層について決定され、また、前記トーンマッピングが前記ベース層に対して適用される、ステップと、
前記ディテール層を前記トーンマッピングされたベース層と組み合わせるステップと
をさらに含む、請求項１～１３のいずれか１つに記載の方法。

【請求項15】

請求項１４に記載の方法であって、前記入力イメージを分解するステップは、前記入力イメージに空間フィルタを適用してベース層とディテール層とを生成することを含み、該空間フィルタを適用した処理は複数の画素の各々について、
前記画素の周囲の領域内において前記入力イメージのエッジの存在を検知することと、
前記領域内における前記エッジの存在に従って、前記領域にフィルタリングカーネルを選択的に適用することと
を伴う、方法。

【請求項16】

前記ディテール層を、前記トーンマッピングされたベース層の視認性閾値と前記入力イメージのノイズモデルとに基づいて調節するステップをさらに含む、請求項１４又は１５に記載の方法。

【請求項17】

前記ディテール層を前記トーンマッピングされたベース層と組み合わせるステップは、少なくとも１つの観察者特性及び少なくとも１つの観察者プリファレンスに基づいて前記ディテール層を調節するステップを含む、請求項１４～１６のいずれか１つに記載の方法。

【請求項18】

前記トーンカーブの決定は１つ以上のコンテキストパラメータに基づいて調整可能である、請求項１～１７のいずれか１つに記載の方法。

【請求項19】

前記コンテキストパラメータは、アンビエント光、出力ディスプレイ装置のピーク輝度、前記出力ディスプレイ装置のダイナミックレンジ、及び露出の中の１つ以上を含む、請求項１８に記載の方法。

【請求項20】

前記１つ以上のコンテキストパラメータは、アンビエント光、出力ディスプレイ装置のピーク輝度、前記出力ディスプレイ装置のダイナミックレンジ、露出の１つ以上を含み、
前記トーンカーブの決定は、前記アンビエント光、前記ピーク輝度、ダイナミックレンジの１つ以上に基づいて実効出力ダイナミックレンジを決定して、前記実効出力ダイナミックレンジに基づいて前記トーンカーブを生成することを含む、
請求項１８に記載の方法。

【請求項21】

トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータによって実施されるシステムであって、該システムは、
少なくとも１つのデータ記憶装置と、
前記少なくとも１つの記憶装置に結合された少なくとも１つのプロセッサと
を備え、
前記少なくとも１つのプロセッサは、
前記入力イメージとトーンマップされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定するステップと、
前記決定されたトーンカーブに従って前記入力イメージをトーンマッピングするステップと
をなすように構成されており、
前記トーンカーブを決定するステップは、前記イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析的に計算することを含む、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、入力イメージについてトーンマッピングを行うためのシステム及び方法に関し、特にイメージコントラストに基づいたトーンマッピングを行うことに関する。

【0002】

関連出願
本願は、２０１５年９月２日に出願された「リアルタイムなノイズ把握型トーンマッピングを行うためのシステム及び方法」と題する米国仮特許出願第６２／２１３，２９０号からの優先権を主張しており、当該開示の全体は参照によって取り込まれる。

【背景技術】

【0003】

高ダイナミックレンジ（ＨＤＲ、high dynamic range）ビデオは、高級映画館並びに様々な消費者用及び商業用製品においてかつて無いほどのビューイング体験の向上をもたらすことになる。拡張された視覚的忠実性及び芸術的自由度の追求を背景に、ＨＤＲ技術の進展は極めて速く進んでいる。キャプチャ側からみれば、最大で１４～１６．５絞りとなる拡張されたダイナミックレンジをもたらすArri（登録商標）社Alexa（登録商標） XTやRed社Epic Dragon等のプロフェッショナル向けＨＤＲカメラシステムに加えて、最大で２０～２４絞りとなるダイナミックレンジをもたらす研究用試作機（非特許文献２５、３８）が開発されている。プロダクション側からみれば、完全にＨＤＲイネーブルドな制作パイプラインを開発して、完全に新たな創作的ツールセットを芸術家の手中にもたらすことによって、大手制作スタジオは現在進行中の当該トレンドに迎合している。ディスプレイ側からみれば、ＨＤＲ技術は高い注目を浴びている。Sim2等の製造者は高コントラスト局所的ディミング手法を用いてのダイナミックレンジ拡張に踏み出しており、最近においてはDolby（登録商標） Vision X-tended Dynamic Range PROが発表された。

【先行技術文献】

【非特許文献】

【0004】

【文献】ADAMS, A., GELFAND, N., DOLSON, J., AND LEVOY, M. 2009. Gaussian kd-trees for fast high-dimensional filtering. ACM Trans. Graphics 28, 3, 21:1-21:12.

【文献】ADAMS, A., BAEK, J., AND DAVIS, M. 2010. Fast High-Dimensional Filtering Using the Permutohedral Lattice. Com-puter Graphics Forum 29, 2, 753-762.

【文献】ALLRED, S., RADONJIC´, A., AND GILCHRIST, A. 2012. Light-ness perception in high dynamic range images: Local and remote luminance effects. Journal of Vision 12, 2, 1-16.

【文献】AUBRY, M., PARIS, S., HASINOFF, S. W., KAUTZ, J., AND DURAND, F. 2014. Fast local laplacian filters: Theory and applica-tions. ACM Trans. Graphics 33, 5, 167:1-167:14.

【文献】AURICH, V., AND WEULE, J. 1995. Non-linear gaussian filters performing edge preserving diffusion. In DAGM-Symposium, Springer, G. Sagerer, S. Posch, and F. Kummert, Eds., Informatik Aktuell, 538-545.

【文献】AYDIN, T. O., STEFANOSKI, N., CROCI, S., GROSS, M., AND SMOLIC, A. 2014. Temporally coherent local tone-mapping of HDR video. ACM Trans. Graphics 33, 6, 1-13.

【文献】BAEK, J., AND JACOBS, D. E. 2010. Accelerating spatially vary-ing gaussian filters. ACM Trans. Graphics 29, 6, 169:1-169:10.

【文献】BANTERLE, F., CORSINI, M., CIGNONI, P., AND SCOPIGNO, R. 2012. A low-memory, straightforward and fast bilateral filter through subsampling in spatial domain. Computer Graphics Fo-rum 31, 1, 19-32.

【文献】BARASH, D. 2002. Fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equa-tion. IEEE Trans. Pattern Analysis and Machine Intelligence 24, 6, 844-847.

【文献】BENNETT, E. P., AND MCMILLAN, L. 2005. Video enhancement using per-pixel virtual exposures. ACM Trans. Graphics 24, 3, 845-852.

【文献】BERNS, R. S. 1996. Methods for characterizing CRT displays. Displays 16, 4, 173-182.

【文献】BLACK, M. J., SAPIRO, G., MARIMONT, D. H., AND HEEGER, D. 1998. Robust anisotropic diffusion. Trans. Image Processing 7, 3, 421-432.

【文献】BOITARD, R., BOUATOUCH, K., COZOT, R., THOREAU, D., AND GRUSON, A. 2012. Temporal coherency for video tone-map-ping. In Proc. SPIE 8499, Applications of Digital Image Pro-cessing XXXV, 84990D-84990D-10.

【文献】BOITARD, R., COZOT, R., THOREAU, D., AND BOUATOUCH, K. 2014. Zonal brightness coherency for video tone-mapping. Sig-nal Processing: Image Communication 29, 2, 229-246.

【文献】CHEN, J., PARIS, S., AND DURAND, F. 2007. Real-time edge-aware image processing with the bilateral grid. ACM Trans. Graphics 26, 3, 103:1-103:9.

【文献】CHOUDHURY, P., AND TUMBLIN, J. 2003. The trilateral filter for high contrast images and meshes. In Proc. Eurographics work-shop on Rendering 14, 186-196.

【文献】DRAGO, F., MYSZKOWSKI, K., ANNEN, T., AND CHIBA, N. 2003. Adaptive logarithmic mapping for displaying high con-trast scenes. Computer Graphics Forum 22, 419-426.

【文献】DURAND, F., AND DORSEY, J. 2002. Fast bilateral filtering for the display of high-dynamic-range images. ACM Trans. Graphics 21, 3, 257-266.

【文献】EILERTSEN, G., WANAT, R., MANTIUK, R. K., AND UNGER, J. 2013. Evaluation of Tone-mapping Operators for HDR-Video. Computer Graphics Forum 32, 7, 275-284.

【文献】FOI, A., TRIMECHE, M., KATKOVNIK, V., AND EGIAZARIAN, K. 2008. Practical poissonian-gaussian noise modeling and fit-ting for single-image raw-data. IEEE Trans. Image Processing 17, 10, 1737-1754.

【文献】FROEHLICH, J., GRANDINETTI, S., EBERHARDT, B., WALTER, S., SCHILLING, A., AND BRENDEL, H. 2014. Creating Cine-matic Wide Gamut HDR-Video for the Evaluation of Tone-map-ping Operators and HDR-Displays. In Proc. SPIE 9023, Digital Photography X, 90230X-90230X-10.

【文献】IRAWAN, P., FERWERDA, J. A., AND MARSCHNER, S. R. 2005. Perceptually based tone-mapping of high dynamic range image streams. In Proc. Eurographics Conference on Rendering Tech-niques 16, 231-242.

【文献】KATKOVNIK, V., KATKOVNIK, V., EGIAZARIAN, K., AND ASTOLA, J. 2006. Local Approximation Techniques in Signal and Image Processing. Press Monographs. SPIE Press.

【文献】KISER, C., REINHARD, E., TOCCI, M., AND TOCCI, N. 2012. Real time automated tone-mapping system for HDR video. In Proc. IEEE International Conference on Image Processing 19, 2749-2752.

【文献】KRONANDER, J., GUSTAVSON, S., BONNET, G., AND UNGER, J. 2013. Unified HDR reconstruction from raw CFA data. In Proc. IEEE International Conference on Computational Photography 5, 1-9.

【文献】LEDDA, P., SANTOS, L. P., AND CHALMERS, A. 2004. A local model of eye adaptation for high dynamic range images. In Proc. International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa 3, 151-160.

【文献】MAGGIONI, M., BORACCHI, G., FOI, A., AND EGIAZARIAN, K. 2012. Video denoising, deblocking, and enhancement through separable 4-d nonlocal spatiotemporal transforms. IEEE Trans. Image Processing 21, 9, 3952-3966.

【文献】MAI, Z., MANSOUR, H., MANTIUK, R., NASIOPOULOS, P., WARD, R., AND HEIDRICH, W. 2011. Optimizing a tone-curve for backward-compatible high dynamic range image and video compression. IEEE Trans. Image Processing 20, 6, 1558 - 1571.

【文献】MANTIUK, R., DALY, S., AND KEROFSKY, L. 2008. Display adaptive tone-mapping. ACM Trans. Graphics 27, 3, 68:1-68:10.

【文献】MANTIUK, R., MANTIUK, R. K., TOMASZEWSKA, A., AND HEIDRICH, W. 2009. Color correction for tone-mapping. Com-puter Graphics Forum 28, 2, 193-202.

【文献】MANTIUK, R., KIM, K. J., REMPEL, A. G., AND HEIDRICH, W. 2011. Hdr-vdp-2: A calibrated visual metric for visibility and quality predictions in all luminance conditions. ACM Trans. Graphics 30, 4, 40:1-40:14.

【文献】MILANFAR, P. 2013. A tour of modern image filtering: New in-sights and methods, both practical and theoretical. IEEE Signal Processing Magazine 30, 1, 106-128.

【文献】PATTANAIK, S. N., TUMBLIN, J., YEE, H., AND GREENBERG, D. P. 2000. Time-dependent visual adaptation for fast realis-tic image display. In Proc. SIGGRAPH 00, Annual Conference Series, 47-54.

【文献】PERONA, P., AND MALIK, J. 1990. Scale-space and edge detec-tion using anisotropic diffusion. IEEE Trans. Pattern Analysis Machine Intelligence 12, 7, 629-639.

【文献】REINHARD, E., AND DEVLIN, K. 2005. Dynamic range reduction inspired by photoreceptor physiology. IEEE Trans. Visualization and Computer Graphics 11, 1, 13-24.

【文献】TAKEDA, H., FARSIU, S., AND MILANFAR, P. 2007. Kernel regression for image processing and reconstruction. IEEE Trans. Image Processing 16, 2, 349-366.

【文献】TAKEDA, H., FARSIU, S., AND MILANFAR, P. 2007. Higher order bilateral filters and their properties. Proc. SPIE 6498, Computational Imaging V , 64980S-64980S-9.

【文献】TOCCI, M. D., KISER, C., TOCCI, N., AND SEN, P. 2011. A versatile hdr video production system. ACM Trans. Graphics 30, 4, 41:1-41:10.

【文献】TOMASI, C., AND MANDUCHI, R. 1998. Bilateral filtering for gray and color images. In Proc. International Conference on Computer Vision 6, 839-846.

【文献】VAN HATEREN, J. H. 2006. Encoding of high dynamic range video with a model of human cones. ACM Trans. Graphics 25, 1380-1399.

【文献】WARD LARSON, G., RUSHMEIER, H., AND PIATKO, C. 1997. A visibility matching tone reproduction operator for high dynamic range scenes. IEEE Trans. Visualization and Computer Graphics 3, 4, 291-306.

【文献】YANG, Q. 2012. Recursive bilateral filtering. In Proc. European Conference on Computer Vision 12, 399-413.

【文献】YOSHIZAWA, S., BELYAEV, A. G., AND YOKOTA, H. 2010. Fast gauss bilateral filtering. Computer Graphics Forum 29, 1, 60-74.

【発明の概要】

【0005】

１つの実施形態によれば、入力イメージをトーンマッピングしてトーンマップされた出力イメージを生成する方法を提供する。方法は、入力イメージとトーンマップされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定するステップと；決定されたトーンカーブに従って入力イメージをトーンマッピングするステップとを含み；トーンカーブを決定するステップは、イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析的に計算することを含む。

【0006】

別の実施形態によれば、入力イメージをトーンマッピングしてトーンマップされた出力イメージを生成する方法を提供する。方法は、入力イメージに空間フィルタを適用してベース層とディテール層とを生成することを含み；フィルタリングは複数の画素の各々について、画素の周囲の領域内において入力イメージのエッジの存在を検知することと、；領域内におけるエッジの存在に従って、領域にフィルタリングカーネルを選択的に適用することとを伴う。

【0007】

さらなる別の実施形態によれば、入力イメージをトーンマッピングしてトーンマップされた出力イメージを生成する方法を提供する。方法は、入力イメージのフィルタリングからベース層とディテール層とを抽出するステップと；ベース層をトーンマッピングするステップと；視認性閾値と入力イメージのノイズモデルとに基づいてディテール層を調節するステップと；トーンマッピングされたベース層と調節されたディテール層とを組み合わせるステップとを含む。

【0008】

さらなる別の実施形態によれば、コンテキスト把握型トーンマッピングオペレータを提供する。オペレータは、ノイズモデル生成器と、１つ以上のコンテキストパラメータを受信するように動作可能なトーンマッピングモジュールとを備える。トーンマッピングオペレータは、入力イメージのベース層と入力イメージのディテール層とを抽出するためのエッジ停止フィルタリング下位モジュールと；トーンカーブ生成下位モジュールと；ベース層とディテール層とを組み合わせるための組み合わせ下位モジュールとを備える。エッジ停止フィルタリング下位モジュール、トーンカーブ生成下位モジュール、組み合わせ下位モジュールの少なくとも１つは、１つ以上のコンテキストパラメータの少なくとも１つに基づいて調整可能である。

【0009】

さらなる別の実施形態によれば、トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータによって実施されるシステムを提供する。システムは、少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合された少なくとも１つのプロセッサとを備え、少なくとも１つのプロセッサは、入力イメージとトーンマップされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定するステップと；決定されたトーンカーブに従って入力イメージをトーンマッピングするステップとをなすように構成されており；トーンカーブを決定するステップは、イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析的に計算することを含む。

【0010】

さらなる別の実施形態によれば、トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータによって実施されるシステムを提供する。システムは、少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合された少なくとも１つのプロセッサとを備え；少なくとも１つのプロセッサは、入力イメージに空間フィルタを適用してベース層とディテール層とを生成するステップをなすように構成されており；フィルタリングは複数の画素の各々について、画素の周囲の領域内において入力イメージのエッジの存在を検知することと；領域内におけるエッジの存在に従って、領域にフィルタリングカーネルを選択的に適用することとを含む。

【0011】

さらなる別の実施形態によれば、トーンマッピングされた出力イメージを入力イメージから生成するためのコンピュータによって実施されるシステムを提供する。システムは、システムは、少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合された少なくとも１つのプロセッサとを備え；少なくとも１つのプロセッサは、入力イメージのフィルタリングからベース層とディテール層とを抽出するステップと；ベース層をトーンマッピングするステップと；視認性閾値と入力イメージのノイズモデルとに基づいてディテール層を調節するステップと；トーンマッピングされたベース層と調節されたディテール層とを組み合わせるステップとをなすように構成されている。

【図面の簡単な説明】

【0012】

上述の説明は実施形態の例を提供するものの、開示された実施形態の幾つかの特徴及び／又は機能については、開示の実施形態の精神及び動作原理から逸脱せずに変更を加えることが可能であることに留意されたい。したがって、上述の事項は例示的且つ非限定的なものとして意図されており、当業者は、添付の特許請求の範囲にて規定される本願発明の範疇から逸脱せずに、上述の他に変種や変更を得ることが可能であることを理解するであろう。

【0013】

【図1】１つの例示的実施形態による、トーンマッピングシステムのオペレーショナルモジュールについての概略図である。

【図2】人間の視覚系の視認性閾値と、カメラによって撮像された典型的なイメージに含まれるイメージのノイズと、カメラによって撮像されたイメージをトーンマッピングした後のノイズレベルとを示すグラフである。

【図3】複数の輝度レベルセグメントについての画素値についてのヒストグラム（ビン、bin）と、各輝度レベルセグメントについての区分的線形傾斜によって形成された生成済みトーンカーブとを示すグラフである。

【図4】大域的トーンカーブを用いて出力されたトーンマッピング済みイメージと、局所的トーンカーブを用いて出力されたトーンマッピング済みイメージとを示す図である。

【図5】ヒストグラムイコライゼーションに基づいて生成されたトーンカーブについての傾斜割り当てと、ＭＰＥＧ最小歪み法に基づいた傾斜割り当てと、本願開示のリアルタイムコントラスト歪みベースドなＴＭＯに基づいた傾斜割り当てとを示すグラフである。

【図6】図１にて説明されたエッジ停止関数を示すグラフである。

【図7】オリジナルの信号にディテール（ノイズ）を付加した様子を伴う様々なフィルタの応答を例示する図である。

【図8】トーンマッピングに同じトーンカーブを用いて異なるエッジ保存フィルタを適用した結果を示す図である。

【図9】定性分析結果を表すグラフであって、実施された実験に関しての平均レーティングにバー形式で標準誤差を付けて表す、グラフである。

【図10】２種の最新のＴＭＯ及び本願開示のリアルタイムコントラスト歪みベースドなＴＭＯを示した代表例に関する図である。

【図11】２種の最新のＴＭＯ及び本願開示のリアルタイムコントラスト歪みベースドなＴＭＯの実装例の結果示す図である。

【図12】大域的トーンカーブ、ナチュラルディテール及びディテールの強エンハンスを用いた結果、並びに、トーン優先設定を用いた結果を示す図である。

【図13】イメージノイズの増幅をもたらす単純なトーンマッピングオペレータ及び本願開示のリアルタイムコントラスト歪みベースドなＴＭＯによるトーンマッピングを比較する図である。

【図14】ノイズを無視するトーンマッピングオペレータとノイズ把握型のリアルタイムコントラスト歪みベースドなＴＭＯとの比較を示す図である。

【図15】トーンマッピング中にアンビエント光が導入された場合の結果を示す図である。

【図16】エッジ付近のポイントをフィルタリングする際のバイアスを示す図である。

【図17】１つの例示的実施形態による、入力イメージをトーンマッピングするための方法の動作ステップについてのフローチャートである。

【発明を実施するための形態】

【0014】

キャプチャ及び処理から圧縮及び表示に至るまで、ＨＤＲビデオの処理パイプラインの各ステップでは多大な努力がなされているも、ＨＤＲビデオ用トーンマッピングの課題については大きな進歩が必要とされている。

【0015】

ここで、トーンマッピングとは、イメージ又はビデオのフレーム又は複数のフレームの値を処理して、ある色のセットを別の色のセットにマッピングすることを指し示す。典型的な用途は、ＨＤＲイメージ又はビデオを、より制限されたダイナミックレンジを有するイメージへとトーンマッピングすることであるが、トーンマッピングは標準的なダイナミックレンジのイメージ又はビデオにも適用され得る。トーンマッピングを行うシステム及び方法は、一般的にここでは、「トーンマッピングオペレータ」（ＴＭＯ、tone-mapping operator）と呼ぶ。

【0016】

ロバストなビデオトーンマッピングが必要であるにもかかわらず、既存のアルゴリズムは多くの場合においては期待に添うものではなく、ノイズを露わにしたり増幅したり、大きなコントラスト圧縮をこなすことができなかったり、リンギングやゴースティングや時間的フリッカリングをもたらしたり（非特許文献１９）、ディスプレイ及び観察条件に適応しなかったり、又は、演算が遅かったりする。

【0017】

関連研究
非特許文献１９では、１１種のビデオトーンマッピングオペレータが評価及び分析された。同文献は、種々のオペレータを次のように分類した：視覚系の特性及び限界を模倣するような視覚系シミュレータ（ＶＳＳ、visual system simulator）、オリジナルの場面外観（original scene appearance）を保全しようとするような場面再現オペレータ（ＳＲＰ、scene reproduction operator）、及び主観的に選好されるイメージをもたらすような主観的性質オペレータ（ＢＳＱ、best subjective quality operator）。非特許文献１９は、全てのオペレータが、フリッカリング、ゴースティング、増幅されたノイズレベル、又はディテールの欠如等のアーチファクトをもたらしやすいものである、と結論している。

【0018】

フリッカリング等の時間的アーチファクトは、多くのＴＭＯにとって大きな問題である。時間的な安定性のためには、多くの場合、大域的オペレータは、次の事項についての経時的フィルタリングに頼る：トーンカーブ（非特許文献２９）、又はＴＭＯパラメータ（非特許文献３３、２４）。このようにすればより効率的な実装が可能になるも、局所的ＴＭＯについては事情はより複雑であり、この場合、トーンの再現が局所的に時間が経るにつれてインコヒーレントな態様で変化し得る。このような問題を克服するために、また、ノイズを削減するために、多くの局所的ＴＭＯは時空間フィルタを画素ドメインで（非特許文献２６、１０、４０）又は運動経路に沿って（非特許文献６）用いる。もっとも、これらのフィルタは通常は計算量的に高コストであり、リアルタイム処理には適してはいない。これらの別の問題としては、ゴースティングアーチファクトをもたらし易いという点と、オプティカルフローが破綻する場合にうまく機能しない点とが挙げられる。

【0019】

リアルタイムノイズ把握型トーンマッピング
大まかに説明されているように、そして添付の図面にて例示されているように、入力イメージ／ビデオをトーンマッピングするための新規なシステム及び方法が開示されている。また、新規なシステム及び方法は、トーンマッピングのステップまたはトーンマッピングの一部を行うに際して効果的な１以上の下位要素を含むことができる。システム及び方法の幾つかの例示的実施形態では、トーンマッピングはリアルタイムで行われるか、及び／又は、トーンマッピングはノイズの存在を考慮することができる（例えば、「ノイズ把握型」のもの）。システム及び方法のトーンカーブ生成部分は、入力イメージとトーンマッピングされたイメージとの間のイメージコントラスト歪みのモデルに基づいている。本願開示の新規なトーンマッピングシステム及び方法、本願開示の例示的実施形態、並びにそれらの変種は、本願においては一般的には「リアルタイムコントラスト歪みベースドＴＭＯ」という。

【0020】

本願開示の１以上のリアルタイムコントラスト歪みベースドＴＭＯシステムは、プログラマブルコンピュータ上で実行されるコンピュータプログラムにおいて実装され得るのであり、各コンピュータは、少なくとも１つのプロセッサと、（揮発性及び不揮発性メモリ並びに／又は記憶素子を含む）データ記憶システムと、少なくとも１つの入力装置と、少なくとも１つの出力装置とを備える。例えば、非限定的に例示すれば、プログラムマブルコンピュータは、次のものであることができる：プログラマブル論理ユニット、メインフレームコンピュータ、サーバ、パソコン、クラウドベースドなプログラム又はシステム、ラップトップ機、ＰＤＡ、携帯電話、スマートフォン、ウェアラブル装置、タブレット装置、仮想現実装置、スマート表示装置（例えば、スマートＴＶ）、ビデオゲームコンソール、又は携帯型ゲーム機。

【0021】

各プログラムは、好適には、高レベルな、手続き型プログラミング言語又はオブジェクト指向型プログラミング言語及び／又はスクリプト言語で実装されており、それによってコンピュータシステムと通信する。もっとも、プログラムは、望むのであれば、アセンブリ言語又はマシン語で実装されることもできる。どの場合であれ、プログラミング言語はコンパイル型又はインタープリタ型言語であることができる。このようなコンピュータプログラムの各々は、好適には記憶媒体又は装置上に格納されるのであり、該記憶媒体又は装置は汎用又は特殊用途プログラマブルコンピュータによって読み込まれることが可能であり、該記憶媒体又は装置がコンピュータによって読まれた際にはコンピュータを設定し及び動作させるのであり、本願にて説明された手順が行われるようにするものである。一部の実施形態では、システムは、プログラマブルコンピュータ上で実行されているオペレーティングシステム内に埋め込まれていることができる。他の例示的実施形態では、システムは、ハードウェア内、例えばビデオカード内にて実装されていることができる。

【0022】

さらに、本願開示のシステム、処理、及び方法は、コンピュータプログラム製品内にて頒布されることができるのであり、該コンピュータプログラム製品は、１以上のプロセッサのためのコンピュータによって用いられることができる命令を含むコンピュータ可読媒体を備える。媒体は様々な態様で提供されることができるのであり、例えば次のものが含まれ得る：１以上のディスケット、コンパクトディスク、テープ、チップ、有線送信、衛星送信、インターネット送信若しくはダウンロード、磁気的及び電子的記憶媒体、デジタル及びアナログ信号、及びそれらのようなもの。コンピュータによって用いられることができる命令は、コンパイルされた及びコンパイルされていないコードを含む様々な形態であることができる。

【0023】

図１を参照するに、同図においてはトーンマッピングシステム１００のオペレーショナルモジュールについての概略図が示されており、該システムは１つの例示的実施形態によるリアルタイムコントラスト歪みベースドＴＭＯを実装するものである。

【0024】

トーンマッピングシステム１００は、入力イメージ又はビデオ１０８を入力として受信する。入力ビデオ１０８は、一連のビデオフレームを複数まとめて形成されていることができる。入力イメージ又はビデオ１０８は、標準的なダイナミックレンジのイメージ又は高ダイナミックレンジのイメージであることができる。

【0025】

トーンマッピングシステム１００は、１以上のコンテキストパラメータを入力として受信することもできる。ここで、コンテキストパラメータとは、トーンマッピングされたイメージまたはビデオ（即ち、トーンマッピングが適用された後の入力イメージ又はビデオ）が表示されるべき環境を定義及び／又は特徴付けるパラメータを指す。コンテキストパラメータは、トーンマッピングされたイメージ又はビデオが観察されるコンテキストを定義及び／又は特徴付けることもできる。コンテキストパラメータは、１以上の観察者特性を含むことができる（例えば、観察者の年齢、ジェンダー、性別、人種、視覚障害）。

【0026】

コンテキストパラメータの例としては１以上の次のものが含まれる：観察環境におけるアンビエント光、出力ディスプレイ装置のピーク輝度、出力ディスプレイ装置のダイナミックレンジ、観察者プリファレンス、スピード、及び露出。他のコンテキストパラメータも含まれることができる。

【0027】

トーンマッピングシステム１００はノイズモデリングモジュール１１６を含むことができ、該モジュールは入力イメージ又はビデオ１０８内に存在するノイズについてのモデルを生成するように動作可能である。本願では、リアルタイムコントラスト歪みベースドＴＭＯ内で用いるためのノイズモデリングの具体的な例示的実施形態を開示するが、当該技術分野にて既知の他の適切なノイズモデルを用いることができるものと解されるべきである。他の例示的実施形態では、入力イメージ又はビデオ１０８のノイズモデルを、トーンマッピングシステム１００の外部で生成することができ、それをコンテキストパラメータとしてトーンマッピングシステム１００に提供することができる。

【0028】

トーンマッピングシステム１００はトーンマッピングモジュール１２４をさらに含み、該モジュールそれ自体は、後において詳述する様々な下位モジュールを含んでいる。

【0029】

より具体的には、トーンマッピングモジュール１２４は、フィルタリング下位モジュール１２８と、トーンカーブ生成下位モジュール１３２と、組み合わせ下位モジュール１３６とを含む。

【0030】

フィルタリング下位モジュール１２８は、入力イメージ又は入力ビデオのフレーム１０８に対してフィルタリングを適用して、入力イメージ又は入力ビデオの各フレーム１０８の、ベース層ｂとディテール層ｄとを抽出するように動作可能である。入力イメージ又はビデオ１０８に対してフィルタリングを適用することに関しての具体的な例示的実施形態を開示しているが、イメージ又はフレームをベース層とディテール層とに分離するための当該技術分野にて既知の様々な他の適切なフィルタリング方法を、フィルタリング下位モジュール１２８内にて適用することができるものと解されるべきである。

【0031】

リアルタイムコントラスト歪みベースドＴＭＯ内のフィルタリング下位モジュール１２８についての様々な例示的実施形態は、ベース層とディテール層とを抽出するためのエッジ停止空間フィルタに関するものであり、これらは本願明細書の他の箇所で詳述されている。様々な例示的実施形態によるエッジ停止空間フィルタでは、長所としては、リンギングアーチファクトを伴わずにして、ディテールエンハンスメントのための高速なエッジ停止非線形拡散近似をもたらすことができる。

【0032】

トーンカーブ生成下位モジュール１３２は、該下位モジュールに入力されたトーンマッピング用イメージ又はビデオフレームのためのトーンカーブを決定するように動作可能である。トーンカーブ生成下位モジュール１３２は、フィルタリング下位モジュール１２８によって出力されたベース層を自己の入力として受信することができる。カーブ生成モジュール１３２は、１つ以上のコンテキストパラメータを入力として受信することもできる。パラメータは、本願明細書の他の箇所で説明したような、トーンカーブ生成を行うためのユーザ選好を含むことができる。一部の例示的実施形態では、トーンカーブ生成下位モジュール１３２は、ノイズモデリングモジュール１１６によって生成されたノイズモデルを、入力としてさらに受信する。１つ以上のコンテキストパラメータ及びノイズモデルは、トーンカーブ生成下位モジュール１３２によってなされるトーンカーブの生成に影響を及ぼすことができる。トーンカーブ生成下位モジュール１３２は、生成されたトーンカーブを自己に入力されたイメージ又はビデオフレームに適用してトーンマッピングされた出力を生成するようにさらに動作可能である。入力イメージ又はビデオ１０８のベース層がトーンカーブ生成下位モジュール１３２に入力されると、下位モジュール１３２は、トーンマッピングされたベース層ｂ_ｔｍを出力する。

【0033】

組み合わせ下位モジュール１３６は、フィルタリング下位モジュール１２８から出力されたディテール層を、トーンカーブ生成下位モジュール１３２から出力されたトーンマッピングされたベース層と、組み合わせ又はマージするように動作可能である。ベース層とディテール層とを組み合わせるための当該技術分野にて既知な様々なレイヤ組み合わせ方法を、組み合わせ下位モジュール１３６内にて適用することができる。

【0034】

本願開示のリアルタイムコントラスト歪みベースドＴＭＯの組み合わせ下位モジュール１３６の様々な例示的実施形態は、ノイズ把握型制御をイメージディテールに対して及ぼす類いの組み合わせ下位モジュール１３６に関する。例えば、組み合わせ下位モジュール１３６は、トーンマッピングされたベース層とディテール層とを組み合わせるに際して、ノイズの存否に基づいてディテール層のスケーリングを適用することができる。スケーリングされたディテール層は、ｄ_ｏｕｔと表記される。

【0035】

トーンマッピング下位モジュール１２４は、逆ディスプレイモデリング下位モジュール１４０をさらに含むことができる。逆ディスプレイモデリング下位モジュール１４０は、アンビエント光等の表示装置から知覚されるイメージに影響を及ぼす環境的因子を考慮しつつ、表示装置のモデルを生成するように動作可能である。逆ディスプレイモデリング下位モジュール１４０は、組み合わせ下位モジュール１３６から出力された組み合わされたイメージをさらに処理して、表示装置及び環境的因子に適応させてある出力イメージを出力することができる。これで、出力イメージを表示装置上で表示する準備ができた。

【0036】

本願開示のリアルタイムコントラスト歪みベースドＴＭＯの様々な例示的実施形態は、次の３つの要求に基づいている：ノイズ把握性、時間的ロバスト性、及びディスプレイ適応性。

【0037】

トーンマッピング用のノイズモデリング
ビデオシーケンス中の視認可能なノイズは、現代的なノイズ除去アルゴリズム（非特許文献２７、６）を用いることによって大幅に削減し得る。もっとも、過度に強力なノイズ除去を施すと、ブラーがもたらされ、イメージ鮮鋭度が損なわれる。鮮鋭度の欠如はノイズ以上に許容し難いアーチファクトであるが故に、通常のビデオ処理慣行では、控えめなノイズ削減を施して、そして、残存するノイズをマニュアルカラーグレーディング工程で隠蔽する。

【0038】

リアルタイムコントラスト歪みベースドＴＭＯの例示的実施形態によれば、グレーディング（grading）工程は、ノイズ把握型トーンマッピングによって自動化される。入力は、（控えめに）ノイズ除去されたビデオシーケンスであるか又はノイジーなビデオシーケンスである。結果は、ビデオであり、該ビデオにおいては、ノイズ特性及び特定の表示装置上でのノイズ視認性を両方考慮した上でノイズの視認性が削減してある。

【0039】

高級カメラは大口径光学系及び大型センサを有しており、多くの場合、人間の視覚系の視認性閾値（視覚系が知覚し得るコントラスト）よりも低いノイズレベルが得られる。図２は次の項目を示すグラフである：人間の視覚系の視認性閾値（赤色の線）、カメラによって撮像された典型的なイメージに含まれるイメージノイズ（ブルー色の線）、カメラによって撮像されたイメージをトーンマッピングした後のノイズレベル（マジェンタ）。撮像されたイメージのノイズは人間の視覚系の視認性閾値未満である一方、トーンマッピング後のノイズレベルは視認性閾値を上回っていることが分かる。これは、絶対的な輝度レベルの上昇及び詳細なコントラストディテールのエンハンスメントに起因していることがある。

【0040】

本願開示のリアルタイムコントラスト歪みベースドＴＭＯの様々な例示的実施形態は、次の２つの工程のうち少なくとも１つに関してノイズを考慮する：トーンカーブを決定する際、及び、ディテール層とベース層とを再度組み合わせる際。したがって、トーンマッピングシステム１００は既存のノイズ除去方法と併せて使用され得るのであり、このような方法を伴った初期ノイズ除去処理においては高振幅ノイズが除去され、トーンカーブの決定の際並びに／又はディテール層及びベース層の再度の組み合わせの際に低振幅ノイズが処置される。

【0041】

入力イメージ又はビデオ１０８内のノイズのモデリングのためには、ノイズの大きさと人間の視覚系の視認性閾値とを考慮する必要がある。デジタルカメラ内のノイズの分散は、光強度Ｉの関数としてモデリングされることができる（非特許文献２０）：

【数1】

ここで、ａ及びｂは、ノイズの信号依存性成分（光子ノイズ）及び信号独立性成分（読み出しノイズ）にまつわるパラメータである。パラメータは、入力イメージから推定されるか（非特許文献２０）、カメラによって提供されるか、手動で調整されることができる。

【0042】

光に対しての視覚系の非線形的感受性（Weber-Fechnerの法則）を考慮するために、分析は、対数ドメインで行われる。対数ドメインでのノイズの大きさは次式で近似されることができる：

【数2】

【0043】

図２に戻るに、ノイズの大きさは赤色の線でプロットされている。図２のブルー色の線で示されている視認性閾値についての控えめな推定値は、特定のディスプレイ輝度レベルＬ_ｄについてのコントラスト感受性関数（ＣＳＦ、contrast sensitivity function）のピークとして表される。非特許文献３１のＣＳＦを用いて、Michelsonコントラストから対数コントラストへと検知閾値（Ｃ_ｔ（Ｌ_ｄ）＝１／ＣＳＦ（Ｌ_ｄ））を変換して、次式のように対数輝度での検知可能最小差異を得ることができる：

【数3】

【0044】

ノイズモデリングモジュール１１６用のコンテキストパラメータは、光子ノイズａ及び読み出しノイズｂを含むことができ、これらはユーザによって定義される。ノイズモデリングモジュール１１６用の他のコンテキストパラメータとしては、ＩＳＯ（画素あたりのゲイン）やセンサ温度や積分時間等の入力イメージ又はビデオ１０８を撮像するためのパラメータが含まれ得る。ノイズ統計値は、推定されることができ、コンテキストパラメータとしても提供され得る。

【0045】

ビデオまたはイメージのノイズをモデリングするための当該技術分野にて既知の他の方法を、使用することもできるものと解されるべきである。

【0046】

ディスプレイ適応性
任意のＴＭＯにとっての主たる制約は、ターゲット表示装置上で表示できる輝度の利用可能レンジに起因する。このようなレンジは、ＯＬＥＤかＬＣＤであるか等の特定の表示技術に依存するばかりでなく、アンビエント光のレベルにも依存する。アンビエント光の一部はディスプレイスクリーンから反射されるのであり、それによって利用可能ディスプレイコントラストが減る。

【0047】

１つの例示的実施形態によれば、光センサによって容易に測定できる現在アンビエント光レベルを考慮する態様で、利用可能輝度レンジについてのモデルを生成する。

【0048】

利用可能輝度レンジは、標準的なガンマゲインオフセットディスプレイモデル（Gamma-Gain-Offset display model、非特許文献１１）にアンビエント光についての修正（非特許文献２９）を加えることによって、モデリングすることができる：

【数4】

ここで、Ｌ_ｄは（ディスプレイの表面から到来するものとして測定された）表示された輝度或いは放射輝度であり、Ｌ’は画素の値であり（０～１）、γはディスプレイのガンマであり（通常は２．２付近）、Ｌ_ｍａｘはピークディスプレイ輝度である（オフィス用ディスプレイについては約２００ｃｄ／ｍ^２）。Ｌ_{ｂｌａｃｋ}はディスプレイの黒レベルであり、これは完全に暗黒な部屋の中でブラックな画素を表示した際の輝度である（ＬＣＤディスプレイにおいて通常は、０．１～０．８ｃｄ／ｍ^２）。Ｌ_ｒｅｆｌはディスプレイの表面から反射されたアンビエント光である。光沢のない画面に関しては、これは次式のように近似されることができる：

【数5】

ここで、Ｅ_ａｍｂは単位をｌｕｘとした際のアンビエント照度であり、ｋはディスプレイパネルの反射率である（ＬＣＤディスプレイに関しては０．５～１％）。

【0049】

モデリングされた利用可能輝度レンジは逆ディスプレイモデリング下位モジュール１４０内で適用されて、ターゲット表示装置に適応させたトーンマッピング済み出力イメージを発生させることができる。

【0050】

最小コントラスト歪みトーンカーブ
入力輝度からディスプレイの輝度へと画素の値をマッピングするトーンカーブが、イメージコントラストを表示可能レンジに落とし込むための主たる道具とされる。トーンカーブは写真分野で伝統的に用いられており、トーンカーブはＳ字型の形状を有しており、トーンカーブは低位及び高位のトーンにより高い歪みをもたらすことを代償にして中位のトーンにおけるコントラストを保つ。トーンカーブの形状が一定とされるのがアナログフィルムの必須条件であったが、デジタル処理においては、各イメージについて、そして、全てのイメージ領域に関して、トーンカーブを変化させることが許容される。

【0051】

イメージコントラスト歪みについての、予想されるコントラスト歪み／モデル
トーンマッピングに起因する最も関連性のある歪みは、多分イメージコントラストの変化であるといえよう。イメージコントラスト歪みのモデルは、記号Ｇで表されるマッピングされていないイメージのコントラストと、記号

で表される適用されたトーンカーブによってトーンマッピングされた後のイメージのコントラストとの間の、差異を考慮する。最も単純なケースにおいては、イメージコントラストＧ又は

は２つの近隣ピクセル間の差異とすることができるが、イメージコントラスト歪みについての他の解釈も可能である。

【0052】

本願開示のトーンカーブ生成下位モジュール１３２の様々な例示的実施形態は、マッピングされていないイメージとトーンマッピングされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいて、トーンカーブを決定する。例えば、トーンカーブは、イメージコントラスト歪みについてのモデルの望まれる特性に基づいて、決定される。マッピングされていないイメージは、トーンマッピングシステム１００に入力される入力イメージ又はビデオ１０８とすることができる。代替的には、マッピングされていないイメージは、入力イメージ又はビデオ１０８のフィルタリングから抽出されたベース層とすることができる。

【0053】

より具体的には、１つの例示的実施形態によれば、トーンカーブは、イメージコントラスト歪みについてのモデル内におけるイメージコントラスト歪みを減らすようなトーンカーブの値を計算することによって、決定される。

【0054】

さらにより具体的には、１つの例示的実施形態によれば、トーンカーブは、イメージコントラスト歪みについてのモデル内におけるイメージコントラスト歪みを最小化するようなトーンカーブの値を計算することによって、決定される。

【0055】

イメージコントラスト歪みについてのモデルを得るための１つの例示的実施形態によれば、入力対数輝度レベルｌの各々については、対数輝度レベルｌ内のコントラスト値の分布をｐ（Ｇ｜ｌ）として表すことができる。したがって、トーンマッピングによるイメージコントラスト歪みの想定値は次のように表すことができる：

【数6】

この想定値は、マッピングされていないイメージとトーンマッピングされたイメージとの間のイメージコントラスト歪みについての第１のモデルとして、用いられることができる。

【0056】

内側の積分で、所与の入力対数輝度レベルｌについての全てのコントラスト値Ｇにわたって、歪みの二乗を「合算」する、

。外側の積分では、その結果を、全ての入力対数輝度レベルｌにわたって「合算」する。ｐ（ｌ）は、所与のコントラストＧが背景輝度ｌ上で表示される確率である。ｐ（Ｇ｜ｌ）は、背景輝度ｌを与えられた場合にイメージコントラストＧ内で発見される確率である。例えば、コントラストＧが勾配（gradient）として定義された場合、この確率はヘビーテールな分布に従うであろう。自然なイメージに関しては、一般的なケースにおいては、コントラスト分布は局所的輝度ｌとは独立であり、よって、ｐ（Ｇ｜ｌ）＝ｐ（Ｇ）との仮定を定立することができる。

【0057】

この問題を解析的に扱い容易なものに留めるため、生成すべきトーンカーブは区分的に線形なものとされ、ノードは（ｌ_ｋ，ｖ_ｋ）とされる。イメージコントラスト歪みについてのモデルから生成されるべきトーンカーブに関しては、さらなる制約として、非減少関数とすることを要することができる。図３は、生成され得る区分的線形トーンカーブの例についての代表的図面を示す。

【0058】

したがって、複数の輝度レベルセグメントが規定されるのであって、各輝度レベルはマッピングされていないイメージの輝度レベルについてのフルレンジのサブレンジに対応する。ｌはマッピングされていないイメージにおける対数輝度であり、また、ｖは出力されたトーンマッピングされたイメージの対数輝度である。輝度レベルセグメントｋの各々は、２つのノード（ｌ_ｋ，ｖ_ｋ）及び（ｌ_ｋ＋１，ｖ_ｋ＋１）の間で定義され、また、対数輝度値がδに相当するところで一定の幅を有する（例えば、１つの例示的実施形態では約０．２）。単純化のため、ディスプレイ上で表示され得る最大の対数輝度値は０で固定され、また、最小値はディスプレイの実効的ダイナミックレンジｒと共に変化する。式（４）のディスプレイモデルを用いることによって、現在のアンビエント光レベルについてのｒを計算することができる：

【数7】

【0059】

トーンカーブを複数の区分的傾斜として特徴付けた場合、トーンマッピング後の１つの輝度レベルセグメントについてのイメージコントラストは、次式で表され得る：

【数8】

ここで、ｓ_ｋはセグメントｋ内のトーンカーブの傾斜（slope）である：

【数9】

【0060】

したがって、想定される歪みについての離散近似は次式で表される：

【数10】

【0061】

（１－ｓ_ｋ）の項はコントラストＧとは独立であり、それ故に総和の外に移動できる。ｐ（ｌ_ｋ）の値は、ｋ＝１．．Ｎに関してビンの中心がｌ_ｋに配されたイメージ対数輝度値のヒストグラムとして計算されることができる。

【0062】

コントラスト歪みの削減／最小化
様々な例示的実施形態によれば、トーンカーブの値は、生成されたトーンカーブに起因する式（１０）における想定コントラスト歪みを削減又は最小化するように計算される：

【数11】

【0063】

様々な例示的実施形態によれば、トーンカーブの値の決定は、トーンカーブを構成する各区分的線形傾斜（piece-wise linear slope）は非減少的であるというさらなる制約条件に服する：ｋ＝１．．Ｎに関してｓ_ｋ≧0。

【0064】

代替的には、又は追加的には、トーンカーブの値の決定は、区分的線形傾斜に従ってトーンマッピングされた出力イメージはトーンマッピングされた出力イメージを表示するための表示装置の利用可能ダイナミックレンジ内に収まっているというさらなる制約条件に服する。

【数12】

【0065】

第１の制約はトーンカーブが非減少的であることを担保し、第２の制約はディスプレイの最大利用可能ダイナミックレンジが超過されないことを担保する。

【0066】

式（１０）にあるＧに関しての総和は、トーンカーブの傾斜ｓ_ｋから独立している。したがって、ｓ_１，．．，ｓ_ｋによって与えられるトーンカーブの関数としてのε（ｓ_１，．．，ｓ_ｋ）を削減／最小化する場合、コントラスト分布ｐ（Ｇ）は最小値に対して影響を及ぼさない。したがって、問題は次式の関数を減少／最小化することに単純化することができる：

【数13】

上記は式（１２）で与えられる条件にさらに服することができる。したがって、以下の少なくとも１つ又は以下の積を、全輝度レベルセグメント（ｋ＝１．．Ｎ）にわたって減らすために、輝度レベルセグメントｋのトーンカーブの一部を表す区分的線形傾斜を決定する：
ｉ） マッピングされていないイメージの任意の領域が、所与の第（ｋ番目）輝度レベルセグメント内に入る輝度レベルを有する確率；
ｉｉ） 所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数。

【0067】

所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数は、項たる（１－ｓ_ｋ）であることができる。

【0068】

式（１０）に戻るに、各輝度レベルセグメントについての線形傾斜は、

【数14】

を最小化することに基づいて決定されることができる。ここで、ｐ（ｌ_ｋ）はマッピングされていないイメージの任意の領域が所与の第（ｋ番目）輝度レベルセグメント内に入る輝度レベルを有する確率であり、ｓ_ｋは所与の第（ｋ番目）輝度レベルの区分的線形傾斜であり、（１－ｓ_ｋ）^２は所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜についての微分値である。

【0069】

式（１３）から続けるに、この式を最小化するに際しては、対応するラグランジアンの第１次Karush-Kuhn-Tucker（ＫＫＴ）最適性条件を計算することによって解析的に解くことができる。これによって解が得られる（導出過程に関しては付録Ａを参照）：

【数15】

【0070】

上記の解は負の傾斜をもたらし得るのであり、故に第１の制約に違背するかもしれない。これを回避するために、確率ｐ（ｌ_ｋ）が特定の閾値未満である輝度レベルセグメントに関しては、傾斜を０として設定する。式（１４）から、以下の場合にｓ_ｋ≧0となる。

【数16】

【0071】

上記不等式は直接的に解くことができない。なぜならば、同式は両側、即ち左辺と右辺の総和にｐ（ｌ_ｋ）が含まれているからである。また、任意のｉについてｐ（ｌ_ｉ）が０に等しい場合にも上記式は解くことができない。したがって、ゼロでない傾斜を有する輝度レベルセグメントを見つけるためには、輝度レベルセグメントは、確率ｐ（ｌ_ｋ）が特定の閾値ｐ_ｔを超える輝度レベルセグメントに分割される：

【数17】

そして、０の傾斜が残余のセグメントに割り当てられるのであり、閾値となる確率が反復的に更新される：

【数18】

上記はｔ＝１，２．．，関するのであり、｜Ω_ｔ｜は集合Ω_ｔの濃度である。小さい初期確率値、ここではｐ_０＝０．０００１とする、で初期化すると、漸化式は迅速に収束し、輝度レベルセグメントを傾斜がゼロのものと傾斜が正のものとに分離することを可能とし、最適化問題の第１の制約の実効化を可能とする。

【0072】

様々な例示的実施形態によれば、約２０から約３０個の輝度レベルセグメントが規定される。このセグメント数の範囲内においては、イメージヒストグラムを与えられるだけで、最小限の計算量的オーバーヘッドにてトーンカーブを見つけることができる。この場合、より複雑なメトリックを伴う手法に比して複雑度が相当程度に緩和されるのであって、例えば多数スケールピラミッド（multi-scale pyramid）の構築及び一連の２次プログラミング問題（series of quadratic programming problems）の解決が必要とされる非特許文献２９の手法よりも複雑度が相当程度に緩和される。非特許文献２９とは対照的に、視覚的モデルの代わりに、単純なＬ_２ノルムを用いてイメージコントラスト歪みを測る。もっとも、トーンカーブの柔軟性が限定的であることを加味すると、複雑な視覚的モデルのもたらす利点は僅かである。

【0073】

トーンカーブ生成下位モジュール１３２は、トーンカーブの生成とトーンマッピングのためのトーンカーブの適用とに影響を及ぼす複数のコンテキストパラメータを受信することができる。このようなコンテキストパラメータは、トーン圧縮、露出、表示装置のピーク輝度、表示装置のダイナミックレンジ、及びアンビエント光を含むことができる。ユーザ定義パラメータは、局所的領域の個数・サイズ・方向、局所的及び大域的トーンカーブの組み合わせ時の効果割合、並びにトーン優先度（例えば、どのトーンにより高い優先度を付与すべきかを制御する概念）を含むことができる。

【0074】

ノイズ把握型及び内容把握型トーンカーブ
先述のセクションにおいては、確率ｐ（ｌ_ｋ）は（イメージヒストグラムから取得された）イメージにおける所与の輝度値の発生頻度に対応するものと仮定されていた。もっとも、該概念は、イメージ内の特定の輝度レベルの重要性を推定するための材料としては理想的ではない、と解された。例えば、イメージの結構な部分が均質的な面（例えば、白色の壁）を含んでいる場合、ヒストグラムに形成されるピーク故にそれに対応するｐ（ｌ_ｋ）は高い値となるであろう。通常の場合、平坦な面がイメージにおいて最も顕著な部分とはならず、これらの部位に高重要度を割り当てて、急勾配のトーンカーブを割り付けることには大して意味があるとはいえない。同様に、夜間のシーンにおいては、相当程度の量のノイズを包含し僅かなディテールのみを有する大きな領域が、多くの場合含まれる。このような領域にダイナミックレンジを割り付けていては、ノイズが増幅され、見栄えが良くない結果がもたらされることとなる。

【0075】

様々な例示的実施形態によれば、トーンカーブは、マッピングされていないイメージのイメージ顕著性をさらに考慮することによって、生成される。トーンカーブの一部の区分的線形傾斜の各々について、区分的線形傾斜に対応する輝度レベルセグメントのイメージ顕著性を、決定する。例えば、トーンカーブの一部の線形傾斜は、次の少なくとも２つの項目の積についての全輝度レベルセグメントにわたっての和を減らすように決定され得る：マッピングされていないイメージの任意の領域が第（ｋ番目）輝度レベルセグメント内に入る輝度レベルを有する確率；第（ｋ番目）輝度レベルセグメントのイメージ顕著性；及び所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数。

【0076】

１つの例示的実施形態によれば、イメージ内容及びノイズレベルの両方を考慮してイメージ顕著性を決定するのであり、それをさらに用いて第ｋ番目輝度レベルセグメントについての確率ｐ（ｌ_ｋ）を決定する。イメージ顕著性を決定するに際しては、ノイズレベルを超えるコントラスト変化を有する領域により高い重要性を割り当てる。先ず、標準偏差としてとして局所的コントラストの推定値をガウス型ウィンドウをもって計算する：

【数19】

ここで、＊は畳み込み演算子であり、ｇ_σは標準偏差がσのガウス核である（例えば、１つの例示的実施形態ではσ＝３）。さらに、イメージ顕著性は、所与の第（ｋ番目）輝度レベルセグメントについてのイメージコントラストが入力イメージのノイズモデルのノイズレベルよりも大きくなるような入力イメージの領域の量についての関数であることができる。例えば、確率については、画素の位置においてのノイズレベルｎよりも大きなコントラスト値によって重み付けされたヒストグラムを考える。これは次式で表すことができる：

【数20】

とされ、Ｓはノイズのレベルより高い局所的コントラストを有する全ての画素の集合であり、Ｂ_ｋは特定のヒストグラムのビンｋ内の画素を含むようなＳの部分集合である。実運用上では、このアプローチの場合、センサ読み出しノイズによる影響を受ける暗部がより暗いトーンへとシフトされるのであり、それらがより視認され難くなる。また、これによれば、大きな均質的な領域における過度に引き延ばされたコントラストが、回避されることになる。

【0077】

トーン優先度
上記にて提案されたノイズ把握型コントラスト測定は、イメージ顕著性についての単純な測定であるとみなされ得る。仮にこの単純な顕著性測定が不十分のならば、より先進的な測定を用いることができるのであり、例えば検知された顔や肌トーンにより高い顕著性を割り当てることができる。一部の例においては、トーン優先度パラメータを含めることが有益たり得るのであり、該パラメータはｐ（ｌ_ｋ）値をそれらの入力対数輝度（input log-luminance）に応じて重み付けることによって高位又は低位のトーンの重要性をバランシングする。これによって、作出されるイメージに対して追加的な創作的制御パラメータを得る。

【0078】

時間的一貫性
リアルタイムコントラスト歪みベースドＴＭＯについての１つの例示的実施形態によれば、入力ビデオ（或いはマッピングされていないビデオ）における時間的な変化を考慮して、トーンマッピングされた出力イメージのフリッカリングを低減することができる。

【0079】

イメージ統計値ｐ（ｌ_ｋ）は一連のビデオフレーム間で急激に変化し得る。これによって不快なフリッカリングアーチファクトがもたらされ得る（非特許文献１９を参照）。フリッカリングアーチファクトは、ベース－ディテール層分解工程でもたらされるか、又は、フレーム間でトーンカーブが急激に変化する場合にもたらされる。

【0080】

１つの例示的実施形態によれば、トーンマッピングされる入力ビデオの一連のフレームの各々について生成されるトーンカーブは、時間に関してフィルタリングされて、フリッカリングアーチファクトが減らされるか除去される。

【0081】

トーンカーブのフィルタリングは、視覚的に最も関連性を有するデータに対して作用するのであり、これらはノード位置である。技術的な芸術家（technical artists）らと議論したところ、フィルタに関しての選択は次の両方に依存することが見出された：トーンマッピングの意図／芸術的目標、並びに、入力ビデオ。例えば、遮断周波数が０．５Ｈｚの３タップローパスＩＩＲ（3-tap low-pass IIR）フィルタを用いることができる。この周波数は、可視的なフリッカを最小化するために選定された（非特許文献２９を参照）。ＩＩＲフィルタは実装が簡単で、また、ＦＩＲよりも小さいフィルタサイズで済む。代替的には、時間的エッジ停止フィルタを用いることができ、これによれば鋭敏な時間的推移が保全される。もっとも、これらの（及び他の）フィルタで実験することによっては、時間的な変化が激烈な場合を除いて、視覚的な向上は見受けられなかった。時間的フィルタの選定及びその画素応答（pixel response）に対する影響は、補足的資料にて詳述及び例示される。実装例は、トーンカーブフィルタが可換とされる点において柔軟である。

【0082】

時間的フィルタリングでは物体の明るさの一貫性が保たれない場合があることに留意されたい（非特許文献１３）。即ち、幾つかの物体の明るさが経時的に徐々に変動するかもしれない。他方で、明るさを保とうとすれば、達成可能なイメージコントラストは大幅に減り、ビデオシーケンス全体を前処理することが必要となる。本願開示の手法では、物体の明るさの一貫性をトレードオフして、より良好なコントラスト再現とリアルタイムオンライン処理を得ている。より低い遮断周波数を用いることによって、より強固な明るさ一貫性を強制することができる。本願開示のトーンカーブ生成下位モジュール及び方法はフレーム毎のコントラスト歪みを低減する一方で、時間的フィルタは時間ドメインにおけるフリッカリング歪みを最小化する。時間的フィルタは、フレーム毎の解を最適点から動かして当該フレームに関しては若干劣る解がもたらされるが、ビデオクリップ全体にとってはより良好な解が得られる。ビデオシーケンス全体にとって最適なトーンカーブのファミリを探索することは可能ではあるが、そのようにすると方法がリアルタイム処理に適さなくなり、また、もたらされる質の向上は僅かである。

【0083】

局所的トーンカーブ
人間の視覚系は、局所的なシーン領域に適応できる能力故に、広い範囲の輝度レベルを知覚することができる。このような空間的な局所的適応の正確な仕組み及び空間的広がりについては良く理解されてはいないが、例えば明るさ判定をなす際には、視野において局所的及び大域的な情報プーリングがなされていることについて十分な証拠がある（非特許文献３）。１つの例示的実施形態によれば、異なるトーンカーブが計算されて、フレームのイメージの異なるイメージ領域に対して適用される。非特許文献３５に示されているように、局所適応型トーンカーブは、目立つアーチファクトをもたらさずにして、イメージディテールの視認性をかなり増大させることができる。図４は、大域的及び局所的トーンカーブを用いて生成されたフレームを示す。

【0084】

したがって、トーンマッピングされるべき入力イメージは複数の局所的領域に細分化され、各局所的領域についてトーンカーブが決定される。１つの例示的実施形態によれば、入力イメージは複数の垂直局所的領域に細分化される。代替的には、入力イメージは複数の水平局所的領域に細分化される。

【0085】

１つの例示的実施形態では、入力イメージは視野角換算で５度ずつに細分化されるのであり（１５インチのフルＨＤディスプレイを４５ｃｍから見た場合の約２３０ピクセル分に相当）、これは網膜上では中心窩のおよその直径に相当する。そして、各タイルｔについて個別的に重要度の値ｐ_ｔ（ｌ_ｋ）が計算される。このような局所的輝度重要性統計値は、局所的トーンカーブを計算するために直接的に利用されることはできない。なぜならば、これらは特定のタイルには含まれていないがイメージ中には存在している輝度レベルについては、ゼロの値を有しているからである。この結果、高度に局所適応化されたトーンカーブがもたらされ、イメージ全体にわたって大いに異なるものとなり、視認可能なトーン不連続性が惹起される。これについて補償するため、タイル毎のｐ_ｔ（ｌ_ｋ）値がイメージ全体のための大域的確率ｐ（ｌ_ｋ）とブレンドされるのであって、大域対局所のブレンド比は１０％対９０％であり、そして局所的トーンカーブが計算される。局所的トーンカーブをイメージに適用するため、近隣タイル間でトーンカーブ値が補間され、これによって単一の大域的トーンカーブの場合になされる典型的な１－Ｄルックアップの代わりに３Ｄルックアップがなされることになる。各局所的トーンカーブは、前のセクションにて説明されたＩＩＲフィルタを用いて経時的に且つ独立的にフィルタリングされることを要する。局所的トーンカーブに伴う計算量的オーバーヘッドは最低限のものであることに留意されたい。なぜならば、最も計算量的に高コストな演算（即ち各タイルについてｐ_ｔ（ｌ_ｋ）を計算すること）が、イメージ全体についてｐ（ｌ_ｋ）値を計算するのとほぼ同じ合計時間を要するからである。

【0086】

他のトーンカーブ生成方法との比較
トーンカーブを計算するためにヒストグラムを用いるのは、イメージエンハンスメント手法として人気のあるヒストグラムイコライゼーションと似ているようにも見受けられ得る。しかし、これら２つの方法の目的及び結果はかなり異なる。

【0087】

非特許文献２８に示されているように、ヒストグラムイコライゼーションは、次式に従ってトーンカーブ傾斜を割り当てることに等しい：

【数21】

【0088】

図５は、ヒストグラムイコライゼーション（赤色の線）及び本願開示のリアルタイムコントラスト歪みベースドＴＭＯによるトーンカーブ生成による傾斜割り当てについてみた、傾斜割り当ての比較である。図では、対応する輝度レベル（又はビン）の確率即ちｐ（ｌ_ｋ）に応じてどのようにしてトーンカーブの傾斜が割り当てられるかが、示されている。イメージコントラスト歪みに基づいた本願開示のトーンカーブ生成による傾斜が（歪められていないコントラストに対応する値たる）１を超えることはない一方で、ヒストグラムイコライゼーション法では、高確率（ｐ（ｌ_ｋ））のセグメントに可能な限り最高のコントラストを割り当てようとしている。付録Ｂにおいては、トーンカーブ傾斜は確率値ｐ（ｌ_ｋ）に指数関数的に関連していることが示されており、高確率なビンにかなり急な傾斜が割り当てられる。ヒストグラムイコライゼーション法が、確率値ｐ（ｌ_ｋ）が高くなる均質的な画素値の領域を、過度にエンハンスしてしまいがちなのは、このことにもよる。非特許文献４１は、この問題への対応として、最大確率ｐ（ｌ_ｋ）を、閾値対強度関数から決定された値に拘束する。もっとも、これはその場しのぎ的な手法であり、コントラスト歪みが最低限であることを保証しない。

【0089】

イメージコントラスト歪みに基づいた本願開示のトーンカーブ生成は、下位互換性を有するＨＤＲイメージ及びビデオエンコーディング用途から導出された最適トーンカーブ法にも似ている（非特許文献２８、図５の破線として図示）。この手法はヒストグラムイコライゼーション法よりはコントラストエンハンスメントに関して積極性を減らしているが、コントラストを保つ代わりにコントラストを依然としてブーストしてしまう。なぜならば、この結果、ＬＤＲ層の逆トーンマッピング後のコーディングエラーが減るからである。

【0090】

トーンマッピングのためのフィルタ設計
ベース及びディテール層分解法（図１のｂ及びｄ）は、トーンマッピングにおいて局所的コントラストを保つためによく用いられる手法である。エッジ保存ローパスフィルタによって取得されたベース層（ｂ）はトーンカーブを用いて圧縮され、また、ディテール層（ｄ）は維持されるかエンハンスさえされる。

【0091】

分解において最重要な観点は、フィルタリング方法の選定である。従前のＴＭＯは（概説については非特許文献１９を参照）、例えばノイズ削減のために設計された古典的なイメージフィルタに大方依存してきた。ベース／ディテール層分解における一般的な選択肢としては、双方向フィルタ（非特許文献５及び３９）がその単純さ故に選ばれてきた。もっとも、古典的なイメージフィルタの意図と、トーンカーブ生成及びディテール抽出の目的とには、根本的な相違点があり、これが問題となる。第１に、イメージのディテールはノイズよりも大きな空間的スケールで見出されるのであり、即ち視認可能なアーチファクトの導入を伴わないためには空間的ドメイン及び強度ドメインにおいてより大きなサポートがディテール抽出フィルタによって必要とされている。第２に、最終結果が、ベース層（ｂ）及びディテール層（ｄ）であり、フィルタリングされたイメージではない、ということが挙げられる。ディテール層はフィルタリングアーチファクトに対して感受性が高く、エッジに沿っての挙動が極めて重要である。（通常のイメージフィルタリングにおいて見えないかもしれないような）小さなアーチファクトであっても、特にビデオに関しては、トーンマッピング後には視覚的に不快なものとなり得る。

【0092】

付録Ｃでは、なぜ双方向フィルタが、滑らかなエッジの根底にある信号（ベース層）の正常の再構築に失敗するかが示されており、また、これがディテール層の分離にどのような影響を及ぼすかが示されている。これらの観点が本願開示のフィルタ構築に活用されており、双方向フィルタは異方性拡散法（非特許文献３４）に関連しており、ベース／ディテール層分解の目的のために特別に設計された効率的なフィルタがそこから導出される。
フィルタ構築： 伝導プロセスとしてイメージフィルタリングのための拡散オペレーションが遂行されるのであって、拡散ＰＤＥに従って画素値Ｉ（ｐ）は時間ｔに関してそれらの近隣へと伝播される：

【数22】

【0093】

ω_ｒ（ｐ，ｔ）＝ｃが一定である場合、該式は等方性熱拡散方程式になる。非線形拡散においては、イメージ勾配マグニチュード（image gradient magnitude）を停止条件

として用いることによって、拡散を均質的イメージ領域に拘束することにより、エッジを保存する。イメージフィルタリングにおいてこれは、時間ドメインを離散化することによって、及び、各画素ｐにおけるインフローＶをそれに最も近い近隣画素から適応型平滑化手順によって反復的に計算することによって、近似される。これは、ｋ＋１回目の反復については次式で表される：

【数23】

【0094】

高コントラスト構造を保存するために、重み付け量は、空間ドメイン及び強度ドメインの両方における距離に基づいている。これとは対照的に、双方向フィルタは、加重平均のためにより広い近傍を用いて、単一の反復回において実行される。非特許文献１８において説明されているように、より大きな空間的サポートを用いて０－オーダー異方性拡散法（anisotropic diffusion）を拡張することができ、これによって双方向フィルタへの接続を可能とすることができる：

【数24】

【0095】

ここで、αは拡散レートであり、双方向フィルタに関しては次の正規化として理解することができる：α＝１／Σｗ_ｓｗ_ｒ。異なる近傍Ω、空間的重み付け量ｗ_ｓ、及び強度重み付け量ｗ_ｒを用いることによって、様々な異なるフィルタを記述することができる。異方性（anisotropic）拡散フィルタ及び双方向フィルタに関しては、これらの関数は表１に示す。複雑度を低く抑えるために、また、アーチファクトを避けるために、等方性アプローチ（an isotropic approach）を用いる：

【数25】

ここで、▽Ｉ（ｐ）は画素位置ｐにおけるイメージ勾配である。画素毎のエッジ停止関数ｗ_ｒを用いて重み付けされる線形フィルタを反復的に適用することによって、このフィルタをかなり迅速に評価することができる。等方性カーネルはｐの周りに均質的に分布しているサンプルを有しているため、シャープニング過多の問題を起こさずして偏りのない結果が得られる。エッジを保存するためにカーネルのサイズはイメージ構造に適応させられる。すなわち、より少ない個数のサンプルが傾斜の急な（高勾配な）エッジに沿って用いられることを意味する。もっとも、空間フィルタリングの狙いはベース／ディテールの分離であるため、アーチファクトを発生させるような危険を冒すよりも、ディテールがエッジに沿ってあまり目立たないものとなることを許した方がより無難である（図９を参照）。さらに、エッジ自体が知覚的に支配的であるため、間違ったエッジ及び／又は時間的にインコヒーレントなエッジに比べると、テクスチャディテールの喪失可能性の方がより少ない問題性を呈する。

【0096】

エッジに沿ってのフィルタの挙動は、エッジ停止関数及び勾配推定計算態様によって、決定される。等方性カーネルの場合、フローをエッジの近くまで伝播させつつエッジを超えないようにするためには、控えめな停止関数が本質的に必要となることが見出された。これを達成するためには、Tukeyのbiweight （Tukey’s biweight）法（非特許文献１２）を用いるのであり（表１を参照）、該手法ではλ以上の勾配マグニチュードにて拡散を控えめに停止する。また、ロバストな勾配定式化が用いられるのであり、これは画素ｐ＝（ｘ，ｙ）の周りの近傍Ω_ｐに広がる直線ランプとして表され、次式による：

【数26】

ここで、

は天井演算を表す。この定式化によって、例えばガウス差（ＤｏＧ、difference of Gaussians）を用いる場合等と比べて、より速く拡散がエッジにて停止する。式（２６）を式（２７）と組み合わせると、画素が近傍Ωの半径よりも高コントラストなエッジに近接した場合に、フローが完全に停止される。高速な拡散を保証しつつエッジに付近でのフィルタリングを可能とするために、Ωのサイズに関しては、とても小さいカーネルから開始して拡散の進行に応じてその半径を増大させていく。Ωのサイズは、Ｎ回の反復後のフィルタのネットサイズがＮσとなるように変化するのであって、ここでσはカーネルの初期サイズである。換言すれば、

【数27】

である。最後に、元のイメージまでへの距離を用いた拡散手順は、潜在的な極端な値の再構築段階における発現を回避するために、律則される（アルゴリズム１の第７行を参照）。

【0097】

フィルタ設計の最終的定式化は、表１で提示され、アルゴリズム１で概説される。反復回数Ｎを設定するに際しての動機付けを含む収束挙動分析は、付属の資料に含まれている。１つの例示的実施形態によれば、Ｎ＝１２回とした反復回数が用いられる。

【0098】

フィルタリング方法は、入力イメージにスペシャルフィルタを適用して、ベース層とディテール層とを生成することを含む。複数の画素の各々について、画素の周囲の領域内に、入力イメージのエッジが存在しているか否かが決定される。画素の周囲の領域内にエッジが存在していることに基づいて、フィルタリングカーネルがその画素に対して選択的に適用される。空間フィルタ（spatial filter）は反復的に適用することができ、反復毎にフィルタリングカーネルのサイズを増大させていくことができる。所与の画素については、所与の画素の周囲の領域内に所定のエッジ閾値を超過する勾配があると決定された場合には、反復回にわたってのフィルタリングのフローは停止されるのであり、これによってその領域内にエッジが存在することが表される。

【0099】

図６は、表１の様々なエッジ停止関数を表す。

【表1】

【0100】

【表2】

【0101】

様々な例示的実施形態によれば、アルゴリズム１に示されているように、入力イメージ又はビデオ１０８は、フィルタリングの適用を受ける前に、対数ドメイン（ｌ＝ｌｏｇ（ｌ））へと変換される。

【0102】

１つ以上のユーザ定義パラメータをフィルタリング下位モジュール１２８に適用することができる。これらには、次の１つ以上が含まれることができる：空間ドメインにおけるフィルタサイズ（例えば、σ）、反復の回数、及びエッジ停止関数に適用される閾値。

【0103】

他の方法との比較
図７は、異なるローパスエッジ停止フィルタの挙動を示すために、１次元的な信号について図示しており、同図は、これらのフィルタを、様々な例示的実施形態による本願開示の高速ディテール抽出型拡散フィルタと比較する。入力（７ａ）は、ノイズ関数を用いてディテール（緑）を付加した信号（ブルー）である。そして、フィルタを用いて、ディテールなしに信号を再構築する。再構築のＭＳＥは、１０４でスケーリングされて、数値的比較のために供される。本願開示のディテール抽出拡散法は、次のフィルタと比較される：古典的な双方向フィルタ（ＢＦ）及び異方性拡散フィルタ（ＡＤ）、トライラテラルフィルタ（ＴＦ）、並びに、現在の水準の最先端フィルタたる高速局所的ラプラシアン（ＦＬＬ、fast local laplacian）フィルタ（非特許文献４）。区分的一定性の仮定が成立する場合の左側のステップエッジにおいては、ゼロ次フィルタは何らの問題ももたらさない。もっとも、右側の平滑エッジに関しては、ＢＦはバンディングをもたらし、ＡＤは階段状アーチファクトをもたらしがちである。ＴＦ、ＦＬＬ及び本願開示のディテール抽出拡散フィルタは、視認可能なアーチファクトを生成しない。もっとも、本願開示のディテール抽出拡散フィルタに比べると、ＴＦ及びＦＬＬは共に計算量的に高コストである。さらなる重要な差異としては、本願開示のディテール抽出拡散フィルタはアーチファクトをもたらさずにしてトーンマッピングのためのディテール抽出をなすように特別に設計されているのに対して、例えばＦＬ等は平滑な強度推移において偽のエッジを作成しがちである、ということが挙げられる。

【0104】

図８は、同じトーンカーブを用いつつ、ディテール抽出のためになされる異なるエッジ保存フィルタの適用例を示す。ディテールはスケーリング係数を５としてスケーリングされてフィルタリングにおける差異点及びアーチファクトを際立たせており、拡大されたバージョンはイメージ中における四角い枠の領域に関しての詳細を表している。それぞれのフィルタのＭａｔｌａｂでの実装例の所要時間も表示されており、所要時間は本願開示のリアルタイムコントラスト歪みベースドＴＭＯのフィルタリングとの比較で表されている。

【0105】

リアルタイムコントラスト歪みベースドＴＭＯとの関係では、本願開示のトーンカーブはフィルタリングされたイメージに適用されており、それに続いて抽出されたディテールが戻されており、抽出されたディテールは印刷物上でも容易に比較できるようにスケーリングされている。高速局所的ラプラシアン（ＦＬＬ）フィルタについての事例が表示されており、本願開示のディテール抽出拡散フィルタと現在の最先端水準のフィルタリングとの間の差異を明らかにしている。さらに、非特許文献６で提案されているディテール抽出のための透過性フィルタ（ＰＦ、permeability filter）も図中で明かされている。このフィルタは微少なディテールエンハンスメントから中程度のディテールエンハンスメントまでは良好に機能するが、より強い操作が絡むとアーチファクトが明確に視認されるようになる。例を見れば、古典的なゼロ次フィルタ（ＢＦ及びＡＤ）に見られるアーチファクトの発生の危険を冒すよりは、エッジの周りでのフィルタリングを制限するのがより好ましいことであるということが明白となる。ＦＬＬ及びＰＦと比較すると、本願開示のディテール抽出用の拡散フィルタは、幾つかのエッジに沿って僅かな量のディテールを失うかもしれない。もっとも、トーンマッピングに際しては、これが好適な挙動である。なぜならば、このようにすることによってロバストなディテールエンハンスメントが担保されるからなのであり、これに対して、他のフィルタは滑らかなイメージ変化箇所（例えば、図８のシャツや指のエッジを参照）にて人工的なエッジ（リンギングアーチファクト）や時間的な不一致をもたらし得る

【0106】

フィルタの性能についての指標を提供するため、処理時間も図８に示されている。これらの時間指標は本願開示のディテール抽出拡散フィルタと比較した相対値であり、全ての時間指標はＭａｔｌａｂ実装例に関する時間を表している（ＢＦについては双方向グリッド加速スキームが用いられている（非特許文献１５））。これらの指標は並列化されていないコードに関しての単純な性能指標としての役割を果たすのであり、評価行為の複雑度を反映している。もっとも、これらの異なる方法は並列化に関して異なる程度の有望性を有しているのであり、例えば本願開示のディテール抽出拡散フィルタはこの目的のために特に設計されているのであり、該フィルタによればＧＰＵを用いた場合にはおよそ２桁のオーダーでの性能向上が見受けられる。

【0107】

ノイズ把握型局所的コントラスト制御
ベース層が局所的トーンカーブを用いてトーンマッピングされたらば、組み合わせ下位モジュール１３６にてこれをディテール層と再度組み合わせることができる。ディテール層に変化がもたらされていない場合、トーンマッピングにおいて局所的コントラストは保存されることになる。ディテール層の値が増幅又はエンハンスされている場合、イメージディテールはブーストされるのであり、高品質のエッジ停止空間フィルタを用いて組み合わされた際には魅力的な様相をもたらし得る。もっとも、イメージディテールをエンハンスすることには、ノイズ増幅の危険がつきまとう。ノイズ把握型トーンカーブ（セクション４．１）はより暗いトーンにおける幾らかのノイズ（特にセンサ読み出しノイズ）を隠蔽できるが、より明るいイメージ部分におけるノイズを隠すことに関しては効果的ではない。

【0108】

１つの例示的実施形態によれば、ディテール層は、トーンマッピングされたベース層の視認性閾値と入力イメージ又はビデオ１０８のノイズモデルとに基づいて調節される。

【0109】

１つの例示的実施形態によれば、調節は次式で表されることができる：

【数28】

ここで、Ｖ（ｂ_ｔｍ（ｘ，ｙ））は式（３）からの視認性閾値であり、ｎ（ｂ（ｘ，ｙ））は対数輝度ドメイン内におけるノイズレベルである（式（２））。ここで、視認性はトーンカーブｂ_ｔｍによってもたらされた表示された対数輝度に基づいて評価されるのであり、一方でノイズは入力イメージの対数輝度に依存する、ということに留意されたい。ｅは随意的な局所的コントラストエンハンスメントパラメータであり、ディテールのブーストを可能とするものであり、これによって創造的制御能力がもたらされる。式内の「ｍｉｎ」項は、ノイズ振幅が検知閾値を超過するときにはコントラストを実効的に削減する働きのものであり、この場合は図２のノイズ振幅を表すマジェンタ色の線が視認性閾値を表すブルー色の線を上回っている場合に対応する。

【0110】

組み合わせ下位モジュール１３６は、ベース層とディテール層との組み合わせに影響を及ぼす１つ以上のコンテキストパラメータを受信する。これらのパラメータは次の１つ以上を含む：ノイズモデルからのノイズ特性及びピーク輝度やコントラストやアンビエント反射率等のディスプレイモデル特性。

【0111】

逆ディスプレイモデリング下位モジュール１４０はディスプレイモデルをさらに構築するのであり、構築は少なくとも次の要素に基づいてなされる：ピーク輝度、コントラスト／黒レベル、アンビエント反射率、アンビエント光。逆ディスプレイモデリングは、局所的トーンカーブを生成するのに用いられた局所的領域のサイズ及び向きにさらに基づいていることができ、これはユーザ定義パラメータである。

【0112】

図１７を参照するに、同図においては、１つの例示的実施形態によるトーンマッピング方法の動作ステップについてのフローチャートが示されている。

【0113】

ステップ２０４にて、入力イメージ又はビデオ１０８が受信される。

【0114】

ステップ２０８にて、入力イメージ又はビデオ１０８のノイズモデルが受信又は生成される。例えば、ノイズモデリングモジュール１１６との関連で提供された詳細に従って、ノイズモデルが生成されることができる。

【0115】

ステップ２１６にて、フィルタリングが適用されて、入力イメージ又はビデオ１０８のベース層とディテール層とが抽出される。例えば、フィルタリングはフィルタリング下位モジュール１２８との関連で説明されたエッジ停止空間フィルタリングであることができる。

【0116】

ステップ２２０にて、１つ以上のトーンカーブ（例えば、大域的トーンカーブ及び／又は複数の局所的トーンカーブ）がベース層のために生成されて、ベース層はトーンマッピングされる。例えば、トーンカーブ生成下位モジュール１３２との関連で説明されたように、１つ以上のトーンカーブはイメージコントラスト歪みについてのモデルに基づいて生成されることができる。

【0117】

ステップ２２４にて、トーンマッピングされたベース層とディテール層とが組み合わされる。例えば、組み合わせ下位モジュール１３６との関連で説明されたように、組み合わせるに際してノイズの存在に基づいてスケーリングを適用することができる。

【0118】

ステップ２２８にて、コンテキストパラメータ及び／又は表示装置のパラメータに基づいて、逆ディスプレイモデルを随意的に適用することができる。

【0119】

結果及び用途
このセクションでは、様々な例示的実施形態との関係で説明されたトーンマッピングシステム及び方法について概説を提示するのであって、該概説は、視覚的質、性能及び機能の観点から著されている。ノイズ把握能力や、ディスプレイ及び観察条件への適応能力や、ディテールエンハンスメント能力等を含む具体的な機能も論じられており、これによってどのようにして本願開示の様々な例示的実施形態によるトーンマッピングのシステム及び方法を、共通のイメージング用途の文脈において適用することができるかを例示している。

【0120】

結果及び評価
本願開示のトーンマッピングシステム及び方法の性能を視覚的質の観点にて評価するために、主観的評価を質的分析実験として行った。実験では、本願開示のトーンマッピングシステム及び方法の実装例を、次の６つの最先端のビデオトーンマッピング方法と比較した：即ち、２つの大域的オペレータたる、Mal-adaptation ＴＭＯ（非特許文献２２）と、ディスプレイ適応ＴＭＯ（非特許文献２９）、並びに、４つの局所的オペレータたる、仮想露出ＴＭＯ（非特許文献１０）と、時間コヒーレンスＴＭＯ（非特許文献１３）と、ゾーナル時間コヒーレンスＴＭＯ（非特許文献１４）と、運動経路フィルタリング（非特許文献６）。評価は採点実験として遂行され、イメージ処理の経験を積んでいるユーザ１０人に対して、ビデオクリップのセットをランダムな順序で見させた。これらのクリップは、非特許文献２１から入手されており、７つのオペレータを用いて各々をトーンマッピングした。ユーザには次の属性に関して各クリップを採点するように依頼したのであり、これによって局所的レベルにおけるコントラストを評価した：全般的な明るさ、全般的なコントラスト、全般的な彩度、時間的な色一貫性、時間的フリッカリング、ゴースティング、過度のノイズ、及び、ディテール再現性。採点の最終結果は、観測者達の平均値とされており、図９に示されており、それぞれの異なるシーケンスについて示されている。総評するに、本願開示のトーンマッピングシステム及び方法によれば、視認可能なアーチファクトをもたらさずにして、丁度良いレベルのイメージ特性を呈する結果を一貫して提供することができる、という点が見出された。

【0121】

図１０は、以下のＴＭＯについての代表的な視覚的比較の例を示している：本願開示のリアルタイムコントラスト歪みベースドＴＭＯ及びユーザ評価から選び出した２つの最先端のＴＭＯ。図中においては、本願開示のトーンマッピングシステム及び方法を、次のＴＭＯのうちで最良の性能を示すものと比較している：非特許文献１９の評価に含まれていたものと、ディスプレイ適応ＴＭＯ（非特許文献２９）と、仮想露出ＴＭＯ（非特許文献１０）。拡大部分は、それぞれ、低輝度領域及び高輝度領域におけるトーンマッピングの例を示している。大域的処理に頼るディスプレイ適応ＴＭＯは、シーン内の大きなダイナミックレンジを圧縮するのに苦戦しており、それ故に明るい結果並びに局所的ディテール及びコントラストの喪失がもたらされてしまう。仮想露出ＴＭＯは双方向フィルタリングに頼っており、幾つかの場合においてはエッジに沿ってのリンギングアーチファクトがもたらされる。トーンカーブを経時的に適応していくことにも問題があり、結果として不快な経時的フリッカリングがもたらされる（図９を参照）。これらのＴＭＯに比べると、本願開示のリアルタイムコントラスト歪みベースドＴＭＯはシーン内のダイナミックレンジを秀逸に扱っており、何らのアーチファクトをもたらさずにして局所的ディテール及びコントラストを保存している。

【0122】

図１１は、異なるトーンカーブを用いた非特許文献６の方法の結果を示している。１１ａ及び１１ｂでは元の論文で用いられていたのと同じトーンカーブが用いられており（即ち、非特許文献１７の対数スケーリング及び対数マッピング）、また、１１ｃでは本願開示のリアルタイムコントラスト歪みベースドＴＭＯの実装例が用いられている。非特許文献６で採用されている全般的フィルタリングは、視認可能なアーチファクトの観点（図９を参照）では良好な性能を示すものの、トーンカーブの実際のトーン再現性及び時間的処理については検討していない。その図からすると、本願開示のリアルタイムコントラスト歪みベースドＴＭＯの実装例は、より良好にダイナミックレンジの圧縮を行いつつ局所的コントラストを保存していることが明確である。また、用いられた光学フローフィルタリングは、複雑なイメージ変化を伴う場面では良好に機能しないかもしれない（例えば、図１０の打ち付け動作中の鍛冶屋シーケンスのノイズレベルを参照）。最後に、フィルタリング処理故にその方法は計算量的に高コストであり、リアルタイム用途には不適である。

【0123】

性能
本願にて開示されたリアルタイムコントラスト歪みベースドＴＭＯの全ステップは並列的に計算されることができ、ＧＰＵ上での実装に適している。空間フィルタリングは、分離可能なローパスフィルタを用いて水平及び垂直勾配フィルタを伴って構築されている。つまり、拡散処理の各反復回においては、４つの１Ｄフィルタカーネルを実行するだけで足りる。局所的ヒストグラムの計算及びトーンカーブについての時間的フィルタリングは、自明的に並列的である。本願開示のトーンマッピングシステム及び方法の全ての部分は、ＣＵＤＡ６．５を用いて実装された。現代的なグラフィックスカードを伴えば、完全なＴＭＯパイプラインはフルＨＤ映像についてリアルタイムで実行される。表３は、７２０ｐ及び１０８０ｐのＨＤ入力を用いてGeForce（登録商標） GTX 980上で実行されるリアルタイムコントラスト歪みベースドＴＭＯの実装例の性能を示す。

【表3】

【0124】

用途及び機能
ビデオ事後処理
ビデオがカラーグレーディングを要している場合、本願開示のトーンマッピングシステム及び方法は、高品質自動調整及びスタイリゼーション用の様々な創造的コントラスト制御手段の両者を提供する。特に魅力的なのはディテールエンハンスメントであり、これによってディテール視認性を維持又は強く増大させることができ、これを目立つアーチファクトの発生なしに行える（図１２上部）。これは図１２の左上及び中央寄りの上部に示されており、大域的トーンマッピングの結果が、ディテール層を元のコントラストに保全したイメージと、比較されている。トーン優先度調整によってより暗いトーンとより明るいトーンとの間の注目度をシフトすることができ、これをする際にはクリッピング等の歪みが最小化されるのであり、この際にはトーンカーブの正確な形状を制御するといった面倒を回避することができる（図１２下部）。動作をリアルタイムなフレームレートで実行できるため、あるパラメータが調整されるに際して、視覚的フィードバックはフル解像度で提供される。また、重きはコントラストに置かれ、色の諸問題は考慮されないため、本願開示のトーンマッピングシステム及び方法は、既存のソリューションと組み合わせることができ、これによってカラーグレーディングのあらゆる観点に対応することができる。

【0125】

カメラ内処理スタック
センサによって撮像されたイメージは、デジタルビューファインダに表示されたり、イメージ（ＪＰＥＧ）又は動画（ＭＰＥＧ）として保存される前に、デモザイキングンやノイズ除去やシャープニング等の一連のオペレーションを通されなくてはならない。この処理連鎖における要はトーンマッピングであり、該処理においては、センサのより広いダイナミックレンジを、ディスプレイ又は出力ファイルによってサポートされるより狭小なダイナミックレンジへとマッピングする。本願開示のトーンマッピングシステム及び方法は、当該目的に適している。なぜならば、該システム及び方法は、カメラのノイズレベルに適応するような自動的なトーンマッピング及びディテールエンハンスメントを提供するからである。図１３及び１４は、ノイズ把握型処理を有する場合及び有さない場合のトーンマッピングの結果を示す。ノイズの視認性を低減させるために、ノイジーなイメージ領域においてはエンハンスメントを低く抑えるのであって、より暗いイメージトーン内においては、センサー読み出しノイズの大部分が隠蔽される。もっとも、デジタルビューファインダなどにおいてノイズレベルに関してのプレビューが望ましい場合、図１３及び１４の左上部に示してあるようにノイズ把握型処理を無効化しておくことができる。ノイズ把握型トーン再現がノイズ除去と実際は競合していないことを強調するために、図１４は最先端のノイズ除去方法の適用による結果をも示している（V-BM4D、非特許文献２７）。ノイズ除去ステップは対数ドメインにおいてトーンマッピング前に行われる。ノイズ把握型の機能なき場合、ノイズ除去に起因するアーチファクトは明確に視認可能であるが、両方の方法を相補的にあわせると、それらアーチファクトはイメージのより暗いトーン中に隠蔽される。

【0126】

アンビエント光補償のための表示アルゴリズム
ディスプレイの実効コントラストは、アンビエント光レベルに強く依存する。携帯型機器が日光下で用いられる場合、発光型ディスプレイ（例えば、ＬＣＤやＯＬＥＤ等）は殆ど読めないくらいになる。なぜならば、スクリーンから反射される光がそのコントラストを減らしてしまうからである。通常の対処法はスクリーンの明るさを増大させることであるが、こうすると電力消費が大きく増えてしまう。別の方策としてはディスプレイ上に表示された内容に対してトーンマッピングを施して、特定の観察条件下で効果的なイメージコントラストに適応するようにする。これは図１５に示されており、上段の列には適応のなされていないイメージが示されており、下段には適応されたイメージが示されている。後者の場合において、内容は明らかにより視認し易くなっており、全般的により良好な質を呈している。非特許文献２９にて提案されるディスプレイ適応トーンマッピング（中段）と比較すると、本願開示のトーンマッピングシステム及び方法は、その局所的処理故に、より良好なコントラスト及びディテール視認性をもたらす。

【0127】

本稿では、非特許文献２１にて公共の用に供してあるデータベースからのＨＤＲビデオ入力をみた。このデータセットはトーンマッピングオペレータ（ＴＭＯ）の評価に適したものである。なぜならば、該セットは現実的なシナリオ下で撮像された高品質な映像を含んでいるからである。

【0128】

結論
本願明細書では、新規なリアルタイムコントラスト歪みベースドＴＭＯ及びその構成要素の例示的実施形態が説明されている。利点としては、本願開示のトーンカーブ生成システム及び方法は、２次プログラミングを数値的に解かなくて良いことが挙げられる。ヒストグラムイコライゼーション法等の既存のアドホック方法とは対照的に、リアルタイムコントラスト歪みベースドＴＭＯでは良好に定義された最小化問題を解くことになる。局所的トーンカーブは、イメージ内容、ノイズレベル及び表示機能などに動的に適応するのであり、アンビエント光への補償も含まれる。また、リアルタイムコントラスト歪みベースドＴＭＯの構成要素としての新規なエッジ停止フィルタについても説明している。このフィルタは、トーンマッピングにおいてディテールを保存及びエンハンスできるように設計されている。該フィルタは、オーバーシューティング及びソフトなエッジにおけるリンギングアーチファクトを回避するのであり、これらはトーンマッピングのために用いられる大部分のフィルタにとって共通する問題であり、ディテールエンハンスメントが必要とされる場合に特にそうであるといえる。フィルタは反復的ガウスぼかしとして実装できるため、効率的なハードウェア実装が可能となる。最後に上述の側面を包括的なビデオＴＭＯとして組み合わせるのであり、これはノイズの視認性を制御し、また、ディスプレイ及びアンビエント光に適応する能力をもたらす。

【0129】

リアルタイムコントラスト歪みベースドＴＭＯは、シーン再現性及び最高の主観的品質を指向している。先進的なノイズ除去方法又は動画シーケンスの全体を分析することによってより高い品質のトーンマッピングを達成し得るのであるが、そうするとＴＭＯはもはやリアルタイム型ではなくなる。

【0130】

トーンマッピングは、通常はＨＤＲ関連の課題とみられがちであるが、実際においては、遙かに広い応用範囲ないし用途を有している。アンビエント光が高レベルの環境下でディスプレイが観察されており、その実効コントラストが低減されているときには、低ダイナミックレンジコンテンツでさえトーンマッピングによって利益を享受し得る。一部の携帯型機器はこのような補償アルゴリズムを既に組み込んでいる。ディスプレイ（或いはデジタルビューファインダ）が再現できるよりも広範囲な物理的コントラストを多くのカメラセンサは撮像できる。したがって、どのようなカメラ内処理スタックであっても、トーンマッピングは必須的なコンポーネントであるといえ、単一のＬＤＲが撮像される場合であってもそうといえる。最後に、多くの用途においては、芸術家の所望に基づいてイメージを再現することを要する、という点に留意されたい。このような用途で用いられるＴＭＯに関しては、簡単に操作できてかつリアルタイム視覚的フィードバック下で試すことのできるような創造的制御パラメータを提供することを要する。

【0131】

本願開示のリアルタイムコントラスト歪みベースドＴＭＯの様々な例は、ノイズ視認性の制御や、表示及び観察環境への適応や、コントラスト歪みの最小化や、イメージディテールの保存又はエンハンスメント等の機能を提供するのであり、何らの前処理なくして、入信するシーケンスに対してリアルタイムで実行されることができる。目的は次の少なくともいずれかを含む：ターゲット表示装置の制約を与えられた場合に、元のイメージのコントラストを保存すること；又は最終結果についてのリアルタイムなかつフル解像度な視覚的フィードバックを伴ってコントラストエンハンスメント用の創造的制御手段を提供すること。

【0132】

本願開示の様々な例示的実施形態にて提供される技術的貢献には次のものが含まれる：
・ コントラスト歪みを最小化する局所的なディスプレイ適応型トーンカーブを計算するための高速な手順。
・ イメージノイズに適応するノイズ把握型トーンカーブ。
・ トーンマッピング用のベース／ディテール層分解用のフィルタ設計であって、リンギングアーチファクトを伴わずにして、ディテールエンハンスメント用の高速エッジ停止非線形拡散近似（fast edge-stopping non-linear diffusion approximation）をもたらす、フィルタ設計。
・ 新規なノイズ制御法とディスプレイ適応性とを組み合わせるリアルタイムな統合型のビデオトーンマッピングソリューション（integrated, real-time video tone-mapping solution）であって、該ソリューションはディスプレイの制約を前提にして高コントラスト及び詳細なディテールを付されたビデオをもたらす、ソリューション。

【0133】

本願明細書においては、幾つかの代替的実施形態及び例を説明及び図示した。上述の発明の実施形態は、例示的なものとして意図されているにすぎない。当業者であれば、個々の実施形態の特徴の意義を理解できるのであり、また、コンポーネントについての可能な組み合わせ及びバリエーションを了知できるであろう。また、当業者であれば、任意の実施形態を本願開示の他の実施形態と任意の態様で組み合わせて提供できるということも理解できよう。本願発明の中心的特徴から逸脱せずに、本願発明を別の具体的形式で具現化できるものと解される。したがって、本願の例及び実施形態はあらゆる側面で例示的であると解されるべきであって制限的とは解されるべきではなく、本願発明は本願開示の詳細に限定されてはならない。したがって、具体的な実施形態については上述しているが、様々な変更例が想起できるのであって、添付の特許請求の範囲に記載の本願発明の範疇から大きく逸脱せずにしてこれらの変更例を想起できる。

【0134】

謝辞
実験に参加して下さったボランティア諸君に感謝したい。また、本稿の随所で用いたＨＤＲビデオシーケンスに関しては、Jan Froehlichらにも感謝する（https://hdr-2014.hdm-stuttgart.de）。また、評価セクションで用いた時間的コヒーレンスＴＭＯについての実装に関しては、Ronan Boitardにも感謝する。

【0135】

本プロジェクトに関しては、助成第IIS11-0081号を介してSwedish Foundation for Strategic Research (SSF)によって、また、Linkoping¨ University Center for Industrial Information Technology (CENIIT)によって、また、Linnaeus Environment CADICS及びCOST Action IC1005を介してSwedish Research Councilによって、資金援助がなされた。

【0136】

付録Ａ：トーンカーブ傾斜の導出
この付録では、最適な傾斜（式１４）を、ＫＴＴ法を用いてどのようにして式（１３）から解析的に導出するかを示す。ここでは先ず第２の制約（式１２）の等価条件のみを検討する。ε′（ｓｋ）をこの制約で最小化することは、次の関数を最小化することと等価である：

【数29】

ここで、λはラグランジュ乗数である。この関数は、次の連立方程式を解くことによって最小化される：

【数30】

【0137】

変数λは、最後以外の任意の２つの方程式を組み合わせることによって消去することができるのであり、次式が得られる：

【数31】

【0138】

式（３０）の最終行に上記方程式を導入した後、解は式（１４）内にある。

【0139】

付録Ｂ：ヒストグラムイコライゼーションの傾斜
傾斜割り当て公式を導出するために行われた工程を逆行することによって、ヒストグラムイコライゼーションのための仮定的な目的関数を見つけることができるのであり、それは次式で表される：

【数32】

ここで、式（１２）と同じ制約が課されるのであり、変更点は関数が最小化されるのではなく最大化されるということになる。上記式を解くと、式（２２）によって与えられる傾斜が得られる。ｓ_ｋ＝０において特異点があり、これを特別条件として扱わなければならないため、定式化は理想的ではない。なお、特異点については、明確性のために省略する。ヒストグラムイコライゼーション手順によって傾斜の対数値が各ビンｋの確率に応じて配分されることを、目的関数が示している。これは、トーンカーブの傾斜が確率値ｐ（ｌ_ｋ）に指数関数的に関連付けられていることを表している。このような関係性は、多くの場合、高確率のビンにかなり急な傾斜を割り当てることにつながるのであり、多くのトーンマッピング用途においてはこのことは望ましくない。

【0140】

付録Ｃ：ディテール抽出アーチファクトの分析
非特許文献１８、１５、１、２、７、４３、８、４２等に示される多くの双方向フィルタ用の拡張及び加速化機構は、リアルタイム処理を完全に可能とする。もっとも、区分的に一定な根底的信号の存在を仮定するような双方向フィルタや異方性拡散フィルタ等（非特許文献３４）のフィルタは、自然なイメージにおける複雑な空間強度的推移を正しく再構築することに関して失敗する（非特許文献３７）。この効果は図１６に示されており、そこではフィルタカーネルは滑らかなエッジの一方側に向けてバイアスされている（センサ画素においてなされる面サンプリング故に、自然なイメージにおけるエッジは帯域制限されている）。再構築の際、先述のバイアス及び区分的に一定な信号についての仮定故に、シャープニング過多がもたらされる。結果としてもたらされる再構築アーチファクトは、多くの用途では視覚的に取るに足らないものとして許容され得る。もっとも、ディテール抽出の用途に関しては、このシャープニング過多は、芸術的観点からディテールがエンハンスされている場合には特にそうであるが、無視できないバンディング又はリンギング現象をもたらす（例えば、図８ｂ及び９ａを参照）。

【0141】

これらの問題を緩和するための１つの方針としては、次のような高次近似を用いて根底にあるベース層を再構築することが挙げられる：例えば、トライラテラルフィルタ、カーネル回帰、又は局所的多項式近似（非特許文献２３、３２、３６）もっとも、これらによると、代償として相当程度に複雑度が増大することとなり、高解像度映像に対してのリアルタイム評価が困難となるか、多くの場合においては不可能なものとなってしまう。これらの高次フィルタは、パラメータ設定に敏感である傾向がある。

【0142】

エッジ保存フィルタリングに関しての別のよく見られる選択肢は、拡散系アルゴリズムである。異方性非線形拡散法は非特許文献３４によって提案され、双方向フィルタリングと多くの共通点を有する。異方性拡散及び双方向フィルタリングについての具体的な統一的定式化は、例えば、非特許文献９及び１８においても提示されている。このフィルタも区分一定的仮定（piece-wise constant assumption）に依存するため、エッジに沿って出力は一貫性を欠く挙動を示しやすいのであり、これは双方向フィルタに似ている（図９ｂを参照）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】