▶ イリステック ソフトウェア インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-03
(45)【発行日】2022-10-12
(54)【発明の名称】フィルタリング方法、及びシステム
(51)【国際特許分類】
G06T 5/00 20060101AFI20221004BHJP
H04N 1/407 20060101ALI20221004BHJP
H04N 5/20 20060101ALI20221004BHJP
【ＦＩ】
G06T5/00 740
H04N1/407 740
H04N5/20
【請求項の数】
14
【外国語出願】
(21)【出願番号】P 2021022661
(22)【出願日】2021-02-16
(62)【分割の表示】P 2018512335の分割
【原出願日】2016-09-02
(65)【公開番号】P2021077420
(43)【公開日】2021-05-20
【審査請求日】2021-02-17
(31)【優先権主張番号】62/213,290
(32)【優先日】2015-09-02
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518072003
【氏名又は名称】フォルシア イリステック インコーポレイテッド
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100195534
【弁理士】
【氏名又は名称】内海 一成
(72)【発明者】
【氏名】ジョナス アンガー
(72)【発明者】
【氏名】ガブリエル アイラーツェン
(72)【発明者】
【氏名】ラファル マンティウク
【審査官】鈴木 明
(56)【参考文献】
【文献】米国特許出願公開第２００９／００２７５５８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１３／０２４１９３１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０２１３６１８（ＵＳ，Ａ１）
【文献】国際公開第２００６／１１７９１９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ５／００
Ｈ０４Ｎ １／４０７
Ｈ０４Ｎ ５／２０
(57)【特許請求の範囲】
【請求項1】
ベース層とディテール層とを生成するために入力イメージをフィルタリングするステップを含むフィルタリング方法であって、前記入力イメージに空間フィルタを適用して前記ベース層と前記ディテール層とを生成するステップを含み、
前記フィルタリングするステップは、複数の画素の各々について、
前記画素の周囲の領域内において前記入力イメージのエッジの存在を検知するステップと、
前記領域内における前記エッジの存在に従って、前記領域にフィルタリングカーネルを選択的に適用するステップと
を含む、フィルタリング方法。
【請求項2】
前記空間フィルタは反復的に適用され、前記フィルタリングカーネルのサイズは反復毎に増大され、
所与の画素についての反復間フィルタリングフローは、前記所与の画素の周囲の領域内の勾配が、前記領域内におけるエッジの存在を表す所定のエッジ閾値より大きいと決定された際に停止される、請求項１に記載のフィルタリング方法。
【請求項3】
請求項１に記載されているフィルタリング方法における、前記入力イメージをフィルタリングするステップと、前記ベース層をトーンマッピングするステップと、
前記ディテール層と前記トーンマッピングされたベース層とを組み合わせるステップとを含む、フィルタリング方法。
【請求項4】
視認性閾値に基づいて前記ディテール層を調節するステップをさらに含み、前記調節するステップで調節されたディテール層は、前記トーンマッピングされたベース層と組み合わされる、請求項３に記載のフィルタリング方法。
【請求項5】
前記入力イメージのノイズモデルを生成するように構成されるノイズモデル生成器と、１つ以上のコンテキストパラメータを受信するように動作可能なトーンマッピングモジュールと
を備えるシステムによって実行される、請求項１に記載のフィルタリング方法であって、
前記トーンマッピングモジュールは、
ｉ）請求項１に記載のフィルタリング方法を実行するためのエッジ停止フィルタリング下位モジュールと、
ｉｉ）前記入力イメージのノイズモデルに基づいて前記入力イメージのベース層をトーンマッピングするためのトーンカーブ生成下位モジュールと、
ｉｉｉ）前記ｉｉ）においてトーンマッピングされたベース層と前記ディテール層とを組み合わせるための組み合わせ下位モジュールと
を備え、
前記エッジ停止フィルタリング下位モジュール、前記トーンカーブ生成下位モジュール、及び前記組み合わせ下位モジュールのうち少なくとも１つは、前記１つ以上のコンテキストパラメータの少なくとも１つに基づいて調整可能である、請求項１に記載のフィルタリング方法。
【請求項6】
前記コンテキストパラメータは、観察者特性、アンビエント光、出力ディスプレイ装置のピーク輝度、アンビエント反射率、前記出力ディスプレイ装置のダイナミックレンジ、ユーザ定義パラメータ、スピード、及び露出のうち１つ以上を含む、請求項５に記載のフィルタリング方法。
【請求項7】
前記コンテキストパラメータは、アンビエント光、出力ディスプレイ装置のピーク輝度、前記出力ディスプレイ装置のダイナミックレンジ、及び露出のうち１つ以上を含み、前記トーンカーブ生成下位モジュールは、前記アンビエント光、前記ピーク輝度、ダイナミックレンジの１つ以上に基づいて実効出力ダイナミックレンジを決定して、前記実効出力ダイナミックレンジに基づいてトーンカーブを生成する、
請求項５又は６に記載のフィルタリング方法。
【請求項8】
前記コンテキストパラメータは観察者特性を含み、前記組み合わせ下位モジュールは、前記観察者特性に基づいて前記ディテール層を調節し、また、前記ベース層を前記調節されたディテール層と組み合わせる、
請求項５から７までのいずれか一項に記載のフィルタリング方法。
【請求項9】
前記コンテキストパラメータはスピードを含み、前記エッジ停止フィルタリング下位モジュールは、前記スピードに従った反復回数の適用をなすように構成されている、
請求項５から８までのいずれか一項に記載のフィルタリング方法。
【請求項10】
前記コンテキストパラメータは観察者プリファレンスを含み、前記トーンカーブ生成下位モジュールは前記観察者プリファレンスに基づいてトーンマッピングのためのトーンカーブを生成し、並びに、前記組み合わせ下位モジュールは前記観察者プリファレンスに基づいて前記ディテール層を調節してまた前記ベース層を前記調節されたディテール層と組み合わせる、請求項５から９までのいずれか一項に記載のフィルタリング方法。
【請求項11】
ベース層とディテール層とを生成するために入力イメージをフィルタリングするステップをコンピュータによって実施するシステムであって、少なくとも１つのデータ記憶装置と、
前記少なくとも１つの記憶装置に結合された少なくとも１つのプロセッサと
を備え、
前記少なくとも１つのプロセッサは、前記入力イメージに空間フィルタを適用して前記ベース層と前記ディテール層とを生成するステップを実行するように構成され、
前記少なくとも１つのプロセッサは、前記フィルタリングするステップにおいて、複数の画素の各々について、
前記画素の周囲の領域内において前記入力イメージのエッジの存在を検知するステップと、
前記領域内における前記エッジの存在に従って、前記領域にフィルタリングカーネルを選択的に適用するステップと
を実行するように構成される、システム。
【請求項12】
前記空間フィルタは反復的に適用され、前記フィルタリングカーネルのサイズは反復毎に増大され、
所与の画素についての反復間フィルタリングフローは、前記所与の画素の周囲の領域内の勾配が、前記領域内におけるエッジの存在を表す所定のエッジ閾値より大きいと決定された際に停止される、請求項１１に記載のシステム。
【請求項13】
ベース層とディテール層とを生成するために入力イメージをフィルタリングするステップをコンピュータによって実施するシステムであって、少なくとも１つのデータ記憶装置と、
前記少なくとも１つの記憶装置に結合された少なくとも１つのプロセッサと
を備え、
前記少なくとも１つのプロセッサは、請求項１に記載されているフィルタリング方法における、前記入力イメージをフィルタリングするステップと、
前記ベース層をトーンマッピングするステップと、
前記ディテール層と前記トーンマッピングされたベース層とを組み合わせるステップとを実行するように構成される、システム。
【請求項14】
前記少なくとも１つのプロセッサは、視認性閾値に基づいて前記ディテール層を調節するステップを更に実行するように構成され、前記調節するステップで調節されたディテール層は、前記トーンマッピングされたベース層と組み合わされる、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、入力イメージについてトーンマッピングを行うためのシステム及び方法に関し
、特にイメージコントラストに基づいたトーンマッピングを行うことに関する。
、特にイメージコントラストに基づいたトーンマッピングを行うことに関する。
【0002】
関連出願
本願は、２０１５年９月２日に出願された「リアルタイムなノイズ把握型トーンマッピ
ングを行うためのシステム及び方法」と題する米国仮特許出願第６２／２１３，２９０号
からの優先権を主張しており、当該開示の全体は参照によって取り込まれる。
本願は、２０１５年９月２日に出願された「リアルタイムなノイズ把握型トーンマッピ
ングを行うためのシステム及び方法」と題する米国仮特許出願第６２／２１３，２９０号
からの優先権を主張しており、当該開示の全体は参照によって取り込まれる。
【背景技術】
【0003】
高ダイナミックレンジ（ＨＤＲ、high dynamic range）ビデオは、高級映画館並びに様
々な消費者用及び商業用製品においてかつて無いほどのビューイング体験の向上をもたら
すことになる。拡張された視覚的忠実性及び芸術的自由度の追求を背景に、ＨＤＲ技術の
進展は極めて速く進んでいる。キャプチャ側からみれば、最大で１４～１６．５絞りとな
る拡張されたダイナミックレンジをもたらすArri（登録商標）社Alexa（登録商標） XTや
Red社Epic Dragon等のプロフェッショナル向けＨＤＲカメラシステムに加えて、最大で２
０～２４絞りとなるダイナミックレンジをもたらす研究用試作機（非特許文献２５、３８
）が開発されている。プロダクション側からみれば、完全にＨＤＲイネーブルドな制作パ
イプラインを開発して、完全に新たな創作的ツールセットを芸術家の手中にもたらすこと
によって、大手制作スタジオは現在進行中の当該トレンドに迎合している。ディスプレイ
側からみれば、ＨＤＲ技術は高い注目を浴びている。Sim2等の製造者は高コントラスト局
所的ディミング手法を用いてのダイナミックレンジ拡張に踏み出しており、最近において
はDolby（登録商標） Vision X-tended Dynamic Range PROが発表された。
々な消費者用及び商業用製品においてかつて無いほどのビューイング体験の向上をもたら
すことになる。拡張された視覚的忠実性及び芸術的自由度の追求を背景に、ＨＤＲ技術の
進展は極めて速く進んでいる。キャプチャ側からみれば、最大で１４～１６．５絞りとな
る拡張されたダイナミックレンジをもたらすArri（登録商標）社Alexa（登録商標） XTや
Red社Epic Dragon等のプロフェッショナル向けＨＤＲカメラシステムに加えて、最大で２
０～２４絞りとなるダイナミックレンジをもたらす研究用試作機（非特許文献２５、３８
）が開発されている。プロダクション側からみれば、完全にＨＤＲイネーブルドな制作パ
イプラインを開発して、完全に新たな創作的ツールセットを芸術家の手中にもたらすこと
によって、大手制作スタジオは現在進行中の当該トレンドに迎合している。ディスプレイ
側からみれば、ＨＤＲ技術は高い注目を浴びている。Sim2等の製造者は高コントラスト局
所的ディミング手法を用いてのダイナミックレンジ拡張に踏み出しており、最近において
はDolby（登録商標） Vision X-tended Dynamic Range PROが発表された。
【先行技術文献】
【非特許文献】
【0004】
【文献】ADAMS, A., GELFAND, N., DOLSON, J., AND LEVOY, M. 2009. Gaussian kd-trees for fast high-dimensional filtering. ACM Trans. Graphics 28, 3, 21:1-21:12.
【文献】ADAMS, A., BAEK, J., AND DAVIS, M. 2010. Fast High-Dimensional Filtering Using the Permutohedral Lattice. Com-puter Graphics Forum 29, 2, 753-762.
【文献】ALLRED, S., RADONJIC´, A., AND GILCHRIST, A. 2012. Light-ness perception in high dynamic range images: Local and remote luminance effects. Journal of Vision 12, 2, 1-16.
【文献】AUBRY, M., PARIS, S., HASINOFF, S. W., KAUTZ, J., AND DURAND, F. 2014. Fast local laplacian filters: Theory and applica-tions. ACM Trans. Graphics 33, 5, 167:1-167:14.
【文献】AURICH, V., AND WEULE, J. 1995. Non-linear gaussian filters performing edge preserving diffusion. In DAGM-Symposium, Springer, G. Sagerer, S. Posch, and F. Kummert, Eds., Informatik Aktuell, 538-545.
【文献】AYDIN, T. O., STEFANOSKI, N., CROCI, S., GROSS, M., AND SMOLIC, A. 2014. Temporally coherent local tone-mapping of HDR video. ACM Trans. Graphics 33, 6, 1-13.
【文献】BAEK, J., AND JACOBS, D. E. 2010. Accelerating spatially vary-ing gaussian filters. ACM Trans. Graphics 29, 6, 169:1-169:10.
【文献】BANTERLE, F., CORSINI, M., CIGNONI, P., AND SCOPIGNO, R. 2012. A low-memory, straightforward and fast bilateral filter through subsampling in spatial domain. Computer Graphics Fo-rum 31, 1, 19-32.
【文献】BARASH, D. 2002. Fundamental relationship between bilateral filtering, adaptive smoothing, and the nonlinear diffusion equa-tion. IEEE Trans. Pattern Analysis and Machine Intelligence 24, 6, 844-847.
【文献】BENNETT, E. P., AND MCMILLAN, L. 2005. Video enhancement using per-pixel virtual exposures. ACM Trans. Graphics 24, 3, 845-852.
【文献】BERNS, R. S. 1996. Methods for characterizing CRT displays. Displays 16, 4, 173-182.
【文献】BLACK, M. J., SAPIRO, G., MARIMONT, D. H., AND HEEGER, D. 1998. Robust anisotropic diffusion. Trans. Image Processing 7, 3, 421-432.
【文献】BOITARD, R., BOUATOUCH, K., COZOT, R., THOREAU, D., AND GRUSON, A. 2012. Temporal coherency for video tone-map-ping. In Proc. SPIE 8499, Applications of Digital Image Pro-cessing XXXV, 84990D-84990D-10.
【文献】BOITARD, R., COZOT, R., THOREAU, D., AND BOUATOUCH, K. 2014. Zonal brightness coherency for video tone-mapping. Sig-nal Processing: Image Communication 29, 2, 229-246.
【文献】CHEN, J., PARIS, S., AND DURAND, F. 2007. Real-time edge-aware image processing with the bilateral grid. ACM Trans. Graphics 26, 3, 103:1-103:9.
【文献】CHOUDHURY, P., AND TUMBLIN, J. 2003. The trilateral filter for high contrast images and meshes. In Proc. Eurographics work-shop on Rendering 14, 186-196.
【文献】DRAGO, F., MYSZKOWSKI, K., ANNEN, T., AND CHIBA, N. 2003. Adaptive logarithmic mapping for displaying high con-trast scenes. Computer Graphics Forum 22, 419-426.
【文献】DURAND, F., AND DORSEY, J. 2002. Fast bilateral filtering for the display of high-dynamic-range images. ACM Trans. Graphics 21, 3, 257-266.
【文献】EILERTSEN, G., WANAT, R., MANTIUK, R. K., AND UNGER, J. 2013. Evaluation of Tone-mapping Operators for HDR-Video. Computer Graphics Forum 32, 7, 275-284.
【文献】FOI, A., TRIMECHE, M., KATKOVNIK, V., AND EGIAZARIAN, K. 2008. Practical poissonian-gaussian noise modeling and fit-ting for single-image raw-data. IEEE Trans. Image Processing 17, 10, 1737-1754.
【文献】FROEHLICH, J., GRANDINETTI, S., EBERHARDT, B., WALTER, S., SCHILLING, A., AND BRENDEL, H. 2014. Creating Cine-matic Wide Gamut HDR-Video for the Evaluation of Tone-map-ping Operators and HDR-Displays. In Proc. SPIE 9023, Digital Photography X, 90230X-90230X-10.
【文献】IRAWAN, P., FERWERDA, J. A., AND MARSCHNER, S. R. 2005. Perceptually based tone-mapping of high dynamic range image streams. In Proc. Eurographics Conference on Rendering Tech-niques 16, 231-242.
【文献】KATKOVNIK, V., KATKOVNIK, V., EGIAZARIAN, K., AND ASTOLA, J. 2006. Local Approximation Techniques in Signal and Image Processing. Press Monographs. SPIE Press.
【文献】KISER, C., REINHARD, E., TOCCI, M., AND TOCCI, N. 2012. Real time automated tone-mapping system for HDR video. In Proc. IEEE International Conference on Image Processing 19, 2749-2752.
【文献】KRONANDER, J., GUSTAVSON, S., BONNET, G., AND UNGER, J. 2013. Unified HDR reconstruction from raw CFA data. In Proc. IEEE International Conference on Computational Photography 5, 1-9.
【文献】LEDDA, P., SANTOS, L. P., AND CHALMERS, A. 2004. A local model of eye adaptation for high dynamic range images. In Proc. International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa 3, 151-160.
【文献】MAGGIONI, M., BORACCHI, G., FOI, A., AND EGIAZARIAN, K. 2012. Video denoising, deblocking, and enhancement through separable 4-d nonlocal spatiotemporal transforms. IEEE Trans. Image Processing 21, 9, 3952-3966.
【文献】MAI, Z., MANSOUR, H., MANTIUK, R., NASIOPOULOS, P., WARD, R., AND HEIDRICH, W. 2011. Optimizing a tone-curve for backward-compatible high dynamic range image and video compression. IEEE Trans. Image Processing 20, 6, 1558 - 1571.
【文献】MANTIUK, R., DALY, S., AND KEROFSKY, L. 2008. Display adaptive tone-mapping. ACM Trans. Graphics 27, 3, 68:1-68:10.
【文献】MANTIUK, R., MANTIUK, R. K., TOMASZEWSKA, A., AND HEIDRICH, W. 2009. Color correction for tone-mapping. Com-puter Graphics Forum 28, 2, 193-202.
【文献】MANTIUK, R., KIM, K. J., REMPEL, A. G., AND HEIDRICH, W. 2011. Hdr-vdp-2: A calibrated visual metric for visibility and quality predictions in all luminance conditions. ACM Trans. Graphics 30, 4, 40:1-40:14.
【文献】MILANFAR, P. 2013. A tour of modern image filtering: New in-sights and methods, both practical and theoretical. IEEE Signal Processing Magazine 30, 1, 106-128.
【文献】PATTANAIK, S. N., TUMBLIN, J., YEE, H., AND GREENBERG, D. P. 2000. Time-dependent visual adaptation for fast realis-tic image display. In Proc. SIGGRAPH 00, Annual Conference Series, 47-54.
【文献】PERONA, P., AND MALIK, J. 1990. Scale-space and edge detec-tion using anisotropic diffusion. IEEE Trans. Pattern Analysis Machine Intelligence 12, 7, 629-639.
【文献】REINHARD, E., AND DEVLIN, K. 2005. Dynamic range reduction inspired by photoreceptor physiology. IEEE Trans. Visualization and Computer Graphics 11, 1, 13-24.
【文献】TAKEDA, H., FARSIU, S., AND MILANFAR, P. 2007. Kernel regression for image processing and reconstruction. IEEE Trans. Image Processing 16, 2, 349-366.
【文献】TAKEDA, H., FARSIU, S., AND MILANFAR, P. 2007. Higher order bilateral filters and their properties. Proc. SPIE 6498, Computational Imaging V , 64980S-64980S-9.
【文献】TOCCI, M. D., KISER, C., TOCCI, N., AND SEN, P. 2011. A versatile hdr video production system. ACM Trans. Graphics 30, 4, 41:1-41:10.
【文献】TOMASI, C., AND MANDUCHI, R. 1998. Bilateral filtering for gray and color images. In Proc. International Conference on Computer Vision 6, 839-846.
【文献】VAN HATEREN, J. H. 2006. Encoding of high dynamic range video with a model of human cones. ACM Trans. Graphics 25, 1380-1399.
【文献】WARD LARSON, G., RUSHMEIER, H., AND PIATKO, C. 1997. A visibility matching tone reproduction operator for high dynamic range scenes. IEEE Trans. Visualization and Computer Graphics 3, 4, 291-306.
【文献】YANG, Q. 2012. Recursive bilateral filtering. In Proc. European Conference on Computer Vision 12, 399-413.
【文献】YOSHIZAWA, S., BELYAEV, A. G., AND YOKOTA, H. 2010. Fast gauss bilateral filtering. Computer Graphics Forum 29, 1, 60-74.
【発明の概要】
【0005】
１つの実施形態によれば、入力イメージをトーンマッピングしてトーンマップされた出
力イメージを生成する方法を提供する。方法は、入力イメージとトーンマップされたイメ
ージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定
するステップと；決定されたトーンカーブに従って入力イメージをトーンマッピングする
ステップとを含み；トーンカーブを決定するステップは、イメージコントラスト歪みにつ
いてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析
的に計算することを含む。
力イメージを生成する方法を提供する。方法は、入力イメージとトーンマップされたイメ
ージとの間のイメージコントラスト歪みについてのモデルに基づいてトーンカーブを決定
するステップと；決定されたトーンカーブに従って入力イメージをトーンマッピングする
ステップとを含み；トーンカーブを決定するステップは、イメージコントラスト歪みにつ
いてのモデル内のイメージコントラスト歪みを減少させるためにトーンカーブの値を解析
的に計算することを含む。
【0006】
別の実施形態によれば、入力イメージをトーンマッピングしてトーンマップされた出力
イメージを生成する方法を提供する。方法は、入力イメージに空間フィルタを適用してベ
ース層とディテール層とを生成することを含み；フィルタリングは複数の画素の各々につ
いて、画素の周囲の領域内において入力イメージのエッジの存在を検知することと、；領
域内におけるエッジの存在に従って、領域にフィルタリングカーネルを選択的に適用する
こととを伴う。
イメージを生成する方法を提供する。方法は、入力イメージに空間フィルタを適用してベ
ース層とディテール層とを生成することを含み；フィルタリングは複数の画素の各々につ
いて、画素の周囲の領域内において入力イメージのエッジの存在を検知することと、；領
域内におけるエッジの存在に従って、領域にフィルタリングカーネルを選択的に適用する
こととを伴う。
【0007】
さらなる別の実施形態によれば、入力イメージをトーンマッピングしてトーンマップさ
れた出力イメージを生成する方法を提供する。方法は、入力イメージのフィルタリングか
らベース層とディテール層とを抽出するステップと；ベース層をトーンマッピングするス
テップと；視認性閾値と入力イメージのノイズモデルとに基づいてディテール層を調節す
るステップと；トーンマッピングされたベース層と調節されたディテール層とを組み合わ
せるステップとを含む。
れた出力イメージを生成する方法を提供する。方法は、入力イメージのフィルタリングか
らベース層とディテール層とを抽出するステップと；ベース層をトーンマッピングするス
テップと；視認性閾値と入力イメージのノイズモデルとに基づいてディテール層を調節す
るステップと；トーンマッピングされたベース層と調節されたディテール層とを組み合わ
せるステップとを含む。
【0008】
さらなる別の実施形態によれば、コンテキスト把握型トーンマッピングオペレータを提
供する。オペレータは、ノイズモデル生成器と、１つ以上のコンテキストパラメータを受
信するように動作可能なトーンマッピングモジュールとを備える。トーンマッピングオペ
レータは、入力イメージのベース層と入力イメージのディテール層とを抽出するためのエ
ッジ停止フィルタリング下位モジュールと；トーンカーブ生成下位モジュールと；ベース
層とディテール層とを組み合わせるための組み合わせ下位モジュールとを備える。エッジ
停止フィルタリング下位モジュール、トーンカーブ生成下位モジュール、組み合わせ下位
モジュールの少なくとも１つは、１つ以上のコンテキストパラメータの少なくとも１つに
基づいて調整可能である。
供する。オペレータは、ノイズモデル生成器と、１つ以上のコンテキストパラメータを受
信するように動作可能なトーンマッピングモジュールとを備える。トーンマッピングオペ
レータは、入力イメージのベース層と入力イメージのディテール層とを抽出するためのエ
ッジ停止フィルタリング下位モジュールと；トーンカーブ生成下位モジュールと；ベース
層とディテール層とを組み合わせるための組み合わせ下位モジュールとを備える。エッジ
停止フィルタリング下位モジュール、トーンカーブ生成下位モジュール、組み合わせ下位
モジュールの少なくとも１つは、１つ以上のコンテキストパラメータの少なくとも１つに
基づいて調整可能である。
【0009】
さらなる別の実施形態によれば、トーンマッピングされた出力イメージを入力イメージ
から生成するためのコンピュータによって実施されるシステムを提供する。システムは、
少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合された少なくとも
１つのプロセッサとを備え、少なくとも１つのプロセッサは、入力イメージとトーンマッ
プされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーン
カーブを決定するステップと；決定されたトーンカーブに従って入力イメージをトーンマ
ッピングするステップとをなすように構成されており；トーンカーブを決定するステップ
は、イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少さ
せるためにトーンカーブの値を解析的に計算することを含む。
から生成するためのコンピュータによって実施されるシステムを提供する。システムは、
少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合された少なくとも
１つのプロセッサとを備え、少なくとも１つのプロセッサは、入力イメージとトーンマッ
プされたイメージとの間のイメージコントラスト歪みについてのモデルに基づいてトーン
カーブを決定するステップと；決定されたトーンカーブに従って入力イメージをトーンマ
ッピングするステップとをなすように構成されており；トーンカーブを決定するステップ
は、イメージコントラスト歪みについてのモデル内のイメージコントラスト歪みを減少さ
せるためにトーンカーブの値を解析的に計算することを含む。
【0010】
さらなる別の実施形態によれば、トーンマッピングされた出力イメージを入力イメージ
から生成するためのコンピュータによって実施されるシステムを提供する。システムは、
少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合された少なくとも
１つのプロセッサとを備え；少なくとも１つのプロセッサは、入力イメージに空間フィル
タを適用してベース層とディテール層とを生成するステップをなすように構成されており
；フィルタリングは複数の画素の各々について、画素の周囲の領域内において入力イメー
ジのエッジの存在を検知することと；領域内におけるエッジの存在に従って、領域にフィ
ルタリングカーネルを選択的に適用することとを含む。
から生成するためのコンピュータによって実施されるシステムを提供する。システムは、
少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合された少なくとも
１つのプロセッサとを備え；少なくとも１つのプロセッサは、入力イメージに空間フィル
タを適用してベース層とディテール層とを生成するステップをなすように構成されており
；フィルタリングは複数の画素の各々について、画素の周囲の領域内において入力イメー
ジのエッジの存在を検知することと；領域内におけるエッジの存在に従って、領域にフィ
ルタリングカーネルを選択的に適用することとを含む。
【0011】
さらなる別の実施形態によれば、トーンマッピングされた出力イメージを入力イメージ
から生成するためのコンピュータによって実施されるシステムを提供する。システムは、
システムは、少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合され
た少なくとも１つのプロセッサとを備え；少なくとも１つのプロセッサは、入力イメージ
のフィルタリングからベース層とディテール層とを抽出するステップと；ベース層をトー
ンマッピングするステップと；視認性閾値と入力イメージのノイズモデルとに基づいてデ
ィテール層を調節するステップと；トーンマッピングされたベース層と調節されたディテ
ール層とを組み合わせるステップとをなすように構成されている。
から生成するためのコンピュータによって実施されるシステムを提供する。システムは、
システムは、少なくとも１つのデータ記憶装置と、少なくとも１つの記憶装置に結合され
た少なくとも１つのプロセッサとを備え；少なくとも１つのプロセッサは、入力イメージ
のフィルタリングからベース層とディテール層とを抽出するステップと；ベース層をトー
ンマッピングするステップと；視認性閾値と入力イメージのノイズモデルとに基づいてデ
ィテール層を調節するステップと；トーンマッピングされたベース層と調節されたディテ
ール層とを組み合わせるステップとをなすように構成されている。
【図面の簡単な説明】
【0012】
上述の説明は実施形態の例を提供するものの、開示された実施形態の幾つかの特徴及び
／又は機能については、開示の実施形態の精神及び動作原理から逸脱せずに変更を加える
ことが可能であることに留意されたい。したがって、上述の事項は例示的且つ非限定的な
ものとして意図されており、当業者は、添付の特許請求の範囲にて規定される本願発明の
範疇から逸脱せずに、上述の他に変種や変更を得ることが可能であることを理解するであ
ろう。
／又は機能については、開示の実施形態の精神及び動作原理から逸脱せずに変更を加える
ことが可能であることに留意されたい。したがって、上述の事項は例示的且つ非限定的な
ものとして意図されており、当業者は、添付の特許請求の範囲にて規定される本願発明の
範疇から逸脱せずに、上述の他に変種や変更を得ることが可能であることを理解するであ
ろう。
【0013】
【図1】１つの例示的実施形態による、トーンマッピングシステムのオペレーショナルモジュールについての概略図である。
【図2】人間の視覚系の視認性閾値と、カメラによって撮像された典型的なイメージに含まれるイメージのノイズと、カメラによって撮像されたイメージをトーンマッピングした後のノイズレベルとを示すグラフである。
【図3】複数の輝度レベルセグメントについての画素値についてのヒストグラム（ビン、bin）と、各輝度レベルセグメントについての区分的線形傾斜によって形成された生成済みトーンカーブとを示すグラフである。
【図4】大域的トーンカーブを用いて出力されたトーンマッピング済みイメージと、局所的トーンカーブを用いて出力されたトーンマッピング済みイメージとを示す図である。
【図5】ヒストグラムイコライゼーションに基づいて生成されたトーンカーブについての傾斜割り当てと、ＭＰＥＧ最小歪み法に基づいた傾斜割り当てと、本願開示のリアルタイムコントラスト歪みベースドなＴＭＯに基づいた傾斜割り当てとを示すグラフである。
【図7】オリジナルの信号にディテール（ノイズ）を付加した様子を伴う様々なフィルタの応答を例示する図である。
【図8】トーンマッピングに同じトーンカーブを用いて異なるエッジ保存フィルタを適用した結果を示す図である。
【図9】定性分析結果を表すグラフであって、実施された実験に関しての平均レーティングにバー形式で標準誤差を付けて表す、グラフである。
【図10】２種の最新のＴＭＯ及び本願開示のリアルタイムコントラスト歪みベースドなＴＭＯを示した代表例に関する図である。
【図11】２種の最新のＴＭＯ及び本願開示のリアルタイムコントラスト歪みベースドなＴＭＯの実装例の結果示す図である。
【図12】大域的トーンカーブ、ナチュラルディテール及びディテールの強エンハンスを用いた結果、並びに、トーン優先設定を用いた結果を示す図である。
【図13】イメージノイズの増幅をもたらす単純なトーンマッピングオペレータ及び本願開示のリアルタイムコントラスト歪みベースドなＴＭＯによるトーンマッピングを比較する図である。
【図14】ノイズを無視するトーンマッピングオペレータとノイズ把握型のリアルタイムコントラスト歪みベースドなＴＭＯとの比較を示す図である。
【図15】トーンマッピング中にアンビエント光が導入された場合の結果を示す図である。
【図16】エッジ付近のポイントをフィルタリングする際のバイアスを示す図である。
【図17】１つの例示的実施形態による、入力イメージをトーンマッピングするための方法の動作ステップについてのフローチャートである。
【発明を実施するための形態】
【0014】
キャプチャ及び処理から圧縮及び表示に至るまで、ＨＤＲビデオの処理パイプラインの
各ステップでは多大な努力がなされているも、ＨＤＲビデオ用トーンマッピングの課題に
ついては大きな進歩が必要とされている。
各ステップでは多大な努力がなされているも、ＨＤＲビデオ用トーンマッピングの課題に
ついては大きな進歩が必要とされている。
【0015】
ここで、トーンマッピングとは、イメージ又はビデオのフレーム又は複数のフレームの
値を処理して、ある色のセットを別の色のセットにマッピングすることを指し示す。典型
的な用途は、ＨＤＲイメージ又はビデオを、より制限されたダイナミックレンジを有する
イメージへとトーンマッピングすることであるが、トーンマッピングは標準的なダイナミ
ックレンジのイメージ又はビデオにも適用され得る。トーンマッピングを行うシステム及
び方法は、一般的にここでは、「トーンマッピングオペレータ」（ＴＭＯ、tone-mapping
operator）と呼ぶ。
値を処理して、ある色のセットを別の色のセットにマッピングすることを指し示す。典型
的な用途は、ＨＤＲイメージ又はビデオを、より制限されたダイナミックレンジを有する
イメージへとトーンマッピングすることであるが、トーンマッピングは標準的なダイナミ
ックレンジのイメージ又はビデオにも適用され得る。トーンマッピングを行うシステム及
び方法は、一般的にここでは、「トーンマッピングオペレータ」（ＴＭＯ、tone-mapping
operator）と呼ぶ。
【0016】
ロバストなビデオトーンマッピングが必要であるにもかかわらず、既存のアルゴリズム
は多くの場合においては期待に添うものではなく、ノイズを露わにしたり増幅したり、大
きなコントラスト圧縮をこなすことができなかったり、リンギングやゴースティングや時
間的フリッカリングをもたらしたり（非特許文献１９）、ディスプレイ及び観察条件に適
応しなかったり、又は、演算が遅かったりする。
は多くの場合においては期待に添うものではなく、ノイズを露わにしたり増幅したり、大
きなコントラスト圧縮をこなすことができなかったり、リンギングやゴースティングや時
間的フリッカリングをもたらしたり（非特許文献１９）、ディスプレイ及び観察条件に適
応しなかったり、又は、演算が遅かったりする。
【0017】
関連研究
非特許文献１９では、１１種のビデオトーンマッピングオペレータが評価及び分析され
た。同文献は、種々のオペレータを次のように分類した：視覚系の特性及び限界を模倣す
るような視覚系シミュレータ（ＶＳＳ、visual system simulator）、オリジナルの場面
外観（original scene appearance）を保全しようとするような場面再現オペレータ（Ｓ
ＲＰ、scene reproduction operator）、及び主観的に選好されるイメージをもたらすよ
うな主観的性質オペレータ（ＢＳＱ、best subjective quality operator）。非特許文献
１９は、全てのオペレータが、フリッカリング、ゴースティング、増幅されたノイズレベ
ル、又はディテールの欠如等のアーチファクトをもたらしやすいものである、と結論して
いる。
非特許文献１９では、１１種のビデオトーンマッピングオペレータが評価及び分析され
た。同文献は、種々のオペレータを次のように分類した：視覚系の特性及び限界を模倣す
るような視覚系シミュレータ（ＶＳＳ、visual system simulator）、オリジナルの場面
外観（original scene appearance）を保全しようとするような場面再現オペレータ（Ｓ
ＲＰ、scene reproduction operator）、及び主観的に選好されるイメージをもたらすよ
うな主観的性質オペレータ（ＢＳＱ、best subjective quality operator）。非特許文献
１９は、全てのオペレータが、フリッカリング、ゴースティング、増幅されたノイズレベ
ル、又はディテールの欠如等のアーチファクトをもたらしやすいものである、と結論して
いる。
【0018】
フリッカリング等の時間的アーチファクトは、多くのＴＭＯにとって大きな問題である
。時間的な安定性のためには、多くの場合、大域的オペレータは、次の事項についての経
時的フィルタリングに頼る：トーンカーブ（非特許文献２９）、又はＴＭＯパラメータ（
非特許文献３３、２４）。このようにすればより効率的な実装が可能になるも、局所的Ｔ
ＭＯについては事情はより複雑であり、この場合、トーンの再現が局所的に時間が経るに
つれてインコヒーレントな態様で変化し得る。このような問題を克服するために、また、
ノイズを削減するために、多くの局所的ＴＭＯは時空間フィルタを画素ドメインで（非特
許文献２６、１０、４０）又は運動経路に沿って（非特許文献６）用いる。もっとも、こ
れらのフィルタは通常は計算量的に高コストであり、リアルタイム処理には適してはいな
い。これらの別の問題としては、ゴースティングアーチファクトをもたらし易いという点
と、オプティカルフローが破綻する場合にうまく機能しない点とが挙げられる。
。時間的な安定性のためには、多くの場合、大域的オペレータは、次の事項についての経
時的フィルタリングに頼る：トーンカーブ（非特許文献２９）、又はＴＭＯパラメータ（
非特許文献３３、２４）。このようにすればより効率的な実装が可能になるも、局所的Ｔ
ＭＯについては事情はより複雑であり、この場合、トーンの再現が局所的に時間が経るに
つれてインコヒーレントな態様で変化し得る。このような問題を克服するために、また、
ノイズを削減するために、多くの局所的ＴＭＯは時空間フィルタを画素ドメインで（非特
許文献２６、１０、４０）又は運動経路に沿って（非特許文献６）用いる。もっとも、こ
れらのフィルタは通常は計算量的に高コストであり、リアルタイム処理には適してはいな
い。これらの別の問題としては、ゴースティングアーチファクトをもたらし易いという点
と、オプティカルフローが破綻する場合にうまく機能しない点とが挙げられる。
【0019】
リアルタイムノイズ把握型トーンマッピング
大まかに説明されているように、そして添付の図面にて例示されているように、入力イ
メージ／ビデオをトーンマッピングするための新規なシステム及び方法が開示されている
。また、新規なシステム及び方法は、トーンマッピングのステップまたはトーンマッピン
グの一部を行うに際して効果的な１以上の下位要素を含むことができる。システム及び方
法の幾つかの例示的実施形態では、トーンマッピングはリアルタイムで行われるか、及び
／又は、トーンマッピングはノイズの存在を考慮することができる（例えば、「ノイズ把
握型」のもの）。システム及び方法のトーンカーブ生成部分は、入力イメージとトーンマ
ッピングされたイメージとの間のイメージコントラスト歪みのモデルに基づいている。本
願開示の新規なトーンマッピングシステム及び方法、本願開示の例示的実施形態、並びに
それらの変種は、本願においては一般的には「リアルタイムコントラスト歪みベースドＴ
ＭＯ」という。
大まかに説明されているように、そして添付の図面にて例示されているように、入力イ
メージ／ビデオをトーンマッピングするための新規なシステム及び方法が開示されている
。また、新規なシステム及び方法は、トーンマッピングのステップまたはトーンマッピン
グの一部を行うに際して効果的な１以上の下位要素を含むことができる。システム及び方
法の幾つかの例示的実施形態では、トーンマッピングはリアルタイムで行われるか、及び
／又は、トーンマッピングはノイズの存在を考慮することができる（例えば、「ノイズ把
握型」のもの）。システム及び方法のトーンカーブ生成部分は、入力イメージとトーンマ
ッピングされたイメージとの間のイメージコントラスト歪みのモデルに基づいている。本
願開示の新規なトーンマッピングシステム及び方法、本願開示の例示的実施形態、並びに
それらの変種は、本願においては一般的には「リアルタイムコントラスト歪みベースドＴ
ＭＯ」という。
【0020】
本願開示の１以上のリアルタイムコントラスト歪みベースドＴＭＯシステムは、プログ
ラマブルコンピュータ上で実行されるコンピュータプログラムにおいて実装され得るので
あり、各コンピュータは、少なくとも１つのプロセッサと、（揮発性及び不揮発性メモリ
並びに／又は記憶素子を含む）データ記憶システムと、少なくとも１つの入力装置と、少
なくとも１つの出力装置とを備える。例えば、非限定的に例示すれば、プログラムマブル
コンピュータは、次のものであることができる：プログラマブル論理ユニット、メインフ
レームコンピュータ、サーバ、パソコン、クラウドベースドなプログラム又はシステム、
ラップトップ機、ＰＤＡ、携帯電話、スマートフォン、ウェアラブル装置、タブレット装
置、仮想現実装置、スマート表示装置（例えば、スマートＴＶ）、ビデオゲームコンソー
ル、又は携帯型ゲーム機。
ラマブルコンピュータ上で実行されるコンピュータプログラムにおいて実装され得るので
あり、各コンピュータは、少なくとも１つのプロセッサと、（揮発性及び不揮発性メモリ
並びに／又は記憶素子を含む）データ記憶システムと、少なくとも１つの入力装置と、少
なくとも１つの出力装置とを備える。例えば、非限定的に例示すれば、プログラムマブル
コンピュータは、次のものであることができる：プログラマブル論理ユニット、メインフ
レームコンピュータ、サーバ、パソコン、クラウドベースドなプログラム又はシステム、
ラップトップ機、ＰＤＡ、携帯電話、スマートフォン、ウェアラブル装置、タブレット装
置、仮想現実装置、スマート表示装置（例えば、スマートＴＶ）、ビデオゲームコンソー
ル、又は携帯型ゲーム機。
【0021】
各プログラムは、好適には、高レベルな、手続き型プログラミング言語又はオブジェク
ト指向型プログラミング言語及び／又はスクリプト言語で実装されており、それによって
コンピュータシステムと通信する。もっとも、プログラムは、望むのであれば、アセンブ
リ言語又はマシン語で実装されることもできる。どの場合であれ、プログラミング言語は
コンパイル型又はインタープリタ型言語であることができる。このようなコンピュータプ
ログラムの各々は、好適には記憶媒体又は装置上に格納されるのであり、該記憶媒体又は
装置は汎用又は特殊用途プログラマブルコンピュータによって読み込まれることが可能で
あり、該記憶媒体又は装置がコンピュータによって読まれた際にはコンピュータを設定し
及び動作させるのであり、本願にて説明された手順が行われるようにするものである。一
部の実施形態では、システムは、プログラマブルコンピュータ上で実行されているオペレ
ーティングシステム内に埋め込まれていることができる。他の例示的実施形態では、シス
テムは、ハードウェア内、例えばビデオカード内にて実装されていることができる。
ト指向型プログラミング言語及び／又はスクリプト言語で実装されており、それによって
コンピュータシステムと通信する。もっとも、プログラムは、望むのであれば、アセンブ
リ言語又はマシン語で実装されることもできる。どの場合であれ、プログラミング言語は
コンパイル型又はインタープリタ型言語であることができる。このようなコンピュータプ
ログラムの各々は、好適には記憶媒体又は装置上に格納されるのであり、該記憶媒体又は
装置は汎用又は特殊用途プログラマブルコンピュータによって読み込まれることが可能で
あり、該記憶媒体又は装置がコンピュータによって読まれた際にはコンピュータを設定し
及び動作させるのであり、本願にて説明された手順が行われるようにするものである。一
部の実施形態では、システムは、プログラマブルコンピュータ上で実行されているオペレ
ーティングシステム内に埋め込まれていることができる。他の例示的実施形態では、シス
テムは、ハードウェア内、例えばビデオカード内にて実装されていることができる。
【0022】
さらに、本願開示のシステム、処理、及び方法は、コンピュータプログラム製品内にて
頒布されることができるのであり、該コンピュータプログラム製品は、１以上のプロセッ
サのためのコンピュータによって用いられることができる命令を含むコンピュータ可読媒
体を備える。媒体は様々な態様で提供されることができるのであり、例えば次のものが含
まれ得る：１以上のディスケット、コンパクトディスク、テープ、チップ、有線送信、衛
星送信、インターネット送信若しくはダウンロード、磁気的及び電子的記憶媒体、デジタ
ル及びアナログ信号、及びそれらのようなもの。コンピュータによって用いられることが
できる命令は、コンパイルされた及びコンパイルされていないコードを含む様々な形態で
あることができる。
頒布されることができるのであり、該コンピュータプログラム製品は、１以上のプロセッ
サのためのコンピュータによって用いられることができる命令を含むコンピュータ可読媒
体を備える。媒体は様々な態様で提供されることができるのであり、例えば次のものが含
まれ得る：１以上のディスケット、コンパクトディスク、テープ、チップ、有線送信、衛
星送信、インターネット送信若しくはダウンロード、磁気的及び電子的記憶媒体、デジタ
ル及びアナログ信号、及びそれらのようなもの。コンピュータによって用いられることが
できる命令は、コンパイルされた及びコンパイルされていないコードを含む様々な形態で
あることができる。
【0023】
図１を参照するに、同図においてはトーンマッピングシステム１００のオペレーショナ
ルモジュールについての概略図が示されており、該システムは１つの例示的実施形態によ
るリアルタイムコントラスト歪みベースドＴＭＯを実装するものである。
ルモジュールについての概略図が示されており、該システムは１つの例示的実施形態によ
るリアルタイムコントラスト歪みベースドＴＭＯを実装するものである。
【0024】
トーンマッピングシステム１００は、入力イメージ又はビデオ１０８を入力として受信
する。入力ビデオ１０８は、一連のビデオフレームを複数まとめて形成されていることが
できる。入力イメージ又はビデオ１０８は、標準的なダイナミックレンジのイメージ又は
高ダイナミックレンジのイメージであることができる。
する。入力ビデオ１０８は、一連のビデオフレームを複数まとめて形成されていることが
できる。入力イメージ又はビデオ１０８は、標準的なダイナミックレンジのイメージ又は
高ダイナミックレンジのイメージであることができる。
【0025】
トーンマッピングシステム１００は、１以上のコンテキストパラメータを入力として受
信することもできる。ここで、コンテキストパラメータとは、トーンマッピングされたイ
メージまたはビデオ（即ち、トーンマッピングが適用された後の入力イメージ又はビデオ
）が表示されるべき環境を定義及び／又は特徴付けるパラメータを指す。コンテキストパ
ラメータは、トーンマッピングされたイメージ又はビデオが観察されるコンテキストを定
義及び／又は特徴付けることもできる。コンテキストパラメータは、１以上の観察者特性
を含むことができる（例えば、観察者の年齢、ジェンダー、性別、人種、視覚障害）。
信することもできる。ここで、コンテキストパラメータとは、トーンマッピングされたイ
メージまたはビデオ（即ち、トーンマッピングが適用された後の入力イメージ又はビデオ
）が表示されるべき環境を定義及び／又は特徴付けるパラメータを指す。コンテキストパ
ラメータは、トーンマッピングされたイメージ又はビデオが観察されるコンテキストを定
義及び／又は特徴付けることもできる。コンテキストパラメータは、１以上の観察者特性
を含むことができる（例えば、観察者の年齢、ジェンダー、性別、人種、視覚障害）。
【0026】
コンテキストパラメータの例としては１以上の次のものが含まれる：観察環境における
アンビエント光、出力ディスプレイ装置のピーク輝度、出力ディスプレイ装置のダイナミ
ックレンジ、観察者プリファレンス、スピード、及び露出。他のコンテキストパラメータ
も含まれることができる。
アンビエント光、出力ディスプレイ装置のピーク輝度、出力ディスプレイ装置のダイナミ
ックレンジ、観察者プリファレンス、スピード、及び露出。他のコンテキストパラメータ
も含まれることができる。
【0027】
トーンマッピングシステム１００はノイズモデリングモジュール１１６を含むことがで
き、該モジュールは入力イメージ又はビデオ１０８内に存在するノイズについてのモデル
を生成するように動作可能である。本願では、リアルタイムコントラスト歪みベースドＴ
ＭＯ内で用いるためのノイズモデリングの具体的な例示的実施形態を開示するが、当該技
術分野にて既知の他の適切なノイズモデルを用いることができるものと解されるべきであ
る。他の例示的実施形態では、入力イメージ又はビデオ１０８のノイズモデルを、トーン
マッピングシステム１００の外部で生成することができ、それをコンテキストパラメータ
としてトーンマッピングシステム１００に提供することができる。
き、該モジュールは入力イメージ又はビデオ１０８内に存在するノイズについてのモデル
を生成するように動作可能である。本願では、リアルタイムコントラスト歪みベースドＴ
ＭＯ内で用いるためのノイズモデリングの具体的な例示的実施形態を開示するが、当該技
術分野にて既知の他の適切なノイズモデルを用いることができるものと解されるべきであ
る。他の例示的実施形態では、入力イメージ又はビデオ１０８のノイズモデルを、トーン
マッピングシステム１００の外部で生成することができ、それをコンテキストパラメータ
としてトーンマッピングシステム１００に提供することができる。
【0028】
トーンマッピングシステム１００はトーンマッピングモジュール１２４をさらに含み、
該モジュールそれ自体は、後において詳述する様々な下位モジュールを含んでいる。
該モジュールそれ自体は、後において詳述する様々な下位モジュールを含んでいる。
【0029】
より具体的には、トーンマッピングモジュール１２４は、フィルタリング下位モジュー
ル１２８と、トーンカーブ生成下位モジュール１３２と、組み合わせ下位モジュール１３
６とを含む。
ル１２８と、トーンカーブ生成下位モジュール１３２と、組み合わせ下位モジュール１３
６とを含む。
【0030】
フィルタリング下位モジュール１２８は、入力イメージ又は入力ビデオのフレーム１０
８に対してフィルタリングを適用して、入力イメージ又は入力ビデオの各フレーム１０８
の、ベース層ｂとディテール層ｄとを抽出するように動作可能である。入力イメージ又は
ビデオ１０８に対してフィルタリングを適用することに関しての具体的な例示的実施形態
を開示しているが、イメージ又はフレームをベース層とディテール層とに分離するための
当該技術分野にて既知の様々な他の適切なフィルタリング方法を、フィルタリング下位モ
ジュール１２８内にて適用することができるものと解されるべきである。
８に対してフィルタリングを適用して、入力イメージ又は入力ビデオの各フレーム１０８
の、ベース層ｂとディテール層ｄとを抽出するように動作可能である。入力イメージ又は
ビデオ１０８に対してフィルタリングを適用することに関しての具体的な例示的実施形態
を開示しているが、イメージ又はフレームをベース層とディテール層とに分離するための
当該技術分野にて既知の様々な他の適切なフィルタリング方法を、フィルタリング下位モ
ジュール１２８内にて適用することができるものと解されるべきである。
【0031】
リアルタイムコントラスト歪みベースドＴＭＯ内のフィルタリング下位モジュール１２
８についての様々な例示的実施形態は、ベース層とディテール層とを抽出するためのエッ
ジ停止空間フィルタに関するものであり、これらは本願明細書の他の箇所で詳述されてい
る。様々な例示的実施形態によるエッジ停止空間フィルタでは、長所としては、リンギン
グアーチファクトを伴わずにして、ディテールエンハンスメントのための高速なエッジ停
止非線形拡散近似をもたらすことができる。
８についての様々な例示的実施形態は、ベース層とディテール層とを抽出するためのエッ
ジ停止空間フィルタに関するものであり、これらは本願明細書の他の箇所で詳述されてい
る。様々な例示的実施形態によるエッジ停止空間フィルタでは、長所としては、リンギン
グアーチファクトを伴わずにして、ディテールエンハンスメントのための高速なエッジ停
止非線形拡散近似をもたらすことができる。
【0032】
トーンカーブ生成下位モジュール１３２は、該下位モジュールに入力されたトーンマッ
ピング用イメージ又はビデオフレームのためのトーンカーブを決定するように動作可能で
ある。トーンカーブ生成下位モジュール１３２は、フィルタリング下位モジュール１２８
によって出力されたベース層を自己の入力として受信することができる。カーブ生成モジ
ュール１３２は、１つ以上のコンテキストパラメータを入力として受信することもできる
。パラメータは、本願明細書の他の箇所で説明したような、トーンカーブ生成を行うため
のユーザ選好を含むことができる。一部の例示的実施形態では、トーンカーブ生成下位モ
ジュール１３２は、ノイズモデリングモジュール１１６によって生成されたノイズモデル
を、入力としてさらに受信する。１つ以上のコンテキストパラメータ及びノイズモデルは
、トーンカーブ生成下位モジュール１３２によってなされるトーンカーブの生成に影響を
及ぼすことができる。トーンカーブ生成下位モジュール１３２は、生成されたトーンカー
ブを自己に入力されたイメージ又はビデオフレームに適用してトーンマッピングされた出
力を生成するようにさらに動作可能である。入力イメージ又はビデオ１０８のベース層が
トーンカーブ生成下位モジュール１３２に入力されると、下位モジュール１３２は、トー
ンマッピングされたベース層ｂｔｍを出力する。
ピング用イメージ又はビデオフレームのためのトーンカーブを決定するように動作可能で
ある。トーンカーブ生成下位モジュール１３２は、フィルタリング下位モジュール１２８
によって出力されたベース層を自己の入力として受信することができる。カーブ生成モジ
ュール１３２は、１つ以上のコンテキストパラメータを入力として受信することもできる
。パラメータは、本願明細書の他の箇所で説明したような、トーンカーブ生成を行うため
のユーザ選好を含むことができる。一部の例示的実施形態では、トーンカーブ生成下位モ
ジュール１３２は、ノイズモデリングモジュール１１６によって生成されたノイズモデル
を、入力としてさらに受信する。１つ以上のコンテキストパラメータ及びノイズモデルは
、トーンカーブ生成下位モジュール１３２によってなされるトーンカーブの生成に影響を
及ぼすことができる。トーンカーブ生成下位モジュール１３２は、生成されたトーンカー
ブを自己に入力されたイメージ又はビデオフレームに適用してトーンマッピングされた出
力を生成するようにさらに動作可能である。入力イメージ又はビデオ１０８のベース層が
トーンカーブ生成下位モジュール１３２に入力されると、下位モジュール１３２は、トー
ンマッピングされたベース層ｂｔｍを出力する。
【0033】
組み合わせ下位モジュール１３６は、フィルタリング下位モジュール１２８から出力さ
れたディテール層を、トーンカーブ生成下位モジュール１３２から出力されたトーンマッ
ピングされたベース層と、組み合わせ又はマージするように動作可能である。ベース層と
ディテール層とを組み合わせるための当該技術分野にて既知な様々なレイヤ組み合わせ方
法を、組み合わせ下位モジュール１３６内にて適用することができる。
れたディテール層を、トーンカーブ生成下位モジュール１３２から出力されたトーンマッ
ピングされたベース層と、組み合わせ又はマージするように動作可能である。ベース層と
ディテール層とを組み合わせるための当該技術分野にて既知な様々なレイヤ組み合わせ方
法を、組み合わせ下位モジュール１３６内にて適用することができる。
【0034】
本願開示のリアルタイムコントラスト歪みベースドＴＭＯの組み合わせ下位モジュール
１３６の様々な例示的実施形態は、ノイズ把握型制御をイメージディテールに対して及ぼ
す類いの組み合わせ下位モジュール１３６に関する。例えば、組み合わせ下位モジュール
１３６は、トーンマッピングされたベース層とディテール層とを組み合わせるに際して、
ノイズの存否に基づいてディテール層のスケーリングを適用することができる。スケーリ
ングされたディテール層は、ｄｏｕｔと表記される。
１３６の様々な例示的実施形態は、ノイズ把握型制御をイメージディテールに対して及ぼ
す類いの組み合わせ下位モジュール１３６に関する。例えば、組み合わせ下位モジュール
１３６は、トーンマッピングされたベース層とディテール層とを組み合わせるに際して、
ノイズの存否に基づいてディテール層のスケーリングを適用することができる。スケーリ
ングされたディテール層は、ｄｏｕｔと表記される。
【0035】
トーンマッピング下位モジュール１２４は、逆ディスプレイモデリング下位モジュール
１４０をさらに含むことができる。逆ディスプレイモデリング下位モジュール１４０は、
アンビエント光等の表示装置から知覚されるイメージに影響を及ぼす環境的因子を考慮し
つつ、表示装置のモデルを生成するように動作可能である。逆ディスプレイモデリング下
位モジュール１４０は、組み合わせ下位モジュール１３６から出力された組み合わされた
イメージをさらに処理して、表示装置及び環境的因子に適応させてある出力イメージを出
力することができる。これで、出力イメージを表示装置上で表示する準備ができた。
１４０をさらに含むことができる。逆ディスプレイモデリング下位モジュール１４０は、
アンビエント光等の表示装置から知覚されるイメージに影響を及ぼす環境的因子を考慮し
つつ、表示装置のモデルを生成するように動作可能である。逆ディスプレイモデリング下
位モジュール１４０は、組み合わせ下位モジュール１３６から出力された組み合わされた
イメージをさらに処理して、表示装置及び環境的因子に適応させてある出力イメージを出
力することができる。これで、出力イメージを表示装置上で表示する準備ができた。
【0036】
本願開示のリアルタイムコントラスト歪みベースドＴＭＯの様々な例示的実施形態は、
次の３つの要求に基づいている：ノイズ把握性、時間的ロバスト性、及びディスプレイ適
応性。
次の３つの要求に基づいている：ノイズ把握性、時間的ロバスト性、及びディスプレイ適
応性。
【0037】
トーンマッピング用のノイズモデリング
ビデオシーケンス中の視認可能なノイズは、現代的なノイズ除去アルゴリズム（非特許
文献２７、６）を用いることによって大幅に削減し得る。もっとも、過度に強力なノイズ
除去を施すと、ブラーがもたらされ、イメージ鮮鋭度が損なわれる。鮮鋭度の欠如はノイ
ズ以上に許容し難いアーチファクトであるが故に、通常のビデオ処理慣行では、控えめな
ノイズ削減を施して、そして、残存するノイズをマニュアルカラーグレーディング工程で
隠蔽する。
ビデオシーケンス中の視認可能なノイズは、現代的なノイズ除去アルゴリズム（非特許
文献２７、６）を用いることによって大幅に削減し得る。もっとも、過度に強力なノイズ
除去を施すと、ブラーがもたらされ、イメージ鮮鋭度が損なわれる。鮮鋭度の欠如はノイ
ズ以上に許容し難いアーチファクトであるが故に、通常のビデオ処理慣行では、控えめな
ノイズ削減を施して、そして、残存するノイズをマニュアルカラーグレーディング工程で
隠蔽する。
【0038】
リアルタイムコントラスト歪みベースドＴＭＯの例示的実施形態によれば、グレーディ
ング（grading）工程は、ノイズ把握型トーンマッピングによって自動化される。入力は
、（控えめに）ノイズ除去されたビデオシーケンスであるか又はノイジーなビデオシーケ
ンスである。結果は、ビデオであり、該ビデオにおいては、ノイズ特性及び特定の表示装
置上でのノイズ視認性を両方考慮した上でノイズの視認性が削減してある。
ング（grading）工程は、ノイズ把握型トーンマッピングによって自動化される。入力は
、（控えめに）ノイズ除去されたビデオシーケンスであるか又はノイジーなビデオシーケ
ンスである。結果は、ビデオであり、該ビデオにおいては、ノイズ特性及び特定の表示装
置上でのノイズ視認性を両方考慮した上でノイズの視認性が削減してある。
【0039】
高級カメラは大口径光学系及び大型センサを有しており、多くの場合、人間の視覚系の
視認性閾値（視覚系が知覚し得るコントラスト）よりも低いノイズレベルが得られる。図
２は次の項目を示すグラフである：人間の視覚系の視認性閾値（赤色の線）、カメラによ
って撮像された典型的なイメージに含まれるイメージノイズ（ブルー色の線）、カメラに
よって撮像されたイメージをトーンマッピングした後のノイズレベル（マジェンタ）。撮
像されたイメージのノイズは人間の視覚系の視認性閾値未満である一方、トーンマッピン
グ後のノイズレベルは視認性閾値を上回っていることが分かる。これは、絶対的な輝度レ
ベルの上昇及び詳細なコントラストディテールのエンハンスメントに起因していることが
ある。
視認性閾値（視覚系が知覚し得るコントラスト）よりも低いノイズレベルが得られる。図
２は次の項目を示すグラフである：人間の視覚系の視認性閾値（赤色の線）、カメラによ
って撮像された典型的なイメージに含まれるイメージノイズ（ブルー色の線）、カメラに
よって撮像されたイメージをトーンマッピングした後のノイズレベル（マジェンタ）。撮
像されたイメージのノイズは人間の視覚系の視認性閾値未満である一方、トーンマッピン
グ後のノイズレベルは視認性閾値を上回っていることが分かる。これは、絶対的な輝度レ
ベルの上昇及び詳細なコントラストディテールのエンハンスメントに起因していることが
ある。
【0040】
本願開示のリアルタイムコントラスト歪みベースドＴＭＯの様々な例示的実施形態は、
次の２つの工程のうち少なくとも１つに関してノイズを考慮する：トーンカーブを決定す
る際、及び、ディテール層とベース層とを再度組み合わせる際。したがって、トーンマッ
ピングシステム１００は既存のノイズ除去方法と併せて使用され得るのであり、このよう
な方法を伴った初期ノイズ除去処理においては高振幅ノイズが除去され、トーンカーブの
決定の際並びに／又はディテール層及びベース層の再度の組み合わせの際に低振幅ノイズ
が処置される。
次の２つの工程のうち少なくとも１つに関してノイズを考慮する：トーンカーブを決定す
る際、及び、ディテール層とベース層とを再度組み合わせる際。したがって、トーンマッ
ピングシステム１００は既存のノイズ除去方法と併せて使用され得るのであり、このよう
な方法を伴った初期ノイズ除去処理においては高振幅ノイズが除去され、トーンカーブの
決定の際並びに／又はディテール層及びベース層の再度の組み合わせの際に低振幅ノイズ
が処置される。
【0041】
入力イメージ又はビデオ１０８内のノイズのモデリングのためには、ノイズの大きさと
人間の視覚系の視認性閾値とを考慮する必要がある。デジタルカメラ内のノイズの分散は
、光強度Ｉの関数としてモデリングされることができる（非特許文献２０）：
ここで、ａ及びｂは、ノイズの信号依存性成分（光子ノイズ）及び信号独立性成分（読み
出しノイズ）にまつわるパラメータである。パラメータは、入力イメージから推定される
か（非特許文献２０）、カメラによって提供されるか、手動で調整されることができる。
人間の視覚系の視認性閾値とを考慮する必要がある。デジタルカメラ内のノイズの分散は
、光強度Ｉの関数としてモデリングされることができる（非特許文献２０）：
【数1】
出しノイズ）にまつわるパラメータである。パラメータは、入力イメージから推定される
か（非特許文献２０）、カメラによって提供されるか、手動で調整されることができる。
【0042】
光に対しての視覚系の非線形的感受性（Weber-Fechnerの法則）を考慮するために、分
析は、対数ドメインで行われる。対数ドメインでのノイズの大きさは次式で近似されるこ
とができる：
析は、対数ドメインで行われる。対数ドメインでのノイズの大きさは次式で近似されるこ
とができる：
【数2】
【0043】
図２に戻るに、ノイズの大きさは赤色の線でプロットされている。図２のブルー色の線
で示されている視認性閾値についての控えめな推定値は、特定のディスプレイ輝度レベル
Ｌｄについてのコントラスト感受性関数（ＣＳＦ、contrast sensitivity function）の
ピークとして表される。非特許文献３１のＣＳＦを用いて、Michelsonコントラストから
対数コントラストへと検知閾値（Ｃｔ（Ｌｄ）＝１／ＣＳＦ（Ｌｄ））を変換して、次式
のように対数輝度での検知可能最小差異を得ることができる：
で示されている視認性閾値についての控えめな推定値は、特定のディスプレイ輝度レベル
Ｌｄについてのコントラスト感受性関数（ＣＳＦ、contrast sensitivity function）の
ピークとして表される。非特許文献３１のＣＳＦを用いて、Michelsonコントラストから
対数コントラストへと検知閾値（Ｃｔ（Ｌｄ）＝１／ＣＳＦ（Ｌｄ））を変換して、次式
のように対数輝度での検知可能最小差異を得ることができる：
【数3】
【0044】
ノイズモデリングモジュール１１６用のコンテキストパラメータは、光子ノイズａ及び
読み出しノイズｂを含むことができ、これらはユーザによって定義される。ノイズモデリ
ングモジュール１１６用の他のコンテキストパラメータとしては、ＩＳＯ（画素あたりの
ゲイン）やセンサ温度や積分時間等の入力イメージ又はビデオ１０８を撮像するためのパ
ラメータが含まれ得る。ノイズ統計値は、推定されることができ、コンテキストパラメー
タとしても提供され得る。
読み出しノイズｂを含むことができ、これらはユーザによって定義される。ノイズモデリ
ングモジュール１１６用の他のコンテキストパラメータとしては、ＩＳＯ（画素あたりの
ゲイン）やセンサ温度や積分時間等の入力イメージ又はビデオ１０８を撮像するためのパ
ラメータが含まれ得る。ノイズ統計値は、推定されることができ、コンテキストパラメー
タとしても提供され得る。
【0045】
ビデオまたはイメージのノイズをモデリングするための当該技術分野にて既知の他の方
法を、使用することもできるものと解されるべきである。
法を、使用することもできるものと解されるべきである。
【0046】
ディスプレイ適応性
任意のＴＭＯにとっての主たる制約は、ターゲット表示装置上で表示できる輝度の利用
可能レンジに起因する。このようなレンジは、ＯＬＥＤかＬＣＤであるか等の特定の表示
技術に依存するばかりでなく、アンビエント光のレベルにも依存する。アンビエント光の
一部はディスプレイスクリーンから反射されるのであり、それによって利用可能ディスプ
レイコントラストが減る。
任意のＴＭＯにとっての主たる制約は、ターゲット表示装置上で表示できる輝度の利用
可能レンジに起因する。このようなレンジは、ＯＬＥＤかＬＣＤであるか等の特定の表示
技術に依存するばかりでなく、アンビエント光のレベルにも依存する。アンビエント光の
一部はディスプレイスクリーンから反射されるのであり、それによって利用可能ディスプ
レイコントラストが減る。
【0047】
１つの例示的実施形態によれば、光センサによって容易に測定できる現在アンビエント
光レベルを考慮する態様で、利用可能輝度レンジについてのモデルを生成する。
光レベルを考慮する態様で、利用可能輝度レンジについてのモデルを生成する。
【0048】
利用可能輝度レンジは、標準的なガンマゲインオフセットディスプレイモデル（Gamma-
Gain-Offset display model、非特許文献１１）にアンビエント光についての修正（非特
許文献２９）を加えることによって、モデリングすることができる：
ここで、Ｌｄは（ディスプレイの表面から到来するものとして測定された）表示された輝
度或いは放射輝度であり、Ｌ’は画素の値であり（０～１）、γはディスプレイのガンマ
であり（通常は２．２付近）、Ｌｍａｘはピークディスプレイ輝度である（オフィス用デ
ィスプレイについては約２００ｃｄ／ｍ２）。Ｌｂｌａｃｋはディスプレイの黒レベルで
あり、これは完全に暗黒な部屋の中でブラックな画素を表示した際の輝度である（ＬＣＤ
ディスプレイにおいて通常は、０．１～０．８ｃｄ／ｍ２）。Ｌｒｅｆｌはディスプレイ
の表面から反射されたアンビエント光である。光沢のない画面に関しては、これは次式の
ように近似されることができる：
ここで、Ｅａｍｂは単位をｌｕｘとした際のアンビエント照度であり、ｋはディスプレイ
パネルの反射率である（ＬＣＤディスプレイに関しては０．５～１％）。
Gain-Offset display model、非特許文献１１）にアンビエント光についての修正（非特
許文献２９）を加えることによって、モデリングすることができる：
【数4】
度或いは放射輝度であり、Ｌ’は画素の値であり（０～１）、γはディスプレイのガンマ
であり（通常は２．２付近）、Ｌｍａｘはピークディスプレイ輝度である（オフィス用デ
ィスプレイについては約２００ｃｄ／ｍ２）。Ｌｂｌａｃｋはディスプレイの黒レベルで
あり、これは完全に暗黒な部屋の中でブラックな画素を表示した際の輝度である（ＬＣＤ
ディスプレイにおいて通常は、０．１～０．８ｃｄ／ｍ２）。Ｌｒｅｆｌはディスプレイ
の表面から反射されたアンビエント光である。光沢のない画面に関しては、これは次式の
ように近似されることができる：
【数5】
パネルの反射率である（ＬＣＤディスプレイに関しては０．５～１％）。
【0049】
モデリングされた利用可能輝度レンジは逆ディスプレイモデリング下位モジュール１４
０内で適用されて、ターゲット表示装置に適応させたトーンマッピング済み出力イメージ
を発生させることができる。
０内で適用されて、ターゲット表示装置に適応させたトーンマッピング済み出力イメージ
を発生させることができる。
【0050】
最小コントラスト歪みトーンカーブ
入力輝度からディスプレイの輝度へと画素の値をマッピングするトーンカーブが、イメ
ージコントラストを表示可能レンジに落とし込むための主たる道具とされる。トーンカー
ブは写真分野で伝統的に用いられており、トーンカーブはＳ字型の形状を有しており、ト
ーンカーブは低位及び高位のトーンにより高い歪みをもたらすことを代償にして中位のト
ーンにおけるコントラストを保つ。トーンカーブの形状が一定とされるのがアナログフィ
ルムの必須条件であったが、デジタル処理においては、各イメージについて、そして、全
てのイメージ領域に関して、トーンカーブを変化させることが許容される。
入力輝度からディスプレイの輝度へと画素の値をマッピングするトーンカーブが、イメ
ージコントラストを表示可能レンジに落とし込むための主たる道具とされる。トーンカー
ブは写真分野で伝統的に用いられており、トーンカーブはＳ字型の形状を有しており、ト
ーンカーブは低位及び高位のトーンにより高い歪みをもたらすことを代償にして中位のト
ーンにおけるコントラストを保つ。トーンカーブの形状が一定とされるのがアナログフィ
ルムの必須条件であったが、デジタル処理においては、各イメージについて、そして、全
てのイメージ領域に関して、トーンカーブを変化させることが許容される。
【0051】
イメージコントラスト歪みについての、予想されるコントラスト歪み／モデル
トーンマッピングに起因する最も関連性のある歪みは、多分イメージコントラストの変
化であるといえよう。イメージコントラスト歪みのモデルは、記号Ｇで表されるマッピン
グされていないイメージのコントラストと、記号
で表される適用されたトーンカーブによってトーンマッピングされた後のイメージのコン
トラストとの間の、差異を考慮する。最も単純なケースにおいては、イメージコントラス
トＧ又は
は２つの近隣ピクセル間の差異とすることができるが、イメージコントラスト歪みについ
ての他の解釈も可能である。
トーンマッピングに起因する最も関連性のある歪みは、多分イメージコントラストの変
化であるといえよう。イメージコントラスト歪みのモデルは、記号Ｇで表されるマッピン
グされていないイメージのコントラストと、記号
トラストとの間の、差異を考慮する。最も単純なケースにおいては、イメージコントラス
トＧ又は
ての他の解釈も可能である。
【0052】
本願開示のトーンカーブ生成下位モジュール１３２の様々な例示的実施形態は、マッピ
ングされていないイメージとトーンマッピングされたイメージとの間のイメージコントラ
スト歪みについてのモデルに基づいて、トーンカーブを決定する。例えば、トーンカーブ
は、イメージコントラスト歪みについてのモデルの望まれる特性に基づいて、決定される
。マッピングされていないイメージは、トーンマッピングシステム１００に入力される入
力イメージ又はビデオ１０８とすることができる。代替的には、マッピングされていない
イメージは、入力イメージ又はビデオ１０８のフィルタリングから抽出されたベース層と
することができる。
ングされていないイメージとトーンマッピングされたイメージとの間のイメージコントラ
スト歪みについてのモデルに基づいて、トーンカーブを決定する。例えば、トーンカーブ
は、イメージコントラスト歪みについてのモデルの望まれる特性に基づいて、決定される
。マッピングされていないイメージは、トーンマッピングシステム１００に入力される入
力イメージ又はビデオ１０８とすることができる。代替的には、マッピングされていない
イメージは、入力イメージ又はビデオ１０８のフィルタリングから抽出されたベース層と
することができる。
【0053】
より具体的には、１つの例示的実施形態によれば、トーンカーブは、イメージコントラ
スト歪みについてのモデル内におけるイメージコントラスト歪みを減らすようなトーンカ
ーブの値を計算することによって、決定される。
スト歪みについてのモデル内におけるイメージコントラスト歪みを減らすようなトーンカ
ーブの値を計算することによって、決定される。
【0054】
さらにより具体的には、１つの例示的実施形態によれば、トーンカーブは、イメージコ
ントラスト歪みについてのモデル内におけるイメージコントラスト歪みを最小化するよう
なトーンカーブの値を計算することによって、決定される。
ントラスト歪みについてのモデル内におけるイメージコントラスト歪みを最小化するよう
なトーンカーブの値を計算することによって、決定される。
【0055】
イメージコントラスト歪みについてのモデルを得るための１つの例示的実施形態によれ
ば、入力対数輝度レベルｌの各々については、対数輝度レベルｌ内のコントラスト値の分
布をｐ（Ｇ｜ｌ）として表すことができる。したがって、トーンマッピングによるイメー
ジコントラスト歪みの想定値は次のように表すことができる：
この想定値は、マッピングされていないイメージとトーンマッピングされたイメージとの
間のイメージコントラスト歪みについての第１のモデルとして、用いられることができる
。
ば、入力対数輝度レベルｌの各々については、対数輝度レベルｌ内のコントラスト値の分
布をｐ（Ｇ｜ｌ）として表すことができる。したがって、トーンマッピングによるイメー
ジコントラスト歪みの想定値は次のように表すことができる：
【数6】
間のイメージコントラスト歪みについての第１のモデルとして、用いられることができる
。
【0056】
内側の積分で、所与の入力対数輝度レベルｌについての全てのコントラスト値Ｇにわた
って、歪みの二乗を「合算」する、
。外側の積分では、その結果を、全ての入力対数輝度レベルｌにわたって「合算」する。
ｐ（ｌ）は、所与のコントラストＧが背景輝度ｌ上で表示される確率である。ｐ（Ｇ｜ｌ
）は、背景輝度ｌを与えられた場合にイメージコントラストＧ内で発見される確率である
。例えば、コントラストＧが勾配（gradient）として定義された場合、この確率はヘビー
テールな分布に従うであろう。自然なイメージに関しては、一般的なケースにおいては、
コントラスト分布は局所的輝度ｌとは独立であり、よって、ｐ（Ｇ｜ｌ）＝ｐ（Ｇ）との
仮定を定立することができる。
って、歪みの二乗を「合算」する、
ｐ（ｌ）は、所与のコントラストＧが背景輝度ｌ上で表示される確率である。ｐ（Ｇ｜ｌ
）は、背景輝度ｌを与えられた場合にイメージコントラストＧ内で発見される確率である
。例えば、コントラストＧが勾配（gradient）として定義された場合、この確率はヘビー
テールな分布に従うであろう。自然なイメージに関しては、一般的なケースにおいては、
コントラスト分布は局所的輝度ｌとは独立であり、よって、ｐ（Ｇ｜ｌ）＝ｐ（Ｇ）との
仮定を定立することができる。
【0057】
この問題を解析的に扱い容易なものに留めるため、生成すべきトーンカーブは区分的に
線形なものとされ、ノードは（ｌｋ，ｖｋ）とされる。イメージコントラスト歪みについ
てのモデルから生成されるべきトーンカーブに関しては、さらなる制約として、非減少関
数とすることを要することができる。図３は、生成され得る区分的線形トーンカーブの例
についての代表的図面を示す。
線形なものとされ、ノードは（ｌｋ，ｖｋ）とされる。イメージコントラスト歪みについ
てのモデルから生成されるべきトーンカーブに関しては、さらなる制約として、非減少関
数とすることを要することができる。図３は、生成され得る区分的線形トーンカーブの例
についての代表的図面を示す。
【0058】
したがって、複数の輝度レベルセグメントが規定されるのであって、各輝度レベルはマ
ッピングされていないイメージの輝度レベルについてのフルレンジのサブレンジに対応す
る。ｌはマッピングされていないイメージにおける対数輝度であり、また、ｖは出力され
たトーンマッピングされたイメージの対数輝度である。輝度レベルセグメントｋの各々は
、２つのノード（ｌｋ，ｖｋ）及び（ｌｋ＋１，ｖｋ＋１）の間で定義され、また、対数
輝度値がδに相当するところで一定の幅を有する（例えば、１つの例示的実施形態では約
０．２）。単純化のため、ディスプレイ上で表示され得る最大の対数輝度値は０で固定さ
れ、また、最小値はディスプレイの実効的ダイナミックレンジｒと共に変化する。式（４
）のディスプレイモデルを用いることによって、現在のアンビエント光レベルについての
ｒを計算することができる：
ッピングされていないイメージの輝度レベルについてのフルレンジのサブレンジに対応す
る。ｌはマッピングされていないイメージにおける対数輝度であり、また、ｖは出力され
たトーンマッピングされたイメージの対数輝度である。輝度レベルセグメントｋの各々は
、２つのノード（ｌｋ，ｖｋ）及び（ｌｋ＋１，ｖｋ＋１）の間で定義され、また、対数
輝度値がδに相当するところで一定の幅を有する（例えば、１つの例示的実施形態では約
０．２）。単純化のため、ディスプレイ上で表示され得る最大の対数輝度値は０で固定さ
れ、また、最小値はディスプレイの実効的ダイナミックレンジｒと共に変化する。式（４
）のディスプレイモデルを用いることによって、現在のアンビエント光レベルについての
ｒを計算することができる：
【数7】
【0059】
トーンカーブを複数の区分的傾斜として特徴付けた場合、トーンマッピング後の１つの
輝度レベルセグメントについてのイメージコントラストは、次式で表され得る：
ここで、ｓｋはセグメントｋ内のトーンカーブの傾斜（slope）である：
輝度レベルセグメントについてのイメージコントラストは、次式で表され得る：
【数8】
ここで、ｓｋはセグメントｋ内のトーンカーブの傾斜（slope）である：
【数9】
【0060】
したがって、想定される歪みについての離散近似は次式で表される：
【数10】
【0061】
（１－ｓｋ）の項はコントラストＧとは独立であり、それ故に総和の外に移動できる。
ｐ（ｌｋ）の値は、ｋ＝１．．Ｎに関してビンの中心がｌｋに配されたイメージ対数輝度
値のヒストグラムとして計算されることができる。
ｐ（ｌｋ）の値は、ｋ＝１．．Ｎに関してビンの中心がｌｋに配されたイメージ対数輝度
値のヒストグラムとして計算されることができる。
【0062】
コントラスト歪みの削減／最小化
様々な例示的実施形態によれば、トーンカーブの値は、生成されたトーンカーブに起因
する式（１０）における想定コントラスト歪みを削減又は最小化するように計算される：
様々な例示的実施形態によれば、トーンカーブの値は、生成されたトーンカーブに起因
する式（１０）における想定コントラスト歪みを削減又は最小化するように計算される：
【数11】
【0063】
様々な例示的実施形態によれば、トーンカーブの値の決定は、トーンカーブを構成する
各区分的線形傾斜（piece-wise linear slope）は非減少的であるというさらなる制約条
件に服する：ｋ＝１．．Ｎに関してｓｋ≧0。
各区分的線形傾斜（piece-wise linear slope）は非減少的であるというさらなる制約条
件に服する：ｋ＝１．．Ｎに関してｓｋ≧0。
【0064】
代替的には、又は追加的には、トーンカーブの値の決定は、区分的線形傾斜に従ってト
ーンマッピングされた出力イメージはトーンマッピングされた出力イメージを表示するた
めの表示装置の利用可能ダイナミックレンジ内に収まっているというさらなる制約条件に
服する。
ーンマッピングされた出力イメージはトーンマッピングされた出力イメージを表示するた
めの表示装置の利用可能ダイナミックレンジ内に収まっているというさらなる制約条件に
服する。
【数12】
【0065】
第１の制約はトーンカーブが非減少的であることを担保し、第２の制約はディスプレイ
の最大利用可能ダイナミックレンジが超過されないことを担保する。
の最大利用可能ダイナミックレンジが超過されないことを担保する。
【0066】
式（１０）にあるＧに関しての総和は、トーンカーブの傾斜ｓｋから独立している。し
たがって、ｓ１，．．，ｓｋによって与えられるトーンカーブの関数としてのε（ｓ１，
．．，ｓｋ）を削減／最小化する場合、コントラスト分布ｐ（Ｇ）は最小値に対して影響
を及ぼさない。したがって、問題は次式の関数を減少／最小化することに単純化すること
ができる：
上記は式（１２）で与えられる条件にさらに服することができる。したがって、以下の少
なくとも１つ又は以下の積を、全輝度レベルセグメント（ｋ＝１．．Ｎ）にわたって減ら
すために、輝度レベルセグメントｋのトーンカーブの一部を表す区分的線形傾斜を決定す
る：
ｉ） マッピングされていないイメージの任意の領域が、所与の第（ｋ番目）輝度レベ
ルセグメント内に入る輝度レベルを有する確率；
ｉｉ） 所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数。
たがって、ｓ１，．．，ｓｋによって与えられるトーンカーブの関数としてのε（ｓ１，
．．，ｓｋ）を削減／最小化する場合、コントラスト分布ｐ（Ｇ）は最小値に対して影響
を及ぼさない。したがって、問題は次式の関数を減少／最小化することに単純化すること
ができる：
【数13】
なくとも１つ又は以下の積を、全輝度レベルセグメント（ｋ＝１．．Ｎ）にわたって減ら
すために、輝度レベルセグメントｋのトーンカーブの一部を表す区分的線形傾斜を決定す
る：
ｉ） マッピングされていないイメージの任意の領域が、所与の第（ｋ番目）輝度レベ
ルセグメント内に入る輝度レベルを有する確率；
ｉｉ） 所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数。
【0067】
所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数は、項たる（１－ｓ
ｋ）であることができる。
ｋ）であることができる。
【0068】
式（１０）に戻るに、各輝度レベルセグメントについての線形傾斜は、
を最小化することに基づいて決定されることができる。ここで、ｐ（ｌｋ）はマッピング
されていないイメージの任意の領域が所与の第（ｋ番目）輝度レベルセグメント内に入る
輝度レベルを有する確率であり、ｓｋは所与の第（ｋ番目）輝度レベルの区分的線形傾斜
であり、（１－ｓｋ）２は所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜に
ついての微分値である。
【数14】
されていないイメージの任意の領域が所与の第（ｋ番目）輝度レベルセグメント内に入る
輝度レベルを有する確率であり、ｓｋは所与の第（ｋ番目）輝度レベルの区分的線形傾斜
であり、（１－ｓｋ）２は所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜に
ついての微分値である。
【0069】
式（１３）から続けるに、この式を最小化するに際しては、対応するラグランジアンの
第１次Karush-Kuhn-Tucker（ＫＫＴ）最適性条件を計算することによって解析的に解くこ
とができる。これによって解が得られる（導出過程に関しては付録Ａを参照）：
第１次Karush-Kuhn-Tucker（ＫＫＴ）最適性条件を計算することによって解析的に解くこ
とができる。これによって解が得られる（導出過程に関しては付録Ａを参照）：
【数15】
【0070】
上記の解は負の傾斜をもたらし得るのであり、故に第１の制約に違背するかもしれない
。これを回避するために、確率ｐ（ｌｋ）が特定の閾値未満である輝度レベルセグメント
に関しては、傾斜を０として設定する。式（１４）から、以下の場合にｓｋ≧0となる。
。これを回避するために、確率ｐ（ｌｋ）が特定の閾値未満である輝度レベルセグメント
に関しては、傾斜を０として設定する。式（１４）から、以下の場合にｓｋ≧0となる。
【数16】
【0071】
上記不等式は直接的に解くことができない。なぜならば、同式は両側、即ち左辺と右辺
の総和にｐ（ｌｋ）が含まれているからである。また、任意のｉについてｐ（ｌｉ）が０
に等しい場合にも上記式は解くことができない。したがって、ゼロでない傾斜を有する輝
度レベルセグメントを見つけるためには、輝度レベルセグメントは、確率ｐ（ｌｋ）が特
定の閾値ｐｔを超える輝度レベルセグメントに分割される：
そして、０の傾斜が残余のセグメントに割り当てられるのであり、閾値となる確率が反復
的に更新される：
上記はｔ＝１，２．．，関するのであり、｜Ωｔ｜は集合Ωｔの濃度である。小さい初期
確率値、ここではｐ０＝０．０００１とする、で初期化すると、漸化式は迅速に収束し、
輝度レベルセグメントを傾斜がゼロのものと傾斜が正のものとに分離することを可能とし
、最適化問題の第１の制約の実効化を可能とする。
の総和にｐ（ｌｋ）が含まれているからである。また、任意のｉについてｐ（ｌｉ）が０
に等しい場合にも上記式は解くことができない。したがって、ゼロでない傾斜を有する輝
度レベルセグメントを見つけるためには、輝度レベルセグメントは、確率ｐ（ｌｋ）が特
定の閾値ｐｔを超える輝度レベルセグメントに分割される：
【数17】
的に更新される：
【数18】
確率値、ここではｐ０＝０．０００１とする、で初期化すると、漸化式は迅速に収束し、
輝度レベルセグメントを傾斜がゼロのものと傾斜が正のものとに分離することを可能とし
、最適化問題の第１の制約の実効化を可能とする。
【0072】
様々な例示的実施形態によれば、約２０から約３０個の輝度レベルセグメントが規定さ
れる。このセグメント数の範囲内においては、イメージヒストグラムを与えられるだけで
、最小限の計算量的オーバーヘッドにてトーンカーブを見つけることができる。この場合
、より複雑なメトリックを伴う手法に比して複雑度が相当程度に緩和されるのであって、
例えば多数スケールピラミッド（multi-scale pyramid）の構築及び一連の２次プログラ
ミング問題（series of quadratic programming problems）の解決が必要とされる非特許
文献２９の手法よりも複雑度が相当程度に緩和される。非特許文献２９とは対照的に、視
覚的モデルの代わりに、単純なＬ２ノルムを用いてイメージコントラスト歪みを測る。も
っとも、トーンカーブの柔軟性が限定的であることを加味すると、複雑な視覚的モデルの
もたらす利点は僅かである。
れる。このセグメント数の範囲内においては、イメージヒストグラムを与えられるだけで
、最小限の計算量的オーバーヘッドにてトーンカーブを見つけることができる。この場合
、より複雑なメトリックを伴う手法に比して複雑度が相当程度に緩和されるのであって、
例えば多数スケールピラミッド（multi-scale pyramid）の構築及び一連の２次プログラ
ミング問題（series of quadratic programming problems）の解決が必要とされる非特許
文献２９の手法よりも複雑度が相当程度に緩和される。非特許文献２９とは対照的に、視
覚的モデルの代わりに、単純なＬ２ノルムを用いてイメージコントラスト歪みを測る。も
っとも、トーンカーブの柔軟性が限定的であることを加味すると、複雑な視覚的モデルの
もたらす利点は僅かである。
【0073】
トーンカーブ生成下位モジュール１３２は、トーンカーブの生成とトーンマッピングの
ためのトーンカーブの適用とに影響を及ぼす複数のコンテキストパラメータを受信するこ
とができる。このようなコンテキストパラメータは、トーン圧縮、露出、表示装置のピー
ク輝度、表示装置のダイナミックレンジ、及びアンビエント光を含むことができる。ユー
ザ定義パラメータは、局所的領域の個数・サイズ・方向、局所的及び大域的トーンカーブ
の組み合わせ時の効果割合、並びにトーン優先度（例えば、どのトーンにより高い優先度
を付与すべきかを制御する概念）を含むことができる。
ためのトーンカーブの適用とに影響を及ぼす複数のコンテキストパラメータを受信するこ
とができる。このようなコンテキストパラメータは、トーン圧縮、露出、表示装置のピー
ク輝度、表示装置のダイナミックレンジ、及びアンビエント光を含むことができる。ユー
ザ定義パラメータは、局所的領域の個数・サイズ・方向、局所的及び大域的トーンカーブ
の組み合わせ時の効果割合、並びにトーン優先度（例えば、どのトーンにより高い優先度
を付与すべきかを制御する概念）を含むことができる。
【0074】
ノイズ把握型及び内容把握型トーンカーブ
先述のセクションにおいては、確率ｐ（ｌｋ）は（イメージヒストグラムから取得され
た）イメージにおける所与の輝度値の発生頻度に対応するものと仮定されていた。もっと
も、該概念は、イメージ内の特定の輝度レベルの重要性を推定するための材料としては理
想的ではない、と解された。例えば、イメージの結構な部分が均質的な面（例えば、白色
の壁）を含んでいる場合、ヒストグラムに形成されるピーク故にそれに対応するｐ（ｌｋ
）は高い値となるであろう。通常の場合、平坦な面がイメージにおいて最も顕著な部分と
はならず、これらの部位に高重要度を割り当てて、急勾配のトーンカーブを割り付けるこ
とには大して意味があるとはいえない。同様に、夜間のシーンにおいては、相当程度の量
のノイズを包含し僅かなディテールのみを有する大きな領域が、多くの場合含まれる。こ
のような領域にダイナミックレンジを割り付けていては、ノイズが増幅され、見栄えが良
くない結果がもたらされることとなる。
先述のセクションにおいては、確率ｐ（ｌｋ）は（イメージヒストグラムから取得され
た）イメージにおける所与の輝度値の発生頻度に対応するものと仮定されていた。もっと
も、該概念は、イメージ内の特定の輝度レベルの重要性を推定するための材料としては理
想的ではない、と解された。例えば、イメージの結構な部分が均質的な面（例えば、白色
の壁）を含んでいる場合、ヒストグラムに形成されるピーク故にそれに対応するｐ（ｌｋ
）は高い値となるであろう。通常の場合、平坦な面がイメージにおいて最も顕著な部分と
はならず、これらの部位に高重要度を割り当てて、急勾配のトーンカーブを割り付けるこ
とには大して意味があるとはいえない。同様に、夜間のシーンにおいては、相当程度の量
のノイズを包含し僅かなディテールのみを有する大きな領域が、多くの場合含まれる。こ
のような領域にダイナミックレンジを割り付けていては、ノイズが増幅され、見栄えが良
くない結果がもたらされることとなる。
【0075】
様々な例示的実施形態によれば、トーンカーブは、マッピングされていないイメージの
イメージ顕著性をさらに考慮することによって、生成される。トーンカーブの一部の区分
的線形傾斜の各々について、区分的線形傾斜に対応する輝度レベルセグメントのイメージ
顕著性を、決定する。例えば、トーンカーブの一部の線形傾斜は、次の少なくとも２つの
項目の積についての全輝度レベルセグメントにわたっての和を減らすように決定され得る
：マッピングされていないイメージの任意の領域が第（ｋ番目）輝度レベルセグメント内
に入る輝度レベルを有する確率；第（ｋ番目）輝度レベルセグメントのイメージ顕著性；
及び所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数。
イメージ顕著性をさらに考慮することによって、生成される。トーンカーブの一部の区分
的線形傾斜の各々について、区分的線形傾斜に対応する輝度レベルセグメントのイメージ
顕著性を、決定する。例えば、トーンカーブの一部の線形傾斜は、次の少なくとも２つの
項目の積についての全輝度レベルセグメントにわたっての和を減らすように決定され得る
：マッピングされていないイメージの任意の領域が第（ｋ番目）輝度レベルセグメント内
に入る輝度レベルを有する確率；第（ｋ番目）輝度レベルセグメントのイメージ顕著性；
及び所与の第（ｋ番目）輝度レベルセグメントの区分的線形傾斜の関数。
【0076】
１つの例示的実施形態によれば、イメージ内容及びノイズレベルの両方を考慮してイメ
ージ顕著性を決定するのであり、それをさらに用いて第ｋ番目輝度レベルセグメントにつ
いての確率ｐ（ｌｋ）を決定する。イメージ顕著性を決定するに際しては、ノイズレベル
を超えるコントラスト変化を有する領域により高い重要性を割り当てる。先ず、標準偏差
としてとして局所的コントラストの推定値をガウス型ウィンドウをもって計算する：
ここで、＊は畳み込み演算子であり、ｇσは標準偏差がσのガウス核である（例えば、１
つの例示的実施形態ではσ＝３）。さらに、イメージ顕著性は、所与の第（ｋ番目）輝度
レベルセグメントについてのイメージコントラストが入力イメージのノイズモデルのノイ
ズレベルよりも大きくなるような入力イメージの領域の量についての関数であることがで
きる。例えば、確率については、画素の位置においてのノイズレベルｎよりも大きなコン
トラスト値によって重み付けされたヒストグラムを考える。これは次式で表すことができ
る：
とされ、Ｓはノイズのレベルより高い局所的コントラストを有する全ての画素の集合であ
り、Ｂｋは特定のヒストグラムのビンｋ内の画素を含むようなＳの部分集合である。実運
用上では、このアプローチの場合、センサ読み出しノイズによる影響を受ける暗部がより
暗いトーンへとシフトされるのであり、それらがより視認され難くなる。また、これによ
れば、大きな均質的な領域における過度に引き延ばされたコントラストが、回避されるこ
とになる。
ージ顕著性を決定するのであり、それをさらに用いて第ｋ番目輝度レベルセグメントにつ
いての確率ｐ（ｌｋ）を決定する。イメージ顕著性を決定するに際しては、ノイズレベル
を超えるコントラスト変化を有する領域により高い重要性を割り当てる。先ず、標準偏差
としてとして局所的コントラストの推定値をガウス型ウィンドウをもって計算する：
【数19】
つの例示的実施形態ではσ＝３）。さらに、イメージ顕著性は、所与の第（ｋ番目）輝度
レベルセグメントについてのイメージコントラストが入力イメージのノイズモデルのノイ
ズレベルよりも大きくなるような入力イメージの領域の量についての関数であることがで
きる。例えば、確率については、画素の位置においてのノイズレベルｎよりも大きなコン
トラスト値によって重み付けされたヒストグラムを考える。これは次式で表すことができ
る：
【数20】
り、Ｂｋは特定のヒストグラムのビンｋ内の画素を含むようなＳの部分集合である。実運
用上では、このアプローチの場合、センサ読み出しノイズによる影響を受ける暗部がより
暗いトーンへとシフトされるのであり、それらがより視認され難くなる。また、これによ
れば、大きな均質的な領域における過度に引き延ばされたコントラストが、回避されるこ
とになる。
【0077】
トーン優先度
上記にて提案されたノイズ把握型コントラスト測定は、イメージ顕著性についての単純
な測定であるとみなされ得る。仮にこの単純な顕著性測定が不十分のならば、より先進的
な測定を用いることができるのであり、例えば検知された顔や肌トーンにより高い顕著性
を割り当てることができる。一部の例においては、トーン優先度パラメータを含めること
が有益たり得るのであり、該パラメータはｐ（ｌｋ）値をそれらの入力対数輝度（input
log-luminance）に応じて重み付けることによって高位又は低位のトーンの重要性をバラ
ンシングする。これによって、作出されるイメージに対して追加的な創作的制御パラメー
タを得る。
上記にて提案されたノイズ把握型コントラスト測定は、イメージ顕著性についての単純
な測定であるとみなされ得る。仮にこの単純な顕著性測定が不十分のならば、より先進的
な測定を用いることができるのであり、例えば検知された顔や肌トーンにより高い顕著性
を割り当てることができる。一部の例においては、トーン優先度パラメータを含めること
が有益たり得るのであり、該パラメータはｐ（ｌｋ）値をそれらの入力対数輝度（input
log-luminance）に応じて重み付けることによって高位又は低位のトーンの重要性をバラ
ンシングする。これによって、作出されるイメージに対して追加的な創作的制御パラメー
タを得る。
【0078】
時間的一貫性
リアルタイムコントラスト歪みベースドＴＭＯについての１つの例示的実施形態によれ
ば、入力ビデオ（或いはマッピングされていないビデオ）における時間的な変化を考慮し
て、トーンマッピングされた出力イメージのフリッカリングを低減することができる。
リアルタイムコントラスト歪みベースドＴＭＯについての１つの例示的実施形態によれ
ば、入力ビデオ（或いはマッピングされていないビデオ）における時間的な変化を考慮し
て、トーンマッピングされた出力イメージのフリッカリングを低減することができる。
【0079】
イメージ統計値ｐ（ｌｋ）は一連のビデオフレーム間で急激に変化し得る。これによっ
て不快なフリッカリングアーチファクトがもたらされ得る（非特許文献１９を参照）。フ
リッカリングアーチファクトは、ベース－ディテール層分解工程でもたらされるか、又は
、フレーム間でトーンカーブが急激に変化する場合にもたらされる。
て不快なフリッカリングアーチファクトがもたらされ得る（非特許文献１９を参照）。フ
リッカリングアーチファクトは、ベース－ディテール層分解工程でもたらされるか、又は
、フレーム間でトーンカーブが急激に変化する場合にもたらされる。
【0080】
１つの例示的実施形態によれば、トーンマッピングされる入力ビデオの一連のフレーム
の各々について生成されるトーンカーブは、時間に関してフィルタリングされて、フリッ
カリングアーチファクトが減らされるか除去される。
の各々について生成されるトーンカーブは、時間に関してフィルタリングされて、フリッ
カリングアーチファクトが減らされるか除去される。
【0081】
トーンカーブのフィルタリングは、視覚的に最も関連性を有するデータに対して作用す
るのであり、これらはノード位置である。技術的な芸術家（technical artists）らと議
論したところ、フィルタに関しての選択は次の両方に依存することが見出された：トーン
マッピングの意図／芸術的目標、並びに、入力ビデオ。例えば、遮断周波数が０．５Ｈｚ
の３タップローパスＩＩＲ（3-tap low-pass IIR）フィルタを用いることができる。この
周波数は、可視的なフリッカを最小化するために選定された（非特許文献２９を参照）。
ＩＩＲフィルタは実装が簡単で、また、ＦＩＲよりも小さいフィルタサイズで済む。代替
的には、時間的エッジ停止フィルタを用いることができ、これによれば鋭敏な時間的推移
が保全される。もっとも、これらの（及び他の）フィルタで実験することによっては、時
間的な変化が激烈な場合を除いて、視覚的な向上は見受けられなかった。時間的フィルタ
の選定及びその画素応答（pixel response）に対する影響は、補足的資料にて詳述及び例
示される。実装例は、トーンカーブフィルタが可換とされる点において柔軟である。
るのであり、これらはノード位置である。技術的な芸術家（technical artists）らと議
論したところ、フィルタに関しての選択は次の両方に依存することが見出された：トーン
マッピングの意図／芸術的目標、並びに、入力ビデオ。例えば、遮断周波数が０．５Ｈｚ
の３タップローパスＩＩＲ（3-tap low-pass IIR）フィルタを用いることができる。この
周波数は、可視的なフリッカを最小化するために選定された（非特許文献２９を参照）。
ＩＩＲフィルタは実装が簡単で、また、ＦＩＲよりも小さいフィルタサイズで済む。代替
的には、時間的エッジ停止フィルタを用いることができ、これによれば鋭敏な時間的推移
が保全される。もっとも、これらの（及び他の）フィルタで実験することによっては、時
間的な変化が激烈な場合を除いて、視覚的な向上は見受けられなかった。時間的フィルタ
の選定及びその画素応答（pixel response）に対する影響は、補足的資料にて詳述及び例
示される。実装例は、トーンカーブフィルタが可換とされる点において柔軟である。
【0082】
時間的フィルタリングでは物体の明るさの一貫性が保たれない場合があることに留意さ
れたい（非特許文献１３）。即ち、幾つかの物体の明るさが経時的に徐々に変動するかも
しれない。他方で、明るさを保とうとすれば、達成可能なイメージコントラストは大幅に
減り、ビデオシーケンス全体を前処理することが必要となる。本願開示の手法では、物体
の明るさの一貫性をトレードオフして、より良好なコントラスト再現とリアルタイムオン
ライン処理を得ている。より低い遮断周波数を用いることによって、より強固な明るさ一
貫性を強制することができる。本願開示のトーンカーブ生成下位モジュール及び方法はフ
レーム毎のコントラスト歪みを低減する一方で、時間的フィルタは時間ドメインにおける
フリッカリング歪みを最小化する。時間的フィルタは、フレーム毎の解を最適点から動か
して当該フレームに関しては若干劣る解がもたらされるが、ビデオクリップ全体にとって
はより良好な解が得られる。ビデオシーケンス全体にとって最適なトーンカーブのファミ
リを探索することは可能ではあるが、そのようにすると方法がリアルタイム処理に適さな
くなり、また、もたらされる質の向上は僅かである。
れたい（非特許文献１３）。即ち、幾つかの物体の明るさが経時的に徐々に変動するかも
しれない。他方で、明るさを保とうとすれば、達成可能なイメージコントラストは大幅に
減り、ビデオシーケンス全体を前処理することが必要となる。本願開示の手法では、物体
の明るさの一貫性をトレードオフして、より良好なコントラスト再現とリアルタイムオン
ライン処理を得ている。より低い遮断周波数を用いることによって、より強固な明るさ一
貫性を強制することができる。本願開示のトーンカーブ生成下位モジュール及び方法はフ
レーム毎のコントラスト歪みを低減する一方で、時間的フィルタは時間ドメインにおける
フリッカリング歪みを最小化する。時間的フィルタは、フレーム毎の解を最適点から動か
して当該フレームに関しては若干劣る解がもたらされるが、ビデオクリップ全体にとって
はより良好な解が得られる。ビデオシーケンス全体にとって最適なトーンカーブのファミ
リを探索することは可能ではあるが、そのようにすると方法がリアルタイム処理に適さな
くなり、また、もたらされる質の向上は僅かである。
【0083】
局所的トーンカーブ
人間の視覚系は、局所的なシーン領域に適応できる能力故に、広い範囲の輝度レベルを
知覚することができる。このような空間的な局所的適応の正確な仕組み及び空間的広がり
については良く理解されてはいないが、例えば明るさ判定をなす際には、視野において局
所的及び大域的な情報プーリングがなされていることについて十分な証拠がある（非特許
文献３）。１つの例示的実施形態によれば、異なるトーンカーブが計算されて、フレーム
のイメージの異なるイメージ領域に対して適用される。非特許文献３５に示されているよ
うに、局所適応型トーンカーブは、目立つアーチファクトをもたらさずにして、イメージ
ディテールの視認性をかなり増大させることができる。図４は、大域的及び局所的トーン
カーブを用いて生成されたフレームを示す。
人間の視覚系は、局所的なシーン領域に適応できる能力故に、広い範囲の輝度レベルを
知覚することができる。このような空間的な局所的適応の正確な仕組み及び空間的広がり
については良く理解されてはいないが、例えば明るさ判定をなす際には、視野において局
所的及び大域的な情報プーリングがなされていることについて十分な証拠がある（非特許
文献３）。１つの例示的実施形態によれば、異なるトーンカーブが計算されて、フレーム
のイメージの異なるイメージ領域に対して適用される。非特許文献３５に示されているよ
うに、局所適応型トーンカーブは、目立つアーチファクトをもたらさずにして、イメージ
ディテールの視認性をかなり増大させることができる。図４は、大域的及び局所的トーン
カーブを用いて生成されたフレームを示す。
【0084】
したがって、トーンマッピングされるべき入力イメージは複数の局所的領域に細分化さ
れ、各局所的領域についてトーンカーブが決定される。１つの例示的実施形態によれば、
入力イメージは複数の垂直局所的領域に細分化される。代替的には、入力イメージは複数
の水平局所的領域に細分化される。
れ、各局所的領域についてトーンカーブが決定される。１つの例示的実施形態によれば、
入力イメージは複数の垂直局所的領域に細分化される。代替的には、入力イメージは複数
の水平局所的領域に細分化される。
【0085】
１つの例示的実施形態では、入力イメージは視野角換算で５度ずつに細分化されるので
あり（１５インチのフルＨＤディスプレイを４５ｃｍから見た場合の約２３０ピクセル分
に相当）、これは網膜上では中心窩のおよその直径に相当する。そして、各タイルｔにつ
いて個別的に重要度の値ｐｔ（ｌｋ）が計算される。このような局所的輝度重要性統計値
は、局所的トーンカーブを計算するために直接的に利用されることはできない。なぜなら
ば、これらは特定のタイルには含まれていないがイメージ中には存在している輝度レベル
については、ゼロの値を有しているからである。この結果、高度に局所適応化されたトー
ンカーブがもたらされ、イメージ全体にわたって大いに異なるものとなり、視認可能なト
ーン不連続性が惹起される。これについて補償するため、タイル毎のｐｔ（ｌｋ）値がイ
メージ全体のための大域的確率ｐ（ｌｋ）とブレンドされるのであって、大域対局所のブ
レンド比は１０％対９０％であり、そして局所的トーンカーブが計算される。局所的トー
ンカーブをイメージに適用するため、近隣タイル間でトーンカーブ値が補間され、これに
よって単一の大域的トーンカーブの場合になされる典型的な１－Ｄルックアップの代わり
に３Ｄルックアップがなされることになる。各局所的トーンカーブは、前のセクションに
て説明されたＩＩＲフィルタを用いて経時的に且つ独立的にフィルタリングされることを
要する。局所的トーンカーブに伴う計算量的オーバーヘッドは最低限のものであることに
留意されたい。なぜならば、最も計算量的に高コストな演算（即ち各タイルについてｐｔ
（ｌｋ）を計算すること）が、イメージ全体についてｐ（ｌｋ）値を計算するのとほぼ同
じ合計時間を要するからである。
あり（１５インチのフルＨＤディスプレイを４５ｃｍから見た場合の約２３０ピクセル分
に相当）、これは網膜上では中心窩のおよその直径に相当する。そして、各タイルｔにつ
いて個別的に重要度の値ｐｔ（ｌｋ）が計算される。このような局所的輝度重要性統計値
は、局所的トーンカーブを計算するために直接的に利用されることはできない。なぜなら
ば、これらは特定のタイルには含まれていないがイメージ中には存在している輝度レベル
については、ゼロの値を有しているからである。この結果、高度に局所適応化されたトー
ンカーブがもたらされ、イメージ全体にわたって大いに異なるものとなり、視認可能なト
ーン不連続性が惹起される。これについて補償するため、タイル毎のｐｔ（ｌｋ）値がイ
メージ全体のための大域的確率ｐ（ｌｋ）とブレンドされるのであって、大域対局所のブ
レンド比は１０％対９０％であり、そして局所的トーンカーブが計算される。局所的トー
ンカーブをイメージに適用するため、近隣タイル間でトーンカーブ値が補間され、これに
よって単一の大域的トーンカーブの場合になされる典型的な１－Ｄルックアップの代わり
に３Ｄルックアップがなされることになる。各局所的トーンカーブは、前のセクションに
て説明されたＩＩＲフィルタを用いて経時的に且つ独立的にフィルタリングされることを
要する。局所的トーンカーブに伴う計算量的オーバーヘッドは最低限のものであることに
留意されたい。なぜならば、最も計算量的に高コストな演算（即ち各タイルについてｐｔ
（ｌｋ）を計算すること）が、イメージ全体についてｐ（ｌｋ）値を計算するのとほぼ同
じ合計時間を要するからである。
【0086】
他のトーンカーブ生成方法との比較
トーンカーブを計算するためにヒストグラムを用いるのは、イメージエンハンスメント
手法として人気のあるヒストグラムイコライゼーションと似ているようにも見受けられ得
る。しかし、これら２つの方法の目的及び結果はかなり異なる。
トーンカーブを計算するためにヒストグラムを用いるのは、イメージエンハンスメント
手法として人気のあるヒストグラムイコライゼーションと似ているようにも見受けられ得
る。しかし、これら２つの方法の目的及び結果はかなり異なる。
【0087】
非特許文献２８に示されているように、ヒストグラムイコライゼーションは、次式に従
ってトーンカーブ傾斜を割り当てることに等しい：
ってトーンカーブ傾斜を割り当てることに等しい：
【数21】
【0088】
図５は、ヒストグラムイコライゼーション（赤色の線）及び本願開示のリアルタイムコ
ントラスト歪みベースドＴＭＯによるトーンカーブ生成による傾斜割り当てについてみた
、傾斜割り当ての比較である。図では、対応する輝度レベル（又はビン）の確率即ちｐ（
ｌｋ）に応じてどのようにしてトーンカーブの傾斜が割り当てられるかが、示されている
。イメージコントラスト歪みに基づいた本願開示のトーンカーブ生成による傾斜が（歪め
られていないコントラストに対応する値たる）１を超えることはない一方で、ヒストグラ
ムイコライゼーション法では、高確率（ｐ（ｌｋ））のセグメントに可能な限り最高のコ
ントラストを割り当てようとしている。付録Ｂにおいては、トーンカーブ傾斜は確率値ｐ
（ｌｋ）に指数関数的に関連していることが示されており、高確率なビンにかなり急な傾
斜が割り当てられる。ヒストグラムイコライゼーション法が、確率値ｐ（ｌｋ）が高くな
る均質的な画素値の領域を、過度にエンハンスしてしまいがちなのは、このことにもよる
。非特許文献４１は、この問題への対応として、最大確率ｐ（ｌｋ）を、閾値対強度関数
から決定された値に拘束する。もっとも、これはその場しのぎ的な手法であり、コントラ
スト歪みが最低限であることを保証しない。
ントラスト歪みベースドＴＭＯによるトーンカーブ生成による傾斜割り当てについてみた
、傾斜割り当ての比較である。図では、対応する輝度レベル（又はビン）の確率即ちｐ（
ｌｋ）に応じてどのようにしてトーンカーブの傾斜が割り当てられるかが、示されている
。イメージコントラスト歪みに基づいた本願開示のトーンカーブ生成による傾斜が（歪め
られていないコントラストに対応する値たる）１を超えることはない一方で、ヒストグラ
ムイコライゼーション法では、高確率（ｐ（ｌｋ））のセグメントに可能な限り最高のコ
ントラストを割り当てようとしている。付録Ｂにおいては、トーンカーブ傾斜は確率値ｐ
（ｌｋ）に指数関数的に関連していることが示されており、高確率なビンにかなり急な傾
斜が割り当てられる。ヒストグラムイコライゼーション法が、確率値ｐ（ｌｋ）が高くな
る均質的な画素値の領域を、過度にエンハンスしてしまいがちなのは、このことにもよる
。非特許文献４１は、この問題への対応として、最大確率ｐ（ｌｋ）を、閾値対強度関数
から決定された値に拘束する。もっとも、これはその場しのぎ的な手法であり、コントラ
スト歪みが最低限であることを保証しない。
【0089】
イメージコントラスト歪みに基づいた本願開示のトーンカーブ生成は、下位互換性を有
するＨＤＲイメージ及びビデオエンコーディング用途から導出された最適トーンカーブ法
にも似ている（非特許文献２８、図５の破線として図示）。この手法はヒストグラムイコ
ライゼーション法よりはコントラストエンハンスメントに関して積極性を減らしているが
、コントラストを保つ代わりにコントラストを依然としてブーストしてしまう。なぜなら
ば、この結果、ＬＤＲ層の逆トーンマッピング後のコーディングエラーが減るからである
。
するＨＤＲイメージ及びビデオエンコーディング用途から導出された最適トーンカーブ法
にも似ている（非特許文献２８、図５の破線として図示）。この手法はヒストグラムイコ
ライゼーション法よりはコントラストエンハンスメントに関して積極性を減らしているが
、コントラストを保つ代わりにコントラストを依然としてブーストしてしまう。なぜなら
ば、この結果、ＬＤＲ層の逆トーンマッピング後のコーディングエラーが減るからである
。
【0090】
トーンマッピングのためのフィルタ設計
ベース及びディテール層分解法（図１のｂ及びｄ）は、トーンマッピングにおいて局所
的コントラストを保つためによく用いられる手法である。エッジ保存ローパスフィルタに
よって取得されたベース層（ｂ）はトーンカーブを用いて圧縮され、また、ディテール層
（ｄ）は維持されるかエンハンスさえされる。
ベース及びディテール層分解法（図１のｂ及びｄ）は、トーンマッピングにおいて局所
的コントラストを保つためによく用いられる手法である。エッジ保存ローパスフィルタに
よって取得されたベース層（ｂ）はトーンカーブを用いて圧縮され、また、ディテール層
（ｄ）は維持されるかエンハンスさえされる。
【0091】
分解において最重要な観点は、フィルタリング方法の選定である。従前のＴＭＯは（概
説については非特許文献１９を参照）、例えばノイズ削減のために設計された古典的なイ
メージフィルタに大方依存してきた。ベース／ディテール層分解における一般的な選択肢
としては、双方向フィルタ（非特許文献５及び３９）がその単純さ故に選ばれてきた。も
っとも、古典的なイメージフィルタの意図と、トーンカーブ生成及びディテール抽出の目
的とには、根本的な相違点があり、これが問題となる。第１に、イメージのディテールは
ノイズよりも大きな空間的スケールで見出されるのであり、即ち視認可能なアーチファク
トの導入を伴わないためには空間的ドメイン及び強度ドメインにおいてより大きなサポー
トがディテール抽出フィルタによって必要とされている。第２に、最終結果が、ベース層
（ｂ）及びディテール層（ｄ）であり、フィルタリングされたイメージではない、という
ことが挙げられる。ディテール層はフィルタリングアーチファクトに対して感受性が高く
、エッジに沿っての挙動が極めて重要である。（通常のイメージフィルタリングにおいて
見えないかもしれないような）小さなアーチファクトであっても、特にビデオに関しては
、トーンマッピング後には視覚的に不快なものとなり得る。
説については非特許文献１９を参照）、例えばノイズ削減のために設計された古典的なイ
メージフィルタに大方依存してきた。ベース／ディテール層分解における一般的な選択肢
としては、双方向フィルタ（非特許文献５及び３９）がその単純さ故に選ばれてきた。も
っとも、古典的なイメージフィルタの意図と、トーンカーブ生成及びディテール抽出の目
的とには、根本的な相違点があり、これが問題となる。第１に、イメージのディテールは
ノイズよりも大きな空間的スケールで見出されるのであり、即ち視認可能なアーチファク
トの導入を伴わないためには空間的ドメイン及び強度ドメインにおいてより大きなサポー
トがディテール抽出フィルタによって必要とされている。第２に、最終結果が、ベース層
（ｂ）及びディテール層（ｄ）であり、フィルタリングされたイメージではない、という
ことが挙げられる。ディテール層はフィルタリングアーチファクトに対して感受性が高く
、エッジに沿っての挙動が極めて重要である。（通常のイメージフィルタリングにおいて
見えないかもしれないような）小さなアーチファクトであっても、特にビデオに関しては
、トーンマッピング後には視覚的に不快なものとなり得る。
【0092】
付録Ｃでは、なぜ双方向フィルタが、滑らかなエッジの根底にある信号（ベース層）の
正常の再構築に失敗するかが示されており、また、これがディテール層の分離にどのよう
な影響を及ぼすかが示されている。これらの観点が本願開示のフィルタ構築に活用されて
おり、双方向フィルタは異方性拡散法（非特許文献３４）に関連しており、ベース／ディ
テール層分解の目的のために特別に設計された効率的なフィルタがそこから導出される。
フィルタ構築： 伝導プロセスとしてイメージフィルタリングのための拡散オペレーショ
ンが遂行されるのであって、拡散ＰＤＥに従って画素値Ｉ（ｐ）は時間ｔに関してそれら
の近隣へと伝播される：
正常の再構築に失敗するかが示されており、また、これがディテール層の分離にどのよう
な影響を及ぼすかが示されている。これらの観点が本願開示のフィルタ構築に活用されて
おり、双方向フィルタは異方性拡散法（非特許文献３４）に関連しており、ベース／ディ
テール層分解の目的のために特別に設計された効率的なフィルタがそこから導出される。
フィルタ構築： 伝導プロセスとしてイメージフィルタリングのための拡散オペレーショ
ンが遂行されるのであって、拡散ＰＤＥに従って画素値Ｉ（ｐ）は時間ｔに関してそれら
の近隣へと伝播される：
【数22】
【0093】
ωｒ（ｐ，ｔ）＝ｃが一定である場合、該式は等方性熱拡散方程式になる。非線形拡散
においては、イメージ勾配マグニチュード（image gradient magnitude）を停止条件
として用いることによって、拡散を均質的イメージ領域に拘束することにより、エッジを
保存する。イメージフィルタリングにおいてこれは、時間ドメインを離散化することによ
って、及び、各画素ｐにおけるインフローＶをそれに最も近い近隣画素から適応型平滑化
手順によって反復的に計算することによって、近似される。これは、ｋ＋１回目の反復に
ついては次式で表される：
においては、イメージ勾配マグニチュード（image gradient magnitude）を停止条件
保存する。イメージフィルタリングにおいてこれは、時間ドメインを離散化することによ
って、及び、各画素ｐにおけるインフローＶをそれに最も近い近隣画素から適応型平滑化
手順によって反復的に計算することによって、近似される。これは、ｋ＋１回目の反復に
ついては次式で表される：
【数23】
【0094】
高コントラスト構造を保存するために、重み付け量は、空間ドメイン及び強度ドメイン
の両方における距離に基づいている。これとは対照的に、双方向フィルタは、加重平均の
ためにより広い近傍を用いて、単一の反復回において実行される。非特許文献１８におい
て説明されているように、より大きな空間的サポートを用いて０－オーダー異方性拡散法
（anisotropic diffusion）を拡張することができ、これによって双方向フィルタへの接
続を可能とすることができる：
の両方における距離に基づいている。これとは対照的に、双方向フィルタは、加重平均の
ためにより広い近傍を用いて、単一の反復回において実行される。非特許文献１８におい
て説明されているように、より大きな空間的サポートを用いて０－オーダー異方性拡散法
（anisotropic diffusion）を拡張することができ、これによって双方向フィルタへの接
続を可能とすることができる：
【数24】
【0095】
ここで、αは拡散レートであり、双方向フィルタに関しては次の正規化として理解する
ことができる：α＝１／Σｗｓｗｒ。異なる近傍Ω、空間的重み付け量ｗｓ、及び強度重
み付け量ｗｒを用いることによって、様々な異なるフィルタを記述することができる。異
方性（anisotropic）拡散フィルタ及び双方向フィルタに関しては、これらの関数は表１
に示す。複雑度を低く抑えるために、また、アーチファクトを避けるために、等方性アプ
ローチ（an isotropic approach）を用いる：
ここで、▽Ｉ（ｐ）は画素位置ｐにおけるイメージ勾配である。画素毎のエッジ停止関数
ｗｒを用いて重み付けされる線形フィルタを反復的に適用することによって、このフィル
タをかなり迅速に評価することができる。等方性カーネルはｐの周りに均質的に分布して
いるサンプルを有しているため、シャープニング過多の問題を起こさずして偏りのない結
果が得られる。エッジを保存するためにカーネルのサイズはイメージ構造に適応させられ
る。すなわち、より少ない個数のサンプルが傾斜の急な（高勾配な）エッジに沿って用い
られることを意味する。もっとも、空間フィルタリングの狙いはベース／ディテールの分
離であるため、アーチファクトを発生させるような危険を冒すよりも、ディテールがエッ
ジに沿ってあまり目立たないものとなることを許した方がより無難である（図９を参照）
。さらに、エッジ自体が知覚的に支配的であるため、間違ったエッジ及び／又は時間的に
インコヒーレントなエッジに比べると、テクスチャディテールの喪失可能性の方がより少
ない問題性を呈する。
ことができる：α＝１／Σｗｓｗｒ。異なる近傍Ω、空間的重み付け量ｗｓ、及び強度重
み付け量ｗｒを用いることによって、様々な異なるフィルタを記述することができる。異
方性（anisotropic）拡散フィルタ及び双方向フィルタに関しては、これらの関数は表１
に示す。複雑度を低く抑えるために、また、アーチファクトを避けるために、等方性アプ
ローチ（an isotropic approach）を用いる：
【数25】
ｗｒを用いて重み付けされる線形フィルタを反復的に適用することによって、このフィル
タをかなり迅速に評価することができる。等方性カーネルはｐの周りに均質的に分布して
いるサンプルを有しているため、シャープニング過多の問題を起こさずして偏りのない結
果が得られる。エッジを保存するためにカーネルのサイズはイメージ構造に適応させられ
る。すなわち、より少ない個数のサンプルが傾斜の急な（高勾配な）エッジに沿って用い
られることを意味する。もっとも、空間フィルタリングの狙いはベース／ディテールの分
離であるため、アーチファクトを発生させるような危険を冒すよりも、ディテールがエッ
ジに沿ってあまり目立たないものとなることを許した方がより無難である（図９を参照）
。さらに、エッジ自体が知覚的に支配的であるため、間違ったエッジ及び／又は時間的に
インコヒーレントなエッジに比べると、テクスチャディテールの喪失可能性の方がより少
ない問題性を呈する。
【0096】
エッジに沿ってのフィルタの挙動は、エッジ停止関数及び勾配推定計算態様によって、
決定される。等方性カーネルの場合、フローをエッジの近くまで伝播させつつエッジを超
えないようにするためには、控えめな停止関数が本質的に必要となることが見出された。
これを達成するためには、Tukeyのbiweight （Tukey’s biweight）法（非特許文献１２
）を用いるのであり（表１を参照）、該手法ではλ以上の勾配マグニチュードにて拡散を
控えめに停止する。また、ロバストな勾配定式化が用いられるのであり、これは画素ｐ＝
（ｘ，ｙ）の周りの近傍Ωｐに広がる直線ランプとして表され、次式による：
ここで、
は天井演算を表す。この定式化によって、例えばガウス差（ＤｏＧ、difference of Gaus
sians）を用いる場合等と比べて、より速く拡散がエッジにて停止する。式（２６）を式
（２７）と組み合わせると、画素が近傍Ωの半径よりも高コントラストなエッジに近接し
た場合に、フローが完全に停止される。高速な拡散を保証しつつエッジに付近でのフィル
タリングを可能とするために、Ωのサイズに関しては、とても小さいカーネルから開始し
て拡散の進行に応じてその半径を増大させていく。Ωのサイズは、Ｎ回の反復後のフィル
タのネットサイズがＮσとなるように変化するのであって、ここでσはカーネルの初期サ
イズである。換言すれば、
である。最後に、元のイメージまでへの距離を用いた拡散手順は、潜在的な極端な値の再
構築段階における発現を回避するために、律則される（アルゴリズム１の第７行を参照）
。
決定される。等方性カーネルの場合、フローをエッジの近くまで伝播させつつエッジを超
えないようにするためには、控えめな停止関数が本質的に必要となることが見出された。
これを達成するためには、Tukeyのbiweight （Tukey’s biweight）法（非特許文献１２
）を用いるのであり（表１を参照）、該手法ではλ以上の勾配マグニチュードにて拡散を
控えめに停止する。また、ロバストな勾配定式化が用いられるのであり、これは画素ｐ＝
（ｘ，ｙ）の周りの近傍Ωｐに広がる直線ランプとして表され、次式による：
【数26】
sians）を用いる場合等と比べて、より速く拡散がエッジにて停止する。式（２６）を式
（２７）と組み合わせると、画素が近傍Ωの半径よりも高コントラストなエッジに近接し
た場合に、フローが完全に停止される。高速な拡散を保証しつつエッジに付近でのフィル
タリングを可能とするために、Ωのサイズに関しては、とても小さいカーネルから開始し
て拡散の進行に応じてその半径を増大させていく。Ωのサイズは、Ｎ回の反復後のフィル
タのネットサイズがＮσとなるように変化するのであって、ここでσはカーネルの初期サ
イズである。換言すれば、
【数27】
構築段階における発現を回避するために、律則される（アルゴリズム１の第７行を参照）
。
【0097】
フィルタ設計の最終的定式化は、表１で提示され、アルゴリズム１で概説される。反復
回数Ｎを設定するに際しての動機付けを含む収束挙動分析は、付属の資料に含まれている
。１つの例示的実施形態によれば、Ｎ＝１２回とした反復回数が用いられる。
回数Ｎを設定するに際しての動機付けを含む収束挙動分析は、付属の資料に含まれている
。１つの例示的実施形態によれば、Ｎ＝１２回とした反復回数が用いられる。
【0098】
フィルタリング方法は、入力イメージにスペシャルフィルタを適用して、ベース層とデ
ィテール層とを生成することを含む。複数の画素の各々について、画素の周囲の領域内に
、入力イメージのエッジが存在しているか否かが決定される。画素の周囲の領域内にエッ
ジが存在していることに基づいて、フィルタリングカーネルがその画素に対して選択的に
適用される。空間フィルタ（spatial filter）は反復的に適用することができ、反復毎に
フィルタリングカーネルのサイズを増大させていくことができる。所与の画素については
、所与の画素の周囲の領域内に所定のエッジ閾値を超過する勾配があると決定された場合
には、反復回にわたってのフィルタリングのフローは停止されるのであり、これによって
その領域内にエッジが存在することが表される。
ィテール層とを生成することを含む。複数の画素の各々について、画素の周囲の領域内に
、入力イメージのエッジが存在しているか否かが決定される。画素の周囲の領域内にエッ
ジが存在していることに基づいて、フィルタリングカーネルがその画素に対して選択的に
適用される。空間フィルタ（spatial filter）は反復的に適用することができ、反復毎に
フィルタリングカーネルのサイズを増大させていくことができる。所与の画素については
、所与の画素の周囲の領域内に所定のエッジ閾値を超過する勾配があると決定された場合
には、反復回にわたってのフィルタリングのフローは停止されるのであり、これによって
その領域内にエッジが存在することが表される。
【0099】
【0100】
【表2】
【0101】
様々な例示的実施形態によれば、アルゴリズム１に示されているように、入力イメージ
又はビデオ１０８は、フィルタリングの適用を受ける前に、対数ドメイン（ｌ＝ｌｏｇ（
ｌ））へと変換される。
又はビデオ１０８は、フィルタリングの適用を受ける前に、対数ドメイン（ｌ＝ｌｏｇ（
ｌ））へと変換される。
【0102】
１つ以上のユーザ定義パラメータをフィルタリング下位モジュール１２８に適用するこ
とができる。これらには、次の１つ以上が含まれることができる：空間ドメインにおける
フィルタサイズ（例えば、σ）、反復の回数、及びエッジ停止関数に適用される閾値。
とができる。これらには、次の１つ以上が含まれることができる：空間ドメインにおける
フィルタサイズ（例えば、σ）、反復の回数、及びエッジ停止関数に適用される閾値。
【0103】
他の方法との比較
図７は、異なるローパスエッジ停止フィルタの挙動を示すために、１次元的な信号につ
いて図示しており、同図は、これらのフィルタを、様々な例示的実施形態による本願開示
の高速ディテール抽出型拡散フィルタと比較する。入力（７ａ）は、ノイズ関数を用いて
ディテール（緑）を付加した信号（ブルー）である。そして、フィルタを用いて、ディテ
ールなしに信号を再構築する。再構築のＭＳＥは、１０４でスケーリングされて、数値的
比較のために供される。本願開示のディテール抽出拡散法は、次のフィルタと比較される
：古典的な双方向フィルタ（ＢＦ）及び異方性拡散フィルタ（ＡＤ）、トライラテラルフ
ィルタ（ＴＦ）、並びに、現在の水準の最先端フィルタたる高速局所的ラプラシアン（Ｆ
ＬＬ、fast local laplacian）フィルタ（非特許文献４）。区分的一定性の仮定が成立す
る場合の左側のステップエッジにおいては、ゼロ次フィルタは何らの問題ももたらさない
。もっとも、右側の平滑エッジに関しては、ＢＦはバンディングをもたらし、ＡＤは階段
状アーチファクトをもたらしがちである。ＴＦ、ＦＬＬ及び本願開示のディテール抽出拡
散フィルタは、視認可能なアーチファクトを生成しない。もっとも、本願開示のディテー
ル抽出拡散フィルタに比べると、ＴＦ及びＦＬＬは共に計算量的に高コストである。さら
なる重要な差異としては、本願開示のディテール抽出拡散フィルタはアーチファクトをも
たらさずにしてトーンマッピングのためのディテール抽出をなすように特別に設計されて
いるのに対して、例えばＦＬ等は平滑な強度推移において偽のエッジを作成しがちである
、ということが挙げられる。
図７は、異なるローパスエッジ停止フィルタの挙動を示すために、１次元的な信号につ
いて図示しており、同図は、これらのフィルタを、様々な例示的実施形態による本願開示
の高速ディテール抽出型拡散フィルタと比較する。入力（７ａ）は、ノイズ関数を用いて
ディテール（緑）を付加した信号（ブルー）である。そして、フィルタを用いて、ディテ
ールなしに信号を再構築する。再構築のＭＳＥは、１０４でスケーリングされて、数値的
比較のために供される。本願開示のディテール抽出拡散法は、次のフィルタと比較される
：古典的な双方向フィルタ（ＢＦ）及び異方性拡散フィルタ（ＡＤ）、トライラテラルフ
ィルタ（ＴＦ）、並びに、現在の水準の最先端フィルタたる高速局所的ラプラシアン（Ｆ
ＬＬ、fast local laplacian）フィルタ（非特許文献４）。区分的一定性の仮定が成立す
る場合の左側のステップエッジにおいては、ゼロ次フィルタは何らの問題ももたらさない
。もっとも、右側の平滑エッジに関しては、ＢＦはバンディングをもたらし、ＡＤは階段
状アーチファクトをもたらしがちである。ＴＦ、ＦＬＬ及び本願開示のディテール抽出拡
散フィルタは、視認可能なアーチファクトを生成しない。もっとも、本願開示のディテー
ル抽出拡散フィルタに比べると、ＴＦ及びＦＬＬは共に計算量的に高コストである。さら
なる重要な差異としては、本願開示のディテール抽出拡散フィルタはアーチファクトをも
たらさずにしてトーンマッピングのためのディテール抽出をなすように特別に設計されて
いるのに対して、例えばＦＬ等は平滑な強度推移において偽のエッジを作成しがちである
、ということが挙げられる。
【0104】
図８は、同じトーンカーブを用いつつ、ディテール抽出のためになされる異なるエッジ
保存フィルタの適用例を示す。ディテールはスケーリング係数を５としてスケーリングさ
れてフィルタリングにおける差異点及びアーチファクトを際立たせており、拡大されたバ
ージョンはイメージ中における四角い枠の領域に関しての詳細を表している。それぞれの
フィルタのＭａｔｌａｂでの実装例の所要時間も表示されており、所要時間は本願開示の
リアルタイムコントラスト歪みベースドＴＭＯのフィルタリングとの比較で表されている
。
保存フィルタの適用例を示す。ディテールはスケーリング係数を５としてスケーリングさ
れてフィルタリングにおける差異点及びアーチファクトを際立たせており、拡大されたバ
ージョンはイメージ中における四角い枠の領域に関しての詳細を表している。それぞれの
フィルタのＭａｔｌａｂでの実装例の所要時間も表示されており、所要時間は本願開示の
リアルタイムコントラスト歪みベースドＴＭＯのフィルタリングとの比較で表されている
。
【0105】
リアルタイムコントラスト歪みベースドＴＭＯとの関係では、本願開示のトーンカーブ
はフィルタリングされたイメージに適用されており、それに続いて抽出されたディテール
が戻されており、抽出されたディテールは印刷物上でも容易に比較できるようにスケーリ
ングされている。高速局所的ラプラシアン（ＦＬＬ）フィルタについての事例が表示され
ており、本願開示のディテール抽出拡散フィルタと現在の最先端水準のフィルタリングと
の間の差異を明らかにしている。さらに、非特許文献６で提案されているディテール抽出
のための透過性フィルタ（ＰＦ、permeability filter）も図中で明かされている。この
フィルタは微少なディテールエンハンスメントから中程度のディテールエンハンスメント
までは良好に機能するが、より強い操作が絡むとアーチファクトが明確に視認されるよう
になる。例を見れば、古典的なゼロ次フィルタ（ＢＦ及びＡＤ）に見られるアーチファク
トの発生の危険を冒すよりは、エッジの周りでのフィルタリングを制限するのがより好ま
しいことであるということが明白となる。ＦＬＬ及びＰＦと比較すると、本願開示のディ
テール抽出用の拡散フィルタは、幾つかのエッジに沿って僅かな量のディテールを失うか
もしれない。もっとも、トーンマッピングに際しては、これが好適な挙動である。なぜな
らば、このようにすることによってロバストなディテールエンハンスメントが担保される
からなのであり、これに対して、他のフィルタは滑らかなイメージ変化箇所（例えば、図
８のシャツや指のエッジを参照）にて人工的なエッジ（リンギングアーチファクト）や時
間的な不一致をもたらし得る
はフィルタリングされたイメージに適用されており、それに続いて抽出されたディテール
が戻されており、抽出されたディテールは印刷物上でも容易に比較できるようにスケーリ
ングされている。高速局所的ラプラシアン（ＦＬＬ）フィルタについての事例が表示され
ており、本願開示のディテール抽出拡散フィルタと現在の最先端水準のフィルタリングと
の間の差異を明らかにしている。さらに、非特許文献６で提案されているディテール抽出
のための透過性フィルタ（ＰＦ、permeability filter）も図中で明かされている。この
フィルタは微少なディテールエンハンスメントから中程度のディテールエンハンスメント
までは良好に機能するが、より強い操作が絡むとアーチファクトが明確に視認されるよう
になる。例を見れば、古典的なゼロ次フィルタ（ＢＦ及びＡＤ）に見られるアーチファク
トの発生の危険を冒すよりは、エッジの周りでのフィルタリングを制限するのがより好ま
しいことであるということが明白となる。ＦＬＬ及びＰＦと比較すると、本願開示のディ
テール抽出用の拡散フィルタは、幾つかのエッジに沿って僅かな量のディテールを失うか
もしれない。もっとも、トーンマッピングに際しては、これが好適な挙動である。なぜな
らば、このようにすることによってロバストなディテールエンハンスメントが担保される
からなのであり、これに対して、他のフィルタは滑らかなイメージ変化箇所（例えば、図
８のシャツや指のエッジを参照）にて人工的なエッジ（リンギングアーチファクト）や時
間的な不一致をもたらし得る
【0106】
フィルタの性能についての指標を提供するため、処理時間も図８に示されている。これ
らの時間指標は本願開示のディテール抽出拡散フィルタと比較した相対値であり、全ての
時間指標はＭａｔｌａｂ実装例に関する時間を表している（ＢＦについては双方向グリッ
ド加速スキームが用いられている（非特許文献１５））。これらの指標は並列化されてい
ないコードに関しての単純な性能指標としての役割を果たすのであり、評価行為の複雑度
を反映している。もっとも、これらの異なる方法は並列化に関して異なる程度の有望性を
有しているのであり、例えば本願開示のディテール抽出拡散フィルタはこの目的のために
特に設計されているのであり、該フィルタによればＧＰＵを用いた場合にはおよそ２桁の
オーダーでの性能向上が見受けられる。
らの時間指標は本願開示のディテール抽出拡散フィルタと比較した相対値であり、全ての
時間指標はＭａｔｌａｂ実装例に関する時間を表している（ＢＦについては双方向グリッ
ド加速スキームが用いられている（非特許文献１５））。これらの指標は並列化されてい
ないコードに関しての単純な性能指標としての役割を果たすのであり、評価行為の複雑度
を反映している。もっとも、これらの異なる方法は並列化に関して異なる程度の有望性を
有しているのであり、例えば本願開示のディテール抽出拡散フィルタはこの目的のために
特に設計されているのであり、該フィルタによればＧＰＵを用いた場合にはおよそ２桁の
オーダーでの性能向上が見受けられる。
【0107】
ノイズ把握型局所的コントラスト制御
ベース層が局所的トーンカーブを用いてトーンマッピングされたらば、組み合わせ下位
モジュール１３６にてこれをディテール層と再度組み合わせることができる。ディテール
層に変化がもたらされていない場合、トーンマッピングにおいて局所的コントラストは保
存されることになる。ディテール層の値が増幅又はエンハンスされている場合、イメージ
ディテールはブーストされるのであり、高品質のエッジ停止空間フィルタを用いて組み合
わされた際には魅力的な様相をもたらし得る。もっとも、イメージディテールをエンハン
スすることには、ノイズ増幅の危険がつきまとう。ノイズ把握型トーンカーブ（セクショ
ン４．１）はより暗いトーンにおける幾らかのノイズ（特にセンサ読み出しノイズ）を隠
蔽できるが、より明るいイメージ部分におけるノイズを隠すことに関しては効果的ではな
い。
ベース層が局所的トーンカーブを用いてトーンマッピングされたらば、組み合わせ下位
モジュール１３６にてこれをディテール層と再度組み合わせることができる。ディテール
層に変化がもたらされていない場合、トーンマッピングにおいて局所的コントラストは保
存されることになる。ディテール層の値が増幅又はエンハンスされている場合、イメージ
ディテールはブーストされるのであり、高品質のエッジ停止空間フィルタを用いて組み合
わされた際には魅力的な様相をもたらし得る。もっとも、イメージディテールをエンハン
スすることには、ノイズ増幅の危険がつきまとう。ノイズ把握型トーンカーブ（セクショ
ン４．１）はより暗いトーンにおける幾らかのノイズ（特にセンサ読み出しノイズ）を隠
蔽できるが、より明るいイメージ部分におけるノイズを隠すことに関しては効果的ではな
い。
【0108】
１つの例示的実施形態によれば、ディテール層は、トーンマッピングされたベース層の
視認性閾値と入力イメージ又はビデオ１０８のノイズモデルとに基づいて調節される。
視認性閾値と入力イメージ又はビデオ１０８のノイズモデルとに基づいて調節される。
【0109】
１つの例示的実施形態によれば、調節は次式で表されることができる：
ここで、Ｖ（ｂｔｍ（ｘ，ｙ））は式（３）からの視認性閾値であり、ｎ（ｂ（ｘ，ｙ）
）は対数輝度ドメイン内におけるノイズレベルである（式（２））。ここで、視認性はト
ーンカーブｂｔｍによってもたらされた表示された対数輝度に基づいて評価されるのであ
り、一方でノイズは入力イメージの対数輝度に依存する、ということに留意されたい。ｅ
は随意的な局所的コントラストエンハンスメントパラメータであり、ディテールのブース
トを可能とするものであり、これによって創造的制御能力がもたらされる。式内の「ｍｉ
ｎ」項は、ノイズ振幅が検知閾値を超過するときにはコントラストを実効的に削減する働
きのものであり、この場合は図２のノイズ振幅を表すマジェンタ色の線が視認性閾値を表
すブルー色の線を上回っている場合に対応する。
【数28】
）は対数輝度ドメイン内におけるノイズレベルである（式（２））。ここで、視認性はト
ーンカーブｂｔｍによってもたらされた表示された対数輝度に基づいて評価されるのであ
り、一方でノイズは入力イメージの対数輝度に依存する、ということに留意されたい。ｅ
は随意的な局所的コントラストエンハンスメントパラメータであり、ディテールのブース
トを可能とするものであり、これによって創造的制御能力がもたらされる。式内の「ｍｉ
ｎ」項は、ノイズ振幅が検知閾値を超過するときにはコントラストを実効的に削減する働
きのものであり、この場合は図２のノイズ振幅を表すマジェンタ色の線が視認性閾値を表
すブルー色の線を上回っている場合に対応する。
【0110】
組み合わせ下位モジュール１３６は、ベース層とディテール層との組み合わせに影響を
及ぼす１つ以上のコンテキストパラメータを受信する。これらのパラメータは次の１つ以
上を含む：ノイズモデルからのノイズ特性及びピーク輝度やコントラストやアンビエント
反射率等のディスプレイモデル特性。
及ぼす１つ以上のコンテキストパラメータを受信する。これらのパラメータは次の１つ以
上を含む：ノイズモデルからのノイズ特性及びピーク輝度やコントラストやアンビエント
反射率等のディスプレイモデル特性。
【0111】
逆ディスプレイモデリング下位モジュール１４０はディスプレイモデルをさらに構築す
るのであり、構築は少なくとも次の要素に基づいてなされる：ピーク輝度、コントラスト
／黒レベル、アンビエント反射率、アンビエント光。逆ディスプレイモデリングは、局所
的トーンカーブを生成するのに用いられた局所的領域のサイズ及び向きにさらに基づいて
いることができ、これはユーザ定義パラメータである。
るのであり、構築は少なくとも次の要素に基づいてなされる：ピーク輝度、コントラスト
／黒レベル、アンビエント反射率、アンビエント光。逆ディスプレイモデリングは、局所
的トーンカーブを生成するのに用いられた局所的領域のサイズ及び向きにさらに基づいて
いることができ、これはユーザ定義パラメータである。
【0112】
図１７を参照するに、同図においては、１つの例示的実施形態によるトーンマッピング
方法の動作ステップについてのフローチャートが示されている。
方法の動作ステップについてのフローチャートが示されている。
【0113】
ステップ２０４にて、入力イメージ又はビデオ１０８が受信される。
【0114】
ステップ２０８にて、入力イメージ又はビデオ１０８のノイズモデルが受信又は生成さ
れる。例えば、ノイズモデリングモジュール１１６との関連で提供された詳細に従って、
ノイズモデルが生成されることができる。
れる。例えば、ノイズモデリングモジュール１１６との関連で提供された詳細に従って、
ノイズモデルが生成されることができる。
【0115】
ステップ２１６にて、フィルタリングが適用されて、入力イメージ又はビデオ１０８の
ベース層とディテール層とが抽出される。例えば、フィルタリングはフィルタリング下位
モジュール１２８との関連で説明されたエッジ停止空間フィルタリングであることができ
る。
ベース層とディテール層とが抽出される。例えば、フィルタリングはフィルタリング下位
モジュール１２８との関連で説明されたエッジ停止空間フィルタリングであることができ
る。
【0116】
ステップ２２０にて、１つ以上のトーンカーブ（例えば、大域的トーンカーブ及び／又
は複数の局所的トーンカーブ）がベース層のために生成されて、ベース層はトーンマッピ
ングされる。例えば、トーンカーブ生成下位モジュール１３２との関連で説明されたよう
に、１つ以上のトーンカーブはイメージコントラスト歪みについてのモデルに基づいて生
成されることができる。
は複数の局所的トーンカーブ）がベース層のために生成されて、ベース層はトーンマッピ
ングされる。例えば、トーンカーブ生成下位モジュール１３２との関連で説明されたよう
に、１つ以上のトーンカーブはイメージコントラスト歪みについてのモデルに基づいて生
成されることができる。
【0117】
ステップ２２４にて、トーンマッピングされたベース層とディテール層とが組み合わさ
れる。例えば、組み合わせ下位モジュール１３６との関連で説明されたように、組み合わ
せるに際してノイズの存在に基づいてスケーリングを適用することができる。
れる。例えば、組み合わせ下位モジュール１３６との関連で説明されたように、組み合わ
せるに際してノイズの存在に基づいてスケーリングを適用することができる。
【0118】
ステップ２２８にて、コンテキストパラメータ及び／又は表示装置のパラメータに基づ
いて、逆ディスプレイモデルを随意的に適用することができる。
いて、逆ディスプレイモデルを随意的に適用することができる。
【0119】
結果及び用途
このセクションでは、様々な例示的実施形態との関係で説明されたトーンマッピングシ
ステム及び方法について概説を提示するのであって、該概説は、視覚的質、性能及び機能
の観点から著されている。ノイズ把握能力や、ディスプレイ及び観察条件への適応能力や
、ディテールエンハンスメント能力等を含む具体的な機能も論じられており、これによっ
てどのようにして本願開示の様々な例示的実施形態によるトーンマッピングのシステム及
び方法を、共通のイメージング用途の文脈において適用することができるかを例示してい
る。
このセクションでは、様々な例示的実施形態との関係で説明されたトーンマッピングシ
ステム及び方法について概説を提示するのであって、該概説は、視覚的質、性能及び機能
の観点から著されている。ノイズ把握能力や、ディスプレイ及び観察条件への適応能力や
、ディテールエンハンスメント能力等を含む具体的な機能も論じられており、これによっ
てどのようにして本願開示の様々な例示的実施形態によるトーンマッピングのシステム及
び方法を、共通のイメージング用途の文脈において適用することができるかを例示してい
る。
【0120】
結果及び評価
本願開示のトーンマッピングシステム及び方法の性能を視覚的質の観点にて評価するた
めに、主観的評価を質的分析実験として行った。実験では、本願開示のトーンマッピング
システム及び方法の実装例を、次の６つの最先端のビデオトーンマッピング方法と比較し
た：即ち、２つの大域的オペレータたる、Mal-adaptation ＴＭＯ（非特許文献２２）と
、ディスプレイ適応ＴＭＯ（非特許文献２９）、並びに、４つの局所的オペレータたる、
仮想露出ＴＭＯ（非特許文献１０）と、時間コヒーレンスＴＭＯ（非特許文献１３）と、
ゾーナル時間コヒーレンスＴＭＯ（非特許文献１４）と、運動経路フィルタリング（非特
許文献６）。評価は採点実験として遂行され、イメージ処理の経験を積んでいるユーザ１
０人に対して、ビデオクリップのセットをランダムな順序で見させた。これらのクリップ
は、非特許文献２１から入手されており、７つのオペレータを用いて各々をトーンマッピ
ングした。ユーザには次の属性に関して各クリップを採点するように依頼したのであり、
これによって局所的レベルにおけるコントラストを評価した：全般的な明るさ、全般的な
コントラスト、全般的な彩度、時間的な色一貫性、時間的フリッカリング、ゴースティン
グ、過度のノイズ、及び、ディテール再現性。採点の最終結果は、観測者達の平均値とさ
れており、図９に示されており、それぞれの異なるシーケンスについて示されている。総
評するに、本願開示のトーンマッピングシステム及び方法によれば、視認可能なアーチフ
ァクトをもたらさずにして、丁度良いレベルのイメージ特性を呈する結果を一貫して提供
することができる、という点が見出された。
本願開示のトーンマッピングシステム及び方法の性能を視覚的質の観点にて評価するた
めに、主観的評価を質的分析実験として行った。実験では、本願開示のトーンマッピング
システム及び方法の実装例を、次の６つの最先端のビデオトーンマッピング方法と比較し
た：即ち、２つの大域的オペレータたる、Mal-adaptation ＴＭＯ（非特許文献２２）と
、ディスプレイ適応ＴＭＯ（非特許文献２９）、並びに、４つの局所的オペレータたる、
仮想露出ＴＭＯ（非特許文献１０）と、時間コヒーレンスＴＭＯ（非特許文献１３）と、
ゾーナル時間コヒーレンスＴＭＯ（非特許文献１４）と、運動経路フィルタリング（非特
許文献６）。評価は採点実験として遂行され、イメージ処理の経験を積んでいるユーザ１
０人に対して、ビデオクリップのセットをランダムな順序で見させた。これらのクリップ
は、非特許文献２１から入手されており、７つのオペレータを用いて各々をトーンマッピ
ングした。ユーザには次の属性に関して各クリップを採点するように依頼したのであり、
これによって局所的レベルにおけるコントラストを評価した：全般的な明るさ、全般的な
コントラスト、全般的な彩度、時間的な色一貫性、時間的フリッカリング、ゴースティン
グ、過度のノイズ、及び、ディテール再現性。採点の最終結果は、観測者達の平均値とさ
れており、図９に示されており、それぞれの異なるシーケンスについて示されている。総
評するに、本願開示のトーンマッピングシステム及び方法によれば、視認可能なアーチフ
ァクトをもたらさずにして、丁度良いレベルのイメージ特性を呈する結果を一貫して提供
することができる、という点が見出された。
【0121】
図１０は、以下のＴＭＯについての代表的な視覚的比較の例を示している：本願開示の
リアルタイムコントラスト歪みベースドＴＭＯ及びユーザ評価から選び出した２つの最先
端のＴＭＯ。図中においては、本願開示のトーンマッピングシステム及び方法を、次のＴ
ＭＯのうちで最良の性能を示すものと比較している：非特許文献１９の評価に含まれてい
たものと、ディスプレイ適応ＴＭＯ（非特許文献２９）と、仮想露出ＴＭＯ（非特許文献
１０）。拡大部分は、それぞれ、低輝度領域及び高輝度領域におけるトーンマッピングの
例を示している。大域的処理に頼るディスプレイ適応ＴＭＯは、シーン内の大きなダイナ
ミックレンジを圧縮するのに苦戦しており、それ故に明るい結果並びに局所的ディテール
及びコントラストの喪失がもたらされてしまう。仮想露出ＴＭＯは双方向フィルタリング
に頼っており、幾つかの場合においてはエッジに沿ってのリンギングアーチファクトがも
たらされる。トーンカーブを経時的に適応していくことにも問題があり、結果として不快
な経時的フリッカリングがもたらされる（図９を参照）。これらのＴＭＯに比べると、本
願開示のリアルタイムコントラスト歪みベースドＴＭＯはシーン内のダイナミックレンジ
を秀逸に扱っており、何らのアーチファクトをもたらさずにして局所的ディテール及びコ
ントラストを保存している。
リアルタイムコントラスト歪みベースドＴＭＯ及びユーザ評価から選び出した２つの最先
端のＴＭＯ。図中においては、本願開示のトーンマッピングシステム及び方法を、次のＴ
ＭＯのうちで最良の性能を示すものと比較している：非特許文献１９の評価に含まれてい
たものと、ディスプレイ適応ＴＭＯ（非特許文献２９）と、仮想露出ＴＭＯ（非特許文献
１０）。拡大部分は、それぞれ、低輝度領域及び高輝度領域におけるトーンマッピングの
例を示している。大域的処理に頼るディスプレイ適応ＴＭＯは、シーン内の大きなダイナ
ミックレンジを圧縮するのに苦戦しており、それ故に明るい結果並びに局所的ディテール
及びコントラストの喪失がもたらされてしまう。仮想露出ＴＭＯは双方向フィルタリング
に頼っており、幾つかの場合においてはエッジに沿ってのリンギングアーチファクトがも
たらされる。トーンカーブを経時的に適応していくことにも問題があり、結果として不快
な経時的フリッカリングがもたらされる（図９を参照）。これらのＴＭＯに比べると、本
願開示のリアルタイムコントラスト歪みベースドＴＭＯはシーン内のダイナミックレンジ
を秀逸に扱っており、何らのアーチファクトをもたらさずにして局所的ディテール及びコ
ントラストを保存している。
【0122】
図１１は、異なるトーンカーブを用いた非特許文献６の方法の結果を示している。１１
ａ及び１１ｂでは元の論文で用いられていたのと同じトーンカーブが用いられており（即
ち、非特許文献１７の対数スケーリング及び対数マッピング）、また、１１ｃでは本願開
示のリアルタイムコントラスト歪みベースドＴＭＯの実装例が用いられている。非特許文
献６で採用されている全般的フィルタリングは、視認可能なアーチファクトの観点（図９
を参照）では良好な性能を示すものの、トーンカーブの実際のトーン再現性及び時間的処
理については検討していない。その図からすると、本願開示のリアルタイムコントラスト
歪みベースドＴＭＯの実装例は、より良好にダイナミックレンジの圧縮を行いつつ局所的
コントラストを保存していることが明確である。また、用いられた光学フローフィルタリ
ングは、複雑なイメージ変化を伴う場面では良好に機能しないかもしれない（例えば、図
１０の打ち付け動作中の鍛冶屋シーケンスのノイズレベルを参照）。最後に、フィルタリ
ング処理故にその方法は計算量的に高コストであり、リアルタイム用途には不適である。
ａ及び１１ｂでは元の論文で用いられていたのと同じトーンカーブが用いられており（即
ち、非特許文献１７の対数スケーリング及び対数マッピング）、また、１１ｃでは本願開
示のリアルタイムコントラスト歪みベースドＴＭＯの実装例が用いられている。非特許文
献６で採用されている全般的フィルタリングは、視認可能なアーチファクトの観点（図９
を参照）では良好な性能を示すものの、トーンカーブの実際のトーン再現性及び時間的処
理については検討していない。その図からすると、本願開示のリアルタイムコントラスト
歪みベースドＴＭＯの実装例は、より良好にダイナミックレンジの圧縮を行いつつ局所的
コントラストを保存していることが明確である。また、用いられた光学フローフィルタリ
ングは、複雑なイメージ変化を伴う場面では良好に機能しないかもしれない（例えば、図
１０の打ち付け動作中の鍛冶屋シーケンスのノイズレベルを参照）。最後に、フィルタリ
ング処理故にその方法は計算量的に高コストであり、リアルタイム用途には不適である。
【0123】
性能
本願にて開示されたリアルタイムコントラスト歪みベースドＴＭＯの全ステップは並列
的に計算されることができ、ＧＰＵ上での実装に適している。空間フィルタリングは、分
離可能なローパスフィルタを用いて水平及び垂直勾配フィルタを伴って構築されている。
つまり、拡散処理の各反復回においては、４つの１Ｄフィルタカーネルを実行するだけで
足りる。局所的ヒストグラムの計算及びトーンカーブについての時間的フィルタリングは
、自明的に並列的である。本願開示のトーンマッピングシステム及び方法の全ての部分は
、ＣＵＤＡ６．５を用いて実装された。現代的なグラフィックスカードを伴えば、完全な
ＴＭＯパイプラインはフルＨＤ映像についてリアルタイムで実行される。表３は、７２０
ｐ及び１０８０ｐのＨＤ入力を用いてGeForce（登録商標） GTX 980上で実行されるリア
ルタイムコントラスト歪みベースドＴＭＯの実装例の性能を示す。
本願にて開示されたリアルタイムコントラスト歪みベースドＴＭＯの全ステップは並列
的に計算されることができ、ＧＰＵ上での実装に適している。空間フィルタリングは、分
離可能なローパスフィルタを用いて水平及び垂直勾配フィルタを伴って構築されている。
つまり、拡散処理の各反復回においては、４つの１Ｄフィルタカーネルを実行するだけで
足りる。局所的ヒストグラムの計算及びトーンカーブについての時間的フィルタリングは
、自明的に並列的である。本願開示のトーンマッピングシステム及び方法の全ての部分は
、ＣＵＤＡ６．５を用いて実装された。現代的なグラフィックスカードを伴えば、完全な
ＴＭＯパイプラインはフルＨＤ映像についてリアルタイムで実行される。表３は、７２０
ｐ及び１０８０ｐのＨＤ入力を用いてGeForce（登録商標） GTX 980上で実行されるリア
ルタイムコントラスト歪みベースドＴＭＯの実装例の性能を示す。
【表3】
【0124】
用途及び機能
ビデオ事後処理
ビデオがカラーグレーディングを要している場合、本願開示のトーンマッピングシステ
ム及び方法は、高品質自動調整及びスタイリゼーション用の様々な創造的コントラスト制
御手段の両者を提供する。特に魅力的なのはディテールエンハンスメントであり、これに
よってディテール視認性を維持又は強く増大させることができ、これを目立つアーチファ
クトの発生なしに行える（図１２上部）。これは図１２の左上及び中央寄りの上部に示さ
れており、大域的トーンマッピングの結果が、ディテール層を元のコントラストに保全し
たイメージと、比較されている。トーン優先度調整によってより暗いトーンとより明るい
トーンとの間の注目度をシフトすることができ、これをする際にはクリッピング等の歪み
が最小化されるのであり、この際にはトーンカーブの正確な形状を制御するといった面倒
を回避することができる（図１２下部）。動作をリアルタイムなフレームレートで実行で
きるため、あるパラメータが調整されるに際して、視覚的フィードバックはフル解像度で
提供される。また、重きはコントラストに置かれ、色の諸問題は考慮されないため、本願
開示のトーンマッピングシステム及び方法は、既存のソリューションと組み合わせること
ができ、これによってカラーグレーディングのあらゆる観点に対応することができる。
ビデオ事後処理
ビデオがカラーグレーディングを要している場合、本願開示のトーンマッピングシステ
ム及び方法は、高品質自動調整及びスタイリゼーション用の様々な創造的コントラスト制
御手段の両者を提供する。特に魅力的なのはディテールエンハンスメントであり、これに
よってディテール視認性を維持又は強く増大させることができ、これを目立つアーチファ
クトの発生なしに行える（図１２上部）。これは図１２の左上及び中央寄りの上部に示さ
れており、大域的トーンマッピングの結果が、ディテール層を元のコントラストに保全し
たイメージと、比較されている。トーン優先度調整によってより暗いトーンとより明るい
トーンとの間の注目度をシフトすることができ、これをする際にはクリッピング等の歪み
が最小化されるのであり、この際にはトーンカーブの正確な形状を制御するといった面倒
を回避することができる（図１２下部）。動作をリアルタイムなフレームレートで実行で
きるため、あるパラメータが調整されるに際して、視覚的フィードバックはフル解像度で
提供される。また、重きはコントラストに置かれ、色の諸問題は考慮されないため、本願
開示のトーンマッピングシステム及び方法は、既存のソリューションと組み合わせること
ができ、これによってカラーグレーディングのあらゆる観点に対応することができる。
【0125】
カメラ内処理スタック
センサによって撮像されたイメージは、デジタルビューファインダに表示されたり、イ
メージ（ＪＰＥＧ）又は動画（ＭＰＥＧ）として保存される前に、デモザイキングンやノ
イズ除去やシャープニング等の一連のオペレーションを通されなくてはならない。この処
理連鎖における要はトーンマッピングであり、該処理においては、センサのより広いダイ
ナミックレンジを、ディスプレイ又は出力ファイルによってサポートされるより狭小なダ
イナミックレンジへとマッピングする。本願開示のトーンマッピングシステム及び方法は
、当該目的に適している。なぜならば、該システム及び方法は、カメラのノイズレベルに
適応するような自動的なトーンマッピング及びディテールエンハンスメントを提供するか
らである。図１３及び１４は、ノイズ把握型処理を有する場合及び有さない場合のトーン
マッピングの結果を示す。ノイズの視認性を低減させるために、ノイジーなイメージ領域
においてはエンハンスメントを低く抑えるのであって、より暗いイメージトーン内におい
ては、センサー読み出しノイズの大部分が隠蔽される。もっとも、デジタルビューファイ
ンダなどにおいてノイズレベルに関してのプレビューが望ましい場合、図１３及び１４の
左上部に示してあるようにノイズ把握型処理を無効化しておくことができる。ノイズ把握
型トーン再現がノイズ除去と実際は競合していないことを強調するために、図１４は最先
端のノイズ除去方法の適用による結果をも示している（V-BM4D、非特許文献２７）。ノイ
ズ除去ステップは対数ドメインにおいてトーンマッピング前に行われる。ノイズ把握型の
機能なき場合、ノイズ除去に起因するアーチファクトは明確に視認可能であるが、両方の
方法を相補的にあわせると、それらアーチファクトはイメージのより暗いトーン中に隠蔽
される。
センサによって撮像されたイメージは、デジタルビューファインダに表示されたり、イ
メージ（ＪＰＥＧ）又は動画（ＭＰＥＧ）として保存される前に、デモザイキングンやノ
イズ除去やシャープニング等の一連のオペレーションを通されなくてはならない。この処
理連鎖における要はトーンマッピングであり、該処理においては、センサのより広いダイ
ナミックレンジを、ディスプレイ又は出力ファイルによってサポートされるより狭小なダ
イナミックレンジへとマッピングする。本願開示のトーンマッピングシステム及び方法は
、当該目的に適している。なぜならば、該システム及び方法は、カメラのノイズレベルに
適応するような自動的なトーンマッピング及びディテールエンハンスメントを提供するか
らである。図１３及び１４は、ノイズ把握型処理を有する場合及び有さない場合のトーン
マッピングの結果を示す。ノイズの視認性を低減させるために、ノイジーなイメージ領域
においてはエンハンスメントを低く抑えるのであって、より暗いイメージトーン内におい
ては、センサー読み出しノイズの大部分が隠蔽される。もっとも、デジタルビューファイ
ンダなどにおいてノイズレベルに関してのプレビューが望ましい場合、図１３及び１４の
左上部に示してあるようにノイズ把握型処理を無効化しておくことができる。ノイズ把握
型トーン再現がノイズ除去と実際は競合していないことを強調するために、図１４は最先
端のノイズ除去方法の適用による結果をも示している（V-BM4D、非特許文献２７）。ノイ
ズ除去ステップは対数ドメインにおいてトーンマッピング前に行われる。ノイズ把握型の
機能なき場合、ノイズ除去に起因するアーチファクトは明確に視認可能であるが、両方の
方法を相補的にあわせると、それらアーチファクトはイメージのより暗いトーン中に隠蔽
される。
【0126】
アンビエント光補償のための表示アルゴリズム
ディスプレイの実効コントラストは、アンビエント光レベルに強く依存する。携帯型機
器が日光下で用いられる場合、発光型ディスプレイ（例えば、ＬＣＤやＯＬＥＤ等）は殆
ど読めないくらいになる。なぜならば、スクリーンから反射される光がそのコントラスト
を減らしてしまうからである。通常の対処法はスクリーンの明るさを増大させることであ
るが、こうすると電力消費が大きく増えてしまう。別の方策としてはディスプレイ上に表
示された内容に対してトーンマッピングを施して、特定の観察条件下で効果的なイメージ
コントラストに適応するようにする。これは図１５に示されており、上段の列には適応の
なされていないイメージが示されており、下段には適応されたイメージが示されている。
後者の場合において、内容は明らかにより視認し易くなっており、全般的により良好な質
を呈している。非特許文献２９にて提案されるディスプレイ適応トーンマッピング（中段
）と比較すると、本願開示のトーンマッピングシステム及び方法は、その局所的処理故に
、より良好なコントラスト及びディテール視認性をもたらす。
ディスプレイの実効コントラストは、アンビエント光レベルに強く依存する。携帯型機
器が日光下で用いられる場合、発光型ディスプレイ（例えば、ＬＣＤやＯＬＥＤ等）は殆
ど読めないくらいになる。なぜならば、スクリーンから反射される光がそのコントラスト
を減らしてしまうからである。通常の対処法はスクリーンの明るさを増大させることであ
るが、こうすると電力消費が大きく増えてしまう。別の方策としてはディスプレイ上に表
示された内容に対してトーンマッピングを施して、特定の観察条件下で効果的なイメージ
コントラストに適応するようにする。これは図１５に示されており、上段の列には適応の
なされていないイメージが示されており、下段には適応されたイメージが示されている。
後者の場合において、内容は明らかにより視認し易くなっており、全般的により良好な質
を呈している。非特許文献２９にて提案されるディスプレイ適応トーンマッピング（中段
）と比較すると、本願開示のトーンマッピングシステム及び方法は、その局所的処理故に
、より良好なコントラスト及びディテール視認性をもたらす。
【0127】
本稿では、非特許文献２１にて公共の用に供してあるデータベースからのＨＤＲビデオ
入力をみた。このデータセットはトーンマッピングオペレータ（ＴＭＯ）の評価に適した
ものである。なぜならば、該セットは現実的なシナリオ下で撮像された高品質な映像を含
んでいるからである。
入力をみた。このデータセットはトーンマッピングオペレータ（ＴＭＯ）の評価に適した
ものである。なぜならば、該セットは現実的なシナリオ下で撮像された高品質な映像を含
んでいるからである。
【0128】
結論
本願明細書では、新規なリアルタイムコントラスト歪みベースドＴＭＯ及びその構成要
素の例示的実施形態が説明されている。利点としては、本願開示のトーンカーブ生成シス
テム及び方法は、２次プログラミングを数値的に解かなくて良いことが挙げられる。ヒス
トグラムイコライゼーション法等の既存のアドホック方法とは対照的に、リアルタイムコ
ントラスト歪みベースドＴＭＯでは良好に定義された最小化問題を解くことになる。局所
的トーンカーブは、イメージ内容、ノイズレベル及び表示機能などに動的に適応するので
あり、アンビエント光への補償も含まれる。また、リアルタイムコントラスト歪みベース
ドＴＭＯの構成要素としての新規なエッジ停止フィルタについても説明している。このフ
ィルタは、トーンマッピングにおいてディテールを保存及びエンハンスできるように設計
されている。該フィルタは、オーバーシューティング及びソフトなエッジにおけるリンギ
ングアーチファクトを回避するのであり、これらはトーンマッピングのために用いられる
大部分のフィルタにとって共通する問題であり、ディテールエンハンスメントが必要とさ
れる場合に特にそうであるといえる。フィルタは反復的ガウスぼかしとして実装できるた
め、効率的なハードウェア実装が可能となる。最後に上述の側面を包括的なビデオＴＭＯ
として組み合わせるのであり、これはノイズの視認性を制御し、また、ディスプレイ及び
アンビエント光に適応する能力をもたらす。
本願明細書では、新規なリアルタイムコントラスト歪みベースドＴＭＯ及びその構成要
素の例示的実施形態が説明されている。利点としては、本願開示のトーンカーブ生成シス
テム及び方法は、２次プログラミングを数値的に解かなくて良いことが挙げられる。ヒス
トグラムイコライゼーション法等の既存のアドホック方法とは対照的に、リアルタイムコ
ントラスト歪みベースドＴＭＯでは良好に定義された最小化問題を解くことになる。局所
的トーンカーブは、イメージ内容、ノイズレベル及び表示機能などに動的に適応するので
あり、アンビエント光への補償も含まれる。また、リアルタイムコントラスト歪みベース
ドＴＭＯの構成要素としての新規なエッジ停止フィルタについても説明している。このフ
ィルタは、トーンマッピングにおいてディテールを保存及びエンハンスできるように設計
されている。該フィルタは、オーバーシューティング及びソフトなエッジにおけるリンギ
ングアーチファクトを回避するのであり、これらはトーンマッピングのために用いられる
大部分のフィルタにとって共通する問題であり、ディテールエンハンスメントが必要とさ
れる場合に特にそうであるといえる。フィルタは反復的ガウスぼかしとして実装できるた
め、効率的なハードウェア実装が可能となる。最後に上述の側面を包括的なビデオＴＭＯ
として組み合わせるのであり、これはノイズの視認性を制御し、また、ディスプレイ及び
アンビエント光に適応する能力をもたらす。
【0129】
リアルタイムコントラスト歪みベースドＴＭＯは、シーン再現性及び最高の主観的品質
を指向している。先進的なノイズ除去方法又は動画シーケンスの全体を分析することによ
ってより高い品質のトーンマッピングを達成し得るのであるが、そうするとＴＭＯはもは
やリアルタイム型ではなくなる。
を指向している。先進的なノイズ除去方法又は動画シーケンスの全体を分析することによ
ってより高い品質のトーンマッピングを達成し得るのであるが、そうするとＴＭＯはもは
やリアルタイム型ではなくなる。
【0130】
トーンマッピングは、通常はＨＤＲ関連の課題とみられがちであるが、実際においては
、遙かに広い応用範囲ないし用途を有している。アンビエント光が高レベルの環境下でデ
ィスプレイが観察されており、その実効コントラストが低減されているときには、低ダイ
ナミックレンジコンテンツでさえトーンマッピングによって利益を享受し得る。一部の携
帯型機器はこのような補償アルゴリズムを既に組み込んでいる。ディスプレイ（或いはデ
ジタルビューファインダ）が再現できるよりも広範囲な物理的コントラストを多くのカメ
ラセンサは撮像できる。したがって、どのようなカメラ内処理スタックであっても、トー
ンマッピングは必須的なコンポーネントであるといえ、単一のＬＤＲが撮像される場合で
あってもそうといえる。最後に、多くの用途においては、芸術家の所望に基づいてイメー
ジを再現することを要する、という点に留意されたい。このような用途で用いられるＴＭ
Ｏに関しては、簡単に操作できてかつリアルタイム視覚的フィードバック下で試すことの
できるような創造的制御パラメータを提供することを要する。
、遙かに広い応用範囲ないし用途を有している。アンビエント光が高レベルの環境下でデ
ィスプレイが観察されており、その実効コントラストが低減されているときには、低ダイ
ナミックレンジコンテンツでさえトーンマッピングによって利益を享受し得る。一部の携
帯型機器はこのような補償アルゴリズムを既に組み込んでいる。ディスプレイ（或いはデ
ジタルビューファインダ）が再現できるよりも広範囲な物理的コントラストを多くのカメ
ラセンサは撮像できる。したがって、どのようなカメラ内処理スタックであっても、トー
ンマッピングは必須的なコンポーネントであるといえ、単一のＬＤＲが撮像される場合で
あってもそうといえる。最後に、多くの用途においては、芸術家の所望に基づいてイメー
ジを再現することを要する、という点に留意されたい。このような用途で用いられるＴＭ
Ｏに関しては、簡単に操作できてかつリアルタイム視覚的フィードバック下で試すことの
できるような創造的制御パラメータを提供することを要する。
【0131】
本願開示のリアルタイムコントラスト歪みベースドＴＭＯの様々な例は、ノイズ視認性
の制御や、表示及び観察環境への適応や、コントラスト歪みの最小化や、イメージディテ
ールの保存又はエンハンスメント等の機能を提供するのであり、何らの前処理なくして、
入信するシーケンスに対してリアルタイムで実行されることができる。目的は次の少なく
ともいずれかを含む：ターゲット表示装置の制約を与えられた場合に、元のイメージのコ
ントラストを保存すること；又は最終結果についてのリアルタイムなかつフル解像度な視
覚的フィードバックを伴ってコントラストエンハンスメント用の創造的制御手段を提供す
ること。
の制御や、表示及び観察環境への適応や、コントラスト歪みの最小化や、イメージディテ
ールの保存又はエンハンスメント等の機能を提供するのであり、何らの前処理なくして、
入信するシーケンスに対してリアルタイムで実行されることができる。目的は次の少なく
ともいずれかを含む：ターゲット表示装置の制約を与えられた場合に、元のイメージのコ
ントラストを保存すること；又は最終結果についてのリアルタイムなかつフル解像度な視
覚的フィードバックを伴ってコントラストエンハンスメント用の創造的制御手段を提供す
ること。
【0132】
本願開示の様々な例示的実施形態にて提供される技術的貢献には次のものが含まれる：
・ コントラスト歪みを最小化する局所的なディスプレイ適応型トーンカーブを計算する
ための高速な手順。
・ イメージノイズに適応するノイズ把握型トーンカーブ。
・ トーンマッピング用のベース／ディテール層分解用のフィルタ設計であって、リンギ
ングアーチファクトを伴わずにして、ディテールエンハンスメント用の高速エッジ停止非
線形拡散近似（fast edge-stopping non-linear diffusion approximation）をもたらす
、フィルタ設計。
・ 新規なノイズ制御法とディスプレイ適応性とを組み合わせるリアルタイムな統合型の
ビデオトーンマッピングソリューション（integrated, real-time video tone-mapping s
olution）であって、該ソリューションはディスプレイの制約を前提にして高コントラス
ト及び詳細なディテールを付されたビデオをもたらす、ソリューション。
・ コントラスト歪みを最小化する局所的なディスプレイ適応型トーンカーブを計算する
ための高速な手順。
・ イメージノイズに適応するノイズ把握型トーンカーブ。
・ トーンマッピング用のベース／ディテール層分解用のフィルタ設計であって、リンギ
ングアーチファクトを伴わずにして、ディテールエンハンスメント用の高速エッジ停止非
線形拡散近似（fast edge-stopping non-linear diffusion approximation）をもたらす
、フィルタ設計。
・ 新規なノイズ制御法とディスプレイ適応性とを組み合わせるリアルタイムな統合型の
ビデオトーンマッピングソリューション（integrated, real-time video tone-mapping s
olution）であって、該ソリューションはディスプレイの制約を前提にして高コントラス
ト及び詳細なディテールを付されたビデオをもたらす、ソリューション。
【0133】
本願明細書においては、幾つかの代替的実施形態及び例を説明及び図示した。上述の発
明の実施形態は、例示的なものとして意図されているにすぎない。当業者であれば、個々
の実施形態の特徴の意義を理解できるのであり、また、コンポーネントについての可能な
組み合わせ及びバリエーションを了知できるであろう。また、当業者であれば、任意の実
施形態を本願開示の他の実施形態と任意の態様で組み合わせて提供できるということも理
解できよう。本願発明の中心的特徴から逸脱せずに、本願発明を別の具体的形式で具現化
できるものと解される。したがって、本願の例及び実施形態はあらゆる側面で例示的であ
ると解されるべきであって制限的とは解されるべきではなく、本願発明は本願開示の詳細
に限定されてはならない。したがって、具体的な実施形態については上述しているが、様
々な変更例が想起できるのであって、添付の特許請求の範囲に記載の本願発明の範疇から
大きく逸脱せずにしてこれらの変更例を想起できる。
明の実施形態は、例示的なものとして意図されているにすぎない。当業者であれば、個々
の実施形態の特徴の意義を理解できるのであり、また、コンポーネントについての可能な
組み合わせ及びバリエーションを了知できるであろう。また、当業者であれば、任意の実
施形態を本願開示の他の実施形態と任意の態様で組み合わせて提供できるということも理
解できよう。本願発明の中心的特徴から逸脱せずに、本願発明を別の具体的形式で具現化
できるものと解される。したがって、本願の例及び実施形態はあらゆる側面で例示的であ
ると解されるべきであって制限的とは解されるべきではなく、本願発明は本願開示の詳細
に限定されてはならない。したがって、具体的な実施形態については上述しているが、様
々な変更例が想起できるのであって、添付の特許請求の範囲に記載の本願発明の範疇から
大きく逸脱せずにしてこれらの変更例を想起できる。
【0134】
謝辞
実験に参加して下さったボランティア諸君に感謝したい。また、本稿の随所で用いたＨ
ＤＲビデオシーケンスに関しては、Jan Froehlichらにも感謝する（https://hdr-2014.hd
m-stuttgart.de）。また、評価セクションで用いた時間的コヒーレンスＴＭＯについての
実装に関しては、Ronan Boitardにも感謝する。
実験に参加して下さったボランティア諸君に感謝したい。また、本稿の随所で用いたＨ
ＤＲビデオシーケンスに関しては、Jan Froehlichらにも感謝する（https://hdr-2014.hd
m-stuttgart.de）。また、評価セクションで用いた時間的コヒーレンスＴＭＯについての
実装に関しては、Ronan Boitardにも感謝する。
【0135】
本プロジェクトに関しては、助成第IIS11-0081号を介してSwedish Foundation for Str
ategic Research (SSF)によって、また、Linkoping¨ University Center for Industria
l Information Technology (CENIIT)によって、また、Linnaeus Environment CADICS及び
COST Action IC1005を介してSwedish Research Councilによって、資金援助がなされた。
ategic Research (SSF)によって、また、Linkoping¨ University Center for Industria
l Information Technology (CENIIT)によって、また、Linnaeus Environment CADICS及び
COST Action IC1005を介してSwedish Research Councilによって、資金援助がなされた。
【0136】
付録Ａ：トーンカーブ傾斜の導出
この付録では、最適な傾斜（式１４）を、ＫＴＴ法を用いてどのようにして式（１３）
から解析的に導出するかを示す。ここでは先ず第２の制約（式１２）の等価条件のみを検
討する。ε′（ｓｋ）をこの制約で最小化することは、次の関数を最小化することと等価
である：
ここで、λはラグランジュ乗数である。この関数は、次の連立方程式を解くことによって
最小化される：
この付録では、最適な傾斜（式１４）を、ＫＴＴ法を用いてどのようにして式（１３）
から解析的に導出するかを示す。ここでは先ず第２の制約（式１２）の等価条件のみを検
討する。ε′（ｓｋ）をこの制約で最小化することは、次の関数を最小化することと等価
である：
【数29】
最小化される：
【数30】
【0137】
変数λは、最後以外の任意の２つの方程式を組み合わせることによって消去することが
できるのであり、次式が得られる：
できるのであり、次式が得られる：
【数31】
【0138】
式（３０）の最終行に上記方程式を導入した後、解は式（１４）内にある。
【0139】
付録Ｂ：ヒストグラムイコライゼーションの傾斜
傾斜割り当て公式を導出するために行われた工程を逆行することによって、ヒストグラ
ムイコライゼーションのための仮定的な目的関数を見つけることができるのであり、それ
は次式で表される：
ここで、式（１２）と同じ制約が課されるのであり、変更点は関数が最小化されるのでは
なく最大化されるということになる。上記式を解くと、式（２２）によって与えられる傾
斜が得られる。ｓｋ＝０において特異点があり、これを特別条件として扱わなければなら
ないため、定式化は理想的ではない。なお、特異点については、明確性のために省略する
。ヒストグラムイコライゼーション手順によって傾斜の対数値が各ビンｋの確率に応じて
配分されることを、目的関数が示している。これは、トーンカーブの傾斜が確率値ｐ（ｌ
ｋ）に指数関数的に関連付けられていることを表している。このような関係性は、多くの
場合、高確率のビンにかなり急な傾斜を割り当てることにつながるのであり、多くのトー
ンマッピング用途においてはこのことは望ましくない。
傾斜割り当て公式を導出するために行われた工程を逆行することによって、ヒストグラ
ムイコライゼーションのための仮定的な目的関数を見つけることができるのであり、それ
は次式で表される：
【数32】
なく最大化されるということになる。上記式を解くと、式（２２）によって与えられる傾
斜が得られる。ｓｋ＝０において特異点があり、これを特別条件として扱わなければなら
ないため、定式化は理想的ではない。なお、特異点については、明確性のために省略する
。ヒストグラムイコライゼーション手順によって傾斜の対数値が各ビンｋの確率に応じて
配分されることを、目的関数が示している。これは、トーンカーブの傾斜が確率値ｐ（ｌ
ｋ）に指数関数的に関連付けられていることを表している。このような関係性は、多くの
場合、高確率のビンにかなり急な傾斜を割り当てることにつながるのであり、多くのトー
ンマッピング用途においてはこのことは望ましくない。
【0140】
付録Ｃ：ディテール抽出アーチファクトの分析
非特許文献１８、１５、１、２、７、４３、８、４２等に示される多くの双方向フィル
タ用の拡張及び加速化機構は、リアルタイム処理を完全に可能とする。もっとも、区分的
に一定な根底的信号の存在を仮定するような双方向フィルタや異方性拡散フィルタ等（非
特許文献３４）のフィルタは、自然なイメージにおける複雑な空間強度的推移を正しく再
構築することに関して失敗する（非特許文献３７）。この効果は図１６に示されており、
そこではフィルタカーネルは滑らかなエッジの一方側に向けてバイアスされている（セン
サ画素においてなされる面サンプリング故に、自然なイメージにおけるエッジは帯域制限
されている）。再構築の際、先述のバイアス及び区分的に一定な信号についての仮定故に
、シャープニング過多がもたらされる。結果としてもたらされる再構築アーチファクトは
、多くの用途では視覚的に取るに足らないものとして許容され得る。もっとも、ディテー
ル抽出の用途に関しては、このシャープニング過多は、芸術的観点からディテールがエン
ハンスされている場合には特にそうであるが、無視できないバンディング又はリンギング
現象をもたらす（例えば、図８ｂ及び９ａを参照）。
非特許文献１８、１５、１、２、７、４３、８、４２等に示される多くの双方向フィル
タ用の拡張及び加速化機構は、リアルタイム処理を完全に可能とする。もっとも、区分的
に一定な根底的信号の存在を仮定するような双方向フィルタや異方性拡散フィルタ等（非
特許文献３４）のフィルタは、自然なイメージにおける複雑な空間強度的推移を正しく再
構築することに関して失敗する（非特許文献３７）。この効果は図１６に示されており、
そこではフィルタカーネルは滑らかなエッジの一方側に向けてバイアスされている（セン
サ画素においてなされる面サンプリング故に、自然なイメージにおけるエッジは帯域制限
されている）。再構築の際、先述のバイアス及び区分的に一定な信号についての仮定故に
、シャープニング過多がもたらされる。結果としてもたらされる再構築アーチファクトは
、多くの用途では視覚的に取るに足らないものとして許容され得る。もっとも、ディテー
ル抽出の用途に関しては、このシャープニング過多は、芸術的観点からディテールがエン
ハンスされている場合には特にそうであるが、無視できないバンディング又はリンギング
現象をもたらす（例えば、図８ｂ及び９ａを参照）。
【0141】
これらの問題を緩和するための１つの方針としては、次のような高次近似を用いて根底
にあるベース層を再構築することが挙げられる：例えば、トライラテラルフィルタ、カー
ネル回帰、又は局所的多項式近似（非特許文献２３、３２、３６）もっとも、これらによ
ると、代償として相当程度に複雑度が増大することとなり、高解像度映像に対してのリア
ルタイム評価が困難となるか、多くの場合においては不可能なものとなってしまう。これ
らの高次フィルタは、パラメータ設定に敏感である傾向がある。
にあるベース層を再構築することが挙げられる：例えば、トライラテラルフィルタ、カー
ネル回帰、又は局所的多項式近似（非特許文献２３、３２、３６）もっとも、これらによ
ると、代償として相当程度に複雑度が増大することとなり、高解像度映像に対してのリア
ルタイム評価が困難となるか、多くの場合においては不可能なものとなってしまう。これ
らの高次フィルタは、パラメータ設定に敏感である傾向がある。
【0142】
エッジ保存フィルタリングに関しての別のよく見られる選択肢は、拡散系アルゴリズム
である。異方性非線形拡散法は非特許文献３４によって提案され、双方向フィルタリング
と多くの共通点を有する。異方性拡散及び双方向フィルタリングについての具体的な統一
的定式化は、例えば、非特許文献９及び１８においても提示されている。このフィルタも
区分一定的仮定（piece-wise constant assumption）に依存するため、エッジに沿って出
力は一貫性を欠く挙動を示しやすいのであり、これは双方向フィルタに似ている（図９ｂ
を参照）。
である。異方性非線形拡散法は非特許文献３４によって提案され、双方向フィルタリング
と多くの共通点を有する。異方性拡散及び双方向フィルタリングについての具体的な統一
的定式化は、例えば、非特許文献９及び１８においても提示されている。このフィルタも
区分一定的仮定（piece-wise constant assumption）に依存するため、エッジに沿って出
力は一貫性を欠く挙動を示しやすいのであり、これは双方向フィルタに似ている（図９ｂ
を参照）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】