特許 6805968 画像処理装置、画像投影装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6805968

(24)【登録日】2020年12月8日

(45)【発行日】2020年12月23日

(54)【発明の名称】画像処理装置、画像投影装置、及び画像処理方法

(51)【国際特許分類】

   H04N 9/64 20060101AFI20201214BHJP

   G06T 5/40 20060101ALI20201214BHJP

   G06T 5/00 20060101ALI20201214BHJP

   G09G 5/02 20060101ALI20201214BHJP

   G09G 5/10 20060101ALI20201214BHJP

   G09G 5/36 20060101ALI20201214BHJP

【ＦＩ】

   H04N9/64 Z

   G06T5/40

   G06T5/00 730

   G09G5/02 B

   G09G5/10 B

   G09G5/36 520A

【請求項の数】14

【全頁数】32

(21)【出願番号】特願2017-108697(P2017-108697)

(22)【出願日】2017年5月31日

(65)【公開番号】特開2018-26794(P2018-26794A)

(43)【公開日】2018年2月15日

【審査請求日】2020年2月6日

(31)【優先権主張番号】特願2016-151602(P2016-151602)

(32)【優先日】2016年8月1日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】能勢 将樹

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 欧州特許出願公開第０２３２３３７３（ＥＰ，Ａ１）

【文献】 特開２００４−３１０６７１（ＪＰ，Ａ）

【文献】 特開２００７−１４２５００（ＪＰ，Ａ）

【文献】 特開２０１１−０８１４３６（ＪＰ，Ａ）

【文献】 特開２００２−１０１４２６（ＪＰ，Ａ）

【文献】 特開２０１１−２１１２７６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２８５９１３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１６／０１０４２７２（ＵＳ，Ａ１）

【文献】 特開２００６−２７０４１７（ＪＰ，Ａ）

【文献】 特開２００４−２８２３７６（ＪＰ，Ａ）

【文献】 特開２００８−２５２７６０（ＪＰ，Ａ）

【文献】 特開２００８−１６０４１７（ＪＰ，Ａ）

【文献】 特開平０７−０９９６１９（ＪＰ，Ａ）

【文献】 特開２００３−０４６８５９（ＪＰ，Ａ）

【文献】 特開２０１２−２２７８００（ＪＰ，Ａ）

【文献】 特開２０１２−２２１２０８（ＪＰ，Ａ）

【文献】 特開２００７−０４９３４１（ＪＰ，Ａ）

【文献】 特開２０００−０１３７１４（ＪＰ，Ａ）

【文献】 米国特許第０６０１８５８８（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／６４

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ５／４０

Ｇ０９Ｇ ５／０２

Ｇ０９Ｇ ５／１０

Ｇ０９Ｇ ５／３６

(57)【特許請求の範囲】

【請求項1】

動画信号のフレーム毎の入力画像信号を、輝度画像信号及び色差画像信号に変換する入力画像色空間変換部と、
前記フレーム毎の輝度画像信号に対して、補正強度が調整されたヒストグラム平滑化処理を用いて輝度補正画像信号を作成する輝度画像補正部と、
前記フレーム毎の色差画像信号に対して、彩度が強調された色差補正画像信号を作成する色差画像補正部と、
作成された前記輝度補正画像信号及び前記色差補正画像信号を、入力された前記動画信号と同じ形式の出力画像信号に変換する出力画像色空間変換部と、を備える画像処理装置であって、
前記輝度画像補正部による処理と前記色差画像補正部による処理は、フレーム毎に並列して実行され、
前記輝度画像補正部は、前記ヒストグラム平滑化処理におけるヒストグラム平滑化の補正強度をフレーム毎に調整し、
前記輝度画像補正部は、
一のフレームの輝度画像信号のコンテンツ内容に基づいて前記ヒストグラム平滑化の補正を実行するか否かを決定する平滑化有無判定部と、
作成する前記輝度補正画像信号におけるヒストグラム平滑化の補正強度に対応付けられた判定値を、前記決定に応じて、所定の範囲に対して所定数ずつ、加算又は減算することで、前記判定値を前記動画信号の連続するフレーム間で徐々に変化させる判定値演算部と、
前記フレーム毎の前記判定値を、前記所定の範囲で累積して記憶する過去フレーム判定値記憶部と、
前記判定値に応じて、前記ヒストグラム平滑化の補正強度をフレーム毎に調整する際、前記一のフレームの直前のフレームに対する前記ヒストグラム平滑化の補正強度の変化量を緩やかに変化させ、複数のフレームにかけて、前記ヒストグラム平滑化の補正の有無の状態を切り替える重み付け合成画像作成部と、を備えることを特徴とする
画像処理装置。

【請求項2】

前記輝度画像補正部は、
前記輝度画像信号の前記フレーム毎のヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムから累積ヒストグラムを作成するヒストグラム累積部と、
前記累積ヒストグラムを参照して、平滑化トーンカーブを作成する平滑化トーンカーブ作成部と、を備え、
前記重み付け合成画像作成部は、前記平滑化トーンカーブと、非加工トーンカーブとを合成して、補正用トーンカーブを作成する補正用トーンカーブ合成部、及び前記補正用トーンカーブに基づいて輝度補正画像信号を作成する合成画像作成部を備えており、
前記補正用トーンカーブ合成部では、前記補正用トーンカーブを合成する際の、前記平滑化トーンカーブと、前記非加工トーンカーブとの混合の比率を、前記判定値に応じて重み付けして設定することで、前記輝度補正画像信号の前記ヒストグラム平滑化の補正強度を調整できることを特徴とする
請求項１に記載の画像処理装置。

【請求項3】

前記出力画像信号の補正強度のレベルを、ユーザーが任意に設定可能であり、
前記ユーザーが設定した補正強度が最も強いレベル以外は、前記輝度画像補正部において、所定量のオフセットを、作成された前記輝度画像信号の前記フレーム毎のヒストグラムに加算し、
補正強度のレベルが弱いほど、前記ヒストグラムへのオフセットの加算量を多くすることを特徴とする
請求項２に記載の画像処理装置。

【請求項4】

前記輝度画像補正部は、前記所定量のオフセットを前記ヒストグラムに加算するオフセット加算部をさらに備え、
前記ヒストグラム累積部は、前記オフセットが加算されたヒストグラムから、オフセット調整累積ヒストグラムを作成し、
前記平滑化トーンカーブ作成部は、前記輝度画像信号のビット数に正規化した前記オフセット調整累積ヒストグラムを参照して、オフセット調整平滑化トーンカーブを作成し、
前記補正用トーンカーブ合成部は、前記オフセット調整平滑化トーンカーブと、非加工トーンカーブとを合成して、補正用トーンカーブを作成し、
前記合成画像作成部は、前記補正用トーンカーブに基づいて輝度補正画像信号を作成し、
前記補正用トーンカーブ合成部では、前記補正用トーンカーブを合成する際の、前記オフセット調整平滑化トーンカーブと、前記非加工トーンカーブとの混合の比率を、前記判定値に応じて重み付けして設定することで、前記輝度補正画像信号の前記ヒストグラム平滑化の補正強度を、前記設定した補正強度のレベル内で調整できることを特徴とする
請求項３に記載の画像処理装置。

【請求項5】

前記輝度画像補正部の前記判定値演算部は、前記ヒストグラム平滑化の補正を実行すると決定した場合は、前記判定値を加算し、前記ヒストグラム平滑化の補正を実行しないと決定した場合は、前記判定値を減算することを特徴とする
請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項6】

前記フレーム毎の前記入力画像信号の記憶色の含有率を検出し、前記輝度画像補正部に対して、前記ヒストグラム平滑化を強めるか弱めるかの判定に対して、前記記憶色の含有率も反映させる記憶色反映部、をさらに備えることを特徴とする
請求項１乃至４のいずれかに記載の画像処理装置。

【請求項7】

前記記憶色反映部が、一のフレームの前記記憶色の含有率が定められた閾値よりも高いと判定した場合、前記輝度画像補正部において、前記判定値を無効にして、前記一のフレームの前記ヒストグラム平滑化による補正強度を、前記一のフレームの直前のフレームに対して、弱めるよう変化させることを特徴とする
請求項６に記載の画像処理装置。

【請求項8】

動画信号のフレーム毎の入力画像信号を、輝度画像信号及び色差画像信号に変換する入力画像色空間変換部と、
前記フレーム毎の輝度画像信号に対して、補正強度が調整されたヒストグラム平滑化処理を用いて輝度補正画像信号を作成する輝度画像補正部と、
前記フレーム毎の色差画像信号に対して、彩度が強調された色差補正画像信号を作成する色差画像補正部と、
作成された前記輝度補正画像信号及び前記色差補正画像信号を、入力された前記動画信号と同じ形式の出力画像信号に変換する出力画像色空間変換部と、を備える画像処理装置であって、
前記輝度画像補正部による処理と前記色差画像補正部による処理は、フレーム毎に並列して実行され、
前記輝度画像補正部は、前記ヒストグラム平滑化処理におけるヒストグラム平滑化の補正強度をフレーム毎に調整し、
前記輝度画像補正部は、
前記輝度画像信号の前記フレーム毎のヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムからピークを検出し、ピーク値を算出するピーク値算出部と、
前記フレーム毎の輝度画像信号を変換するヒストグラム平滑化の補正強度を、前記ピーク値に基づいてフレーム毎に算出する補正強度算出部と、
前記ヒストグラム平滑化の補正強度の明るい方向に補正する場合の明方向閾値と、暗い方向に補正する場合の暗方向閾値を予め記憶する補正強度閾値記憶部と、
暗いフレームの輝度画像信号に基づいて算出されるピーク値と対応づけられたヒストグラム平滑化の補正強度が前記明方向閾値を上回る場合は、作成する前記輝度補正画像信号における前記ヒストグラム平滑化の補正強度を前記明方向閾値に合わせて設定し、明るいフレームの輝度画像信号に基づいて算出されるピーク値と対応づけられたヒストグラム平滑化の補正強度が前記暗方向閾値を上回る場合は、作成する前記輝度補正画像信号における前記ヒストグラム平滑化の補正強度を前記暗方向閾値に合わせて設定する補正強度設定部と、を備えることを特徴とする
画像処理装置。

【請求項9】

前記輝度画像補正部は、投影する動画のコンテンツの種類に応じて、
作成する前記フレーム毎の前記輝度補正画像信号におけるヒストグラム平滑化の補正強度に対応付けられた判定値を前記動画信号の連続するフレーム間で徐々に変化させ、前記判定値に応じて、前記ヒストグラム平滑化の補正強度をフレーム毎に調整する輝度補正と、
前記輝度画像信号の前記フレーム毎のヒストグラムを作成し、前記ヒストグラムから算出したピーク値に基づいて、作成する前記フレーム毎の前記輝度画像信号のヒストグラム平滑化の補正強度を、フレーム毎に調整し、前記補正強度を明方向閾値及び暗方向閾値以下に制限して設定する輝度補正と、を選択可能であることを特徴とする
請求項１乃至８のいずれか一項に記載の画像処理装置。

【請求項10】

前記輝度画像補正部は、前記フレーム毎の前記輝度画像信号の画素を空間的に間引いてヒストグラムを形成することを特徴とする
請求項１乃至９のいずれか一項に記載の画像処理装置。

【請求項11】

前記色差画像補正部は、前記色差画像信号の画素値の高域部分をより高く、低域部分をより低くするＳ字状のトーンカーブを用いて、前記彩度を強調することを特徴とする
請求項１乃至１０のいずれか一項に記載の画像処理装置。

【請求項12】

作成された色差補正画像信号のビット数は、入力された前記色差画像信号のビット数よりも小さいことを特徴とする
請求項１１に記載の画像処理装置。

【請求項13】

請求項１〜１２のいずれか一項に記載の画像処理装置をＦＰＧＡあるいはＡＳＩＣで実行することを特徴とする
画像投影装置。

【請求項14】

動画信号のフレーム単位の入力画像信号を輝度画像信号及び色差画像信号に変換する入力画像色空間変換ステップと、
各フレームの輝度画像信号に対して、補正強度が調整されたヒストグラム平滑化処理を用いて輝度補正画像信号を作成する、輝度画像補正ステップと、
各フレームの色差画像信号に対して、彩度が強調された色差補正画像信号を作成する色差画像補正ステップと、
前記作成された輝度補正画像信号及び前記色差補正画像信号を、入力された動画信号と同じ形式の出力画像信号に変換する出力画像色空間変換ステップと、を有する画像処理方法であって、
前記輝度画像補正ステップと、前記色差画像補正ステップとは、フレーム毎に並列して実行され、
前記輝度画像補正ステップでは、前記ヒストグラム平滑化処理におけるヒストグラム平滑化の補正強度をフレーム毎に調整し、
前記輝度画像補正ステップは、
一のフレームの輝度画像信号のコンテンツ内容に基づいて前記ヒストグラム平滑化の補正を実行するか否かを決定する平滑化有無判定工程と、
作成する前記輝度補正画像信号におけるヒストグラム平滑化の補正強度に対応付けられた判定値を、前記決定に応じて、所定の範囲に対して所定数ずつ、加算又は減算することで、前記判定値を前記動画信号の連続するフレーム間で徐々に変化させる判定値演算工程と、
前記フレーム毎の前記判定値を、前記所定の範囲で累積して記憶する過去フレーム判定値記憶工程と、
前記判定値に応じて、前記ヒストグラム平滑化の補正強度をフレーム毎に調整する際、前記一のフレームの直前のフレームに対する前記ヒストグラム平滑化の補正強度の変化量を緩やかに変化させ、複数のフレームにかけて、前記ヒストグラム平滑化の補正の有無の状態を切り替える重み付け合成画像作成工程と、を有することを特徴とする
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像投影装置、及び画像処理方法に関する。

【背景技術】

【0002】

画像表示装置や画像投影装置で表示可能な画像（ディスプレイ、投影画像等）は、図１に示すように、明るさのダイナミックレンジにおいて、人間の視覚と大きな差を有する。例えば、人間の視覚は、１０^１０オーダーであるが、一般的なＬＤＲ（Low Dynamic Range）のディスプレイは、１０^３〜１０^５程度であるため、明るさのコントラストが不足していた。

【0003】

そこで、従来よりもディスプレイの明るさのダイナミックレンジを大幅に広げたハイダイナミックレンジ（High Dynamic Range、以降はＨＤＲと略記）が大きな注目を集めつつある。

【0004】

ＨＤＲには大きく２通りの実現方法があり、一方はディスプレイそのものを数千ｎｉｔ（ＬＤＲは数百ｎｉｔ）まで大きく高輝度化させるアプローチであり、他方はＬＤＲのディスプレイでＨＤＲ調の映像に仕立てる画像処理からのアプローチである。

【0005】

ディスプレイそのものを大きく高輝度化すると、高輝度化により消費電力が大きく上昇し、コストアップも不可避となってしまう。

【0006】

そこで、もう１つのＨＤＲの実現手段として、画像処理の複数の手法があり、そのうちの一例として、図２に示すようなヒストグラム平滑化技術がある。

【0007】

ヒストグラム平滑化により、その画像が有するヒストグラム（図２（ａ））をブロード（広域化）することで、ヒストグラムの分布が集中している部分を引き伸ばして（図２（ｂ））、そのディスプレイの表示再現域でダイナミックレンジを拡大してコントラストを上げることができる（例えば、特許文献１）。

【0008】

ただし、カラー画像において、ＲＧＢの色毎のヒストグラムが異なる場合、ＲＧＢ信号をそのままヒストグラム平滑化すると、ＲＧＢそれぞれ異なる度合でヒストグラムが広域化されるため、色バランスが崩れてしまう。

【0009】

そこで、非特許文献１では、輝度画像（Ｙ）と色差画像（ＣｒＣｂ）で異なる処理を適用し、好ましい画像にレタッチすることが提案されている。

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかし、ヒストグラム平滑化は、元画像の画像内容（コンテンツ）が、元からヒストグラムが広い場合は効果が小さいなど、その高輝度化の効果は、コンテンツ依存性を有する。例えば、自然画像のような連続的なヒストグラムであればヒストグラム平滑化によるコントラスト向上が可能であるが、文章や図表のような２値画像に近いコンテンツの場合、ヒストグラムが局所的になるため、ヒストグラム平滑化は適さない。

【0011】

また、非特許文献１は、静止画への適用を前提としており、動画は考慮されていなかった。

【0012】

そこで、本発明は上記事情に鑑み、視聴者に違和感を与えずに、コンテンツの内容に応じて、動画のフレーム単位でヒストグラム平滑化による補正強度を調整することができる、画像処理装置の提供を目的とする。

【課題を解決するための手段】

【0013】

上記課題を解決するため、本発明の一態様では、
動画信号のフレーム毎の入力画像信号を、輝度画像信号及び色差画像信号に変換する入力画像色空間変換部と、
前記フレーム毎の輝度画像信号に対して、補正強度が調整されたヒストグラム平滑化処理を用いて輝度補正画像信号を作成する輝度画像補正部と、
前記フレーム毎の色差画像信号に対して、彩度が強調された色差補正画像信号を作成する色差画像補正部と、
作成された前記輝度補正画像信号及び前記色差補正画像信号を、入力された前記動画信号と同じ形式の出力画像信号に変換する出力画像色空間変換部と、を備える画像処理装置であって、
前記輝度画像補正部による処理と前記色差画像補正部による処理は、フレーム毎に並列して実行され、
前記輝度画像補正部は、前記ヒストグラム平滑化処理におけるヒストグラム平滑化の補正強度をフレーム毎に調整し、
前記輝度画像補正部は、
一のフレームの輝度画像信号のコンテンツ内容に基づいて前記ヒストグラム平滑化の補正を実行するか否かを決定する平滑化有無判定部と、
作成する前記輝度補正画像信号におけるヒストグラム平滑化の補正強度に対応付けられた判定値を、前記決定に応じて、所定の範囲に対して所定数ずつ、加算又は減算することで、前記判定値を前記動画信号の連続するフレーム間で徐々に変化させる判定値演算部と、
前記フレーム毎の前記判定値を、前記所定の範囲で累積して記憶する過去フレーム判定値記憶部と、
前記判定値に応じて、前記ヒストグラム平滑化の補正強度をフレーム毎に調整する際、前記一のフレームの直前のフレームに対する前記ヒストグラム平滑化の補正強度の変化量を緩やかに変化させ、複数のフレームにかけて、前記ヒストグラム平滑化の補正の有無の状態を切り替える重み付け合成画像作成部と、を備えることを特徴とする
画像処理装置を提供する。

【発明の効果】

【0014】

一態様によれば、画像処理装置において、視聴者に違和感を与えずに、コンテンツの内容に応じて、動画のフレーム単位でヒストグラム平滑化による補正強度を調整することができる。

【図面の簡単な説明】

【0015】

【図1】一般的なディスプレイ（ＬＤＲ）向けにダイナミックレンジを圧縮する概略図。

【図2】ヒストグラム平滑化の概念図。

【図3】本発明の一実施形態に係る画像処理装置の概略構成を示す説明図。

【図4】彩度強調にＳ字トーンカーブを適用した画像補正例。

【図5】画像から、輝度ヒストグラム及び累積ヒストグラムを作成する例。

【図6】累積ヒストグラムをルックアップテーブルに用いたトーンカーブの変換例と、ヒストグラム平滑化した画像補正例。

【図7】ヒストグラム平滑化のＯＮ／ＯＦＦの場合分け判定を説明する図。

【図8】本発明の第１の制御例として動画の補正画像を作成する際のヒストグラム平滑化画像と原画像の重み付け係数の推移例。

【図9】合成画像を作成する際の重み付け合成手順を示す模式図。

【図10】オフセットを加えた累積ヒストグラムをルックアップテーブルに用いたトーンカーブの変換例と、画像補正例。

【図11】本発明の第１の制御例に係る、画像処理装置の詳細機能ブロック図。

【図12】本発明の第１の実施例に係る画像処理手順を示すフローチャート。

【図13】フレームカウンタにおける演算手順を示す詳細フローチャート。

【図14】本発明の第２の制御例としてヒストグラムの平滑化強度をクリッピングする説明図。

【図15】本発明の第２の制御例に係る、画像処理装置の詳細機能ブロック図。

【図16】ＤＬＰプロジェクタのカラーホイール。

【図17】ＤＬＰプロジェクタの構成例の一例を示すブロック図。

【図18】本発明の画像処理制御が実行されるチップを含むＤＬＰコントローラのブロック図。

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0017】

〔全体構成〕
図３は本発明の一実施形態に係る画像処理装置１０の概略構成を示す説明図である。本発明の実施形態に係る画像処理装置１０は、入力画像（ＲＧＢ）記憶部１、ＲＧＢ・ＹＣｂＣｒ変換部２、輝度画像補正部３、色差画像補正部４、ＹＣｂＣｒ・ＲＧＢ変換部５、及び出力画像（ＲＧＢ）記憶部６を備える。なお、図１１で後述するように、画像処理装置１０はさらに、記憶色反映部７及び設定情報取得部８を備えていてもよい。

【0018】

図３に示すように、ＲＧＢの入力信号（動画信号の各フレーム）をＹＣｂＣｒ信号（輝度色差信号）に変換した後、Ｙ（輝度：Luminance）とＣｂＣｒ（色差(Color Difference Blue, Color Difference Red)でそれぞれ異なる変換処理を施す。

【0019】

そして、輝度画像（Ｙ）にはヒストグラム平滑化（平坦化、平均化ともいう）による補正を適用し、色度画像（ＣｂＣｒ）には彩度強調を適用する。

【0020】

ここで、画像の補正対象を、変換したＹＣｂＣｒ信号にすることで、輝度（Ｙ）のみのヒストグラム平滑化のため処理負荷が小さくなり、平滑化は輝度信号にのみ実行されるため、色バランスも好適に保持される。

【0021】

それと並行して、ＣｂＣｒには彩度強調を施すことで、色鮮やかさが増し、ＨＤＲ調をさらに好適にできるようになる。

【0022】

詳しくは、ＲＧＢ・ＹＣｂＣｒ変換部（入力画像色空間反映部）２において、下記の変換アルゴリズムを実行する。

【0023】

まず、ＲＧＢの入力信号（Rin, Gin, Bin）を、下記の（式１）〜（式３）を用いてＹＣｂＣｒ信号（Yin, Cbin, Crin）に変換する。
例えば、本明細書では、ＲＧＢ信号を１０ｂｉｔのスケール（0〜1023）として述べる。

【0024】

【数1】

【0025】

【数2】

【0026】

【数3】

ここで、「>>」はシフト演算であり、「<<」は左側に、「>>」は右側に指定されたビット数だけシフトさせる。

【0027】

このように、輝度色差信号として、整数型に変換したＹＣｂＣｒを用いている。また、ＲＧＢとＹＣｂＣｒとの相互変換には、整数演算およびシフト演算を用いている。

【0028】

上記の（式１）〜（式３）は、８ｂｉｔ右側にシフト、つまり２５６（２８）で除算することを意味している。除算はハードウェア実装で無駄な部分が多いため、除算をシフト演算に代替するのが大きく有利である。

【0029】

上記によりＲＧＢで有る入力画像信号をＹＣｂＣｒ信号に変換した後、ＣｂＣｒ（青色差画像、赤色差画像）に対して彩度強調（図４参照）、Ｙ（輝度画像）に対してヒストグラム平滑化（図５〜図９参照）を施す。

【0030】

また、ＹＣｂＣｒ・ＲＧＢ変換部（出力画像色空間変換部）５は、ＣｂＣｒに対して彩度が強調され、Ｙに対してヒストグラム平滑化処理が適用された、ＹＣｂＣｒ値（Yout, Cb_out, Cr_out）を、下記（式４）〜（式６）を用いて、入力された画像信号と同じ形式であるＲＧＢ値（Rout, Gout, Bout）に戻して出力画像信号とする。

【0031】

【数4】

【0032】

【数5】

【0033】

【数6】

上式はＲＧＢ画像が各１０ｂｉｔの場合であり、もし変換結果が１０ｂｉｔの範囲（０〜１０２３）を外れた場合は、その範囲にクリッピングする。

【0034】

＜彩度補正＞
次に、ＲＧＢから変換したＣｂＣｒ（色差画像信号）に対する彩度（Saturation）強調について説明する。

【0035】

図４に彩度強調にＳ字トーンカーブを適用した画像補正例を示す。彩度強調にはＳ字トーンカーブを、ルックアップテーブルとして用いる（参照する）のが高速処理に好適である。

【0036】

そのルックアップテーブルを、Satu_Curve（階調変換関数）とすると、下記、（式７）、（式８）のように、Ｃｂ（青色差画像信号）、Ｃｒ（赤色差画像信号）に対して、階調変換関数を掛けて、出力値へ変換する。

【0037】

【数7】

【0038】

【数8】

ルックアップテーブルにおける入力画素値と出力画素値の関係、即ち階調変換関数をグラフ化すると、Ｓ字状のトーンカーブ（Ｓ字トーンカーブ）となる。

【0039】

Ｓ字トーンカーブを用いると、ヒストグラムの分布が中央に偏ったコントラストの低い画像は、中間調が引き伸ばされコントラストが上がる。即ち、色差画像の高域部分をより高く、低域部分をより低くすることができる。

【0040】

これにより、色味を変えることなく、彩度が好適に強調される。

【0041】

なお、表１で示すように彩度強調の補正強度レベルを設定できるように、補正強度の異なるＳ字トーンカーブを構成する階調変換関数の中から１つを選択して用いて、出力画像（出力画像信号）を補正してもよい。

【0042】

【表1】

このような彩度強調を行うことで、ヘルムホルツ・コールラウシュ効果（Ｈ−Ｋ効果）という視覚効果が得られる。Ｈ−Ｋ効果とは、明るさは同じでも、彩度が高い色ほど明るく感じる視覚効果で、ＨＤＲ調をもたらすには有効な手段である。

【0043】

特に、ＤＬＰ（Digital Light Processing）プロジェクタは図１６で後述するように色がくすみやすいため、色を鮮やかにする彩度強調は、画質向上に効果的である。

【0044】

なお、この彩度強調に用いる階調変換関数は、大幅に簡略化することも可能である。

【0045】

例えば、ＣｂＣｒの入力値は１０ｂｉｔとしても、階調変換関数によって変換したＣｂＣｒ値は１０ｂｉｔ（０〜１０２３）対応でなく、約１０分の１の７ｂｉｔ（０〜１２７）にしても、画質劣化はほとんど知覚できないことが分かった。

【0046】

人間の視覚は輝度（Ｙ）よりも色差（ＣｂＣｒ）の方が鈍感なため、ＣｂＣｒの処理を簡略化しても、劣化を感じにくい。

【0047】

したがって、作成された色差補正画像信号のビット数は、入力された色差画像のビット数よりも小さくなるように処理してもよい。これにより、色差画像の処理の演算負担を軽減し、ハードウェアロジック規模の削減や処理の高速化が可能となる。

【0048】

＜輝度補正＞
輝度（Ｙ）に対して、ヒストグラム平滑化処理を用いて輝度補正画像信号を作成する方法を以下に詳述する。

【0049】

図５に、輝度画像（原画像）から、輝度ヒストグラム及び累積ヒストグラムを作成する例を示す。図６に、累積ヒストグラムをルックアップテーブルに用いた（参照した）トーンカーブの変換例と、ヒストグラム平滑化した画像補正例を示す。

【0050】

最初に、上記（式１）によって変換された輝度画像（Ｙ）のヒストグラムを作成する。
なお、ヒストグラムを得る際に、対象とする画素を空間的に間引くと、処理の負荷が軽くなって好適である。

【0051】

例えば、水平方向と垂直方向ともに１６画素おきにサンプリングし、それらからヒストグラムを形成する。間引いてもヒストグラムの特性、即ち画質はあまり変わらず、処理の負荷だけを、大きく削減することができる。

【0052】

ＹＣｂＣｒ画像が１０ｂｉｔ対応であるとすると、ヒストグラムを格納する行列は1024ステップ（Org_Hist[0]〜Org_Hist[1023]）となるので、ヒストグラムは対象映像（動画）の1フレームについて、（式９）のように算出される。式中の「++」はヒストグラムの頻度を１つずつ加算している意味である。作成されたヒストグラムの例を図５（ｂ）に示す。図５（ｂ）では、横軸に画素数（輝度数）、縦軸に度数（頻度）を示し、ヒストグラムは、模式的に示しているとする。

【0053】

【数9】

次に、得られたヒストグラムから累積ヒストグラムを形成する。詳しくは、（式１０）に示すように、累積ヒストグラムをSum_Hist[0]〜Sum_Hist[1023]とし、その範囲で度数を順次累積させることで、累積ヒストグラムが形成される。作成されたヒストグラムの例を図５（ｃ）に示す。図５（ｂ）では、横軸に画素数（輝度数）、縦軸に累積度数（規格化された度数、相対比率）を示しており、図５（ｂ）をトーンカーブとする際は、横軸は入力画素値、縦軸を出力画素値として対応させてもよい。

【0054】

【数10】

累積ヒストグラムの度数を輝度補正のルックアップテーブルとして用いるために、累積ヒストグラムを１０ｂｉｔ（０〜１０２３）の範囲に正規化し、それをEqu_Table[0]〜Equ_Table[1023]とする。

【0055】

下記（式１１）により、図５（ｃ）に示す、累積ヒストグラムが０〜１０２３の範囲に正規化される（例えば図２（ｂ）参照）。

【0056】

【数11】

ここで生成されたEqu_Table[0]〜Equ_Table[1023]を、出力画像の輝度補正のルックアップテーブルとして、下記（式１２）のように用いる。

【0057】

【数12】

このように累積ヒストグラムを用いた輝度補正の具体例について、図６を用いて説明する。図６の上段に示すように暗いコンテンツの場合、累積ヒストグラムに基づいた平滑化トーンカーブ（補正用トーンカーブ、図６（ｂ）参照）は凸型になるハイキーなので、明るさが上がるように補正される。

【0058】

逆に図６の下段に示すように、明るいコンテンツの場合、累積ヒストグラムに基づいた平滑化トーンカーブ（図６（ｂ）参照）は凹型になるロウキーなので、明るさが抑えるように補正される。

【0059】

しかし、このように累積ヒストグラムをそのままルックアップテーブルとして用いると（参照すると）、動画に含まれる画像のコンテンツの内容によって、過補正になることがあるため、場合により、その効果を弱めることもできると望ましい。

【0060】

＜ヒストグラム平滑化の調整＞
図７は、ヒストグラム平滑化のＯＮ／ＯＦＦの場合分け判定を説明する図である。図８は、本発明の制御例として動画の補正画像（信号）を作成する際のヒストグラム平滑化画像と原画像の混合比率の推移例を示す。

【0061】

上述のようなヒストグラム平滑化処理について、図７（ａ）に示す自然画像のような連続的なヒストグラムであれば問題ないが、文章や図表のような２値画像に近いコンテンツの場合、ヒストグラムが局所的になるため、不要な階調変換によって望ましくない輝度変換になる場合がある。即ち、ヒストグラム平滑化による補正の良否は、コンテンツに依存する。

【0062】

一例として、全画素が黒（０）の黒ベタの場合、ヒストグラムの度数はOrg_Hist[0]に集中するため、累積ヒストグラムもSum_Hist[0] - Sum_Hist[1023]の範囲で一定値となる。そのため、黒ベタにヒストグラム平滑化を適用すると黒ではない不適切な変換結果となる。

【0063】

また、黒ベタの例の他に、図７（ｄ）に示すような文章や図表のような２値画像に近いコンテンツであると、黒ベタ画像での黒色変化に近い誤変換が生じる可能性がある。

【0064】

このような不適切な変換を防ぐために、画像のコンテンツのヒストグラムが連続的か離散的かを簡便に判定する。そして、連続的と判定された場合はヒストグラム平滑化を施し、離散的と判定された場合はヒストグラム平滑化を行わず、Yin値（輝度画像）を非加工で、スルーさせるようにする。即ち、入出力トーンカーブは対角線直線形状の非加工トーンカーブを用いる。

【0065】

ヒストグラムが連続的か離散的かをコンテンツ内容に基づいて判定するには、ヒストグラムの分散や標準偏差を用いる方法などが考えられるが、それらは処理負荷が大きくなる。

【0066】

そこで、処理が軽い判定方法の一例として、ヒストグラムOrg_Histのピーク値を用いる。ヒストグラムの総度数はコンテンツの画素数になるため、ヒストグラムの最大値であるピーク値が総度数のピーク所定値未満であれば連続的、ピーク所定値以上であれば離散的と見なす。例えば、図７（ｂ）にピーク値を示す。図７（ｅ）のピーク値は、右端において上限まで達しているものとする。

【0067】

図７は模式的に示しているが、その閾値となる「ピーク所定値」は例えば、最大頻度の１／１６前後が好適で、分母が２のべき乗である方がハードウェア実装に好適となる。

【0068】

あるいは、度数が、ピーク所定値よりも小さいある所定値を超える割合が、全輝度値（画素値）に対して、所定割合以上であるかどうかの度数を有するかどうかで、割合以上の場合は連続的、割合以下の場合は離散的とみなしてもよい。例えば、図７（ｂ）、図７（ｅ）に所定値も示す。

【0069】

以上のように、ヒストグラムのピーク値（あるいは所定値を超えた割合）を用いた判定により、コンテンツに応じたヒストグラム平滑化のＯＮ／ＯＦＦ切り替えを行う。

【0070】

しかしながら上述のようなピーク値とピーク所定値との閾値を用いたＯＮ／ＯＦＦ切り替えを動画に適用すると、フレームによってＯＮ／ＯＦＦの閾値の上下で行ったり来たりする場合、ヒストグラム平滑化のＯＮ／ＯＦＦも細かく切り替わる現象が生じ、不適切な動画になることも起こり得る。

【0071】

＜第１の制御例＞
それを回避するために、第１の制御例として、ヒストグラム平滑化の強度を徐々に変化させると好適である。

【0072】

そこで、ヒストグラム平滑化のＯＮ／ＯＦＦが時間的に小まめに切り替わると判定されるような動画映像である場合は、ＯＮやＯＦＦのフレームの連続数をカウントするカウント値（hdr_frame_cnt）を重み付け係数として用いて、ヒストグラム平滑化の補正強度を、徐々に変化させる。これにより、図８に示すように、コンテンツの内容に応じた、ヒストグラム平滑化のＯＮ／ＯＦＦを緩やかに移行可能であり、視聴者の違和感を軽減することができる。

【0073】

＜混合比率調整によるヒストグラム平滑化の補正強度調整＞
上記のヒストグラム平滑化（ＨＤＲ化）の移行のため、累積ヒストグラムをルックアップテーブルとして作成した平滑化トーンカーブ（図６（ｂ）参照）と、非加工トーンカーブ（右上がりの対角線直線、いわゆる入力画素値そのまま）とを合成して、補正用トーンカーブを作成する。そして、その補正用トーンカーブに基づいて輝度補正画像（信号）を作成する。

【0074】

補正用トーンカーブを合成する際の、平滑化トーンカーブと、非加工トーンカーブとの混合の比率を、判定値（カウント値）に応じて重み付けして設定することで、輝度補正画像のヒストグラム平滑化の補正強度を調整できる。

【0075】

このトーンカーブの混合調整による補正は、後述するフレーム毎に、実行される。

【0076】

例えば、上述のようにヒストグラムのピーク値とピーク所定値との比較や、所定値以上の度数の画素値（輝度値）の割合などによって、ヒストグラム平滑化をＯＦＦと判定した場合、カウント値（累積された判定値）hdr_frame_cntをデクリメントする。

【0077】

ヒストグラム平滑化がＯＦＦ条件であれば、そのフレームカウンタのカウント値を、デクリメント、即ち、「−１減算」する。

【0078】

【数13】

ただし、カウント値hdr_frame_cntの下限値は０とする。

【0079】

一方、ヒストグラム平滑化がＯＮ条件であれば、フレームカウンタのカウント値をインクリメント、即ち「＋１加算」する。

【0080】

【数14】

ただし、カウント値hdr_frame_cntの上限値は例えば３２フレームや６４フレーム等、任意の値とするが、上限値が大きいほど、ヒストグラム平滑化のＯＮ／ＯＦＦは緩やかに変化される。

【0081】

このカウント値を、過去フレームから累積された判定値として、ヒストグラム平滑化のＯＮ／ＯＦＦを重み付けすることで、コンテンツの内容によりヒストグラム平滑化のＯＮ／ＯＦＦが突然切り替わることなく、ジワジワ切り替えることができる。

【0082】

下記、（式１５）は、ヒストグラム平滑化の補正強度が３２段階で、３２フレームかけて切替える際の例を示す。

【0083】

【数15】

このように補正強度を徐々に変化させるため、コンテンツの内容に応じて、ヒストグラム平滑化のＯＮ／ＯＦＦが切り替わる際の、視覚的な違和感を軽減できるようになる。

【0084】

なお、この例では、カウント値を±１ずつ変化させる例を示したが、カウント値のカウント範囲（例えば、０〜３１、０〜６３、所定の範囲）に対して十分に小さい数であれば、所定数（例えば、１〜５）ずつ変化させてもよい。

【0085】

＜合成画像の作成＞
図９は、合成画像を作成する際の重み付け合成手順を示す模式図を示す。この模式図は後述の図１２の制御フローに示すステップＳ８に対応している。

【0086】

ステップＳ８０１でカウント値が入力される。ここで、カウント値は、重み付け係数の一例であり、上述の（式１３）〜（式１５）で説明したように、例えば、合計が６４であり、一方の重み付け係数hdr_frame_cntが５０であるとすると、他のカウント値（重み付け係数）は、１４になる。

【0087】

ステップＳ８０２では、ヒストグラム平滑化を適用した画像Ａに対して、重み付け係数（例えば５０）をかける。具体的には、ヒストグラム平滑化画像用の平滑化トーンカーブに重み付け係数をかける。

【0088】

ステップＳ８０３では、ヒストグラム平滑化の非適用画像である原画像Ｂに対して、全体数から重み付け係数を差し引いた数（例えば１４）をかける。具体的には、原画像用の非加工トーンカーブ（対角線直線）に重み付け係数をかける。

【0089】

そして、ステップＳ８０４で、Ｓ８０２で作成したカウント値を掛けた平滑化画像と、Ｓ８０３で全体値からカウント値を引いた数を掛けた原画像を混合して合成し、全体値（６４）で割って、合成画像を作成する。具体的な例として、重み付け係数（５０）を掛けた平滑化トーンカーブと、全体数から重み付け係数を差し引いた数（例えば１４）を掛けた非加工トーンカーブ（対角線直線）とを足しあわて、６４で割って補正用トーンカーブを作成する。

【0090】

そして、ステップＳ８０５で作成した画像を出力する。詳しくは、補正用トーンカーブをルックアップテーブルとして（輝度入力画像から、グラフ化すると補正用トーンカーブになる階調変換係数をかけて）、輝度補正画像（信号）を出力する。

【0091】

よって、図８に示すように、上記のＯＮ／ＯＦＦが時間的に小まめに切り替わるような映像である場合、図９に示すように、連続数をカウントするカウント値（hdr_frame_cnt）を重み付け係数として用いて画像の混合比率を徐々に変化させながら、ヒストグラム平滑化の補正のＯＮ／ＯＦＦ（有無）を切り替える。よって、視聴者のヒストグラム平滑化のＯＮ／ＯＦＦ切り替えの違和感を軽減することができる。

【0092】

＜累積ヒストグラムの強弱調整（設定レベル調整）＞
次に、累積ヒストグラムを用いた輝度補正の範囲について、予め指定する強弱調整の設定方法を示す。この設定は、コンテンツの内容に依らない、輝度補正のヒストグラム平滑化の補正強度の前提となる任意の選択設定であるとする。

【0093】

図１０に、オフセットを加えた累積ヒストグラムをルックアップテーブルに用いたトーンカーブの変換例と、画像補正例を示す。

【0094】

出力画像のヒストグラム平滑化の補正強度のレベルを、ユーザーが任意に設定可能にする。

【0095】

コンテンツが有するヒストグラムに均一なオフセットを加算すると、ヒストグラムの集中度合（偏り）が分散されるため、累積ヒストグラムの凹凸が小さくなり、直線に近づく。

【0096】

加算するオフセットの大小により、ユーザーの任意で輝度補正の強弱が制御可能となる。

【0097】

輝度画像補正部３において、ユーザーが設定した補正強度が最も強いレベル以外は、所定量のオフセットをヒストグラムに加算し、補正強度のレベルが弱いほど、ヒストグラムに加算するオフセットを多くする。

【0098】

【表2】

例えば、表２に示すようにレベル分けして、ヒストグラム平滑化の強さ（混合した際の最大強さ）を設定する。

【0099】

具体的には、輝度画像補正部３は、所定量のオフセットをヒストグラムに加算し、オフセットが加算されたヒストグラムから、オフセット累積ヒストグラムを作成し、輝度信号のビット数に正規化したオフセット累積ヒストグラムをルックアップテーブルとして用いて（参照して）、ヒストグラム平滑化を行う。

【0100】

このようにヒストグラムにオフセットを加算する場合でも、図９に示したように平滑化トーンカーブと非加工トーンカーブとの混合の比率を、判定値（カウント値）に応じて重み付けして、補正用トーンカーブを合成することで、輝度補正画像のヒストグラム平滑化の補正強度を、設定した補正強度のレベル内で、調整できる。

【0101】

＜画像処理部の構成＞
図１１に、図９に示す制御が実行可能な画像処理装置の機能ブロック図を示す。

【0102】

本発明の実施形態に係る画像処理装置１０は、入力画像（ＲＧＢ）記憶部１、ＲＧＢ・ＹＣｂＣｒ変換部２、輝度画像補正部３、色差画像補正部４、ＹＣｂＣｒ・ＲＧＢ変換部５、出力画像（ＲＧＢ）記憶部６、記憶色反映部７、及び設定情報取得部８を備える。

【0103】

輝度画像補正部３は、ヒストグラム平滑化に利用される、Ｙ画像記憶部３０１と、ヒストグラム作成部３０２と、オフセット量記憶部３０３と、オフセット加算部３０４と、ヒストグラム累積部３０５と、ヒストグラム規格化部３０６と、平滑化トーンカーブ作成部３０７と、を備える。

【0104】

また、輝度画像補正部３は、補正画像作成に利用される、ピーク値・所定値比較部３０８と、過去フレームカウント値記憶部（過去フレーム判定値記憶部）３０９と、カウント値演算部３１０と、重み付け合成画像作成部３１１とを備える。重み付け合成画像作成部３１１は補正用トーンカーブ合成部３１２と、合成画像作成部３１３とを備えている。

【0105】

色差画像補正部４は、ＣｂＣｒ画像記憶部４１と、トーンカーブ記憶部４２と、彩度強調処理部４３とを備える。

【0106】

記憶色反映部７は、記憶色含有判断部７１と、肌色記憶部７２と、空色記憶部７３と、灰色記憶部７４と、記憶色割合カウンタ部７５とを備える。

【0107】

輝度画像補正部３において、ヒストグラム作成部３０２で、Ｙ画像記憶部３０１に記憶されたＹ画像から、図５（ｂ）に示すヒストグラム（輝度ヒストグラム）を作成する。

【0108】

設定情報取得部８で設定された補正強度レベルに合わせて、オフセット量を決定し、オフセットを追加する。

【0109】

ヒストグラム累積部３０５でヒストグラムを累積して、図５（ｃ）に示す累積ヒストグラムを作成する。

【0110】

ヒストグラム規格化部３０６は、累積ヒストグラム（図５（ｃ））をルックアップテーブルとして、ヒストグラムを規格化して、平滑化トーンカーブ作成部３０７は、補正に用いる平滑化トーンカーブ（図６（ｂ））を作成する。

【0111】

あるいは、ヒストグラム規格化部３０６・平滑化トーンカーブ作成部３０７は、平滑化の補正強度が弱く設定されている場合は、オフセット累積ヒストグラムをアップテーブルとして、オフセット調整累積ヒストグラムをルックアップテーブルとして、オフセット調整平滑化トーンカーブ（図１０（ｂ）， 図１０（ｃ））を作成する。

【0112】

また、ピーク値・所定値比較部３０８は、その時点（フレーム）の画像のヒストグラムのピーク値がピーク所定値を超えているかの判定、あるいは、度数が所定値を超える割合（全輝度値（画素値）に対する、所定値以上の度数を有する（集中している、頻度が多い）輝度値の割合）を算出して（図７（ｂ），（ｅ））、そのヒストグラムに対して平滑化処理を強めるか弱めるかを判定する。即ち、ピーク値・所定値比較部３０８は、平滑化有無判定部として機能する。

【0113】

カウント値演算部（フレームカウンタ）３１０は、過去フレームカウント値記憶部３０９に記憶された直前のカウント値を読み出し、ピーク値・所定値比較部３０８の判定により、平滑化処理を強める場合はカウント値を増加させ、弱める場合はカウント値を減少させる。カウント値が判定値となるため、カウント値演算部３１０は判定値演算部として機能する。

【0114】

重み付け合成画像作成部３１１は、カウント値が示す重み付け係数に応じて、非加工トーンカーブ(対角線直線)と、平滑化トーンカーブ作成部３０７で作成された平滑化カーブとを混合した補正用トーンカーブを基にして、合成画像を作成する。

【0115】

記憶色の処理を行う記憶色反映部７における処理は、図１３を用いて詳述する。

【0116】

色差画像補正部４において、彩度強調処理部４３は、ＣｂＣｒ画像記憶部４１に記憶されたＣｂＣｒ画像（図４（ａ））に対して、トーンカーブ記憶部４２で記憶された補正用トーンカーブ（Ｓ字カーブ）（図４（ｂ）参照）を適用して、彩度強調画像（図４（ｃ））を作成する。

【0117】

＜制御フロー＞
図１２は、本発明の画像処理手順を示すフローチャートを示す。

【0118】

ステップＳ１で、画像処理装置１０において、スキャンを開始する。

【0119】

ステップＳ２で、入力画像としてＲＧＢ画素値が入力され、入力画像記憶部１で記憶される。

【0120】

ステップＳ３で、ＲＧＢ・ＹＣｂＣｒ変換部２は、ＲＧＢ画像からＹＣｂＣｒ画像へ変換する。ステップＳ３の後は、輝度画像（原画像）Ｂと、色差画像に対して別々に並列に処理が実行される。

【0121】

ステップＳ３で作成された、輝度画像Ｂは、Ｓ４のヒストグラム作成工程、Ｓ７のカウント値算出工程及びＳ８の合成画像作成工程で利用される。

【0122】

ステップＳ４で、ヒストグラム作成部３０２は、画素内でヒストグラム作成対象を間引いて、ヒストグラムを作成する。

【0123】

ステップＳ５で、ヒストグラム累積部３０５は、ヒストグラム、又はオフセットが加算されたヒストグラムを基にして、累積ヒストグラムを作成する。

【0124】

ステップＳ６で、平滑化トーンカーブ作成部３０７は、累積ヒストグラム又はオフセット累積ヒストグラムをルックアップテーブルとして、平滑化トーンカーブＢを作成する。

【0125】

ステップＳ７で、カウント値演算部３１０は、フレームカウンタのカウント値を算出する。カウンタの詳細は図１３とともに後述する。

【0126】

ステップＳ８で、重み付け合成画像作成部３１１は、カウント値を重み付け係数として適用し、トーンカーブを用いて、輝度画像（元画像）、ヒストグラム平滑化画像を重み付けして混合し、合成画像（Ｙ画像）を作成する。

【0127】

また、ステップＳ４〜Ｓ８と平行して、ステップＳ９で、色差（彩度）に対して、彩度強調画像を作成する。

【0128】

ステップＳ１０で、ＹＣｂＣｒ・ＲＧＢ変換部５において、Ｓ８で作成した合成画像である輝度補正画像（Ｙ）と、彩度が強調された色差補正画像（ＣｂＣｒ）を組み合わせ、出力用のＲＧＢ画像へ変換する。

【0129】

ステップＳ１１で、出力画像（ＲＧＢ）記憶部６から出力用のＲＧＢ画像（出力画像信号）を出力する。

【0130】

なお、図１２で示した本発明の画像処理は、他の画像処理との併用も可能である。例えばプロジェクタを４Ｋ・８Ｋ等の高解像化を行う有力な手段として画素ズラシ（ウォブリング）と併用してもよい。

【0131】

例えば２方向の画素ズラシ（ズラシ位置αとβが存在する場合）で４Ｋの映像を出力する場合、ズラシ位置αとズラシ位置βにそれぞれ本発明の画像処理のアルゴリズムを適用することにより、４Ｋの映像そのものに適用するよりもメモリ使用量等の節約になる。

【0132】

上記の画像処理の制御に、この画素ズラシと併用すると、高解像化とＨＤＲ調（見えやすさ）の双方を実現できる。

【0133】

＜カウント方法＞
図１３に、フレームカウンタにおける演算手順を示す詳細フローチャートを示す。この詳細フローは図１２に示すステップＳ７に対応している。

【0134】

まず、図８に示す、ヒストグラム平滑化の補正強度を少しずつ変化させる、重ね付け推移を実現可能な標準フローを説明する。

【0135】

ステップＳ７０１で、カウント値演算部３１０は、過去フレームカウント値記憶部３０９に記憶された直前のカウント値を呼び出す。

【0136】

ステップＳ７０２で、ピーク値・所定値比較部３０８は、対象のフレームの最も大きいピーク値が、ピーク所定値未満であれば連続的であり、ピーク所定値以上であれば、離散的であるとする。あるいは、度数が所定値を超える割合を算出して閾値よりも大きいかどうか比較する（図８（ｂ），図８（ｅ））。なお、ピーク所定値＞割合を示す所定値であるとする。

【0137】

Ｓ７０２でピーク値がピーク所定値よりも小さい場合、又は度数がある所定値を超える割合が大きい場合、原画像は連続的なヒストグラムであるとして、ステップＳ７０３で、ヒストグラム平滑化を強くするように、フレームカウンタを加算して、ステップＳ７０４で前回のカウント値＋１を出力する。

【0138】

Ｓ７０２でピーク値がピーク所定値よりも大きい場合、原画像は離散的なヒストグラムであるとして、ステップＳ７０５でヒストグラム平滑化を強くするように、フレームカウンタを加算して、ステップＳ７０６で前回のカウント値＋１を出力する。

【0139】

カウント値の演算が終了すると、重み付け合成画像作成部３１１による合成工程に進む（図１１、Ｓ８）。

【0140】

上記Ｓ７０１〜Ｓ７０６は、図８に示す補正強度の徐変を実現する通常のカウントであるが、記憶色を考慮して、さらにカウント値の設定を変更してもよい。

【0141】

＜記憶色による調整＞
肌色や空、緑は記憶色と呼ばれ、特に印象に残りやすい色として知られている。前述のヒストグラム平滑化は、映像の明瞭感を大きく向上させる一方、映像にノイズがある場合、ノイズも強調させることがある。

【0142】

映像によく含まれるノイズには、ＭＰＥＧ（Moving Picture Experts Group）に圧縮する際のブロックノイズやモスキートノイズがある。

【0143】

画像にヒストグラム平滑化を施すと、そのブロックノイズやモスキートノイズも強調させることがあり、特に肌色や空に強調されたノイズが含まれると、映像の印象が損なわれやすい。

【0144】

そこで、ヒストグラム平滑化のＯＮ／ＯＦＦ判定に、記憶色である肌色や空の色、さらには視覚的に感度の高い灰色の含有率を用い、ある一定以上の含有率の場合、上記Ｓ７０２での判定結果に依らず、カウント値を減らし、ヒストグラム平滑化をＯＦＦにするように徐々に移行させることで、肌色や空の不快なノイズ強調を抑制することができる。

【0145】

Ｓ７０７において、記憶色含有判断部７１は、フレーム毎の入力画像であるＲＧＢ画像から、肌色かどうかを判定するためのＲＧＢ画素値を肌色記憶部７２に記録する。

【0146】

そして、Ｓ７０８で肌色記憶部７２に記録されたＲＧＢ画素値を呼び出す。そのＲＧＢ画素値から肌色かどうか（肌色に相当するかどうか）を判定し、肌色ではないと判定した場合は（Ｎｏ）、Ｓ７０９の肌色カウンタはインクリメントさせない。

【0147】

肌色であると判定した場合は（Ｓ７０８でＹｅｓ）、Ｓ７０９へ進み、肌色カウンタをインクリメントさせる。

【0148】

詳しくは、肌色の画素数をカウントする肌色カウント値skin_counterと空の色の画素数をカウントする空色カウント値sky_counter、さらに灰色カウント値gray_counterのカウント値を判定に用いる。

【0149】

例えば、肌色の場合、ＲＧＢの画素値（１０ｂｉｔ）について、Ｒ（赤）の画素値がＧ（緑）の１．２倍以上かつＢ（青）の１．４倍以上、さらにはＲ（赤）の画素値が２５５（／１０２３）以上の場合に肌色と見なし、肌色カウント値skin_counterをインクリメントさせる。

【0150】

【数16】

Ｓ７１０において、カウントが閾値以上、即ち、入力画像における肌の色が占める割合が閾値以上であった場合、Ｓ７０２の結果の有無にかかわらず、Ｓ７０５へ進み、フレームカウンタを強制的に減算させる。

【0151】

Ｓ７１１〜Ｓ７１３の空の色に対する判定は、Ｓ７０８〜Ｓ７１０の肌の色に対する判定と同様であって、肌の色に対する判定と並行して実行される。

【0152】

例えば、空の色の場合、ＲＧＢの画素値（１０ｂｉｔ）について、Ｂ（青）の画素値がＧ（緑）の１．２倍以上かつＲ（赤）の１．２倍以上、さらにはＲの画素値が５１１（／１０２３）の場合に空の色と見なし、空の色のカウント値sky_counterをインクリメントさせる。

【0153】

さらに、Ｓ７１４〜Ｓ７１６の灰色に対する判定は、Ｓ７０８〜Ｓ７１０の肌の色に対する判定及びＳ７１１〜Ｓ７１３の空の色に対する判定と同様であって、肌の色、及び空の色に対する判定と並行して実行される。

【0154】

例えば、灰色の場合、ＲＧＢの画素値（１０ｂｉｔ）について、Ｒ（赤）の画素値がＢ（青）の±１０、Ｇ（緑）の画素値がＢ（青）の±１０、さらにはＢの画素値が５１１（／１０２３）以上の場合に灰色と見なし、灰色のカウント値gray_counterをインクリメントさせる。

【0155】

【数17】

以上の記憶色のカウント値skin_counter、sky_counter、gray_counterの夫々の累積値が所定値を超えたら、ノイズの強調が生じないよう、ヒストグラム平滑化を減算させる。

【0156】

【数18】

このように制御することにより、画像処理装置において、コンテンツの内容に応じて、例えば、自然画像と２値画像が切り替わる場合であっても、視聴者に違和感を与えずに、動画のフレーム単位でヒストグラム平滑化による補正強度を調整することができる。

【0157】

＜第２の制御例＞
上記の第１の制御例では、図７（ａ）に示すような自然画像のコンテンツと、図７（ｄ）に示すような２値画像のコンテンツとの切り替え等、極端な変化が起こる場合であって、切り換わった画像が一定期間しばらく維持される場合に特に有効であった。

【0158】

しかし、動画内の変化が早い場合（例えば、大きく異なるシーンに急変するような場合）は、上記のようにフレーム単位のヒストグラムの平滑化の補正強度を徐々に変化させるのでは、急変する前に最適であった補正強度を引きずり、急変した後のシーンではそれが最適でない場合（例えば、画像補正が追い付かない場合）がありうる。

【0159】

また、類似したシーンが連続的に続く場合であっても、ヒストグラム平滑化の補正強度が細かく変動することにより、視覚的に不快なチラツキが生じる場合もありうる。

【0160】

そこで、動画の種類に応じて、輝度補正の制御を下記の第２の制御例のように切り替えてもよい。

【0161】

本制御例においては、ヒストグラム平滑化の補正強度をクリップさせる。即ち、本制御例において、輝度画像補正部は、フレーム毎の輝度画像のコンテンツ内容に基づいて計算されるヒストグラム平滑化の補正強度が所定の範囲内となるように、フレーム毎に調整している。

【0162】

その概要を図１４に示す。図１４において、（ａ）は、ヒストグラムと平滑化強度の対応式を示し、（ｂ）は、平滑化強度のクリッピングの説明図を示し、（ｃ）は、（ｂ）のクリッピングを適用した暗いシーンでの明るさ調整例を示す。

【0163】

本制御例では、フレーム毎の輝度画像に基づいて演算されるヒストグラムのピーク値から算出される平滑化強度が明方向閾値又は暗方向閾値を上回る場合は、その明方向閾値や暗方向閾値を超えないように、平滑化強度を明方向閾値又は暗方向閾値でクリップする。即ち、暗く偏った又は明るく偏ったフレームから算出された補正強度を、明方向閾値や暗方向閾値に丸めるように補正強度を設定する。なお、本制御例の主体については、下記図１５とともに説明する。

【0164】

ここで、図１４（ｂ）のグラフにおいて、ヒストグラムのピーク値から算出された平滑化強度が明方向閾値を上回る場合、即ち暗く偏ったフレームでは、平滑化強度が明方向補正のリミット値である明方向閾値に収まるように補正する。

【0165】

また、図１４（ｂ）のグラフにおいて、ヒストグラムのピーク値から算出された平滑化強度が暗方向閾値を上回る（図１４（ｂ）において暗方向閾値よりも下にある）場合、即ち明るく偏ったフレームでは、平滑化強度が暗方向補正のリミット値である暗方向閾値に収まるように補正する。

【0166】

この制御により、原画像の明るさや暗さ、即ち、輝度画像信号のヒストグラムにおけるピーク値が過剰に変動していた場合に、明方向閾値や暗方向閾値に合わせて平滑化強度を設定することで補正強度が一定範囲に収まる。そのため、ヒストグラム平滑化の強度の安定性が向上し、ＯＮ／ＯＦＦの移行が急な場合に対応できつつ、画像の明るさが急に変化する場合に出現するチラツキを軽減でき、視聴者の違和感を軽減させることができる。

【0167】

ここで、図１４（ｃ）に例示している暗いシーンのように、暗い側に偏ったフレームの輝度画像信号のヒストグラムの平滑化処理の補正強度を明方向閾値にクリップすることで、輝度値の上限値及び下限値もクリップすることになり、チラツキの軽減に対して効果的である。

【0168】

なお、本制御例では、フレーム毎のすばやい動作に対応するため上記の制御例１のよう平滑化の補正強度を累積変化させず、図１４（ｂ）で示すように、明方向閾値や暗方向閾値以下の強度になるように平滑化の補正強度を制限して（クリップして）、フレーム毎に設定する。

【0169】

図１５に、本発明の第２の制御例に係る、画像処理装置１Ａの詳細機能ブロック図を示す。下記において、上述の図１１の画像処理装置１とは異なる点を説明する。

【0170】

図１５において、輝度画像補正部３Ａは、Ｙ画像記憶部３０１、ヒストグラム作成部３０２、ヒストグラム累積部３２１、ピーク値算出部３２２、補正強度算出部３２３、補正強度設定部３２４、補正強度閾値記憶部３２５、ヒストグラム規格化部３２６、平滑化トーンカーブ作成部３２７、及び輝度補正画像作成部３２８を有する。

【0171】

ヒストグラム累積部３２１は、フレーム毎の輝度画像（信号）のヒストグラムを累積する。この累積結果により、輝度画像を明るい方向に補正するか、暗い方向に補正するか判定する。

【0172】

ピーク値算出部３２２はヒストグラムのピークを検出してピーク値を算出する（演算する）。

【0173】

補正強度算出部３２３は、演算したヒストグラムのピーク値に基づき、図１４（ａ）に示す関係式に基づいて、平滑化強度を算出する。図１４（ａ）は、ヒストグラムと平滑化強度の対応式（関係式）を示す。なお、図１４（ａ）に示す関係式は、例えば、画像処理装置（回路）１０内部に予め実装されているとする。

【0174】

図１４（ａ）の関係式を参照して、ヒストグラムのピーク値が小さいほど、平滑化強度が強くなるように対応づけられている。また、ヒストグラムのピーク値が所定の値を超えると、ヒストグラムの平滑化強度は０になる。

【0175】

例えば、写真やイラスト等の画像は、大体、ヒストグラムのピーク値が低いことが多く、図１４（ａ）に示すように、相対的に強い平滑化強度が算出される。

【0176】

一方、図７（ｄ）のようなWordやExcelのようなテキスト画像の場合、ピーク値が高いため、図１４（ａ）に示すように、平滑化強度は０である、つまり、平滑化を行わない。

【0177】

なお、補正強度算出部３２３は、ヒストグラム累積部３２１によって累積ヒストグラムから判定された輝度画像の補正の方向（明るい方向又は暗い方向）の情報も取得して、上記算出した平滑化強度とともに、補正強度設定部３２４へ出力する。

【0178】

補正強度閾値記憶部３２５は、図１４（ｂ）で示す補正強度の閾値として、明るい方向に補正する場合の明方向閾値、暗い方向に補正する場合の暗方向閾値を設定する。この閾値は、設定情報取得部８Ａによってユーザーによって任意に設定されてもよいし、製造時に予め設定されていてもよい。また、明方向閾値と、暗方向閾値との強度は同じであってもよいし、異なっていてもよい。

【0179】

補正強度設定部３２４は、補正強度算出部３２３で算出された補正強度と、補正強度閾値記憶部３２５に記憶された補正強度の明方向閾値、暗方向閾値とを比較して、明方向閾値、暗方向閾値を超えない範囲内の場合は、算出された補正強度をそのまま補正強度として設定する。

【0180】

一方、補正強度設定部３２４は、暗いフレーム（一のクレーム）の輝度画像信号に基づいて演算されるピーク値と対応づけられた平滑化強度が明方向閾値を明るい方向に上回る場合は、その平滑化強度を明方向閾値に合わせて設定する。

【0181】

また、補正強度設定部３２４は、明るいフレーム（他のクレーム）の輝度画像信号に基づいて演算されるピーク値と対応づけられた平滑化強度が暗方向閾値を暗い方向に上回る場合は、その平滑化強度を暗方向閾値に合わせて設定する。

【0182】

そして、ヒストグラム規格化部３２６は、輝度画像信号のビット数に正規化した累積ヒストグラムを作成する。

【0183】

平滑化トーンカーブ作成部３２７は、正規化した累積ヒストグラムをルックアップテーブルとして用いて（参照して）、補正強度設定部３２４で設定された平滑化強度で、ヒストグラム平滑化のための平滑化トーンカーブを作成する。

【0184】

輝度補正画像作成部３２８は、平滑化トーンカーブを用いて、輝度画像にヒストグラム平滑化処理を行い、輝度補正画像を作成する。

【0185】

そして、図１１と同様に、ＹＣｂＣｒ・ＲＧＢ変換部５において、作成した合成画像である輝度補正画像（Ｙ）と、彩度が強調された色差補正画像（ＣｂＣｒ）を組み合わせ、出力用のＲＧＢ画像へ変換する。

【0186】

その後、出力画像（ＲＧＢ）記憶部６から出力用のＲＧＢ画像を出力する。

【0187】

このように制御することにより、画像処理装置において、例えば、自然画像を含んで動画内の変化が早い場合であっても、視聴者に違和感を与えずに、画面のチラツキを防いで、動画のフレーム単位でヒストグラム平滑化による補正強度を調整することができる。

【0188】

なお、第１の制御例と、第２の制御例とを別々に説明したが、上記の２つの制御例は、択一的に選択してもよいし、組み合わせて実行させることも可能である。

【0189】

詳しくは、輝度画像補正部は、投影する動画のコンテンツの種類に応じて、
（１）作成する輝度補正画像におけるヒストグラム平滑化の補正強度に対応付けられた判定値を動画信号の連続するフレーム間で徐々に変化させ、判定値に応じて、ヒストグラム平滑化の補正強度をフレーム毎に調整する輝度補正と、
（２）作成するフレーム毎の前記輝度画像信号の、ヒストグラム平滑化の補正強度を、ヒストグラムのピーク値に基づいて算出し、クリッピングする輝度補正とを、
選択可能である、又は組み合わせることができる。

【0190】

例えば、図１３で説明したように、ヒストグラム平滑化の補正強度を減算させる記憶色割合カウンタ部７５の肌色カウント値（skin_counter）、空色カウント値（sky_counter）、灰色カウント値（gray_counter）の各カウント値の上限に閾値を設定する。そして、カウンタ値が上限を超えたら閾値にクリッピングすることによっても、ヒストグラム平滑化の補正強度の安定化に繋がり、画面のチラツキを防ぐことができる。

【0191】

以上説明したような本発明の実施形態に係る画像処理制御は、映像デバイス全般に効果があるが、特に、ＦＰＧＡ（Field-programmable gate array：論理回路が現場でプログラミング可能なアレイ状にした集積回路）やＡＳＩＣ（application specific integrated circuit：特定用途向け集積回路）といったハードウェアの実装や変更に制約がある、画像投影装置の一例であるＤＬＰプロジェクタに適用すると好適である。

【0192】

＜カラーホイールへの適用＞
図１６に、ＤＬＰプロジェクタのカラーホイールを示す。図１６において、（ａ）は、ＲＧＢ各色の扇型の色分離フィルタが円盤上に順次配置されている構成例、（ｂ）は、ＲＧＢ各色＋Ｃ（シアン）、Ｙ（イエロー）、Ｗ（ホワイト）の色分離フィルタが順次配置されている構成例を示す。

【0193】

後述する図１７に示すようなＤＬＰプロジェクタは図１６（ａ）に示すような、原色を分割配置したカラーホイールを高速に回転させた時分割混色によって表示する。よって、一般的なディスプレイや液晶プロジェクタと比べると、原色の利用効率が下がり、素の状態で投影すると色がくすみやすい。よって、本発明の上述の画像処理制御を実施すると好ましい。

【0194】

また、図１６（ｂ）に示すカラーホイールは、シアンやイエローの色分離フィルタを設けているため、構造により、図１６（ａ）よりは、黄色や水色系統の色再現領域を再現しやすい。

【0195】

よって上述の図４、表１に示すような色差画像の彩度強調の設定で、図１６（ａ）に示すフィルタ色のカラーホイールを用いる場合は彩度強調を強くし、図１６（ｂ）に示すようなフィルタ色のカラーホイールを用いる場合は、彩度強調を弱くすると好ましい。

【0196】

＜ＤＬＰプロジェクタへの適用＞
図１７は、本発明の画像処理方法が適用可能なＤＬＰプロジェクタ（画像投影装置）の構成例の一例を示すブロック図である。

【0197】

例えば、図１７に示すように、プロジェクタ２０は、入力Ｉ／Ｆ２０１と、操作パネル２１３と、ＤＬＰコントローラ２１０と、ＲＯＭ２１５と、ＲＡＭ２１６と、スピーカ２２１と、発光装置２３１とカラーホイール２３３と、ＤＭＤ（Digital Mirror Device）２３５とを、備える。

【0198】

なお、ＤＬＰコントローラ２１０は、制御部の一例であり、発光装置２３１、カラーホイール２３３、及びＤＭＤ２３５は、投影部の一例である。

【0199】

入力Ｉ／Ｆ２０１は、ＬＡＮコントローラ２０２、ＡＦＥ（Analog Front End）２０３、ＨＤＭＩ（登録商標）２０４、及びＵＳＢ２０５などの入力インタフェースを有する。

【0200】

操作パネル２１３及びプロジェクタ２０と通信可能なリモコン２１４は、ユーザーからの各種操作入力をＤＬＰコントローラ２１０に通知する。

【0201】

通信部２２３は、ＰＣや電子ペンなどの外部装置と無線通信するものであり、無線通信装置により実現できる。

【0202】

ＤＬＰコントローラ２１０は、ＲＯＭ２１５に記憶されたプログラムを実行し、ＲＡＭ２１６をワーク領域に用いて、プロジェクタ２０の各部を制御する。

【0203】

ＤＬＰコントローラ２１０は、入力Ｉ／Ｆ２０１から入力された投影画像に階調変換処理、スケーリング、及び台形補正などの各種画像処理を施し、画像処理後の部分投影画像をＤＭＤ２３５に表示する。またＤＬＰコントローラ２１０は、発光装置２３１に対する発光制御、カラーホイール２３３に対する回転制御、ＤＭＤ２３５に対する表示制御、及びスピーカ２２１に対する音声出力制御などを連動して行う。

【0204】

発光装置２３１は、例えば、ランプ及びバラスト、又はＬＥＤ（Light Emitting Diode）光源などが挙げられる。

【0205】

そして、ＤＬＰコントローラ２１０がカラーホイール２３３を回転させることにより、カラーホイール２３３は、発光装置２３１からの光源光を時分割でＲＧＢ各色に分離し、ＲＧＢそれぞれの単色光をＤＭＤ２３５の表示領域全面に入射させる。

【0206】

図１８にＤＬＰコントローラの例を示す。

【0207】

上述の画像処理方法を実行可能な機能構成が含まれる、ＦＰＧＡやＡＳＩＣを簡便に実装できる。

【0208】

よって、図１８に示すように、ＤＬＰコントローラ内部であってＣＰＵの前段に、ＦＰＧＡやＡＳＩＣ後付けすることで、階調変換処理によりコンテンツに応じた画像処理によるＨＤＲ化による画質向上する効果をもたらす。

【0209】

このように、ＨＤＲ調の効果が大きく、視聴者に違和感を与えずに、コンテンツの内容に応じて、動画のフレーム単位でヒストグラム平滑化による補正強度を切り替えることができる、画像処理装置を比較的安価なＦＰＧＡ等によってハードウェア実装が可能になる。

【0210】

図１７、図１８では、本発明の画像処理をＤＬＰプロジェクタへの実装する例について説明したが、本発明の画像処理の適用はＤＬＰプロジェクタに限られない。例えば、動画を再生するビデオプロジェクタ、映写機、液晶パネルが搭載されるビデオ、車載カメラ、ビデオ、テレビ、パソコン、タブレット、スマートフォン、携帯電話等に適用可能である
また、上述の実施形態では、輝度色差信号として、ＹＣｂＣｒを用いた例を説明したがそれと同様な輝度色差信号であるＹＵＶ((Y)Lumina, U Axis blue component, V axis red component)等でもＹＣｂＣｒと同様に好適に変換できる。

【0211】

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の実施形態の要旨の範囲内において、種々の変形、変更が可能である。

【符号の説明】

【0212】

１ 入力画像（ＲＧＢ）記憶部
２ ＲＧＢ・ＹＣｂＣｒ変換部（入力画像色空間変換部）
３ 輝度画像補正部
４ 彩度画像補正部
５ ＹＣｂＣｒ・ＲＧＢ変換部（出力画像色空間変換部）
７ 出力画像（ＲＧＢ）記憶部
８ 記憶色反映部
９ 設定情報取得部
１０ 画像処理装置（ＦＰＧＡ，ＡＳＩＣ）
２０ 画像投影装置
４１ ＣｂＣｒ画像記憶部
４２ Ｓ字トーンカーブ記憶部
４３ 彩度強調処理部
７１ 記憶色含有判断部
７２ 肌色記憶部
７３ 空色記憶部
７４ 灰色記憶部
７５ 記憶色割合カウンタ部
３０１ Ｙ画像記憶部
３０２ ヒストグラム作成部
３０３ オフセット量記憶部
３０４ オフセット加算部
３０５ ヒストグラム累積部
３０６ ヒストグラム規格化部
３０７ 平滑化トーンカーブ作成部
３０８ ピーク値・所定値比較部（平滑化有無判定部）
３０９ 過去フレームカウント値記憶部（過去フレーム判定値記憶部）
３１０ カウント値演算部（判定値演算部）
３１１ 重み付け合成画像作成部
３１２ 補正用トーンカーブ合成部
３１３ 合成画像作成部
３２１ ヒストグラム累積部
３２２ ピーク値算出部
３２３ 補正強度算出部
３２４ 補正強度設定部
３２５ 補正強度閾値記憶部
３２６ ヒストグラム規格化部
３２７ 平滑化トーンカーブ作成部
３２８ 輝度補正画像作成部

【先行技術文献】

【特許文献】

【0213】

【特許文献1】特開２０１２―０４９６３６号公報

【非特許文献】

【0214】

【非特許文献1】ＹＣｒＣｂカラーを活用した標準レタッチ技法（笠井亨著）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】