(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024078844
(43)【公開日】2024-06-11
(54)【発明の名称】映像処理装置及び映像表示装置
(51)【国際特許分類】
H04N 5/202 20230101AFI20240604BHJP
G09G 5/37 20060101ALI20240604BHJP
G09G 5/10 20060101ALI20240604BHJP
G09G 5/00 20060101ALI20240604BHJP
【FI】
H04N5/202
G09G5/37 100
G09G5/10 B
G09G5/00 550H
G09G5/37 320
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022191423
(22)【出願日】2022-11-30
(71)【出願人】
【識別番号】320012037
【氏名又は名称】ラピステクノロジー株式会社
(74)【代理人】
【識別番号】110001025
【氏名又は名称】弁理士法人レクスト国際特許事務所
(72)【発明者】
【氏名】西谷 直輝
(72)【発明者】
【氏名】今任 祐基
【テーマコード(参考)】
5C182
【Fターム(参考)】
5C182AA03
5C182CA01
5C182CA13
5C182CB44
5C182CC24
5C182DA53
(57)【要約】
【課題】高輝度の領域と低輝度の領域との間に発生する輝度のぼやけを抑制し、視認性を向上させることを可能とする。
【解決手段】各々が複数の画素を含む複数の分割領域からなる映像の分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、複数の分割領域ごとのヒストグラムに基づいて、複数の分割領域ごとに入力映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、トーンカーブ及び輝度境界領域の特定結果に基づいて映像の輝度を補正する補正処理を行う映像補正部と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
各々が複数の画素を含む複数の分割領域からなる映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、
前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、
前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、
前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、
を有することを特徴とする映像処理装置。
【請求項2】
前記映像補正部は、前記複数の画素の各々について、当該画素が属する分割領域及び当該分割領域に隣接する周辺の分割領域の前記トーンカーブと前記輝度境界領域の特定結果とに基づいて画素ごとの補正値を算出し、算出した前記画素ごとの補正値に基づいて前記映像の輝度を補正することを特徴とする請求項1に記載の映像処理装置。
【請求項3】
前記映像補正部は、前記複数の画素の各々について、当該画素が属する分割領域及び当該分割領域に隣接する周辺の分割領域の前記トーンカーブを、前記画素が属する分割領域及び前記周辺の分割領域の中心位置からの距離に基づいて補間し、且つ前記画素が前記輝度境界領域に属するか否かに基づいて補間時の重み付けを行うことにより、前記画素ごとの補正値を算出することを特徴とする請求項2に記載の映像処理装置。
【請求項4】
前記輝度境界領域検出部は、前記隣接する分割領域同士の前記トーンカーブの差分を検出し、検出した前記トーンカーブの差分に基づいて、前記輝度境界を特定することを特徴とする請求項1乃至3のいずれか1に記載の映像処理装置。
【請求項5】
前記輝度境界領域検出部は、前記隣接する分割領域の各々の前記トーンカーブを同一の座標上に表した場合に前記トーンカーブによって囲まれる領域の面積に基づいて、前記トーンカーブの差分を検出することを特徴とする請求項4に記載の映像処理装置。
【請求項6】
各々が複数の画素を含む複数の分割領域からなる映像を取得する映像取得部と、
前記映像に対して映像処理を行い、表示映像を生成する映像処理部と、
前記表示映像を表示する表示部と、
を含み、
前記映像処理部は、
前記映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、
前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、
前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、
前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、
を有することを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像処理装置及び映像表示装置に関する。
【背景技術】
【0002】
カメラのセンサデータを映像データに変換する際、トーンマッピングと言われる処理を行い、高分解能の映像を低分解能のディスプレイに合わせた色深度に合わせる処理が行われている。その際、高輝度の領域及び低輝度の領域を含む映像を1つの映像として出力するため、これらの領域が隣接していると、領域間の輝度差に起因するぼやけ、所謂「ハロー」が発生する虞がある。
【0003】
このようなハローの発生を防止するため、入力画像データの複数のエリアに対してエリア別特徴データ及び画素別特徴データを算出してガンマカーブを決定し、入力画像データの輝度画像における対象画素の周辺の画素の輝度からの変化に応じて、対象画素の輝度を特定値に設定する演算を行う表示装置が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記従来技術の表示装置では、エリア同士の輝度の違いが大きくても、エリア内での輝度のばらつきが小さければ、補正に使用されるトーンカーブ(補正点データ)の差が小さくなる。このため、局所的な補正効果が十分に得られない可能性があるという問題があった。
【0006】
本発明は上記問題点に鑑みてなされたものであり、高輝度の領域と低輝度の領域との間に発生する輝度のぼやけを抑制し、視認性を向上させることが可能な映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る映像処理装置は、各々が複数の画素を含む複数の分割領域からなる映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記入力映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、を有することを特徴とする。
【0008】
本発明に係る表示装置は、各々が複数の画素を含む複数の分割領域からなる映像を取得する映像取得部と、前記映像に対して映像処理を行い、表示映像を生成する映像処理部と、前記表示映像を表示する表示部と、を含み、前記映像処理部は、前記映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記入力映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、を有することを特徴とする。
【発明の効果】
【0009】
本発明に係る映像処理装置によれば、高輝度の領域と低輝度の領域との間に発生する輝度のぼやけを抑制し、視認性を向上させることが可能となる。
【図面の簡単な説明】
【0010】
【
図1】本実施例の映像処理装置の構成を示すブロック図である。
【
図2】映像補正LSIの内部構成を示すブロック図である。
【
図3A】複数の分割領域からなる入力映像の一例を示す図である。
【
図3B】分割領域における明るさ分布のヒストグラムの例を示す図である。
【
図3C】ヒストグラムを変換して得られるトーンカーブの例を示す図である。
【
図4A】高輝度領域と低輝度領域とが連続する例を示す図である。
【
図4B】連続した高輝度領域及び低輝度領域のトーンカーブの例を示す図である。
【
図4C】高輝度領域及び低輝度領域のトーンカーブの差分を示す図である。
【
図5】水平方向に連続する複数の分割領域の各々のトーンカーブ及び輝度境界の例を示す図である。
【
図6B】補正値を補間するための計算例を示す図である。
【発明を実施するための形態】
【0011】
以下に本発明の好適な実施例を詳細に説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。
【0012】
図1は、本発明に係る映像表示システム100の構成を示すブロック図である。映像表示システム100は、映像取得部11、映像処理装置12、ディスプレイ13及び制御部14を有する。
【0013】
映像取得部11は、例えばカメラから構成され、撮影により得た映像信号を入力映像VSとして映像処理装置12に供給する。
【0014】
映像処理装置12は、LSI(Large Scale Integration)から構成され、映像取得部11から供給された入力映像VSに対して補正処理を行う処理装置である。映像処理装置12は、入力映像VSに補正処理を施した映像データを出力映像VDとして、ディスプレイ13に供給する。
【0015】
ディスプレイ13は、例えば液晶表示装置から構成され、映像処理装置12から出力された出力映像VDを表示する。
【0016】
制御部14は、MCU(Micro Controller Unit)から構成され、映像処理装置12による映像補正処理の制御を行う。
【0017】
図2は、映像処理装置12の構成を示すブロック図である。映像処理装置12は、局所ヒストグラム生成部21、局所トーンカーブ生成部22、輝度境界領域検出部23及び画像補正部24を含む。
【0018】
局所ヒストグラム生成部21は、入力映像VSの供給を受け、入力映像VSの映像領域を複数に分割した各々の領域(以下、分割領域と称する)について、明るさの分布を示すヒストグラムHGを生成する。
【0019】
図3Aは、入力映像VSの一例を示す図である。入力映像VSは、m×n(縦m、横n)の分割領域から構成されている。分割領域の各々は、複数の画素から構成されている。
【0020】
図3Bは、局所ヒストグラム生成部21が生成するヒストグラムHGの例を示す図である。横軸は階調、縦軸はその階調が分割領域内に存在する頻度(すなわち、画素数)を示している。ここでは、比較的暗い階調の画素が分割領域内に多く分布している場合を例として示している。
【0021】
局所トーンカーブ生成部22は、局所ヒストグラム生成部21が生成した分割領域ごとのヒストグラムHGに基づいて、入力映像VSの明るさを調整するためのトーンカーブTCを分割領域ごとに生成する。なお、本実施例で用いるトーンカーブTCは、明るさ分布のヒストグラムHGに応じて定まるものである。すなわち、局所トーンカーブ生成部22は、分割領域ごとの明るさ分布のヒストグラムHGを所定の関数を用いて変換することにより、分割領域ごとのトーンカーブTCを生成する。
【0022】
図3Cは、
図3BのヒストグラムHGに対応するトーンカーブTCの例を示す図である。上記の通り、
図3BのヒストグラムHGでは比較的暗い階調の画素が多いため、これに対応するトーンカーブTCは、入力値の低い領域(暗めの入力値)では傾きが大きく、入力値の高い領域(明るめの入力値)になるしたがって傾きが小さくなる形状となる。
【0023】
再び
図2を参照すると、輝度境界領域検出部23は、複数の分割領域のトーンカーブTCのうち、隣接する分割領域同士のトーンカーブTCを比較し、比較結果に基づいて分割領域間の輝度差が大きい境界部分(以下、輝度境界と称する)を特定する。輝度境界領域検出部23は、特定した輝度境界を含む所定範囲の領域を輝度境界領域LBとして特定(検出)する。輝度境界領域検出部23は、輝度境界領域LBの情報を画像補正部24に供給する。
【0024】
輝度境界領域検出部23が実行する輝度境界領域LBの検出処理について、
図4A~4C及び
図5を参照して説明する。
【0025】
図4Aは、隣接する分割領域間の輝度差が大きい例、すなわち高輝度領域及び低輝度領域が連続する例を示す図である。ここでは、電気スタンドの光を含む高輝度領域BAと、黒色である人間の後頭部を多く含む低輝度領域LAとが隣接して配置されている。
【0026】
図4Bは、高輝度領域BA及び低輝度領域LAの各々のトーンカーブTCの例を示す図である。横軸は入力値、縦軸は出力値を表している。高輝度領域BAのトーンカーブTCは、入力値の低い領域(暗めの入力値)では傾きが小さく、入力値の高い領域(明るめの入力値)になるしたがって傾きが大きくなる形状を有する。一方、低輝度領域LAのトーンカーブTCは、入力値の低い領域では傾きが大きく、入力値の高い領域になるにしたがって傾きが小さくなる形状を有する。
【0027】
図4Cは、高輝度領域BAのトーンカーブTCと低輝度領域LAのトーンカーブTCの差分を示す図である。図に斜線で示すように、高輝度領域BAと低輝度領域LAとではトーンカーブTCの傾きの遷移が大きく異なるため、その差分が大きい。輝度境界領域検出部23は、このような隣接する分割領域同士のトーンカーブTCの差分に基づいて輝度境界を特定する。
【0028】
具体的には、2つのトーンカーブTCによって囲まれた部分の面積(例えば、
図4Cに示す斜線部分)がトーンカーブTCの差分となる。すなわち、輝度境界領域検出部23は、隣接する2つの分割領域の各々のトーンカーブTCを同一の座標上に図示した場合に両トーンカーブによって囲まれる部分の面積が所定の閾値以上の値である場合に、その分割領域同士の境界を輝度境界として特定する。
【0029】
輝度境界領域検出部23は、特定した輝度境界を含む所定範囲の領域を輝度境界領域LBとして検出する。例えば、水平方向に隣接する分割領域間の輝度境界の場合、輝度境界を挟んで所定画素列分の領域が輝度境界領域LBとなる。
【0030】
図5は、連続する複数の分割領域のトーンカーブTC及び輝度境界の例を示す図である。ここでは、分割領域A1~A12が水平方向に連続している場合を示している。
【0031】
分割領域A1~A3のトーンカーブTCは、入力値が低い範囲では傾きが大きく、入力値が大きくなるにしたがって傾きが小さくなる形状を有する。すなわち、分割領域A1~A3は、比較的低輝度な領域である。また、分割領域A1及びA2のトーンカーブTCの差分、分割領域A2及びA3のトーンカーブTCの差分は、いずれも小さい。
【0032】
分割領域A4~A6のトーンカーブTCは、入力値が低い範囲では傾きが小さく、入力値が大きくなるにしたがって傾きが大きくなる形状を有する。すなわち、分割領域A4~A6は、比較的高輝度な領域である。また、分割領域A1及びA2のトーンカーブTCの差分、分割領域A2及びA3のトーンカーブTCの差分は、いずれも小さい。
【0033】
これに対し、分割領域A3及び分割領域A4が隣接する境界は、分割領域A3が低輝度領域、分割領域A4が高輝度領域であり、トーンカーブTCの形状が大きく異なるため、その差分が大きい。換言すると、分割領域A3及びA4の各々のトーンカーブTCを同一の座標上に表示した場合、2つのトーンカーブTCによって囲まれる部分の面積が閾値を越える大きさとなる。輝度境界領域検出部23は、分割領域A3及びA4の境界を輝度境界として特定し、特定した輝度境界を含む所定範囲の領域を輝度境界領域LBとして検出する。
【0034】
同様に、輝度境界領域検出部23は、分割領域A4~A12について、隣接する分割領域同士のトーンカーブTCの差分に基づいて輝度境界を特定し、輝度境界領域LBを検出する。これにより、高輝度領域である分割領域A6と低輝度領域である分割領域A7との間、低輝度領域である分割領域A7と高輝度領域である分割領域A8との間、及び高輝度領域である分割領域A9と低輝度領域である分割領域A10との間が、それぞれ輝度境界として特定される。輝度境界領域検出部23は、これらの輝度境界を含む所定範囲の領域をそれぞれ輝度境界領域LBとして検出する。
【0035】
輝度境界領域LBに位置する画素に対しては、画像補正部24が実行する補正処理において、トーンカーブに基づいて算出される補正値に対して重み係数“1”の重み付けを行った上で補正値の補間が行われる。一方、輝度境界領域LB以外の領域に位置する画素については、補正値の補間における重み係数は“0”となる。
【0036】
なお、
図5では水平方向に分割領域が連続する場合を示しているが、輝度境界領域検出部23は、垂直方向に連続する分割領域についても、同様に輝度境界の特定及び輝度境界領域LBの検出を行う。
【0037】
再び
図2を参照すると、画像補正部24は、入力映像VSについて、画素ごとに補正値を算出して補正処理を行う。その際、画像補正部24は、処理対象の画素が輝度境界領域LBに位置しているか否かに基づいて重み係数を変更しつつ、補正値の補間を行う。
【0038】
画像補正部24が実行する画素ごとの補正値の算出について、
図6A及び6Bを参照して説明する。
【0039】
図6Aは、補正値算出の対象画素を画素GXとして、その属する分割領域及び周辺の分割領域を簡略化して示す図である。画素GXは、分割領域A01に位置している。分割領域A01は、分割領域A02と水平方向(すなわち、紙面横方向)に隣接している。また、分割領域A01は、分割領域A03と垂直方向(すなわち、紙面縦方向)に隣接している。分割領域A03及び分割領域A04は水平方向(紙面横方向)に隣接し、分割領域A02及び分割領域A04は垂直方向(紙面縦方向)に隣接している。C1は分割領域A01の中心位置、C2は分割領域A02の中心位置、C3は分割領域A03の中心位置、C4は分割領域A04の中心位置をそれぞれ表している。
【0040】
画像補正部24は、補正値算出の対象画素である画素GXが位置する分割領域A01のトーンカーブTCと、分割領域A01に隣接する分割領域A02~A04のトーンカーブTCとを用いて、画素GXについての補正値を算出する。その際、画像補正部24は、分割領域A01~A04の各々のトーンカーブTCから得られる補正値を、各分割領域の中心位置C1~C4から画素GXまでの距離に基づいて補間することにより、画素GXの補正値を算出する。
【0041】
図6Bは、補正値を補間するための計算例を示す図である。ここでは、説明を簡略化するため、水平方向のみに着目した計算例を示している。例えば、補正値“N”に対応するトーンカーブTCの領域と補正値“M”に対応するトーンカーブTCの領域とが隣接している場合、画像補正部24は、これらを補正処理の対象画素から各分割領域までの距離“x”に基づく割合で混ぜ合わせることにより、補正値を算出する。補正値CVは、CV=N*(100-x)%+M*x%となる。
【0042】
画素GXが輝度境界領域LB以外の領域に位置している場合、画像補正部24は、このように画素GXが位置する分割領域及びこれに隣接する分割領域の中心位置からの距離に基づいて算出された補正値を用いて、画素GXについての補正処理を行う。
【0043】
一方、画素GXが輝度境界領域LBに位置している場合、画像補正部24は、上記のような隣接する分割領域の中心位置からの距離に加えて、画素GXが位置している分割領域A01の影響が大きくなるように重み付けを行った上で補正値の補間を行う。これにより、輝度境界領域LB内の画素について得られる補正値は、各画素が位置する分割領域の輝度を大きく反映したものとなる。
【0044】
画像補正部24は、入力映像VSに対して補正処理を行った映像を出力映像VDとして出力する。上記の通り、輝度境界領域LB内の画素については、その画素が位置する分割領域の輝度を大きく反映した補正値を用いて補正処理が行われる。このため、輝度境界については画像補正の補間時における変化が急峻となり、高輝度領域と低輝度領域との境界部分に発生するハロー(輝度のぼやけ)の幅が小さくなる。
【0045】
以上のように、本実施例の映像処理装置12は、入力映像VSに対して画素ごとに補正値を算出して補正処理を行い、出力映像VDを生成する。その際、入力映像の映像領域を分割した複数の分割領域の各々について生成されたトーンカーブTCに基づいて、領域間の輝度差が大きい境界部分の領域を輝度境界領域LBとして検出する。そして、輝度境界領域LBに存在する画素については、当該画素の属する領域の輝度の影響が大きくなるように重み付けを行った上で補正値を算出する。かかる構成によれば、高輝度領域と低輝度領域との境界部分における輝度差を強調するように画像補正処理が行われ、出力映像VDが生成される。
【0046】
したがって、本実施例の映像処理装置12によれば、高輝度の領域と低輝度の領域との間に発生する輝度のぼやけ(所謂ハロー)を抑制し、視認性を向上させることが可能となる。
【0047】
なお、本発明は上記実施例で示したものに限られない。例えば、
図6Bで示した補正値の計算式は一例であり、補正値を補間するための計算はこれに限定されない。
【0048】
また、上記実施例では、輝度境界領域LBに含まれる画素については当該画素が位置する分割領域のトーンカーブの影響が大きくなるように補間時の重み付けを行う場合を例として説明した。しかし、重み付けの方法はこれに限られない。例えば、分割領域をさらに複数のブロックに分割して各ブロックのトーンカーブを生成し、処理対象のブロック(処理対象の画素が属するブロック)のトーンカーブと周囲ブロックのトーンカーブとの差分を算出して、差分が小さい周辺ブロックのトーンカーブの影響が大きくなるように、補間時の重み付けを行ってもよい。
【符号の説明】
【0049】
100 映像表示システム
11 映像取得部
12 映像処理装置
13 ディスプレイ
14 制御部
21 局所ヒストグラム生成部
22 局所トーンカーブ生成部
23 輝度境界領域検出部
24 画像補正部