特許 5786807 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5786807

(24)【登録日】2015年8月7日

(45)【発行日】2015年9月30日

(54)【発明の名称】奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置

(51)【国際特許分類】

   H04N 13/02 20060101AFI20150910BHJP

【ＦＩ】

   H04N13/02 600

   H04N13/02 570

【請求項の数】8

【全頁数】28

(21)【出願番号】特願2012-144154(P2012-144154)

(22)【出願日】2012年6月27日

(65)【公開番号】特開2014-11470(P2014-11470A)

(43)【公開日】2014年1月20日

【審査請求日】2014年9月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】木田 晋吾

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１１−０８７１００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部と、
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部と、
前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部と、
前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するゲイン算出部と、
前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を出力する振幅補正部と、
前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器と、
を備えることを特徴とする奥行き情報生成装置。

【請求項2】

前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部を有することを特徴とする請求項１記載の奥行き情報生成装置。

【請求項3】

画面における上部の所定の領域に含まれる高域成分の量を評価して上部高域成分評価値を生成する上部高域成分評価部と、
画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部と、
をさらに備え、
前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成する
ことを特徴とする請求項２記載の奥行き情報生成装置。

【請求項4】

前記赤色信号と前記青色信号とを用いて、赤色と青色との割合を示す色割合データを生成する色割合データ生成部と、
前記第１の周辺部における前記色割合データのヒストグラムを検出する第１のヒストグラム検出部と、
前記第１の中央部における前記色割合データのヒストグラムを検出する第２のヒストグラム検出部と、
をさらに備え、
前記中央部分布割合算出部は、前記第１のヒストグラム検出部が検出したヒストグラムと前記第２のヒストグラム検出部が検出したヒストグラムとを用いて、前記中央部分布割合データを算出する
ことを特徴とする請求項１〜３のいずれか１項に記載の奥行き情報生成装置。

【請求項5】

前記中央部分布割合算出部は、前記第１のヒストグラム検出部が検出したヒストグラムと前記第２のヒストグラム検出部が検出したヒストグラムの差分に基づいて前記中央部分布割合データを算出することを特徴とする請求項４記載の奥行き情報生成装置。

【請求項6】

請求項１〜５のいずれか１項に記載の奥行き情報生成装置と、
前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部と、
を備えることを特徴とする擬似立体画像生成装置。

【請求項7】

画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成し、
前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出し、
前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出し、
前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成し、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する
ことを特徴とする奥行き情報生成方法。

【請求項8】

コンピュータに、
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、
非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成するステップと、
前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出するステップと、
前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するステップと、
前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成するステップと、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップと、
を実行させることを特徴とする奥行き情報生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通常の画像のように奥行き情報が明示的に与えておらず、ステレオ画像のように奥行き情報が暗示的にも与えられていない非立体画像から奥行き情報を生成する奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、奥行き情報を用いて擬似的な立体画像を生成する擬似立体画像生成装置に関する。

【背景技術】

【0002】

近年、立体画像の普及に伴って、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を擬似的な立体画像に変換することが行われるようになってきた。非立体画像を擬似的な立体画像に変換するための擬似立体画像生成装置が種々提案されている。

【0003】

一例として、特許文献１には、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて奥行き推定データを生成する擬似立体画像生成装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−１５１５３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の擬似立体画像生成装置が備える奥行き情報生成装置においては、画面の中央部に人物等の注目被写体がある画像では十分な立体効果が得られる奥行き情報を生成することができないという問題点があった。

【0006】

本発明はこのような問題点に鑑み、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムを提供することを目的とする。また、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる擬似立体画像生成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部（１１４〜１１７）と、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部（２８０）と、前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部（２８３）と、前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するゲイン算出部（２８５）と、前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を出力する振幅補正部（２８７〜２８９）と、前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器（１１９）とを備えることを特徴とする奥行き情報生成装置を提供する。

【0008】

上記の奥行き情報生成装置において、前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部（１１７）を有することが好ましい。

【0009】

上記の奥行き情報生成装置において、画面における上部の所定の領域に含まれる高域成分の量を評価して上部高域成分評価値を生成する上部高域成分評価部（１１２）と、画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部（１１３）とをさらに備え、
前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成することが好ましい。

【0010】

上記の奥行き情報生成装置において、前記赤色信号と前記青色信号とを用いて、赤色と青色との割合を示す色割合データを生成する色割合データ生成部（２８０）と、前記第１の周辺部における前記色割合データのヒストグラムを検出する第１のヒストグラム検出部（２８２ａ）と、前記第１の中央部における前記色割合データのヒストグラムを検出する第２のヒストグラム検出部（２８２ｂ）とをさらに備え、前記中央部分布割合算出部は、前記第１のヒストグラム検出部が検出したヒストグラムと前記第２のヒストグラム検出部が検出したヒストグラムとを用いて、前記中央部分布割合データを算出することが好ましい。

【0011】

上記の奥行き情報生成装置において、前記中央部分布割合算出部は、前記第１のヒストグラム検出部が検出したヒストグラムと前記第２のヒストグラム検出部が検出したヒストグラムの差分に基づいて前記中央部分布割合データを算出することが好ましい。

【0012】

また、本発明は、上述した従来の技術の課題を解決するため、上記のいずれかの構成を有する奥行き情報生成装置と、前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部（２）とを備えることを特徴とする擬似立体画像生成装置を提供する。

【0013】

さらに、本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成し、前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出し、前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出し、前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成し、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成することを特徴とする奥行き情報生成方法を提供する。

【0014】

さらにまた、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、非立体画像信号における赤色信号と青色信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成するステップと、前記赤色信号と前記青色信号とを用いて、画面の第１の周辺部における色と第１の中央部における色との差の程度を検出することにより、注目被写体が前記第１の中央部に分布している程度を示す中央部分布割合データを算出するステップと、前記色データにおける正の値に乗じるゲインであり、前記画面の前記第１の中央部と同一または異なる第２の中央部において、前記中央部分布割合データが大きくなるに従って大きくなる第１のゲインと、前記色データにおける負の値に乗じるゲインであり、前記画面の前記第１の周辺部と同一または異なる第２の周辺部において、前記中央部分布割合データが大きくなるに従って大きくなる第２のゲインとを算出するステップと、前記色データにおける正の値に前記第１のゲインを乗算し、前記色データにおける負の値に前記第２のゲインを乗算して、両者を加算して補正非立体画像信号を生成するステップと、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップとを実行させることを特徴とする奥行き情報生成プログラムを提供する。

【発明の効果】

【0015】

本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムによれば、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる。また、本発明の擬似立体画像生成装置によれば、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の擬似立体画像生成装置の一実施形態を示すブロック図である。

【図2】図１中の奥行き推定部２１１の具体的な構成例であり、本発明の奥行き情報生成装置の一実施形態を示すブロック図である。

【図3】図２中のフレームメモリ１１４が保持する基本奥行きモデル（タイプ１）の立体構造の一例を示す図である。

【図4】図２中のフレームメモリ１１５が保持する基本奥行きモデル（タイプ２）の立体構造の一例を示す図である。

【図5】図２中のフレームメモリ１１６が保持する基本奥行きモデル（タイプ３）の立体構造の一例を示す図である。

【図6】図２中の合成部１１７による合成比率決定条件の一例を示す図である。

【図7】図２中のオブジェクト信号補正部１２８の具体的な構成例を示すブロック図である。である。

【図8】図７中のＲＢ割合算出部２８０が算出するRB_rate信号の特性図である。

【図9】図７中のＲＢ割合算出部２８０が算出するRB_out信号の特性図である。

【図10】図７中のヒストグラム検出部２８２ａ，２８２ｂがそれぞれヒストグラムを検出する領域の一例を示す図である。

【図11】図７中のヒストグラム検出部２８２ａ，２８２ｂの具体的な構成例を示すブロック図である。

【図12】図７中のヒストグラム検出部２８２ａ，２８２ｂが検出したヒストグラムの一例を示す図である。

【図13】図７中のリーク型積分回路２８４の具体的な構成例を示すブロック図である。

【図14】図７中のゲイン算出部２８５で算出するゲインの特性図である。

【図15】図１４の（ｂ），（ｃ）に示すゲインの上限値up_lim及び下限値lw_limの特性図である。

【図16】一実施形態による効果を説明するための擬似立体画像の表示例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置の一実施形態について、添付図面を参照して説明する。

【0018】

図１において、Ｒ，Ｇ，Ｂ信号である入力信号（オブジェクト信号）は、擬似的な奥行き情報を生成する奥行き情報生成部１に入力される。奥行き情報生成部１は、一実施形態の奥行き情報生成装置を構成する。Ｒ，Ｇ，Ｂ信号は、３原色信号の赤色信号，緑色信号，青色信号である。

【0019】

奥行き情報生成部１に入力されるＲ，Ｇ，Ｂ信号は、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を表す画像信号である。奥行き情報生成部１は、奥行き推定データを生成する奥行き推定部２１１を有する。奥行き推定部２１１の具体的な構成及び動作については後に詳述する。

【0020】

ステレオペア生成部２には、奥行き情報生成部１への入力信号であるＲ，Ｇ，Ｂ信号と、奥行き推定部２１１によって生成された奥行き推定データとが入力される。ステレオペア生成部２は、右目画像データと左目画像データとのステレオペアを生成する。

【0021】

ステレオペア生成部２は、非立体画像信号に基づいて複数の視点の画像データを生成する複数視点画像データ生成部の一例である。奥行き情報生成部１とステレオペア生成部２とは、一実施形態の擬似立体画像生成装置を構成する。

【0022】

ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま右目画像データとする。ステレオペア生成部２は、右目画像データ（Ｒ，Ｇ，Ｂ信号）に基づいて左目画像データを生成する。

【0023】

画素シフト部２１には、Ｒ，Ｇ，Ｂ信号と奥行き推定データとが入力される。画素シフト部２１は、奥行き推定データに基づいてＲ，Ｇ，Ｂ信号それぞれの画素をシフトする。

【0024】

例えば左に視点移動する場合、画面より手前に表示するものは近いものほど画像を見る者の内側（鼻側）に見える。そこで、画素シフト部２１は、対応部分の画素を奥行き推定データが示す奥行きに応じた量だけ、内側（右側）に移動させる。画面より奥に表示するものは近いものほど画像を見る者の外側に見える。そこで、画素シフト部２１は、対応部分の画素を奥行きに応じた量だけ、外側（左側）に移動させる。

【0025】

画素シフト部２１によって画素をシフトすると、画像内に、画素が存在しない、いわゆるオクルージョンが発生する場合がある。オクルージョン補償部２２は、画素シフト部２１より出力されたＲ，Ｇ，Ｂ信号のオクルージョンを補償する。

【0026】

オクルージョン補償部２２は、オクルージョンの周辺の画素を用いて画素を補間する等の公知の方法によってオクルージョンを補償する。

【0027】

オクルージョン補償部２２より出力されたＲ，Ｇ，Ｂ信号は、ポスト処理部２３に入力される。ポスト処理部２３は、入力されたＲ，Ｇ，Ｂ信号に対して平滑化処理等のポスト処理を施す。ポスト処理部２３によってポスト処理を施すことにより、オクルージョン補償された画像が滑らかとなり、ノイズが軽減される。

【0028】

ポスト処理部２３より出力されたＲ，Ｇ，Ｂ信号は、左目画像データとなる。左目画像出力部２４は左目画像データを出力し、右目画像出力部２５は右目画像データを出力する。

【0029】

ステレオペア生成部２には、ステレオ画像表示装置３が接続されている。ステレオ画像表示装置３には、左目画像出力部２４より出力された左目画像データと、右目画像出力部２５より出力された右目画像データとのステレオペアが入力される。ステレオ画像表示装置３は、入力されたステレオペアに基づいてステレオ画像（立体画像）を表示する。

【0030】

ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま左目画像データとし、左目画像データ（Ｒ，Ｇ，Ｂ信号）を画素シフトすることによって右目画像データを生成してもよい。

【0031】

ステレオペア生成部２は、右目画像データと左目画像データのいずれも、入力されたＲ，Ｇ，Ｂ信号をそのまま用いるのではなく、画素シフト部２１によって画素をシフトさせた左右の別視点の画像データをステレオペアとしてもよい。

【0032】

図２を用いて、奥行き推定部２１１の具体的構成例及びその動作について説明する。画像入力部１１１には、Ｒ，Ｇ，Ｂ信号が入力される。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号のみを、上部高域成分評価部１１２と下部高域成分評価部１１３とに供給する。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号及びＢ信号をオブジェクト信号補正部１２８に供給する。

【0033】

上部高域成分評価部１１２は、それぞれのフレームの上部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、上部高域成分評価部１１２は、上部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。上部高域成分評価部１１２は、それぞれのブロックにおいて次の式（１）を計算し、ブロックの平均を上部高域成分評価値top_actとする。上部高域成分評価値top_actは、合成部１１７に入力される。

【0034】

【数1】

【0035】

下部高域成分評価部１１３は、それぞれのフレームの下部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、下部高域成分評価部１１３は、下部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。下部高域成分評価部１１３は、それぞれのブロックにおいて上記の式（１）を計算し、ブロックの平均を下部高域成分評価値bottom_actとする。下部高域成分評価値bottom_actは、合成部１１７に入力される。

【0036】

フレームメモリ１１４〜１１６は、擬似立体画像を生成する際の基本となる基本奥行きモデルを記憶している。フレームメモリ１１４，１１５，１１６が記憶している基本奥行きモデルをそれぞれタイプ１，タイプ２，タイプ３とする。図３，図４，図５は、それぞれ、基本奥行きモデルのタイプ１，タイプ２，タイプ３の立体構造の一例を示している。

【0037】

基本奥行きモデルとは画面全体の視差値を決定するためのモデルである。基本奥行きモデルは、平面上のそれぞれの画素を、図３〜図５に示すような非平面形状の特性が有する飛び出し方向または奥行き方向にシフトさせるテーブルまたは計算式にて構成することができる。

【0038】

合成部１１７は、上部高域成分評価値top_act及び下部高域成分評価値bottom_actそれぞれの値に応じて、フレームメモリ１１４〜１１６より出力されるタイプ１〜３の基本奥行きモデルを所定の合成比率で合成する。

【0039】

合成部１１７は、図６に示す合成比率決定条件に従ってタイプ１〜３の基本奥行きモデルを合成する。図６の横軸は上部高域成分評価値top_act、縦軸は下部高域成分評価値bottom_actである。

【0040】

図６に示すように、下部高域成分評価値bottom_actが所定の値bms以下であれば、合成部１１７は、上部高域成分評価値top_actの値にかかわらず、タイプ３の基本奥行きモデルを用いる。即ち、タイプ１，２の合成比率を０にする。

【0041】

下部高域成分評価値bottom_actが値bmsより大きく、所定の値bml以下であれば、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが所定の値tps以下であれば、合成部１１７は、タイプ１の合成比率を０にして、タイプ２とタイプ３とを合成する。

【0042】

上部高域成分評価値top_actが値tpsより大きく、所定の値tpl以下であれば、合成部１１７は、タイプ１〜３を合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２の合成比率を０にして、タイプ１とタイプ３とを合成する。

【0043】

下部高域成分評価値bottom_actが値bmlより大きければ、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが値tps以下であれば、合成部１１７は、タイプ１，３の合成比率を０にして、タイプ２の基本奥行きモデルを用いる。

【0044】

上部高域成分評価値top_actが値tpsより大きく、値tpl以下であれば、合成部１１７は、タイプ３の合成比率を０にして、タイプ１とタイプ２とを合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２，３の合成比率を０にして、タイプ１の基本奥行きモデルを用いる。

【0045】

合成部１１７によって図６に示す合成比率決定条件に従って合成した画面全体の視差値を示すデータは、加算器１１９に入力される。

【0046】

複数のタイプの基本奥行きモデルを上部高域成分評価値top_act及び下部高域成分評価値bottom_actに応じて合成する構成は必須の構成ではないが、好ましい構成である。少なくとも１つのタイプの基本奥行きモデルを用いて、画面全体の視差値を示すデータを発生する構成であればよい。

【0047】

オブジェクト信号補正部１２８は、Ｒ信号とＢ信号とに基づいて補正オブジェクト信号を生成する。補正オブジェクト信号は、合成部１１７より出力されたデータが示す画面全体の視差値に対して付加される付加的な視差値のデータである。

【0048】

Ｒ信号を用いる理由の１つは、順光に近い環境で、かつ、画面内の明度が大きく異ならない条件で、Ｒ信号の大きさが被写体の凹凸の程度と一致する確立が高いからである。他の理由の１つは、赤色等の暖色は色彩学における前進色であり、寒色よりも奥行き方向の手前に認識されやすいからである。

【0049】

Ｂ信号を用いる理由の１つは、物理法則的一般論（空気遠近法）により、光線の散乱により遠くにあるものほど、青寄りに見えるからである。

【0050】

従って、Ｒ信号とＢ信号とを用いて補正オブジェクト信号を生成すれば、手前側に存在している被写体をより手前側へと補正し、奥側に存在している被写体をより奥側へと補正することが可能となる。

【0051】

図７を用いて、オブジェクト信号補正部１２８の具体的構成例及びその動作について説明する。図７において、ＲＢ割合算出部２８０には、Ｒ信号とＢ信号とが入力される。

【0052】

ＲＢ割合算出部２８０は、式（２）に示す計算式によってＲ信号とＢ信号との割合を算出してRB_rate信号を出力する。RB_rate信号はＲ信号とＢ信号との割合を示す信号である。ＲＢ割合算出部２８０は、Ｒ信号とＢ信号とを用いて、赤色と青色との割合を示す色割合データを生成する色割合データ生成部である。

【0053】

RB_rate=(0.5×R)+{0.5×(255-B)} …（２）

【0054】

Ｒ信号とＢ信号をそれぞれ８ビットとし、Ｘ軸にＢ信号、Ｙ軸にＲ信号、Ｚ軸に式（２）で得られるRB_rate信号をとると、RB_rate信号は図８に示すように表される。図８では、RB_rate信号の値の大きさによってＲｔ１〜Ｒｔ５までの５つの領域に分けている。

【0055】

式（２）より、Ｒ信号が大きければRB_rate信号の値は大きくなり、Ｂ信号が大きければRB_rate信号の値は小さくなる。従って、赤や黄のような暖色は領域Ｒｔ５に含まれ、青やシアンのような寒色は領域Ｒｔ１に含まれる。

【0056】

ＲＢ割合算出部２８０は、式（３）に示す計算式によって、RB_rate信号の大きさの中心を０基準に変更したRB_out信号を出力する。

【0057】

RB_out=RB_rate-128 …（３）

【0058】

RB_out信号は図９に示すように表される。式（３）によって、図８におけるRB_rate信号が１２８を超える領域Ｒｔ５側の部分はプラスとなり、１２８未満の領域Ｒｔ１Ｒｔ５側の部分はマイナスとなる。プラスは飛び出し方向、マイナスは引っ込み方向である。

【0059】

従って、RB_rate信号を式（３）によって図９に示すようなRB_out信号に変換すると、赤の強い部分を手前側、青の強い部分を奥側へと配置させることができる。

【0060】

ＲＢ割合算出部２８０は、Ｒ信号とＢ信号とを用いて、暖色系が正の値、寒色系が負の値をとる色データを生成する色データ生成部である。

【0061】

RB_rate信号は画像特徴検出部２８１に入力され、RB_out信号は出力切換部２８６に入力される。画像特徴検出部２８１は、ヒストグラム検出部２８２ａ，２８２ｂを有する。

【0062】

一例として、ヒストグラム検出部２８２ａは図１０に示す領域ＲｎＡ_LRにおけるRB_rate信号のヒストグラムを検出し、ヒストグラム検出部２８２ｂは、図１０に示す領域ＲｎＢ_CTRにおけるRB_rate信号のヒストグラムを検出する。

【0063】

図１０に示す例は、１フレームまたは１フィールドである１画面の有効映像期間を水平方向４領域、垂直方向４領域の１６の領域に分割している。左上側の２つの領域と右上側の２つの領域とを合わせた４つの領域を領域ＲｎＡ_LRとしている。中央部の４つの領域を領域ＲｎＢ_CTRとしている。領域ＲｎＡ_LRの面積と領域ＲｎＢ_CTRの面積とは同じであることが好ましい。

【0064】

領域ＲｎＡ_LRは画面の周辺部で背景と考えられる領域であり、領域ＲｎＢ_CTRは画面の中央部で注目被写体が位置すると考えられる領域である。

【0065】

図１１を用いて、ヒストグラム検出部２８２ａ，２８２ｂの具体的構成例及びその動作について説明する。ヒストグラム検出部２８２ａ，２８２ｂは、判定部８２１，累積カウント部８２２，保持部８２３を有する。

【0066】

判定部８２１は、１６個の判定器８２１ａ〜８２１ｐを有する。累積カウント部８２２は、１６個の累積カウンタ８２２ａ〜８２２ｐを有する。保持部８２３は、１６個のレジスタ８２３ａ〜８２３ｐを有する。

【0067】

RB_rate信号は、判定器８２１ａ〜８２１ｐそれぞれに入力される。RB_rate信号のレベルは０〜２５５の２５６階調である。判定器８２１ａ〜８２１ｐには、RB_rate信号が取り得るレベルを１６のレベル領域に分割したそれぞれのレベル領域が設定されている。判定器８２１ａ〜８２１ｐは、それぞれ、入力されたRB_rate信号の画素毎に画素レベルが設定されているレベル領域に含まれるか否かを判定する。

【0068】

RB_rate信号を分割するレベル領域の数は１６に限定されない。分割するレベル領域の数は適宜設定すればよい。

【0069】

例えば、判定器８２１ａには、RB_rate信号のレベルとして０以上１６未満が設定されており、入力されたRB_rate信号の画素レベルが０以上１６未満であれば“１”を出力し、そうでなければ“０”を出力する。判定器８２１ｂ〜８２１ｐも同様に、入力されたRB_rate信号の画素レベルが設定されているレベル領域に含まれていれば“１”を出力し、そうでなければ“０”を出力する。

【0070】

累積カウンタ８２２ａ〜８２２ｐは、判定器８２１ａ〜８２１ｐの出力を累積してカウントする。判定器８２１ａ〜８２１ｐのカウント値は、ヒストグラム検出部２８２ａであれば領域ＲｎＡ_LR内のそれぞれのレベル領域に含まれる画素の総数を示し、ヒストグラム検出部２８２ｂあれば領域ＲｎＢ_CTR内のそれぞれのレベル領域に含まれる画素の総数を示している。

【0071】

レジスタ８２３ａ〜８２３ｐは、累積カウンタ８２２ａ〜８２２ｐがカウントしたカウント値を保持する。

【0072】

以上のようにして、ヒストグラム検出部２８２ａは領域ＲｎＡ_LRにおけるヒストグラムデータHist_Aを生成し、ヒストグラム検出部２８２ｂは領域ＲｎＢ_CTRにおけるヒストグラムデータHist_Bを生成する。

【0073】

図１２の（ａ），（ｂ）は、それぞれ、ヒストグラムデータHist_A，Hist_Bの一例をグラフ化したものである。図１２の（ａ），（ｂ）において、横軸は２５６階調を１６分割した階調ｉを、縦軸は頻度を示している。領域ＲｎＡ_LRでは中間階調に画像データが集中しており、領域ＲｎＢ_CTRでは高階調（暖色系）に画像データが集中している。

【0074】

本実施形態では、１フレームまたは１フィールド毎にヒストグラムデータHist_A，Hist_Bを生成しているが、複数フレームまたは複数フィールド毎にヒストグラムデータHist_A，Hist_Bを生成してもよい。ヒストグラム検出部２８２ａ，２８２ｂは、画面の所定単位（時間単位）毎にヒストグラムデータHist_A，Hist_Bを生成すればよい。但し、１フレームまたは１フィールド毎にヒストグラムデータHist_A，Hist_Bを生成することが好ましい。

【0075】

図７に戻り、ヒストグラムデータHist_A，Hist_Bは中央部分布割合算出部２８３に入力される。中央部分布割合算出部２８３は、式（４）に示す計算式によって、中央部分布割合データHist_Centerを算出する。式（４）中のABSは絶対値を意味する。中央部分布割合データHist_Centerは、注目被写体が画面の周辺部（背景）を除く中央部に集中して分布している程度を示す。

【0076】

【数2】

【0077】

中央部分布割合データHist_Centerの値が大きいほど、領域ＲｎＡ_LRと領域ＲｎＢ_CTRとで、分布している色に差があるということである。中央部分布割合算出部２８３は、画面の周辺部である領域ＲｎＡ_LRにおける色と画面の中央部である領域ＲｎＢ_CTRにおける色との差の程度を検出することにより、注目被写体が中央部に分布している程度を示す中央部分布割合データを算出する。

【0078】

中央部分布割合データHist_Centerは、リーク型積分回路２８４に入力される。リーク型積分回路２８４は、図１３に示すように、加算器2841と、レジスタ2842と、乗算器2843，2844を有する。リーク型積分回路２８４は、図１３に示す構成によって、中央部分布割合データHist_Centerに対して、時間方向にリーク型の積分処理を施す。

【0079】

加算器2841は、入力された中央部分布割合データHist_Centerと乗算器2843の出力とを加算する。レジスタ2842は、加算器2841の出力を保持する。乗算器2843は、レジスタ2842の出力に15/16を乗算して、加算器2841へと出力する。乗算器2844は、レジスタ2842の出力に1/16を乗算して、リーク型の積分処理を施した中央部分布割合データHist_Center_Leakを出力する。

【0080】

リーク型積分回路２８４によって中央部分布割合データHist_Centerに対してリーク型の積分処理を施すことにより、オブジェクト信号補正部１２８によって生成される補正オブジェクト信号は、画像の変化によって急激には変化しない。従って、ステレオペア生成部２によって生成されるステレオペアによるステレオ画像は緩やかに変化することになり、より自然な画質とすることができる。

【0081】

リーク型積分回路２８４を設けることは必須ではないが、設けることが好ましい。

【0082】

リーク型積分回路２８４より出力された中央部分布割合データHist_Center_Leakは、ゲイン算出部２８５に入力される。ゲイン算出部２８５には、画像情報として、奥行き情報生成部１に入力される画像データの水平幅データH_widthと垂直幅データV_widthも入力される。

【0083】

ゲイン算出部２８５は、画面の位置に応じて、また、中央部分布割合データHist_Center_Leakの値に応じて、ゲインを算出する。図１４を用いて、画面の位置に応じたゲインの設定について説明する。図１４は、画面の水平方向の位置に応じたゲインの特性を示している。図１４の（ａ）〜（ｃ）において、H_Numは水平の画素番号である。

【0084】

図１４の（ａ）は比較のため従来におけるゲインの特性を示している。横軸の左端部が画面の左端部であり、従来は、水平方向の左端部からH_widthで示す右端部まで一定のゲイン１である。

【0085】

これに対して、本実施形態では、正側では図１４の（ｂ）に示すゲインを用い、負側では図１４の（ｃ）に示すゲインを用いる。

【0086】

図１４の（ｂ）に示す正側のゲインは次の式（５）で表される。Gain_Pは正側のゲインを示し、p11，p12，p13，p14は画面の水平位置を示すパラメータ、up_lim，lw_limはゲインの上限値と下限値を示すパラメータである。p11，p12，p13，p14，up_lim，lw_limはそれぞれ適宜設定すればよい。

【0087】

If(H_Num<p11) Gain_P=lw_lim;
If(H_Num<p12) Gain_P=(up_lim-lw_lim)×(H_NUM-p11)/(p12-p11)+lw_lim;
If(H_Num<p13) Gain_P= up_lim;
If(H_Num<p14) Gain_P=(up_lim-lw_lim)×(p14-H_Num)/（p14-p13）+lw_lim；
If(H_Num<H_width) Gain_P= lw_lim;
…（５）

【0088】

正側のゲインは式（５）に示す計算式によって、画面中央部により大きなゲインがかかるように重み付け補正される。画面中央部における正側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から上限値up_limまでの範囲で可変される。

【0089】

画面周辺部のp11までの部分及びp14以降の部分における正側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から下限値lw_limまでの範囲で可変される。

【0090】

図１４の（ｃ）に示す負側のゲインは次の式（６）で表される。Gain_Mは負側のゲインである。

【0091】

If(H_Num<p11) Gain_M=up_lim;
If(H_Num<p12) Gain_M=(up_lim-lw_lim)×(p12-H_NUM)/(p12-p11)+lw_lim;
If(H_Num<p13) Gain_M=lw_lim;
If(H_Num<p14) Gain_M=(up_lim-lw_lim)×(H_Num-p3)/（p14-p13）+lw_lim;
If(H_Num<H_width) Gain_M=up_lim;
…（６）

【0092】

負側のゲインは式（６）に示す計算式によって、画面周辺部により大きなゲインがかかるように重み付け補正される。画面周辺部のp11までの部分及びp14以降の部分における負側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から上限値up_limまでの範囲で可変される。

【0093】

画面中央部における負側のゲインは、中央部分布割合データHist_Center_Leakの値に応じて、ゲイン１から下限値lw_limまでの範囲で可変される。

【0094】

図１４では、画面の水平方向の位置に応じてゲインを異ならせるように設定しているが、画面の垂直方向の位置に応じてゲインを異ならせるように設定してもよい。垂直方向の位置に応じてゲインを異ならせる場合も、図１４と同様の特性とすればよい。

【0095】

画面の水平方向及び垂直方向の双方で、位置に応じてゲインを異ならせるように設定してもよい。

【0096】

領域ＲｎＢ_CTRの左端部をp12、右端部をp13としてもよい。即ち、図１４での画面中央部とは、図１０に示す画面中央の領域ＲｎＢ_CTRと同じでもよいし、同じでなくてもよい。画面周辺部におけるp11，p12の位置は適宜設定すればよい。図１４での画面周辺部とは、図１０に示す画面の周辺部である領域ＲｎＡ_LRと同じでなくてよい。

【0097】

図１５において、実線は、中央部分布割合データHist_Center_Leakの値に応じて可変される、画面中央部において直線状になっている正側のゲインと画面周辺部において直線状になっている負側のゲインを示している。一点鎖線は、中央部分布割合データHist_Center_Leakの値に応じて可変される、画面周辺部において直線状になっている正側のゲインと画面周辺部において直線状になっている負側のゲインを示している。

【0098】

図１５に示すように、中央部分布割合データHist_Center_Leakの値が所定の値ｒ１１以下であれば、画面中央部における正側のゲイン及び画面周辺部における負側のゲインは１であり、画面周辺部における正側のゲイン及び画面中央部における負側のゲインも１である。この場合、正側のゲイン及び負側のゲインはいずれも画面の位置にかかわらず１となる。

【0099】

中央部分布割合データHist_Center_Leakの値が大きくになるに従って、画面中央部における正側のゲイン及び画面周辺部における負側のゲインは順次大きくなり、所定の値ｒ１２以上で上限値up_limとなり、一定となる。

【0100】

中央部分布割合データHist_Center_Leakの値が大きくになるに従って、画面周辺部における正側のゲイン及び画面中央部における負側のゲインは順次小さくなり、値ｒ１２以上で下限値lw_limとなり、一定となる。

【0101】

図１４の（ｂ）に示す正側のゲインは、ＲＢ割合算出部２８０によって生成された色データ（RB_out信号）における正の値に乗じるゲインである。正側のゲインは、画面の中央部において、中央部分布割合データHist_Center_Leakが大きくなるに従って大きくなる特性を有する。

【0102】

図１４の（ｃ）に示す負側のゲインは、ＲＢ割合算出部２８０によって生成された色データ（RB_out信号）における負の値に乗じるゲインである。負側のゲインは、画面の周辺部において、中央部分布割合データHist_Center_Leakが大きくなるに従って大きくなる特性を有する。

【0103】

図７に戻り、以上のようにして算出された正側のゲインGain_Pは乗算器２８８に供給され、負側のゲインGain_Mは乗算器２８７に供給される。

【0104】

出力切換部２８６は、入力されたRB_out信号が負の場合には、RB_out信号を乗算器２８７に供給し、RB_out信号が正の場合には、RB_out信号を乗算器２８８に供給する。

【0105】

乗算器２８７は、負のRB_out信号に対してゲインGain_Mを乗算する。乗算器２８８は、正のRB_out信号に対してゲインGain_Pを乗算する。加算器２８９は、乗算器２８７の出力と乗算器２８８の出力とを加算して、補正オブジェクト信号（補正非立体画像信号）として出力する。

【0106】

乗算器２８７，２８８及び加算器２８９は、色データ（RB_out信号）における正の値にゲインGain_Pを乗算し、色データ（RB_out信号）における負の値にゲインGain_Mを乗算して、両者を加算して補正非立体画像信号を出力する振幅補正部として動作している。

【0107】

オブジェクト信号補正部１２８より出力された補正オブジェクト信号は、正のRB_out信号に対しては図１４の（ｂ）に示すゲインGain_Pが乗算され、負のRB_out信号に対しては図１４の（ｃ）に示すゲインGain_Mが乗算されているので、画面中央部に位置する注目被写体を手前側に、画面周辺部の背景を奥側に補正することになる。

【0108】

以上のようにして生成された補正オブジェクト信号は、図２の加算器１１９に入力される。加算器１１９は、合成部１１７より出力された画面全体の視差値を示すデータと補正オブジェクト信号とを加算して、奥行き推定データとして出力する。

【0109】

図１６を用いて、本実施形態による効果について説明する。図１６において、（ａ）は従来の処理による擬似立体画像であり、（ｂ）は本実施形態の処理による擬似立体画像である。図１６の（ａ）の擬似立体画像は、特許文献１に記載されている画面全体の視差値を示すデータに対してＲ信号をそのまま加算する処理による画像である。

【0110】

図１６の（ａ），（ｂ）は、シフト量０〜２５５を黒から白までのグレースケールで表現している。シフト量０は奥行き方向の視差が最大の状態、シフト量１２８は視差が０の状態、シフト量２５５は飛び出し方向の視差が最大の状態である。

【0111】

図１６の（ａ），（ｂ）は、画面の中央部に注目被写体（象の画像）が存在しており、注目被写体の周囲が背景となっている画像の例である。この画像の場合には、合成部１１７において基本奥行きモデルのタイプ１が選択される。従って、注目被写体は基本奥行きモデルが示す視差値によって奥行き方向へと移動してしまう。従来では、図１６の（ａ）に示すように、注目被写体の立体の程度が限定的である。

【0112】

これに対して、本実施形態によれば、オブジェクト信号補正部１２８によって生成した補正オブジェクト信号によって、注目被写体が手前側（飛び出し側）、背景が奥側となるように、個別に重み付けしている。

【0113】

従って、図１６の（ｂ）に示すように、注目被写体の飛び出し方向へのシフト量が大きくなり、注目被写体と背景との分離感が向上し、立体効果が大きく改善されていることが分かる。

【0114】

本実施形態によれば、画面の中央部に注目被写体が存在している程度に応じて画面中央部を飛び出させ、画面周辺部を引っ込ませることができ、画像の絵柄に応じて適切な飛び出し及び引っ込みの程度とすることができる。

【0115】

以上説明した本実施形態においては、ステレオペア生成部２が２視点の画像データを生成し、ステレオ画像表示装置３が２視点の画像データに基づいて立体画像を表示する構成を示している。３視点以上の画像データを生成し、３視点以上の画像データに基づいて立体画像を表示するいわゆる多視点画像表示装置によって立体画像を表示してもよい。

【0116】

ステレオ画像表示装置３は、偏光めがねを用いたプロジェクションシステム、時分割表示と液晶シャッタめがねとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイ等のいずれでもよい。

【0117】

プロジェクタシステムは、ステレオペアのそれぞれの画像データを投射する２台のプロジェクタで構成することができる。

【0118】

本実施形態の奥行き情報生成装置または擬似立体画像生成装置をハードウェアによって構成してもよいし、コンピュータプログラムによるソフトウェアによって構成してもよい。

【0119】

コンピュータに以上説明した奥行き情報生成装置及び方法、や似立体画像生成装置及び方法と同様の処理を実行させる場合、奥行き情報生成プログラムや擬似立体画像生成プログラムを記録媒体より読み出してコンピュータにインストールさせてもよいし、奥行き情報生成プログラムや擬似立体画像生成プログラムを、ネットワークを介してコンピュータにインストールさせてもよい。

【0120】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【符号の説明】

【0121】

１ 奥行き情報生成部（奥行き情報生成装置）
２ ステレオペア生成部
３ ステレオ画像表示装置
１１２ 上部高域成分評価部
１１３ 下部高域成分評価部
１１４〜１１６ フレームメモリ（視差データ発生部）
１１７ 合成部（視差データ発生部）
１１９ 加算器
１２８ オブジェクト信号補正部
２１１ 奥行き推定部
２１ 画素シフト部
２８０ ＲＢ割合算出部
２８１ 画像特徴検出部
２８２ａ，２８２ｂ ヒストグラム検出部
２８３ 中央部分布割合算出部
２８５ ゲイン算出部
２８７，２８８ 乗算器（振幅補正部）
２８９ 加算器（振幅補正部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】