特許 5780214 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5780214

(24)【登録日】2015年7月24日

(45)【発行日】2015年9月16日

(54)【発明の名称】奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置

(51)【国際特許分類】

   H04N 13/02 20060101AFI20150827BHJP

【ＦＩ】

   H04N13/02 600

   H04N13/02 570

【請求項の数】8

【全頁数】23

(21)【出願番号】特願2012-144147(P2012-144147)

(22)【出願日】2012年6月27日

(65)【公開番号】特開2014-7715(P2014-7715A)

(43)【公開日】2014年1月16日

【審査請求日】2014年9月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】木田 晋吾

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００５−１５１５３４（ＪＰ，Ａ）

【文献】 特開２００７−２０８３９９（ＪＰ，Ａ）

【文献】 特表２０１３−５４０４０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部と、
非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部と、
前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を出力する振幅補正部と、
前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器と、
を備えることを特徴とする奥行き情報生成装置。

【請求項2】

前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部を有することを特徴とする請求項１記載の奥行き情報生成装置。

【請求項3】

画面における上部の所定の領域に含まれる高域成分の量を評価して上部高域成分評価値を生成する上部高域成分評価部と、
画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部と、
をさらに備え、
前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成する
ことを特徴とする請求項２記載の奥行き情報生成装置。

【請求項4】

前記中央部分布割合算出部は、前記周辺部に含まれる高周波成分の頻度を示す高周波成分頻度データと、前記第１の中央部に含まれる高周波成分の頻度を示す高周波成分頻度データとを用いて、前記中央部分布割合データを算出することを特徴とする請求項１〜３のいずれか１項に記載の奥行き情報生成装置。

【請求項5】

前記非立体画像信号は、３原色信号のうちの赤色信号であることを特徴とする請求項１〜４のいずれか１項に記載の奥行き情報生成装置。

【請求項6】

請求項１〜５のいずれか１項に記載の奥行き情報生成装置と、
前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部と、
を備えることを特徴とする擬似立体画像生成装置。

【請求項7】

画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、
非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出し、
前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成し、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する
ことを特徴とする奥行き情報生成方法。

【請求項8】

コンピュータに、
画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、
非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出するステップと、
前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成するステップと、
前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップと、
を実行させることを特徴とする奥行き情報生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通常の画像のように奥行き情報が明示的に与えておらず、ステレオ画像のように奥行き情報が暗示的にも与えられていない非立体画像から奥行き情報を生成する奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、奥行き情報を用いて擬似的な立体画像を生成する擬似立体画像生成装置に関する。

【背景技術】

【0002】

近年、立体画像の普及に伴って、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を擬似的な立体画像に変換することが行われるようになってきた。非立体画像を擬似的な立体画像に変換するための擬似立体画像生成装置が種々提案されている。

【0003】

一例として、特許文献１には、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて奥行き推定データを生成する擬似立体画像生成装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−１５１５３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の擬似立体画像生成装置が備える奥行き情報生成装置においては、画面の中央部に人物等の注目被写体がある画像では十分な立体効果が得られる奥行き情報を生成することができないという問題点があった。

【0006】

本発明はこのような問題点に鑑み、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムを提供することを目的とする。また、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる擬似立体画像生成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生する視差データ発生部（１１４〜１１７）と、非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出する中央部分布割合算出部（８４）と、前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を出力する振幅補正部（８６，８７）と、前記視差データ発生部が発生した視差データと、前記振幅補正部より出力された補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成する加算器（１１９）とを備えることを特徴とする奥行き情報生成装置（１）を提供する。

【0008】

上記の奥行き情報生成装置において、前記視差データ発生部は、複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを、前記非立体画像信号が有する特徴に基づいて合成する合成部（１１７）を有することが好ましい。

【0009】

上記の奥行き情報生成装置において、画面における上部の所定の領域に含まれる高域成分の量を評価して上部高域成分評価値を生成する上部高域成分評価部（１１２）と、画面における下部の所定の領域に含まれる高域成分の量を評価して下部高域成分評価値を生成する下部高域成分評価部（１１３）とをさらに備え、前記合成部は、前記上部高域成分評価値と前記下部高域成分評価値とに応じて、前記複数の基本奥行きモデルそれぞれの画面全体の視差値を示す視差データを合成することが好ましい。

【0010】

上記の奥行き情報生成装置において、前記中央部分布割合算出部は、前記周辺部に含まれる高周波成分の頻度を示す高周波成分頻度データと、前記第１の中央部に含まれる高周波成分の頻度を示す高周波成分頻度データとを用いて、前記中央部分布割合データを算出することが好ましい。

【0011】

上記の奥行き情報生成装置において、前記非立体画像信号は、３原色信号のうちの赤色信号であることが好ましい。

【0012】

また、本発明は、上述した従来の技術の課題を解決するため、上記のいずれかの構成を有する奥行き情報生成装置と、前記奥行き推定データに基づいて、複数の視点の画像データを生成する複数視点画像データ生成部（２）とを備えることを特徴とする擬似立体画像生成装置を提供する。

【0013】

さらに、本発明は、上述した従来の技術の課題を解決するため、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生し、非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出し、前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成し、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成することを特徴とする奥行き情報生成方法を提供する。

【0014】

さらにまた、本発明は、上述した従来の技術の課題を解決するため、コンピュータに、画面全体の視差値を決定するための基本奥行きモデルを用いて、画面内それぞれの画素の視差値を示す視差データを発生するステップと、非立体画像信号に含まれる注目被写体が画面の周辺部を除く第１の中央部に集中して分布している程度を示す中央部分布割合データを算出するステップと、前記中央部分布割合データの大きさに応じて、画面の前記第１の中央部と同一または異なる第２の中央部における前記非立体画像信号の振幅を増大させるよう補正して、補正非立体画像信号を生成するステップと、前記視差データと前記補正非立体画像信号とを加算して、画面内それぞれの画素に対する奥行き推定データを生成するステップとを実行させることを特徴とする奥行き情報生成プログラムを提供する。

【発明の効果】

【0015】

本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラムによれば、画面の中央部に注目被写体がある画像に対して十分な立体効果が得られる奥行き情報を生成することができる。また、本発明の擬似立体画像生成装置によれば、画面の中央部に注目被写体がある画像に対して十分な立体効果を得ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の擬似立体画像生成装置の一実施形態を示すブロック図である。

【図2】図１中の奥行き推定部１１の具体的な構成例であり、本発明の奥行き情報生成装置の一実施形態を示すブロック図である。

【図3】図２中のフレームメモリ１１４が保持する基本奥行きモデル（タイプ１）の立体構造の一例を示す図である。

【図4】図２中のフレームメモリ１１５が保持する基本奥行きモデル（タイプ２）の立体構造の一例を示す図である。

【図5】図２中のフレームメモリ１１６が保持する基本奥行きモデル（タイプ３）の立体構造の一例を示す図である。

【図6】図２中の合成部１１７による合成比率決定条件の一例を示す図である。

【図7】図２中のオブジェクト信号補正部１１８の具体的な構成例を示すブロック図である。

【図8】図７中の高周波成分頻度検出部８１，８２がそれぞれ高周波成分の頻度を検出する領域の一例を示す図である。

【図9】図７中の高周波成分頻度検出部８１，８２の具体的な構成例を示すブロック図である。

【図10】図９中のハイパスフィルタ８０１による高周波成分の検出位相を説明するための図である。

【図11】図７中の中央部分布割合算出部８４の具体的な構成例を示すブロック図である。

【図12】図７中のリーク型積分回路８５の具体的な構成例を示すブロック図である。

【図13】図７中のゲイン算出部８６で算出するゲインの特性図である。

【図14】図１３の（ｂ）に示すゲインの制限値limの特性図である。

【図15】一実施形態による効果を説明するための擬似立体画像の表示例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置の一実施形態について、添付図面を参照して説明する。

【0018】

図１において、Ｒ，Ｇ，Ｂ信号である入力信号（オブジェクト信号）は、擬似的な奥行き情報を生成する奥行き情報生成部１に入力される。奥行き情報生成部１は、一実施形態の奥行き情報生成装置を構成する。Ｒ，Ｇ，Ｂ信号は、３原色信号の赤色信号，緑色信号，青色信号である。

【0019】

奥行き情報生成部１に入力されるＲ，Ｇ，Ｂ信号は、奥行き情報が明示的にも暗示的にも与えられていない非立体画像を表す画像信号である。奥行き情報生成部１は、奥行き推定データを生成する奥行き推定部１１を有する。奥行き推定部１１の具体的な構成及び動作については後に詳述する。

【0020】

ステレオペア生成部２には、奥行き情報生成部１への入力信号であるＲ，Ｇ，Ｂ信号と、奥行き推定部１１によって生成された奥行き推定データとが入力される。ステレオペア生成部２は、右目画像データと左目画像データとのステレオペアを生成する。

【0021】

ステレオペア生成部２は、非立体画像信号に基づいて複数の視点の画像データを生成する複数視点画像データ生成部の一例である。奥行き情報生成部１とステレオペア生成部２とは、一実施形態の擬似立体画像生成装置を構成する。

【0022】

ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま右目画像データとする。ステレオペア生成部２は、右目画像データ（Ｒ，Ｇ，Ｂ信号）に基づいて左目画像データを生成する。

【0023】

画素シフト部２１には、Ｒ，Ｇ，Ｂ信号と奥行き推定データとが入力される。画素シフト部２１は、奥行き推定データに基づいてＲ，Ｇ，Ｂ信号それぞれの画素をシフトする。

【0024】

例えば左に視点移動する場合、画面より手前に表示するものは近いものほど画像を見る者の内側（鼻側）に見える。そこで、画素シフト部２１は、対応部分の画素を奥行き推定データが示す奥行きに応じた量だけ、内側（右側）に移動させる。画面より奥に表示するものは近いものほど画像を見る者の外側に見える。そこで、画素シフト部２１は、対応部分の画素を奥行きに応じた量だけ、外側（左側）に移動させる。

【0025】

画素シフト部２１によって画素をシフトすると、画像内に、画素が存在しない、いわゆるオクルージョンが発生する場合がある。オクルージョン補償部２２は、画素シフト部２１より出力されたＲ，Ｇ，Ｂ信号のオクルージョンを補償する。

【0026】

オクルージョン補償部２２は、オクルージョンの周辺の画素を用いて画素を補間する等の公知の方法によってオクルージョンを補償する。

【0027】

オクルージョン補償部２２より出力されたＲ，Ｇ，Ｂ信号は、ポスト処理部２３に入力される。ポスト処理部２３は、入力されたＲ，Ｇ，Ｂ信号に対して平滑化処理等のポスト処理を施す。ポスト処理部２３によってポスト処理を施すことにより、オクルージョン補償された画像が滑らかとなり、ノイズが軽減される。

【0028】

ポスト処理部２３より出力されたＲ，Ｇ，Ｂ信号は、左目画像データとなる。左目画像出力部２４は左目画像データを出力し、右目画像出力部２５は右目画像データを出力する。

【0029】

ステレオペア生成部２には、ステレオ画像表示装置３が接続されている。ステレオ画像表示装置３には、左目画像出力部２４より出力された左目画像データと、右目画像出力部２５より出力された右目画像データとのステレオペアが入力される。ステレオ画像表示装置３は、入力されたステレオペアに基づいてステレオ画像（立体画像）を表示する。

【0030】

ステレオペア生成部２は、入力されたＲ，Ｇ，Ｂ信号をそのまま左目画像データとし、左目画像データ（Ｒ，Ｇ，Ｂ信号）を画素シフトすることによって右目画像データを生成してもよい。

【0031】

ステレオペア生成部２は、右目画像データと左目画像データのいずれも、入力されたＲ，Ｇ，Ｂ信号をそのまま用いるのではなく、画素シフト部２１によって画素をシフトさせた左右の別視点の画像データをステレオペアとしてもよい。

【0032】

図２を用いて、奥行き推定部１１の具体的構成例及びその動作について説明する。画像入力部１１１には、Ｒ，Ｇ，Ｂ信号が入力される。画像入力部１１１は、Ｒ，Ｇ，Ｂ信号のうちのＲ信号のみを、上部高域成分評価部１１２と下部高域成分評価部１１３とオブジェクト信号補正部１１８とに供給する。

【0033】

上部高域成分評価部１１２は、それぞれのフレームの上部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、上部高域成分評価部１１２は、上部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。上部高域成分評価部１１２は、それぞれのブロックにおいて次の式（１）を計算し、ブロックの平均を上部高域成分評価値top_actとする。上部高域成分評価値top_actは、合成部１１７に入力される。

【0034】

【数1】

【0035】

下部高域成分評価部１１３は、それぞれのフレームの下部約２０％の領域に高域成分がどの程度含まれているかを評価する。例えば、下部高域成分評価部１１３は、下部約２０％の領域を水平８画素、垂直８画素のブロックに分割する。下部高域成分評価部１１３は、それぞれのブロックにおいて上記の式（１）を計算し、ブロックの平均を下部高域成分評価値bottom_actとする。下部高域成分評価値bottom_actは、合成部１１７に入力される。

【0036】

フレームメモリ１１４〜１１６は、擬似立体画像を生成する際の基本となる基本奥行きモデルを記憶している。フレームメモリ１１４，１１５，１１６が記憶している基本奥行きモデルをそれぞれタイプ１，タイプ２，タイプ３とする。図３，図４，図５は、それぞれ、基本奥行きモデルのタイプ１，タイプ２，タイプ３の立体構造の一例を示している。

【0037】

基本奥行きモデルとは画面全体の視差値を決定するためのモデルである。基本奥行きモデルは、平面上のそれぞれの画素を、図３〜図５に示すような非平面形状の特性が有する飛び出し方向または奥行き方向にシフトさせるテーブルまたは計算式にて構成することができる。

【0038】

合成部１１７は、上部高域成分評価値top_act及び下部高域成分評価値bottom_actそれぞれの値に応じて、フレームメモリ１１４〜１１６より出力されるタイプ１〜３の基本奥行きモデルを所定の合成比率で合成する。

【0039】

合成部１１７は、図６に示す合成比率決定条件に従ってタイプ１〜３の基本奥行きモデルを合成する。図６の横軸は上部高域成分評価値top_act、縦軸は下部高域成分評価値bottom_actである。

【0040】

図６に示すように、下部高域成分評価値bottom_actが所定の値bms以下であれば、合成部１１７は、上部高域成分評価値top_actの値にかかわらず、タイプ３の基本奥行きモデルを用いる。即ち、タイプ１，２の合成比率を０にする。

【0041】

下部高域成分評価値bottom_actが値bmsより大きく、所定の値bml以下であれば、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが所定の値tps以下であれば、合成部１１７は、タイプ１の合成比率を０にして、タイプ２とタイプ３とを合成する。

【0042】

上部高域成分評価値top_actが値tpsより大きく、所定の値tpl以下であれば、合成部１１７は、タイプ１〜３を合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２の合成比率を０にして、タイプ１とタイプ３とを合成する。

【0043】

下部高域成分評価値bottom_actが値bmlより大きければ、合成部１１７は、上部高域成分評価値top_actの値に応じてタイプ１〜３を次のように合成する。上部高域成分評価値top_actが値tps以下であれば、合成部１１７は、タイプ１，３の合成比率を０にして、タイプ２の基本奥行きモデルを用いる。

【0044】

上部高域成分評価値top_actが値tpsより大きく、値tpl以下であれば、合成部１１７は、タイプ３の合成比率を０にして、タイプ１とタイプ２とを合成する。上部高域成分評価値top_actが値tplより大きければ、合成部１１７は、タイプ２，３の合成比率を０にして、タイプ１の基本奥行きモデルを用いる。

【0045】

合成部１１７によって図６に示す合成比率決定条件に従って合成した画面全体の視差値を示すデータは、加算器１１９に入力される。

【0046】

複数のタイプの基本奥行きモデルを上部高域成分評価値top_act及び下部高域成分評価値bottom_actに応じて合成する構成は必須の構成ではないが、好ましい構成である。少なくとも１つのタイプの基本奥行きモデルを用いて、画面全体の視差値を示すデータを発生する構成であればよい。

【0047】

オブジェクト信号補正部１１８は、オブジェクト信号のうちのＲ信号を後述するように補正してＲ’信号として出力する。Ｒ’信号は、合成部１１７より出力されたデータが示す画面全体の視差値に対して付加される付加的な視差値のデータである。

【0048】

Ｒ信号を用いる理由の１つは、順光に近い環境で、かつ、画面内の明度が大きく異ならない条件で、Ｒ信号の大きさが被写体の凹凸の程度と一致する確立が高いからである。他の理由の１つは、赤色等の暖色は色彩学における前進色であり、寒色よりも奥行き方向の手前に認識されやすいからである。

【0049】

図７を用いて、オブジェクト信号補正部１１８の具体的構成例及びその動作について説明する。図７において、画像特徴検出部８０にはＲ信号が入力される。画像特徴検出部８０は、高周波成分頻度検出部８１，８２を有する。

【0050】

高周波成分頻度検出部８１は、図８に示すように、１フレームの画面全体である領域ＲｎＡにおける高周波成分の頻度を検出する。領域ＲｎＡは有効映像期間でよい。高周波成分頻度検出部８２は、図８に示すように、領域ＲｎＡよりも狭い画面中央の領域ＲｎＢにおける高周波成分の頻度を検出する。領域ＲｎＢの大きさは適宜設定すればよい。

【0051】

高周波成分頻度検出部８１，８２は、具体的に、図９に示すように構成される。図９において、ハイパスフィルタ（ＨＰＦ）８０１には、Ｒ信号が入力される。

【0052】

ＨＰＦ８０１は、水平方向においては、図１０の（ａ）に示すように、ハッチングを付した現在の画素に対し、左右方向に１画素ずつ離れた位置の白で示す画素x_m，x_pの差分を算出する。ＨＰＦ８０１は、垂直方向においては、図１０の（ｂ）に示すように、ハッチングを付した現在の画素に対し、上下方向に１画素ずつ離れた位置の白で示す画素y_m，y_pの差分を算出する。

【0053】

ＨＰＦ８０１は、図１０の（ａ），（ｂ）に白で示す画素x_m，x_p，y_m，y_pのデータを生成するための水平方向及び垂直方向の遅延器と、差分を算出する減算器を有する。図１０の（ａ），（ｂ）より分かるように、ハッチングを付した現在の画素に対する差分値は、水平方向では１画素、垂直方向では１ライン遅れて生成されることになる。水平方向の差分値は水平方向の高周波成分を示し、垂直方向の差分値は垂直方向の高周波成分を示す。

【0054】

絶対値演算部８０２は、ＨＰＦ８０１より入力された差分値を式（２），式（３）に示す計算式によって絶対値化する。Act_Hは水平差分絶対値であり、Act_Vは垂直差分絶対値である。絶対値演算部８０２は、式（４）に示す計算式によって高周波成分Act_HVを算出する。

【0055】

Act_H=abs(x_m-x_p) …（２）
Act_V=abs(y_m-y_p) …（３）
Act_HV=Act_H+Act_V …（４）

【0056】

２値化演算部８０３は、絶対値演算部８０２より入力された高周波成分Act_HVが所定の閾値より大きければ“１”を出力し、閾値以下であれば“０”を出力する。２値化演算部８０３の出力が“１”であれば、注目画素である現在の画素が高周波成分を有するということである。

【0057】

高周波成分頻度検出部８１においては、累積カウンタ８０４は、領域ＲｎＡの期間、２値化演算部８０３の出力を累積してカウントする。累積カウンタ８０４のカウント値は、領域ＲｎＡ内で、２値化演算部８０３によって高周波成分Act_HVが閾値より大きいと判定された画素の総数を示す。

【0058】

高周波成分頻度検出部８２においては、累積カウンタ８０４は、領域ＲｎＢの期間、２値化演算部８０３の出力を累積してカウントする。累積カウンタ８０４のカウント値は、領域ＲｎＢ内で、２値化演算部８０３によって高周波成分Act_HVが閾値より大きいと判定された画素の総数を示す。

【0059】

高周波成分頻度検出部８１においては、レジスタ８０５は、累積カウンタ８０４からのカウント値を保持して、高周波成分頻度データAct_Num_Aとして出力する。高周波成分頻度検出部８２においては、レジスタ８０５は、累積カウンタ８０４からのカウント値を保持して、高周波成分頻度データAct_Num_Bとして出力する。

【0060】

本実施形態では、それぞれのフレームで高周波成分頻度データAct_Num_A，Act_Num_Bを生成しているが、複数フレーム毎に高周波成分頻度データAct_Num_A，Act_Num_Bを生成してもよい。画像特徴検出部８０は、画面の所定単位（時間単位）毎に高周波成分頻度データAct_Num_A，Act_Num_Bを生成すればよい。但し、１フレーム毎に高周波成分頻度データAct_Num_A，Act_Num_Bを生成することが好ましい。

【0061】

ここでは、画像データの画面の単位をフレームとして説明したが、インターレース走査によるフィールドを単位とすることもある。この場合、本実施形態におけるフレームをフィールドと読み替えることとする。

【0062】

図７に戻り、高周波成分頻度検出部８１より出力された高周波成分頻度データAct_Num_Aは、減算器８３に入力される。高周波成分頻度検出部８２より出力された高周波成分頻度データAct_Num_Bは、減算器８３及び中央部分布割合算出部８４に入力される。

【0063】

減算器８３は、式（５）に示す計算式によって高周波成分頻度データAct_Num_Aから高周波成分頻度データAct_Num_Bを減算して、それぞれのフレームの領域ＲｎＡのうち、画面中央の領域ＲｎＢを除いた周辺部の高周波成分頻度データAct_Num_(A-B)を算出する。周辺部の高周波成分頻度データAct_Num_(A-B)は、中央部分布割合算出部８４に入力される。

【0064】

Act_Num_(A-B)=Act_Num_A-Act_Num_B …（５）

【0065】

中央部分布割合算出部８４は、画面中央の領域ＲｎＢの高周波成分頻度データAct_Num_Bと、周辺部の高周波成分頻度データAct_Num_(A-B)とに基づいて、画面の中央部に注目被写体が存在している程度を示す中央部分布割合データAct_Centerを算出する。

【0066】

本実施形態では、画像特徴検出部８０において高周波成分が多く検出される部分は背景のような平坦な画像ではなく、所定の絵柄（テクスチャ）を有する画像であるから、高周波成分が多く検出される部分を注目被写体としている。

【0067】

図１１に示すように、中央部分布割合算出部８４は、減算器８４１と下限リミッタ８４２とを有する。減算器８４１は、式（６）に示す計算式によって、高周波成分頻度データAct_Num_Bから高周波成分頻度データAct_Num_(A-B)を減算して、中央部分布割合データAct_Centerを算出する。

【0068】

Act_Center=Act_Num_B-Act_Num_(A-B) …（６）

【0069】

下限リミッタ８４２は、減算器８４１より出力された中央部分布割合データAct_Centerが０未満の値であれば０にする。下限リミッタ８４２からは、０以上の所定の値をとる中央部分布割合データAct_Centerが出力される。中央部分布割合データAct_Centerは、高周波成分を有する被写体が画面の周囲よりも中央部に位置している程度が大きいほど、大きな値を示すことになる。

【0070】

中央部分布割合データAct_Centerは、リーク型積分回路８５に入力される。リーク型積分回路８５は、図１２に示すように、加算器８５１と、レジスタ８５２と、乗算器８５３，８５４を有する。リーク型積分回路８５は、図１２に示す構成によって、中央部分布割合データAct_Centerに対して、時間方向にリーク型の積分処理を施す。

【0071】

加算器８５１は、入力された中央部分布割合データAct_Centerと乗算器８５３の出力とを加算する。レジスタ８５２は、加算器８５１の出力を保持する。乗算器８５３は、レジスタ８５２の出力に15/16を乗算して、加算器８５１へと出力する。乗算器８５４は、レジスタ８５２の出力に1/16を乗算して、リーク型の積分処理を施した中央部分布割合データAct_Center_Leakを出力する。

【0072】

リーク型積分回路８５によって中央部分布割合データAct_Centerに対してリーク型の積分処理を施すことにより、オブジェクト信号補正部１１８によって生成されるＲ’信号は、画像の変化によって急激には変化しない。従って、ステレオペア生成部２によって生成されるステレオペアによるステレオ画像は緩やかに変化することになり、より自然な画質とすることができる。

【0073】

リーク型積分回路８５を設けることは必須ではないが、設けることが好ましい。

【0074】

リーク型積分回路８５より出力された中央部分布割合データAct_Center_Leakは、ゲイン算出部８６に入力される。ゲイン算出部８６には、画像情報として、奥行き情報生成部１に入力される画像データの水平幅データH_widthと垂直幅データV_widthも入力される。

【0075】

ゲイン算出部８６は、画面の位置に応じて、また、中央部分布割合データAct_Center_Leakの値に応じて、ゲインを算出する。図１３を用いて、画面の位置に応じたゲインの設定について説明する。図１３は、画面の水平方向の位置に応じたゲインの特性を示している。図１３の（ａ），（ｂ）において、H_Numは水平の画素番号である。

【0076】

図１３の（ａ）は比較のため従来におけるゲインの特性を示している。横軸の左端部が画面の左端部であり、従来は、水平方向の左端部からH_widthで示す右端部まで一定のゲイン１である。

【0077】

これに対して、本実施形態では、図１３の（ｂ）に示すように、水平方向の左端部からH_widthで示す右端部まで太い破線で示す一定のゲイン１の状態と、画面中央部のｐ１〜ｐ２の範囲で実線で示す１を超えるゲインをとる状態とのいずれかとなる。画面中央部のｐ１〜ｐ２の範囲のゲインの制限値limは、中央部分布割合データAct_Center_Leakの値に応じて１〜ｒ２の範囲で可変される。即ち、画面中央部のｐ１〜ｐ２の範囲のゲインは、最大で太い一点鎖線で示す状態となる。

【0078】

図１３の（ｂ）に示すゲイン（Gain）の特性を計算式で表すと、式（７）となる。

【0079】

If(H_Num<p1) Gain=(lim-1)×H_Num/p1+1;
If(H_Num<p2) Gain=lim;
If(H_Num<H_width) Gain=(lim-1)×(H_width-H_Num)/（H_width-p2）+1;
…（７）

【0080】

画面中央部のｐ１，ｐ２の位置は適宜設定すればよい。領域ＲｎＢの左端部をｐ１、右端部をｐ２としてもよい。即ち、ここでの画面中央部とは、図８に示す画面中央の領域ＲｎＢと同じでもよいし、同じでなくてもよい。

【0081】

図１４は、中央部分布割合データAct_Center_Leakの値とゲインの制限値limとの関係を示している。図１４に示すように、中央部分布割合データAct_Center_Leakの値が０であれば制限値limは１である。中央部分布割合データAct_Center_Leakの値が大きくになるに従って、制限値limも順次大きくなる。

【0082】

中央部分布割合データAct_Center_Leakの値がｒ１のとき、制限値limは最大のｒ２となる。中央部分布割合データAct_Center_Leakの値がｒ１以上では、制限値limは最大のｒ２で一定となる。

【0083】

図１３では、画面の水平方向の位置に応じてゲインを異ならせるように設定しているが、画面の垂直方向の位置に応じてゲインを異ならせるように設定してもよい。垂直方向の位置に応じてゲインを異ならせる場合も、図１３と同様、中央部分布割合データAct_Center_Leakの値が大きくなるほど、垂直方向の中央部のゲインを大きくすればよい。画面の水平方向及び垂直方向の双方で、位置に応じてゲインを異ならせるように設定してもよい。

【0084】

図７に戻り、乗算器８７には、Ｒ信号と、ゲイン算出部８６によって算出されたゲインとが入力される。乗算器８７は、Ｒ信号に対して、ゲイン算出部８６から入力されたゲインを乗算して、Ｒ’信号として出力する。Ｒ’信号は、オブジェクト信号であるＲ信号を補正した補正オブジェクト信号である。

【0085】

以上より分かるように、オブジェクト信号補正部１１８（特に、ゲイン算出部８６及び乗算器８７）は、中央部分布割合算出部８４で算出された中央部分布割合データAct_Center（Act_Center_Leak）の大きさに応じて、画面中央部における非立体画像信号（Ｒ信号）の振幅を増大させるよう補正して、補正非立体画像信号（Ｒ’信号）を出力する振幅補正部として動作している。

【0086】

以上のようにして生成されたＲ’信号は、図２の加算器１１９に入力される。加算器１１９は、合成部１１７より出力された画面全体の視差値を示すデータとＲ’信号とを加算して、奥行き推定データとして出力する。

【0087】

図１５を用いて、本実施形態による効果について説明する。図１５において、（ａ）は従来の処理による擬似立体画像であり、（ｂ）は本実施形態の処理による擬似立体画像である。図１５の（ａ）の擬似立体画像は、特許文献１に記載されている画面全体の視差値を示すデータに対してＲ信号をそのまま加算する処理による画像である。

【0088】

図１５の（ａ），（ｂ）は、シフト量０〜２５５を黒から白までのグレースケールで表現している。シフト量０は視差が０の状態であり、シフト量２５５は飛び出し方向の視差が最大の状態である。

【0089】

図１５の（ａ），（ｂ）は、画面の中央部に注目被写体が集中して配置されている画像の例である。従来では、図１５の（ａ）に示すように、注目被写体（特に花の画像）の立体の程度が限定的である。

【0090】

これに対して、本実施形態によれば、図１５の（ｂ）に示すように、注目被写体（特に花の画像）のシフト量が大きくなり、より飛び出して見えることから、立体の程度が大きく改善されていることが分かる。

【0091】

図１３の（ｂ）に示すゲインの特性より分かるように、画面の周辺部から中央部へとゲインが順次増大し、中央部から周辺部へとゲインが順次減少していくので、擬似立体画像の奥行きはなだらかに変化する。従って、違和感を生じさせることはない。本実施形態によれば、画面中央部に向かってオブジェクト（被写体）の奥行きがなだらかに変化し、丸みを帯びたような立体効果を得ることができる。

【0092】

本実施形態によれば、画面の中央部に注目被写体が存在している程度に応じて画面中央部を飛び出させることができ、画像の絵柄に応じて適切な飛び出しの程度とすることができる。

【0093】

以上説明した本実施形態においては、ステレオペア生成部２が２視点の画像データを生成し、ステレオ画像表示装置３が２視点の画像データに基づいて立体画像を表示する構成を示している。３視点以上の画像データを生成し、３視点以上の画像データに基づいて立体画像を表示するいわゆる多視点画像表示装置によって立体画像を表示してもよい。

【0094】

ステレオ画像表示装置３は、偏光めがねを用いたプロジェクションシステム、時分割表示と液晶シャッタめがねとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイ等のいずれでもよい。

【0095】

プロジェクタシステムは、ステレオペアのそれぞれの画像データを投射する２台のプロジェクタで構成することができる。

【0096】

本実施形態の奥行き情報生成装置または擬似立体画像生成装置をハードウェアによって構成してもよいし、コンピュータプログラムによるソフトウェアによって構成してもよい。

【0097】

コンピュータに以上説明した奥行き情報生成装置及び方法、や似立体画像生成装置及び方法と同様の処理を実行させる場合、奥行き情報生成プログラムや擬似立体画像生成プログラムを記録媒体より読み出してコンピュータにインストールさせてもよいし、奥行き情報生成プログラムや擬似立体画像生成プログラムを、ネットワークを介してコンピュータにインストールさせてもよい。

【0098】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【符号の説明】

【0099】

１ 奥行き情報生成部（奥行き情報生成装置）
２ ステレオペア生成部
３ ステレオ画像表示装置
１１ 奥行き推定部
２１ 画素シフト部
８４ 中央部分布割合算出部
８６ ゲイン算出部（振幅補正部）
８７ 乗算器（振幅補正部）
１１２ 上部高域成分評価部
１１３ 下部高域成分評価部
１１４〜１１６ フレームメモリ（視差データ発生部）
１１７ 合成部（視差データ発生部）
１１８ オブジェクト信号補正部
１１９ 加算器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】