特許 5888140 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5888140

(24)【登録日】2016年2月26日

(45)【発行日】2016年3月16日

(54)【発明の名称】奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム

(51)【国際特許分類】

   H04N 13/02 20060101AFI20160303BHJP

   G06T 19/00 20110101ALI20160303BHJP

【ＦＩ】

   H04N13/02 600

   G06T19/00 F

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2012-138581(P2012-138581)

(22)【出願日】2012年6月20日

(65)【公開番号】特開2014-3521(P2014-3521A)

(43)【公開日】2014年1月9日

【審査請求日】2014年9月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】見上 豊繁

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００５−１５１５３４（ＪＰ，Ａ）

【文献】 特開２０１２−１０９７８８（ＪＰ，Ａ）

【文献】 特開２００１−３５９１１９（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１３５７６０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部と、
前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定部と、
前記記憶部から読み出した前記複数の基本奥行きモデルを、前記算定部にて算定した合成比率に基づいて合成し、合成奥行きデータを生成する合成部と、
前記非立体画像から輝点部分を検出する輝点検出部と、
前記輝点検出部にて輝点部分を検出した場合、検出した前記輝点部分の画素値を前記輝点部分の画素の周辺画素の画素値で置き換えて、奥行き加算用画像信号を生成する輝点補間部と、
前記奥行き加算用画像信号の所定の信号成分を前記奥行きデータに加算して前記奥行き推定データを生成する加算部と
を備えたことを特徴とする奥行き推定データ生成装置。

【請求項2】

前記輝点検出部は、
入力信号の各画素のレベルに応じて、各画素における輝点評価値を算出する輝点評価値算出部と、
評価対象画素の前記輝点評価値が所定の値より大きいか否か比較し、大きい場合に真と判定する高輝度比較部と、
前記評価対象画素の前記輝点評価値が、前記評価対象画素の周囲の画素における輝点評価値の平均値より大きいか否か比較し、大きい場合に真と判定する周囲平均との比較部と、
前記評価対象画素を含む周辺画素における輝点評価値の分散値が所定の値より小さいか否かを比較し、小さい場合に真と判定する分散値の比較部と
を有し、
前記高輝度比較部、前記周囲平均との比較部、前記分散値の比較部のいずれの判定結果も真であった場合、前記輝点検出部は前記評価対象画素を輝点として検出することを特徴とする請求項１記載の奥行き推定データ生成装置。

【請求項3】

奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、非立体画像から擬似立体動画像を生成する擬似立体画像生成装置であって、
請求項１または２に記載の奥行き推定データ生成装置から供給する前記奥行き推定データに応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および／または右目用画像となる別視点画像を生成する別視点画像生成部を備え、
前記別視点画像生成部により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置。

【請求項4】

奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成方法であって、
前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデル間の合成比率を算定する算定ステップと、
前記算定ステップにて算定した合成比率に基づいて複数の基本奥行きモデルを合成し、合成奥行きデータを生成する合成ステップと、
前記非立体画像から輝点部分を検出する輝点検出ステップと、
前記輝点検出ステップにて輝点を検出した場合、前記検出した輝点部分の画素値を、前記輝点部分の周辺画素の画素値で置き換えて奥行き加算用画像信号を生成する輝点補間ステップと、
前記奥行き加算用画像信号の所定の信号成分を前記合成奥行きデータに加算して、前記奥行き推定データを生成する加算ステップと
を有することを特徴とする奥行き推定データ生成方法。

【請求項5】

奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する機能をコンピュータに実現させる奥行き推定データ生成プログラムであって、
前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデル間の合成比率を算定する算定ステップと、
前記算定ステップにて算定した合成比率に基づいて複数の基本奥行きモデルを合成し、合成奥行きデータを生成する合成ステップと、
前記非立体画像から輝点部分を検出する輝点検出ステップと、
前記輝点検出ステップにて輝点を検出した場合、前記検出した輝点部分の画素値を、前記輝点部分の周辺画素の画素値で置き換えて奥行き加算用画像信号を生成する輝点補間ステップと、
前記奥行き加算用画像信号の所定の信号成分を前記合成奥行きデータに加算して、前記奥行き推定データを生成する加算ステップと
を有することを特徴とする奥行き推定データ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムに関する。

【背景技術】

【0002】

立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の技術は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルを合成する。そして加算器において、合成した基本奥行きモデルと非立体画像のＲ信号とを重畳し、最終的な奥行き推定データを生成し、この奥行き推定データを元にした処理を非立体画像の画像信号に施すことで、立体感を感じさせる別視点画像の画像信号を生成している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−１８５０３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の手法では、複数種類の基本奥行モデルを合成して合成奥行きモデルを生成し、合成奥行きモデルにＲ信号を重畳することで最終的な奥行き推定データを生成している。合成奥行きモデルに重畳する信号としては、どのような絵柄に対してもＲ信号のレベルのみに依存した奥行き信号を重畳するため、光を反射して輝点を成している部分が存在すると、その輝点部だけが過度に飛び出して見えて物体の分離感や位置関係の不一致を招いてしまう場合があり、更なる改善が望まれていた。

【0005】

本発明は上記課題を鑑みてなされてもので、光を反射して輝点を成している部分だけが過度に飛び出して見えることを防ぎ自然な立体効果をもたらす奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供する事を目的とする。

【課題を解決するための手段】

【0006】

上記の目的を達成するため、本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置であって、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部（１４，１５，１６）と、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定部（１２，１３）と、前記記憶部から読み出した前記複数の基本奥行きモデルを、前記算定部にて算定した合成比率に基づいて合成し、合成奥行きデータを生成する合成部（１７）と、前記非立体画像から輝点部分を検出する輝点検出部（１１０）と、前記輝点検出部にて輝点部分を検出した場合、検出した前記輝点部分の画素値を、前記輝点部分の画素の周辺画素の画素値で置き換えて、奥行き加算用画像信号を生成する輝点補間部（１２０）と、前記奥行き加算用画像信号の所定の信号成分を前記奥行きデータに加算して前記奥行き推定データを生成する加算部（１９）とを備えたことを特徴とする奥行き推定データ生成装置（１０）を提供する。

【0007】

また、上記の目的を達成するため本発明は、輝点検出部が、入力信号の各画素のレベルに応じて、各画素における輝点評価値を算出する輝点評価値算出部（１１１）と、評価対象画素の前記輝点評価値が所定の値より大きいか否か比較し、大きい場合に真と判定する高輝度比較部（１１２）と、前記評価対象画素の前記輝点評価値が、前記評価対象画素の周囲の画素における輝点評価値の平均値より大きいか否か比較し、大きい場合に真と判定する周囲平均との比較部（１１４）と、前記評価対象画素を含む周辺画素における輝点評価値の分散値が所定の値より小さいか否かを比較し、小さい場合に真と判定する分散値の比較部（１１６）とを有し、前記高輝度比較部、前記周囲平均との比較部、前記分散値の比較部のいずれの判定結果も真であった場合、前記輝点検出部は前記評価対象画素を輝点として検出することを特徴とする上記記載の奥行き推定データ生成装置を提供する。

【0008】

また、上記の目的を達成するため、本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、非立体画像から擬似立体動画像を生成する擬似立体画像生成装置（１）であって、上記いずれかに記載の奥行き推定データ生成装置から供給する前記奥行き推定データに応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および／または右目用画像となる別視点画像を生成する別視点画像生成部（５０）を備え、前記別視点画像生成部により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置を提供する。

【0009】

また、上記の目的を達成するため、本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成方法であって、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデル間の合成比率を算定する算定ステップと、前記算定ステップにて算定した合成比率に基づいて複数の基本奥行きモデルを合成し、合成奥行きデータを生成する合成ステップと、前記非立体画像から輝点部分を検出する輝点検出ステップと、前記輝点検出部にて輝点を検出した場合、前記検出した輝点部分の画素値を、前記輝点部分の周辺画素の画素値で置き換えて奥行き加算用画像信号を生成する輝点補間ステップと、前記奥行き加算用画像信号の所定の信号成分を前記合成奥行きデータに加算して、前記奥行き推定データを生成する加算ステップとを有することを特徴とする奥行き推定データ生成方法を提供する。

【0010】

また、上記の目的を達成するため、本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する機能をコンピュータに実現させる奥行き推定データ生成プログラムであって、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデル間の合成比率を算定する算定ステップと、前記算定ステップにて算定した合成比率に基づいて複数の基本奥行きモデルを合成し、合成奥行きデータを生成する合成ステップと、前記非立体画像から輝点部分を検出する輝点検出ステップと、前記輝点検出部にて輝点を検出した場合、前記検出した輝点部分の画素値を、前記輝点部分の周辺画素の画素値で置き換えて奥行き加算用画像信号を生成する輝点補間ステップと、前記奥行き加算用画像信号の所定の信号成分を前記合成奥行きデータに加算して、前記奥行き推定データを生成する加算ステップとを有することを特徴とする奥行き推定データ生成プログラムを提供する。

【発明の効果】

【0011】

本発明によれば、光を反射して輝点を成している部分だけが過度に飛び出して見えることを防ぎ、自然な立体効果をもたらす奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】擬似立体画像生成装置の構成を説明するためのブロック図である。

【図2】基本奥行きモデルタイプ１の立体構造の一例を示す図である。

【図3】基本奥行きモデルタイプ２の立体構造の一例を示す図である。

【図4】基本奥行きモデルタイプ３の立体構造の一例を示す図である。

【図5】基本奥行きモデル合成比率決定条件を説明する図である。

【図6】輝点を説明するための画像例である。

【図7】輝点検出・補間部の構成を説明するための図である。

【図8】輝点検出・補間部の動作を説明するためのフローチャートである。

【図9】周囲の画素の輝点評価値の平均を求める対象画素を説明するための図である。

【図10】輝度部を補間するための元となる対象画素を説明するための図である。

【図11】輝度部検出・補間部の動作を説明するための図である。

【発明を実施するための形態】

【0013】

次に、本発明の実施の形態について図面と共に詳細に説明する。
図１は、本発明による擬似立体画像生成装置の構成を説明するためのブロック図である。図１に示すように、本実施の形態の擬似立体画像生成装置１は、奥行き推定データ生成部１０と、別視点画像生成部５０より構成される。

【0014】

奥行き推定データ生成部１０は、画像入力部１１と、画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３と、フレームメモリ１４、１５及び１６と、合成部１７と、輝点検出・補間部１８と、加算部１９を有し、奥行き推定データを生成する。

【0015】

画像入力部１１は、フレームメモリを備えており、入力した非立体画像信号である１フレーム分の画像信号を一時記憶した後、その１フレーム分の画像信号を画面上部の高域成分評価部１２、画面下部の高域成分評価部１３、輝点検出・補間部１８にそれぞれ供給する。画像入力部１１に入力される非立体画像信号は一視点の画像信号であり、ここでは一例として右目画像として表示されるべき右目用画像信号であるものとする。画像入力部に入力する画像の信号方式は問わないが、本実施形態では一例として、入力画像をＲＧＢ信号として説明する。

【0016】

画面上部の高域成分評価部１２は、１フレーム分の右目用画像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部１２は、画面上部の高域成分評価値を合成部１７に供給する。画面下部の高域成分評価部１３は、１フレーム分の右目用画像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部１３は、画面下部の高域成分評価値を合成部１７に供給する。

【0017】

一方、フレームメモリ１４は基本奥行きモデルタイプ１、フレームメモリ１５は基本奥行きモデルタイプ２、フレームメモリ１６は基本奥行きモデルタイプ３の画像を予め格納している。これらの基本奥行きモデルタイプ１〜３の画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。フレームメモリ１４〜１６は、本発明の基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部として機能する。

【0018】

すなわち、上記の基本奥行きモデルタイプ１の画像は、球面状の凹面による奥行きモデルの画像で、図２に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプ１の画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。

【0019】

また、上記の基本奥行きモデルタイプ２の画像は、基本奥行きモデルタイプ１の画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図３に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。

【0020】

更に、上記の基本奥行きモデルタイプ３の画像は、図４に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１４〜１６に格納されている、これら基本奥行きモデルタイプ１〜３の画像は、合成部１７へ供給される。

【0021】

合成部１７は、まず、画面上部の高域成分評価部１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプ１の合成比率ｋ１、基本奥行きモデルタイプ２の合成比率ｋ２、基本奥行きモデルタイプ３の合成比率ｋ３を算定する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。

【0022】

図５は、合成比率の決定条件の一例を示す。図５は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）と、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は一例であり、これに限定されるものではない。

【0023】

図５において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図５において、「ｔｙｐｅ１／２」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）との比率で基本奥行きモデルタイプ１の値であるＴｙｐｅ１と基本奥行きモデルタイプ２の値であるＴｙｐｅ２の比率が決定され、基本奥行きモデルタイプ３の値であるｔｙｐｅ３は比率の決定には用いられない。

【0024】

Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐｌ−上部の高域成分評価値）：０
また、図５において、「Ｔｙｐｅ１／２／３」の領域では、Ｔｙｐｅ１／２とＴｙｐｅ１／３との平均を採用して、下記のようにＴｙｐｅ１／２／３の値が決定される。

【0025】

Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３
＝（上部の高域成分評価値−ｔｐｓ）＋（下部の高域成分評価値−ｂｍｓ）：（ｔｐｌ−上部の高域成分評価値）：（ｂｍｌ−下部の高域成分評価値）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。

【0026】

ｋ１＝Ｔｙｐｅ１／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ２＝Ｔｙｐｅ２／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ３＝Ｔｙｐｅ３／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
合成部１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプ１〜３の画像を合成して、背景を構成する曲面の奥行きデータ（以下、合成奥行きデータともいう）を生成する。合成部１７は、本発明の算定部および合成部として機能する。
加算部１９は、合成部１７から供給される合成奥行きデータと、輝点検出・補間部１８から供給される画像信号のＲ信号成分とを加算して奥行き推定データを生成する。

【0027】

Ｒ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。すなわち、このＲ信号成分は、入力非立体画像の原画像の凹凸に略対応した信号レベルを示す信号成分である。なお、テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。

【0028】

また、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
ここで、入力画像に輝点が存在した場合、輝点の部分のＲ信号成分は周囲と比較して大きくなるため、輝点を有した画像のＲ信号成分を合成奥行きデータに加算すると、輝点部だけが過度に飛び出して見え、物体の分離感や位置関係の不一致を招いてしまう場合があった。図６の（ａ）と（ｂ）は同じ物体の画像であり、図６（ａ）には輝点があり、（ｂ）には輝点がない様子を表わしている。図６（ａ）の画像のＲ信号成分をそのまま奥行きデータとして用いると、輝点部分のＲ成分が輝点でない部分のＲ成分よりも大きいため、輝点部だけが過度に飛び出す奥行き推定データが生成される。

【0029】

輝点部分で過度に飛び出す奥行きデータが生成されることを防ぐために、輝点検出・補間部１８では、入力画像内の輝点を検出し、検出した輝点部分の画素を周辺画素で補間して奥行き加算用画像信号を生成する。
図７に輝点検出・補間部１８の構成の一例を示す。輝点検出・補間部１８は輝点検出部１１０と輝点補間部１２０から構成される。輝点検出部１１０は、入力した非立体画像を元に、輝点を評価するための輝点評価値を算出する輝点評価値算出部１１１と、高輝度比較部１１２と、周囲平均値検出部１１３と、周囲平均との比較部１１４と、周囲分散検出部１１５と、分散値の比較部１１６と、高輝度比較部１１２、周囲平均との比較部１１４、分散値の比較部１１６の各比較結果を元に輝点を評価する輝点評価部１１７とから構成される。

【0030】

図８は輝点検出・補間部の処理の流れを説明するためのフローチャートである。以下、図７と図８を用いて輝点検出・補間部１８の動作を説明する。
図８のステップｓ１で輝点評価信号生成部１１１は、入力された非立体画像信号（ＲＧＢ信号）を元に、次式により、輝点を評価するための輝点評価値Ｙを算出する。
Ｙ＝（Ｒ×ａ+Ｇ×ｂ＋Ｂ×ｃ）÷（ａ＋ｂ＋ｃ）
Ｒ，Ｇ，Ｂは、入力信号のＲ，Ｇ，Ｂ値であり、ａ，ｂ，ｃは輝点評価値を決める際にＲ，Ｇ，Ｂ値に重み付けをする適当な値である。Ｒ，Ｇ，Ｂ値に重み付けをした値を輝点評価値Ｙとすることで、より正しく輝点を評価することを目的としており、例えば、ａ＝５、ｂ＝９、ｃ＝２とする。ａ、ｂ、ｃの値は実験により適当な値を求めても良いし、いくつかの数値の組み合わせを記憶しておいて、画像内容によって選択する構成としても良い。

【0031】

ステップｓ２で高輝度比較部１１２は、輝点の特徴の一つである「高輝度」を検出する。
具体的には、評価対象画素の輝点評価値Ｙが所定の閾値Ｔｈｙより大きい場合（Ｙ＞Ｔｈｙ）、高輝度であると判定する。

【0032】

ステップｓ２で高輝度であると判定した場合（ｓ２／ｙｅｓ）、ステップｓ３に進み、周囲平均との比較部１１４は、輝点の特徴の一つである、「周囲の画素より輝度が高い」という特徴を検出する。まず、周囲平均値検出部１１３にて周囲の画素における輝点評価値Ｙの平均Yr_aveを求める。評価対象画素が輝点の場合、そのすぐ周囲の画素も輝点となっている可能性が高いため 少し離れた周辺の画素を平均値検出の対象とする。平均値検出の対象画素を図９に示す。図９中に斜線で示した画素は評価対象画素、黒で示した画素は平均値検出の対象画素、白で示した画素は平均値検出の対象としない画素を示している。平均値検出の対象画素は、水平方向には評価対象画素から左右３画素以上６画素以下離れた画素とし、垂直方向にも、現在の画素から上下３ライン以上６ライン以下離れた画素としている。周囲の画素の輝度評価値の平均Yr_aveは、周辺平均との比較部１１４、周囲分散検出部１１５に供給される。上記説明した平均値検出の対象画素は一例であり、これに限定されるものではない。

【0033】

周囲平均値検出部１１３で検出した、周囲の画素の輝度評価値の平均Yr_aveと評価対象画素の輝度評価値Yとを周囲平均との比較部１１４で比較する。すなわち、評価対象画素の輝点評価値Ｙが周囲の画素の輝度評価値の平均Yr_aveより大きく、その差が所定の閾値Thaveより大きい場合（（Y−Yr_ave）＞Thave）に、周囲の画素より輝度が高いと判定する。

【0034】

ステップｓ３で、周囲の画素より輝度が高いと判定した場合（ｓ３／ｙｅｓ）、ステップｓ４に進む。ステップｓ４で、分散値の比較部１１６は、輝点の特徴の一つである、輝点が発生するような面は、「周辺と同一物体内にある滑らかな面である」という特徴を検出する。周囲分散検出部１１５は、周囲平均値検出部１１３から受け取った周囲の画素の輝度評価値の平均Yr_aveと、輝度評価値算出部１１１から受け取った評価対象画素の輝度評価値Yとを使い、その分散Yr_sを求める。分散を求める対象範囲は、周囲の画素の輝度評価値の平均Yr_aveを求めるために使った範囲とする。求めた周囲分散Yr_sは、分散値の比較部１１６に供給される。

【0035】

評価対象画素が、周辺と同一物体内にある滑らかな面である場合は、分散Yr_sは小さな値となる。分散値の比較部１１６にて、次式にて閾値Thsと比較し、分散Yr_sが閾値Thsよりも小さい場合（Yr_s＜Ths）に、評価対象画素が周辺と同一物体内にある滑らかな面であると判定する。

【0036】

ステップｓ４で、分散値が閾値よりも小さい（ｓ４／ｙｅｓ）と判定した場合、輝点評価部１１７は評価対象の画素が輝点であると判定し、ステップｓ５に進む。図８のステップｓ２、ｓ３、ｓ４の処理順は、これに限定する必要はなく、また、ステップｓ２、ｓ３、ｓ４の処理を同時に行って、全ての判定がｙｅｓであった場合のみステップｓ５に進む構成としても良い。

【0037】

輝点補間部１２０は、補間画素作成部１２１とスイッチ１２２から構成される。ステップｓ５で、補間画素作成部１２１は、輝点部分を補間する補間画素を作成する。補間画素は、補間しようとする画素に対して少し離れた周辺の画素を元に作成する。補間画素の元になる対象画素の一例を図１０に示す。図１０中の斜線で示した画素は輝点と判定された補間対象画素、黒で示した画素は平均を求める対象とする画素、白で示した画素は平均を求める対象としない画素を示している。平均を求める対象とする画素は、水平方向および垂直方向に補間対象画素から３画素離れている、黒で示した４つの画素とし、これらの画素の画素値の平均を算出して補間画素の画素値とする。上記説明した平均を求める対象とする画素は一例であり、これに限定されるものではない。

【0038】

ステップｓ６でスイッチ１２２は、輝点評価部にて輝点と判定された画素を、補間画素作成部１２１で作成した画素に置き換え、処理を終了する。
ステップｓ１、ｓ２、ｓ３のいずれかでｎｏと判定した場合、画素の補間をせずに処理を終了する。以上の処理を画面内の全画素に対し順次行うことで、画面内の輝点部の検出・補間を行い、奥行き加算用画像信号を生成することができる。

【0039】

図１に戻り説明する。輝点検出・補間部で輝点部で生成された奥行き加算用画像信号は、加算部１９に送られる。加算部１９は、合成部１７から受け取った合成奥行きモデルに対し、輝点検出・補間部１８から受け取った奥行き加算用画像信号のうちのＲ成分を加算して、最終的な奥行き推定データ(Depth)を生成して出力する。

【0040】

図１１を用いて、輝点検出・補間部１８の動作例を説明する。
説明を簡単にするために、画面の中央付近にある水平１ラインの画素において、輝点となる画素が２画素だけ存在する場合を例として図示した。図１１の入力画像で、白で示した画素の輝度評価値Ｙは高く、輝点を表わし、黒で示した画素の輝度評価値Ｙは低いものとする。また、図示したライン以外のラインの画素の輝度評価値Ｙは、全て黒で示した画素と同じ値であり、合成部１７から受け取る合成奥行きデータは画面内で同一の値（例えば、Depth＝０）であるものとする。

【0041】

（Ａ）は、輝点を補間しない従来方法により生成したデプス信号のレベルを示しており、黒で示した画素部分のデプスレベルが３０、白で示した画素部分のデプスレベルが９０となっていることを表わしている。ここで、デプスレベルが大きいほど奥行きは浅い、または画面から飛び出す方向となるため、（Ａ）では白で示した２画素分だけ、奥行きが浅い、または画面から飛び出すデプス信号となっていることを表わしている。

【0042】

（Ｂ）は、高輝度比較部１１２での評価結果を示し、白で示した画素部分だけが高輝度（ｙｅｓ）と判定されている。
（Ｃ）は、周囲平均との比較部１１４おける評価結果を示し、（Ｂ）と同様に、白で示した画素部分だけが周囲の画素より輝度が高い（ｙｅｓ）と判定されている。
（Ｄ）は、分散値の比較部１１６おける評価結果を示し、白で示した画素部分および白で示した画素に隣接する黒で示した画素部分だけが、周辺と同一物体内にある滑らかな面である（ｙｅｓ）と判定されている。
（Ｅ）は、輝点検出結果を示している。（Ｂ）、（Ｃ）、（Ｄ）の評価結果から、白で示した画素部分だけが輝点である（ｙｅｓ）と判定されている。

【0043】

（Ｆ）は、補間画素作成部１２１において作成される、補間用デプス信号のレベルである。補間される対象画素に対し、上下左右に３画素離れた合計４画素の平均から補間画素の画素値を算出するので、４画素とも黒で示した画素の場合、平均した画素値によるデプスレベルは３０となり、白で示した画素が１画素含まれる場合、平均した画素値によるデプスレベルは４５となっている。
（Ｇ）は、輝点検出部分を補間画素作成部において補間した画素を元に作成したデプス信号である。（Ｅ）で輝点と判定された画素、つまり入力画素の白で示した画素に相当する部分だけが補間されており、結果としてライン全体のデプスレベルが３０となっている。

【0044】

以上説明したように、従来方法により生成したデプス信号（Ａ）と本実施形態によるデプス信号（Ｇ）とを比較すると、本実施形態によるデプス信号では、輝点部分で周辺画素との凸凹の差が抑制されており、輝点部分だけが過度に飛び出して物体の分離感を生じることを防ぐ事が可能となる。

【0045】

奥行き推定データ生成部１０により生成した奥行き推定データを基に別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側） に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。
画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。

【0046】

図１に戻り、別視点画像生成部５０について説明する。
別視点画像生成部５０は、テクスチャシフト部５１、オクルージョン補償部５２、ポスト処理部５３で構成され、ステレオペア画像として左目画像５４および右目画像５５を出力する。
テクスチャシフト部５１は、奥行き推定データ生成部１０から受け取った奥行き推定データに応じた量だけ右目画像のテクスチャシフトを行い、右目視点とは別視点の画像を生成する。

【0047】

テクスチャシフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部５２において、入力画像 の対応部分で充填する、若しくは公知の文献（ 山田邦男， 望月研二， 相澤清晴， 齊藤隆弘： ” 領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償" , 映情学誌, Ｖｏｌ.５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５）） に記載の手法で充填する。
オクルージョン補償部５２でオクルージョン補償した画像は、ポスト処理部５３により、平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減することによって左目画像５４を生成し、入力画像を右目画像５５とすることによりステレオペアが構成される。これらの左目画像５４と右目画像５５とは、ステレオ表示装置２へと出力される。

【0048】

なおステレオペア画像の生成に関しては、左右反転することで左目画像を原画とし、右目画像を別視点画像として生成してもよい。
また、上記処理においては、右目画像もしくは左目画像のどちらかを入力画像、他方を生成された別視点画像とするようなステレオペア画像を構成しているが、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペア画像を構成することも可能である。
なお、本実施形態では別視点画像生成部として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。

【0049】

上記のステレオ表示装置２は、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。

【0050】

本実施形態においては、カウントする画像の数の単位をフレームで説明しているが、フィールドを単位として実現してもよい。
なお、本発明は、ハードウェアにより図１の構成の奥行きデータ生成部、ステレオペア生成部を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより実現することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

【符号の説明】

【0051】

１ 擬似立体画像生成装置
１０ 奥行き推定データ生成部
１１ 画像入力部
１２ 画面上部の高域成分評価部
１３ 画面下部の高域成分評価部
１４、１５、１６ フレームメモリ
１７ 合成部
１８ 輝点検出・補間部
１９ 加算部
５０ 別視点画像生成部
１１０ 輝点検出部
１１１ 輝点評価値算出部
１１２ 高輝度比較部
１１３ 周囲平均値検出部
１１４ 周囲平均との比較部
１１５ 周囲分散検出部
１１６ 分散値の比較部
１１７ 輝点評価部
１２０ 輝点補間部
１２１ 補間画素作成部
１２２ スイッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】