特許 5845780 立体画像生成装置及び立体画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5845780

(24)【登録日】2015年12月4日

(45)【発行日】2016年1月20日

(54)【発明の名称】立体画像生成装置及び立体画像生成方法

(51)【国際特許分類】

   H04N 13/00 20060101AFI20151224BHJP

【ＦＩ】

   H04N13/00 220

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2011-214072(P2011-214072)

(22)【出願日】2011年9月29日

(65)【公開番号】特開2013-74585(P2013-74585A)

(43)【公開日】2013年4月22日

【審査請求日】2014年2月28日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】野口 浩史

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２００５−０２６７５６（ＪＰ，Ａ）

【文献】 特開２００４−２００９７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出部と、
前記視差値検出部によって検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定部と、
前記視差値検出部によって検出された視差値に基づいて、前記立体映像信号に含まれる被写体に書き割り現象が生じている程度を示す書き割り度を判定する書き割り度判定部と、
前記立体度及び前記書き割り度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量だけ対象画像信号の画素をシフトさせる画像信号変換部とを備え、
前記画像信号変換部は、
前記立体映像信号による画像の構図に応じて設定する画面全体の視差値を示す第１の視差値データを生成する第１の視差生成部と、
前記左目画像信号の色成分、前記右目画像信号の色成分、前記左目画像信号の輝度成分、前記右目画像信号の輝度成分の４つの成分の内、少なくとも一つの成分に基づいて、前記左目画像信号または前記右目画像信号に与える擬似的な視差値を示す第２の視差値データを生成する第２の視差生成部と、
前記第１の視差値データに対して第１のゲインを乗算した値と、前記第２の視差値データに対して第２のゲインを乗算した値とを加算して、前記左目画像信号または前記右目画像信号に対する前記画素シフト量を生成し、前記立体度が大きいほど前記第１のゲインを小さくし、前記書き割り度が大きいほど前記第２のゲインを大きくする視差調整部と、
を備えることを特徴とする立体画像生成装置。

【請求項2】

前記第１の視差生成部は、画面全体の視差値を決定するための複数の基本奥行きモデルを有し、前記立体映像信号による画像の構図に応じて前記複数の基本奥行きモデルから１つを選択して前記第１の視差値データを生成するか、前記複数の基本奥行きモデルから複数を選択して合成することによって前記第１の視差値データを生成することを特徴とする請求項１記載の立体画像生成装置。

【請求項3】

前記書き割り度判定部は、
前記視差値検出部が検出した視差値のヒストグラムを検出するヒストグラム検出部と、
前記ヒストグラムに基づいて、前記立体映像信号による画像に含まれる被写体のヒストグラムの幅を求めるヒストグラム幅検出部と、
前記ヒストグラムの幅と所定の閾値とを比較することによって前記書き割り度を生成する閾値比較部と、
を備えることを特徴とする請求項１または２に記載の立体画像生成装置。

【請求項4】

前記ヒストグラム幅検出部は、前記立体映像信号による画像に含まれる複数の被写体の内、ヒストグラムの最大値を有する被写体のヒストグラムの幅を求めることを特徴とする請求項３記載の立体画像生成装置。

【請求項5】

立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出ステップと、
前記視差値検出ステップにて検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定ステップと、
前記視差値検出ステップにて検出された視差値に基づいて、前記立体映像信号に含まれる被写体に書き割り現象が生じている程度を示す書き割り度を判定する書き割り度判定ステップと、
前記立体度及び前記書き割り度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求める画素シフト量生成ステップと、
前記画素シフト量生成ステップにて生成された前記画素シフト量だけ対象画像信号の画素をシフトさせる画像信号変換ステップと、
前記立体映像信号による画像の構図に応じて設定する画面全体の視差値を示す第１の視差値データを生成する第１の視差生成ステップと、
前記左目画像信号の色成分、前記右目画像信号の色成分、前記左目画像信号の輝度成分、前記右目画像信号の輝度成分の４つの成分の内、少なくとも一つの成分に基づいて、前記左目画像信号または前記右目画像信号に与える擬似的な視差値を示す第２の視差値データを生成する第２の視差生成ステップとを含み、
前記画素シフト量生成ステップは、前記第１の視差値データに対して第１のゲインを乗算した値と、前記第２の視差値データに対して第２のゲインを乗算した値とを加算して、前記左目画像信号または前記右目画像信号に対する前記画素シフト量を生成し、前記立体度が大きいほど前記第１のゲインを小さくし、前記書き割り度が大きいほど前記第２のゲインを大きくする
ことを特徴とする立体画像生成方法。

【請求項6】

前記第１の視差生成ステップは、前記立体映像信号による画像の構図に応じて、画面全体の視差値を決定するための複数の基本奥行きモデルから１つを選択して前記第１の視差値データを生成するか、前記複数の基本奥行きモデルから複数を選択して合成することによって前記第１の視差値データを生成することを特徴とする請求項５記載の立体画像生成方法。

【請求項7】

前記書き割り度判定ステップは、
前記視差値検出ステップにて検出した視差値のヒストグラムを検出するヒストグラム検出ステップと、
前記ヒストグラムに基づいて、前記立体映像信号による画像に含まれる被写体のヒストグラムの幅を求めるヒストグラム幅検出ステップと、
前記ヒストグラムの幅と所定の閾値とを比較することによって前記書き割り度を生成する書き割り度生成ステップと、
を含むことを特徴とする請求項５または６に記載の立体画像生成方法。

【請求項8】

前記ヒストグラム幅検出ステップは、前記立体映像信号による画像に含まれる複数の被写体の内、ヒストグラムの最大値を有する被写体のヒストグラムの幅を求めることを特徴とする請求項７記載の立体画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体画像を生成する立体画像生成装置及び立体画像生成方法に関する。

【背景技術】

【0002】

近年、立体画像（３Ｄ画像）を表示することができる３Ｄ画像表示装置が普及し始めている。テレビジョン放送でも３Ｄ映像信号による放送がなされ、３Ｄ映像信号を記録再生することができる３Ｄ信号記録装置も普及し始めている。放送用やパッケージメディア用の３Ｄ映像信号のコンテンツ（以下、３Ｄコンテンツ）は、通常、２眼カメラで撮影した２視点映像信号である。２視点映像信号によれば、リアルな３Ｄ画像を表現することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４２１４５２９号公報

【特許文献2】特開２００３−１６４２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、２視点映像信号によって例えば遠方の風景画像を表示した場合、画像内に存在する被写体間の前後感は得られるものの、被写体自体の立体感が乏しく個々の被写体が平面的に見えてしまうという問題点がある。これを書き割り現象（または書き割り効果）と称している。書き割り現象が生じた場合、リアルな３Ｄ画像とはならず、改善が求められている。この問題点は２視点映像信号のみならず３視点以上の多視点映像信号においても同様に発生する。

【0005】

本発明はこのような問題点に鑑み、複数視点映像信号によって３Ｄ画像を表示する際に書き割り現象が生じるような構図であっても、個々の被写体の立体感を改善することができ、リアルな３Ｄ画像とすることができる立体画像生成装置及び立体画像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上述した従来の技術の課題を解決するため、立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出部（１３）と、前記視差値検出部によって検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定部（１４）と、前記視差値検出部によって検出された視差値に基づいて、前記立体映像信号に含まれる被写体に書き割り現象が生じている程度を示す書き割り度を判定する書き割り度判定部（１５）と、前記立体度及び前記書き割り度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量だけ対象画像信号の画素をシフトさせる画像信号変換部（１６）とを備え、前記画像信号変換部は、前記立体映像信号による画像の構図に応じて設定する画面全体の視差値を示す第１の視差値データを生成する第１の視差生成部（1601）と、前記左目画像信号の色成分、前記右目画像信号の色成分、前記左目画像信号の輝度成分、前記右目画像信号の輝度成分の４つの成分の内、少なくとも一つの成分に基づいて、前記左目画像信号または前記右目画像信号に与える擬似的な視差値を示す第２の視差値データを生成する第２の視差生成部（1602，1603）と、前記第１の視差値データに対して第１のゲインを乗算した値と、前記第２の視差値データに対して第２のゲインを乗算した値とを加算して、前記左目画像信号または前記右目画像信号に対する前記画素シフト量を生成し、前記立体度が大きいほど前記第１のゲインを小さくし、前記書き割り度が大きいほど前記第２のゲインを大きくする視差調整部（1604，1605）とを備えることを特徴とする立体画像生成装置を提供する。

【0008】

上記の立体画像生成装置において、前記第１の視差生成部は、画面全体の視差値を決定するための複数の基本奥行きモデルを有し、前記立体映像信号による画像の構図に応じて前記複数の基本奥行きモデルから１つを選択して前記第１の視差値データを生成するか、前記複数の基本奥行きモデルから複数を選択して合成することによって前記第１の視差値データを生成することが好ましい。

【0010】

上記の立体画像生成装置において、前記書き割り度判定部は、前記視差値検出部が検出した視差値のヒストグラムを検出するヒストグラム検出部（１５５）と、前記ヒストグラムに基づいて、前記立体映像信号による画像に含まれる被写体のヒストグラムの幅を求めるヒストグラム幅検出部（１５６）と、前記ヒストグラムの幅と所定の閾値とを比較することによって前記書き割り度を生成する閾値比較部（１５７）とを備えることが好ましい。

【0011】

上記の立体画像生成装置において、前記ヒストグラム幅検出部は、前記立体映像信号による画像に含まれる複数の被写体の内、ヒストグラムの最大値を有する被写体のヒストグラムの幅を求めることが好ましい。

【0012】

また、本発明は、上述した従来の技術の課題を解決するため、立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出ステップと、前記視差値検出ステップにて検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定ステップと、前記視差値検出ステップにて検出された視差値に基づいて、前記立体映像信号に含まれる被写体に書き割り現象が生じている程度を示す書き割り度を判定する書き割り度判定ステップと、前記立体度及び前記書き割り度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求める画素シフト量生成ステップと、前記画素シフト量生成ステップにて生成された前記画素シフト量だけ対象画像信号の画素をシフトさせる画像信号変換ステップと、前記立体映像信号による画像の構図に応じて設定する画面全体の視差値を示す第１の視差値データを生成する第１の視差生成ステップと、前記左目画像信号の色成分、前記右目画像信号の色成分、前記左目画像信号の輝度成分、前記右目画像信号の輝度成分の４つの成分の内、少なくとも一つの成分に基づいて、前記左目画像信号または前記右目画像信号に与える擬似的な視差値を示す第２の視差値データを生成する第２の視差生成ステップとを含み、前記画素シフト量生成ステップは、前記第１の視差値データに対して第１のゲインを乗算した値と、前記第２の視差値データに対して第２のゲインを乗算した値とを加算して、前記左目画像信号または前記右目画像信号に対する前記画素シフト量を生成し、前記立体度が大きいほど前記第１のゲインを小さくし、前記書き割り度が大きいほど前記第２のゲインを大きくすることを特徴とする立体画像生成方法を提供する。

【0014】

上記の立体画像生成方法において、前記第１の視差生成ステップは、前記立体映像信号による画像の構図に応じて、画面全体の視差値を決定するための複数の基本奥行きモデルから１つを選択して前記第１の視差値データを生成するか、前記複数の基本奥行きモデルから複数を選択して合成することによって前記第１の視差値データを生成することが好ましい。

【0016】

上記の立体画像生成方法において、前記視差値検出ステップにて検出した視差値のヒストグラムを検出するヒストグラム検出ステップと、前記ヒストグラムに基づいて、前記立体映像信号による画像に含まれる被写体のヒストグラムの幅を求めるヒストグラム幅検出ステップと、前記ヒストグラムの幅と所定の閾値とを比較することによって前記書き割り度を生成する書き割り度生成ステップとを含むことが好ましい。

【0017】

上記の立体画像生成方法において、前記ヒストグラム幅検出ステップは、前記立体映像信号による画像に含まれる複数の被写体の内、ヒストグラムの最大値を有する被写体のヒストグラムの幅を求めることが好ましい。

【発明の効果】

【0018】

本発明の立体画像生成装置及び立体画像生成方法によれば、複数視点映像信号によって３Ｄ画像を表示する際に書き割り現象が生じるような構図であっても、個々の被写体の立体感を改善することができ、リアルな３Ｄ画像とすることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の立体画像生成装置の一実施形態を示すブロック図である。

【図2】図１に示す一実施形態の動作を説明するためのフローチャートである。

【図3】図１中の立体度判定部１４の具体的な構成を示すブロック図である。

【図4】図１中の立体度判定部１４が生成する立体度Ｆの特性図である。

【図5】図１中の書き割り度判定部１５の具体的な構成を示すブロック図である。

【図6】図５中のピークヒストグラム幅算出部１５６の動作を説明するためのフローチャートである。

【図7】書き割り現象が生じる画像の一例を示す図である。

【図8】図７に示す画像に対して図５中のヒストグラム検出部１５５が検出した視差値ヒストグラムとピークヒストグラム幅算出部１５６が算出したピークヒストグラム幅を示す図である。

【図9】図１中の書き割り度判定部１５が生成する書き割り度Ｋの特性図である。

【図10】図１中の画像信号変換部１６の具体的な構成を示すブロック図である。

【図11】図１０中の基本奥行きモデル視差生成部1601で用いる基本奥行きモデルの第１の例を示す図である。

【図12】図１０中の基本奥行きモデル視差生成部1601で用いる基本奥行きモデルの第２の例を示す図である。

【図13】図１０中の基本奥行きモデル視差生成部1601で用いる基本奥行きモデルの第３の例を示す図である。

【図14】図１０中の左目視差調整部1604及び右目視差調整部1605で用いる基本奥行きモデル視差値DPT_MDLに対するゲインＧｆの特性図である。

【図15】図１０中の左目視差調整部1604，右目視差調整部1605で用いる左目擬似凹凸視差値DPT_EMBS_L，右目擬似凹凸視差値DPT_EMBS_Rに対するゲインＧｋの特性図である。

【図16】図１中の画像信号変換部１６に入力されるステレオ画像ペアの一例を示す図である。

【図17】図１０中の左目シフト画像生成部1606の動作を説明するための図である。

【図18】図１０中の右目シフト画像生成部1607の動作を説明するための図である。

【図19】一実施形態による効果を説明するための図である。

【発明を実施するための形態】

【0020】

以下、本発明の立体画像生成装置及び立体画像生成方法の一実施形態について、添付図面を参照して説明する。

【0021】

図１において、立体画像生成装置１には、３Ｄ信号記録装置２とステレオ表示装置３とが接続されている。立体画像生成装置１は、入力信号取得部１１，３Ｄ信号デコード部１２，３Ｄ信号視差検出部１３，立体度判定部１４，書き割り度判定部１５，画像信号変換部１６を備える。立体の程度を立体度、書き割り現象の程度を書き割り度と称することとする。

【0022】

立体画像生成装置１の各部の動作について図２のフローチャートを参照しながら説明する。入力信号取得部１１は、３Ｄ映像信号送信源である３Ｄ信号記録装置２から出力された３Ｄ映像信号及び３Ｄフォーマット識別信号を取得する（ステップＳ１）。入力信号取得部１１は、例えば入力端子及び入力インタフェースを含む部分である。３Ｄフォーマット識別信号とは、３Ｄコンテンツのフォーマットが、サイド・バイ・サイド方式，トップ・アンド・ボトム方式，ライン・バイ・ライン方式，フィールドシーケンシャル方式等のいずれであるかを示す信号である。入力信号取得部１１が取得した３Ｄ映像信号及び３Ｄフォーマット識別信号は、３Ｄ信号デコード部１２へと供給される。

【0023】

３Ｄ信号デコード部１２は、３Ｄ映像信号を、３Ｄフォーマット識別信号に基づいて左目画像信号と右目画像信号とに分離する（ステップＳ２）。左目画像信号と右目画像信号は、３Ｄ信号視差検出部１３及び画像信号変換部１６へと供給される。左目画像信号と右目画像信号とはステレオ画像ペアを構成する。

【0024】

３Ｄ信号視差検出部１３は、例えば視差算出手法の代表例であるステレオマッチング手法を用いて、ステレオ画像ペアの左目画像信号（または右目画像信号）を基準として左目画像信号と右目画像信号との間の３Ｄ信号視差値DPTを１画素単位で検出する（ステップＳ３）。ステレオマッチング手法とは、一方の撮像画像（基準画像）中にある画素ブロック、即ち、基準画像の一部を構成する小領域毎の画素群に関して、その相関先を他方の撮像画像（比較画像）において特定することで、撮像画像（基準画像）中の画素ブロック毎に視差値を求める手法である（特許文献１参照）。３Ｄ信号視差値DPTの値が正の場合は飛び出し方向、負の場合は奥行き方向（引っ込み方向）とする。

【0025】

３Ｄ信号視差値DPTは、立体度判定部１４及び書き割り度判定部１５へと供給される。立体度判定部１４は、入力された３Ｄ信号視差値DPTに基づいて、３Ｄ映像信号の立体度Ｆを判定する（ステップＳ４）。図３を用いて、立体度判定部１４の具体的構成及び動作について説明する。図３に示すように、立体度判定部１４は、最大視差値検出部１４１，最小視差値検出部１４２，差分算出部１４３，閾値比較部１４４を備える。

【0026】

最大視差値検出部１４１は、３Ｄ信号視差値DPTの１フレーム期間内における最大値を最大３Ｄ信号視差値DPT_MAXとして算出する。最小視差値検出部１４２は、３Ｄ信号視差値DPTの１フレーム期間内における最小値を最小３Ｄ信号視差値DPT_MINとして算出する。本実施形態では、３Ｄ信号視差値DPTの値が正の場合を飛び出し方向、負の場合を奥行き方向としているので、最大３Ｄ信号視差値DPT_MAXはステレオ画像内で最も手前に位置している被写体の視差値となり、最小３Ｄ信号視差値DPT_MINはステレオ画像内で最も奥に位置している被写体の視差値となる。

【0027】

差分算出部１４３は、最大３Ｄ信号視差値DPT_MAXと最小３Ｄ信号視差値DPT_MINとの差分である３Ｄ視差差分値DIFを式（１）に基づいて算出する。３Ｄ視差差分値DIFは常に正の値となる。
DIF=DPT_MAX-DPT_MIN …（１）

【0028】

閾値比較部１４４は、図４に示すように、３Ｄ視差差分値DIFと閾値TH1，TH2とを比較し立体度Ｆを出力する。閾値TH1，TH2の値は適宜設定すればよい。３Ｄ視差差分値DIFが閾値TH1より小さければ立体度Ｆの値は０となり、閾値TH2より大きければ立体度Ｆの値は１となる。３Ｄ視差差分値DIFが閾値TH1と閾値TH2との間では、３Ｄ視差差分値DIFは０から１へと線形に増加する値となる。ステレオ画像内の被写体間の視差値の差が大きくなればなるほど被写体間の前後関係がはっきりしているということであり、立体度Ｆが大きくなる。立体度Ｆは図１の画像信号変換部１６へと供給される。

【0029】

図１，図２に戻り、書き割り度判定部１５は、３Ｄ信号視差値DPTに基づいて、３Ｄ映像信号の書き割り度を判定する（ステップＳ５）。

【0030】

図５を用いて、書き割り度判定部１５の具体的構成及び動作について説明する。図５に示すように、書き割り度判定部１５は、最大視差値検出部１５１，最小視差値検出部１５２，差分算出部１５３，視差値正規化部１５４，ヒストグラム検出部１５５，ピークヒストグラム幅算出部１５６，閾値比較部１５７を備える。最大視差値検出部１５１，最小視差値検出部１５２，差分算出部１５３は、立体度判定部１４内の最大視差値検出部１４１，最小視差値検出部１４２，差分算出部１４３と同様に動作する。最大視差値検出部１４１，最小視差値検出部１４２，差分算出部１４３と、最大視差値検出部１５１，最小視差値検出部１５２，差分算出部１５３とを共用化してもよい。

【0031】

視差値正規化部１５４には、３Ｄ信号視差値DPTと最小３Ｄ信号視差値DPT_MINと３Ｄ視差差分値DIFとが入力される。視差値正規化部１５４は、式（２）に基づいて３Ｄ信号視差値DPTをオフセットさせて、オフセット視差値DPT_OFSとする。３Ｄ信号視差値DPTをオフセット視差値DPT_OFSに変換することによって、３Ｄ信号視差値DPTの最小値が０となり、オフセット視差値DPT_OFSは正の値となる。
DPT_OFS=DPT-DPT_MIN …（２）

【0032】

さらに、視差値正規化部１５４は、式（３）に基づいてオフセット視差値DPT_OFSを正規化して、正規化視差値DPT_Nとする。視差値正規化部１５４での正規化処理は、後段のヒストグラム検出部１５５で視差値のヒストグラムを検出する際に、検出レンジを常にフルレンジとするために行う。オフセット視差値DPT_OFSを正規化して正規化視差値DPT_Nとすることにより、正規化視差値DPT_Nは０〜２５５の範囲で整数値をとる。ここでは８ビットに正規化したが、正規化するレンジは８ビットに限定されない。
DPT_N=DPT_OFS×255/DIF …（３）

【0033】

ヒストグラム検出部１５５は、正規化視差値DPT_Nのヒストグラムを検出する。ヒストグラム検出部１５５は、正規化視差値DPT_Nの各値に対応した２５６個のカウンタD_CNT[i]（iは０〜２５５の整数）を備える。カウンタD_CNT[i]は正規化視差値DPT_Nの各値がいくつ存在するかをカウントする。ヒストグラム検出部１５５は、カウンタD_CNT[i]のカウント値に２５５を乗じ、３Ｄ映像信号の総画素数で割って正規化した値を視差値ヒストグラムD_HIST[i]（iは０〜２５５の整数）として出力する。

【0034】

ピークヒストグラム幅算出部１５６は、視差値ヒストグラムD_HIST[i]に基づいて、ピークヒストグラム幅D_HIST_WIDを算出する。

【0035】

図６のフローチャートを用いて、ピークヒストグラム幅算出部１５６の具体的な動作について説明する。ピークヒストグラム幅算出部１５６は、ステップ１０１〜Ｓ１０６にて、視差値ヒストグラムD_HIST[i]の中から最大値を示すiの値をI_MAXとして求める。図６において、iは０〜２５５の整数、tempはそれぞれの時点における一時的な最大値、temp_iは０〜２５５のいずれかを示す値である。図６において、ステップＳ１０１にてi=0，temp=0，temp_i=0に設定し、ステップＳ１０２にてi<256であるか否かを判定する。

【0036】

ステップＳ１０２にてi<256であれば（YES）、ステップＳ１０３にてD_HIST[i]>tempであるか否かを判定する。D_HIST[i]>tempであれば（YES）、ステップＳ１０４にてtemp=D_HIST[i]、temp_i=iに設定し、ステップＳ１０５にてi=i+1としてステップＳ１０２に戻る。ステップＳ１０３にてD_HIST[i]>tempでなければ（NO）、ステップＳ１０５にてi=i+1としてステップＳ１０２に戻る。ステップＳ１０２にてi<256でなければ（NO）、ステップＳ１０６にてI_MAX=temp_iとする。これにて、最大値を示すiの値がI_MAXとして検出される。

【0037】

ピークヒストグラム幅算出部１５６は、ステップＳ１０７〜Ｓ１１３にてiの値をI_MAXから１ずつ増やしていき、D_HIST[i]が最初に所定の閾値TH_HISTより小さくなるiの値をI_Pとして求める。ステップＳ１０７にてi=I_MAXとし、ステップＳ１０８にてi=i+1とし、ステップＳ１０９にてi<256であるか否かを判定する。i<256でなければ（NO）、ステップＳ１１０にてtemp_i=255としてステップＳ１１３に移行させ、i<256であれば（YES）、ステップＳ１１１にてD_HIST[i]<TH_HISTであるか否かを判定する。

【0038】

D_HIST[i]<TH_HISTであれば（YES）、ステップＳ１１２にてtemp_i=iとしてステップＳ１１３に移行させ、D_HIST[i]<TH_HISTでなければ（NO）、ステップＳ１０８に戻す。ステップＳ１１３にてI_P=temp_iとする。これにて、iの値をI_MAXから１ずつ増やして、D_HIST[i]が最初に閾値TH_HISTより小さくなるI_Pのiの値が検出される。

【0039】

ピークヒストグラム幅算出部１５６は、ステップ１１４〜Ｓ１２０にてiの値をI_MAXから１ずつ減らしていき、D_HIST[i]が最初に所定の閾値TH_HISTより小さくなるiの値をI_Mとして求める。ステップ１１４にてi=I_MAXとし、ステップＳ１１５にてi=i-1とし、ステップＳ１１６にてi>0であるか否かを判定する。i>0でなければ（NO）、ステップＳ１１７にてtemp_i=0としてステップＳ１２０に移行させ、i>0であれば（YES）、ステップＳ１１８にてD_HIST[i]<TH_HISTであるか否かを判定する。

【0040】

D_HIST[i]<TH_HISTであれば（YES）、ステップＳ１１９にてtemp_i=iとしてステップＳ１２０に移行させ、D_HIST[i]<TH_HISTでなければ（NO）、ステップＳ１１５に戻す。ステップＳ１２０にて、I_M=temp_iとする。これにて、iの値をI_MAXから１ずつ減らして、D_HIST[i]が最初に閾値TH_HISTより小さくなるI_Mのiの値が検出される。最後に、ステップＳ１２１にて、I_PからI_Mを減算してピークヒストグラム幅D_HIST_WIDを算出する。

【0041】

入力された３Ｄ映像信号による画像が図７に示すような画像であったとする。図７の画像は、遠景を背景として人物を撮影したような構図を示している。図７に示す構図は、被写体として、空ＳＫ，山ＭＴ，木ＴＲ，人物ＰＮを含んでいる。この図７に示す画像を３Ｄ映像信号とした場合、iの値と視差値ヒストグラムD_HIST[i]との関係は図８のようになる。視差値ヒストグラムD_HIST[i]における空ＳＫ，山ＭＴ，木ＴＲ，人物ＰＮそれぞれの部分を破線にて囲んで示している。視差値ヒストグラムD_HIST[i]の最大値は山ＭＴに基づくヒストグラムの部分にあり、I_MAXは６４である。I_Pは６７、I_Mは６１であり、ピークヒストグラム幅D_HIST_WIDは６となる。

【0042】

図５に戻り、閾値比較部１５７は、ピークヒストグラム幅算出部１５６より入力されたピークヒストグラム幅D_HIST_WIDと、所定の閾値TH3，TH4とを比較して書き割り度Ｋを算出する。図９に示すように、ピークヒストグラム幅D_HIST_WIDが閾値TH3より小さければ書き割り度Ｋは１、ピークヒストグラム幅D_HIST_WIDが閾値TH4より大きければ書き割り度Ｋは０となる。ピークヒストグラム幅D_HIST_WIDが閾値TH3と閾値TH4との間では、書き割り度Ｋは１から０へと線形に減少する値となる。

【0043】

３Ｄ映像信号による画像の中で最も面積を占めている被写体内の視差値の差が小さくなるほど、書き割り現象として認識されやすくなり、書き割り度Ｋは高い値となる。

【0044】

図１，図２に戻り、画像信号変換部１６には、立体度Ｆと書き割り度Ｋとが入力される。画像信号変換部１６は、３Ｄ信号デコード部１２より出力されたステレオ画像ペアである左目画像信号と右目画像信号との内の少なくとも一方の信号の画素をシフトさせて視差を調整して出力する（ステップＳ６）。画像信号変換部１６は、例えば特許文献１に記載されているような疑似立体画像生成装置を応用することによって実現できる。特許文献１に記載されている疑似立体画像生成装置はいわゆる２Ｄ３Ｄ変換と称されており、２Ｄ画像から疑似立体画像を生成する装置である。

【0045】

図１０を用いて、画像信号変換部１６の具体的構成及び動作について説明する。図１０に示すように、画像信号変換部１６は、基本奥行きモデル視差生成部1601，左目擬似凹凸視差生成部1602，右用擬似凹凸視差生成部1603，左目視差調整部1604，右目視差調整部1605，左目シフト画像生成部1606，右目シフト画像生成部1607を備える。

【0046】

基本奥行きモデル視差生成部1601は、基本奥行きモデルを複数備えている。図１１〜図１３は基本奥行きモデルの例を示している。基本奥行きモデルとは画面全体の視差値を決定するためのモデルであり、平面上のそれぞれの画素を図１１〜図１３に示すような非平面形状の特性が有する飛び出し方向または奥行き方向にシフトさせる計算式にて構成することができる。基本奥行きモデル視差生成部1601は、入力された左目画像信号の特徴に基づいて複数の基本奥行きモデルから１つを選択したり、複数の基本奥行きモデルを混合させたりして、基本奥行きモデル視差値DPT_MDLを出力する。基本奥行きモデル視差値DPT_MDLは、正の値のときには飛び出し方向、負の値のときは奥行き方向の視差を意味する。

【0047】

ここでは、左目画像信号の特徴に基づいて基本奥行きモデル視差値DPT_MDLを生成したが、右目画像信号の特徴に基づいて基本奥行きモデル視差値DPT_MDLを生成してもよく、左目画像信号及び右目画像信号双方の特徴に基づいて基本奥行きモデル視差値DPT_MDLを生成してもよい。

【0048】

左目擬似凹凸視差生成部1602は、入力された左目画像信号の特徴から画像内の被写体の凹凸情報を画素単位で推測して、左目擬似凹凸視差値DPT_EMBS_Lとして出力する。人間は、凹凸情報を推測する際に赤い物が手前に位置しているように認識しやすいという視覚特性を有する。左目擬似凹凸視差生成部1602は、この視覚特性を利用し、式（４）を用いて左目擬似凹凸視差値DPT_EMBS_Lを算出する。式（４）中のR_LEFTとは左目画像信号のＲ信号を表す。
DPT_EMBS_L= R_LEFT-128 …（４）

【0049】

本実施形態では、Ｒ信号が８ビットで０〜２５５の値をとり、Ｒ信号であるR_LEFTが中央値の１２８のとき左目擬似凹凸視差値DPT_EMBS_Lは０になる。ここでは、左目擬似凹凸視差値DPT_EMBS_Lを算出する際にＲ信号を用いたが、Ｒ信号に限定されるものではなく、Ｇ信号もしくはＢ信号、または、ＲＧＢ信号のいずれかの組み合わせ、さらには輝度信号を用いて左目擬似凹凸視差値DPT_EMBS_Lを算出してもよい。

【0050】

左目視差調整部1604は、基本奥行きモデル視差生成部1601から出力された基本奥行きモデル視差値DPT_MDLと左目擬似凹凸視差生成部1602から出力された左目擬似凹凸視差値DPT_EMBS_Lとをゲイン調整しながら合成して調整後左目擬似立体視差値DPT_L_Gnを生成する。左目視差調整部1604は、式（５）に基づいて基本奥行きモデル視差値DPT_MDLと左目擬似凹凸視差値DPT_EMBS_Lとを合成する。
DPT_L_Gn=DPT_MDL×Gf+DPT_EMBS_L×Gk …（５）

【0051】

式（５）中のGfは基本奥行きモデル視差値DPT_MDLに対するゲインである。ゲインGfは図１４に示すような特性を有し、立体度Ｆに応じた値となる。ゲインGfは、立体度Ｆが０のときG1なる任意の設定値であり、立体度Ｆが１に近付くに従って線形的に減少し、立体度Ｆが１のとき０となる。式（５）中のGkは左目擬似凹凸視差値DPT_EMBS_Lに対するゲインである。ゲインGkは図１５に示すような特性を有し、書き割り度Ｋに応じた値となる。ゲインGkは、書き割り度Ｋが０のとき０であり、書き割り度Ｋが１に近付くに従って線形的に増加し、書き割り度Ｋが１のときG2なる任意の設定値となる。

【0052】

ゲインGfが図１４に示すような特性を有し、ゲインGkが図１５に示すような特性を有するので、入力されたステレオ画像ペア（３Ｄ映像信号）による画像の被写体の前後感が乏しいときは基本奥行きモデル視差値DPT_MDLが強調され、ステレオ画像ペアによる画像内の被写体自体の凹凸感（立体感）が乏しいときは左目擬似凹凸視差値DPT_EMBS_Lが強調される。

【0053】

左目シフト画像生成部1606は、左目視差調整部1604より出力された調整後左目擬似立体視差値DPT_L_Gnに基づいて、左目画像信号の画素をシフトして左目シフト画像を生成する。左目シフト画像は視差調整後左目画像信号として出力される。

【0054】

図１６及び図１７を用いて、左目シフト画像生成部1606におけるシフト画像の生成方法について説明する。図１６は入力ステレオ画像ペアの一例を示している。図１６において、被写体ＯＢ１は飛び出し方向の視差を有し、被写体ＯＢ２は視差なし、被写体ＯＢ３は奥行き方向の視差を有している。図１７（Ａ）は、調整後左目擬似立体視差値DPT_L_Gnが示す視差値の例を示している。ここでは簡略化のため被写体ＯＢ１〜ＯＢ３それぞれの被写体内では視差値が均一となっているとし、被写体ＯＢ１は視差２０、被写体ＯＢ２は視差０、被写体ＯＢ３は視差−２０であるとする。

【0055】

左目シフト画像生成部1606は、それぞれの視差値の半分の値を画素シフト量とし、値が正なら右方向に値が負なら左方向に被写体の画素をシフトさせる。図１７（Ｂ）は左目シフト画像を示している。被写体ＯＢ１は右方向に１０画素シフトされて被写体ＯＢ1s1となっており、被写体ＯＢ３は左方向に１０画素シフトされて被写体ＯＢ3s1となっている。被写体ＯＢ１，ＯＢ３をシフトすることによって、被写体ＯＢ１，ＯＢ３と被写体ＯＢ1s1，ＯＢ3s1との差の部分は正しい被写体の画素が存在しないオクリュージョン領域Ｒoccとなる。左目シフト画像生成部1606は、オクリュージョン領域Ｒocc内の画素を、その画素に対して左右水平方向に存在する正しくシフトすることができた画素の中から、最も近傍の画素の情報を用いて補間する。

【0056】

右目擬似凹凸視差生成部1603は、左目擬似凹凸視差生成部1602と同様に、入力された右目画像信号の特徴から画像内の被写体の凹凸情報を画素単位で推測して、右目擬似凹凸視差値DPT_EMBS_Rとして出力する。右目擬似凹凸視差生成部1603は、式（６）を用いて右目擬似凹凸視差値DPT_EMBS_Rを算出する。式（６）中のR_RIGHTとは右目画像信号のＲ信号を表す。ここでも、Ｒ信号に限定されるものではなく、Ｇ信号もしくはＢ信号、または、ＲＧＢ信号のいずれかの組み合わせ、さらには輝度信号を用いてもよい。
DPT_EMBS_R= R_RIGHT-128 …（６）

【0057】

右目視差調整部1605は、左目視差調整部1604と同様に、基本奥行きモデル視差生成部1601から出力された基本奥行きモデル視差値DPT_MDLと右目擬似凹凸視差生成部1603から出力された右目擬似凹凸視差値DPT_EMBS_Rとをゲイン調整しながら合成して調整後右目擬似立体視差値DPT_R_Gnを生成する。右目視差調整部1605は、式（７）に基づいて基本奥行きモデル視差値DPT_MDLと右目擬似凹凸視差値DPT_EMBS_Rとを合成する。
DPT_R_Gn=DPT_MDL×Gf+DPT_EMBS_R×Gk …（７）

【0058】

右目視差調整部1605でも同様に、入力されたステレオ画像ペア（３Ｄ映像信号）による画像の被写体の前後感が乏しいときは基本奥行きモデル視差値DPT_MDLが強調され、ステレオ画像ペアによる画像内の被写体自体の凹凸感（立体感）が乏しいときは右目擬似凹凸視差値DPT_EMBS_Rが強調される。

【0059】

右目シフト画像生成部1607は、右目視差調整部1605より出力された調整後右目擬似立体視差値DPT_R_Gnに基づいて、右目画像信号の画素をシフトして右目シフト画像を生成する。右目シフト画像は視差調整後右目画像信号として出力される。

【0060】

図１８（Ａ）は、調整後右目擬似立体視差値DPT_R_Gnが示す視差値の例を示しており、被写体ＯＢ１は視差２０、被写体ＯＢ２は視差０、被写体ＯＢ３は視差−２０である。右目シフト画像生成部1607は、それぞれの視差値の半分の値を画素シフト量とし、値が正なら左方向に値が負なら右方向に被写体の画素をシフトさせる。図１８（Ｂ）は右目シフト画像を示している。被写体ＯＢ１は左方向に１０画素シフトされて被写体ＯＢ1s2となっており、被写体ＯＢ３は右方向に１０画素シフトされて被写体ＯＢ3s2となっている。

【0061】

被写体ＯＢ１，ＯＢ３をシフトすることによって、被写体ＯＢ１，ＯＢ３と被写体ＯＢ1s2，ＯＢ3s2との差の部分は正しい被写体の画素が存在しないオクリュージョン領域Ｒoccとなる。図１８（Ｂ）では、被写体ＯＢ３が右方向にシフトしたことによって、図１８（Ａ）の元の画像で被写体ＯＢ２と被写体ＯＢ３とが重なっていた領域に被写体ＯＢ３の画素が存在しなくなり、この部分もオクリュージョン領域Ｒoccとなる。右目シフト画像生成部1607は、オクリュージョン領域Ｒocc内の画素を、その画素に対して左右水平方向に存在する正しくシフトすることができた画素の中から、最も近傍の画素の情報を用いて補間する。

【0062】

以上のようにして、立体画像生成装置１より出力されたステレオ画像ペアである左目画像信号及び右目画像信号は、ステレオ表示装置３へと供給されて、３Ｄ画像が表示されることになる。

【0063】

図１９を用いて本実施形態による効果について説明する。図１９（Ａ）は、図７の画像のそれぞれの被写体の視差値を概念的に示している。図１９（Ｃ）に示すように、視差がゼロのときの値を１２８、奥行き方向の最大視差を０、飛び出し方向の最大視差を２５５とし、視差を０〜２５５で白黒の濃淡で表現している。図１９では、ハッチングを異ならせることによって白黒の濃淡を表現している。図７に示すように、遠方の風景と人物が同時に写っている場合、本実施形態によらない場合には、図１９（Ａ）に示すように、被写体間の視差の差は表現されるものの、被写体内での視差の差は被写体間の視差の差に比べて小さな値となるため、被写体自体の立体感が乏しく個々の被写体が平面的に見えてしまう。即ち、書き割り現象として視認されてしまう。

【0064】

図１９（Ｂ）は、本実施形態によるそれぞれの被写体の視差値を概念的に示している。図１９（Ａ）と図１９（Ｂ）とを比較すれば分かるように、図１９（Ｂ）では、木ＴＲにおける幹と葉の部分で視差に差が付いており、木ＴＲの立体感が表現されている。空ＳＫや山ＭＴも同様に視差に差が付いて表現される。人物ＰＮでも同様に視差に差が付いて顔の立体感が表現される。図１９（Ｂ）では表現されていないが、実際には、例えば木ＴＲにおける幹の中や葉の中でも視差の差が付いて表現される。即ち、書き割り現象が低減される。

【0065】

例えば遠景のみを撮影したような構図の場合には、立体度判定部１４で判定される立体度Ｆが比較的低くなる。従って、式（５）及び式（７）における基本奥行きモデル視差値DPT_MDLに対するゲインGfは比較的大きな値となり、立体感が改善される。

【0066】

図７に示すような遠景を背景として人物を撮影したような構図の場合には、立体度判定部１４で判定される立体度Ｆが比較的高くなる。従って、式（５）及び式（７）における基本奥行きモデル視差値DPT_MDLに対するゲインGfは比較的小さな値となり、ゲインGfによる立体感の改善はわずかとなる。一方、書き割り度判定部１５で判定される書き割り度Ｋが比較的高くなる。従って、式（５），式（７）における左目擬似凹凸視差値DPT_EMBS_L，右目擬似凹凸視差値DPT_EMBS_Rに対するGkが比較的高くなり、書き割り現象が低減されることとなる。

【0067】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。画像信号変換部１６では、左目画像信号と右目画像信号の一方のみの画素シフト量を求め、左目画像信号と右目画像信号の一方のみ視差を調整したシフト画像としてもよい。

【0068】

また、本実施形態では２視点映像信号を対象とし、画素をシフトさせることによって書き割り現象が生じるような構図における個々の被写体の立体感を改善したが、任意の複数視点映像信号の画素をシフトさせることによって同様に個々の被写体の立体感を改善することが可能である。即ち、本発明の立体画像生成装置及び立体画像生成方法は、２視点映像信号を対象とする場合に限定されることはなく、３視点以上の多視点映像信号を対象とすることもできる。

【符号の説明】

【0069】

１ 立体画像生成装置
２ ３Ｄ信号記録装置
３ ステレオ表示装置
１２ ３Ｄ信号デコード部
１３ ３Ｄ信号視差検出部（視差検出部）
１４ 立体度判定部
１５ 書き割り度判定部
１６ 画像信号変換部
１５５ ヒストグラム検出部
１５６ ピークヒストグラム幅検出部（ヒストグラム幅検出部）
１５７ 閾値比較部
1601 基本奥行きモデル視差生成部（第１の視差生成部）
1602 左目疑似凹凸視差生成部（第２の視差生成部）
1603 右目疑似凹凸視差生成部（第２の視差生成部）
1604 左目視差調整部（視差調整部）
1605 右目視差調整部（視差調整部）
1606 左目シフト画像生成部
1607 右目シフト画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】