特許 5720561 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5720561

(24)【登録日】2015年4月3日

(45)【発行日】2015年5月20日

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 13/00 20060101AFI20150430BHJP

   H04N 13/02 20060101ALI20150430BHJP

   G06T 19/00 20110101ALI20150430BHJP

   G09G 5/36 20060101ALI20150430BHJP

   G09G 5/00 20060101ALI20150430BHJP

   G09G 5/391 20060101ALI20150430BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 330

   H04N13/02 600

   G06T19/00 F

   G09G5/36 510V

   G09G5/00 520V

【請求項の数】4

【全頁数】22

(21)【出願番号】特願2011-283373(P2011-283373)

(22)【出願日】2011年12月26日

(65)【公開番号】特開2013-135276(P2013-135276A)

(43)【公開日】2013年7月8日

【審査請求日】2014年2月28日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】村上 芳郎

【審査官】 菅 和幸

(56)【参考文献】

【文献】 特開２０１０−２８８２３４（ＪＰ，Ａ）

【文献】 特開２００４−３２８５６６（ＪＰ，Ａ）

【文献】 特開２０１０−２５８７２３（ＪＰ，Ａ）

【文献】 特開２００１−２３６５２１（ＪＰ，Ａ）

【文献】 特開２００５−１５１５３４（ＪＰ，Ａ）

【文献】 特開２０１１−０５５０２２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０５２３８９（ＷＯ，Ａ１）

【文献】 特開２００８−２４２８３３（ＪＰ，Ａ）

【文献】 特開平０８−００９４２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１７／０６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３９１

(57)【特許請求の範囲】

【請求項1】

２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出部と、
前記切換点検出部が検出した切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部と、
前記視差量導出部が導出した視差量が所定値を超えているか否かを判定する視差量判定部と、
前記視差量判定部が、前記視差量導出部が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部が検出した切り換わり点より前の所定の２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換する画像変換部とを有し、
前記視差量判定部が前記視差量導出部の導出した視差量が所定値を超えていると判定をした３Ｄ画像データにおける画像領域に対応する画像領域を、前記切換点検出部が検出した切り換わり点の前の所定時間の２Ｄ画像データから特定する領域特定部をさらに備え、
前記画像変換部は、前記領域特定部が特定した２Ｄ画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換することを特徴とする画像処理装置。

【請求項2】

前記画像変換部は、前記切換点検出部が検出した切り換わり点から所定時間前までの２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出ステップと、
前記切換点検出ステップで検出された切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、
前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、
前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換する画像変換ステップとからなり、
前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした３Ｄ画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の２Ｄ画像データから特定する領域特定ステップをさらに備え、
前記画像変換ステップは、前記領域特定ステップが特定した２Ｄ画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換することを特徴とする画像処理方法。

【請求項4】

２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出ステップと、
前記切換点検出ステップで検出された切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、
前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、
前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換する画像変換ステップとをコンピュータに実行させ、
前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした３Ｄ画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の２Ｄ画像データから特定する領域特定ステップをさら二コンピュータに実行させ、
前記画像変換ステップは、前記領域特定ステップが特定した２Ｄ画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換することをコンピュータに実行させることを特徴とする画像処理プラグラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像処理方法及び画像処理プログラムに関し、より詳細には２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、観察者の負担を減少させることができる画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。

【0003】

３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が同一ディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式がよく知られている。

【0004】

また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて各画像を左右眼で独立して観察する方式等もよく知られている。

【0005】

これらの３Ｄ画像に関する技術では、被写体画像が観察者から見てディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、又は被写体画像が観察者から見てディスプレイ面に対しどの程度後方に引き込んでいるように知覚されるかは、左眼用画像におけるその被写体画像と右眼用画像におけるその被写体画像との間の水平方向の視差（以下、単に「視差」と記載することもある。）によって決定される。

【0006】

なお、以下では、上記の通り左眼用画像と右眼用画像との間の視差により被写体画像が飛び出している、又は後方に引き込んでいるように知覚される立体的な視覚効果のある画像を３Ｄ画像というのに対し、このような立体的な視覚効果のない画像を２Ｄ画像という。

【0007】

ここで、２Ｄ画像と３Ｄ画像とが混在している画像コンテンツがディスプレイ等で、順次再生表示されている場合、表示される画像が２Ｄ画像から３Ｄ画像に切り換わってすぐのタイミングで、その３Ｄ画像に観察者から見て飛び出し過ぎているように知覚される画像又は引き込み過ぎているように知覚される画像が存在すると、観察者に負担を掛ける可能性があるという問題が有る。

【0008】

それまで２Ｄ画像の観察に慣れていて、観察者がまだ３Ｄ画像の観察に慣れていない段階で過度に飛び出して知覚される３Ｄ画像、又は過度に引き込んで知覚される３Ｄ画像、つまり立体感が強すぎる画像が表示されると、その観察者の目に負担を与える可能性があるからである。

【0009】

上記問題を解決する手段として、例えば特許文献１には、２Ｄ画像を放送しているチャンネルから３Ｄ画像を放送しているチャンネルに切り換った場合に、３Ｄ画像を構成する左眼用画像と右眼用画像との間の視差量が、時間を掛けて順次大きくなるように制御することで、急激な変化を抑圧し、自然な切り換りを実現する立体映像表示装置が記載されている。

【0010】

また、特許文献２には、２Ｄ画像と３Ｄ画像とが混在した画像を順次入力して再生する際に、入力された画像が２Ｄ画像であると判定されると、その入力された２Ｄ画像を所定の視差の大きさだけ一律に左右方向にシフトしてなる複数の視差画像を生成し、表示することで立体的な視覚的効果を有する画像のみを再生して観察者の疲労感を軽減することができる３次元画像表示装置が記載されている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開平１１−１６４３２８号公報

【特許文献2】特開２０１０−１８３２６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかし、上記特許文献１に記載の立体映像表示装置では、２Ｄ画像から３Ｄ画像に切り換った際に、３Ｄ画像の視差量を所定時間掛けて増加させることで、本来の３Ｄ画像の視差量に戻している。従って、例えば、切り換わり後の本来の３Ｄ画像の視差量が所定時間かけて減少する変化をするような場合には、本来の３Ｄ画像と制御された３Ｄ画像の視差の大きさの増減変化が逆になる等、本来の３Ｄ画像の視差量の変化の仕方によっては、表示される３Ｄ画像が違和感を持ったものとなってしまうという問題が推察される。

【0013】

また、上記特許文献２に記載の３次元画像表示装置では、本来２Ｄ画像として再生されるべき画像を全て擬似的な３Ｄ画像に変換しているため、観察者は全ての２Ｄ画像を３Ｄ画像としてしか観察できないという問題がある。

【0014】

そこで、本発明は、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出し、切り換わり点より前の所定の２Ｄ画像データを視差が切り換わり点に向かって増加する３Ｄ画像データに変換することで、観察者を３Ｄ画像の観察に慣れさせ、その負担を減少させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0015】

データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出部（２０１）と、前記切換点検出部（２０１）が検出した切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像データと右眼用画像データとの間の視差量を導出する視差量導出部（２０２）と、前記視差量導出部（２０２）が導出した視差量が所定値を超えているか否かを判定する視差量判定部（２０３）と、前記視差量判定部（２０３）が、前記視差量導出部が導出した視差量が所定値を超えていると判定をした場合に、前記切換点検出部（２０１）が検出した切り換わり点より前の所定の２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換する画像変換部（１０３）とを有し、前記視差量判定部（２０３）が前記視差量導出部（２０２）の導出した視差量が所定値を超えていると判定をした３Ｄ画像データにおける画像領域に対応する画像領域を、前記切換点検出部（２０１）が検出した切り換わり点の前の所定時間の２Ｄ画像データから特定する領域特定部（２０５）をさらに備え、前記画像変換部（１０３）は、前記領域特定部（２０５）が特定した２Ｄ画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換することを特徴とする画像処理装置（１）を提供する。

【0016】

上記画像処理装置（１）において、上記画像変換部（１０３）は、上記切換点検出部（２０１）が検出した切り換わり点から所定時間前までの２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換するようにしても良い。

【0019】

上記課題を解決するため、本発明はさらに、２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出ステップと、前記切換点検出ステップで検出された切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換する画像変
換ステップとからなり、前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした３Ｄ画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の２Ｄ画像データから特定する領域特定ステップをさらに備え、前記画像変換ステップは、前記領域特定ステップが特定した２Ｄ画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換することを特徴とする画像処理方法を提供する。
上記課題を解決するため、本発明はさらに、２Ｄ画像データと３Ｄ画像データとが混在した画像データにおいて、その画像データが２Ｄ画像データから３Ｄ画像データに切り換わる切り換わり点を検出する切換点検出ステップと、前記切換点検出ステップで検出された切り換わり点以後の所定の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する視差量導出ステップと、前記視差量導出ステップで導出された視差量が所定値を超えているか否かを判定する視差量判定ステップと、前記視差量判定ステップにおいて、前記視差量導出ステップで導出された視差量が所定値を超えていると判定がなされた場合に、前記切換点検出ステップで検出された切り換わり点より前の所定の２Ｄ画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換する画像変換ステップとをコンピュータに実行させ、前記視差量判定ステップが前記視差量導出ステップの導出した視差量が所定値を超えていると判定をした３Ｄ画像データにおける画像領域に対応する画像領域を、前記切換点検出ステップが検出した切り換わり点の前の所定時間の２Ｄ画像データから特定する領域特定ステップをさら二コンピュータに実行させ、前記画像変換ステップは、前記領域特定ステップが特定した２Ｄ画像データにおける画像領域に含まれる被写体画像データを、視差量が前記切り換わり点に向かって増加する３Ｄ画像データに変換することをコンピュータに実行させることを特徴とする画像処理プラグラムを提供する。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る画像処理装置１の概略的な内部構成を示すブロック図である。

【図2】画像処理装置１の視差量導出部２０２による左眼用画像及び右眼用画像の視差量の導出について説明するための概念図である。

【図3】左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。

【図4】画像処理装置１の画像変換部１０３が２Ｄ画像データを３Ｄ画像データに変換する際に使用する基本奥行きモデルの模式図である。

【図5】画像処理装置１が行う本発明の実施形態にかかる画像処理を説明するためのフローチャートである。

【図6】画像処理装置１の一時記憶部１０２が一時記憶する画像データの概念図である。

【図7】表示される画像が２Ｄ画像から３Ｄ画像に切り換わる様子の模式図である。

【図8】画像処理装置１の画像変換部１０３が切り換わり点より前の所定時間分の２Ｄ画像全体を３Ｄ画像に変換する画像処理について説明するための概念図である。

【図9】画像処理装置１の画像変換部１０３が、被写体特定部２０４が特定した切り換わり点より前の所定時間分の２Ｄ画像中の被写体画像を３Ｄ画像に変換する画像処理について説明するための概念図である。

【発明を実施するための形態】

【0022】

本発明に係る画像処理装置、画像処理方法及び画像処理プログラムによれば、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出し、切り換わり点より前の所定の２Ｄ画像データを視差が切り換わり点に向かって増加する３Ｄ画像データに変換することで、観察者を３Ｄ画像の観察に慣れさせ、その負担を減少させることができる。
以下に図面を参照しながら、本発明に係る画像処理装置及び画像処理方法の好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0023】

（画像処理装置１）
本実施形態の画像処理装置１は、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力することができ、この混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出し、切り換わり点より前の所定の２Ｄ画像データを視差が切り換わり点に向かって増加する３Ｄ画像データに変換することができる。以下、このような画像処理装置１について詳述する。

【0024】

図１は、画像処理装置１の概略的な内部構成を示すブロック図である。図１では、処理信号が実線で、データの流れが破線で示されている。

【0025】

図１に示すように、画像処理装置１は、画像データ入力部１０１、一時記憶部１０２、画像変換部１０３、画像データ出力部１０４、操作部１１０、及び中央制御部２００を含んで構成される。

【0026】

中央制御部２００は、ＣＰＵ（Central Processing Unit）、各種プログラム等が格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、画像データの入出力処理、２Ｄ画像データから３Ｄ画像データへの切り替わり点の検出処理、３Ｄ画像の視差量の導出及び判定処理、及び２Ｄ画像データの３Ｄ画像データへの変換処理等を統括的に制御する。

【0027】

操作部１１０は、電源スイッチ、操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受付ける。操作部１１０は、３Ｄ画像処理装置の本体に設けてもよいし、本体と赤外線通信等を行うリモコン等でもよい。

【0028】

画像データ入力部１０１には、例えばＤＶＤ、ＢＤ（Blu-ray Disc）、若しくはフラッシュメモリ等の各種記録媒体、デジタルテレビチューナ、又は外部の撮像装置（デジタルカメラ）等から、２Ｄ画像データ及び３Ｄ画像データが混在した画像データが入力される。

【0029】

画像データ入力部１０１は、例えばＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種入力端子等で構成される。

【0030】

画像データ入力部１０１に入力される画像データは、少なくとも２Ｄ画像データから３Ｄ画像データへの切り換わり点（以下、単に「切り換わり点」という。）が特定されるための、そのシーン（場面）が２Ｄ画像のシーンであるか３Ｄ画像のシーンであるかを示す情報である制御情報が含まれている。

【0031】

画像データ入力部１０１に入力された画像データは、一時記憶部１０２に送られ、その一時記憶部１０２内で一時的に記憶される。一時記憶部１０２は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ（Hard Disk Drive）等の記憶媒体で構成される。

【0032】

一時記憶部１０２に一時記憶された画像データは、画像変換部１０３が、後述する切り換わり点より前の所定の２Ｄ画像データを視差が切り換わり点に向かって増加する３Ｄ画像データに変換する画像処理を行った場合はその処理を施した３Ｄ画像データとして、当該画像処理を行わなかった場合は一時記憶された２Ｄ画像データ又は３Ｄ画像データとして、画像データ出力部１０４により所定の復号処理を施されて出力される。

【0033】

画像データ出力部１０４は、画像データ入力部１０１と同様に、ＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ １３９４規格に準拠した各種出力端子等で構成される。

【0034】

上記中央制御部２００はまた、２Ｄ画像データから３Ｄ画像データへの切り換わり点の検出を行う切換点検出部２０１、３Ｄ画像データの視差量を導出する視差量導出部２０２、導出された視差量が所定の大きさを上回るか否かを判定する視差量判定部２０３、画像中の被写体を特定する被写体特定部２０４、及び画像中の所定の領域を特定する領域特定部２０５として機能する。各部の機能について、以下に説明する。

【0035】

切換点検出部２０１は、一時記憶部１０２に一時記憶された画像データから、出力されることになる画像データが２Ｄ画像データから３Ｄ画像データへ切り換わる時点を切り換わり点として検出する。

【0036】

画像データは上述の通り、各シーンが２Ｄ画像のシーンであるか３Ｄ画像のシーンであるかを示す制御情報を有している。切換点検出部２０１は、この制御情報に基づき画像データが２Ｄ画像データから３Ｄ画像データへ切り換わる時点を切り換わり点として検出する。

【0037】

切換点検出部２０１はまた、画像データに上記制御情報がない場合、２Ｄ画像データ及び３Ｄ画像データ各々のデータ構造の相違から、２Ｄ画像データから３Ｄ画像データへ切り換わる切り換わり点を検出することもできる。

【0038】

視差量導出部２０２は、３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する。

【0039】

視差量導出部２０２による視差量の導出は既知の様々な手法を採用することができるが、例えば視差量導出部２０２は、左眼用画像のフレーム及び右眼用画像のフレームに対しパターンマッチングを実行し、両フレーム間における視差量を導出する。ここでフレームとは、左眼用画像データ及び右眼用画像データ各々の画像データを構成する時系列に並べられた静止画データをいう。

【0040】

視差量導出部２０２によるパターンマッチングに基づく視差量の導出について図２を参照して説明する。図２は、撮像装置１の視差量導出部２０２による左眼用画像及び右眼用画像の視差量の導出について説明するための概念図である。

【0041】

視差量導出部２０２は、左眼用画像のフレーム及び右眼用画像のフレームの２つのフレームのうち一方のフレームを所定の大きさの領域のブロックに分割する。図２（ａ）では、１，９２０画素×１，０８０画素の左眼用画像のフレームＬ２００を、２４０画素×１３５画素のブロックＬ２０１に計６４分割している。

【0042】

視差量導出部２０２は、分割した画像のフレームの各ブロックに関し、他方の画像のフレームの中から同一の大きさで相関値の高いブロックを抽出する。図２（ｂ）では、図２（ａ）のブロックＬ２０２（図中にハッチングで示したブロック）と同一の大きさで相関値の高いブロックとして、右眼用画像のフレームからＲ２０２が抽出されている。

【0043】

視差量導出部２０２は、分割した画像のフレームのブロックと、そのブロックに対応する他方の画像のフレームのブロックとの位置関係から両者の差分ベクトル（以下、「視差ベクトル」という。）を算出する。図２では、左眼用画像Ｌ２００中のブロックＬ２０２と、対応する右眼用画像中のブロックＲ２０２から、視差ベクトル２０３が算出されている。

【0044】

上記のようなパターンマッチングの手法としては、例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等、既存の様々な手法を採用することが可能である。

【0045】

ここで、算出された視差ベクトルは、原則として水平方向にのみ生じるため、その方向は単純に正負の符号（＋又は−）で表すことができる。ここでは、被写体画像が観察者から見てディスプレイ面に対し前方に飛び出しているように知覚される場合の視差ベクトルの方向を正（＋）とし、被写体画像が観察者から見てディスプレイ面に対し後方に引き込んでいるように知覚される場合の視差ベクトルの方向を負（−）とする。

【0046】

以上のようにして、視差量導出部２０２は画像のフレームを格子状に分割した複数のブロックから視差ベクトルを算出する。さらに視差量導出部２０２は、左眼用画像データ及び右眼用画像データの空間周波数等にかかるデータから、各画像からオブジェクト（被写体画像）データを特定し、特定したオブジェクト毎の視差ベクトルを算出する。

【0047】

また、視差量導出部２０２は、左眼用画像データ及び右眼用画像データの空間周波数等からオブジェクトを特定し、特定したオブジェクトごとに直接パターンマッチングを実行して視差ベクトルを算出するようにしてもよい。

【0048】

視差量導出部２０２は、上記のようにして算出した視差ベクトルの大きさを、左眼用画像と右眼用画像との間の視差量として導出する。

【0049】

図１に戻り、視差量判定部２０３は、３Ｄ画像における右眼用画像と左眼用画像との間の視差量が所定の大きさを上回っているかどうかを判定する。
ここで先ず、図３を参照して、ディスプレイ等の表示面に表示される左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の飛び出し又は引き込みの度合い等を説明する。図３は左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出し又は後方への引き込み等の関係を示す概念図である。

【0050】

図３において、画像データ出力部１０４から出力された、左眼用画像データ及び右眼用画像データを表示する外部ディスプレイ装置等の表示面をＤＰ３０、観察者の左眼をＬＥ３０、観察者の右眼をＲＥ３０、及び観察者と表示面ＤＰ３０との間の距離をＤとする。

【0051】

（前方へ飛び出しているように知覚される場合）
図３（ａ）において、表示面ＤＰ３０上の左眼用画像中の被写体画像の位置をＬ_f、右眼用画像中の被写体画像の位置をＲ_fとすると、観察者が左眼ＬＥ３０でＬ_f、右眼ＲＥ３０でＲ_fを観察した場合、被写体画像はＰ_fの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ３０に対して前方に飛び出しているかのように知覚されることになる。

【0052】

ここで、観察者の左眼ＬＥ３０と右眼ＲＥ３０の距離をＥ、像Ｌ_fとＲ_fの視差量をＶ_fとすると、表示面ＤＰ３０から結像位置までの距離Ｚ_fは以下の式（１）の通りとなる。

【0053】

（Ｅ＋Ｖ_f）Ｚ_f＝Ｄ・Ｖ_f ・・・（１）

【0054】

ここで、観察者は被写体画像を表示面Ｄ３０とは異なる位置Ｐ_fで知覚することになる。一方で、観察者の目のピントは表示面ＤＰ３０にあっている。従って、この両者の乖離が大きいと、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。

【0055】

上記観察者の左眼ＬＥ３０と右眼ＲＥ３０の距離Ｅを一般的な人の瞳孔間隔である６．５ｃｍとし、上記観察者から表示面ＤＰ３０までの視聴距離Ｄを標準観視距離である表示面の長辺の３倍距離とした場合に、観察者の眼に負担をかけず、快適に３Ｄ画像として認識できる左眼用画像と右眼用画像との間の視差量として、例えば表示面の短辺（幅）の２．９％（視差角にして約１度）以下とすることが望ましい旨が報告されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。

【0056】

そこで、視差量判定部２０３は、Ｖ_fが以下の式（２）で表される閾値ＶＳ_fを上回る場合に、前方への飛び出し方向の、すなわち正の方向の視差ベクトルの視差量が観察者の目に負担をかける可能性がある大きさになっていると判定する。

【0057】

ＶＳ_f＝０．０２９×ＤＷ・・・（２）

【0058】

ここで、上記表示面の幅ＤＷには、操作部１１０からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用する。また、操作部１１０から、事前にその値や閾値ＶＳ_fを調整することでさらに好みの値として変更することができるようにしてもよい。

【0059】

（表示面上にあるかのように知覚される場合）
図３（ｂ）において、表示面ＤＰ３０上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体画像は表示面Ｄ３０上のＰ_cの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ３０上にあるかのように知覚されることになる。

【0060】

（後方へ引き込んでいるかのように知覚される場合）
図３（ｃ）において、表示面ＤＰ３０上の左眼用画像中の被写体画像の位置をＬ_b、右眼用画像中の被写体画像の位置をＲ_bとすると、観察者が左眼ＬＥ３０でＬ_b、右眼ＲＥ３０でＲ_bを観察した場合、被写体はＰ_bの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ３０に対して後方に引き込んでいるかのように知覚されることになる。

【0061】

ここで、観察者の左眼ＬＥ３０と右眼ＲＥ３０の距離をＥ、像Ｌ_bとＲ_bの視差量をＶ_bとすると、表示面ＤＰ３０から結像位置までの距離Ｚ_bは以下の式（３）の通りとなる。

【0062】

（Ｅ−Ｖ_b）Ｚ_b＝Ｄ・Ｖ_b ・・・（３）

【0063】

ここで、被写体画像が後方に引き込んでいるかのように知覚される場合においても、観察者が被写体画像を表示面Ｄ３０とは異なる位置Ｐ_bで知覚することになるのは、前方に飛び出しているかのように知覚される場合と同様である。従って、前方に飛び出しているかのように知覚される場合と同様に、観察者の目に負担を与えたり、観察者に不快感を引き起こしたりするおそれがある。

【0064】

そこで、視差量判定部２０３は、Ｖ_bが以下の式（４）で表される閾値ＶＳ_bを上回る場合に、後方への引き込み方向の、すなわち負の方向の視差ベクトルの視差が観察者の目に負担をかける可能性がある大きさになっていると判定する。

【0065】

ＶＳ_b＝０．０２９×ＤＷ・・・（４）

【0066】

ここで、上記表示面の幅ＤＷには、操作部１１０からユーザが所有しているＴＶディスプレイ等の外部モニタの幅の大きさが入力され、その大きさの値を採用するのは、上記前方に飛び出しているかのように知覚される場合と同様である。また、ユーザが操作部１１０を使用して、事前にその値や閾値ＶＳ_bを調整することでさらに好みの値として変更することができるようにしてもよく、その値を前方に飛び出しているかのように知覚される場合と異なる値に設定してもよい。

【0067】

また、表示面から後方に引き込んでいるかのように知覚される３Ｄ画像では、表示面上における水平方向の視差が５ｃｍを超えないようにすることが望ましい旨が方向されている（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」 ３Ｄコンソーシアム安全ガイドライン部会発行 ２０１０年４月２０日改訂版）。人の両眼は外側には開かないことから、両眼の瞳孔間隔以上に離れた被写体を左眼及び右眼でそれぞれ独立して観察することは、観察者の目により大きな負担をかけるおそれがあるためである。

【0068】

そこで、上記式（４）で導き出されるＶＳ_bを５ｃｍに設定しても良い。ＶＳ_bが５ｃｍ以上かどうかの判定及び、５ｃｍとする設定は、予め設定又は入力されているＤＷの値から５ｃｍ相当のピクセル数を算出することで行われる。

【0069】

以上のようにして、視差量判定部２０３は、３Ｄ画像における左眼用画像と右眼用画像との間の視差量が、観察者の目に負担をかける可能性のある所定の大きさを上回るか否かの判定を行う。

【0070】

ここで、視差量判定部２０３は、切換点検出部２０１が２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出した、その時点における３Ｄ画像データに関し導出された視差量の判定を行なう。または、切り替わり点から所定の時点まで（例えば、３秒後の時点）の３Ｄ画像データに関し導出された視差量の判定を継続することもできる。

【0071】

図１に戻り、画像変換部１０３は、導出された視差量が所定の大きさを上回っていると判定された場合に、切り換わり点より前の所定の２Ｄ画像データを視差量が切り換わり点に向かって増加する３Ｄ画像データに変換する処理を行う。画像変換部１０３によるこの処理について、以下に説明する。

【0072】

画像変換部１０３は、予め記録している複数の奥行き感を有する画像のモデル（以下、「基本奥行きモデル」という。）及び２Ｄ画像データの輝度信号の高域成分に基づいて、画像の飛び出し及び引き込みに関する奥行き推定データを生成し、その奥行き推定データに基づき２Ｄ画像データから左眼用画像データ及び右眼用画像データを生成して、２Ｄ画像データを３Ｄ画像データに変換する。

【0073】

基本奥行きモデルとして、図４に例示した３モデルが中央制御部２００のＲＯＭ又は画像処理装置１の図示しない記録部に記録されている。図４（ａ）に示した基本奥行きモデルａは、球面状の凹面による奥行きモデルである。図４（ｂ）に示した基本奥行きモデルｂは、基本奥行きモデルａの上部を球面状ではなくアーチ型の円筒面に置き換えたもので、上部を円筒面とし下部を凹面としたモデルである。図４（ｃ）に示した基本奥行きモデルｃは、上部を平面、下部をその平面から連続し、下に向かうほど手前側に向かう円筒面状をしたもので、上部を平面とし下部を円筒面としたモデルである。

【0074】

画像変換部１０３は、２Ｄ画像データの輝度信号の高域成分を算出する。そして、算出された値から上記３種類の基本奥行きモデルの合成比率を決定し、その合成比率から奥行き推定データを生成する。

【0075】

次に、画像変換部１０３は、この奥行き推定データをもとに元の２Ｄ画像データとは別の視点（左眼用又は右眼用）の２Ｄ画像データを生成する。すなわち奥行き推定データに基づいて、元の２Ｄ画像のテクスチャを左方向ないし右方向にシフトさせて配置していき、元の２Ｄ画像に対して視差をもった新たな２Ｄ画像を生成する。そして、この新たな２Ｄ画像に係る画像データを別の視点の２Ｄ画像データとする。

【0076】

この元の２Ｄ画像データ及び新たに生成された別の視点の２Ｄ画像データを、左眼用画像データないし右眼用画像データとすることで、２Ｄ画像データを３Ｄ画像に変換することができる。

【0077】

ここで、画像変換部１０３は、２Ｄ画像全体のテクスチャを奥行き推定データに基づいてシフトさせることもできるし、特定の被写体画像のテクスチャのみを奥行き推定データに基づいてシフトさせることもできる。

【0078】

画像変換部１０３は、上記の手法以外にも、単純に元の２Ｄ画像を右方向ないし左方向にシフトさせて別の視点の２Ｄ画像データを生成してもよい。上述した２Ｄ画像データの３Ｄ画像データへの変換の手法は例示であり、他の既知の手法等を採用することもできる。

【0079】

このとき、画像変換部１０３は、元の２Ｄ画像データをその時点における上記奥行き推定データに基づく視差量を有する３Ｄ画像にいきなり変換するのではなく、新たに生成された別の視点の２Ｄ画像データとの間の視差量が所定時間かけて奥行き推定データの視差量の大きさに到達するように、上記元の２Ｄ画像のテクスチャを左方向ないし右方向にシフトさせた配置を順次行っていく。

【0080】

以上のようにすることで、画像変換部１０３は、切換点検出部２０１が切り換わり点を検出してから所定時間だけ前の時点（例えば３秒前の時点）から切り替わり点の直前に至るまで、元の２Ｄ画像データと新たに生成された別の視点の２Ｄ画像データとの間の視差量が徐々に増加し、切り換わり点の直前で奥行き推定データに基づく視差を有する３Ｄ画像に到達するように順次変換していくことができる。

【0081】

ここで、画像変換部１０３が上述の変換処理を行う際に、被写体特定部２０４が特定した被写体画像、又は領域特定部２０５が特定した特定の画像領域に含まれる被写体画像についてのみ、視差量を徐々に増加させることができる。図１の被写体特定部２０４及び領域特定部２０５それぞれの機能について、以下に説明する。

【0082】

被写体特定部２０４は、画像変換部１０３が３Ｄ画像に変換する２Ｄ画像中の被写体画像のなかから、視差量を徐々に増加させる被写体画像を特定する。

【0083】

この被写体特定部２０４は、まず、切換点検出部２０１が検出した切り換わり点の直前若しくは所定時間前の２Ｄ画像データ、及び切り換わり点若しくは所定時間後の３Ｄ画像データを比較し、双方に同じ被写体画像データがあった場合に２Ｄ画像データからその被写体画像データを特定する。

【0084】

この特定は、既知の被写体認識の技術に基づき実施される。例えば、既知の顔検出等の技術により２Ｄ画像データ中の被写体の顔画像データの特徴値、及び３Ｄ画像データ中の被写体の顔画像データの特徴値を算出し比較する。そして、それらの特徴値が所定の類似の範囲内にある場合には、切り換わり点の直前若しくは所定時間前の２Ｄ画像データ、及び切り換わり点若しくは所定時間後の３Ｄ画像データで同じ人物が被写体画像として存在するとして、２Ｄ画像データからその人物の画像データを特定する。

【0085】

そして、特定された被写体画像データに対応する３Ｄ画像データ中の被写体画像データが、視差量判定部２０３により所定の視差量を上回っていると判定さていた場合には、被写体特定部２０４は抽出された被写体画像データに係る被写体画像を、視差量を徐々に増加させる対象として特定する。

【0086】

画像変換部１０３は、この特定された被写体画像が所定時間かけて所定の視差量となるように、上述の２Ｄ画像データから３Ｄ画像データへの変換を実施する。

【0087】

２Ｄ画像データから３Ｄ画像データに切り換わってすぐのタイミングで、特定の被写体画像が過度に飛び出している、又は引き込んでいる画像として知覚されると、観察者の負担となる可能性がある。被写体特定部２０４が、上記の被写体の特定の処理をすることで、こういった可能性のある被写体画像と同じ被写体画像が２Ｄで表示されるはずの段階で、切り換わり点に向かって徐々に飛び出させていく、又は引き込ませていくことができ、観察者を慣れさせて、その負担を軽減することができる。

【0088】

領域特定部２０４は、画像変換部１０３が３Ｄ画像に変換する２Ｄ画像のなかから、視差量を徐々に増加させる被写体画像が含まれる画像領域を特定する。

【0089】

この領域特定部２０４は、まず切換点検出部２０１が検出した切り換わり点の直後又は所定時間分の３Ｄ画像データのなかから、視差量判定部２０３により所定の視差量を上回っていると判定された視差量を有する画像領域を特定する。

【0090】

そして、特定された領域と表示座標（位置）上で対応する領域を切り換わり点より前の所定時間分の２Ｄ画像データのなかから特定し、その領域に含まれる被写体画像を、視差量を徐々に増加させる対象として特定する。

【0091】

画像変換部１０３は、この２Ｄ画像内で特定された画像領域に含まれる被写体画像が所定時間かけて所定の視差量となるように、上述の２Ｄ画像データから３Ｄ画像データへの変換を実施する。

【0092】

２Ｄ画像データから３Ｄ画像データに切り換わってすぐのタイミングで、特定の領域の画像が過度に飛び出している、又は引き込んでいる画像として知覚されると、観察者の負担となる可能性がある。領域特定部２０５が、上記の領域特定の処理を行うことで、２Ｄ画像が表示さるはずの段階で、３Ｄ画像に切りかわったときにこういった可能性のある表示領域に対応する表示領域に含まれる被写体画像を、切り換わり点に向かって徐々に飛び出させていく、又は引き込ませていくことができ、観察者を慣れさせて、その負担を軽減することができる。

【0093】

（画像処理）
次に、本実施形態の画像処理装置１による、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出し、切り換わり点より前の所定の２Ｄ画像データを視差が切り換わり点に向かって増加する３Ｄ画像データに変換する画像処理について説明する。

【0094】

図５は、画像処理装置１が行う本発明の実施形態にかかる画像処理を説明するためのフローチャートである。

【0095】

操作部１１０の操作に応じて、各種記録媒体、デジタルテレビチューナ、又は撮像装置等から２Ｄ画像データと３Ｄ画像データとが混在した画像データが順次、画像データ入力部１０１に入力される（ステップＳ１０１）。

【0096】

画像データ入力部１０１に画像データが入力されると、一時記憶部１０２が順次、その画像データを一時記憶する（ステップＳ１０２）。図６に一時記憶部１０２が一時記憶する画像データの概念図を示す。

【0097】

図６には、時点ｔ１までは２Ｄ画像データＤ６０１、時点ｔ１以降で時点ｔ２までは３Ｄ画像データＤ６０２、時点ｔ２以降で時点ｔ３までは２Ｄ画像データＤ６０３、そして時点ｔ３以降は３Ｄ画像データＤ６０４が、一時記憶部１０２に一時記憶されている様子を示す。このように、一時記憶部１０２には、２Ｄ画像データと３Ｄ画像データとが混在した画像が順次、一時記憶される。

【0098】

図５に戻り、ステップＳ１０２で画像データが一時記憶されると、切換点検出部２０１が、一時記憶されていく画像データが２Ｄ画像データから３Ｄ画像データに切り換わる時点を、切り換わり点として検出する（ステップＳ１０３）。

【0099】

切換点検出部２０１は、画像データの有する、各シーンが２Ｄ画像のシーンであるか３Ｄ画像のシーンであるかを示す制御情報から切り換わり点を検出する。又は、２Ｄ画像データと３Ｄ画像データのデータ構造の相違から切り換わり点を検出する。

【0100】

図６では、２Ｄ画像データＤ６０１が３Ｄ画像データＤ６０２に切り換わる時点ｔ１が切り換わり点Ｐ１として検出される。同様に、２Ｄ画像データＤ６０３が３Ｄ画像データ６０４に切り換わる時点ｔ３が切り換わり点Ｐ２として検出される。

【0101】

なお、切換点検出部２０１が２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出しなかった場合（ステップＳ１０３でＮＯ）、画像処理装置１は以降の処理を実施しない。

【0102】

切換点検出部２０１が２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出した場合（ステップＳ１０３でＹＥＳ）、視差量導出部２０２は切り換わり点における、又は切り換わり点以降の所定の時間分の３Ｄ画像データにおける左眼用画像と右眼用画像との間の視差量を導出する（ステップＳ１０４）。なお、この視差量の導出は、上述の通りテンプレートマッチングを利用した手法等により行われる。

【0103】

図６では、視差量導出部２０２は、時点ｔ１における又は時点ｔ１から所定時間後までの間（例えば、５秒間）における３Ｄ画像データＤ６０２の視差量の導出を行なう。同様に、視差量導出部２０２は、ｔ３における又はｔ３から所定時間後までの間における３Ｄ画像データＤ６０４の視差量の導出を行なう。

【0104】

図５のステップＳ１０４で、視差量導出部２０２が上記視差量の導出を行なうと、視差量判定部２０３が導出された視差量が所定の大きさを上回っているかどうかを判定する（ステップＳ１０５）。

【0105】

切り換わり点直後に、又は切り換わり点から所定時間以内に表示される３Ｄ画像中に、観察者に負担を与える可能性のある大きさの視差量を有する被写体画像が含まれていた場合、そのままその３Ｄ画像が表示されると、それまで２Ｄ画像を観察していて、３Ｄ画像の観察に目が慣れていない観察者に負担を与える可能性がある。

【0106】

図７に、表示される画像が２Ｄ画像から３Ｄ画像に切り換わる様子の模式図を示す。この図７では観察者の左眼をＬＥ３０及び右眼をＲＥ３０としている。

【0107】

図７（ａ）は、時点ｔ１まで２Ｄ画像であるＤ７１が表示され、時点ｔ１で３Ｄ画像として左眼用画像ＬＤ７１及び右眼用画像ＲＤ７１が表示される様子を模式的に示している。

【0108】

ここで観察者は、時点ｔ１までは被写体画像Ｇ７１を２Ｄ画像として、表示画像Ｄ７１内に知覚している。ところが、時点ｔ１で３Ｄ画像に切り換わり、左眼用画像ＬＤ７１と右眼用画像ＲＤ７１との間の視差に基づき、被写体画像ＴＧ７１を表示面からＺ_f７０１だけ飛び出して知覚している。

【0109】

この被写体画像ＴＧ７１の飛び出しの大きさＺ_f７０１に係る視差量が上述した閾値ＶＳ_fを上回っていた場合、まだ３Ｄ画像の知覚になれていない観察者の目に負担を掛ける可能性がある。

【0110】

このとき、視差量判定部２０３は、３Ｄ画像に切り換わる時点ｔ１において、左眼用画像と右眼用画像との間に、所定の閾値ＶＳ_fを上回る、すなわち観察者に負担を与える可能性のある視差量がある旨の判定を行う。

【0111】

図７（ｂ）は、時点ｔ３まで２Ｄ画像であるＤ７２が表示され、時点ｔ３で３Ｄ画像として左眼用画像ＬＤ７２及び右眼用画像ＲＤ７２が表示され、そして時点ｔ３から所定時間Δｔ後に、同じく３Ｄ画像として左眼用画像ＬＤ７３及びＲＤ７３が表示される様子を模式的に示している。

【0112】

ここで、観察者は時点ｔ３までは被写体画像Ｇ７２を２Ｄ画像として、表示画像Ｄ７２内に知覚している。そして、時点ｔ３で３Ｄ画像に切り換わり、左眼用画像ＬＤ７２と右眼用画像ＲＤ７２との間の視差に基づき、被写体画像ＴＧ７２を表示面からＺ_f７０２だけ飛び出していると知覚している。

【0113】

この切り換わり点である時点ｔ３では、被写体画像ＴＧ７２の飛び出しの大きさＺ_f７０２に係る視差量が上述した閾値ＶＳ_fを下回っている場合、視差量判定部２０３は、左眼用画像ＬＤ７２と右眼用画像ＲＤ７２との間に、観察者に負担を与える可能性のある視差量がある旨の判定は行わない。

【0114】

一方で、時点ｔ３からΔｔ経過して表示されることになる左眼像画像ＬＤ７３と右眼用画像ＲＤ７３との間では、被写体画像ＴＧ７３がＺ_f７０２よりも大きなＺ_f７０３だけ飛び出しているように知覚される。

【0115】

この被写体画像ＴＧ７３の飛び出しの大きさＺ_f７０３に係る視差量が上述した閾値ＶＳ_fを上回っていた場合、視差量判定部２０３は観察者に負担を与える可能性のある視差量がある旨の判定を行う。

【0116】

２Ｄ画像から３Ｄ画像に切り換わった時点では、観察者に負担を与える可能性がある視差量を有する画像が含まれていない場合でも、それまで２Ｄ画像を観察していた観察者が３Ｄ画像の知覚に慣れる前に、上述した閾値ＶＳ_fを上回る被写体画像が表示されると、観察者の目に負担を掛ける可能性があるからである。

【0117】

なお、視差量判定部２０３が、切り換わり点直後に、又は切り換わり点から所定時間以内に表示される３Ｄ画像中に、観察者に負担を与える可能性のある大きさの視差量を有する被写体画像が含まれている旨の判定をしなかった場合（Ｓ１０５でＮＯ）、画像処理装置１は以降の処理を実施しない。

【0118】

図５に戻り、ステップＳ１０５で視差量判定部２０３が、左眼用画像と右眼用画像との間の視差量が所定の値を上回ると判定した場合（ステップＳ１０５でＹＥＳ）、画像変換部１０３は一時記憶部に一時記憶された画像データにおける、切り換わり点から所定時間分だけ前の時点から、切り換わり点の時点までの２Ｄ画像データを、視差量が切り換わり点に向かって増加する３Ｄ画像に変換する（Ｓ１０６）。

【0119】

画像変換部１０３による２Ｄ画像を３Ｄ画像に変換する手法については、上述した通りである。以下に、画像変換部１０３が、２Ｄ画像全体を３Ｄ画像に変換する変換処理、被写体特定部２０４が特定した被写体画像に視差を設けて３Ｄ画像に変換する変換処理、及び領域特定部２０５が特定した領域に含まれる被写体画像に視差を設けて３Ｄ画像に変換する変換処理のそれぞれについて説明する。

【0120】

（２Ｄ画像全体を３Ｄ画像に変換する変換処理）
画像変換部１０３は、切り換わり点より前の所定時間分の２Ｄ画像全体を３Ｄ画像に変換する画像処理を行う。図８に、この画像変換部１０３による変換の処理について説明する概念図を示す。

【0121】

図８は、時点ｔ８１から切り換わり点の直前である時点ｔ８４に至るまでの、変換前の２Ｄ画像、及びその２Ｄ画像を変換した３Ｄ画像の経過を模式的に示した図である。図８（ａ）は変換前の２Ｄ画像を、図８（ｂ）は変換後の３Ｄ画像を示している。

【0122】

時点ｔ８１では、一時記憶部１０２に一時記憶された画像データである２Ｄ画像データが、そのまま２Ｄ画像Ｄ８１として画像出力部１０４を介して外部のディスプレイ等に出力されている。

【0123】

次に、画像変換部１０３は、時点ｔ８１から１秒後の時点ｔ８２において、２Ｄ画像データを３Ｄ画像データに変換する。つまり、この変換を行わなければ２Ｄ画像Ｄ８２として出力される画像データを、画像変換部１０３が３Ｄ画像データＴＤ８２として、視差を有する２つの画像に変換する。

【0124】

このとき左眼用画像中の被写体画像ＬＧ８２１と右眼用画像中の被写体画像ＲＧ８２１との間の視差量がＶ８２１、左眼用画像中の被写体画像ＬＧ８２２と右眼用画像中の被写体画像ＲＧ８２２との間の視差量がＶ８２２となるように変換が行われる。ここで、これらの視差量Ｖ８２１及びＶ８２２は、画像変換部１０３が生成した奥行き推定データに基づく視差量の１／３の大きさを持つように２Ｄ画像Ｄ８２中の被写体画像Ｇ８２１及びＧ８２２に係るテクスチャを配置することで生成される。

【0125】

続いて、画像変換部１０３は、時点ｔ８２から１秒後の時点ｔ８３において、２Ｄ画像データを３Ｄ画像データに変換する。つまり、この変換を行わなければ２Ｄ画像Ｄ８３として出力される画像データを、画像変換部１０３が３Ｄ画像データＴＤ８３として、視差を有する２つの画像に変換する。

【0126】

このとき左眼用画像中の被写体画像ＬＧ８３１と右眼用画像中の被写体画像ＲＧ８３１との間の視差量がＶ８３１、左眼用画像中の被写体画像ＬＧ８３２と右眼用画像中の被写体画像ＲＧ８３２との間の視差量がＶ８３２となるように変換が行われる。ここで、これらの視差量Ｖ８３１及びＶ８３２は、画像変換部１０３が生成した奥行き推定データに基づく視差の２／３の大きさを持つように２Ｄ画像Ｄ８３中の被写体画像Ｇ８３１及びＧ８３２に係るテクスチャを配置することで生成される。

【0127】

そして、画像変換部１０３は、時点ｔ８３から１秒後の時点ｔ４において、２Ｄ画像データを３Ｄ画像データに変換する。つまり、この変換を行わなければ２Ｄ画像Ｄ８４として出力される画像データを、画像変換部１０３が３Ｄ画像データＴＤ８４として、視差を有する２つの画像に変換する。なお、この時点ｔ４が切換点検出部２０１が検出した切り換わり点の直前に相当する。

【0128】

このとき左眼用画像中の被写体画像ＬＧ８４１と右眼用画像中の被写体画像ＲＧ８４１との間の視差量がＶ８４１、左眼用画像中の被写体画像ＬＧ８４２と右眼用画像中の被写体画像ＲＧ８４２との間の視差量がＶ８２２となるように変換が行われる。ここで、これらの視差量Ｖ８４１及びＶ８４２は、画像変換部１０３が生成した奥行き推定データに基づく大きさを持つように２Ｄ画像Ｄ８４中の被写体画像Ｇ８４１及びＧ８４２に係るテクスチャを配置することで生成される。

【0129】

以上のように画像変換部１０３が、切り換わり点より前の所定の時間における２Ｄ画像全体を、各時点における奥行き推定データに基づく視差量に対する変換後の３Ｄ画像の視差量の割合が、切り換わり点に向かって徐々に増加するように２Ｄ画像から３Ｄ画像への変換を行う。

【0130】

これによって、表示される画像が２Ｄ画像から３Ｄ画像に切り換わってすぐのタイミングで、その３Ｄ画像に観察者から見て飛び出し過ぎているように知覚される画像又は引き込み過ぎているように知覚される画像が存在する場合に、事前に観察者の目を３Ｄ画像に慣らすことができ、その負担を大きく減少させることができる。

【0131】

なお、上記では、画像変換部１０３が、奥行き推定データに基づいて２Ｄ画像データを３Ｄ画像データに変換する場合について記載したが、画像変換部１０３は単純に元の２Ｄ画像を右方向ないし左方向にシフトさせて別の視点の画像を生成することで２Ｄ画像データを３Ｄ画像データに変換することもできる。

【0132】

この場合は、シフトさせる大きさを徐々に大きくしていくことで、切り換わり点までの各時点における視差量が切り換わり点に向かって増加するように変換を行う。

【0133】

（被写体を基準にした変換処理）
視差量判定部２０３が、所定の閾値以上の視差量を有すると判定した被写体画像が、切り換わり点より前の２Ｄ画像にも存在した場合、２Ｄ画像が表示されている段階で、その被写体画像を切り換わり点に向かって徐々に視差量が増えていく３Ｄ画像に変換すれば、観察者の目を慣れさせて負担を軽減することができる。

【0134】

そこで、被写体特定部２０４は、まず切り換わり点の直前若しくは所定時間分の２Ｄ画像データ、及び切り換わり点直後若しくは所定時間分の３Ｄ画像データを比較し、同じ被写体画像データが存在するかどうかを判断する。

【0135】

そして、同じ被写体画像データが存在した場合は、２Ｄ画像データの被写体画像データを、視差量を増加させる対象として特定する。

【0136】

そして、画像変換部１０３は、被写体特定部２０４が特定した被写体画像を２Ｄ画像データから３Ｄ画像データに変換する。図９に、この画像変換部１０３による変換の処理について説明する概念図を示す。

【0137】

図９は、時点ｔ９１から切り換わり点の直前の時点ｔ９４に至るまでの、変換前の２Ｄ画像、及びその２Ｄ画像を変換した３Ｄ画像の経過を模式的に示した図である。図９（ａ）は変換前の２Ｄ画像を、図９（ｂ）は変換後の３Ｄ画像を示している。

【0138】

時点ｔ９１では一時記憶部１０２に一時記憶された画像データである２Ｄ画像データがそのまま２Ｄ画像Ｄ９１として画像データ出力部１０４を介して外部のディスプレイ等に出力されている。

【0139】

次に時点ｔ９１から１秒後の時点ｔ９２において、被写体特定部２０４は２Ｄ画像Ｄ９２のなかの被写体画像Ｇ９２１を、視差量を増加させる被写体画像として特定している。そして画像変換部１０３は、被写体画像Ｇ９２１を、視差量を有する被写体画像ＬＧ９２１とＲＧ９２１とをそれぞれ左眼用画像データ及び右眼用画像データに有する３Ｄ画像ＴＤ９２に変換する。

【0140】

このとき被写体画像ＬＧ９２１と被写体画像ＲＧ９２１との間の視差量Ｖ９２１は、画像変換部１０３が生成した奥行き推定データに基づく視差量の１／３の大きさを持つように２Ｄ画像Ｄ９２中の被写体画像Ｇ９２１に係るテクスチャを配置することで生成される。

【0141】

次に時点ｔ９２から１秒後の時点ｔ９３において、被写体特定部２０４は２Ｄ画像Ｄ９２のなかの被写体画像Ｇ９２１と同じ被写体の画像である、２Ｄ画像Ｄ９３のなかの被写体画像Ｇ９３１を、視差量を増加させる基準とする被写体画像として特定している。このとき画像変換部１０３は、被写体画像Ｇ９３１を、視差量を有する被写体画像ＬＧ９３１とＲＧ９３１とを左眼用画像データ及び右眼用画像データに有する３Ｄ画像ＴＤ９３に変換する。

【0142】

このとき被写体画像ＬＧ９３１と被写体画像ＲＧ９３１との間の視差量Ｖ９３１は、画像変換部１０３が生成した奥行き推定データに基づく視差量の２／３の大きさを持つように２Ｄ画像Ｄ９３中の被写体画像Ｇ９３１に係るテクスチャを配置することで生成される。

【0143】

そして、時点ｔ８３から１秒後の時点ｔ８４において、被写体特定部２０４は２Ｄ画像Ｄ９２のなかの被写体画像Ｇ９２１と同じ被写体の画像である、２Ｄ画像Ｄ９４のなかの被写体画像Ｇ９４１を、視差量を増加させる基準とする被写体画像として特定している。このとき画像変換部１０３は、被写体画像Ｇ９４１を、視差量を有する被写体画像ＬＧ９４１とＲＧ９４１とを左眼用画像データ及び右眼用画像データに有する３Ｄ画像に変換する。なお、この時点ｔ４が切換点検出部２０１が検出した切り換わり点の直前に相当する。

【0144】

このとき被写体画像ＬＧ９４１と被写体画像ＲＧ９４１との間の視差量Ｖ９４１は、画像変換部１０３が生成した奥行き推定データに基づく大きさを持つように２Ｄ画像Ｄ９４中の被写体画像Ｇ９４１に係るテクスチャを配置することで生成される。

【0145】

以上の通り、被写体特定部２０４によれば、所定の閾値よりも大きい視差量を有すると判定された被写体画像が、切り換わり点より前の所定時間内の２Ｄ画像にも存在した場合、２Ｄ画像が表示されている段階で、その被写体画像を、各時点における奥行き推定データに基づく視差量に対する変換後の３Ｄ画像の視差量の割合が、切り換わり点に向かって徐々に増加するように２Ｄ画像から３Ｄ画像への変換することができる。

【0146】

これによって、表示される画像が２Ｄ画像から３Ｄ画像に切り換わってすぐのタイミングで、その３Ｄ画像に観察者から見て飛び出し過ぎているように知覚される被写体画像又は引き込み過ぎているように知覚される被写体画像が存在する場合に、事前にその被写体に対する観察者の目を３Ｄ画像に慣らすことができ、その負担を大きく減少させることができる。

【0147】

（領域を基準にした変換処理）
視差量判定部２０３が、所定の閾値以上の視差量を有すると判定した被写体画像が含まれる３Ｄ画像内の領域に対応する２Ｄ画像内の領域に含まれる被写体画像を、２Ｄ画像が表示されている段階で、切り換わり点に向かって徐々に視差量が増えていく３Ｄ画像に変換すれば、観察者の目を慣れさせて負担を軽減することができる。

【0148】

そこで、領域特定部２０５は、まず視差量判定部２０３により所定の視差量を上回っていると判定された視差量を有する被写体画像を含む領域を３Ｄ画像から特定し、その領域に対応する２Ｄ画像内の領域を特定する。

【0149】

そして、画像変換部１０３は、その特定された領域内に含まれる被写体画像の視差量が増加していくように２Ｄ画像データの３Ｄ画像データへの変換を行う。

【0150】

この被写体画像自体の変換については、上述の被写体特定２０４が特定した被写体画像の２Ｄ画像から３Ｄ画像への変換と同様にして行う。

【0151】

領域特定部２０５によれば、所定の閾値以上の視差量を有すると判定した被写体画像が含まれる領域に対応する２Ｄ画像内の領域に含まれる被写体画像を、２Ｄ画像が表示されている段階で、徐々に視差量が増えていく３Ｄ画像に変換することができる。従って、観察者の目を慣れさせて負担を軽減することができる。

【0152】

これによって、表示される画像が２Ｄ画像から３Ｄ画像に切り換わってすぐのタイミングで、その３Ｄ画像に観察者から見て飛び出し過ぎているように知覚される画像領域（表示領域）に対して、事前にその画像領域に対する観察者の目を３Ｄ画像に慣らすことができ、その負担を大きく減少させることができる。

【0153】

図５に戻り、上記のようにして画像変換部１０３が元の２Ｄ画像データを３Ｄ画像データに変換すると、変換された３Ｄ画像データに係る左眼用画像データ及び右眼用画像データがそれぞれ画像データ出力部１０４から外部のディスプレイ装置等に出力される（ステップＳ１０７）。

【0154】

以上のように、本実施形態の画像処理装置１によれば、２Ｄ画像データと３Ｄ画像データとが混在した画像データを出力する際に、２Ｄ画像データから３Ｄ画像データへの切り換わり点を検出し、切り換わり点より前の所定の２Ｄ画像データを視差が切り換わり点に向かって増加する３Ｄ画像データに変換することができる。

【0155】

これにより、２Ｄ画像データが３Ｄ画像データに切り換わってすぐのタイミングで、観察者に負担を与える可能性がある被写体画像が表示されるような場合に、画像処理をしなければ２Ｄ画像が表示される段階で、前もって徐々に視差が増加する３Ｄ画像を表示することができ、観察者の目を慣れさせることでその負担を大きく減少させることができる。

【符号の説明】

【0156】

１ 画像処理装置
１０１ 画像データ入力部
１０２ 一時記憶部
１０３ 画像変換部
１０４ 画像データ出力部
１１０ 操作部
２００ 中央制御部
２０１ 切換点検出部
２０２ 視差量導出部
２０３ 視差量判定部
２０４ 被写体特定部
２０５ 領域特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】