特許 6207640 ２次元映像の立体映像化表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6207640

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】２次元映像の立体映像化表示装置

(51)【国際特許分類】

   H04N 13/02 20060101AFI20170925BHJP

   H04N 13/04 20060101ALI20170925BHJP

   H04N 13/00 20060101ALI20170925BHJP

【ＦＩ】

   H04N13/02 640

   H04N13/02 820

   H04N13/04 020

   H04N13/00 220

   H04N13/02 920

   H04N13/04 520

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2016-13377(P2016-13377)

(22)【出願日】2016年1月27日

(65)【公開番号】特開2017-135543(P2017-135543A)

(43)【公開日】2017年8月3日

【審査請求日】2016年11月14日

【早期審査対象出願】

(73)【特許権者】

【識別番号】395011218

【氏名又は名称】エフ・エーシステムエンジニアリング株式会社

(73)【特許権者】

【識別番号】399111107

【氏名又は名称】寺田 茂

(74)【代理人】

【識別番号】100104341

【弁理士】

【氏名又は名称】関 正治

(74)【代理人】

【識別番号】100110858

【弁理士】

【氏名又は名称】柳瀬 睦肇

(72)【発明者】

【氏名】寺田 茂

(72)【発明者】

【氏名】中村 康則

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開平０７−３０７９６１（ＪＰ，Ａ）

【文献】 特開２０１２−２３１４０５（ＪＰ，Ａ）

【文献】 特開２００４−２４８２１２（ＪＰ，Ａ）

【文献】 特開２０１２−１３４６５５（ＪＰ，Ａ）

【文献】 特開２０１３−１２６２４３（ＪＰ，Ａ）

【文献】 特開２００５−２２９５６０（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１１８０８４（ＷＯ，Ａ１）

【文献】 高木康博，講座 誰にでもわかる３Ｄ 第７回 基礎４：多眼式・超多眼式３Ｄ技術，映像情報メディア学会誌，２０１１年，Vol.65, No.7，pp.933 - 939

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

(57)【特許請求の範囲】

【請求項1】

フレーム列からなる２Ｄ放送を受信してフレーム毎の２Ｄ映像信号を供給する２次元映像受信部、フレーム列から基準フレームと該基準フレームに対して所定数のフレーム差を有する参照フレームとを選択するフレーム選択部、該基準フレームと該参照フレームの映像を画素水準で比較して画素領域の時間的ずれを算出して速度ベクトルとし該速度ベクトルを前記基準フレームで発生する運動視差とし該運動視差に基づいて奥行き情報を生成し基準フレームの映像中の部分に対して参照フレームの映像中の対応部分を奥行き情報に合わせて水平に配置し、前記基準フレームと合わせて３個以上の視点から見る多視点映像信号を形成して提供する多視点映像信号生成部、および、該多視点映像信号を受信して左右眼のそれぞれに２以上の視点映像を提示することにより３次元映像として表示する立体映像表示部で構成した２次元映像の立体映像化表示装置。

【請求項2】

前記立体映像表示部が複数の立体映像表示器を備え、前記多視点映像信号生成部が前記立体映像表示器のそれぞれに対応する多視点映像信号を生成すると共に、適宜選択された前記立体映像表示器に対応する前記多視点映像信号を選択して前記立体映像表示部に供給する視点映像選択部を備える請求項１記載の立体映像化表示装置。

【請求項3】

前記基準フレームと前記多視点映像信号の表示時刻を調整するフレーム同期部を備える請求項１または２記載の立体映像化表示装置。

【請求項4】

前記基準フレームと前記参照フレームの画像中に表示された各部分について該基準フレームと該参照フレームにおける位置を追跡して両フレーム間における表示位置の移動量に係る動きベクトルを算定する動きベクトル算定部と、該動きベクトルの水平成分スカラー量を分布に基づいて調整し前記立体映像表示部の表示性能に適合するように分布を最適化する非線形圧縮部と、該調整後の動きベクトルの水平成分スカラー量をフレーム中の画素について配列した奥行きマトリックスを形成する奥行きマトリックス生成部を備える請求項１から３のいずれか１項に記載の立体映像化表示装置。

【請求項5】

前記基準フレームと前記参照フレームのフレーム差を調整することで奥行き量を制御する奥行き量制御部と、前記フレーム差を選択して奥行き量を指定する奥行き量指示部を備える請求項１から４のいずれか１項に記載の立体映像化表示装置。

【請求項6】

前記基準フレーム中の立体映像化する領域を指定する立体化領域選択部を備える請求項１から５のいずれか１項に記載の立体映像化表示装置。

【請求項7】

表示する映像を２Ｄ放送の映像と立体映像化した映像のうちで選択して指示する２Ｄ／３Ｄ選択部を備える、請求項１から６のいずれか１項に記載の立体映像化表示装置。

【請求項8】

前記２次元映像受信部から供給される映像信号に基づいて映像のカット変わりを検出してフレーム選択部に選択の中断を指示するカット変り検出部を備える請求項１から７のいずれか１項に記載の立体映像化表示装置。

【請求項9】

フレーム列からなる２Ｄ放送を受信してフレーム毎の２Ｄ映像信号を供給する２次元映像受信部、フレーム列から基準フレームと該基準フレームに対して所定数のフレーム差を有する参照フレームとを選択するフレーム選択部、該基準フレームと該参照フレームの映像を画素水準で比較して画素領域の時間的ずれを算出して速度ベクトルとし該速度ベクトルを前記基準フレームで発生する運動視差とし該運動視差に基づいて奥行き情報を生成し基準フレームの映像中の部分に対して参照フレームの映像中の対応部分を奥行き情報に合わせて水平に配置し、前記基準フレームと合わせて３個以上の視点から見る多視点映像信号を形成して提供する多視点映像信号生成部で構成され、左右眼のそれぞれに２以上の視点映像を提示することにより３次元映像として表示する立体映像表示部に前記多視点映像信号を送信することを特徴とする２次元映像の立体映像化信号生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、テレビ放送などの２次元映像を立体映像化して表示する装置に関する。

【背景技術】

【0002】

近年３Ｄ映像技術が急速に進展してきて、いろいろな局面で３Ｄ映像を利用することができるようになってきた。映画ばかりでなく、展示会や学術講演会などでも、実物に対する再現性が高い３Ｄ映像を使用する場面が増えてきた。
さらに、立体映像放送も、一部の民放、ＣＡＴＶ（ケーブルテレビ）、ＩＰＴＶ（インターネットプロトコルを使用したテレビ放送）などで、平面映像放送波により立体映像信号を送信して３Ｄ受像器に映像を表示させる方式を用いて試行されている。

【0003】

通常、立体映像は、従来の平面映像放送と同様に扱えるサイドバイサイドの映像信号または左眼右眼のＬＲ２ストリーム映像信号を使った２視差立体表示方式による表示が行われる。表示面に映し出されたＬＲ映像はスクリーン立体メガネにより観察することにより立体映像となる。また、映像表示装置にレンチキュラーレンズなどを用いて、裸眼で立体視できる装置も開発されている。

【0004】

立体テレビ放送は、撮影機材、受像装置の問題以外に、視聴者と画像表示装置との位置関係に基づく最適調整の問題や、放送事業者の新たな投資(経費)など、解決しなければならない課題が残っており、直ちに普及を図れる状態ではない。
しかし、ニュース情報をはじめとするリアルタイムの情報を、臨場感あふれた３次元の立体映像を介して視聴者に届けることは放送者にとっても強い要望である。

【0005】

なお、立体テレビ放送専用に放送波を増やすことは現状では困難であるため、現行の２Ｄ放送波に時間を割り当てて３Ｄ放送を行う方法や、２Ｄ放送波の中に３Ｄ映像情報を重畳させる方法などが提案されている。

【0006】

３Ｄ放送時間を割り当てる方法は、３Ｄ放送中は２Ｄ専用機では視聴することができず、３Ｄ受像器を持たない者に不利益を与える。また、３Ｄ映像情報を重畳する方法でも、プリプロ、ポスプロ、演奏所設備、伝送設備、放送所設備等を、全国に亘り全面的に置き換える必要があり、放送事業者にとって経営上の困難が大きい。
さらに、３Ｄ受像器が十分普及するまでは３Ｄ映像のみの放送では事業性がないと考えられ、３Ｄ受像器によって通常の２Ｄ放送を視聴できることが望まれている。

【0007】

特許文献１には、平面画像を立体画像化して表示する技術が開示されている。左右画像を所定の時間間隔で交互に提示することにより立体感を与えることができるという知見に基づくものである。

【0008】

特許文献１に開示された発明は、平面画像の原画から奥行きが同じ位置の輪郭を切り出し、これを実空間と対応付けた画像空間のレイヤに配置することにより、輪郭を等高線状に重ねた立体地図のようにして、仮想カメラにより右眼画像情報と左目画像情報を形成し、得られた右眼画像情報と左眼画像情報を０．０３３秒から０．３秒で交互に切り換えて表示することにより、両眼視差による立体感を実現し、運動視差（motion parallax）によって立体感を強調するようにしたと述べている。左右画像の切り換えは、眼の残像効果を利用するために適切な時間間隔で行われる。

【0009】

特許文献１に開示された発明により、平面画像を加工して立体感を与える静止画像として提示することができるが、このままでは逐次的に動画を立体化することはできず、テレビ放送される映像を基にして立体映像化することは困難である。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２００８−１５３８０５号公報

【非特許文献】

【0011】

【非特許文献1】林部敬吉「心理学における３次元視研究の動向：２００６」静岡大学情報学研究。１２，ｐｐ．３１−５５，２００７／０６／２６

【非特許文献2】白岩史、林武文「運動視差からの奥行き知覚における眼球運動の役割」関西大学情報学部紀要［情報研究］第３１号，２００９／０７

【発明の概要】

【発明が解決しようとする課題】

【0012】

本願発明の解決しようとする課題は、従来形式の２次元映像放送波を受信し３次元映像化して表示するテレビ受像器を提供することである。さらに、３次元映像化しないときには２次元映像を表示することができるテレビ受像器を提供することである。

【課題を解決するための手段】

【0013】

本発明に係る２次元映像の立体映像化表示装置は、２次元映像受信部、フレーム選択部、多視点映像信号生成部、立体映像表示部で構成され、２次元映像受信部で２次元映像放送を受信し、フレーム選択部で動画を形成する基準フレームに対して所定時間をおいた参照フレームを選定し、多視点映像信号生成部で基準フレームと参照フレームを画素水準で比較して画素領域の時間的ずれを算出して速度ベクトルとし、これを基準フレームで発生する運動視差として、両眼視差に対応させ、基準フレームにおける運動視差に基づいて奥行き情報を生成し、これを元にして基準フレームの映像中の部分に対して参照フレームの映像中の対応部分を奥行き情報に合わせて水平に配置し、基準フレームと合わせ３個以上の視点から見る多視点映像信号を形成して多視点映像を形成し、さらに、立体映像表示部でこの多視点映像信号を立体映像表示部に入力して３次元映像を表示する。

【0014】

裸眼立体表示方式によるときは、レンチキュラレンズパネルなどを使った立体映像表示装置に、生成した多数の多視点映像を供給することで、裸眼で立体映像を視ることができる。
また、２眼式立体表示方式によるときは、左右眼視差画像により立体視する立体映像表示装置を用い、複数の視点映像から奥行きの見えを考慮して、適宜の時間間隔を持った視点映像を選択し左右の眼にそれぞれ提供する。選択した視点映像の信号を立体映像表示装置に入力して、一方の眼に一方の視点映像を、他方の眼に他方の視点映像を供給することで立体表示が可能になる。

【0015】

対象物が静止している場合の２次元映像では、両眼でこれを見るときの輻輳角は画面位置を見るときと同じであり、対象物は画面表面と同じ奥行きに位置するように見える。しかし、対象物が運動しているときは、基準フレームとこれに対して時間的ずれを持った参照フレームとの間で運動視差が生じ、これを活用することで画面中の位置が異なる両眼視差に対応させることができ、複数の視点映像を一方の眼に、異なる多視点映像を他方の眼に与えると、実世界において両眼で対象物を見るときの光を再現できて、対象物の映像は画面表面とは異なる奥行き位置にあるように見え、現実に近い立体感が生じる。

【0016】

このようにサンプリングした光によって再生された視点映像によれば、あたかも現実の光景を見ているかのような視覚効果を得ることができる。右眼と左眼には異なる２つ以上の視点映像(光線再生光)を入れることが望ましく表示パネルの性能に依存することになる。パネルの性能を上げてより多くの映像を与えるようにすれば、より高い視覚効果を得ることができる。従来のレンチキラー方式の裸眼立体視は、サンプリング数が少ない場合に当たる。

【0017】

なお、人の視覚システムが奥行き知覚を構成する要素は、時系列に発生する映像にしたがった両眼視差（空間的ずれ）と、運動視差（時間的ずれ）、さらに先験的知識要因などであると考えられている。運動視差は、網膜上の、相対的な「時間的ずれ量」に基づいて得られる視差情報であり、奥行き・運動知覚を与えることが知られている。本発明者等は、非特許文献１に記載されているプルフリッチ効果（Pulfrich Effect）現象の真因を突き止めて、それを活用することで運動視差を両眼視差に対応させることができることを発見した。本来、人が持っている視覚システムが行う立体視処理を有効に活用することにより、本発明がなされたものである。本願発明において、時間的ずれを空間的ずれに変換する処理によって両眼視差に変換した３Ｄ情報として視覚システムに与えることにより、人に奥行き知覚をもたらすことができる。

【0018】

本発明の立体映像化表示装置は、基準フレームに付与される運動視差に基づいて、画面中の位置が異なる時間的ずれを空間的ずれに対応させることにより、多視点映像を生成して、左右眼網膜上に提示する。視聴位置に対応した網膜上の映像のずれに基づく両眼視差により奥行き感を与えるもので、両眼視差と運動視差、および先験的知識要因の加算的協働作用により、奥行き知覚をより強調した立体感を生じさせることができる。

【0019】

本発明に係る２次元映像の立体映像化表示装置は、２次元映像放送の動画を形成するフレームから選択した基準フレームと参照フレームに基づいて複数の視点映像信号を生成して、立体映像表示器に３次元映像を表示するもので、少なくとも、２次元映像放送の映像中で位置に変化がある対象については、積極的に立体化表示するので、人は裸眼で立体映像を楽しむことができる。なお、人は、一度立体視を体験することで、熟知的要因が機能し、立体視を可能とする視覚システムが存在するため（一例がHollow Face効果）、立体視化する対象が広がることになる。

【0020】

本発明の立体映像化表示装置は、フレーム同期部を備えて、基準フレームと参照フレーム、および新たに生成される奥行き情報マトリクス(奥行き映像)とそこから生成される多視点映像は、それぞれの映像画面を同期化して同じタイミングで提示するようにすることが望ましい。

【0021】

本発明の立体映像化表示装置は、動きベクトル算定部と奥行き量制御部を備えて、立体映像に表れる奥行き量を適宜に調整できるようにすることができる。
動きベクトル算定部は、画像中に表示された各要素について基準フレームと参照フレームにおける位置を追跡して両フレーム間の画素領域における移動量を算出し、要素の動きベクトルを算定する。
奥行き量制御部は、望ましい奥行き表示に適合するような基準フレームと参照フレームの間のフレーム差ｎを選択して指定する。

【0022】

立体映像表示器に用いる裸眼立体表示パネルは、通常それ自体が、パネル面を基準として前面側にＮｃｍ、後面側にＦｃｍの奥行き表示能力を持っている。表示装置の使途によって、この奥行き表示能力をどう活用するかが決まる。たとえば、立体映像の迫力を重視するエンターテインメントなどの用途には全領域の活用を図ることがよい。しかし、医療用には、術者が通常行う裸眼（医療用ルーペを介したものも含む）での執刀と同じリアルな現実空間で提供することが疲労の少ないシステムであるべきことを考慮して、後面側奥行きＦｃｍのみを利用するのが一般的である。

【0023】

本装置では、日常的にテレビ放送を視聴することを前提として、長時間の視聴に耐える眼に優しいより自然な表現を実現して視聴者の疲労を抑えるため、医療用と同じく後面側奥行きＦｃｍを利用してもよい。
後面側の奥行きＦｃｍの範囲に映像を収めるため、パネルの基準面、すなわち奥行き量０ｃｍの位置に動きベクトル水平成分中の期待される最大スカラー量の部分を配置し、その他の部分を基準面より後ろ側に配置するようにする。

【0024】

具体的には、映像中の最遠景を最奥に配置するために、基準フレームと参照フレームから生成される奥行き情報マトリックスを奥行きＦｃｍに対応するよう最適化する。
奥行き情報となる変位量が、基準フレームと参照フレームの要素同士について見た動きベクトルの水平成分の最大スカラー量より大きくなるとパネル面より前方に突出する映像となるので、たとえば基準フレームと参照フレームのフレーム差ｎから算出される視差情報を案配するなどの方法で調整する。

【0025】

本発明の立体映像化表示装置では、参照フレームを選定する時間差として０秒あるいはフレーム差０を指定することにより、左右眼には同じ映像がもたらされるので、簡単に元の２次元映像が視聴できる。したがって、必要に応じ通常の２次元映像と一部を立体映像化した映像とを切り換えて利用することもできる。
また、フレーム差ｎを選択することにより、あるいは基準フレームに付与される動きベクトルのスカラー量を拡大縮小することにより、好みに応じて奥行きを深くしたり浅くしたり調整することができ、さらに動きベクトルの水平成分を算定して評価することにより、対象物の移動速度に応じて奥行き量をＦｃｍまたはＦ＋Ｎｃｍ以内に最適化する自動処理により奥行きを調整することもできる。さらに、フレーム差が１で奥行き量がパネルの奥行き表現を超えるような速い動きのある映像入力に対しては、当該動き量の除去または圧縮処理があってもよい。
また、画面中の立体映像化する領域を指定する機能を付帯させてもよい。

【0026】

なお、本発明の立体映像化表示装置は、水平方向における異なる適宜な数の視点から見た映像、すなわち視点映像を提示することにより、視聴者が立体化して観察することができる多眼式の立体映像表示装置に代えて、２眼式の立体映像表示装置を用いてもよい。ｍ個視点の裸眼式立体映像表示装置を使用するときは、視点映像生成部を備えて、基準フレームと参照フレームからｍ−１個の多視点映像を形成し、基準フレームと多視点フレームの合わせてｍ個のフレームを提示するようにすればよい。

【発明の効果】

【0027】

本発明の２次元映像の立体映像化表示装置は、従来型テレビ放送における２次元映像を加工して３次元映像化して３Ｄ受像器に表示することにより、視聴者に映像の立体視をもたらすことができる。これにより、放送事業者に新たな負担を与えることなく、視聴者が臨場感に溢れる立体映像を観察することができるようになった。

【図面の簡単な説明】

【0028】

【図1】本発明の１実施例に係る２次元映像の立体映像化表示装置の構成を示す概念図である。

【図2】本実施例の立体映像化表示装置におけるフレーム選択の概念を説明する図面である。

【図3】本実施例の立体映像化表示装置におけるフレーム選択の概念を説明する図面である。

【図4】左右眼に別々に与える映像中で、被写体が運動により変位することを説明する図面である。

【図5】左右眼に別々に与える映像中で、カメラの移動により被写体が変位することを説明する図面である。

【図6】対象物の動きに伴う動きベクトルについて説明する図面である。

【図7】映像中の対象物の動きベクトルの方向が反転する現象を説明する図面である。

【発明を実施するための形態】

【0029】

本発明に係る２次元映像の立体映像化表示装置は、従来技術に係る２次元のテレビ放送信号などを受信して、プルフリッチ効果を活用することで動画における網膜上の相対的な「時間的ずれ量」に基づいて左右眼視差像を生成し、映像全体またはその一部を立体化して表示する。
テレビ放送波は、たとえば、１秒間に３０フレーム（インターレース方式では、たとえば１秒間で６０フィールド。本発明の技術においてはフレームとフィールドの働きに差が無いので、本明細書では「フレーム」で代表することにする。）のフレーム列として画像信号を送信する。

【0030】

通常の放送波が搬送するテレビ映像は２Ｄ映像であり、被写体の奥行き情報を持っていない。しかし、被写体がカメラに対して運動したり被写体に対してカメラが移動したりすると、２Ｄ映像中の異なるフレームの画面中の被写体の位置が変化して、被写体の像に時間的ずれが生ずる。

【0031】

そこで、基準となるフレームの画像をたとえば左眼画像とし、これに対して所定の時間をおいた参照フレームから生成された多視点映像の一つを選択して右眼画像として、この水平方向にずれた影像を左右眼に振り分けて供給する。すると、ある被写体を両眼で見るときの輻輳角が、基準フレーム画面上の被写体を見るときの輻輳角と異なるため、被写体の像が表示画面に対して奥行き方向に変位して見えるようになり映像に立体感が付与される。

【0032】

このようにして形成された被写体に対する仮想的な左右眼の輻輳角が、２Ｄ映像を表示する画面を見るときの輻輳角より大きければ画面より浮き出て見え、それより小さければ引っ込んで見える。さらに、たとえば、被写体の変位量が大きく輻輳角の差が大きければ、奥行き量が大きく見え、遠くの物は小さく見え同じ動きならば遠くのものは遅く見えるなどの先験的知識要因を活用して映像に立体感をもたせることができる。
そこで、上記に従って形成した仮想的な左右眼視差映像を３Ｄ表示装置で左右眼のそれぞれに対応するように提示すれば、３Ｄ表示装置を見る人は、先験的知識要因に基づいて映像中の動きのある部分から画面全体が立体化した映像として観察することができる。

【0033】

輻輳角は２つの画像における被写体の水平方向偏差に基づいて形成される。被写体の移動速度が変わらなくても、映像中の被写体位置の変動量は動画におけるフレーム送り数により変化する。１秒間に３０フレーム切り換えて動画を形成する場合、たとえば６フレーム差がある２つの画像において同じ対象物の位置変化を検出した時間的ずれを空間的ずれに対応させることにすると、０．２秒における移動量にもとづいて、左右視差映像を生成することになる。輻輳角が大きければ手前に近づき、輻輳角が小さければ向こう側に遠ざかる。２つの画面中で同じ位置に表される対象物の輻輳角は表示パネルの表示面と左右瞳孔との間の距離関係で決まる角度である。２つの対象物の奥行き量の差はこの輻輳角の差により認識される。
また、被写体の奥行き量が大きすぎるときには２つの画像のフレーム差を小さくし、奥行き量が小さすぎるときにはフレーム差を大きくする調整により、奥行き量を適正化することができる。

【0034】

なお、映像中の対象物の立体視は両眼視差に基づくものと運動視差に基づくもの、および先験的知識要因による認識とに基づいて、対象物の奥行き知覚を生起させることができる。プルフリッチ効果は、一方の眼に暗いメガネを当てることにより知覚遅延を起こさせて、立体視化を具現させている。しかし、本発明の立体映像化装置では、左右眼に視差量の異なる映像を別々に選択すること、または複数の光線を多視点映像として再生することにより、直接的にこの遅延量を視差に変換し両眼視差を生じさせることができる。

【0035】

ところで、人が動く事物を観察するときには、対象物が同じ量だけ移動しても、近い対象物では網膜上で大きく変化し、遠い対象物では小さく変化する。
人は、先験的知識に基づいて、視界が移動するときに大きく動く物を近くに、また小さく動く物を遠くにあるものと認識する。したがって、画像中の各物体がそれぞれ異なる動きをすることにより、それぞれの奥行き感が形成される。
また、人の視覚システムは、特に動くものに対して追跡して注視することにより明瞭に対象物を理解しようとする。そのために頭部の運動や、眼球運動による追随運動が発生し、この追随運動こそが運動視差による安定した奥行き知覚を実現する。

【0036】

非特許文献２にも、先験的知識を活用し、注視点を中心にそれより近い物は早く遠い物は遅く、を基準として対象を認識すること、すなわち、映像中の対象物を追跡した際の網膜上の変位である相対的な速度変化ベクトルは、注視点より近い物と遠い物では先験的知識に反した事象が発生した場合もHollow Face錯視(熟知性要因)により認識することが記載されている。
このように視野の中で物の像が動くとき、視聴者に運動視差に基づく立体感を与えることができ、より意味解釈が強く働くように上記で得られる速度ベクトルをスカラー量に変換し、さらに先験的知識を逸脱する情報のフィルタリングを行うことが知られている。

【0037】

非特許文献２によれば、運動視差は、網膜上の相対的な速度差に基づき、対象物と注視点の速度差および注視点と観察者の速度差に基づいて発生するものであるが、速度差は相対的であるため奥行き知覚は不安定である。
また、観察者あるいはカメラが注視点に対して移動して観察する場合は、頭部の回転や眼球の回転などから生まれる注視点の追随運動と網膜上の相対的な速度差の合成が安定的な奥行き知覚を出現させ、奥行き知覚が安定化する。
また、非特許文献２は、運動視差から安定した奥行き知覚をするには、対象の先験的知識（熟知性要因）と追随理論が必要であることを指摘している。

【0038】

本発明に係る２次元映像の立体映像化表示装置においても、注視対象物の追従によって奥行きは反転せず安定した立体化を達成することができる。動きベクトルの水平成分について、その最大値をベースとして正規化し全ての動きベクトルを水平成分の動きスカラー量として評価する。これにより、映像中の全ての対象物について水平方向の動きスカラー量が同じ符号で表されて移動方向の反転がなくなり、奥行き知覚を安定化させることができる。
本発明の立体映像化表示装置では、プルフリッチ効果に基づく両眼視差にあわせて、運動視差、および先験的知識要因などを利用して、映像の立体感を増進する。

【0039】

以下、実施例に基づき、本発明に係る２次元映像の立体映像化表示装置について、図面を参照しながら詳しく説明する。

【実施例1】

【0040】

図１は、本発明の１実施例に係る立体映像化表示装置の構成を示す概念図である。
本実施例の立体映像化表示装置１００は、図１に太枠で示す、２次元映像受信部１、フレーム選択部２、多視点映像信号生成部３、立体映像表示部４で構成される。
また、本発明の立体映像化表示装置１００は、図１に細枠で示すフレーム同期部５を付帯してもよい。さらに、動きベクトル算定部６、奥行き量制御部７、奥行き量指示部８、２Ｄ／３Ｄ切替部９、立体化領域指定部１０を備えることができる。

【0041】

２次元映像受信部１は、通常の２Ｄテレビ放送における放送波を受信する。受信した２Ｄ映像は、画像メモリに格納される。
フレーム選択部２は、画像メモリに格納されたフレーム列から表示対象の映像を記録した基準フレームを選択し、さらに基準フレームに対して適度な時間間隔をおいた参照フレームを選択する。

【0042】

図２は、フレーム選択の概念を説明する図面である。２Ｄ映像の動画を形成するフレーム列から基準フレームと参照フレームが所定数ｎのフレーム差をもって選択される。
基準フレームは、通常の２Ｄ映像で表示されるはずのフレームを選択したものである。参照フレームＲとして、第ｉ番目の基準フレームＢに対してｎフレーム分先行した第ｉ−ｎ番目のフレームが選択される。標準フレームＢと参照フレームＲから画素単位で映像中の部分の移動方向と移動を算出することにより動きベクトルとしての奥行き情報が算出される。

【0043】

フレーム差ｎは適宜に選択される数で、適当な奥行き知覚を得るために調整することができる。高速で運動する対象物に対してはフレーム差１であっても、適度な奥行き知覚を与えることができ、低速運動するものでも、たとえばフレーム差１０など大きな値を選択することにより適度な奥行き知覚を与えることができる。ちなみに、フレーム差０とすれば、左右眼に同じ映像を与えて元の２Ｄ映像を視聴させることができる。
なお、基準フレームに先行するフレームから参照フレームを選択するのは、基準フレームを選択したときに直ちに多視点映像信号を生成する演算工程を実行できるようにするためであるが、時間的に余裕があるときには、基準フレームより遅延するフレームから選択してもよい。

【0044】

多視点映像信号生成部３は、選択された基準フレームと参照フレームの映像から各画素領域について奥行き情報を計算し、基準フレームの映像中の部分に対して参照フレームの映像中の対応部分を奥行き情報に合わせて配置して立体化映像となし、これに基づいてたとえばｍ個の各視点からの立体映像を形成することにより多視点映像信号とし、画像メモリを介して立体映像表示部４に供給する。
フレーム選択部２と多視点映像信号生成部３は、一体の高速演算処理装置で構成することができる。

【0045】

立体映像表示部４は、立体映像表示装置を一つ以上備え、サイドバイサイド映像やＬ／Ｒ映像の３Ｄ映像信号を用いて多視点映像を生成する機能を有する。本実施例の立体映像化表示装置１００は、インテグラルフォトグラフィ方式、あるいはパララックスバリヤやレンチキュラーレンズなどを用いた裸眼用立体映像表示器４−１を利用して、水平方向に異なる視点から得られるｍ個の映像をそれぞれの視線の方向に放出するものを視聴者が観察して立体像を得るようにすることができる。

【0046】

裸眼用立体映像表示器４−１によれば、裸眼による長時間の視聴に耐え、より快適な映像鑑賞が可能である。これにより、視聴者の観察位置が表示装置の真正面に無くても、また水平方向に変動しても、正常な立体視が可能になる。また、視聴者の視聴位置または視対象物の動きに合わせた追随運動により異なる映像を得て、運動視差による立体視化がより円滑に行えるようになる。
なお、偏光方式やシャッター方式の立体メガネを用いて左右視差像を見るようにした、より簡便な方式の二眼式立体映像表示器４−２を使用することも可能である。

【0047】

立体映像表示部４が複数の立体映像表示器を備えるときは、視点映像選択部１３をさらに備えて、多視点映像信号生成部３が立体映像表示器のそれぞれに対応する左右眼視差映像信号を生成するようにすると共に、その時々に選択された立体映像表示器に対応する左右眼視差映像信号を選択して立体映像表示部４に供給する。

【0048】

図３は、２Ｄ映像信号を用いて立体映像化する原理を説明する図面である。
２Ｄ映像を両眼で観察するとき、注目点Ａが静止していれば、左右眼に同じ画像が供給されるので、観察者と映像の距離に基づいて左右眼の輻輳角θが決まる。
しかし、注目点Ａが運動するときに、移動前の位置Ａにおける対象物の映像を左眼に与え、所定時間後にたとえば左にずれた図中点線で示す位置Ａ'の映像を右眼に与えると、網膜に写る像の位置に空間的ずれが生じて両眼視差が発生し、両眼で注目点を見込む視線が移動前の対象物を見るときより手前で交差するので、輻輳角θ'は移動前の位置Ａを見込むときより大きくなって、対象物が手前側に近づき図中の位置Ａ"にあるように見える。このように、移動前の映像を一方の眼に移動後の映像から算出される視点映像を他方の眼に与えることにより、映像に奥行き感覚が生じて立体化して見えるようになる。
この現象は、静止している対象物に対して撮像装置を移動させた場合にも同等に生じる。

【0049】

また、網膜上に写る対象物の映像が運動するとき、網膜上の対象物と注視点の映像の相対的な速度差に基づいて運動視差が生じる。運動視差により、たとえば高速移動する対象物はより近く、低速移動する対象物はより遠くにあることを認識する。しかし、速度差は相対的であるため奥行き知覚は不安定である。
なお、観察者あるいはカメラが注視点に対して移動して映像を形成する場合は、頭部の回転や眼球の回転などから生まれる注視点の追随運動と網膜上の相対的な速度差の合成が安定的な奥行き知覚を出現させ、奥行き知覚が安定化する。

【0050】

さらに、人の視覚システムは、先験的知識を活用することにより、注視点を中心にそれより近い物は早く移動し遠い物は遅く移動するとして対象を認識したり、先験的知識に反した事象が発生した場合もHollow Face錯視(熟知性要因)により先験事象と矛盾しないように修復して認識することができる。
このように視野の中で物の像が動くとき、視聴者に運動視差に基づく立体感を与えることができる。

【0051】

このように、人が映像から両眼視差により視取る立体感には、安定した奥行き量を感得することができる。
本実施例の立体映像化表示装置は、これら両眼視差や運動視差および先験的知識要因などの機構を加算的に複合することにより、人に適宜な立体感を持たせるようにしたものである。

【0052】

図４と図５は、左右眼に別々に与える映像中で、被写体が変位する原因を例示する図面である。映像中の対象物の変位は、図４に示すように、対象物自体の運動に基づく場合があり、また、図５に示すように、静止する対象物に対してカメラの撮影アングルが変化する場合もある。

【0053】

図６は、動きベクトルに係る説明をする図面である。図では立体映像化の原理を説明するため、変位量を誇張してある。
たとえば、図６に示すように、近づいてくる列車について、基準フレームに映し出された映像と、基準フレームに対して所定の時間差をもって提供される参照フレームにおける映像をそれぞれ左右眼に視差映像として提示すると、基準フレームと参照フレームとの間で対象物の位置が異なる分だけ輻輳角の異なる静止画像面を観察することになる。このとき異なる輻輳角に応じて、輻輳点に対して奥行き方向に偏差が生じて、対象物の像が浮き出たり引っ込んだりして見える。

【0054】

両眼視で知覚される奥行き量は、基準フレームと参照フレームにおける対象物の水平方向の移動量に比例するから、両フレームにおける対象物の像の間で算定される動きベクトルの水平成分として得られるスカラー量に対応させることができる。
基準フレームと参照フレームの間における対象物の位置を見ると、撮影位置に近い部分では変位量が大きく遠い部分では変位量が小さい。したがって、本方式による両眼視を行ったときに、近い部分の輻輳角が大きく基準面から大きく浮き出す一方、遠い部分の輻輳角は小さく浮き出し量が小さくなり、列車の映像が立体化する。

【0055】

対象物が動く速度が速すぎるときは、基準フレームと参照フレームの時間差を短く取り、遅いときは時間差を大きく取って、奥行き量を調整することが好ましい。このため、画像中の物体の運動速度を評価して、最速の物の速度に合わせて適切な時間間隔を設定したり、速度スカラー量の拡大縮小をしたりできるように構成されている。
さらに、画像表示装置のフレーム周波数に対して対象物の動きが著しく速い場合には、立体表示装置の立体表示能力を逸脱しないように、対象物が映り込んだ画素領域の速度スカラーを削除したり圧縮したりすることが好ましい。

【0056】

本実施例に係る立体映像化表示装置１００によれば、通常の２Ｄテレビ放送映像信号を受信して、画像中で水平方向に動きがある被写体について、擬似的な左右眼視差像を形成して、立体映像表示器４に表示することができる。したがって、視聴者は、通常の２Ｄ放送映像において、少なくとも画面中で移動する部分について立体的に感得することにより、臨場感を持った迫力のある映像を鑑賞することができる。

【0057】

なお、この手法による立体化映像表示方式は、従来普通に使用してきた２Ｄ放送信号を処理して映像信号を生成するため、映像を提供するテレビ放送システムに何ら変更を必要としない。このため、従来、立体テレビ放送を商業化する上で障害となっていた、高コストの放送局施設の改変や新規開発が必要な立体映像放送手法などの経済的困難や技術的困難を問題とすることなく、視聴者が立体化放送を楽しむことができる。

【0058】

また、本実施例に係る立体映像化表示装置１００は、視聴者がより自然な立体映像を視聴できるようにするため、フレーム同期部５を備えてもよい。
フレーム同期部５は、参照フレームをそのままのタイミングで提供するのではなく、ｎフレーム分遅れた基準フレームと同期させて同じタイミングで提示するように調整する。なお、基準フレームと参照フレームの時間差が僅少で視聴者が観察する立体化映像に大きな違和感が生じない場合でも、それぞれの映像画面を同期化して供給することが好ましい。また、多視点映像の生成プロセスでも処理に時間が必要であるため、遅れを補償するために同期化することが望ましい。

【0059】

本実施例に係る立体映像化表示装置１００は、さらにフレキシビリティを向上させてより快適な立体映像を提供するために、奥行き量制御部７と動きベクトル算定部６を備えて、映像の奥行き量を適宜に調整できるようにすることができる。
なお、フレーム同期部５、奥行き量制御部７および動きベクトル算定部６は、フレーム選択部２と多視点映像信号生成部３と共に、一体の高速演算処理装置で構成することができる。

【0060】

奥行き量制御部７は、望ましい奥行き表示に適合するような基準フレームと参照フレームの間のフレーム差ｎを選択して指定する。
動きベクトル算定部６は、画像中に表示された各要素について基準フレームと参照フレームにおける位置を算出して両フレーム間における移動を追跡し、要素の動きベクトルを算定する。動きベクトルの水平方向成分は、左右眼視差と対応する奥行き情報を生成するものとなり、カメラの水平移動に置き換えることもできる。

【0061】

望みの奥行き量を得るために、動きベクトルの水平成分量を調整することができる。奥行き量は対象物の左右視差に対応し、基準フレームと参照フレームのフレーム差ｎが決まると、映像中の対象物の運動速度にしたがって変化する。そこで、いったん選択されたフレームについて実際に受信した映像から得られた動きベクトルを評価した結果を奥行き量制御部７にフィードバックし、映像中の移動速度に従って望ましい立体感を与える適当なフレーム差ｎを選定し直すことができる。

【0062】

立体映像表示部５は、視聴者の瞳孔間距離や視聴者と表示面との距離などと関連して、たとえば画面前方にＮｃｍ、画面後方にＦｃｍなど、機器固有の奥行き表示能力を持つ。したがって、この奥行き表示能力に対応して、最大奥行き量と最小奥行き量の間のレンジが（Ｆ＋Ｎ）ｃｍの間に収まるように調整することが必要になる。

【0063】

たとえば、一部の対象が高速運動するため動きベクトルの水平成分のスカラー量が大きすぎるときは、２つのフレームの間のフレーム差ｎを小さくしたり、移動量を比例配分した映像を形成したりすることにより、飛び出し量が最大になる部分について奥行き量を適度な値にして、立体映像表示部５の奥行き表示レンジに最適化するようにすることが好ましい。

【0064】

さらに、飛びぬけて大きい動きベクトルや小さい動きベクトルが、出力頻度の高い中間値を持つ動きベクトルにおける立体感を過度に抑制することがないよう、ガンマー特性やＳ字トーンカーブを活用したフィルターなどを用いた非線形圧縮部１１を設けてベクトル値の偏差値σまたは２σ、３σから外れるベクトルを非線形的に圧縮したり、奥行き量を０とおいて削除するようにしてもよい。

【0065】

なお、実際の映像では、注視点より遠い物体と近い物体では実際の移動方向が同じであっても網膜に写る映像中の移動方向は反転する現象がある。
図７は、映像中の対象物の移動方向が反転する現象を説明する図面である。
たとえば、左から右に向かって移動するカメラで、長く続く塀の中間に設けた注視点に焦点を合わせて撮影した場合など、注視点より左の部分が視野の中で注視点より左側に移動するのであれば右の部分は右側に移動する。したがって、塀の左右では被写体の動きベクトルは水平方向に向きが反転することになり、スカラーで評価すると正負に分かれた値となる。

【0066】

このような場合にも立体映像表示部５の奥行き表示能力に対応するために、画像中の各要素について動きベクトルを算定して、最多数のスカラー量が存在する範囲に非線形圧縮するまたは切り捨てる処理を行って、水平成分のスカラー量の最大値と最小値の差が（Ｎ＋Ｆ）ｃｍに対応するレンジに収まるように調整する。

【0067】

劇場型娯楽などでは、迫力のある映像として画面の前方に飛び出してくる立体映像が好まれるが、長時間に亘って視聴する通常のテレビ放送や、眼精疲労を嫌う業務用の立体映像では、立体映像の奥行きが画面の後方に現れるように構成することが好ましい。

【0068】

本装置では、日常的にテレビ放送を視聴することを前提として、長時間の視聴に耐える眼に優しいより自然な表現を実現して視聴者の疲労を抑えるため、医療用と同じく後面側奥行きＦｃｍのみを利用するように構成することができる。このため、本実施例の奥行き量制御部７には、用途や目的に合わせて、全ての対象物が画面の後ろ側に表示されるように調整する機能を持たせている。

【0069】

立体視化したときの飛び出し量は、画面中の対象物毎、要素毎に異なり、水平方向移動量に従って決まる。そこで、画面中の要素について動きベクトルの水平成分を算定して最も大きい値を見出し、その部分に対する輻輳角が表示画面表面の輻輳角を越えないように調整する。

【0070】

このため、映像中の最遠景であって輻輳角が最小になる対象を最奥に配置するように、基準フレームと参照フレームを奥行きＦｃｍに対応する分としてｄｃｍだけ水平方向に変位させる。すると、基準フレームと参照フレーム中の各要素は、動きベクトルの水平成分からｄｃｍ差し引くことにより、フレームの提示位置が調整された後の輻輳角が決まる。

【0071】

この修正された輻輳角が表示画面表面の輻輳角より大きくなる部分があるときには、この部分が表示面より前方に突出して見える映像となるので、たとえば基準フレームと参照フレームのフレーム差ｎを按配するなどの方法で最前景の要素の動きベクトルの水平成分を調整する。
このようにして得られた立体化映像は、全ての対象が表示面より後ろに見えて、眼に優しい３次元映像として表示装置に表示される。

【0072】

奥行きマトリックス生成部１２は、基準フレーム内の画素領域について上記調整後に得られた動きベクトルの水平成分のスカラーを要素とする奥行きマトリックスを収納する。奥行きマトリックスは、奥行き情報として多視点映像信号生成部３に与えられて、多視点映像信号を形成するときに利用される。

【0073】

なお、奥行き指示部８を備えて、奥行き量制御部７に奥行き量を任意の値に固定する指示をマニュアルで出せるようにしてもよい。奥行き量は、フレームの提示位置の偏差量ｄｃｍや、基準フレームと参照フレームのフレーム差ｎや、動きベクトルの比例配分により、指定することができる。なお、奥行き量のマニュアル指示をするときには、動きベクトル算定部６からフィードバックされる動きベクトルの水平成分スカラー量に基づくリミッター機能だけを働かせて自動調整を行わないようにすることが好ましい。

【0074】

また、２Ｄ／３Ｄ切替部９を備えて、視聴者が適宜に選択できるようにしてもよい。本実施例に係る立体映像化表示装置１００は、２Ｄ放送波を捉えて時間的に変化する映像を左右眼視差像として提供することにより３Ｄ映像化するものである。そこで、奥行き量制御部７に対して比較する基準フレームと参照フレームのフレーム差をゼロとする指示を与えることにより、立体表示装置の左右眼視差映像として同じ映像を提示して元の２Ｄ映像を表示させることができる。なお、フレーム差をゼロとする指示は、フレーム選択部２に直接与えるようにしてもよい。

【0075】

２Ｄ／３Ｄ切替部９により、視聴者は、好きなときに２Ｄ放送と３Ｄ映像化放送を選択して鑑賞することができる。２Ｄ放送を選択すれば、放送局が提供する元の番組をそのまま視聴することになる。
なお、番組編集で画面が切り替わるときには、２Ｄ映像に連続性が無くなるので、基準フレームと参照フレームで同じ被写体が写っておらず、両眼視差映像を形成することができず違和感を与える。このため、カット変り検出器１４を備えて、２次元映像受信部１から入力する映像信号出力に基づきカット変わりを監視して、カット変わりを検出したときにはフレーム選択部２に指示を与えて３Ｄ映像化を中断するようにすることが好ましい。

【0076】

さらに、本実施例の立体映像化表示装置１００は、立体化領域指定部１０を備えて、映像中の適宜の領域を限って立体映像化するようにすることができる。
人が観察したい注目部分があるときは、観察目的を乱さないため、それ以外の被写体を立体表示しないようにしたいことがある。このようなときには、立体化領域指定部１０を介して動きベクトル算定部６に映像中の立体化する領域を指定して演算対象とする部分を限定することができる。立体化する領域以外の部分は、基準フレームと映像を左右両眼に提示すれば、２Ｄ映像のまま観察することになる。

【産業上の利用可能性】

【0077】

本発明の立体映像化表示装置は、通常のテレビ放送を受信した受像器で３Ｄ映像化して表示するため、従来のテレビ放送システムに何ら変更を加えることなく、２Ｄ放送と共存するものとして利用することができる。
また、医療系システムでは、内視鏡、超音波機器、カテーテル、ＭＲＩなど、多くの医療機器が２Ｄ映像を使用しているが、本発明に係る装置により立体映像にすることで、患部を正確かつ迅速に把握することができ、より確実な施術が可能になる。

【符号の説明】

【0078】

１００ 立体映像化表示装置
１ ２次元映像受信部
２ フレーム選択部
３ 多視点映像信号生成部
４ 立体映像表示部
４−１ 裸眼用立体映像表示器
４−２ 二眼式立体映像表示器
５ フレーム同期部
６ 動きベクトル算定部
７ 奥行き量制御部
８ 奥行き量指示部
９ ２Ｄ／３Ｄ切替部
１０ 立体化領域指定部
１１ 非線形圧縮部
１２ 奥行きマトリックス生成部
１３ 視点映像選択部
１４ カット変り検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】