特許 5791328 ３Ｄ画像処理方法及び３Ｄ画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5791328

(24)【登録日】2015年8月14日

(45)【発行日】2015年10月7日

(54)【発明の名称】３Ｄ画像処理方法及び３Ｄ画像処理装置

(51)【国際特許分類】

   H04N 13/00 20060101AFI20150917BHJP

   H04N 13/02 20060101ALI20150917BHJP

   G09G 5/36 20060101ALI20150917BHJP

【ＦＩ】

   H04N13/00 070

   H04N13/02 710

   G09G5/36 510V

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2011-76719(P2011-76719)

(22)【出願日】2011年3月30日

(65)【公開番号】特開2012-212986(P2012-212986A)

(43)【公開日】2012年11月1日

【審査請求日】2014年3月3日

(73)【特許権者】

【識別番号】311012169

【氏名又は名称】ＮＥＣパーソナルコンピュータ株式会社

(74)【代理人】

【識別番号】100084250

【弁理士】

【氏名又は名称】丸山 隆夫

(72)【発明者】

【氏名】中地 廣

【審査官】 岩間 直純

(56)【参考文献】

【文献】 特開平１０−０９８６４６（ＪＰ，Ａ）

【文献】 特開２００７−０５３４９６（ＪＰ，Ａ）

【文献】 特開２００５−１５７６３５（ＪＰ，Ａ）

【文献】 特開２０１１−０２４１２２（ＪＰ，Ａ）

【文献】 特開２００６−０４２２８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００ −

Ｈ０４Ｎ １７／０６

Ｇ０９Ｇ ５／３６

(57)【特許請求の範囲】

【請求項1】

左目用画像と右目用画像とからなる３Ｄ画像から、奥行きの共通する複数のオブジェクトに分割した書割画像を作成する３Ｄ画像処理方法であって、
前記左目用画像と前記右目用画像とにおいて同等の色となる面積が最も大きくなるときの横方向のずれ幅であるオフセットを求めるオフセット計算ステップと、
前記左目用画像と前記右目用画像とを前記オフセットだけずらして重ね合わせたときに色の差分の大きな画素を輪郭として抽出する輪郭抽出ステップと、
前記輪郭の１ラインごとに、同等の色となる画素が最も多くなるときの横方向のずれ幅である輪郭ずれ幅を計算する輪郭ずれ幅計算ステップと、
前記輪郭で区切られた領域を前記オブジェクトとして特定するとともに、該オブジェクトの輪郭の１ラインごとに計算された輪郭ずれ幅の平均を、該オブジェクトの奥行きとするオブジェクト奥行き計算ステップと、
前記オフセットと前記オブジェクトの奥行きとに基づいて前記オブジェクトの奥行きの絶対値を計算し、前記オブジェクトごとの画像を切り出す書割画像作成ステップと、を有することを特徴とする３Ｄ画像処理方法。

【請求項2】

隣接する前記オブジェクトについて前記オブジェクト奥行き計算ステップで計算された奥行きが同等のときに、間の輪郭も含めて同じオブジェクトとして結合するオブジェクト結合ステップをさらに有することを特徴とする請求項１記載の３Ｄ画像処理方法。

【請求項3】

前記オブジェクト奥行き計算ステップは、
最も縦に長い前記オブジェクトを基準として奥行き０と仮定する第１のステップと、
奥行きが未決定の前記オブジェクトのうち奥行きが決定している前記オブジェクトと最も長い距離で横方向に隣接する前記オブジェクトを選択する第２のステップと、
前記第２のステップで選択された前記オブジェクトについて、該オブジェクトの輪郭の１ラインごとに計算された輪郭ずれ幅の平均を、該オブジェクトの奥行きとする第３のステップと、
前記第３のステップ終了後に、奥行きが未決定の前記オブジェクトがあるときは、前記第２のステップに戻る第４のステップと、を有することを特徴とする請求項１または２記載の３Ｄ画像処理方法。

【請求項4】

前記輪郭の１ラインごとに、前記輪郭ずれ幅だけずらしたときの、前記左目用画像の輪郭と前記右目用画像との類似度と、前記右目用画像の輪郭と前記左目用画像との類似度と、を比較して、前記左目用画像の輪郭と前記右目用画像との類似度の方が大きいときに、左に隣接する前記オブジェクトが手前にあると推定する前後関係推定ステップをさらに有することを特徴とする請求項１ないし３記載の３Ｄ画像処理方法。

【請求項5】

前記オブジェクト奥行き計算ステップは、該オブジェクトの輪郭の１ラインごとに推定された前後関係の平均に基づいて、該オブジェクトの奥行きを補正することを特徴とする請求項４記載の３Ｄ画像処理方法。

【請求項6】

左目用画像と右目用画像とからなる３Ｄ画像から、奥行きの共通する複数のオブジェクトに分割した書割画像を作成する３Ｄ画像処理装置であって、
前記左目用画像と前記右目用画像とにおいて同等の色となる面積が最も大きくなるときの横方向のずれ幅であるオフセットを求めるオフセット計算手段と、
前記左目用画像と前記右目用画像とを前記オフセットだけずらして重ね合わせたときに色の差分の大きな画素を輪郭として抽出する輪郭抽出手段と、
前記輪郭の１ラインごとに、同等の色となる画素が最も多くなるときの横方向のずれ幅である輪郭ずれ幅を計算する輪郭ずれ幅計算手段と、
前記輪郭で区切られた領域を前記オブジェクトとして特定するとともに、該オブジェクトの輪郭の１ラインごとに計算された輪郭ずれ幅の平均を、該オブジェクトの奥行きとするオブジェクト奥行き計算手段と、
前記オフセットと前記オブジェクトの奥行きとに基づいて前記オブジェクトの奥行きの絶対値を計算し、前記オブジェクトごとの画像を切り出す書割画像作成手段と、を有することを特徴とする３Ｄ画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、3D画像処理方法及び3D画像処理装置に関する。

【背景技術】

【0002】

映像表現において、左右の視差を利用したり、覗き込み角度に応じて表示が変化したりすることにより、3次元的な臨場感を高める技法が存在する。
このような技法について、デジタル放送を3D表示するTV(Television)やPC(Personal Computer)等の画像処理装置に投入された技術について、LR方式の画像をそのまま3D表示する技術や、通常の一枚絵を擬似的に3D表示する技術については、商品化がされてきた。
擬似的に3D化する技法としては、色空間上の境界線(輝度の変化点など)追跡を用いたり、特徴点の分布を解析したり、フォーカスを解析したりすることで、書割を作成することなどが行われている。

【0003】

覗きこみが可能な表示という技術コンセプトについては例えば、特許文献１が挙げられる。
特許文献１に記載の発明は、立体映像生成方法及び立体映像生成装置に関するものであり、具体的には、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定し、所定間隔で複数配置されたカメラで撮影したものに相当する複数の２次元映像のなかで仮想カメラ位置に最も近い位置の２次元映像とその立体視用情報とに基づいて立体映像を生成するものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−２００８１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

LR方式の3D画像であれば、3D表示対応のモニタであれば３次元描画は可能である。
さらに、書割ごとに分割描画することができれば、3D表示の臨場感を向上したり、3D非対応の描画装置でも３Dを演出したりできる。
このとき、LR方式の3D画像には、右目用と左目用の２つのカメラの情報が含まれるため、その差分情報を有効に利用して書割を生成することになる。
しかしながら、特許文献１に記載の発明には差分情報を具体的にどのように利用するかについては言及されていない。

【0006】

そこで、本発明の目的は、差分情報から書割を生成し、3D視聴の臨場感を向上させた3D画像処理方法及び3D画像処理装置を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、請求項１記載の発明は、左目用画像と右目用画像とからなる３Ｄ画像から、奥行きの共通する複数のオブジェクトに分割した書割画像を作成する３Ｄ画像処理方法であって、前記左目用画像と前記右目用画像とにおいて同等の色となる面積が最も大きくなるときの横方向のずれ幅であるオフセットを求めるオフセット計算ステップと、前記左目用画像と前記右目用画像とを前記オフセットだけずらして重ね合わせたときに色の差分の大きな画素を輪郭として抽出する輪郭抽出ステップと、前記輪郭の１ラインごとに、同等の色となる画素が最も多くなるときの横方向のずれ幅である輪郭ずれ幅を計算する輪郭ずれ幅計算ステップと、前記輪郭で区切られた領域を前記オブジェクトとして特定するとともに、該オブジェクトの輪郭の１ラインごとに計算された輪郭ずれ幅の平均を、該オブジェクトの奥行きとするオブジェクト奥行き計算ステップと、前記オフセットと前記オブジェクトの奥行きとに基づいて前記オブジェクトの奥行きの絶対値を計算し、前記オブジェクトごとの画像を切り出す書割画像作成ステップと、を有することを特徴とする。

【発明の効果】

【0013】

本発明によれば、差分情報を利用することにより、3D視聴の臨場感を向上させた3D画像処理方法及び3D画像処理装置の提供を実現することができる。

【図面の簡単な説明】

【0014】

【図1】LR画像（サイドバイサイド画像）の一例である。

【図2】遠方のオブジェクトの描画状態を示す概念図である。

【図3】近傍のオブジェクトの描画状態を示す概念図である。

【図4】面としての前後関係を示す図である。

【図5】面としての前後関係を示す図である。

【図6】（ａ）は、雪だるまのサイドバイサイド画像の一例であり、（ｂ）は、（ａ）のオフセット計算結果の一例である。

【図7】（ａ）、（ｂ）は、輪郭の抽出の一例を示す図である。

【図8】ずれ幅計算の箇所を示す図である。

【図9】図８における領域Ａのずれ幅計算の一例を示す説明図である。

【図10】図８における領域Ｂのずれ幅の一例を示す説明図である。

【図11】図１０の色解像度を上げた一例である。

【図12】オブジェクトの前後関係の計算の一例である。

【図13】書割としての分割の一例(理想形)である。

【図14】（ａ）は、雪だるまを上から見た図、（ｂ）は、雪だるまを左から見た図、（ｃ）は、雪だるまを正面から見た図、（ｄ）は、雪だるまを右から見た図、（ｅ）は、雪だるまを下から見た図である。

【図15】本発明に係る3D画像処理装置の構成例である。

【図16】図１５に示した3D画像処理装置の全体動作の一例を示すフローチャートである。

【図17】図１５に示した3D画像処理装置におけるオフセット計算のフローチャートの一例である。

【図18】図１５に示した3D画像処理装置の輪郭の抽出の動作を示すフローチャートの一例である。

【図19】図１５に示した3D画像処理装置の輪郭ずれ幅の動作を示すフローチャートの一例である。

【図20】図１５に示した3D画像処理装置のオブジェクト奥行き計算の動作を示すフローチャートの一例である。

【図21】図１５に示した3D画像処理装置のオブジェクト結合（統合）の動作を示すフローチャートの一例である。

【図22】図１５に示した3D画像処理装置の書割作成の動作を示すフローチャートの一例である。

【図23】輪郭付近の類似性では前後を誤判定する画像の一例であり、背景が宇宙空間になっている。

【図24】横方向サンプリングによる補正計算のイメージである。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について図面を参照して説明する。
＜実施形態１＞
〔方 法〕
LR画像が差分として含む情報量から、書割を作成するための具体的な方法について説明する。
以下、LR画像自体の技術的な構造について説明する。
図１は、LR画像（サイドバイサイド画像）の一例である。
LR画像は、左目用画像と右目用画像とを並べた画像として構成される。
3Dディスプレイでは、左目用画像と右目用画像とを、偏向・屈折・交互表示とシャッターなどの技術により、それぞれ左目及び右目にだけ移るように、同じ座標に描画する。このとき、左目用画像と右目用画像との視差により、人間の脳が奥行きについて錯覚を起こすようになっている。

【0016】

奥行きによる視差が、本願発明の主要な要素となるため、以下では図を用いて説明する。

【0017】

図２は、遠方のオブジェクトの描画状態を示す概念図であり、図３は、近傍のオブジェクトの描画状態を示す概念図である。図４、５は、面としての前後関係を示す図である。
ある点は、左目と左目画像上の座標を結ぶ直線L1と、右目と右目用画像上の座標を結ぶ直線L2との、交点P1にあるように錯覚される。つまり、より遠方の点は、左目用画像でより左側の点P1aに描画され、右目用画像ではより右側の点P1aに描画される（図２）。
同様に、より近傍の点は、左目用画像でより右側の点P2bに描画され、右目用画像でより左側の点P2aに描画される（図３）。

【0018】

点の位置は視線の交点で決定できるが、点の位置の左側の面が手前にあるか、右側の面が手前にあるか、どちらも同じ距離かについてはモヨウを考慮する必要がある。左側の面が手前にある場合、右目だけに見えるモヨウが存在する(図４)。
同様に、右の面が手前にある場合、左目だけに見えるモヨウが存在する(図５)。どちらの目にも同じモヨウが見えている場合、どちらも同じ距離にある。

【0019】

この錯覚の原理から、図１の例では、背景と比べて雪だるまが手前にあるように錯覚されることになる。
本願では、この左目用画像と右目用画像との描画座標の差分を用いて、奥行きごとの書割を作成するものである。

【0020】

本3D画像処理装置では、LR画像から以下の手順で書割を作成する。
本明細書において、視点変化により画面上の相対位置が並行して変化する画素の集合、つまり同じ奥行きを持つ画像領域、をオブジェクトと呼ぶ。１枚の画像を複数のオブジェクトに分割して表現したものを、書割と呼ぶ。

【0021】

以下、本発明に係る3D画像処理方法の一実施の形態を示す。

【0022】

〔構 成〕
本発明に係る3D画像処理装置の構成例を図１５に示す。
本3D画像処理装置10は、以下の構成から成り立つ。
画像読み込み機能11は、LR方式の3D画像を読み込む機能である。
書割分割機能12は、図１６のフローチャートに示された本発明に係る3D画像処理方法(ステップS11〜S16)による手順を踏んで、画像を書割に分割する機能である。
描画機能13は、書割情報を利用して、3D画像を効果的に描画する機能である。書割情報を生成した後の用途は様々であるため、本明細書では2D表示装置への3Dの効果的な描画についてのみ説明する。

【0023】

図１６は、図１５に示した書割分割機能12の全体動作の一例を示すフローチャートである。
動作の主体は3D画像処理装置に設けられた図示しないCPU(Central Processing Unit)である。
まず、LR方式3D画像のオフセットを計算する(ステップS11)。
LR方式3D画像に対する計算により得られたオフセット値に基づいて輪郭を抽出する(ステップS12)。
輪郭画素情報、LR方式3D画像、及びオフセット値に基づいて輪郭ずれを計算する(ステップS13)。
輪郭奥行き情報、輪郭画素情報、LR方式3D画像、及びオフセット値に基づいてオブジェクト奥行きを計算する(ステップS14)。
オブジェクト情報、輪郭奥行き情報、輪郭画素情報、LR方式3D画像、及びオフセット値に基づいてオブジェクトを結合（統合）する(ステップS15)。
オブジェクト情報、輪郭奥行き情報、輪郭画素情報、LR方式3D画像、及びオフセット値に基づいて書割を作成する(ステップS16)。
以上のステップの結果として、書割情報を出力する。

【0024】

以下、図１６に示した、オフセットの計算（ステップS11）〜書割作成（ステップS16）までの各ステップについて、目的・動作概念及びフローチャートの一例について順次説明する。

【0025】

図1６に示したオフセットの計算（ステップS11）について説明する。
このステップでは、左右の目用画像の同等の色となる面積が最大となるように、オフセットを決定する。ここで、「オフセット」とは、画面上で主となる視差を指す。
オフセットを算出することで、輪郭抽出(ステップS12)以降で計算対象となる輪郭の面積を小さくすることができる。輪郭ずれ幅計算(ステップS13)以降の処理では、輪郭の面積が大きいと、計算量とアルゴリズムの誤差が大きくなる。このため、最初のステップで、オフセットを計算するものである。

【0026】

オフセットは左右の目用画像の同等の色となる面積が最大となるように決定する。具体的には、横方向に1画素ずつずらしながら、色が一致する画素数が最大となるずらし幅をオフセットとして採用する。画素の色の一致については、輝度差分や色空間上での距離について、閾値を持って計算する。

【0027】

「3Dコンソーシアムの3DC安全ガイドライン」の基準によれば、横方向の画面の長さの±2%程度が推奨される最大視差となる。つまり、オフセットの計算範囲を、慣例的に±2%の範囲に絞ることで計算量の軽減が可能である。
この手順の計算量は、画素数に比例する。このため、予め画像を縮小し、画素数を減らす方法でも計算量を削減することができる。
さらに計算量を削減する場合、無限遠のずれ幅をオフセットとして固定的に採用することもできる。図２を参照すると、画面よりもある程度遠方のオブジェクトについては、視線が平行に近くなる。このため、ある程度遠方のオブジェクトは左右の画像上の描画位置がほとんど変化しない結果となる。また、3D映像内には、画面と視聴者間の距離よりも遠いオブジェクトが存在することが、高い確率で期待できる。これら、遠方のオブジェクトの描画性質を用いて、無限遠方をオフセットとして採用することには、ある程度の妥当性がある。

【0028】

図６（ａ）は、LR画像の一例である。この例では、雪だるまに対する視線が画面の前方で交差することになるので、雪だるまが飛び出して見える。
図６（ｂ）は、図６（ａ）のオフセット計算結果の一例である。この例では、背景となる画素が画面の大部分を占めるため、背景が一致するオフセットが採用されることになる。

【0029】

図１７は、図１６に示したオフセット計算(ステップS11)のフローチャートの一例である。
本フローチャートは、LR方式の3D画像を入力として受付け、オフセットを出力する。
最大類似度Max Sを初期値0とする(ステップS21)。
最大類似度のオフセットMax 0を初期値として無効値Φとする(ステップS22)。
以下、オフセットループS23〜S27について、オフセット値oを−１×横解像度×２％から横解像度×２％まで、逐次的に増加させながら繰り返し実行する。
類似度暫定加算値Temp＿Sを初期値0とする(ステップS24)。
オフセットoを加算して、画面の画素毎の類似度を加算しTemp＿Sとして算出する(ステップS25)。前述したように、画素ごとの類似度としては、輝度や色空間上の距離が閾値以下かどうかを吟味してもよい。
Temp S＜Max＿Sの不等式が成り立つか否か判定する(ステップS26)。この判定により、計算済みのオフセットのうち、最大の類似度を持つオフセット値を逐次Max＿oに保持していく。
Temp S＜Max＿Sの不等式が成り立つ場合(ステップS26／Yes)、速やかにオフセットループの下端(ステップS27)に到達する。
Temp S＜Max＿Sの不等式が成り立たない場合(ステップS26／No)、Max SをTemp＿Sとし、Max oをoとする(ステップS26)。
オフセットループの下端(ステップ27)において、オフセット値oが横解像度×2%よりも小さければ、oに1加算した上で、ステップS24に戻る。オフセット値oが横解像度×2%よりも大きければ、このフローチャートを終了する。
以上のループの結果、最大の類似度を持つオフセットMax＿oが、このフローチャートの結果として得られる。

【0030】

図１６に示した輪郭抽出(ステップS12)について説明する。
ステップS11で算出したオフセットを加えた位置で、色の差分が大きな画素を輪郭として認識する。
ステップS12では、視差の異なるオブジェクトの輪郭の候補として、色の差分が大きい画素を抽出する。

【0031】

この手順も画素数と比例する計算量が必要になるため、予め画像を縮小することで、計算量の低減を図ることができる。

【0032】

図７は、輪郭の抽出の一例を示す図である。
図７(a)は、ステップS11の結果のオフセット値を加味して、左目用画像と右目用画像を重ね合わせたイメージである。
図７(b)は、ステップS12の結果として抽出された輪郭のイメージである。

【0033】

輪郭を抽出すると、前述した(1)の手順で、オフセットで合わせ込んだ左右の雪だるまの色の差分の大きいところが抽出され、雪だるまの輪郭やマフラーの色、ボタン、鼻、帽子などの輪郭が得られる。

【0034】

図１８は、図１６に示した輪郭の抽出(ステップS12)の動作を示すフローチャートの一例である。
本フローチャートは、LR方式の3D画像を入力及びオフセットを入力として受付け、画素ごとに輪郭に属するかどうかの情報(輪郭画素情報)を出力する。
フローチャート中、L(x,y)は左目用画像の各座標の色情報、R(x,y)は右目用画像の各座標の色情報、F(x,y)は各座標について輪郭か否かを表す情報(輪郭画素情報)である。また、｜A-B｜は色情報Aと色情報Bの輝度差分を計算する演算子である。
以下の座標ループS31〜S35により、xを0から横解像度まで、yを0から縦解像度まで変化させて逐次実行させる。結果として、画像内の全ての画素について、S32〜S35の処理がなされ、輪郭か否かをF(x,y)に記憶する。
閾値＜｜L(x,y)-R(x+o,y)｜の不等式が成り立つか否かを判定する(ステップS32)。
閾値＜｜L(x,y)-R(x+o,y)｜の不等式が成り立つ場合(ステップS32／Yes)、輪郭であるとしてF(x,y) に trueを代入する(ステップS33)。
閾値＜｜L(x,y)-R(x+o,y)｜の不等式が成り立たない場合(ステップS32／No)、輪郭でないとしてF(x,y) に falseを代入する(ステップS35)。
座標ループの下端（ステップS34）において、未計算のxとｙの組み合わせがあれば、それぞれ歩進させた上で、S31に戻る。
以上のループの結果、輪郭画素情報(F(x,y))に各画素が輪郭であるか否かの情報が設定される。

【0035】

図１６に示した輪郭ずれ幅計算(ステップS13)について説明する。
このステップでは、横方向に連続した輪郭ごとに、左目用画像と右目用画像を対応させるためのずれ幅と、輪郭の左側のオブジェクトと右側のオブジェクトの前後関係の推定と、を計算する。
このステップで計算したずれ幅と前後関係の推定値は、ステップS14以降でオブジェクトごとの前後関係の推定に利用される。

【0036】

ずれ幅は、左目用画像の輪郭部分と右目用画像の類似度、右目用画像の輪郭部分と左目用画像の類似度、が最大となる相対位置を計算する。
前後関係については、採用したずれ幅のとき、左目用画像の輪郭部分を用いた類似度と、右目用画像の輪郭部分を用いた類似度で、どちらが高いかで決定する。図４、図５で図示したように、片方の目のみで見えるモヨウがある。片方の目のみで見えるモヨウを画素として含む輪郭は、もう一方の目用の画像との類似度が低くなる。よって、左(右)目用画像の輪郭部分を用いた場合の類似度が高ければ、左(右)側のオブジェクトが手前にあると推測される。類似度に明らかな差分がない場合、左右のオブジェクトが同等の距離にあると推測される。

【0037】

ずれ幅及び前後関係の推定においては、完全一致でなく類似度を用いる。左右のカメラでの微妙な色合いの変化や、ノイズ、極端に手前にある物体の表示などで、完全な一致判定は成立しないためである。
類似度が極端に低い場合には、輪郭のずれ幅及び前後関係を未定としておく。ずれ幅及び前後関係は、オブジェクト奥行き計算（ステップS14）にて、上下に隣接する輪郭と合わせて再度吟味される。このため、この手順で無理にずれ幅及び前後関係を無理に決定しておく必要はない。

【0038】

以下、これまで例示してきた雪だるまの画像を例に説明する。
図８は、画像と輪郭とを重ね合わせたイメージ図である。
雪だるまの右端にあたる輪郭周辺(領域Ａ、図９)と、雪だるまの左端にあたる輪郭周辺(領域Ｂ、図10)と、でのずれ幅の計算を具体的に説明する。

【0039】

図９は図８の領域Ａの左画像、右画像の輪郭近辺を拡大した表示である。
図中、カラー画像であることを意識して、「Ｒ」、「Ｃ」、「Ｗ」、「Ｇ」、「Ｙ」とは「RED」、「CYAN」、「WHITE」、「GREEN」、「YELLOW」の頭文字を記載する。頭文字ごとに１つの画素を表す。

【0040】

左目用画像の輪郭部分の画素は、赤色が４画素連続として構成されている。この色配列と一致する右目用画像上の一番近い位置は、左に４画素ずれた箇所である。
同様に、右目用画像の輪郭部分の画素は、空色が４画素連続として構成されている。この色配列と一致する左目用画像上の一番近い位置は、右に４画素ずれた箇所である。
よってこの例の場合、左目用画像が右目用画像と比べて、右方向へ４画素ずれていることがわかる。

【0041】

図１０は図８の領域Ｂの左画像、右画像の輪郭付近を拡大した表示である。
図１０中の文字の意味は図９と同様に画素ごとの色の頭文字である。

【0042】

この領域では、輪郭は６画素であるが、ずれ幅としては左目用画像が右目用画像より４画素右にずれていることがわかる。ここで、輪郭がずれ幅よりも大きくなっている理由は、マフラーの縦縞模様が輪郭として抽出されているためである。

【0043】

ずれ幅が決定すれば、次に前後関係を推定する。
図１１は、図１０（図８の領域B）の色解像度を上げた一例である。
背景（雲の部分）のオブジェクトについては、左目用画像でだけ見えるモヨウが存在する。一方のマフラーのオブジェクトについては、どちらの画像にも表示されているため、左右で同様のモヨウが見えている。よって輪郭よりも右側のオブジェクトが手前にあると推定される。

【0044】

図１９は、図１６に示したオブジェクト奥行き計算（ステップS14）の動作を示すフローチャートの一例である。
本フローチャートは、LR方式3D画像、オフセット及び輪郭画素情報を入力として受け付ける。処理の結果として、輪郭奥行き情報を出力する。
本フローチャートは、S43〜S47にて輪郭のずれ幅の計算、S48〜S54にて輪郭の前後関係推定をする。これらを、S41、S55でループさせることにより、全画素の輪郭の計算を構成する。
以下各ステップについて説明する。
座標ループS41〜S56により、xを0から横解像度まで、ｙを0から縦解像度まで変化させて逐次実行させる。本フローチャート上では、ｘが0から横解像度まで歩進すると、ｘを0に戻すと共にyを1つ歩進させるものとする。
F(x,y)がtrueであるか否かを判定する(ステップS42)。
F(x,y)がtrueの場合(ステップS42/Yes)、当該画素についてのずれ幅の計算を開始する(ステップS43)。
F(x,y)がTrueでない場合(ステップS42/No)、当該画素についてずれ幅の計算をせず、座標ループの下端(ステップS55)に遷移する。
横(x増加方向)に連続する輪郭の長さLを計算する(ステップS43)。
ずれ幅ループS44〜S46により、dを−１×横解像度×２％から横解像度×２％まで変化させて逐次実行させる。
輪郭内画素の類似度を計算する(ステップS45)。
ステップS46において、dが横解像度×２％よりも小さければ、dを1歩進させて、ステップS45に戻る。
ステップS44からS46のループで、最大の類似度を持つずれ幅をd(x,y)として採用する(ステップS47)。ここで、d(x,y)は輪郭のずれ幅である。
左目用画像の輪郭部と右目用画像のずれ幅位置の類似度SLと、右目用画像の輪郭部と左目用画像のずれ幅位置の類似度SRを計算する(ステップS48、S49)。
SR＋余裕値＜SLの不等式が成り立つか否かを判定する(ステップS50)。
SR＋余裕値＜SLの不等式が成り立つ場合(ステップS50／Yes)、Front(x,y)にLを代入する(ステップS52)。ここで、Front(x,y)は輪郭の左右でどちらが前にあるかの推定値である。
SR＋余裕値＜SLの不等式が成り立たない場合(ステップS50／No)、SR＋余裕値＜SRの不等式が成り立つか否かを判定する(ステップS51)。
SR＋余裕値＜SRの不等式が成り立つ場合(ステップS51／Yes)、Front(x,y)にRを代入する(ステップS53)。
SR＋余裕値＜SRの不等式が成り立たない場合(ステップS51／No)、Front(x,y)に前後不定を代入する。
計算済みの輪郭に対する処理をスキップするために、XにL-1を加算する(ステップS55)。

【0045】

図1６に示したオブジェクトの奥行き計算（ステップS14）について説明する。
このステップでは、オブジェクトを囲む輪郭のずれ幅、前後関係を元に、オブジェクトごとの相対的な前後関係を推定する。
このステップでは、ステップS13で横方向に情報を吟味したものを、縦方向に結合していく。
縦方向に結合していく概要は以下のとおりである。
１．一番縦に長いオブジェクトを基準として奥行き0と仮定する。
２．奥行きが未決定のオブジェクトのうち、奥行きが決定しているオブジェクトともっとも長い距離で横方向に隣接するオブジェクトを選択する。
３．手順２．のオブジェクトについて、奥行きが決定しているオブジェクトとの間の、輪郭のずれ幅、前後関係の平均を、奥行きとする。このとき、ずれ幅は隣接するオブジェクトとの相対関係である。そのため、平均の算出のためには、隣接するオブジェクトの奥行きを加算した上とする必要がある。
４．まだ奥行きが未決定のオブジェクトがあれば、手順２．に戻る。

【0046】

図８の例で切り出されるオブジェクトと、その前後関係の計算の例とを図１２に示す(左から右に計算が進む)。
まず、一番縦に長い背景を基準の奥行きとして採用する。
次に、一番長く隣接する顔部分の奥行きを相対的に計算する。顔部分は、背景よりも４画素分手前、つまり奥行きは手前に４として計算される。
さらに、雪だるまの帽子部分は、背景よりも４画素分手前、顔のオブジェクトと同位置なので、奥行きは手前に４である。
同様に雪だるまの右腕、腹、影、左腕、マフラーの玉、…の順に奥行きが計算される。

【0047】

図２０は、図１６に示したオブジェクト奥行き計算(ステップS14)の動作を示すフローチャートの一例である。
LR方式3D画像、オフセット、輪郭画素情報、及びオブジェクト情報を入力として受け付ける。処理の結果として、オブジェクト情報を出力する。
輪郭で区切られたオブジェクトごとにオブジェクト番号を付与する(ステップS61)このステップでは、例えばペイントアプリケーションの塗りつぶしアルゴリズムと同様にして、同じオブジェクトに属する画素を決定できる。
縦方向に一番長いオブジェクトの奥行き相対値を0にする(RD(オブジェクト番号)=0：ステップS62)。RD(オブジェクト番号)は、オブジェクトごとの相対的な奥行きを表す。
奥行き未計算のオブジェクトがあるか否か判定する(ステップS63)。
奥行き未計算のオブジェクトがある場合(ステップS63／Yes)、奥行き未計算のオブジェクトのうち、奥行き計算済みのオブジェクトとの間に、最長の輪郭線を持つオブジェクトを選択する(ステップS64)。
選択したオブジェクトについて、奥行き計算済みのオブジェクトと、その間の輪郭奥行き情報を元に、奥行きの平均値を計算し、ステップS63に戻る(RD(オブジェクト番号)=平均値：ステップS65)。
奥行き未計算のオブジェクトが無い場合(ステップS63／No)、オブジェクト情報：RD(オブジェクト番号)を出力する。

【0048】

図1６に示したオブジェクト結合（ステップS15）について説明する。
このステップでは、まず同じ奥行きのオブジェクトを結合する。
同じ奥行きのオブジェクトの結合では、隣接するオブジェクトの相対的な奥行き(RD(オブジェクト番号))が同等であれば、間の輪郭も含めて同じオブジェクトとして結合する。これは、主たる視差とずれたオブジェクトのモヨウについても、輪郭として現れているためである。

【0049】

図１２の例では、雪だるま全体が奥行き４と計算されるため、まず、同じオブジェクトに結合される。

【0050】

図２１は、図１６に示したオブジェクト結合の動作を示すフローチャートの一例である。
本フローチャートは、LR方式3D画像、オフセット、輪郭画素情報、及びオブジェクト情報を入力として受け付ける。処理の結果として、結合済みのオブジェクト情報を出力する。
オブジェクトループS71〜S74により、iを0からオブジェクト数まで、jを0からオブジェクト数まで実行させる。
i = j かつRD(i) = RD(j)であるか否か判定する(ステップS72)。
i = j かつRD(i) = RD(j)であると判定した場合(ステップS72／Yes)、オブジェクトiとオブジェクトjとを結合する(ステップS73)。
i = j かつRD(i) = RD(j)でないと判定した場合(ステップS72／No)、ステップS74へ進む。
これらの動作により、結合済みオブジェクト情報が出力される(RD(オブジェクト番号))。

【0051】

図1６に示した書割作成（ステップS16）について説明する。
このステップでは、オブジェクトごとの奥行きの絶対値を計算し、オブジェクトごとの画像を切り出す。
オブジェクトごとの絶対的な奥行きについては、図４、図５で説明した前面構成物の端点の原理を利用する。この手順の概要は以下のとおりである。
(１) 各オブジェクトについて前に被っている端点の、画面表示としての左右視差を算出する。
(２) 手順(１)の左右視差より奥行きの絶対値を計算する。
(３) 手順(１)、(２)で奥行きの絶対値が計算できなかった各オブジェクトについて、絶対値が計算できたオブジェクトとの相対的な奥行きを用いて、絶対値を計算する。
オブジェクトごとの画像の切り出しについては、横ラインごとに図４と図５の原理を利用する。
左目用画像を元にすると、輪郭の左側のオブジェクトが手前に位置する場合、輪郭の右端までが左側のオブジェクトである。対して、右側のオブジェクトが手前に位置する場合、輪郭の右端からずれ幅分左までが手前のオブジェクトとなる。このような処理を全横ラインに対して実行すると、オブジェクトそれぞれに含まれる画像を切り出すことができる。

【0052】

絶対的な奥行きの計算の例について説明する。
図１２の例がオフセットとして遠方方向に２画素であると仮定する。
このとき、雪だるまのずれ幅は４画素であった。画面表示としては、もともと２画素分手前方向に視差にあったことになる。背景については、雪だるまから相対的に、４画素遠方である。よって、２画素分遠方に視差があると判断できる。
元のずれ幅がわかれば、表示画面のサイズ・解像度と、みなしの視聴距離を用いて視線が交差する点を求めることができる。交差する点が雪だるまの奥行きの絶対値となる。
同様に、背景についても、２画素分遠方となる交点が、奥行きの絶対値となる。

【0053】

図１３は、この画像から切り出されるオブジェクトの一例(理想形)である。

【0054】

図２２は、図１６に示した書割作成の動作を示すフローチャートの一例である。
本フローチャートは、LR方式3D画像、オフセット、輪郭画素情報、及びオブジェクト情報を入力として受け付ける。処理の結果として、書割情報を出力する。
一番手前のオブジェクトを選択する(ステップS81)。
選択したオブジェクト境界線の左右視差を用いて、奥行きの絶対値AD(オブジェクト番号)を計算する(ステップS82)。
以下のオブジェクトループS83〜S87により、iを0からオブジェクト数まで実行させる。
隣接するオブジェクトとの前後関係から境界線を特定する(ステップS84)。
境界線に沿ってオブジェクト画像Object(i,x,y)を切り出す(ステップS85)。
一番手前のオブジェクトとの相対奥行きと、一番手前のオブジェクトの奥行きの絶対値からAD(i)を計算する(ステップS86)。
これらの動作により、オブジェクト情報：Object(オブジェクト番号,x,y)、AD(オブジェクト番号)が得られる。

【0055】

以上のように作成した、書割を通常のディスプレイに表示する場合の例を図１４（ａ）〜（ｅ）に示す。
図１４（ａ）は、雪だるまを上から見た図、図１４（ｂ）は、雪だるまを左から見た図、図１４（ｃ）は、雪だるまを正面から見た図、図１４（ｄ）は、雪だるまを右から見た図、図１４（ｅ）は、雪だるまを下から見た図である。
(a)〜(e)の例では、視聴しているとみなす位置によって、書割同士の相対位置をずらして表示している。このとき、後方のオブジェクトについては、視聴する角度により見え隠れする画像の情報量が不足している。そのため、手前に表示する書割を実際よりも大きく描画すると、保持している情報量で効果的に覗きこみの描画が可能である。
なお、多少であれば背景の色の連続性が期待できる。背景を隣接する色で塗りつぶすことで情報量を補うことも可能である。

【0056】

覗きこみの角度については、例えばPCにカメラもしくはセンサを設け、ユーザーの顔画像や位置の情報に基づいて、逐次計算することができる。尚、キーボードの上下ボタンや、マウススクロール、ゲームパッドにより、上下に移動することも可能である。

【0057】

＜実施形態２＞
書割作成(ステップS16)のオブジェクトの画像切り出しの際に、右目用画像も用いて後ろのオブジェクトの画素を補完することができる。
輪郭の左側が手前にあるとき、右目用画像の輪郭の右端からずれ幅分については、左目用画像にはない情報である。この部分を右側のオブジェクトに結合することで、左目からは見えないモヨウを補完することができる。

【0058】

＜実施形態３＞
輪郭ずれ幅計算(ステップS13)による、前後関係の推定において、背景によっては判定が逆転することがある。このため、本実施形態では、オブジェクト結合(ステップS15)の最終段における補正手順について説明する。
ここで想定している、端的な誤判定の例は、背景が極端に単純な場合である。

【0059】

補正手順は以下のとおりである。
１．LR画像を横ラインでサンプリングする。
２．サンプリングした横ラインをオブジェクトごとに分割する。
３．オブジェクトごとに分割された色配列について、複雑さを検証する。
ここで、「複雑さの検証」は、色の変化の度合いとなる。例えば、輝度の変化の分散を計算したり、離散コサイン変換の高周波成分の強さを計算したりすると、算出することができる。
４．一定以上の複雑さを持つオブジェクトの色配列を補正の参考情報として利用する。
５．手順４．で選択した色配列について、左右目用画像でずれ方向に合わせた類似性と、ずれ方向と逆に合わせた類似性と、を比較する。
６．ずれ方向と逆に合わせた方が高い類似性となる場合、誤判定の可能性が高いと判断する。
この手順を複数のサンプリングの横ラインで計算し、誤判定の可能性が高い前後関係について、前後を逆転させる。

【0060】

図２３は、輪郭付近の類似性では前後を誤判定する画像の一例であり、背景が宇宙空間になっている。
人の目には、宇宙船や地球が背景の宇宙空間よりも浮いて見えるはずである。
手順(3)によってこの画像を判定すると逆の現象が発生する。背景は座標によらず黒色で、完全に一致する。相対的に、宇宙船や地球は複雑なモヨウを持つため、同じ箇所を示す色配列でも類似性は低く出勝ちになる。結果として、前後関係を逆転して判定することになる。

【0061】

図２４に横方向サンプリングによる補正計算のイメージを示す。
この図は手順(4)までで、宇宙空間と宇宙船と地球とに分割されていたと仮定する。また、宇宙空間の奥行きが「０」(あくまで相対的な奥行きの基準値である。この例では、宇宙船や地球は最終的に絶対位置が決まる。宇宙空間の絶対位置は、相対的に決まる。)であり、地球の奥行きが後方に２であり、宇宙船の奥行きが後方に４であったとする。
このとき、例えば６箇所のサンプリングの横ラインで画像を比較する。
いずれのサンプリングの横ラインにおいても、宇宙空間のオブジェクトは複雑性が低く、補正計算の対象としない(手順(3)、(4))。
宇宙船については、前後関係を考慮すると、左目用画像のオブジェクトは、右目用画像において４画素右に描画されているはずである。しかしながら、宇宙船は右目用画像において逆方向の４画素左に描画されていると判定できる。地球についても、奥行きが逆とわかる(手順(5)、(6))。
各サンプリングの結果が誤判定の可能性をさすため、オブジェクトの前後関係の判定を逆転させる。

【0062】

＜実施形態４＞
ステップS14及びS15の説明において、オブジェクトの輪郭のずれ幅が一定であることを仮定して説明した。オブジェクトのずれ幅の分布について、ｎ次曲線で近似することにより、奥行き方向に斜めになった面を書割として切り出すことが可能になる。

【0063】

＜実施形態５＞
他の実施形態では、左目用画像を主体として書割を切り出したが、当然右目用画像を主体として書割を切り出すこともできる。

【0064】

＜実施形態６＞
本発明を動画に適用する場合、オフセットの計算など、前のフレームから引き継ぐことで、計算量を低減することもできる。この場合、画面全体が大きく変化した場合にのみ、オフセットを計算すればよい。

【0065】

＜効 果＞
本発明により、LR方式の3D画像から、奥行きを持った画像の集まり(書割)を生成できる。書割の生成の結果、以下のような効果を得る。
効果１、ユーザーが見る方向が変わると、オブジェクトの相対位置が変わるので、臨場感が向上する。
効果２、通常の2Dディスプレイ（非3D）でも対応可能である。
効果３、オブジェクトの奥行きの相対関係を割り出すことにより、奥行きを利用した描画や他のアプリケーションへの応用が可能である。

【0066】

＜プログラム＞
以上で説明した本発明にかかる3D画像処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。

【0067】

例えば、
３Ｄ画像処理装置のコンピュータに、
画像読込手段が、画像を読み込む手順、
書割分割手段が、前記画像読込装置で読み込まれた画像をオブジェクトと背景とに分割する手順、
描画手段が、前記書割分割手段により作成されたオブジェクト及び背景を画面上に描画する手順、
前記書割分割手段が、画面上の左目用画像の座標と右目用画像の座標との差分を用いて、画面から奥行き方向に位置するオブジェクト及び背景からなる書割画像を作成する手順、
を実行させるプログラムが挙げられる。

【0068】

これにより、プログラムが実行可能なコンピュータ環境さえあれば、どこにおいても本発明にかかる3D画像処理装置を実現することができる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

【0069】

＜記憶媒体＞
ここで、記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(CD Recordable)などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)、FeRAM(強誘電体メモリ)等の半導体メモリやHDD(Hard Disc Drive)が挙げられる。

【0070】

なお、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

【符号の説明】

【0071】

１０ 3D画像処理装置
１１ 画像読み込み機能
１２ 書割分割機能
１３ 描画機能
１４ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】