特許第6219997号(P6219997)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 任天堂株式会社の特許一覧
特許6219997動的自動立体3D画面の較正方法及び装置
<>
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000020
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000021
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000022
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000023
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000024
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000025
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000026
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000027
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000028
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000029
  • 特許6219997-動的自動立体3D画面の較正方法及び装置 図000030
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6219997
(24)【登録日】2017年10月6日
(45)【発行日】2017年10月25日
(54)【発明の名称】動的自動立体3D画面の較正方法及び装置
(51)【国際特許分類】
   G02B 27/22 20060101AFI20171016BHJP
   H04N 13/04 20060101ALI20171016BHJP
【FI】
   G02B27/22
   H04N13/04 090
   H04N13/04 250
   H04N13/04 770
【請求項の数】13
【全頁数】18
(21)【出願番号】特願2016-45133(P2016-45133)
(22)【出願日】2016年3月9日
(65)【公開番号】特開2016-177281(P2016-177281A)
(43)【公開日】2016年10月6日
【審査請求日】2016年3月9日
(31)【優先権主張番号】15305407.7
(32)【優先日】2015年3月20日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1
(74)【代理人】
【識別番号】100091557
【弁理士】
【氏名又は名称】木内 修
(72)【発明者】
【氏名】グイド セバスチャン
【住所又は居所】フランス サントゥアン 93400,ランディ通り 70
(72)【発明者】
【氏名】ブーデ ジェイノス
【住所又は居所】フランス パリ 75013,シャンドアルエット通り 12
(72)【発明者】
【氏名】パスキエ フランソワ グザヴィエ
【住所又は居所】フランス パリ 75011,マンドール通り 6
【審査官】 山本 貴一
(56)【参考文献】
【文献】 特開2012−060625(JP,A)
【文献】 特開2013−190713(JP,A)
【文献】 米国特許出願公開第2013/0182083(US,A1)
【文献】 特表2010−540980(JP,A)
【文献】 特開2012−023714(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/22
H04N 13/04
G02F 1/13
G03B 35/00
G09F 9/00
(57)【特許請求の範囲】
【請求項1】
カメラを備える装置の動的自動立体3D画面の較正方法であって、
前記装置の画面にパターン画像を表示し、
前記装置の前記カメラを用いて、反射面により反射した前記画面を含む前記装置の画像を取り込み、
前記画面の矩形の、結果としての画像を取得し、
前記カメラの水平方向位置に対応する前記結果としての画像内の水平方向位置において前記結果としての画像におけるクロストークの均衡のとれた混合を得るために、前記動的自動立体3D画面に対し設けられかつ変位可能な視差バリアを構成する調整可能な遮蔽手段用のコマンドの値を求める
ことから成ることを特徴とする較正方法。
【請求項2】
前記矩形の結果としての画像は、前記画面の前記画像が矩形でない場合に、遠近補正を施すことによって得られることを特徴とする請求項1記載の方法。
【請求項3】
前記パターン画像は、いずれかの種類の水平方向の色反転帯によって構成されていることを特徴とする請求項1記載の方法。
【請求項4】
前記パターン画像は、水平方向に交互の白と黒の帯によって構成されていることを特徴とする請求項3記載の方法。
【請求項5】
前記調整可能な遮蔽手段用のコマンドの値を求めることは、
前記結果としての画像内の画面の複数の画素に対するクロストークのレベルを求め、
このクロストークのレベルの水平方向の周期を求め、
この周期と、前記カメラの位置とクロストークの前記レベルの最も近い極値との間の水平方向の距離とに基づいて、前記調整可能な遮蔽手段用のコマンドを求める
ことから成ることを特徴とする請求項1記載の方法。
【請求項6】
装置の動的自動立体3D画面の前方の特定の位置のユーザに3Dを合わせるために当該画面の調整可能な遮蔽手段用の実コマンドを求める方法であって、
請求項1にしたがって、前記装置の動的自動立体3D画面を較正し、
前記画面からの最適距離におけるユーザの顔が取り得る位置を表す最適距離線分を求め、
取り込まれた画像内のユーザの顔の位置を求め、
前記最適距離線分と、取り込まれた画像内の前記ユーザの顔の位置と、較正中に求められた前記コマンドの値とに基づいて、前記調整可能な遮蔽手段用の実コマンドを求める
ことから成ることを特徴とする方法。
【請求項7】
前記最適距離線分は、前記ユーザの標準的な眼間距離と、前記動的自動立体3D画面の最適視距離と、前記カメラの視界とに基づいて求められることを特徴とする請求項6記載の方法。
【請求項8】
前記調整可能な遮蔽手段用の実コマンドを求めることは、
前記最適距離線分におけるコマンド周期の数に対応するコマンド周期の割合を求める
ことから成る請求項6記載の方法。
【請求項9】
前記調整可能な遮蔽手段用の実コマンドを求めることは、さらに
前記取り込まれた画像の中央におけるユーザの顔の水平方向の位置の実コマンドに対応する中央のコマンドを求め、
当該中央のコマンドと、コマンド周期の前記割合とに基づいて前記実コマンドを求める
ことから成る請求項8記載の方法。
【請求項10】
カメラと動的自動立体3D画面とを備える装置であって、
前記装置の画面にパターン画像を表示するための手段と、
前記装置の前記カメラを用いて、反射面により反射した前記画面を含む前記装置の画像を取り込む手段と、
前記画面の前記画像が矩形でない場合に遠近補正を施すことによって前記画面の結果としての画像を取得する手段と、
前記カメラの水平方向位置に対応する前記結果としての画像内の水平方向位置において前記結果としての画像におけるクロストークの均衡のとれた混合を得るために、前記動的自動立体3D画面に対し設けられかつ変位可能な視差バリアを構成する調整可能な遮蔽手段用のコマンドの値を求める手段と
から成る較正手段を備えることを特徴とする装置。
【請求項11】
実コマンド決定手段をさらに備え、当該実コマンド決定手段は、
前記画面からの最適距離においてユーザの顔が取り得る位置を表す最適距離線分を求める手段と、
取り込まれた画像内のユーザの顔の位置を求める手段と、
前記最適距離線分と、取り込まれた画像内の前記ユーザの顔の位置と、較正中に求められた前記コマンドの値とに基づいて、前記調整可能な遮蔽手段用の実コマンドを求める手段と
から成ることを特徴とする請求項10記載の装置。
【請求項12】
プログラム可能な装置のためのコンピュータプログラム製品であって、前記プログラム可能な装置に展開され、当該装置によって実行されるときに、請求項1ないし9のいずれかに係る方法を実現するための一連の命令から成るコンピュータプログラム。
【請求項13】
請求項1ないし9のいずれかに係る方法を実現するためのコンピュータプログラムの命令を記憶するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動的自動立体3次元(3D)表示画面装置を較正する方法及び装置に関する。
【背景技術】
【0002】
自動立体3D画面は、右目用画像を表示する一画素と左目用画像を表示する一画素が交互に配置された画素を有する標準的な通常の表示画面から成る。さらに、一方の目で見るための画素は他方の目では見えない仕組みになっている。この仕組みは視差バリアでも、一般的な用語でバリアと言える他のレンズ又はレンズ状アレイ装置であっても構わない。このバリアは画素ディスプレイの前方あるいは背後に配置することが可能である。この構成により、表示画面の前方中央に位置するユーザは3D体感を得られる。
【0003】
動的自動立体3D画面は、画面の前方のユーザの動きを補償し、当該ユーザが3D画像を見ることのできる位置の自由度を高めるように設計されている。この補償は、前記バリアを画素画面に対して相対的に移動することにより達成される。これは、例えば、高解像度LCDを用いて構成され、隠蔽画素を設定したり設定解除したりしてバリア移動の効果を生み出すことのできる視差バリアを用いてなすことが可能である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
固定視差バリアを有する自動立体3D画面は、当該画面に対して任意の位置にいるユーザによって使用されることを想定している。この位置は、通常は、画面から任意の距離離れた、画面の前方中央である。このような画面は細心の注意を払って組み立てる必要がある。実際、視差バリアが少し横にずれれば、ユーザの理想的な位置が変位して、もはや画面の前方中央ではなくなる。したがって、ユーザの3Dの体感度は劣化する。
【0005】
動的バリアを使用する場合は、バリアラインに直交する方向において組立公差を厳しくする必要はない。なぜなら、当該バリアは、例えばバリアラインをON/OFFすることによって移動調整できるからである。この調整には、画面画素マトリックスに対するバリアの正確な水平方向位相を知る必要がある。動的自動立体3D画面の較正はそれを知るための手段である。
【0006】
画面較正を達成する従来の方法としては、バリアの位相を求めるべく、ソフトウェアのパラメータであれハードウェアのパラメータであれパラメータを調整するために、最適化ループを提案するものがある。この処理には、特定の画像パターンを見る自動立体画面を記録するカメラと、前記カメラに見えるパターンの歪みを最小化するために適用されるべき最適なパラメータを見い出すソフトウェア処理とが必要である。当該処理は、一般的には、調整段階と、それに続くカメラによる新たな画像取得から成るループに基づいており、完全に収束するまで繰り返される。この処理はカメラを使った複雑なテスト環境を必要とする。より少ないリソースで済むより単純な較正処理が好都合であろう。
【0007】
本発明は、上述の問題点の少なくとも一つに対処すべく発明されたものである。
【0008】
本発明が提案する上記課題の解決は、動的自動立体3D装置の較正処理であって、反射面を介した当該装置のカメラによる自動立体画面の画像取り込みを1回必要とする較正処理である。当該処理においては、その1回の画像取り込みから、視差バリアの水平方向の位相を算出してよい。
【課題を解決するための手段】
【0009】
本発明の第1の態様によれば、カメラを備える装置の動的自動立体3D画面の較正方法であって、前記装置の画面にパターン画像を表示し、前記装置の前記カメラを用いて、反射面により反射した前記画面を含む前記装置の画像を取り込み、前記画面の矩形の、結果としての画像を取得し、前記カメラの水平方向位置に対応する前記結果としての画像内の水平方向位置において前記結果としての画像におけるクロストークの均衡のとれた混合を得るために、前記動的自動立体3D画面の調整可能な遮蔽手段用のコマンドの値を求めることから成ることを特徴とする較正方法が提供される。
【0010】
一形態においては、前記矩形の結果としての画像は、前記画面の前記画像が矩形でない場合に、遠近補正を施すことによって得られる。
【0011】
一形態においては、前記パターン画像は、いずれかの種類の水平方向の色反転帯によって構成される。
【0012】
一形態においては、前記パターン画像は、水平方向に交互の白と黒の帯によって構成される。
【0013】
一形態においては、前記調整可能な遮蔽手段用のコマンドの値を求めることは、前記結果としての画像内の画面の複数の画素に対するクロストークのレベルを求め、このクロストークのレベルの水平方向の周期を求め、この周期と、前記カメラの位置とクロストークの前記レベルの最も近い極値との間の水平方向の距離とに基づいて、前記調整可能な遮蔽手段用のコマンドを求めることから成る。
【0014】
本発明の他の態様によれば、装置の動的自動立体3D画面の前方の特定の位置のユーザに3Dを合わせるために、当該画面の調整可能な遮蔽手段用の実コマンドを求める方法であって、本発明にしたがって、前記装置の前記動的自動立体3D画面を較正し、前記画面からの最適距離におけるユーザの顔が取り得る位置を表す最適距離線分を求め、取り込まれた画像内のユーザの顔の位置を求め、前記最適距離線分と、取り込まれた画像内の前記ユーザの顔の位置と、較正中に求められた前記コマンドの値とに基づいて、前記調整可能な遮蔽手段用の実コマンドを求めることから成る方法が提供される。
【0015】
一形態においては、前記最適距離線分は、前記ユーザの標準的な眼間距離と、前記動的自動立体3D画面の最適視距離と、前記カメラの視界とに基づいて求められる。
【0016】
一形態においては、前記調整可能な遮蔽手段用の実コマンドを求めることは、前記最適距離線分におけるコマンド周期の数に対応するコマンド周期の割合を求めることから成る。
【0017】
一形態においては、前記調整可能な遮蔽手段用の実コマンドを求めることは、さらに、前記取り込まれた画像の中央におけるユーザの顔の水平方向の位置の実コマンドに対応する中央のコマンドを求め、当該中央のコマンドと、コマンド周期の前記割合とに基づいて前記実コマンドを求めることから成る。
【0018】
本発明の他の態様によれば、カメラと動的自動立体3D画面とを備える装置であって、 前記装置の画面にパターン画像を表示するための手段と、前記装置の前記カメラを用いて、反射面により反射した前記画面を含む前記装置の画像を取り込む手段と、前記画面の前記画像が矩形でない場合に遠近補正を施すことによって、前記画面の結果としての画像を取得する手段と、前記カメラの水平方向位置に対応する前記結果としての画像内の水平方向位置において前記結果としての画像におけるクロストークの均衡のとれた混合を得るために、前記動的自動立体3D画面の調整可能な遮蔽手段用のコマンドの値を求める手段とから成る較正手段を備えることを特徴とする装置が提供される。
【0019】
一形態においては、前記装置は、実コマンド決定手段をさらに備え、当該実コマンド決定手段は、前記画面からの最適距離においてユーザの顔が取り得る位置を表す最適距離線分を求める手段と、取り込まれた画像内のユーザの顔の位置を求める手段と、前記最適距離線分と、取り込まれた画像内のユーザの顔の位置と、較正中に求められた前記コマンドの値とに基づいて、前記調整可能な遮蔽手段用の実コマンドを求める手段とから成る。
【0020】
本発明の他の態様によれば、プログラム可能な装置のためのコンピュータプログラム製品であって、前記プログラム可能な装置に展開され、当該装置によって実行されるときに、本発明に係る方法を実現するための一連の命令から成るコンピュータプログラム製品が提供される。
【0021】
本発明の他の態様によれば、本発明に係る方法を実現するためのコンピュータプログラムの命令を記憶するコンピュータ読み取り可能な記憶媒体が提供される。
【0022】
本発明に係る方法の少なくとも一部は、コンピュータで実現可能である。したがって、本発明は完全にハードウェア的な実施形態、完全にソフトウェア的な実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、あるいは全て一般に「回路」、「モジュール」、又は「システム」と本明細書において呼べるソフトウェアとハードウェアの両面を結合した態様の形をとり得る。さらに、本発明は、コンピュータ使用可能なプログラムコードが具体化される如何なる有形的表現媒体においてでも具体化されたコンピュータプログラムの形を取ってもよい。
【0023】
本発明はソフトウェアとして実現可能なので、適切なキャリア媒体上で、プログラム可能な装置に供給されるコンピュータ読み取り可能なコードとして実現できる。具体的なキャリア媒体としては、フロッピー(登録商標)ディスク、CD−ROM、ハードディスクドライブ、磁気テープ装置、ソリッドステートメモリデバイスなどの記憶媒体が挙げられる。非常駐のキャリア媒体には、電気信号、電子信号、光信号、音響信号、磁気信号、あるいは電磁気信号、例えばマイクロウェーブまたは高周波信号などの信号が含まれてよい。
【図面の簡単な説明】
【0024】
図1A】本発明の特定の実施形態を説明するのに有用なシステムを示す図である。
図1B】携帯装置の正面図である。
図2】本発明の一実施形態において使用される3D画面の構造を示す図である。
図3】本発明の一実施形態においてカメラによって取り込まれた画像の一例を示す図である。
図4】本発明の一実施形態における画像取り込み用の光学系を示す図である。
図5】本発明の一実施形態における黒及び白の縞を主として示す、結果としての画像を示す図である。
図6】クロストークパターン関数が取り得る形状を示す図である。
図7】最適視距離を算出するのに用いられる、本発明の一実施形態の構成を示す図である。
図8】本発明の一実施形態に係る較正方法のフローチャートを示す図である。
図9】本発明の一実施形態において画面の前方の実際のユーザのための実コマンド決定のフローチャートを示す図である。
図10】本発明の一つまたは複数の実施形態を実施するための演算装置の概略ブロック図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施形態を図面に基づいて説明する。
【0026】
図1Aは、本発明の特定の実施形態を説明するのに有用なシステムを示している。なお、本発明はこの特定のシステムに限定されるものではなく、同様の問題を抱える多くのシステムにも適用可能である。図1Bは携帯装置の正面である。
【0027】
ユーザ1.1は、携帯ゲーム機、携帯電話、タブレットコンピュータなどの携帯装置1.2を使用している。携帯装置1.2は、表示画面1.4とカメラ1.3とを有する。カメラ1.3で携帯装置周辺の通常の画像を撮影可能であり、それは連続する映像でもあり得る。使用される場合の一例として、画面1.4上の画像を見るために、ユーザ1.1は、頭1.6をおおよそ携帯装置1.2の前方に置く。これは、ユーザ1.1の頭1.5の画像が、カメラ1.3によって取り込まれることを意味する。カメラによって取り込まれた画像内のユーザの頭1.5は、周知の追跡アルゴリズムにより追跡可能であり、とくにこれらの画像内のユーザの目やほかの特徴部分の位置が特定される。
【0028】
ここに説明する特定の実施形態においては、画面1.4は3次元立体画面である。図2はこの画面の構造を示している。実画面2.1は、各々2つの部分に分割された画素から成る。符号2.4で示される1つの部分は、ユーザの左目に見える左画像を表示するのに用いられ、符号2.3で示される第2の部分は、ユーザの右目に見える右画像を表示するのに用いられる。優れた立体感を出すには、画素の右部分はユーザの左目に対して遮蔽され、他方、左部分はユーザの右目に対して遮蔽されなければならない。遮蔽手段2.2は画面に内蔵してもよい。本例では、この遮蔽手段2.2は電子的に隠され得る細い縞2.5で出来ている。隠される細い縞が、画面の前方で変位可能な視差バリアを構成する。各画素の正しい部分を適切に遮蔽するためには、ユーザの目2.6及び2.7の実際の位置に応じて、バリアの位置が調節されなければならない。
【0029】
ユーザに良好な3D体験をもたらすために、携帯装置1.2はカメラが取り込んだ画像の中のユーザの頭の位置をリアルタイムで追跡する。画像内の顔の位置は、顔追跡アルゴリズムにより特定される。それにより、両目の位置が見つけ出され、両目の間にある中心点を基準点とすることができる。この中心点の位置から、画面中のバリアの正しい位置を算出して、取り込まれた画像内の自分の顔の位置を知るユーザのための立体感のある画像を得ることができる。
【0030】
以上のような動的自動立体3D装置の較正を行おうとする場合、当該装置を反射面の前方に置く。反射面は鏡またはその他の同様の面でよい。そうすることによって、装置のカメラが取り込んだ画像が、装置自身の画像とりわけ装置の画面の画像を含むようになる。
【0031】
図3は、動的自動立体3D装置のカメラによって取り込まれた画像の一例を示している。取り込まれた画像3.2は、反射面に映った3D画面1.5の像を主として示している。
【0032】
3D画面には、左右の目にとって異なる画像を有するパターンが投影される。例えば、一方の目には白画像が、そして他方の目には黒画像が見えるようになっている。このパターンは、任意の画素のクロストークの割合を決定できるものであればどのようなものでもよい。
【0033】
このクロストークは、取り込まれた画像内の任意の画素であって、左の画像及び右の画像からの情報の混合する3D画面中の一点を表す画素に対して定義される。すなわち、理想的に位置するとき、ユーザの一方の目には3D画像の左又は右の片方しか見えず、したがって、クロストークは0か1である。他のいかなる位置でも、結果としての画素は、この画素にとっての左の画像と右の画像の混合によって構成されることになる。クロストークは、左右の各画像の寄与分を反映する。
【0034】
パターンが一方の目のための白画像と他方の目のための黒画像とで構成されている場合、カメラには画面を横断する黒と白の帯3.4及び3.5が見えることになる。各帯(黒及び白)の内側に、カメラには、一方又は他方の目のための1つの特定の画像の画素が見え、その間に、当該2つの画像パターンの混合、すなわちグレーレベルが見える。任意の画素の輝度は、このパターンを用いて、クロストークのレベルに直接関連付けられる。
【0035】
図4は、図3の画像を取り込むための光学系を示している。図4には、カメラ1.3を反射面4.0の前方に置いた動的自動立体3D装置1.2が示されている。軸線4.1は画面に対する法線を表す。点線の装置4.7は、反射面4.0を通してカメラ1.3に見える3D装置の仮想画像を表す。軸線4.2は仮想の装置4.7の画面に対する法線を表す。軸線4.3はカメラの光軸であり、軸線4.4は見える画像内の仮想のカメラの光軸である。線4.5は、カメラの画像を観察している観察者4.6の視線である。この線は反射面4.0に対して垂直である。
【0036】
較正処理は以下の特性を利用する。
【0037】
視線4.5に沿って動く、立体3D画面の観察者4.6には、視線4.5と立体3D画面との交点では、同量のクロストークが“見える”ことになる。これは、立体画面に向けられたカメラには、向けられた方向と画面との交点で、ある一定量のクロストークが見えるということを意味し、その量は画面までの距離に依存しない。
【0038】
反射面4.0におけるカメラ1.3自身の画像を取り込む際には、カメラの中心を通り鏡に対して垂直な視線4.5上でカメラを動かしても、その結果としての画像内のカメラの位置は変わらない。
【0039】
結果としてのクロストークパターン(3.4、3.5)は、遠近補正画面中では周期性を有する。換言すれば、鏡が画面に対して平行な場合は、クロストークパターンは周期性を有する。このことは、鏡が画面に対して平行でない場合は、結果としてのクロストークパターンは周期性を有しないということを意味する。しかし、透視変換により遠近感を補正すれば、クロストークパターンの周期性は復元される。
【0040】
反射面に直交する方向(4.5)側に見える縞の濃淡は、装置が反射面に近づこうが反射面から遠ざかろうが変化しない。より正確に言うと、カメラ(4.6)をその方向に向けその方向に沿って動いたとしても、カメラと同一線上にある垂直な帯3.6に見えるグレーの階調は、常に同じであろう。
【0041】
さらに、カメラ(4.6)に50%グレーの縞が見えたなら、それは50%のクロストークを示す白黒パターンの完全に平衡のとれた混合であり、そのとき、その両目がこの点を中央としていて自動立体3D画面から最適な距離にいるユーザには、完全な3D画像が見えるであろう。グレーの縞の周囲の黒と白の縞が正しく並んでいるなら、ユーザの各目には全く正しい画像が見える。
【0042】
動的であるので、自動立体3D画面は、画面の前方のユーザに3D体感を提供するために、調整可能な遮蔽手段を備えている。移動可能な視差バリアを考慮すると、バリアの変位は、その効果が周期性を有する。バリアのある位置に対して、画面の前方のユーザには、各目に左右の画像のある一定の混合が見える。バリアが適切に置かれている場合には、左目には左画像しか見えないし、右目には右画像しか見えない。バリアが適切に置かれていない場合には、各々の目には左右の画像の混合が見える(すなわちクロストークが発生する)。1周期のバリアの変位によって、同じ結果が再び得られる。このことに基づいて、調整可能な遮蔽手段に送るべきコマンドを、移動なしを意味する0と完全な1周期の変位を意味する1との間の数字によって構成することができる。この理論的コマンドは、任意の実施形態において考慮することにより、調整可能な遮蔽手段の実際の制御手段に適用してもよい。
【0043】
動的自動立体3D画面を較正するということは、ユーザの任意の位置に対して、調整可能な遮蔽手段を適切に配置するようにこのコマンドを決定することを意味する。このコマンドは、遮蔽手段の移動に対応し、調整可能な遮蔽手段の水平方向の位相を表す。
【0044】
すでに説明したように、較正に使用されるパターンは、カメラが反射面を介して取り込んで得られた結果としての画像におけるクロストークのレベルを決定可能とするものでなければならない。ここで、結果としての画像を、反射面が画面と平行でない場合にその画面の遠近補正をした後の画像と称する。白画像と黒画像が左右の画像として使われてもよい。実際には、いずれかの種類の水平方向の色反転帯によって構成された左右の画像が使われてもよい。クロストークの測定レベルは、一般的には、結果としての画像の垂直方向の線沿いでは同じである。
【0045】
結果としての画像上のクロストークの水平方向における強度を関数pattern =
fct(command,position)で定義することにしよう。この関数は、調整可能な遮蔽手段に送られるコマンドである第1のインプット“command”として、0と1との間の値を取る。当該関数は、結果としての画像における水平方向の位置である第2のインプット“position”として、左側の最初の画素列に対応する0と右側の最後の画素列に対応する1との間の値を取る。関数の結果、すなわち“pattern”は、これらのインプットに対するクロストークのレベルであり、“position”画素が右画像に、例えば右画像が黒なら黒画素に完全に対応する場合の-1と“position”画素が左画像に、例えば左画像が白なら白画素に完全に対応した場合の1との間の値をとる。その間の値はクロストークのレベルを表す。例えば、本例ではグレーレベルを表す。値0は、左右の画像間の完全に均衡した50対50の混合、したがって、最大のクロストークを表す。
【0046】
図5は、黒及び白の縞3.4及び3.5を主として示す結果としての画像を示している。カメラの位置は符号3.6で示す。距離5.8は結果としてのパターンの周期を示す。距離5.7は、結果としてのパターンにおける中心位置と最も近い極値、つまり最小値または最大値との間の距離を表す。この極値はクロストークのない位置に対応する。さらに、カメラ位置3.6の左側で“右目”パターンの極値を、カメラ位置の右側で“左目”パターンの極値を探すことになる。
【0047】
図6はクロストークパターン関数fctが取り得る形状の例を示している。これらの異なる形状は周期性を有し、右及び左画像用に用いられる実際のパターンに依存する。
【0048】
図6に示すように、クロストークパターン関数fctは位置に関して周期性を有している。その周期をTctとすると、次の式が成り立つことが確認された。
【0049】
関数fctの周期Tctは、当該関数の注目点を求めることによって、例えば、連続する2つの最大値間または最小値間の距離を求めることによって求めてよい。関数が滑らかすぎる場合、最大値を十分な精度で検知することは難しいかもしれない。この場合は、ある態様においては、左目用に最上部が白で最下部が黒のパターンと右目用にはそれを反転した(最上部が黒で最下部が白の)パターンとを作ることにより、関数fctとその逆の交点を検知することができる。かくして、垂直の縞にシフトが現れ、fctと-fctとの交点を見つけ出すことができる。
【0050】
あるいは、周期Tctは、観察されるクロストークパターンに最も近似するサイン関数から求めてもよい。
【0051】
較正の目的は、カメラ位置Pcam3.6に対応する、結果としての画像内の位置において左右の画像間の均衡のとれた混合を得ることである。実際には、完全に均衡のとれた混合を得ることはおそらく不可能であり、したがって多少の許容誤差は認めてもよい。結果としての画像が、調整可能な遮蔽手段に適用されたコマンドCを用いて取り込まれた場合には、下記のようなコマンドXが求められる。
【0052】
カメラ位置Pcamと、最も近いクロストーク最大値Maxct (5.7)との間の線分と、周期Tct (5.8)との間の割合を算出することにする。
【0053】
ここで、カメラ位置Pcamと最も近いクロストーク最大値Maxctとは正規化された値([0,1]間)であり、そのことは、いかなる下記の位置も結果としての画像の左辺に対して算出され、画像の幅によって正規化されることを意味する。例えば、以下のようになる:
【0054】
位置に対する周期に関しては、以下のことが分かる:
【0055】
さらに、以下のことが分かる:
【0056】
したがって、
となる。
【0057】
換言すれば、いずれのバリアコマンドCに対しても、結果としての画像内の縞の周期とカメラ位置とを分析することにより、ratiocam - 1/4をコマンドCに加えてカメラ位置Pcamにおける完全な50%グレークロストークを得るようにしなければならない。求められるコマンドXは以下の式で表される。
【0058】
例えば、コマンドの値が0.2で、結果としての分析で割合0.5となったときには、カメラ位置での50%グレークロストークを得るためには、設定すべきバリアコマンドは0.45であることが分かる。
【0059】
この演算は、結果としての画像の一回の取り込み撮影で行うことが可能であり、正しい値を得るのにそれ以上の画像の取り込みは不必要である。それでもなお、通常は異なるコマンドを用いた数回の画像取り込み処理を行い、異なる測定値を得、それらを平均化してより正確な結果を得ることができる。
【0060】
なお、カメラ1.3は、図1A及びBに示すように立体画面1.4の上方に置かなくてもよい。また、カメラを図5に示す縞(3.4,3.5)に合わせる必要は全くない。事実、カメラ位置は、結果としての画像に対して知られているなら、画像の外にあってもよい。実際、縞に対するカメラの位置を知り、割合(ratio)の値を計算できさえすればよいのであって、その場所の立体画面の一部が見えなくても、カメラ位置での均衡のとれた50%クロストークを得るために送るべきバリアコマンドを求めることが可能である。
【0061】
以下、どのようにして装置の動的自動立体3D画面の調整可能な遮蔽手段に送るべき正しいコマンドを得て、3D画面を、画面の前方の特定の位置にいるユーザに対して調整するかについて説明する。ここで、ユーザの特定の位置を、結果としての画像で特定された位置と称することとする。この位置は、装置に対する現実世界での絶対的な位置というわけではない。
【0062】
ユーザの一般的な眼間距離と製造される動的自動立体画面への最適距離は知られている。カメラの視界(FOV)も他の較正手段により知られている。カメラのFOVによって区切られる、画面からの最適距離における水平方向の線分のサイズも知られている。水平方向の線分とは、ユーザの顔を結果としての画像で見ることができるための画面からの最適距離にある顔が取り得る位置を表す線分のことである。線分という用語を用いるのは、視差バリアを取り扱う際には、関心の対象は顔の水平方向の位置であって、垂直方向の位置ではないからである。それで、最適距離の線分上には、水平方向左端から右端まで複数のバリアコマンド周期を見い出すことができる。1バリアコマンド周期は線分[0,1]コマンドに対応し、ユーザが最適な視距離に位置しているときには、ユーザの眼間距離の2倍とも一致する。実際、ユーザの両目が画面に平行な平面上を1眼間距離分水平に動いたときには、各目にはまさに逆側の画像が見えるが、2眼間距離分を動くとまさに正しい画像が再び見えてくる。これがバリアコマンドの一周期に相当する。
【0063】
その値
は、線分中のコマンド周期の数の逆数、したがって単位線分におけるコマンド周期の割合を表す。
【0064】
その値は、下記のようにも表せる。
【0065】
カメラ位置での50%グレーの縞を得るために送るべきコマンド値Yは既に知られている。
【0066】
さて、Y+1のコマンドを送ると、ratioOfCommandPeriodsが差し引かれることにより画像内を空間的に水平に動くのと同じ結果がもたらされることも既に分かっている。したがって、ユーザが画像内で特定の水平方向位置Userpositionにいるときに送るべきコマンドCommanduserを得るためには、カメラ位置とユーザの位置との偏差をratioOfCommandPeriods(及びモジュロ 1)によって正規化したものを加算する必要がある。それらの位置は遠近補正された画像において測定される(図5参照)。
【0067】
最終的に、次の式が得られる。
式中、Xは、反射面を介して較正用の結果としての画像を撮影する際に当該結果としての画像を得るために使用される視差バリアのコマンドである。Camerapositionは、結果としての画像内で特定されたカメラの水平方向の位置である。Userpositionは、結果としての画像内で特定されたユーザの水平方向の位置である。ratiocamとratioOfCommandPeriodsとは、前述したように、結果としての画像から算出される。
【0068】
それゆえ、例えば、較正用の取り込み撮影がコマンド値0.2で行われ、分析によりratiocam =0.5が得られ、ユーザ位置が0.7、カメラ位置が0.4、コマンド周期の割合が0.26であるなら、これにより、3D画面に対してこの位置にいるユーザのために送るべきCommanduserの値は0.60385となる。
【0069】
特定の態様においては、中間値CommandatCenterが算出され、ユーザの任意の位置に対するコマンドを算出するのに使用される。この中間値は、取り込まれた画像の中央のユーザの位置に対するコマンドに相当する。
【0070】
好都合に記憶されたこの中間値を使うと、いかなるユーザ位置に対するコマンドも下記の式により得られる。
【0071】
結論として、較正処理により、一回の画像取り込みの撮影で、いかなるユーザ位置に対しても自動立体画面バリアを案内するのに必要な2つのパラメータ、CommandatCenterとratioOfCommandPeriodsとを求めることができるが、このユーザ位置は取り込まれた画像におけるユーザの顔の水平方向の位置のことである。
【0072】
上記では、製造元が定めた自動立体画面との最適視距離を計算で使用した。さらに、この距離は同じ画像取り込みによっても求められる。図7に示すように、カメラ1.3は自動立体3D画面(2.1,2.2)の方に向けられ、半周期Tct/2のクロストーク(黒と白の縞)(7.1)が見えている。半周期は1つの黒の最大値から1つの白の最大値までの距離に相当する。このカメラは画面から距離distancecamera(7.2)のところに位置しており、その距離は鏡までの距離distancetoMirrorの2倍である。最適視距離は、眼間距離intereyedistance(7.3)離れている各目(2.6, 2.7)に黒画像もしくは白画像しか見えない位置である。このことは、次の関係が成り立つことを意味する。
【0073】
なお、stripesperiodは距離単位(例えば、ミリメートル)であり、以下のように規定される。
【0074】
したがって、最適視距離は以下のように規定される。
【0075】
かくして、カメラが画面に対して何故上記最適距離の近傍に置かれるべきではない理由が分かる。何故ならば、周期Tctは無限になるだろうからである。
【0076】
この較正は、動的自動立体画面が鏡と平行であるときに、カメラを鏡に向けた状態で行われる。
【0077】
図8は、本発明の一実施形態に係る較正方法を、上述した説明に対応させて示したフローチャートである。
【0078】
ステップ8.1では、左右の目に対して異なる画像を有するパターンが3D画面に表示される。例えば、一方の目には白画像、他方の目には黒画像である。このパターンは、任意の画素のクロストークの割合を決定できるものならどのようなものでもよい。
【0079】
ステップ8.2では、装置が鏡などの反射面を介して装置自身の画像を取り込む。この画像は、装置の3D画面を含む。撮影条件のせいで、装置の画面の結果としての画像が矩形であることを保証しないことのないように、遠近補正のステップが適用される。したがって、このステップの結果は、矩形に見える装置の画面を含む画像である。
【0080】
ステップ8.3では、ユーザの任意の位置に対して調整可能な遮蔽手段を適切に置くためのコマンドの値が求められる。このコマンドは遮蔽手段の移動に対応し、調整可能な遮蔽手段の水平方向の位相を表す。当該コマンドは遮蔽手段に適用されず、その値が較正の結果と見なされるだけである。この値は、画面の前方のユーザの実際の位置に基づいて求められる実コマンドを決定する際に用いてもよい。コマンドのこの値が、遮蔽手段に与えられると、カメラの水平方向の位置に対応する結果としての画像における水平方向の位置での結果としての画像におけるクロストークの均衡のとれた混合を得ることが可能になる。
【0081】
図9は、本発明の一実施形態において画面の前方の実際のユーザのために行われる実コマンドを決定するための処理のフローチャートを示している。
【0082】
ステップ9.1では、動的自動立体3D画面の較正が行われる。この較正は、図8を参照して説明した方法を用いて行ってよい。
【0083】
ステップ9.2では、画面から最適距離離れたユーザの顔の取り得る位置を表す最適距離線分が求められる。
【0084】
ステップ9.3では、取り込まれた画像内のユーザの顔の位置が求められる。
【0085】
ステップ9.4では、調整可能遮蔽手段への実コマンドが、最適距離線分、結果としての画像内のユーザの顔の位置、及び較正中に求められたコマンドの値に基づいて決定される。
【0086】
図10は、本発明の一つまたは複数の実施形態を実施するための演算装置1000の概略ブロック図である。演算装置1000は、マイクロコンピュータ、ワークステーション、光ポータブルデバイス(例えば、タブレット、携帯電話、携帯ゲーム機など)などの装置であってよい。演算装置1000は、通信バスラインを備えており、当該通信バスラインは以下のものに接続されている:
―CPUと表記されている、マイクロコンピュータなどの中央演算処理装置1001;
―RAMと表記されている、本発明の実施形態の方法の実行可能なコード並びに本発明の実施形態に応じて、画像の少なくとも一部を暗号化したり復号化したりする方法を実行するのに必要な変数やパラメータを記録するのに適合したレジスタを記憶し、そのメモリ容量が、例えば拡張ポートに接続されるオプションのRAMにより拡張可能であるランダムアクセスメモリ1002;
―ROMと表記されている、本発明の実施形態を実施するためのコンピュータプログラムを記憶するリードオンリーメモリ1003;
―主として、処理すべきデジタルデータが送受信される通信ネットワークに接続されるネットワークインターフェース1004であって、単一のネットワークインターフェースであってもよいし、一組の異なるネットワークインターフェース(例えば、有線と無線のインターフェース、あるいは異なる種類の有線または無線のインターフェース)から成るものでもよく、データパケットが、CPU1001で実行されるソフトウェアアプリケーションの制御下で、送信の際にはネットワークインターフェースに書き込まれ、受信の際にはネットワークインターフェースから読み取られる、ネットワークインターフェース1004;
―ユーザからの入力を受け付けたり、ユーザのために情報を表示するのに使用されるユーザインターフェース1005;
―HDと表記されている、大容量記憶装置として設けられるハードディスク1006;
―ビデオ源やディスプレイなどの外部装置とのデータのやり取りに使用されるI/Oモジュール1007。
【0087】
実行可能なコードはリードオンリーメモリ1003か、ハードディスク1006か、あるいはディスクなどの着脱可能なデジタル媒体のいずれかに記憶されてよい。変形例としては、実行可能なプログラムコードは、ネットワークインターフェース1004を介して通信ネットワークにより受信され、実行される前にハードディスク1006などの演算装置1000の記憶手段の1つに記憶される。
【0088】
中央演算処理装置1001は、本発明の実施形態に係る単一もしくは複数のプログラムの命令又はソフトウェアコードの一部の実行を制御し、指示する。それらの命令は前記の記憶手段の1つに記憶される。電源投入後、ソフトウェアアプリケーションに関する命令が例えばプログラムROM1003又はハードディスク(HD)1006から読み込まれてから、CPU1001は当該指示を主たるRAMメモリ1002から実施できるようになる。そのようなソフトウェアアプリケーションがCPU1001によって実行されることによって、本明細書に開示されたアルゴリズムの各ステップが実行される。
【0089】
ここに開示されたアルゴリズムのステップはいずれも、プログラム可能な計算機、例えばPC(パソコン)、DSP(デジタルシグナルプロセッサ)、マイクロコントローラなどが一組の命令又はプログラムを実行することにより、ソフトウェアで実行されてもよいし、機械又はFPGA(フィールドプログラマブルゲートアレイ)あるいはASIC
(特定用途向け集積回路)などの専用コンポーネントによりハードウェアで実行されてもよい。
【0090】
以上具体的な実施形態を参照しながら本発明を説明したが、本発明はこれらの実施形態に限定されるものではなく、本発明の精神および範囲を逸脱しないかぎり変更が可能であることは、当業者には明らかであろう。
【0091】
また、前述の実施形態はあくまで例として説明されたにすぎず、したがって本発明の範囲を制限するものではなく、さらに多くの修正変化が可能であることも当業者には明らかであろう。本発明の範囲は、添付された請求項によってのみ決定される。特に、異なる実施形態の異なる特徴は適宜入れ替えてもよい。
【0092】
また、請求項における「〜から成る」という文言は、他の要素や工程を排除するものではなく、要素が複数であることを排除するものではない。異なる特徴が互いに異なる従属項において列挙されているということだけで、それらの特徴の組み合わせが好都合に使用できないということを示しているものではない。
図1A
図1B
図2
図3
図4
図5
図6
図7
図8
図9
図10