特許 5732064 透明裸眼立体画像表示装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5732064

(24)【登録日】2015年4月17日

(45)【発行日】2015年6月10日

(54)【発明の名称】透明裸眼立体画像表示装置及び方法

(51)【国際特許分類】

   G02B 27/22 20060101AFI20150521BHJP

   H04N 13/04 20060101ALI20150521BHJP

【ＦＩ】

   G02B27/22

   H04N13/04

【請求項の数】19

【全頁数】14

(21)【出願番号】特願2012-539156(P2012-539156)

(86)(22)【出願日】2010年11月16日

(65)【公表番号】特表2013-511075(P2013-511075A)

(43)【公表日】2013年3月28日

(86)【国際出願番号】CH2010000285

(87)【国際公開番号】WO2011060561

(87)【国際公開日】20110526

【審査請求日】2013年10月23日

(31)【優先権主張番号】1775/09

(32)【優先日】2009年11月17日

(33)【優先権主張国】CH

(73)【特許権者】

【識別番号】508092576

【氏名又は名称】エーテーハー チューリヒ

(74)【代理人】

【識別番号】100086759

【弁理士】

【氏名又は名称】渡辺 喜平

(74)【代理人】

【識別番号】100109128

【弁理士】

【氏名又は名称】岡野 功

(74)【代理人】

【識別番号】100112977

【弁理士】

【氏名又は名称】田中 有子

(74)【代理人】

【識別番号】100100608

【弁理士】

【氏名又は名称】森島 なるみ

(74)【代理人】

【識別番号】100142099

【弁理士】

【氏名又は名称】中山 真一

(74)【代理人】

【識別番号】100152803

【弁理士】

【氏名又は名称】今井 哲也

(74)【代理人】

【識別番号】100154184

【弁理士】

【氏名又は名称】生富 成一

(74)【代理人】

【識別番号】100123548

【弁理士】

【氏名又は名称】平山 晃二

(72)【発明者】

【氏名】マルクス グロス

【審査官】 右田 昌士

(56)【参考文献】

【文献】 特開２００４−２４８２１２（ＪＰ，Ａ）

【文献】 特開平０９−０８０３５４（ＪＰ，Ａ）

【文献】 特開平０７−０７２４４５（ＪＰ，Ａ）

【文献】 米国特許第０１６９８２２１（ＵＳ，Ａ）

【文献】 特表２００９−５２０２３１（ＪＰ，Ａ）

【文献】 特開２００６−１８９８３７（ＪＰ，Ａ）

【文献】 特開平０９−０７３０４９（ＪＰ，Ａ）

【文献】 特開２０１０−２３１０４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２７／２２

Ｈ０４Ｎ １３／０４

Ｇ０９Ｆ ９／００ − ９／４６

(57)【特許請求の範囲】

【請求項1】

画像を表示する表示層（１２１）と、
画像分離層（１２２）と、を有する透明な画像表示装置であって、
前記画像分離層（１２２）は、前記画像表示装置を裸眼立体視にするために、前記表示層（１２１）上に表示された画像を、観察者の左眼（１５１）用の第１の画像（１４１）と、観察者の右眼（１５２）用の第２の画像（１４２）とに分けるように構成される装置において、
二次元の輪郭（１２５）を表す輪郭データを受信するとともに、前記表示層（１２１）及び画像分離層（１２２）を制御して、前記表示層（１２１）と前記画像分離層（１２２）を前記二次元の輪郭（１２５）の外側で実質的に透明にするために、前記表示層（１２１）と前記画像分離層（１２２）を、実質的に、前記二次元の輪郭（１２５）の内側でのみアクティブにすることにより、前記二次元の輪郭（１２５）の外側の全ての表示領域を透明とし、観察者をして前記二次元の輪郭の周囲のディスプレイの背後にある背景を視認可能にするための制御モジュールを有することを特徴とする画像表示装置。

【請求項2】

前記画像分離層（１２２）は、前記第１の画像（１４１）を第１の方向に投影し、前記第２の画像（１４２）を第２の方向に投影するように構成され、前記第１及び第２の方向は、各画像部分に対し、観察角（ｏｂｓｅｒｖａｔｉｏｎ ａｎｇｌｅ）だけ離れており、
前記観察角を動的に調節するための手段を有することを特徴とする、請求項１記載の画像表示装置。

【請求項3】

前記観察角を動的に調節するための手段が、前記表示層（１２１）と前記画像分離層（１２２）の間の距離を制御するための少なくとも１つの電気機械アクチュエータ（１２３）を含む、請求項２に記載の画像表示装置。

【請求項4】

前記表示層（１２１）は、画像生成のための透明なＬＥＤマトリックスを含む、請求項１〜３のいずれか一項に記載の画像表示装置。

【請求項5】

前記表示層（１２１）は、投影装置（３００）によって照らされるように構成される、請求項１〜３のいずれか一項に記載の画像表示装置。

【請求項6】

前記画像分離層（１２２）は、前記第１の画像と前記第２の画像を分けるために、ほぼ平行なラインを複数有するアクティブパララックスバリア（１２４）を生成するように構成される、請求項１〜５のいずれか一項に記載の画像表示装置。

【請求項7】

前記画像分離層（１２２）は、前記アクティブパララックスバリア（１２４）を生成するために、黒白ＬＣＤを有する、請求項６に記載の画像表示装置。

【請求項8】

前記画像分離層は、第１の画像と第２の画像を分けるために、レンチキュラーレンズシステムマトリックスを有する、請求項１〜６のいずれか一項に記載の画像表示装置。

【請求項9】

さらに、床上での前記画像表示装置の並進及び回転運動を可能にするロボットユニット（１１０）を有する、請求項１〜８のいずれか一項に記載の画像表示装置。

【請求項10】

さらに、他のオブジェクト、特に床上にある又は床上で動いている観察者又は他の画像表示装置と衝突するのを避けるために、少なくとも１つの衝突防止センサ（１１３）を有する、請求項９に記載の画像表示装置。

【請求項11】

さらに、人又は他のオブジェクトの複数の同時画像を取り込むための１以上のカメラ（１３２）を有し、前記複数の同時画像から仮想観察者の左眼及び右眼用の分離画像を合成するための画像処理ユニット（１１４）を有する、請求項１〜１０のいずれか一項に記載の画像表示装置。

【請求項12】

さらに、前記画像表示装置（１００）とその周囲の観察者又はオブジェクトとの間の距離を測定することが可能な、少なくとも１つの深度センサ（１３１）を有する、請求項１〜１１のいずれか一項に記載の画像表示装置。

【請求項13】

さらに、前記第１の画像分離層の、前記表示層とは反対の側に配置される少なくとも１つの付加的な画像分離層、及び／又は、前記表示層の、前記第１の画像分離層とは反対の側に配置される少なくとも１つの付加的な画像分離層をさらに有する、請求項１〜１２のいずれか一項に記載の画像表示装置。

【請求項14】

人又はオブジェクトを観察者に表示する方法であって、
透明表示層（１２１）及び画像分離層（１２２）を有する透明な画像表示装置（１００）を提供する工程と、
前記人又はオブジェクトの画像データと、前記人又はオブジェクトの二次元の輪郭（１２５）を表す輪郭データとを提供する工程と、
前記表示層（１２１）が前記輪郭（１２５）の内側のみアクティブであり、前記輪郭（１２５）の外側の領域は基本的に透明なままであるように、前記画像データに基づき、前記人又はオブジェクトの画像を、前記観察者の左及び右眼ために、表示層（１２１）上に表示する工程と、
前記画像表示装置を裸眼立体視にするために、前記表示層（１２１）上に表示された画像を、前記観察者の左眼（１５１）用の第1の画像（１４１）と、前記観察者の右眼（１５２）用の第２の画像（１４２）とに分けるように前記画像分離層を制御し、前記画像分離層は前記輪郭（１２５）の内側のみアクティブであり、前記輪郭（１２５）の外側の領域は基本的に透明である工程と、を含み、
前記二次元の輪郭（１２５）の外側の全ての表示領域を透明にして、観察者に前記二次元の輪郭の周囲のディスプレイの背後にある背景を視認させる方法。

【請求項15】

さらに、
少なくとも２つの別々のカメラで前記画像データを取り込む工程と、
基準位置からの前記人又はオブジェクトの奥行きプロファイルデータを取り込む工程と、
前記取り込んだ画像データ及び奥行きプロファイルデータから前記輪郭データを検出する工程と、
前記観察者への遠近感が、前記取り込んだ人又はオブジェクトの前記基準位置からの遠近感に相当するように、前記人又はオブジェクトの画像を表示する工程と、を含む、請求項１４の方法。

【請求項16】

前記第１の画像（１４１）を第１の方向に投影し、前記第２の画像（１４２）を第２の方向に投影し、各画像部分に対する前記第１の方向と前記第２の方向は観察角（ｏｂｓｅｒｖａｔｉｏｎ ａｎｇｌｅ）だけ離れている工程と、
前記観察角を動的に調節する工程と、をさらに含む、請求項１４又は１５の方法。

【請求項17】

さらに、
前記画像表示装置（１００）と前記観察者との間の距離データを取り込む工程と、
前記画像表示装置に対する前記観察者の目の空間位置を推測する工程と、
前記観察者の目の推測された空間位置に応じて、前記観察角を動的に調節する工程と、を含む、請求項１６に記載の方法。

【請求項18】

前記画像表示装置をロボットユニット（１１０）により動かす工程と、をさらに含む、請求項１４〜１７のいずれか一項に記載の方法。

【請求項19】

少なくとも２つの別々のカメラを用いて、基準位置からの前記人又はオブジェクトの画像データを取り込む工程と、
前記観察者に対する前記画像表示装置の位置を、基本的に連続的に、前記取り込んだ人又はオブジェクトの前記基準位置に対する位置にマッチしているように、前記ロボットユニット（１１０）により前記画像表示装置（１００）を動かす工程と、
前記画像上への前記観察者からの遠近感が、前記取り込んだ人又はオブジェクト上への前記基準位置からの遠近感に相当するように、前記画像データに基づき、前記人又はオブジェクトの画像を表示する工程と、を含む、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばテレプレゼンスを改良できる、透明裸眼立体画像表示装置、及び対応する方法に関する。

【背景技術】

【0002】

テレプレゼンスやテレコラボレーションに関する様々な技術が公知である。レポート［Ｈｏｕ０９］には、共同デザインレビューのための各種ディスプレイ技術の最近の比較評価が見られる（Ｍｉｎｇ Ｈｏｕ，Ｊｕｓｔｉｎ Ｇ．Ｈｏｌｌａｎｄｓ，Ａｎｄｒｅａ Ｓｃｉｐｉｏｎｅ，Ｌｏｃｈｌａｎ Ｍａｇｅｅ，Ｍｉｋｅ Ｇｒｅｅｎｌｅｙ：「共同デザインレビューのためのディスプレイ技術の比較評価」、Ｐｒｅｓｅｎｃｅ、１８巻、２号、１２５〜１３８頁、２００９年４月）。

【0003】

テレビ会議の最も簡単な形は、二次元モニターを備えた標準的なパソコン、ビデオカメラ、及び、録音及び再生用の機器があれば実現できる。この種のシステムの顕著な例は、マイクロソフト・ライブミーティング（ｈｔｔｐ：／／ｏｆｆｉｃｅ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｌｉｖｅｍｅｅｔｉｎｇ、アクセス：２００９年８月２７日）、スカイプ（ｈｔｔｐ：／／ｗｗｗ．ｓｋｙｐｅ．ｃｏｍ、アクセス：２００９年８月２７日）や、類似のソフトウェア・スィートである。このようなシステムは、二人の間の基本的なコミュニケーションにはなんとかうまく機能するが、より大きいグループの間でのコラボレーションをサポートするにはあまり適していない。さらに、このようなシステムは、遠隔の人の部分的な二次元映像しか提供しない。三次元的な見え（アピアランス）、ゼスチャーやアイコンタクトなどの自然な全身でのインタラクションは不可能である。

【0004】

立体ディスプレイを用いれば、よりリアルな三次元視覚化が可能である。１人用の簡単な立体ディスプレイ（［Ｈｏｕ０９］）は、ＬＣＤ系眼鏡又は偏光眼鏡等の付加的な機器と付加的な頭部追跡が必要であるため、見ている人には目障りである。

【0005】

裸眼立体ディスプレイは、このような付加的な機器を必要とせずとも三次元映像を作り出すことができる。このようなディスプレイは、例えば、［Ｐｅｒｌｉｎ００］（Ｋｅｎ Ｐｅｒｌｉｎ，Ｓａｌｖａｔｏｒｅ Ｐａｘｉａ，Ｊｏｅｌ Ｓ．Ｋｏｌｌｉｎ：「裸眼立体ディスプレイ」、ＳＩＧＧＲＡＰＨ２０００、３１９〜３２６頁、２０００年）や、ＤＴＩ（ｈｔｔｐ：／／ｄｔｉ３ｄ．ｃｏｍ、アクセス：２００９年８月２７日）や、［Ｋｉｔａｍｕｒａ０１］（Ｙｏｓｈｉｆｕｍｉ Ｋｉｔａｍｕｒａ， Ｔａｋａｓｈｉｇｅ Ｋｏｎｉｓｈｉ， Ｓｕｍｉｈｉｋｏ Ｙａｍａｍｏｔｏ， Ｆｕｍｉｏ Ｋｉｓｈｉｎｏ：「三人以上の使用者のための双方向裸眼立体ディスプレイ」、ＳＩＧＧＲＡＰＨ２００１、２３１〜２４０頁、２００１年）から公知である。しかしながら、レンチキュラーレンズ又はバララックスバリアが固定されているために、これらは、見る位置がわずかに離散的に異なる場合や、動作範囲が小さい場合に制限される。さらに、どちらのタイプのディスプレイも、通常、卓上型モニターとして使用できるのみであり、共同作業する人々を実寸法及び三次元で表示することは、現在の標準的なディスプレイ技術では不可能である。

【0006】

共同作業は、［Ａｇｒａｗａｌａ９７］（Ｍａｎｅｅｓｈ Ａｇｒａｗａｌａ，Ａｎｄｒｅｗ Ｃ．Ｂｅｅｒｓ，Ｉａｎ ＭｃＤｏｗａｌｌ，Ｂｅｒｎｄ Ｆｒｏｅｈｌｉｃｈ，Ｍａｒｋ Ｔ．Ｂｏｌａｓ，Ｐａｔ Ｈａｎｒａｈａｎ： 「２人のユーザーのリスポンシブ・ワークベンチ： 共有空間の個々の視野を介したコラボレーションのための支援」、ＳＩＧＧＲＡＰＨ１９９７、３２７〜３３２頁、１９９７年）から公知の仮想ワークベンチ、［Ｂｉｌｌｉｎｇｈｕｒｓｔ０２］（Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｈｉｒｏｋａｚｕ Ｋａｔｏ： 「協調型拡張現実感」、Ｃｏｍｍｕｎ．ＡＣＭ ４５（７）、６４〜７０頁、２００２年）から公知の拡張現実技術、又はロボット工学、［Ｍａｃｈｉｎｏ０６］（Ｔａｍｏｔｓｕ Ｍａｃｈｉｎｏ， Ｓａｔｏｓｈｉ Ｉｗａｋｉ， Ｈｉｒｏａｋｉ Ｋａｗａｔａ， Ｙｏｓｈｉｍａｓａ Ｙａｎａｇｉｈａｒａ， Ｙｏｓｈｉｔｏ Ｎａｎｊｏ， Ｋｅｎｉｃｈｉｒｏ Ｓｈｉｍｏｋｕｒａ： 「カメラ・プロジェクタ一体型移動ロボットを用いた遠隔コラボレーションシステム」、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ、４０６３〜４０６８頁、２００６年）を用いることによって改良でき、これらは、仮想共同作業者の動作又は指示を現実の世界に視覚的に組み込んだ。

【0007】

現実の作業環境へのこの統合により、協調型タスクは、より自然で邪魔にならない方法で行うことができる。しかし、多くの拡張現実アプリケーションのシナリオにおいては、人は依然、ヘッドマウントディスプレイのような、特殊なディスプレイと追跡装置を身につけなければならない。さらに、このタイプのシステムは、１人の人の実際の視界に仮想オブジェクトを単に組み込むことに重点を置く。このようなシステムを用いて、共同作業する人の完全にリアルな３Ｄレンダリングを統合することは、現在のところ実行不可能である。

【0008】

実際のオフィス又は作業環境に、視覚的に、共同作業する人々を組み込むための、よりスケールの大きいシステムに対する提案は、ほとんどの場合、［Ｒａｓｋａｒ９８］（Ｒａｍｅｓｈ Ｒａｓｋａｒ，Ｇｒｅｇ Ｗｅｌｃｈ， Ｍａｔｔ Ｃｕｔｔｓ， Ａｄａｍ Ｌａｋｅ， Ｌａｖｅ Ｓｔｅｓｉｎ， Ｈｅｎｒｙ Ｆｕｃｈｓ： 「未来のオフィス：画像ベースモデリング及び空間没入型ディスプレイへの統合アプローチ」、ＳＩＧＧＲＡＰＨ１９９８、１７９〜１８８頁、１９９８年）又は［Ｋａｕｆｆ０２］（Ｐｅｔｅｒ Ｋａｕｆｆ， Ｏｌｉｖｅｒ Ｓｃｈｒｅｅｒ：「共有仮想チームユーザー環境を用いる没入型三次元テレビ会議システム」、ＣＶＥ２００２、１０５〜１１２頁、２００２年）から公知のもののような、複数のカメラと複数のプロジェクタの複合システムに基づく。

【0009】

最新の最も進化した大規模テレコラボレーションシステムは、［Ｇｒｏｓｓ０３］（Ｍａｒｋｕｓ Ｈ．Ｇｒｏｓｓ，Ｓｔｅｐｈａｎ Ｗｕｅｒｍｌｉｎ， Ｍａｒｔｉｎ Ｎａｅｆ， Ｅｄｏｕａｒｄ Ｌａｍｂｏｒａｙ， Ｃｈｒｉｓｔｉａｎ Ｐ．Ｓｐａｇｎｏ， Ａｎｄｒｅａｓ Ｍ．Ｋｕｎｚ， Ｅｓｔｈｅｒ Ｋｏｌｌｅｒ−Ｍｅｉｅｒ， Ｔｏｍａｓ Ｓｖｏｂｏｄａ， Ｌｕｃ Ｊ．Ｖａｎ Ｇｏｏｌ， Ｓｉｌｋｅ Ｌａｎｇ， Ｋａｉ Ｓｔｒｅｈｌｋｅ， Ａｎｄｒｅｗ Ｖａｎｄｅ Ｍｏｅｒｅ， Ｏｌｉｖｅｒ Ｇ．Ｓｔａａｄｔ： 「Ｂｌｕｅ−ｃ：テレプレゼンスのための、空間没入型ディスプレイ及び三次元ビデオポータル」、ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ．２２（３）、８１９〜８２７頁、２００３年）に記載のＢｌｕｅ−ｃプロジェクトであった。ここでは、共同作業者が小さい部屋、いわゆるケイブに入る。環境及び共同作業者たちは、部屋の壁にフル３Ｄで投影される。カメラは、遠隔Ｂｌｕｅ−ｃ設備に三次元モデルとして再生できるように、各人を多視点から記録する。このＢｌｕｅ−ｃシステムは、共同作業者、その身振り、模倣及び他の重要な刺激の三次元的再生を用いて、ユーザーにリアルな没入的体験を提供する。しかしながら、各ケイブには1人の人しか入れず、完全な環境は仮想的に再生される必要があり、このようなシステムを標準的なオフィス又はより複雑な作業環境に統合することは、複雑なハードウエア及び設置条件のため、不可能である。

【0010】

先のシステムの技術的制約の多くは、今日、新世代の高品質高フレームレートカメラ、ＴＯＦ（タイムオブフライト）深度センサ、及び最新のプロジェクタとディスプレイによって緩和することができる。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的は、観察者が、まるで同じ部屋にいるように人やオブジェクトをリアルに知覚できるようにする、テレプレゼンス及びテレコラボレーションに適した裸眼立体画像表示装置を提供することである。

【課題を解決するための手段】

【0012】

この目的は、請求項１の特徴を有する画像表示装置によって達成される。本発明のさらなる実施形態は、従属請求項に記載する。

【0013】

本発明による装置は、表示層と画像分離層を有する。画像分離層は、画像表示装置を裸眼立体視にするために、表示層上に表示された画像を、観察者の左眼用の第１の画像と、観察者の右眼用の第２の画像とに分けるように構成される。本装置は、表示層と画像分離層を、実質的に、与えられた二次元の輪郭の内側でのみアクティブにするための表示制御モジュールを有し、これにより表示層と画像分離層を前記輪郭の外側で実質的に透明な状態にする。

【0014】

表示層は、アクティブにされない限りは、実質的に透明である。アクティブにされると、表示層は、投影される人又はオブジェクトの輪郭（周囲）の外側で実質的に透明のままである。透明ディスプレイ自体は公知である。本発明は、好ましくは表示層にほぼ平行であり裸眼立体視効果を生み出す画像分離層をいっしょにした透明ディスプレイを提供する。表示された輪郭の外側の領域では、表示層が実質的に透明のままであるだけでなく、左眼用の画像と右眼用の画像への画像分離に関与する画像分離層も実質的に透明のままである。表示層と画像分離層は、これら２つの層を含むフラットディスプレイパネルに統合することもできる。
特に、表示制御モジュールは、輪郭を描く輪郭データを受け取ることができ、表示層と画像分離層を制御して、これらの層の、実質的に輪郭の内側だけをアクティブにし、この輪郭の外側は実質的に透明のままにする。さらに、本装置は、人又はオブジェクトの画像データ及び／又は奥行きプロファイルデータを受け取り、これらのデータから二次元の輪郭を検出し、表示制御モジュールに輪郭データを送信するように構成される輪郭検出モジュールを含んでもよい。この輪郭検出モジュールは、標準コンピュータ又は専用プロセッサ上のソフトウエアに実装されてもよい。輪郭検出のためのアルゴリズム自体は、例えば、上に挙げた［Ｇｒｏｓｓ０３］及びこの中で引用される参考文献から公知である。これらのモジュールは、単独の画像処理装置に組み入れられても良いし、又は互いに独立であってもよいし、互いから遠く離れていてもよい。

【0015】

一般的にいえば、画像分離層は、第１の画像を第１の方向に投影し、第２の画像を第２の方向に投影するように構成され、この第１及び第２の方向は、観察角（ｏｂｓｅｒｖａｔｉｏｎ ａｎｇｌｅ）だけ離れている。観察角は、各画像部分（例えば各画素）に関して局所的に異なっていてもよく、ひいては画像によって変化してもよい。好ましい実施形態では、画像表示装置は、操作中に前記観察角を動的に調節するための手段を含む。この手段は、電気的に、所望の観察角を直接的又は間接的に表す方向データを受け取り、この方向データに従って観察角を調節できる。観察角は、一般的に、画像表示装置に近い観察者に対しては大きくなり、画像表示装置から離れている観察者に対しては小さくなる。公知の裸眼立体視ディスプレイでは、観察者の２つの眼のそれぞれ用に分離された画像が、観察者の目に正確に届くよう適切に偏向されるように、観察者は「スィート・スポット」に位置する必要があるが、本発明では、装置自体を画像ディスプレイに対する観察者の位置に適合させることができる。

【0016】

前記観察角を動的に調節するための手段は、特に、表示層と画像分離層の間の距離を制御するために、電気モータ型アクチュエータ又はピエゾ・アクチュエータ等の、少なくとも１つの電気機械アクチュエータを含むことができる。この手段は、代わりに又は付加的に、例えば、画像分離層がアクティブパララックスバリア等を有する場合には、アクティブパララックスバリアのラインの位置及び幅を適合させること等によって、画像分離層の外観（ａｐｐｅａｒａｎｃｅ）を適合させるための手段を有してもよい。

【0017】

観察角を動的に調節するための手段は、表示層と画像分離層が、与えられた二次元の輪郭の実質的に内側だけアクティブにされるかどうかに関係なく、設けることができる。従って、本発明はまた、一般的に、表示層及び画像分離層を有する画像表示装置であって、この画像分離層が、表示層上に表示される画像を、第１の方向に投影される第１の画像と、第２の方向に投影される第２の画像とに分けるように構成されており、各画像部分に対する前記第１及び第２の方向が観察角だけ離れており、前記画像表示装置が操作中に前記観察角を動的に調節するための手段を有する、画像表示装置に関する。

【0018】

いくつかの実施形態において、表示層は、画像生成のための透明なＬＥＤマトリックスを含むことができる。このようなマトリックス自体は公知である。特に、有機ＬＥＤ（ＯＬＥＤ）マトリックスは公知である。他の実施形態では、表示層は、特に、投影装置によって照らされるように構成されてもよく、これにより投影層として機能してもよい。このため、表示層は、透明な異方性屈折又は異方性反射材料を含むことができる。

【0019】

画像分離層は、前記第１の画像と前記第２の画像を分けるために、画像分離層上に、好ましくは二次元の輪郭の内側にのみ、ほぼ平行なラインを複数有するアクティブパララックスバリアを生成するように構成することができる。いくつかの実施形態では、前記ラインはほぼ垂直であってよいが、他の実施形態では、前記ラインは異なる方向を有してよく、例えば斜めであってもよい。いくつかの実施形態では、画像分離層は、アクティブパララックスバリアを生成するために、ＬＣＤ、特に、高コントラストを提供する白黒ＬＣＤを有してもよい。他の実施形態では、画像分離層は、第１の画像と第２の画像を分けるために、レンチキュラーレンズシステムマトリックスを有してもよい。

【0020】

画像表示装置は、さらに、表示層及び画像分離層が取り付けられるロボットユニットを有することができ、これによって、観察者と同じ部屋又は空間において、床上での画像表示装置の並進及び回転運動が可能になる。本装置は、画像表示装置が、他のオブジェクト、特に床上にある又は床上で動いている観察者又は他の画像表示装置と衝突するのを避けるために、さらに、少なくとも１つの衝突防止センサ、例えば超音波センサ又は赤外線（ＩＲ）センサを有してもよい。

【0021】

前記ロボットユニットは、表示層と画像分離層が与えられた二次元の輪郭の実質的に内側だけアクティブにされるかどうかに関係なく、設けることができる。従って、本発明はまた、表示層及び画像分離層を有する画像表示装置であって、画像表示装置を裸眼立体視にするために、前記画像分離層が、表示層上に表示される画像を、観察者の左眼用の第１の画像と、観察者の右眼用の第２の画像とに分けるように構成されており、さらに、床上での画像表示装置の並進及び回転運動を可能にするロボットユニットを有する画像表示装置に関する。

【0022】

画像表示装置には、ステレオカメラシステムやタイムオブフライトセンサ等の画像及び深度センサが搭載されていてもよい。これにより、１人の人の画像と奥行きデータを、第１の位置で取り込み、これを伝送し、第２の位置で表示することができる。この第２の位置では、ディスプレイの観察者の画像及び奥行きデータが同じ方法で取り込まれ、第１の位置に伝送され、第1の位置にてこのデータが元の人によって観察される。このようにして、元の人と観察者は、互いの相手のテレプレゼンスを非常にリアルに感じる。特に、本画像表示装置は、人又は他のオブジェクトの同時画像を複数取り込むための１以上のカメラと、前記複数の同時画像から仮想観察者の左眼及び右眼に対する分離画像を合成するための画像処理ユニットとを有してもよい。本装置は、さらに、画像表示装置とその周囲の観察者又はオブジェクトとの間の距離を測定することが可能な、少なくとも１つの深度センサ、好ましくはタイムオブフライトセンサを有することができる。

【0023】

原則的に、同じ部屋（第1の場所）には多数の観察者とこのような画像表示装置があることが想定される。第２の場所にはこの部屋のコピーが作り出され、第１の場所にある画像表示装置は、この第２の場所にいる人であり、第１の場所に実在する人とオブジェクトは、この第２の場所で対応する画像表示装置によって置き換えられるだけである。このコンセプトは、もちろん、同時に２つより多い場所に拡張することができる。

【0024】

本装置は、少なくとも１つの付加的な画像分離層を有することができる。この付加的な画像分離層は、第１の画像分離層とは反対側にある、表示層の裏側に配置することができる。こうして、本装置は、例えば、人又はオブジェクトの前及び後を表示でき、両側から眺めることができる。付加的に又は選択的に、付加的な画像分離層を、第１の画像分離層の上側、つまり、第１の画像分離層の、表示層とは反対側にある側に配置することができる。こうして、本装置は、裸眼立体視画像を１人より多い観察者に送るために使用することができる。このコンセプトは、もちろん、一般化して、付加的な画像分離層を複数にすることができる。好ましくは、表示制御モジュールは、前記輪郭の外側で、表示層及び複数の画像分離層を実質的に透明にするために、付加的な画像分離層も与えられた二次元の輪郭の実質的に内側だけアクティブにされるように構成される。第１の画像分離層に対してだけでなく、付加的な画像分離層の少なくとも１つに対しても、独立に、観察角を動的に調節するための手段を設けることができる。

【0025】

本装置は、特にテレプレゼンス及びテレコラボレーションでの利用に適するよう記載してきたが、利用の範囲はこれに限定されず、他の環境においても使用することができる。

【0026】

他の態様では、本発明は、人又はオブジェクトを観察者に表示する方法を提供し、本方法は、以下の工程を含む：
−透明表示層及び画像分離層を有する画像表示装置を提供する工程、
−人又はオブジェクトの画像データと、人又はオブジェクトの二次元の輪郭を表す輪郭データとを提供する工程、
−前記表示層は前記輪郭の内側でのみアクティブであり、前記表示層は、前記輪郭の外側の領域では基本的に透明なままであるように、前記画像データに基づき、観察者の左及び右眼のために、表示層上に人又はオブジェクトの画像を表示する工程、及び
−画像表示装置を裸眼立体視にするために、表示層上に表示された画像を、観察者の左眼用の第1の画像と、観察者の右眼用の第２の画像とに分けるように、前記画像分離層を制御し、前記画像分離層は前記輪郭の内側のみアクティブであり、輪郭の外側の領域は基本的に透明である工程。

【0027】

本方法は、さらに以下の工程を含んでもよい：
−少なくとも２つの別々のカメラで前記画像データを、好ましくはステレオカメラシステムで立体画像を取り込む工程、
−基準位置からの人又はオブジェクトの奥行きプロファイルデータを、例えば、少なくとも１つの深度センサを用いて、好ましくは、少なくとも１つのタイムオブフライトセンサを用いて取り込む工程、
−取り込んだ画像データ及び奥行きプロファイルデータから輪郭データを検出スル工程、及び
−観察者への遠近感が、取り込んだ人又はオブジェクトの基準位置からの遠近感に相当するように、人又はオブジェクトの画像を表示する工程。

【0028】

さらに別の態様において、本発明は、観察者に人又はオブジェクトを表示する方法であって、以下の工程を含む方法を提供する：
−表示層及び画像分離層を有する画像表示装置を提供する工程、
−観察者の左及び右眼のために、表示層上に人又はオブジェクトの画像を表示する工程、
−画像表示装置を裸眼立体視にするために、前記表示層上の画像を、観察者の左眼用の第1の画像と、観察者の右眼用の第２の画像とに分けるように前記画像分離層を制御し、これにより、前記第１の画像を第１の方向に投影し、前記第２の画像を第２の方向に投影し、前記第１の方向と第２の方向は観察角だけ離れている工程、及び
−前記観察角を動的に調節する工程。

【0029】

特に、この方法は、以下の工程を含んでもよい：
−画像表示装置と観察者の間の距離データを、好ましくは画像表示装置に付属の付加的なタイムオブフライトセンサによって取り込む工程、
−画像表示装置に対する観察者の目の空間位置を推測する工程、及び
−前記観察者の目の推測された空間位置に応じて、前記観察角を動的に調節する工程。

【0030】

観察角の調節は、以下のパラメータのいずれかを調節することによって達成することができる：
−上述の、表示層と画像分離層との間の距離、及び
−上述の、画像分離層の外観、例えば、アクティブパララックスバリアの場合、ライン幅及び／又はライン位置。

【0031】

選択的又は付加的に、前記方法は、装置を移動させることにより、装置と観察者の間の距離を観察角に合うように調節することを含むこともできる。

【0032】

これらの方法は、もちろん、画像表示装置を輪郭の外側で実質的に透明のままにする、上述の方法と組み合わせてもよい。

【0033】

さらに別の態様では、本発明は、以下の工程を含む、観察者に人又はオブジェクトを表示する方法を提供する：
−表示層及び画像分離層を有する画像表示装置を提供する工程、
−観察者の左及び右眼のために、表示層上に人又はオブジェクトの画像を表示する工程、
−前記画像表示装置を裸眼立体視にするために、前記表示層上の画像を、観察者の左眼用の第1の画像と、観察者の右眼用の第２の画像とに分けるように、前記画像分離層を制御する工程、及び
−前記画像表示装置をロボットユニットにより動かす工程。

【0034】

特に、この方法は、
−少なくとも２つの別々のカメラを用いて基準位置からの人又はオブジェクトの画像データを取り込む、好ましくは、ステレオカメラシステムを用いて立体画像を取り込む工程と、
−観察者に対する画像表示装置の位置が、基本的に連続的に、取り込んだ人又はオブジェクトの基準位置に対する位置にマッチしているように、ロボットユニットにより画像表示装置を動かす工程と、
−画像上への観察者からの遠近感が、取り込んだ人又はオブジェクトへの基準位置からの遠近感に相当するように、画像データに基づき、人又はオブジェクトの画像を表示する工程と、を含んでもよい。

【0035】

また、これらの方法の特徴を、上述の他の方法のいずれかと組み合わせてもよい。これらの方法は、上述の画像表示装置を操作する方法として実行することもできる。

【0036】

特に好ましい実施形態では、以下の特徴を有する、人又はオブジェクトを観察者に表示する方法を提供する：
ａ． 少なくとも２つの別々のカメラを用いて、人又はオブジェクトの画像データを、好ましくは、ステレオカメラシステムを用いて立体画像を取り込み、
ｂ． 少なくとも１つの深度センサ、好ましくは少なくとも１つのタイムオブフライトセンサを用いて、基準位置からの人又はオブジェクト及びその周囲の奥行きプロファイルデータを取り込み、
ｃ． 取り込んだ画像データと奥行きプロファイルデータを画像表示装置に送り、
ｄ． 工程（ｃ）の前又は後に、画像認識モジュールによって、取り込んだ画像データ及び奥行きプロファイルデータから人又はオブジェクトの輪郭を検出し、
ｅ． 画像表示装置と観察者との間の距離データを、好ましくは、画像表示装置に付属の付加的なタイムオブフライトセンサによって取り込み、
ｆ． 前記距離データから観察者の目の空間位置を推測し、
ｇ． 観察者への遠近感が、取り込んだ人又はオブジェクトの基準位置からの遠近感に相当し、且つ、表示層が、遠近的に調節され縮小拡大された（ｓｃａｌｅｄ）輪郭の内部だけアクティブで、この輪郭の外側の領域で基本的に透明のままであるように、観察者の左及び右眼のために、別々に、画像表示装置の透明な表示層上に人又はオブジェクトの拡大縮小された画像を合成し、及び
ｈ． アクティブパララックスバリアを生成するように、画像表示装置の画像分離層を制御して、バリアは遠近的に調節され縮小拡大された輪郭の内側だけアクティブであり、画像分離層は、この輪郭の外側の領域は実質的に透明であるようにする。

【図面の簡単な説明】

【0037】

【図1】図１は、本発明によるモバイルテレプレゼンス用の裸眼立体視透明ディスプレイプラットフォームを表す。

【図2】図２は、パララックスバリア（前方ディスプレイ）と透明ＯＬＥＤとの間の動的な距離制御の図である。

【図3】図３は、表示されるオブジェクトの輪郭の内側のパララックスバリア（黒の縦線）の動的スイッチングを表す。

【発明を実施するための形態】

【0038】

本発明の好ましい実施形態を、図を参照し以下に説明するが、これらの図は、本発明の現在の好ましい実施形態を説明するためのものであって、本発明を限定するためのものではない。

【0039】

Ａ．好ましい実施形態：ＯＬＥＤディスプレイとＬＣＤパララックスバリア
図１〜３に、本発明による画像表示装置１００の好ましい実施形態を示す。画像表示装置は、パネルホルダ１１５によりロボットプラットフォーム１１０に取り付けたフラットで透明な表示パネル１２０を有する。この表示パネル１２０の最上部に、上方部分１３０が取り付けられる。

【0040】

表示パネル１２０は、透明有機発光ダイオード（ＯＬＥＤ）自己発光ディスプレイ（例えばサムスンから入手可能）の形をした表示層１２１と、パララックスバリア１２４を生成して、動的にビーム分離を行うための透明な高解像度黒白ＬＣＤ（液晶ディスプレイ）の形をした画像分離層１２２とを有する。

【0041】

基本的な考えは以下のとおりである。人の３Ｄビューを提供するために、２つの違ったビューを、観察者の２つの眼に対し別々に表示する。これら２つのビューは、例えばカラムインターリーブ様式で、ＯＬＥＤディスプレイ上に表示されてもよい。この構造は、２つのさらなる独立した態様によって増強される。第１に、表示層１２１，１２２の間の距離ｄと、ＬＣＤによって生成されるパララックスバリア１２４の外観は、ディスプレイに対する観察者の距離及び位置を調節するように、リアルタイムで制御する。この可変距離制御は、ピエゾ・アクチュエータ等の機械的アクティブアクチュエータ１２３（図２及び３）によって達成される。第２に、ＬＣＤパララックスバリア１２４は、表示される人の輪郭１２５の内側だけアクティブである。この部分的なバリアにより、輪郭の外側の全ての表示領域が透明のままとなり、結果としての画像を、実環境にシームレスに統合することが保証される。

【0042】

観察者の位置が与えられると、バリアである前面のＬＣＤを用いて、左眼１５１にはディスプレイに表示された左ビュー１４１だけ見え、右眼１５２には右ビュー１４２だけが見える。組み合わされたＯＬＥＤ／ＬＣＤ表示パネルの照らされていない領域が完全に透明であることにより、視覚化された人が空中で浮くように見え、観察者は共同作業者の輪郭の周りの背景を見ることができる。

【0043】

Ｂ． カメラ、深度センサ、及びリアルタイム処理
遠隔の人の三次元立体表現を作り出すために、カメラ１３２及び１以上の付加的なタイムオブフライト（ＴＯＦ）深度センサ１３１は、リアルタイムでカラー画像及び深度画像を取得する。音声伝送のために、スピーカー１３３及びマイクロホン（図示せず）を設けてもよい。

【0044】

２つのカラーカメラ１３２からの映像は、立体手掛かり（ｓｔｅｒｅｏ ｃｕｅｓ）を算出するために使用されている。さらに、ＴＯＦセンサ１３１は、人からより解像度の低い深度マップを取り込む。この深度マップは、凝視及びアイコンタクトを補正し、遠近感的に正確な画像ストリームを表示するために利用される。

【0045】

さらに、ＴＯＦセンサ１３１により、遠隔観察者の表示パネルからの距離と位置を確実に算出することができる。この情報は、２つの表示層１２１，１２２の間の距離を制御し、ＬＣＤ上のパララックスバリア１２４を制御する閉ループアルゴリズムのために利用される。結果として得られるデータは、さらに、２以上のこのようなプラットフォーム間で、あるいはテレプレゼンスの場所へ伝送することができる。操作の第２モードとして、ディスプレイはまた、複数の観察者が同時に遠近感的に正確な画像を得られるように、多視点ビデオを支援することもできる。このようなモードに対しては、遠隔の人のより正確な三次元モデルプロキシを算出して、それぞれの所望の視界（ｖｉｅｗ）に対し別々に表示される。個々の視界の間の最適な分離は、パララックスバリアによっても達成することができる。

【0046】

Ｃ． モバイルロボットプラットフォーム
ディスプレイ、カメラ及び深度センサ、並びに、プロセッサ、ハードウエア・コントローラ及び電源等の他のハードウエア・コンポーネントの全て（一般的に言えば、制御ユニットであり、表示パネル１２０を制御するための表示制御モジュールを含む）は、被駆動車輪１１１を有する、可動式電池駆動の、一部自律型ホロノミックロボットプラットフォーム１１０上に取り付けられる。プラットフォーム１１０には、付加的な超音波距離及び運動センサ１１３が装備され、これにより、システムは、衝突することなく、使用できるオフィス又は作業環境で、自由に動くことができる。「広告板」モードでは、表示装置１００が、実際のコミュニケーション・パートナーへと動いたり、方向転換することができる。ステータス・ディスプレイ１１２は、装置の状況を示す。

【0047】

プラットフォーム１１０のバッテリーを再充電するために、ドッキング・ステーション２００を設けてもよい（図１）。本実施形態では、本体２０１を備えるドッキング・ステーション２００は、プラットフォーム１１０をドッキング・ステーション２００の正しい位置へと導くために、ホイールガイド２０３を備えたフラットベース２０２を有する。

【0048】

ロボット部分の形状は、同様に、安全性の問題を考慮しなければならない。望ましい自律型モードの操作に加え、直感的なユーザーインターフェースを通して、遠隔のユーザーによるプラットフォーム１１０の対話式制御が提供されてもよい。

【0049】

Ｄ． 本発明の代替的な実施形態
本発明の範囲を離れることなく、多くの代替的な実施形態が可能であり、本発明は、上述の好ましい実施形態に決して限定されない。

【0050】

例えば、観察者の目のそれぞれに対する２つの画像を分けるために、動的パララックスバリアのかわりに、レンチキュラーレンズシステムを使用することもできる。ディスプレイへの観察者の距離に適合させるための他の方法として、パララックスバリアを使用する場合には、パララックスバリアの縦線の幅を変更することができる。パララックスバリア自体は、ＬＣＤ、ＯＬＥＤ、ビデオ投影、又は、要求される解像度を得られる他の任意の手段によって実現することができる。

【0051】

ディスプレイ用のＯＬＥＤの代わりに、異方性屈折又は異方性反射材料を使用して、図１に点線で概略的に図示したプロジェクタ３００等の、外部ビデオプロジェクタによって照らしてもよい。このプロジェクタは、例えば、ロボットユニットも含む装置の足元に隠すことができる。多くのさらなる実施形態が可能である。

【符号の説明】

【0052】

１００ 画像表示装置
１１０ プラットフォーム
１１１ 車輪
１１２ ステータス・ディスプレイ
１１３ 超音波センサ
１１４ 制御ユニット
１１５ パネルホルダ
１２０ 表示パネル
１２１ 表示層
１２２ 画像分離層
１２３ アクチュエータ
１２４ バリア層
１２５ 輪郭
１３０ 最上部
１３１ 深度センサ
１３２ カメラ
１３３ スピーカー
１４１ 第１の画像
１４２ 第２の画像
１５１ 左眼
１５２ 右眼
２００ ドッキング・ステーション
２０１ 本体
２０２ ベース
２０３ ホイールガイド
３００ 投影装置
ｄ 距離

【図1】

【図2】

【図3】