特許 6290922 現実環境における現実対象物上のデジタル情報を投影するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6290922

(24)【登録日】2018年2月16日

(45)【発行日】2018年3月7日

(54)【発明の名称】現実環境における現実対象物上のデジタル情報を投影するための方法およびシステム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20180226BHJP

   G03B 21/00 20060101ALI20180226BHJP

【ＦＩ】

   H04N5/74 Z

   G03B21/00 D

【請求項の数】56

【全頁数】24

(21)【出願番号】特願2015-549997(P2015-549997)

(86)(22)【出願日】2012年12月28日

(65)【公表番号】特表2016-509394(P2016-509394A)

(43)【公表日】2016年3月24日

(86)【国際出願番号】EP2012077060

(87)【国際公開番号】WO2014101955

(87)【国際公開日】20140703

【審査請求日】2015年8月19日

(73)【特許権者】

【識別番号】506422548

【氏名又は名称】メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】ｍｅｔａｉｏ ＧｍｂＨ

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100088694

【弁理士】

【氏名又は名称】弟子丸 健

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100121979

【弁理士】

【氏名又は名称】岩崎 吉信

(72)【発明者】

【氏名】ペーター マイヤー

(72)【発明者】

【氏名】セリム ベンハイマン

(72)【発明者】

【氏名】ダニエル クルツ

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０２７４７４５（ＵＳ，Ａ１）

【文献】 特開２００１−３２０６５２（ＪＰ，Ａ）

【文献】 特開２０１１−１４７１２５（ＪＰ，Ａ）

【文献】 特開２０１０−０６６６４４（ＪＰ，Ａ）

【文献】 特開２０１０−０７８９７４（ＪＰ，Ａ）

【文献】 特開２０１０−２４３８９０（ＪＰ，Ａ）

【文献】 特開２００８−２０３４９０（ＪＰ，Ａ）

【文献】 特開２００５−０７２８８８（ＪＰ，Ａ）

【文献】 特開２０１３−０３４１６８（ＪＰ，Ａ）

【文献】 特開２０１１−０２７７２４（ＪＰ，Ａ）

【文献】 特開２００３−２７５３２７（ＪＰ，Ａ）

【文献】 特開２００３−２７０７１９（ＪＰ，Ａ）

【文献】 特開２００６−０３１５０６（ＪＰ，Ａ）

【文献】 特開２００５−１２３８５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７４

Ｈ０４Ｎ ９／３１

Ｇ０３Ｂ ２１／００

Ｇ０１Ｂ １１／００

Ｇ０１Ｃ ３／００

(57)【特許請求の範囲】

【請求項1】

現実環境内の現実対象物上にデジタル情報を投影する方法であって、
可視光プロジェクタを用いて現実対象物の少なくとも一部の上にデジタル情報を投影する工程と、
カメラを使用して前記現実対象物及び前記投影されたデジタル情報の少なくとも１つの画像を取り込む工程と、
前記カメラとともに登録された深度センサによって、前記現実対象物の少なくとも一部の深度データを取り込む工程と、
前記少なくとも１つの画像内の前記投影されたデジタル情報、および前記投影されたデジタル情報に対応する前記現実対象物の少なくとも一部の前記深度データに基づいて、前記可視光プロジェクタと前記現実対象物との間の空間変換を計算する工程と、
を具備することを特徴とする現実環境内の現実対象物上にデジタル情報を投影する方法。

【請求項2】

さらに、前記深度データを使用して前記デジタル情報の深度を推定する工程を具備する請求項１に記載の方法。

【請求項3】

前記深度データおよび少なくとも１つの画像を使用して前記デジタル情報の３次元位置を推定する工程を具備する請求項１または２に記載の方法。

【請求項4】

前記深度センサおよび前記カメラは、前記深度センサおよび前記カメラが相互に関係されるように、サブシステム内に構成されており、
前記方法は、前記サブシステムと前記現実対象物との間の空間変換を計算する工程をさらに含む、請求項１に記載の方法。

【請求項5】

前記サブシステムと前記現実対象物との間の空間変換を計算する工程が、前記現実対象物の少なくとも一部の３次元幾何学モデルと、前記カメラによって取り込まれた１つまたはそれ以上の画像からの前記現実対象物の少なくとも一部の３次元記述、または前記深度センサによって取り込まれた前記現実対象物の深度データのいずれかとに基づいている請求項４に記載の方法。

【請求項6】

さらに、前記現実対象物の少なくとも一部の３次元幾何学モデル、および前記サブシステムと前記現実対象物との間の計算された空間変換を使用して、前記デジタル情報の深度を推定することによって第２の深度データを取得する工程を具備する請求項４に記載の方法。

【請求項7】

さらに、前記可視光プロジェクタを使用して前記デジタル情報として少なくとも１つの視覚パターンを前記現実対象物の表面上に投影する工程と、
前記深度センサおよび前記カメラを使用して前記投影された視覚パターンの深度データを取り込む工程と、を含む請求項１に記載の方法。

【請求項8】

さらに、前記可視光プロジェクタと前記サブシステムとの間の空間変換を計算する工程と、
前記可視光プロジェクタの内部パラメータを計算または供給する工程と、
前記可視光プロジェクタと前記サブシステムとの間の前記空間変換、および前記サブシステムと前記現実対象物との間の前記空間変換に基づいて、前記可視光プロジェクタと前記現実対象物との間の前記空間変換を計算する工程とを具備する請求項４に記載の方法。

【請求項9】

さらに、前記サブシステムと前記現実対象物との間の前記空間変換に基づいて、前記サブシステムの座標系から、前記現実対象物の対象物座標系に前記投影された視覚パターンの前記深度データを変換する工程と、
前記可視光プロジェクタの内部パラメータを計算または供給する工程と、
前記変換された深度データに基づいて、前記可視光プロジェクタと前記現実対象物との間の前記空間変換を計算する工程とを具備する請求項４に記載の方法。

【請求項10】

前記サブシステムはＲＧＢ−Ｄカメラシステムであり、前記カメラはＲＧＢカメラである、請求項４に記載の方法。

【請求項11】

前記深度センサは、前記可視光プロジェクタに頼ることなく、前記現実対象物または前記現実対象物の一部の深度データを取り込む請求項１に記載の方法。

【請求項12】

前記サブシステムと前記可視光プロジェクタとの間の空間変換、ならびに前記可視光プロジェクタの内部パラメータを使用して、第３の深度データが創出され、
前記カメラの少なくとも１つの画像から抽出されたデジタル情報の項目を前記現実対象物上に投影する請求項６に記載の方法。

【請求項13】

前記深度センサは、第１の深度データである前記深度データを取り込み、前記方法はさらに前記第１の深度データ、前記第２の深度データおよび前記第３の深度データの任意の組み合わせ間の差を計算する工程を具備する請求項１２に記載の方法。

【請求項14】

前記現実対象物までの前記可視光プロジェクタの所定距離が、前記現実対象物まで到達されるまたは超過されることが判定された場合、較正を行う必要についてユーザに通知し、または自動的に較正手続きを開始する請求項１に記載の方法。

【請求項15】

前記現実対象物までの前記可視光プロジェクタの所定距離が、前記可視光プロジェクタを使用して前記現実対象物の上に視覚情報として表示される請求項１に記載の方法。

【請求項16】

さらに、前記深度センサおよび前記カメラを有する前記サブシステムを使用して、前記現実対象物を追跡する工程を具備する請求項４に記載の方法。

【請求項17】

前記追跡ための１つまたはそれ以上の視覚マーカが前記現実環境に加えられる請求項１６に記載の方法。

【請求項18】

前記深度センサの姿勢を初期化するために反復最近接点アルゴリズムが使用される請求項１に記載の方法。

【請求項19】

前記可視光プロジェクタの姿勢データは、前記可視光プロジェクタの特定のパラメータをセットするのに使用される請求項１に記載の方法。

【請求項20】

前記可視光プロジェクタの前記特定のパラメータは、フォーカス、ズーム、輝度の１つ又はそれ以上を含む、請求項１９に記載の方法。

【請求項21】

前記可視光プロジェクタが前記現実対象物に接近した場合、前記可視光プロジェクタの輝度が小さくなる請求項１に記載の方法。

【請求項22】

さらに、ユーザによる接触を認識するために前記深度センサおよび前記カメラを有する前記サブシステムを使用して、前記現実対象物の最表面上の前記ユーザによって相互作用する工程を具備する請求項４に記載の方法。

【請求項23】

現実環境において現実対象物上にデジタル情報を投影するためのシステムであって、
現実環境において現実対象物の少なくとも一部の上にデジタル情報を投影するために適合された可視光プロジェクタと、
前記投影されたデジタル情報を伴う前記現実対象物の少なくとも１つの画像を取り込むために適応されたカメラと、
前記カメラと共に登録され、前記現実対象物の少なくとも一部の深度データを取り込むために適合された深度センサと、
前記少なくとも１つの画像内の前記投影されたデジタル情報、および前記投影されたデジタル情報に対応する前記現実対象物の少なくとも一部の前記深度データに基づいて、前記可視光プロジェクタと前記現実対象物との間の空間変換を計算するように構成された処理ユニットと、
を具備することを特徴とするシステム。

【請求項24】

前記カメラおよび前記深度センサは共通の筐体の中に収納されている請求項２３に記載のシステム。

【請求項25】

前記カメラおよび前記深度センサはRGB-Dカメラシステムの機能的ユニットである請求項２３または２４に記載のシステム。

【請求項26】

前記可視光プロジェクタ、前記カメラおよび前記深度センサは、ハンドヘルドまたはヘッドマウントデバイスの一部である請求項２３に記載のシステム。

【請求項27】

前記カメラは、可視光カメラを含み、
前記深度センサは、赤外線プロジェクタおよび赤外線カメラを含む請求項２３に記載のシステム。

【請求項28】

可視光カメラはＲＧＢカメラである請求項２７に記載のシステム。

【請求項29】

前記可視光プロジェクタ、前記カメラおよび前記深度センサは、共通の筐体の中に収納され、前記可視光プロジェクタは、隔離または熱緩衝をする材料によって前記カメラおよび前記深度センサから分離されている、請求項２３に記載のシステム。

【請求項30】

前記可視光プロジェクタ、前記カメラおよび前記深度センサは、共通の筐体の中に収納され、前記筐体の基板がカーボン・ファイバー・ラミネートでできている、請求項２３に記載のシステム。

【請求項31】

さらに、最新の較正に係る温度と現在の温度との間の温度差がしきい値を超えた場合、前記システムの新たな較正のための必要性についてユーザに通知する較正手段、または自動的にシステムの自己較正を実行する較正手段を含んでいる請求項２３に記載のシステム。

【請求項32】

前記可視光プロジェクタは、通気孔、ズーム光学系、可変フォーカスレンズの少なくとも１つを含んでいる請求項２３に記載のシステム。

【請求項33】

さらに赤外線プロジェクタを含み、前記赤外線プロジェクタは、通気孔、ズーム光学系、可変フォーカスレンズの少なくとも１つを含まない請求項２３に記載のシステム。

【請求項34】

前記赤外線プロジェクタは、前記深度センサの一部として使用される請求項３３に記載のシステム。

【請求項35】

現実環境において現実対象物上にデジタル情報を投影する装置であって、
可視光プロジェクタで、現実対象物の少なくとも一部の上にデジタル情報を投影する手段と、
カメラを使用して、前記投影されたデジタル情報を伴う前記現実対象物の少なくとも１つの画像を取り込む手段と、
前記カメラと共に登録され、前記現実対象物または前記現実対象物の少なくとも一部の深度データを取り込む深度センサを提供する手段と、
前記少なくとも１つの画像内の前記投影されたデジタル情報、および前記投影されたデジタル情報に対応する前記現実対象物の少なくとも一部の前記深度データに基づいて、前記可視光プロジェクタと前記現実対象物との間の空間変換を計算する手段と、を具備する装置。

【請求項36】

さらに、前記深度データを使用して前記デジタル情報の深度を推定する手段を具備する請求項３５に記載の装置。

【請求項37】

さらに、前記深度データおよび少なくとも１つの画像を使用して前記デジタル情報の３次元位置を推定する手段を具備する請求項３５または３６に記載の装置。

【請求項38】

前記深度センサおよび前記カメラは、前記深度センサおよび前記カメラが相互に関係されるように、サブシステム内に構成されており、
前記サブシステムと前記現実対象物との間の空間変換を計算する手段をさらに含む、請求項３５に記載の装置。

【請求項39】

深度センサおよびカメラを有する前記サブシステムと前記現実対象物との間の空間変換を計算することは、前記現実対象物の少なくとも一部の３次元幾何学モデルと、前記カメラによって取り込まれた１つまたはそれ以上の画像からの前記現実対象物の少なくとも一部の３次元記述、または前記深度センサによって取り込まれた前記現実対象物の深度データのいずれかとに基づいている請求項３８に記載の装置。

【請求項40】

さらに、第２の深度データを取得するために、前記現実対象物の少なくとも一部の３次元幾何学モデル、および深度センサおよびカメラを有する前記サブシステムと前記現実対象物との間の計算された空間変換を使用して、前記デジタル情報の深度を推定する手段を具備する請求項３８に記載の装置。

【請求項41】

さらに、前記可視光プロジェクタを使用して前記デジタル情報として少なくとも１つの視覚パターンを前記現実対象物の表面上に投影する手段と、
前記深度センサおよび前記カメラを使用して前記投影された視覚パターンの深度データを取り込む手段と、を具備する請求項３５に記載の装置。

【請求項42】

さらに、前記可視光プロジェクタと前記サブシステムとの間の空間変換を計算する手段と、
前記可視光プロジェクタの内部パラメータを計算または供給する手段と、
前記可視光プロジェクタと前記サブシステムとの間の前記空間変換、および前記サブシステムと前記現実対象物との間の前記空間変換に基づいて、前記可視光プロジェクタと前記現実対象物との間の前記空間変換を計算する手段と、を具備する請求項３８に記載の装置。

【請求項43】

さらに、前記サブシステムと前記現実対象物との間の前記空間変換に基づいて、前記サブシステムの座標系から、前記現実対象物の対象物座標系に前記投影された視覚パターンの前記深度データを変換する手段と、
前記可視光プロジェクタの内部パラメータを計算または供給する手段と、
前記変換された深度データに基づいて、前記可視光プロジェクタと前記現実対象物との間の前記空間変換を計算する手段と、を具備する請求項３８に記載の装置。

【請求項44】

前記サブシステムはＲＧＢ−Ｄカメラシステムであり、前記カメラはＲＧＢカメラである、請求項３８に記載の装置。

【請求項45】

前記深度センサは、前記可視光プロジェクタに頼ることなく、前記現実対象物または前記現実対象物の一部の深度データを取り込む請求項３５に記載の装置。

【請求項46】

前記サブシステムと前記可視光プロジェクタとの間の空間変換、および前記可視光プロジェクタの内部パラメータを使用して、第３の深度データが創出され、
前記カメラの少なくとも１つの画像から抽出されたデジタル情報の項目を前記現実対象物上に投影する請求項４０に記載の装置。

【請求項47】

前記深度センサは、第１の深度データである前記深度データを取り込み、
前記装置は、さらに、前記第１の深度データ、前記第２の深度データおよび前記第３の深度データの任意の組み合わせ間の差を計算する手段を具備する請求項４６に記載の装置。

【請求項48】

前記現実対象物までの前記可視光プロジェクタの所定距離が、前記現実対象物まで到達されるまたは超過されることが判定された場合、較正を行う必要についてユーザに通知し、または自動的に較正手続きを開始する請求項３５に記載の装置。

【請求項49】

前記現実対象物までの前記可視光プロジェクタの所定距離が、前記可視光プロジェクタを使用して前記現実対象物の上に視覚情報として表示される請求項３５に記載の装置。

【請求項50】

さらに、前記深度センサおよび前記カメラを有する前記サブシステムを使用して、前記現実対象物を追跡する手段を具備する請求項３８に記載の装置。

【請求項51】

前記追跡ための１つまたはそれ以上の視覚マーカが前記現実環境に加えられる請求項５０に記載の装置。

【請求項52】

前記深度センサの姿勢を初期化するために反復最近接点アルゴリズムが使用される請求項３５に記載の装置。

【請求項53】

前記可視光プロジェクタの姿勢データは、前記可視光プロジェクタの特定のパラメータをセットするのに使用される請求項３５に記載の装置。

【請求項54】

前記可視光プロジェクタの前記特定のパラメータは、フォーカス、ズーム、輝度の１つ又はそれ以上を含む、請求項５３に記載の装置。

【請求項55】

前記可視光プロジェクタが前記現実対象物に接近した場合、可視光プロジェクタの輝度が小さくなる請求項３５に記載の装置。

【請求項56】

さらに、ユーザによる接触を認識するために、前記深度センサおよび前記カメラを有する前記サブシステムを使用して、前記現実対象物の最表面上の前記ユーザによって相互作用する手段を具備する請求項３８に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、現実環境における現実対象物上のデジタル情報を投影するための方法およびシステムに関する。さらに、本発明は、コンピュータシステム上実行しているとき、方法を実行するためのソフトウェア・コード部を構成するコンピュータプログラムに関する。

【背景技術】

【0002】

拡張現実感（以下、「ＡＲ」と略す）システムは、コンピュータで生成されたデジタル情報によって、現実環境を直接的に視覚的に拡張することによって、現実環境を一層高めることができる。例えば、そういったデジタル情報は、現実環境の視覚的印象を増強するための仮想的情報である。典型的アプリケーションは、良く知られているように、例えば、非特許文献１において参照されるように、いわゆるプロジェクタ・ベースのＡＲ、投影ＡＲ、空間ＡＲがある。デジタル情報は、対象物、テキスト、図画、ビデオ、またはそれらのコンビネーションのような、あらゆるタイプの視覚的に知覚できるデータであり得る。現実環境の直接の拡張は、コンピュータで生成されたデジタル情報を、現実環境の現実対象物の表面上に向けて投影することによって、実現することができる。

【0003】

投影ＡＲは、例えば非特許文献２に記載されたような建築デザイン用試作品、例えば特許文献１に記載されたように自動車製造、例えば非特許文献３に記載されたように新規のコンピュータユーザインタフェース開発用ユービキタスコンピュータ処理、非特許文献４に記載されたような情報表示、また非特許文献５に記載されたような靴のデザインのように、多くのアプリケーションを持っている。

【0004】

投影された視覚的デジタル情報と、現実環境に拡張される現実対象物との間の所望の配置を得るため、現実対象物と、デジタル情報を投影するプロジェクタとの間の空間変換が知られる必要がある。このために、較正処理が、投影ＡＲ系を構築するために挑戦するステップである２Ｄ−２Ｄ、２Ｄ−３Ｄまたは３Ｄ−３Ｄ相関性に基づいた空間変換を評価することを頻繁に実行される。一般的にそういった較正処理のためにカメラが要望される。

【0005】

多くの較正法がこれまで、プロジェクタと現実対象物との間の空間変換を計算するために開発され、提案されてきた。例えば、特許文献１においてＪｕｎｄｔらは、カメラとプロジェクタを用いた自動車表面上の自動車についての視覚的データを表示する方法を提案している。カメラとプロジェクタは、それらを一度較正処理し、カメラにより得られた視覚的データの処理から計算された、プロジェクタからの−自動車の外部（すなわち、相対的空間位置と方向）と推定するため、固く結合されるべきである。カメラは、自動車とカメラとの間の空間変換を評価するために、自動車に取り付けられた視覚的マーカを検出する。この方法において、プロジェクタと自動車との空間変換は決定される。アプローチの課題は、自動車の座標系に関係するマーカの位置と方向が、事前に測定されることである。

【0006】

非特許文献５に記載されている、拡張３Ｄは、プロジェクタに固く取り付けられたカメラセンサに基づいて一群のマーカを追跡する、商業的な投影ＡＲシステムである。これら２つの開発システムは、いくつかの限界を持っている。その較正は、独立した実体によって監視されることができない。カメラとプロジェクタとの間の付加的較正処理は、頻繁に実行される必要がある。この処理は、平坦な面や類似のものと仮定する必要がない任意の対象物に実行されることができない。さらに、視覚的マーカ自身は、前もって付加的エラー原因を誘導する自動車とともに登録される必要がある。

【0007】

非特許文献２においてRaskarらは、建築デザイン支援用の投影ＡＲシステムを開発した。彼らは、投影された画像が幾何学的に配置されていることを確認するため、複数プロジェクタ用較正法を提案している。彼らのシステムは、物理的モデル（現実対象物）を視覚的に配列するため、投影画像テクスチャ座標を手動で調整することを要求する。

【0008】

非特許文献５においてKurzらは、カメラと固く結合されたレーザポインタの使用に基づいて、プロジェクタと室内の物理的背景（すなわち現実対象物）空間変換を構築するための較正方法を提示している。カメラとレーザシステムは、カメラとレーザの動作が室内環境を走査し、室内環境でプロジェクタを較正するための制御できるような、上下左右回転可能なロボット装置に搭載される。しかしながら、上下左右回転可能なロボット装置は高価で、カメラとレーザシステムの制御動作は実現することが困難である。これは、主にシステムが、上下左右回転可能なユニットに関するカメラ位置と方向を供給する、上下左右回転可能なカメラの非常に精密なハンド−アイ キャリブレーション（ｈａｎｄ−ｅｙｅ ｃａｌｉｂｒａｔｉｏｎ）を要求することに起因する。また、レーザで環境をサンプリングすることは、単に時間当たり１点が走査されるから、多くの時間を取る。

【0009】

非特許文献６においてＦｕｃｈらは、視覚化においてレーザが使用される深度情報を集めるためのプロジェクタからのパターン投影の使用を提案している。彼らは、現実対象物上の仮想情報を投影することはぜず、むしろヘッドマウントディスプレイを用いる。

【0010】

非特許文献８においてＬｉｍは 複数のプロジェクタと一台のカメラを光景再構築のために採用する。それらは、カメラと各プロジェクタとの間の既知の変換に基づいて複数のプロジェクタと空間関係を較正する。較正の間は、それらはそれらが興味の任意の対象物上の投影によって較正することができないことを意味する、ボード上の投影を要求する。それらは、興味の対象物の座標系において、較正データと変換を評価することができるための追加の較正を必要とする。非特許文献８の目標は、環境の再構築することである。プロジェクタと現実対象物との間の空間変換を算出するためのいかなる較正法も提案しない。

【0011】

プロジェクタと現実対象物との空間関係を較正し、投影ＡＲアプリケーションやシステムにおけるプロジェクタの内部パラメータを較正するため、すべての従来法は、複雑な処理かつ／または高価なハードウェア設備を要求する。これは、投影ＡＲアプリケーションまたはシステムの有用性と効率が明確に低下する。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】独国特許公開第１０２０１００１３４２０号明細書

【特許文献2】米国特許第８１７２４０７号明細書

【特許文献3】米国特許第８１５０１５２号明細書

【特許文献4】米国特許第７４３３０２４号明細書

【非特許文献】

【0013】

【非特許文献1】Sanni Siltanen,Theory and application of marker-based augmented reality. Espoo 2012.VTT Science 3.http://www.vtt.fi/inf/pdf/science/2012/S3.pdf

【非特許文献2】Raskar, Ramesh, Greg Welch, and Wei-Chao Chen. “Tablet-top spatially-augmented reality:bringing physical models to life with projected imagery.”Augmented Reality, 1999.(IWAR’99) Proceedings. 2nd IEE and ACM Internatipnal Workshop on.IEEE,1999.

【非特許文献3】Rekimoto, Jun, and Masanori Saitoh.”Augmented surface:a spatially continuous work space for hybrid computing enviroments.” Proceedings of SIGCHI conference on Human factors in computing systems: the CHI is the limit.ACM,1999.

【非特許文献4】Kurz, D.,Haentsch, F.,Grosse, M.,Schiewe, A., and Bimber, O., Laser-Pointer Tracking in Projector-Augmented Archtectural Environments, In Proc. IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR2007),pp.19-26,Nara,Japan,2007

【非特許文献5】Extend3D(from Website 9.12.2012http://www.extend3d.de/en/solutions/design/)

【非特許文献6】Fuchs, Henry, et al.”Augmented reality visualization for laparoscopic surgery.”Medical Image Computing and Computer-Assisted Interventation-MICCAI’98(1998):934-943.

【非特許文献7】Andreas Kolb, Erhardt Barth, Reinhard Koch, Rasmus Larsen: Time-of-Flight Sensors in Computer Graphics. Eurographics 2009.

【非特許文献8】O. Bimber and R. Raskar. Spatial Augmented Reality: Merging real and virtual worlds.A K Petera LTD,2005.

【非特許文献9】J.Shotton,A.Fitzgibbon,M.Cook,T. Sharp,M,Finocchio,R.Moore,A.Kipman,A.Blake:Real-Time Human Pose Pecongnition in Parts from Single Depth Images.Retrieved fromhttp://rearch.microsoft.com/pubs/145347/BodyPartRecongnition.pdf 17.12.2012.

【非特許文献10】Szymon Rusunkiewicz, Marc Levoy, Efficient Variants of the ICP Algorithm.Third International Conference on 3D Digital Imaging and Modeling

【非特許文献11】BIMBER, O.,WETZSTEIN, G., EMMERLING, A., AND NITSCHKE, C.Enableing view-dependent stereoscopic projection in real environments. In Proc.IEEE and ACM Int. Symposium on Mixed and Augmented Reality.2005

【非特許文献12】M. Koertgen, G. Park, M. Novotni, R. Klein: 3D Shape Matching with 3D Shape Contexts. Retrieved from http://cg.tuwien.ac.at/hostings/cescg/CESCG2003/MKoertgen/paper.pdf,27.12.2012

【発明の概要】

【発明が解決しようとする課題】

【0014】

上記の事情に鑑み、本発明の目的は、高価なハードウェア設備なしに、そして長い較正処理を実行する必要なしに、現実対象物上に正確にデジタル情報を投影する、投影ＡＲシステムを可能にする方法とシステムを開発することを提供することである。

【課題を解決するための手段】

【0015】

１つの態様によれば、現実環境においてデジタル情報を投影し、現実対象物または現実対象物の一部の上にデジタル情報を可視光プロジェクタで構成し、カメラを使って投影されたデジタル画像を伴った現実対象物の少なくとも１つの画像を取り込み、カメラと一緒に登録された深度センサを供給し、現実対象物または現実対象物の一部の深度データを取り込む深度センサ、可視光プロジェクタと少なくとも１つの画像と深度データに基づく画像現実対象物との間の空間変換を計算する方法が供給される。

【0016】

もう１つの態様によれば、現実環境において現実対象物上にデジタル情報を投影し、デジタル情報の投影に適合された可視光プロジェクタを構成し、投影されたデジタル情報を伴った現実対象物の少なくとも１つの画像を捕捉するために適合されたカメラ、カメラと一緒に登録され、現実対象物または現実対象物の一部の深度を捕捉するために適合した深度センサ、可視光プロジェクタと少なくとも１つの画像と深度データに基づいた現実対象物の間の空間変換を計算するための手順を決めた処理をするユニットのためのシステムを供給する。

【0017】

特別な実施形態に拠れば、好適な実施例において、方法は、ＲＧＢ−Ｄカメラシステムと現実対象物と既知の３Ｄモデルに基づいた現実対象物との間の空間変換を推定する工程と、プロジェクタの内部パラメータとプロジェクタとプロジェクタを用いる現実対象物または現実対象物の一部の表面上の１つまたはそれ以上の視覚的パターンを投影する工程に基づいた現実対象物との間の空間変換を計算する工程と、および、ＲＧＢ−Ｄカメラシステムを使用して投影された視覚的パターンについての距離画像を取り込む工程とを備える。

【0018】

実施形態に拠れば、方法はさらに、深度データを使用したデジタル情報の深度を推定する工程を備える。

【0019】

特に、方法は、さらに深度データと少なくとも１つの画像を用いたデジタル情報の３次元位置を推定する工程を備える。

【0020】

好適な実施形態において、深度センサとカメラは、深度センサとカメラが相互に関係される（たとえば、それらの間に既知の変換を有する）サブシステムを形成するため結合され、その方法は、さらに、深度センサとカメラと現実対象物のサブシステム間の空間変換を計算するステップを含む。

【0021】

例えば、深度センサとカメラと現実対象物の間の空間変換を計算することが、現実対象物または現実対象物の一部の３次元幾何学モデル、および１つまたはそれ以上の画像から現実対象物または現実対象物の一部の３次元記述、および深度センサとカメラのサブシステムによって取り込まれた現実対象物の深度データに基づいている。

【0022】

特に、方法は、現実対象物または現実対象物の一部の３次元幾何学モデルを使用するデジタル情報の深度、および深度センサのサブシステムとカメラと第２深度データを得る現実対象物との間で計算された空間変換を推定する工程を備える。

【0023】

実施例に拠れば、方法はさらに 少なくとも１つの視覚的パターンを深度センサとカメラを使用する現実対象物の表面上にデジタル情報として投影するステップを含む。

【0024】

実施例に拠れば、方法はさらに、可視光プロジェクタと深度センサとカメラのサブシステムとの間の空間変換を計算する工程と、可視光プロジェクタの内部パラメータを計算または供給する工程と、可視光プロジェクタと、可視光プロジェクタと深度センサとカメラのサブシステムとの間の空間変換に基づいた現実対象物との間の空間変換、深度センサのサブシステムとカメラと現実対象物の間の空間変換、および好適には可視光プロジェクタの内部パラメータを計算または供給するステップを備える。

【0025】

もう１つの実施例に拠れば、方法はさらに、深度センサとカメラのサブシステムの座標系から、深度センサとカメラと現実対象物のサブシステムとの間の空間変換に基づいた対象物の対象物座標系に投影された視覚的パターンの深度データを変換し、可視光プロジェクタの内部パラメータを計算または供給する工程と、可視光プロジェクタと変換された深度データに基づいた現実対象物との間の空間変換を計算する工程と、および好適には可視光プロジェクタの内部パラメータを計算するステップを備える。

【0026】

例えば、深度センサとカメラのサブシステムは、（深度センサに表すＤを伴う）ＲＧＢ（ＲＧＢ＝Ｒｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅ）カメラであるカメラを伴ったＲＧＢ−Ｄカメラシステムである。

【0027】

特に、深度センサは、可視光プロジェクタに依存することなしに、現実対象物または現実対象物の一部の深度データを取り込む。

【0028】

実施形態に拠れば、第３深度データは、深度センサおよびカメラによるサブシステムと可視光プロジェクタと可視光の内部パラメータとの間の空間変換を使用して生成され、かつカメラの画像から抽出された、現実対象物上にデジタル情報の項目を投影する。

【0029】

例えば、深度センサによって取り込まれた深度データは、ここでは次のように第１深度データとして呼ばれ、かつ方法はさらに、第１深度データ、第２深度データそして第３深度データの任意の組み合わせ間の違いを計算するステップを備える。

【0030】

実施形態に拠れば、もし、可視光プロジェクタの現実対象物までの所定の距離が、到達され、または行き過ぎと決定されるならば、較正することの必要、または自動的に較正手続を開始することについてユーザに知らせる工程を有する。

【0031】

もう１つの実施形態に拠れば、可視光プロジェクタを使用して可視光プロジェクタの現実対象物までの距離は、現実対象物上に視覚的情報として表示される。

【0032】

実施形態に拠れば、方法は、深度センサとカメラのサブシステムを使って現実対象物を追跡するステップを備える。

【0033】

例えば、１つまたはそれ以上の視覚的マーカが追跡支援するため現実環境に付加される。

【0034】

好適な実施形態においては、反復的最近点（ＩＣＰとして知られる）アルゴリズムは、より詳細は以下において好ましいように、深度センサの位置の初期化をするために使用される。

【0035】

実施形態に拠れば、可視光プロジェクタの位置データは、フォーカスまたはズームまたは輝度のようなプロジェクタの特定のパラメータをセットするために使用される。

【0036】

特に、可視光プロジェクタの輝度は、もし、プロジェクタが現実対象物と接近したならば小さくしても良い。

【0037】

特に、可視光プロジェクタのズームは、視野を減少し近づくとき、さらに動き去るときに、プロジェクタの視野を増加する。

【0038】

さらにまた実施例に拠れば、方法はさらに、ユーザによって接触を認識するため深度センサとカメラのサブシステムを使用して現実対象物の表面上のユーザによる相互作用のステップを備える。

【0039】

もう１つの態様に拠れば、本発明はまた、デジタルコンピュータシステムの初期メモリにロードされるように適合されたコンピュータプログラム製品と関係し、ステップと特徴が上述のように記述され、前記製品が前記コンピュータ上で実行されるときに実行されるソフトウェア・コード部を構成する。さらに、本発明はまた、ハードウェアロジック上で、部分的に実施されることができ、ここで記述された方法を実行するために配列され、プログラムされた論理回路と関係しても良い。

【0040】

本発明によるシステムの実施例に拠れば、カメラと深度センサは共通の筐体に収められる。

【0041】

好適には、カメラと深度センサはＲＧＢ−Ｄカメラの機能的ユニットである。

【0042】

特に実施形態において、可視光プロジェクタ、カメラと深度センサは、携帯型または頭部装着型装置の一部である。

【0043】

好適な実施形態においては、カメラは可視光カメラ、好ましくはＲＧＢカメラ、そして深度センサは赤外線プロジェクタと赤外線カメラを含む。

【0044】

実施形態に拠れば、可視光プロジェクタ、カメラと深度センサは、可視光プロジェクタがカメラと深度センサから、隔離することまたは熱減衰材料によって分離される、共通の筐体に収められる。

【0045】

もう１つの実施形態に拠れば、可視光プロジェクタ、カメラと深度センサは、筐体の基板がカーボンファイバーラミネートで作られた、共通の筐体に収められる。

【0046】

さらなる実施形態に拠れば、システムは、最新の較正の温度と現在の温度の差がしきい値を超過する、または、システムの自己較正を自動的に実行する場合、システムの新しい較正の必要についてユーザに通知する較正手段を含む。

【0047】

例えば、可視光プロジェクタは、通気孔、ズーム光学系、焦点可変レンズの少なくとも１つを含んでいる。

【0048】

実施態様に拠れば、システムはさらに、好ましくは、赤外線プロジェクタは深度センサの一部として使用される赤外線プロジェクタ、を含む：通気孔、ズーム光学系、焦点可変レンズの少なくとも１つの次の要素を含まない。

【0049】

それについて本発明と実施形態は、以下の図に参照され記載されている。

【図面の簡単な説明】

【0050】

【図1A】本発明の態様による、ＲＧＢ−Ｄカメラと可視光プロジェクタは互いに固く結合していない例示のシステム設備を示す図である。

【図1B】図１Ａによる、本発明の面により使用された座標系の追加の視覚化を伴った、システム設備を示す図である。

【図2】本発明の面による、ＲＧＢ−Ｄカメラシステムと可視光プロジェクタは互いに固く結合するもう１つの例示のシステム設備を示す図である。

【図3】本発明の実施例による方法のフローチャートダイヤグラムを示す図である。

【図4】本発明のもう１つの実施例による方法のフローチャートダイヤグラムを示す図である。

【図5】可視光プロジェクタと、本発明の一態様により使用されることができるＲＧＢ−Ｄカメラシステムを含む、例示のハンドヘルド装置を示す図である。

【図6】可視光プロジェクタと、本発明の一態様により使用されることができるＲＧＢ−Ｄカメラシステムを含む、例示のヘッドマウント装置を示す図である。

【図7】本発明の一態様による有利なハードウェア設備を示す図である。

【図8】本発明の一態様による方法に関連して使用されるＩＣＰアルゴリズムの例示のフローチャートダイヤグラムを示す図である。

【発明を実施するための形態】

【0051】

本発明の一態様と実施形態についての次の記述において、そこに示される任意の特別な態様に本発明を限定することなく、本発明を説明するために単に例示するシステム設備としての手段である、図１Ａおよび１Ｂによるシステム設備が、主に参照される。一般的に、本発明の一態様によるシステム設備は、現実環境において現実対象物の上にデジタル情報を投影することができる。示された例において、現実対象物は自動車１１、しかしながら、任意の現実対象物またはそれについての一部が使用されても良い。システムは、現実環境において、自動車１１、または現実対象物の一部のような現実対象物上にデジタル情報を投影することに適合される可視光プロジェクタ１５、投影されたデジタル情報を伴う現実対象物１１の少なくともひとつの画像を取り込むことに適合するカメラ１２（特に、RGBカメラまたは、ここでは以下に述べる他のタイプのような可視光カメラ）、そして、カメラ１２に登録され、現実対象物１１または現実対象物１１の一部の深度データを取り込むことに適合された、深度センサ（提示の例における、赤外線カメラ１３と赤外線プロジェクタ１４を構成する）を含む。深度センサとして赤外線プロジェクタと赤外線カメラを使用することは、赤外線が照射され、当業者に知られた赤外線カメラによって取り込まれて現実対象物の深度データを測定することに対する技術である。他の深度センシング技術もまた使用されても良い。

【0052】

可視光カメラ１２と深度センサ１３、１４は、カメラ１２と、カメラと深度センサが相互に関係し、すなわちそれらとの間の既知の空間変換によって相互に関係する深度センサ１３、１４のサブシステム１６を形成する。例えば、サブシステム１６は、以下で詳細に記述されるような、ＲＧＢ−Ｄカメラである。システムはさらに、特に、可視光プロジェクタ１５と、カメラ１２によって取り込まれた少なくとも１つの画像と深度センサ１３、１４によって測定された深度データに基づいた現実対象物１１との間に空間変換を計算し、そのために必要とされる任意の他の変換を計算し、より詳細は以下にここで記述したような計算することに対して手順を決められた処理ユニットを含む。処理ユニット１７は、典型的にコンパクトに使用されるような任意の適合処理ユニットであっても、また、パーソナルコンピュータまたは他の処理ユニットまたはロジックＣＰＵのような、そういったアプリケーションのための分散したコンピュータシステムであってもよい。

【0053】

提示の本発明の好適な実施例に拠れば、コンピュータで生成されたデジタル（またここでは仮想と呼ばれる）情報は、現実対象物の既知の３次元モデルとプロジェクタ１５の内部パラメータを計算することに基づいた、ＲＧＢ−Ｄカメラシステム１６と現実対象物１１との間の空間変換、およびプロジェクタ１５とプロジェクタ１５から現実対象物１１または現実対象物１１の一部上に投影されたデジタル情報（好ましくは１つまたはそれ以上の仮想パターン）に基づいた現実対象物１１との間の空間変換、およびＲＧＢ−Ｄカメラシステムによって取り込まれた、投影されたデジタル情報（例えば、視覚的パターン）の距離画像を推定することによって、可視光プロジェクタ１５を使用した現実環境における、現実対象物１１の提示のケースにおいて、現実対象物の表面上に投影される。

【0054】

本発明の一態様に拠れば、現実環境においてデジタル情報を現実対象物上に投影し、特に較正において、デジタル情報を現実対象物または現実対象物の一部の上に投影する可視光プロジェクタと現実対象物または現実対象物の一部との間の空間変換を計算することについての方法が提案されている。空間関係または空間変換は、いかに対象物が、平行移動と回転によって他のもう１つの対象物との関係において３次元空間中に位置しているかを明確にする。ＲＧＢ−Ｄカメラシステムは、現実環境または現実環境の一部のＲＧＢ−Ｄ画像を取り込むことができる取り込み装置である。ＲＧＢ−Ｄ画像は、距離画像（すなわち、画像において取り込まれた現実対象物に関係付けられた深度データ）を伴ったＲＧＢ画像である。距離画像に代わって、システムはまた、カメラ座標系に関係する３次元モデルを供給することができる。提案された本発明は、深度データを付加的に供給する画像フォーマット（色またはグレイスケール）を供給するどんなカメラにでも容易に一般化することができる。それは、ＲＧＢフォーマットにおけるカラー画像を供給する取り込みシステムに制限されない。それは、また任意のカラーフォーマットとモノクローム画像に対しても応用される。有利な実施形態において、可視光カメラは、高いダイナミックレンジまたは、例えばカメラに青色のみ見される、所定の光波への反応制限するフィルタを備えたカメラであることができる。いわゆるＲＧＢ−Ｄシステムは、環境における一群の物理的ポイントの深度情報および一群の光学的設定情報を供給するために搭載され、共に較正される装置の任意の組み合わせであることができる。

【0055】

現実環境は、１つまたはそれ以上の現実対象物で構成する。現実対象物は、世界において物理的に存在する任意の対象物、例えば、自動車、樹木、建物、人間または石のようなものであることができる。

【0056】

プロジェクタは、画像（すなわち、視覚的デジタル情報）を、現実対象物または現実対象物の一部の物理的表面上に投影する光学装置である。視覚的デジタル（または仮想）情報は、対象物、特に３次元対象物、テキスト、図面、ビデオ、ユーザインタフェース要素（例えば、ボタン）またはそれらの組み合わせのような、視覚的に知覚できるデータについての任意のタイプであることができる。

【0057】

現実対象物の３次元モデルは、現実対象物の３次元幾何学形状を記述する。幾何学形状は、１つまたはそれ以上の、形状、対称性、幾何学サイズや構造に限定されず含んでいる属性を記述する。

【0058】

プロジェクタと現実対象物の間の空間的な関係を較正することについての問題は、プロジェクタと現実対象物との間の並進と方向を含む変換を決定することである。

【0059】

次において、図１Aおよび１Bに示されるような例示の背景が与えられ、それは、フローチャートのような本発明に基づいた方法の実施形態を示す図３に参照される。

【0060】

現実対象物１１または現実対象物１１の一部の３次元記述（例えば、表面上に位置された点雲の形式において）は、ＲＧＢ−Ｄカメラシステム１６（図３中のステップ３１）によって取り込まれた深度データからの現実対象物または現実対象物の一部についての距離画像に基づいて構築される。現実対象物１１の３次元記述は、ＲＧＢ−Ｄカメラ座標系１０２（図１B）構築される。ＲＧＢ−Ｄカメラシステム１６と現実対象物１１との間の空間変換１０４は、ＲＧＢ−Ｄカメラシステム１０２において表現され再構築された点雲と、現実対象物の座標系１０１において表現された現実対象物１１（ステップ３２で供給される）の既知の３Ｄモデルの点雲との間の最良の幾何学的マッチ（ｍａｔｃｈ）を発見することによって数値的に推定されることができる。これは、熟練した人に当然知られていて、詳細を後述する、反復最近接点（ＩＣＰ）アルゴリズムを使用することによって達成されることができる。他の方法は、非特許文献１２に記載されたような、トポロジー、曲がり、または形状に基づいた、両方のモデルの特定の特徴とマッチングすることに基づくことができる。現実対象物の既知の３次元モデル点雲は、光線を投げることを通して３次元モデルをサンプリングすることによって得ることができる、例えば、それは、また、３角法によって３次元モデルをサンプリングし、そして、ＲＧＢ−Ｄカメラシステムと現実対象物との間の空間変換を推定するために点と面の距離に基づいてＩＣＰアルゴリズムを採用することは可能である（図３中のステップ３３）。技術における当業者にそれが明白であるため、既知の現実対象物３Ｄモデルは、また、数学的記述形式、例えば、スプライン（ＳＰＬＩＮＥ）またはＮＵＲＢＳで供給されることができる。

【0061】

プロジェクタ１５は、視覚的パターンまたは既知の幾何学配置パターンを現実対象物１１または現実対象物１１の一部の表面上に投影する（図３中のステップ３５）。視覚的パターンは、点、線、多重点、多重線、格子、円、十字線、太いストライプ、２値コードパターン、グレーコードパターン、カラーコードストライプ、そしてランダムテクスチャのような可変形状であることができる。ＲＧＢ−Ｄカメラ座標系１０２によって投影された視覚的パターンの３次元位置は、ＲＧＢ−Ｄカメラシステム（図３中のステップ３６）によって取り込まれた距離画像から直接的に得ることができる。代替の実施形態において、投影された視覚的パターンの３次元モデル位置は、ＲＧＢ−Ｄカメラシステムと現実対象物との間の空間変換１０４が推定された後、現実対象物の３次元モデルから検索されることができる。

【0062】

プロジェクタ１５の内部パラメータと同様にプロジェクタ１５とＲＧＢ−Ｄカメラシステム１６との間の空間変換１０６は、プロジェクタ座標系１０３における視覚的パターンの２次元座標に基づいて計算され、ＲＧＢ−Ｄカメラ座標系１０２（図３中のステップ３７）における視覚的パターンの３次元座標系と対応することができる。プロジェクタの内部パラメータが知られている場合、それらは、再推定される代わりに使用されることができる。内部パラメータは、可視光プロジェクタと深度センサとカメラのサブシステムとの間の空間変換を推定するために通常使用される。一度空間変換が決定されたら、内部パラメータは、現実対象物における情報の視覚化のステップにおいて使用されるだけでよい。

【0063】

投影されたパターンの３次元の位置が距離画像から得られた場合において、現実対象物とＲＧＢ−Ｄカメラシステムとの間の空間変換１０４を計算すること、およびプロジェクタとＲＧＢ−Ｄカメラシステムとの間の空間変換１０６を計算することが並列に実行されることができることについて記述された手続は、留意されるべきである。

【0064】

最終的に、プロジェクタ１５と現実対象物１１との間の空間変換１０５は、現実対象物１１とＲＧＢ−Ｄカメラシステム１６との間の推定された空間変換１０４、およびプロジェクタ１５とＲＧＢ−Ｄカメラシステム１６との間に推定された空間変換１０６（図３中のステップ３８）に基づいて計算される。

【0065】

さらに、提示の本発明は、プロジェクタ１５とＲＧＢ−Ｄカメラシステムが、固く結合すること、または、プロジェクタ１５とＲＧＢ−Ｄカメラシステム１６（図１Aを参照）の間の事前に知られた空間変換を持つことを要求しない。これは、特許文献１および非特許文献５に記載されたような従来技術に対する提示の本発明の有用性と柔軟性を増加する。特に、ＲＧＢ−Ｄカメラシステムは、構成が容易で物理的構造が容易に変化せず、可動部品または光学部品を有さない小さくて経済的なシステムとして使用されるから、したがって較正は通常変化しない。一方、プロジェクタは、可動光学系をしばしば備え付けており、温度において大きな変化を示す。それらはまた、しばしば大きな筐体、湿気のある光学系および通気孔を有する。すべてのこれらの特性は、とても明るいかつ高品位な画像を表示することにおいてそれらを強くするが、それらを持続的に較正することを困難にさせる。

【0066】

本発明に基づいた方法のもう１つ実施形態は、図４に図示される。ステップ４１−４６は、図３の実施形態で参照により上に記載されたようにステップ３１−３６に相当する。上述のように、ＲＧＢ−Ｄカメラシステム１６と現実対象物１１との間の登録が決定され、そして、現実対象物１１の上に視覚的パターンを投影することは、プロジェクタ座標系１０３とＲＧＢ−Ｄカメラ座標系１０２との間の２次元−３次元の対応へと導く。

【0067】

ステップ４７において、これらの対応についての３次元座標は、ＩＣＰアルゴリズムを使った決定された変換を使って、ＲＧＢ−Ｄカメラ座標系１０２から対象物座標系１０１に変換される。最後に、プロジェクタ１５と現実対象物１１（そしてプロジェクタの光学的に内部パラメータ）との間の空間変換は、ステップ４８においてプロジェクタ１５と対象物座標系１０１との間の２次元−３次元対応に基づいて計算される。
ＲＧＢ−Ｄカメラシステムの可能な実施例：
ＲＧＢ−Ｄカメラシステムは、飛行時間型カメラシステムであることができる。非特許文献７においてKolbらは、時間飛行型カメラセンサと応用における技術情勢についての概要を与えている。ＲＧＢ−Ｄカメラシステム１６は、また、ＲＧＢカメラ１２、赤外線カメラ１３および赤外線プロジェクタ１４（図１Aを参照）を使用して構築することができる。ＲＧＢ−Ｄカメラ１２、赤外線カメラ１３および赤外線プロジェクタ１４は、典型的に固く結合され、そしてそれら空間関係は既知である。これによって、ＲＧＢカメラ、赤外線カメラおよび赤外線プロジェクタは、ＲＧＢ−Ｄカメラ座標系１０２として命名される、共通の座標系において定義されることができる。有利に、３つのセンサは、１つの共通パーツ上に、例えば金属の固体ブロックまたはカーボン・ファイバ・ラミネート部品に、すべてしっかりと固定される。

【0068】

非特許文献２、５に記載されたようないくつかの方法は、カメラとプロジェクタとの間の空間関係を較正することが開発された。共通の方法は、プロジェクタに既知の幾何学図形を持ったパターンを物理表面上に投影させること、そしてカメラが投影されたパターンを取り込むことである。これは、プロジェクタ座標系とカメラ座標系との間の対応を構築することができ、したがって、プロジェクタとカメラとの間の変換は推定することができる。

【0069】

赤外線プロジェクタと赤外線カメラはともに、現実対象物または現実対象物の一部の距離画像を提供することができる。このため、赤外線プロジェクタは、既知の幾何学図形を持ったパターンを現実対象物上に投影し、そして、赤外線カメラは、投影されたパターンの画像を取り込む。投影されたパターンの画像から、現実対象物の距離画像は生成されることができる。ＲＧＢカメラ、赤外線カメラおよび赤外線プロジェクタが、共通のＲＧＢ−Ｄカメラ座標系において較正されたから、ＲＧＢ−Ｄ画像は、距離画像とＲＧＢカメラのＲＧＢ画像からを得られることができる。

【0070】

マイクロソフトからの知られたKinectシステム、またはAsusからのXtion ProのようなＲＧＢ−Ｄカメラシステム、赤外線カメラおよび赤外線プロジェクタを使用することに基づいて、いくつか商業的に利用できるＲＧＢ−Ｄカメラシステムが存在する。これらのシステムは、いつでもすぐ買える安価な消耗品の例である。ＵＳ８１５０１４２Ｂ２およびＵＳ７４３３０２４は、のＲＧＢ−Ｄセンサの可能な実施の詳細な方法を記載する。

【0071】

本発明において深度センサの有利なバージョンは、双方向的フレームレート（例えば５フレーム／秒より高い）で距離画像を配信することができることである。

【0072】

ＩＣＰアルゴリズム実施可能：
反復的最近接点（ＩＣＰ）（たとえば、非特許文献１０に記載されている）は、３次元点群によってしばしば表現される２つの部分的に重複する３次元モデルを空間的に登録するためアルゴリズムである。アルゴリズムの目的は、他のもので登録されるため１つのモデルを変換する、６つのDoF（DoF：自由度）剛体変換（３次元回転および３次元並進を備えること）を見付けることである、例えば、次に記載される図８を参照：
参照モデルR（ステップ８１）、現在のモデルC（ステップ８２）、そして、CとR（ステップ８３）との間の変換の初期推定を与えられ、方法は、初期に供給された初期推定を用いて、C（ステップ８４）を初期に変換する。最も単純な場合に留意し、初期推定は、アイデンティティ変換であることができる。今日、反復的方法は、モデルＲおよびＣ（ステップ８５）からサンプル点Ｒ´およびＣ´を選択して、点についてのこれら２つの集合の間のマッチを定める（ステップ８６）。最も単純な場合、Ｃ´における点に対して対応をマッチすることは、Ｒ´において最も近い点を決定することである。サブシーケンスステップ（ステップ８７）において、ウェイト（ｗｅｉｇｈｔｓ）は、全てのマッチに対して計算されることである。これの最も単純な実施形態は、全てのマッチに等しいウェイトを割り当てることであることに留意してください。誤差、例えば、のマッチする点の間での距離についてのルートミーンスクウェアを割り当ての後（ステップ８８）、変換は見付られ、この誤差を最小化する。

【0073】

出口基準（ステップ８１０）は、見付られた解がさらなるの反復の中で再検討されるべきかどうかを決定する。もしそうならば、モデルＲおよびＣからサンプル点Ｒ´および点Ｃ´を選択することによって、次の反復開始の前に、Ｃは見付られた変換で変換される（ステップ８１１）。さもないと、累積された変換、すなわち、反復アプローチの期間にＣに適用された全ての変換、およびステップ８９で見付られた最後の変換についての累積は、ＣをＲに位置合わせを行う最後の変換として返される（ステップ８１２）。

【0074】

潜在的な追加的使用：
距離画像を生成することができる深度センサを有する事は、追加の利点を持っている。１つの利点は、現実対象物の仮想モデル（すなわち、コンピュータ支援された設計（ＣＡＤ）モデル）と現実対象物の実際の幾何学形状との間の食い違いを見付けるために異なる測定方法についての実施形態であることができる。ＩＣＰアルゴリズムは、部分的エラーまたは２つの３次元モデルとの間の違いを扱うことができるから、アルゴリズムは、大部分の場合において、部分的に異なる仮想モデルを深度センサから来る深度データに位置合わせすることができる。そして、その差は、例えば１つのモデルの頂点または点と他のモデルの最も近い頂点または点との間において計算されることができる。異なる距離に異なる色を割り当て、プロジェクタは、それらの仮想３次元モデルとの違いに基づいて、現実対象物の一部に彩色をすることができる。

【0075】

もう１つの利点は、現実対象物とのタッチ相互作用についてのさらなる実施形態であることができる。技術情勢（例えば非特許文献９）から、技術は、深度データから人体ジェスチャを検索することが知られている。人体追跡は、システムのユーザの大まかな頭部位置を検索するために使用されることができる。この頭部位置は、可視光プロジェクタの視点を持つユーザを仮定することよりも、表示された仮想データをより現実的に見て、現実対象物に良好に位置合わせされるように再調整することに使われることができる。表現技術についてこれ以上のことが、非特許文献１１において見出される。

【0076】

人体追跡はまた、ユーザの手の位置を検索するため、または、現実対象物に近くに存在するユーザの最も近い人体の部分を検索するために使用されることができる。システムは、現実対象物からの所定の閾値（例えば、１０ｃｍ）より近いと仮定する、任意の人体部分またはただの手を、考えられるマウス位置がプロジェクタの内部パラメータに基づいて２次元座標に投影された３次元モデルの最も近い３次元ポイントに対応するマウスクリックまたはマウスイベント（ｍｏｕｓｅ−ｅｖｅｎｔ）があることを理解することができる。この情報を使用して、それを結合して、または、知られた技術を用いて３次元モデルの下位の部分を直接的に特定することによって、ユーザ相互作用の全ての種類は、起動されることができる。例えば、仮想のポストイットが、この位置に３次元モデルに添付されることができ、または一部は動きを与えられ、またはハイライトが当れられることができる。

【0077】

接触−相互作用の態様に対し有利な付加は、ユーザが現実対象物を接触するときに、容量センサを使用することによって、または電流を測定することによって、ユーザが現実対象物を接触することを検出することである。容量センシング回路は、現実対象物に接続されることができ、それが現実世界の対象物の容量において変化を検出するとき入力信号を処理ユニットに供給する。大地から現実対象物を絶縁し、現実対象物を高い電圧（高抵抗によって）に接続し、そして、ユーザが現実対象を触ったとき誘起する電流を測定することは、選択的な実施形態であることができる。深度センサデータは、現実対象物がタッチされた位置を推測するために評価されることができる。

【0078】

２０１２年１２月１７日を検索されたウィキペディアは、容量センシング回路を実施することについての次の可能な方法を提供した（http://en.wikipedia.org/wiki/Capacitive_sensing）:
“容量は、発振器の周波数を制御する、またはＡＣ信号の結合すること（または減衰）のレベルを変化させるために、それを使用することによって、通常間接的に測定される。単純な容量メータの設計は、しばしば緩和発振器に基づいている。センスされるべき容量は、発振器ＲＣ回路またはＬＣ回路の部分を形成する。基本的に技術は、既知の回路を用いて、未知の容量をチャージすることによって動作する。（容量のための状態方程式は、i=Cdv/dt。これは、容量が、容量素子を横切る電圧の変化レートによって割られた電流と等しいことを意味する。）容量は、しきい値電圧（緩和発振器の）に達するに要求されるチャージ時間を測定することによって、または等価的に発振器の周波数を測定することによって、計算されることができる。これらの両方とも、発振回路のＲＣ（またはＬＣ）時定数に比例する。容量測定における誤差の第１の原因は、浮遊容量（ｓｔｒａｙ ｃａｐａｃｉｔａｎｃｅ）であり、警戒されないならば、おおよそ１０ｐＦと１０ｎＦの間を行き来する可能性がある。浮遊容量は、容量信号をシールド（ハイ・インピーダンス）すること、そして接地リファレンスに（低インピーダンス）シールドを接続することによって相対的に定常値に保持されることができる。また、浮遊容量の望まない効果を最小限にするために、可能な限りセンサ電極の近傍になるようにセンシングエレクトロニクスを配置するという良い実地経験がある。もう１つの測定技術は、容量分割素子を介して固定周波数の交流電圧を印加することである。これは、既知の値と他の未知の値の２つの容量素子を直列で構成する。出力信号は、一方の容量素子を介して取り出される。未知の容量素子の値は、交流電圧計によって測定されることができるような、出力／入力の信号振幅の比率と等しい、容量の比率から見付ることができる。”
ユーザタッチは、また、ユーザ位置を測定することなしに使用され、そして可能な内容のワークフローにおいて次のステップを単純に起動することができる。例えば、システムは最初に、現実の自動車上に仮想エンジンを表示し、そして自動車をタッチした後、システムはギアボックスの構造を表示するように切り替える。

【0079】

深度センサの範囲を拡張し、またはシステムのユーザのより多くに対応するために、第２の深度センサは、第１の深度センサに対して固定された空間関係で搭載されることができる。その２つの深度センサは、順次にまたは単に需要上において起動されることができる。

【0080】

特許文献１および非特許文献５に記載されたような方法を比較すると、提示の本発明は、可視光プロジェクタとＲＧＢ−Ｄカメラシステムとの間の固く結合することを要求しないし、そして、現実対象物にしっかりと添付された視覚的マーカまたはテクスチャ前景を必要としない。よって、提示の方法は、現実対象物と可視光プロジェクタとの間の空間変換を計算することの較正手続、そしてプロジェクタの内部パラメータを推定することを単純化する。さらに、視覚的マーカと現実対象物との間のマーカ対象物の較正は、マーカ対象物較正によって引き起こされるエラーを除去する、特許文献１および非特許文献５に記載されたような方法と比較される提示の方法において要求されない。

【0081】

ロボット装置に、現実対象物を走査するためにカメラに取り付けられたポインタを動かすという要求をする、非特許文献５に記載されたような方法と比較して、本発明は、好ましくはＲＧＢ−Ｄカメラシステムに基づいた、異なる思想を採用する。本発明は、非特許文献５に記載されたような方法と比較して、較正の時間を低減することができる。さらに、現実対象物とＲＧＢ−Ｄカメラシステムとの間の空間変換を計算すること、およびプロジェクタとＲＧＢ−Ｄカメラシステムとの間の空間変換を計算することの２つが記載された手続は、並列に実行されることができるから、本発明はさらに、較正のスピードアップが可能である。有利なことに、ＲＧＢ−Ｄカメラシステムは、１０Ｈｚ以上のフレームレートで画素について５０倍より高い解像度の距離画像を供給することができる。

【0082】

現実対象物または現実対象物の一部のさらなる距離画像は、可視光プロジェクタとＲＧＢ−ＤカメラシステムのＲＧＢ画像を使用して投影し、取り込むことによって生成されることができる。この距離画像は、ＲＧＢ−Ｄカメラシステムから供給される距離画像と同一であるべきである。ＲＧＢ−Ｄカメラシステムが現実対象物に関して固定されると仮定することは、プロジェクタが、プロジェクタと現実対象物との間の空間関係の較正後、現実対象物またはＲＧＢ−Ｄカメラシステムから離れる時にはいつでも、その２つの距離画像は、異なるし、システムは較正されるべきである。

【0083】

次に、それは、図２に基づいたシステムのもう１つの実施形態に参照される。図１に基づいたシステムと同様に、ＲＧＢカメラ２２、赤外線カメラ２３と赤外線プロジェクタによって形成された深度センサと一緒にＲＧＢ−Ｄカメラシステム２６、現実対象物２１の上にデジタル情報を投影する可視光プロジェクタ２５が供給される。ＲＧＢ−Ｄカメラシステム２６とプロジェクタ２５との間の相対的変換が固定されていることを仮定して（図２を参照）、とプロジェクタ２５と現実対象物２１の間の空間関係の較正の後、現実対象物２１の動きを検出することが可能である。プロジェクタ２５と現実対象物２１との間の空間関係は、そのような動きが検出されるや否や再較正されるべきである。

【0084】

検出は、次のように実現されることができる。可視光プロジェクタに視覚的パターンを現実対象物の最表面上に投影させ、そしてＲＧＢ−Ｄカメラシステムに投影されたパターンを取り込ませ、その際、投影されたパターンの画像位置が所望の位置に存在するか否かをチェックする。所望の画像位置は、プロジェクタから放出された視覚的パターンの光線と、現実対象物とプロジェクタとの間の較正された空間関係に基づいた現実対象物の３次元モデルとの間の交点を計算することによって推定されることができる。交点の３次元位置は、現実対象物座標系において表現されることができる。所望の画像位置は、現実対象物とＲＧＢ−Ｄカメラシステムとの間で較正された空間関係に基づいたＲＧＢ−Ｄカメラシステムの画像座標系の中への交点の再投影である。

【0085】

その検出は、またＲＧＢ−Ｄカメラシステムから得られる距離画像に基づいて実現されることができる。もし、直近得られた距離画像が、ＲＧＢ−Ｄカメラシステムからの較正で取り込まれた距離画像と相違するならば、較正後の現実対象物の動きが存在する可能性がある。

【0086】

ＲＧＢ−Ｄカメラシステム２６とプロジェクタ２５との間の相対的変換が固定されていることを仮定すると（図２を参照）、プロジェクタと現実対象物との間の空間関係の較正の後、ＲＧＢ−Ｄカメラシステムは、初期化で使用されるような、コンピュータ視覚化法またはＩＣＰを使用して現実対象物の動きを追跡することができ、プロジェクタと現実対象物との間の空間関係は、適宜に更新されることができる。さらに、可視光プロジェクタのシステムパラメータは、追跡によりＲＧＢ−Ｄカメラシステムに対する現実対象物の位置に基づいて、適宜に調整されることができる。例えば、プロジェクタが現実対象物により近いとき、その輝度は低下させる。

【0087】

較正後に現実対象物に視覚的マーカを加えることは、ＲＧＢ−Ｄカメラシステムを使用して現実対象物の確実な追跡をすることができる。

【0088】

ＲＧＢ−Ｄカメラシステムの提示の較正されたシステムとプロジェクタは、さらにタッチを見るためにＲＧＢ−Ｄカメラシステムからの距離画像を使用することによって現実対象物の最表面上におけるユーザの相互作用を検出することを支援することができる。

【0089】

本発明の有利点は、較正後、２つの独立な深度データの発生源が存在することである。そのため、投影ＡＲシステム、および、ＲＧＢ−Ｄカメラシステムからのもの、可視光プロジェクタとＲＧＢカメラのＲＧＢ画像の使用することからのものという、現実対象物に関する深度データの２組を比較することによるＡＲプロジェクタシステムおよびその較正についての質を推定することが可能である。プロジェクタとＲＧＢカメラのＲＧＢ画像を使用することから供給される深度データは、現実対象物の物理的表面上にプロジェクタに既知の幾何学形状をもつ視覚的パターンを投影させること、およびＲＧＢカメラに投影パターンのＲＧＢ画像を取り込ませることによって実現されることができる。利用可能な内部と外部データを持つことは、２つのモデルが登録されることができ、例えば、プロジェクタからＲＧＢ−Ｄモデルへ再構築された点についての平均距離のような質の測定が、返されることができる。

【0090】

較正の質をチェックすることについてのもう１つ可能な方法は、検出可能な可視光情報を現実対象物上に投影することである。可視光カメラの内部パラメータ、可視光プロジェクタの内部パラメータ、および現実対象物と可視光カメラへの可視光プロジェクタの空間関係に基づいて、検出可能な可視光は、可視光カメラ画像における所定位置を持つことを期待されることができる。可視光カメラの内部パラメータは、事前の較正手続きから既知である。検出可能な可視光情報の期待される位置とその現実の位置との間の距離は、品質処理として画素中に返されることができる。代わりに、その違いは、現実対象物の上に数学的に投影され、そしてミリメートルに変換されることができる。

【0091】

本発明の一態様に基づいて、可視光カメラと深度センサは、特にＲＧＢ−Ｄカメラシステムとして記載されるような機能的ユニットである、共通の筐体に収納される。可視光プロジェクタ、深度センサ、および可視光カメラを含むシステムは、また携帯型または頭部装着型装置を形成するため最小化された方法において実施されることができる。

【0092】

潜在的な実施形態は、それぞれ図５、６および７に示される。可視光プロジェクタおよびＲＧＢ−Ｄカメラシステムは、最小化されれば、携帯型または頭部装着型装置として形成されることができる。図５に示される、プロジェクタとＲＧＢ−Ｄカメラシステムを構成する例示の携帯型または頭部装着型装置５０は、ハンドル５１、可視光プロジェクタ５５およびＲＧＢ−Ｄカメラシステムを含んでも良い。ＲＧＢ−Ｄカメラシステムは、さらに、赤外線プロジェクタ５２、赤外線カメラ５３およびＲＧＢカメラ５４を含んでも良い。

【0093】

可視光プロジェクタと図６に示されるＲＧＢ−Ｄカメラシステムを構成する、例示の頭部装着型装置６０は、据え付け部６１、可視光プロジェクタ６５およびＲＧＢ−Ｄカメラシステムを含んでよい。ＲＧＢ−Ｄカメラシステムは、さらに赤外線プロジェクタ６２、赤外線カメラ６３およびＲＧＢカメラ６４を含んでよい。据え付け部６１は、ヘッドマウント装置と投影されたデジタル情報をユーザの目６６で知覚するユーザの頭との間の固い据え付けを支持することができる。

【0094】

本発明の一態様に基づいたシステムについてのもう１つの有利なハードウェア設備は、図７に示される。通常調整が難しい可視光プロジェクタ、およびＲＧＢ−Ｄカメラシステムは、共通の筐体内に結合されているが、同時に機能的には分離されている。この実施形態において、赤外線プロジェクタ７４、可視光カメラ７５および赤外線カメラ７６を備える、ＲＧＢ−Ｄカメラシステムの要素は、固体構造要素に取り付けられることによって、それらの空間的関係は、輸送中の動きまたは衝撃さえに対して強固であるべきである。少なくとも可視光カメラ７５の１つの、赤外線プロジェクタ７４および赤外線カメラ７６は、可能な実施形態において、固定された焦点光学系を備えている。較正困難な可視光プロジェクタは、緩衝器、ズーム、焦点機構を含んでよい複雑な光学系７１を含む。それは、高エネルギー光源７９と空間光変調器７８を持っている。高エネルギー光源のため、可視光プロジェクタは、それがターンオンされた後（拡張温度指示器またはセンサ７２によって示される）、温度域において大きな変化を持つ。構造要素のサイズにおけるその変化がシステム要素の空間的関係を変える可能性があるから、温度域における大きな変化は、較正逸脱の主要原因である。

【0095】

したがって、可視光プロジェクタとＲＧＢ−Ｄカメラシステムは、この実施形態においては、絶縁することまたは熱緩衝材７３によって分離されている。有利には、筐体のベース板７０−１は、カーボン・ファイバー・ラミネートで製造され、ＲＧＢ−Ｄカメラシステムと可視光プロジェクタはベース板７０−１上にしっかり固着され、筐体の側面壁７０−２に固着されていない。筐体は、少なくとも１つの新鮮な空気の供給または熱い空気の排出７０−３を利点として持つことができる。システムは、少なくともひとつの温度センサ７２を利点として持つことができる。システムは、最新の調整と現時点との温度差が与えられたしきい値を超えるような場合、新しい較正の必要についてユーザに通知することができる。選択的に、システムは自動的に自己較正を実行することができる。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】