特表 2024-541875 リアルタイム及びほぼリアルタイムのビデオでデータのキャプチャと送信のコンプライアンスを強制するための予測的視野（ＦＯＶ）及びキュー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】リアルタイム及びほぼリアルタイムのビデオでデータのキャプチャと送信のコンプライアンスを強制するための予測的視野（ＦＯＶ）及びキュー

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241106BHJP

   H04N 13/204 20180101ALI20241106BHJP

   H04N 23/61 20230101ALI20241106BHJP

【ＦＩ】

H04N7/18 E

H04N7/18 K

H04N13/204

H04N23/61

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024523577

(86)(22)【出願日】2022-10-19

(85)【翻訳文提出日】2024-06-14

(86)【国際出願番号】 US2022047144

(87)【国際公開番号】W WO2023069527

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】17/507,111

(32)【優先日】2021-10-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】524059674

【氏名又は名称】レイセオン カンパニー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】テイシー，マシュー ジェイ．

(72)【発明者】

【氏名】コリアンドロ，ジョン エイ．

(72)【発明者】

【氏名】マヨルガ，アラン

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC13

5C054FC14

5C054FC15

5C054FE14

5C054FE16

5C054HA24

5C054HA25

5C122DA03

5C122DA27

5C122EA07

5C122EA48

5C122FA04

5C122FH14

5C122FK03

5C122FK28

5C122GC52

5C122HA75

5C122HA88

(57)【要約】

除外されたデータのキャプチャと送信を防ぐために、ビデオカメラの現在のポーズと動きを使用して、１つ以上の将来のフレームにわたるビデオカメラのポーズと予測ＦＯＶを予測する。予測ポーズと予測ＦＯＶは、許可されるオブジェクトにアライメント条件を強制する、または許可されないオブジェクトのキャプチャを防ぐためのキューを生成するために使用される。キューが失敗した場合、ビデオ信号内の許可されないオブジェクトのキャプチャを防ぎ、ビデオカメラを非アクティブ化するために割り込みが生成される。予測ＦＯＶは、除外されるデータがビデオ信号に入り、回路に到達すること、またはビデオカメラの下流で処理されることを防ぐ。これはリアルタイムまたはほぼリアルタイムで実装できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオ信号からローカルシーン内の除外されるデータのキャプチャ及び送信を防止する方法であって、当該方法は、
１つ以上のオブジェクトを含む前記ローカルシーンのグラウンドトゥルースマップを生成すること、
前記グラウンドトゥルースマップの前記オブジェクトの１つ以上を許可されないものとして識別すること、
ビデオカメラを使用して、前記ローカルシーン内の指向方向にあるカメラの視野（ＣＦＯＶ）内部のフレームレートでビデオ信号をキャプチャすること、
現在のフレームの前記ローカルシーン内の前記ビデオカメラの位置及び向きを含むポーズを決定すること、
前記ビデオカメラの指向方向の速度と加速度の測定値を受信すること、
前記現在のフレームの前記ポーズ、及び前記速度と加速度の測定値から、１つ以上の将来のフレームの１つ以上の予測ＦＯＶ（ＰＦＯＶ）を計算すること、
前記１つ以上のＰＦＯＶを前記グラウンドトゥルースマップと比較し、許可されないオブジェクトを認識して特定すること、及び
許可されないオブジェクトが認識された場合、許可されないオブジェクトのキャプチャ、及びそれが前記ビデオ信号の前記１つ以上の将来のフレームに含まれることを防ぐために前記ビデオカメラを制御すること、を含む、方法。

【請求項2】

前記グラウンドトゥルースマップは３次元であり、
センサを使用して前記ローカルシーンの３次元の前記グラウンドトゥルースマップを生成することをさらに含む、請求項１に記載の方法。

【請求項3】

前記センサが、３Ｄビデオカメラ、ＬＩＤＡＲ、またはソナーのうちの１つである、請求項２に記載の方法。

【請求項4】

前記グラウンドトゥルースマップは、前記許可されないオブジェクトのうちの少なくとも１つのコンピュータ生成２Ｄまたは３Ｄモデルを含む、請求項２に記載の方法。

【請求項5】

前記センサを使用して、前記指向方向に沿った３次元センサＦＯＶ（ＳＦＯＶ）内で感知された信号をキャプチャすること、
前記３次元センサＦＯＶ内で感知された信号を前記３次元グラウンドトゥルースマップと比較して、前記現在のフレームの前記ポーズを決定することをさらに含む、請求項２に記載の方法。

【請求項6】

前記ビデオ信号をネットワークに配信すること、及び
前記センサを前記ネットワークから分離すること、をさらに含む、請求項２に記載の方法。

【請求項7】

前記ローカルシーンに入るオブジェクトの移動速度、または前記ローカルシーンに対する前記ビデオカメラの移動速度を測定すること、及び
前記測定された移動速度が最大値を超えた場合、前記ビデオカメラが非アクティブになることをさらに含む、請求項１に記載の方法。

【請求項8】

前記ビデオカメラのジャイロスコープが前記現在のフレームの前記ポーズを決定する、請求項１に記載の方法。

【請求項9】

許可されないオブジェクトが認識された場合、
許可されないオブジェクトのキャプチャと、前記ビデオ信号の前記１つ以上の将来のフレームにそれが含まれることを防ぐために、前記ビデオカメラの指向方向を変更するキューを生成し、
前記キューを生成した後、前記予測ＦＯＶを更新して、前記更新された予測ＦＯＶが前記許可されないオブジェクトを含むかどうかを決定し、
前記キューが前記更新された予測ＦＯＶ内での前記許可されないオブジェクトのキャプチャを防げない場合は、前記ビデオカメラを制御して前記許可されないオブジェクトのキャプチャと前記ビデオ信号にそれが含まれることを防ぐ、請求項１に記載の方法。

【請求項10】

ユーザ、ユーザ制御ロボット、または自律ロボットのうちの１つが、前記ビデオカメラの指向方向を変更する前記キューに応答する、請求項９に記載の方法。

【請求項11】

前記グラウンドトゥルースマップの前記オブジェクトの１つ以上が許可され、
前記現在及び予測される指向方向が、許可されるオブジェクトに対するアライメント条件を満たしているかどうかを決定すること、
前記現在及び予測される指向方向が前記アライメント条件を満たさない場合、前記アライメント条件を強制するために前記ビデオカメラの指向方向を変更するためのキューを生成すること、
前記キューを生成した後、前記現在及び予測される指向方向を更新して、それらが前記許可されるオブジェクトへの前記アライメント条件を満たしているかどうかを決定すること、及び
前記キューが前記アライメント条件を強制できない場合、前記ビデオカメラを非アクティブにすること、をさらに含む、請求項１に記載の方法。

【請求項12】

前記ローカルシーンは拡張現実（ＡＲ）環境であり、
前記許可されるオブジェクトに関連する、音声、テキスト、またはビデオメディアの形式での指示を、遠隔地から受信すること、及び
前記指示を前記ビデオ信号に登録し、ユーザに拡張現実を表示して、前記ユーザに指示すること、をさらに含み
前記ビデオカメラの前記指向方向はユーザの動きに連動され、
前記キューは、前記アライメント条件を強制するために、前記ユーザの指向方向を変更するように前記ユーザを促す、請求項１１に記載の方法。

【請求項13】

前記ビデオカメラは、光を感知して統合して画像を形成する電気化学層を有する検出器アレイ、フレームレートで画像シーケンスを読み出す増幅器及びＡ／Ｄコンバータを有する読み出し集積回路（ＲＯＩＣ）、及び前記画像シーケンスを保存して前記ビデオ信号を形成するメモリチップを含み、前記ビデオカメラを制御して許可されないオブジェクトのキャプチャを防ぐステップは、
前記ビデオカメラを機械的に制御して前記指向方向を変えること、
前記ビデオカメラを光学的に制御して前記ＣＦＯＶを狭める、または前記許可されないオブジェクトをぼかすこと、及び
前記ビデオカメラを電気的に制御して電源を遮断する、前記電気化学層、増幅器、またはＡ／Ｄコンバータを無効にする、または前記許可されないオブジェクトのピクセルを選択的にオフにすること、の１つ以上を含む、請求項１に記載の方法。

【請求項14】

前記ビデオカメラは、光を感知して統合して画像を形成する電気化学層を有する検出器アレイを含み、前記ビデオカメラを制御して許可されないオブジェクトのキャプチャを防ぐステップは、前記電気化学層を無効にすることを含む、請求項１に記載の方法。

【請求項15】

前記ビデオカメラを制御して、前記許可されないオブジェクトのキャプチャを防ぐステップは、前記許可されないオブジェクトのカメラピクセルを選択的にオフにすることを含む、請求項１に記載の方法。

【請求項16】

ビデオ信号からローカルシーンの除外されるデータのキャプチャ及び送信を防止する方法であって、当該方法は、
１つ以上のオブジェクトを含む前記ローカルシーンのグラウンドトゥルースマップを生成すること、
前記グラウンドトゥルースマップの前記オブジェクトの１つ以上を許可されないものとして識別すること、
ビデオカメラを使用して、前記ローカルシーン内の指向方向にあるカメラの視野（ＣＦＯＶ）内部のフレームレートでビデオ信号をキャプチャすること、
現在のフレームの前記ローカルシーン内の前記ビデオカメラの位置及び向きを含むポーズを決定すること、
前記ビデオカメラの指向方向の速度と加速度の測定値を受信すること、
前記現在のフレームの前記ポーズ、及び前記速度と加速度の測定値から、１つ以上の将来のフレームの１つ以上の予測される指向方向及び予測ＦＯＶ（ＰＦＯＶ）を計算すること、
前記ＰＦＯＶを前記グラウンドトゥルースマップと比較し、許可されないオブジェクトを認識して特定すること、及び
許可されないオブジェクトが認識された場合、許可されないオブジェクトのキャプチャと、前記ビデオ信号の前記１つ以上の将来のフレームにそれが含まれることを防ぐために、前記ビデオカメラの指向方向を変更する第１のキューを生成すること、を含む、方法。

【請求項17】

前記グラウンドトゥルースマップには１つ以上の許可されるオブジェクトが含まれ、
前記キューを生成した後、前記予測ＦＯＶを更新して、前記更新された予測ＦＯＶが前記許可されないオブジェクトを含むかどうかを決定し、
前記第１のキューが前記更新された予測ＦＯＶ内での前記許可されないオブジェクトのキャプチャを防げない場合は、前記ビデオカメラを制御して前記許可されないオブジェクトのキャプチャと前記ビデオ信号にそれが含まれることを防止することをさらに含む、請求項１６に記載の方法。

【請求項18】

前記グラウンドトゥルースマップには１つ以上の許可されるオブジェクトが含まれ、
前記現在及び予測される指向方向が、許可されるオブジェクトに対するアライメント条件を満たしているかどうかを決定すること、
前記現在及び予測される指向方向が前記アライメント条件を満たさない場合、前記アライメント条件を強制するために前記ビデオカメラの指向方向を変更するための第２のキューを生成すること、
前記第１または前記第２のキューを生成した後、前記現在及び予測される指向方向及び予測ＦＯＶを更新して、それらが前記許可されるオブジェクトに対する前記アライメント条件を満たしているかどうか、及び前記更新された予測ＦＯＶに前記許可されないオブジェクトが含まれているかどうかを決定すること、及び
前記第１のキューまたは前記第２のキューのいずれかが前記アライメント条件を強制できなかった場合、または前記許可されないオブジェクトのキャプチャを防止できなかった場合は、前記ビデオカメラを非アクティブにすることをさらに含む、請求項１６に記載の方法。

【請求項19】

ビデオ信号からローカルシーン内の除外されるデータのキャプチャ及び送信を防止する方法であって、当該方法は、
１つ以上のオブジェクトを含む前記ローカルシーンのグラウンドトゥルースマップを生成すること、
前記グラウンドトゥルースマップの前記オブジェクトの１つ以上を許可されるものとして識別すること、
ビデオカメラを使用して、前記ローカルシーン内の指向方向にあるカメラの視野（ＣＦＯＶ）内部のフレームレートでビデオ信号をキャプチャすること、
現在のフレームの前記ローカルシーン内の前記ビデオカメラの位置及び向きを含むポーズを決定すること、
前記ビデオカメラの指向方向の速度と加速度の測定値を受信すること、
前記現在のフレームの前記ポーズ、及び前記速度と加速度の測定値から、１つ以上の将来のフレームの１つ以上の予測される指向方向を計算すること、
前記現在及び予測される指向方向が、許可されるオブジェクトに対するアライメント条件を満たしているかどうかを決定すること、及び
前記現在及び予測される指向方向が前記アライメント条件を満たさない場合、前記アライメント条件を強制するために前記ビデオカメラの指向方向を変更するための第１のキューを生成すること、を含む、方法。

【請求項20】

前記第１のキューを生成した後、前記現在及び予測される指向方向を更新して、それらが前記許可されるオブジェクトへの前記アライメント条件を満たしているかどうかを決定すること、及び
前記第１のキューが前記アライメント条件を強制できない場合、前記ビデオカメラを非アクティブにすること、をさらに含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

優先権の主張
本特許出願は、参照によりその全体が本明細書に組み込まれる、２０２１年１０月２１日に出願された米国特許出願第１７／５０７，１１１号に対する優先権の利益を主張する。

【背景技術】

【0002】

本発明は、リアルタイムまたはほぼリアルタイムのプライベート、制限的または安全な環境でデータのキャプチャ及び送信のコンプライアンスを強制するためのビデオのキャプチャ及び処理に関する。

【0003】

関連技術の説明
ビデオカメラ技術は今日世界中でいっそう普及している。たとえば、ヘッドマウントカメラ、ロボット制御カメラ、半自律型または自律型ロボット、携帯電話、デスクトップまたはテーブルコンピュータ、ニアアイディスプレイ、ハンドへルドのゲームシステムなどのデバイスには、ビデオのキャプチャ、表示、及び送信を可能にするカメラと関連ソフトウェアが含まれている場合がある。これらのデバイスは、リアルタイムまたはほぼリアルタイムで一方向または双方向のビデオ通信を提供するために使用されている。意図的か非意図的かにかかわらず、キャプチャ、保存、表示、または送信されるべきではないビデオがそのようにされるときに、プライバシーとセキュリティ上の憂慮事項が生じる。個人、企業、または国のプライバシーが、場合によっては違法に、侵害される可能性がある。軍事または企業の独占的な環境または安全な環境といった特定の制限された環境では、どのような視覚情報をキャプチャ、保存、表示、または送信できるかを管理する、厳格な統制が存在している。

【0004】

不要なビデオのキャプチャまたは送信を制限するために、一部の既存のシステムでは、ビデオがキャプチャされたときにそれをモニタする。これらのシステムは、人間による処理、人工知能（ＡＩ）、計算アルゴリズム、またはそれらの組み合わせを使用して、問題の視覚情報（人物の顔または企業の専有情報など）を識別し、次いでビデオファイルデータからその情報を削除または隠蔽する。これらのシステムでは、問題の情報がさらにキャプチャされるのを防ぐために、記録デバイスをシャットオフにすることさえもある。しかし、説明した既存のシステムはすべて、問題の情報をキャプチャ、保存、処理する。問題のデータは保存され（ほんの一時的な場合もあるが）、処理されるため、データ流出のリスクは依然として存在し、そのためこれらのシステムは特定の安全な環境や制限的な環境の要件を満たすことができない。ビデオファイルから情報を削除または隠すために必要な処理により、これらのシステムは、リアルタイムまたはほぼリアルタイムのビデオキャプチャと送信を必要とするアプリケーションと適合性がない。

【0005】

リアルタイムまたはほぼリアルタイムでデータのキャプチャと送信のコンプライアンスを強制するビデオキャプチャは、個々のユーザ、企業、または国向けのさまざまな用途で必要になる場合がある。このような用途には、検査／プロセスレビュー、サプライヤー品質管理、内部監査、機器またはシステムのトラブルシューティング、工場運営、工場コラボレーション、検証と確認、機器の修理とアップグレード、機器またはシステムのトレーニングが含まれる場合があるが、これらに限定されない。これらの用途では、効率的かつ効果的なコミュニケーションを実現するために、問題の情報またはリアルタイムまたはほぼリアルタイムを含むローカルシーンのビデオをキャプチャし、一方向または双方向で送信する必要がある場合がある。特別なケースとして、データのキャプチャと送信のコンプライアンスは、拡張現実環境で実装される場合がある。

【0006】

拡張現実（ＡＲ）とは、環境の周囲のオブジェクトに重ねて登録される２次元または３次元（３Ｄ）のビデオグラフィックまたはその他のメディアの生成を指す。固有で簡単に識別できる特徴を持つ人工の「マーカー」、別名「ソース」が、ユーザ、オブジェクト、またはシーンに配置され、さまざまな目的に使用され得る。これらのマーカーは、特定のオブジェクトを識別して位置を特定したり、コンピュータで生成されたメディアの表示をトリガーしたり、ユーザの位置や姿勢を決定したりするために使用されている。

【0007】

遠隔での修理または検査などの特定のビデオまたはＡＲ環境における、主に顧客が抱く、ＦＯＶを最大化するためのビデオカメラ業界の推進によって増大される懸念は、キャプチャされ、送信される、またはローカルで表示されるビデオのユーザ（現場技術者または専門家のいずれかだが、主に現場技術者）が、意図的または非意図的のうちに関心のあるオブジェクトから目をそらし、キャプチャまたは送信されるべきではない、シーンの別の部分のビデオをキャプチャする可能性があるということである。意図しない、または意図的な広範囲のＦＯＶの送信を回避するために、顧客の要求、業界規制、国家安全保障、または国固有の法律により、ある程度のデータのキャプチャ及び送信のコンプライアンスが必要になる場合がある。現在の技術は、ビデオ信号にキャプチャされないように対象のオブジェクトの周囲を布や防水シートで物理的に覆うこと、ＦＯＶを機械的に狭めること、または送信前にビデオを隔離して、セキュリティ認定を受けたドメイン専門家にキャプチャ後のビデオ信号を確認して編集させることを含む。これらは時間のかかる活動である。さらに一般的で、よりコストがかかるのは、現場に無関係な物品が残らないように、問題の機器を空のガレージや格納庫などの特別な安全な場所に移動することである。多くの場合、機器の取り外し、物理的なドレープ、またはキャプチャ後の編集は、コンプライアンス要件を満たすのに十分ではないか、または準リアルタイムのインタラクティブな状況で実装するには非現実的でコストがかかる。状況によっては、国家安全保障やＩＴＡＲ－国際武器取引規則－上の理由により、キャプチャ後のあらゆる種類の編集を防ぐ国の法律が存在する。

【0008】

米国特許第１０，４０３，０４６号及び第１０，６７９，４２５号「Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ （ＦＯＶ） ａｎｄ Ｋｅｙ Ｃｏｄｅ Ｌｉｍｉｔｅｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｔｏ Ｅｎｆｏｒｃｅ Ｄａｔａ Ｃａｐｔｕｒｅ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｍｐｌｉａｎｃｅ」は、リアルタイムのインタラクティブな状況で除外されるデータがキャプチャされるのを避けるために、ビデオカメラの指向方向とシーン内のマーカーとの間のアライメント条件を強制することを開示している。これは、例えば、ビデオカメラの指向方向が、ビデオカメラのＦＯＶがマーカーの周りのユーザ定義の許容できるＦＯＶ内にあるように、ローカルシーン内のマーカーに対するアライメント条件を満たしているかどうかを判断することによって実行できる。アライメント条件を満たすために、別のセンサを使用してセンサのＦＯＶ内でのマーカーの存在を検出することができる。カメラまたはセンサのＦＯＶを縮小してバッファゾーンを作成し、カメラのＦＯＶが許容できるＦＯＶの外に出ないようにさらに保証することができる。アライメント条件が満たされない場合、ビデオカメラは、ユーザ定義の許容できるＦＯＶの外側にあるカメラＦＯＶの少なくとも一部をビデオ信号内のキャプチャから除外するように制御される。たとえば、これはビデオカメラの電源をオフにするか、ＦＯＶを狭めることによって実行できる。マーカーは、シーンの特に微妙な領域の画像がキャプチャまたは送信されないのを確実にするためのフェイルセーフとしても使用できる。別のセンサがこれらのマーカーを検出すると、ビデオカメラはシャットダウンされる。システムは、例えば「緑」はアライメント条件が満たされていることを意味し、「黄色」は技術者の目がさまよい始めていることを意味し、「赤」はアライメント条件に違反しておりカメラが無効になっていることを意味するなど、ユーザに合図する場合がある。このシステムでは、位置合わせ条件を強制し、微妙な領域内の他のマーカーを検出するために別のセンサを使用することで、特に、シーンの一部またはタグ付けされたオブジェクトがビデオカメラ自体でキャプチャ（検出）できず、さらにビデオ信号に出力できないことがコンプライアンスで要求される、より厳格な環境や、リアルタイムまたは準リアルタイムのインタラクションが要求される環境向けに設計されている。

【発明の概要】

【0009】

以下は、本発明のいくつかの態様の基本的な理解を提供するための、本発明の概要である。この要約は、本発明の重要または重大な要素を特定すること、または本発明の範囲を詳細に描写することを意図していない。その唯一の目的は、本発明のいくつかの概念を、後で提示される、より詳細な説明及び特許請求の範囲の定義の序文として、簡略化された形で提示することである。

【0010】

本発明は、ビデオカメラのＦＯＶを予測する方法を提供し、リアルタイム及びほぼリアルタイムのビデオのデータのキャプチャ及び送信のコンプライアンスの強制を実現する。

【0011】

リアルタイムまたはほぼリアルタイムのビデオのデータキャプチャと送信コンプライアンスの強制を提供するために、本発明は、ビデオカメラの将来のＦＯＶを予測して、許可されないオブジェクトを認識し、ビデオ信号でのそれらのキャプチャを防止するためにビデオカメラにキューを出す、または制御する。予測ＦＯＶがまた、許可されるオブジェクトに対するビデオカメラのアライメント条件を強制するために使用できる。

【0012】

実施形態では、３Ｄカメラ、ＬＩＤＡＲ、またはソナーなどの３Ｄセンサを使用して、１つ以上のオブジェクトを含むローカルシーンの３次元グラウンドトゥルースマップが生成される。グラウンドトゥルースマップのオブジェクトの１つ以上が、許可されていないか、許可される可能性があると識別される。識別された許可されるオブジェクトと許可されないオブジェクトを表すために、２Ｄまたは３Ｄモデルが使用され得る。ビデオカメラは、ローカルシーンの指向方向にあるカメラの視野（ＣＦＯＶ）内部のフレームレートでビデオ信号をキャプチャする。システムは、現在のフレームのローカルシーン内部でのビデオカメラの位置と方向を含むポーズ（姿勢）を決定し、現在のフレームのポーズとビデオカメラの速度と加速度の測定値から、１つ以上の将来のフレームの予測ポーズと予測ＦＯＶ（ＰＦＯＶ）を計算する。１つ以上の予測ＦＯＶがグラウンドトゥルースマップと比較され、許可されないオブジェクト、及び許可される可能性のあるオブジェクトを認識して特定する。許可されないオブジェクトが認識された場合、許可されないオブジェクトのキャプチャ、及びそれがビデオ信号の１つ以上の将来のフレームに含まれることを防ぐために、ビデオカメラを制御する。

【0013】

特定の実施形態では、ビデオカメラの指向方向を変更するためのキューを生成して、許可されないオブジェクトのキャプチャと、それがビデオ信号の１つ以上の将来のフレームに含まれることを防ぐことができる。キューを生成した後、予測ＦＯＶが更新され、更新された予測ＦＯＶに許可されないオブジェクトが含まれているかどうかが決定する。キューが、更新された予測ＦＯＶでの許可されないオブジェクトのキャプチャを防げない場合、ビデオカメラは、許可されないオブジェクトのキャプチャとビデオ信号にそれが含まれることを防ぐように制御される。その結果、許可されないオブジェクトはビデオ信号に含まれず、そのため、ビデオカメラが接続されている下流の回路、処理、またはネットワークに到達しない。

【0014】

さまざまな実施形態では、オブジェクトはコンテンツのみに基づくのではなく、他の属性に基づいて定義及び禁止される場合がある。たとえば、ビデオカメラからの距離が近すぎるまたは遠すぎると識別されたいずれかのオブジェクトは、許可されないものとして指定される場合がある。ローカルシーンに入るオブジェクトの移動速度（速度や加速度など）はオブジェクトとして定義され、その移動速度が最大値を超える場合、許可されないと定義される場合がある。さらに、ビデオカメラの移動速度（速度及び加速度など）は、その移動速度が最大値を超える場合、オブジェクトと定義され許可されない場合がある。

【0015】

異なる実施形態では、ビデオカメラは許可されるオブジェクトについてトレーニングされ、許可されないオブジェクトからは遠ざけられる。システムは、カメラの現在及び予測される指向方向が、許可されるオブジェクトの１つに対するアライメント条件を満たしているかどうかを決定する。そうでない場合、システムはビデオカメラの指向方向を変更してアライメント条件を強制するキューを生成する。キューがアライメント条件を強制できない場合、ビデオカメラは非アクティブになる。グラウンドトゥルースマップは、認識された許可されるオブジェクトを検証するために使用できる。

【0016】

さまざまな実施形態では、ビデオカメラの指向方向は、ユーザの動き（例えば、ヘッドマウントビデオカメラ）、ユーザ制御の手動マニピュレーター（例えば、ロボットアーム）、または完全に自動化された手動マニピュレーター（例えば、ＡＩ制御のロボットアーム、または半自律型または自律型ロボット）によって連動または制御される。たとえば、許可されないオブジェクトをキャプチャする前に、ユーザの頭部を許可されないオブジェクトから逸らすように、または、アライメント条件に違反する前に許可されるオブジェクトに戻すよう、オーディオ、ビデオ、または振動性のキューがユーザに提示される場合がある。同様に、ロボットアームのユーザに対して、許可されないオブジェクトをキャプチャする前にカメラを逸らすまたは許可されるオブジェクトに戻すようにキューを提示することもできる。完全に自動化されたシステムでは、キューがシステムを無効にし、カメラが許可されないオブジェクトから離れる方向または許可されるオブジェクトの方向に向くようにし得る。

【0017】

異なる実施形態で、ビデオカメラは、さまざまな方法で許可されないオブジェクトのキャプチャを防止するように制御され得る。ビデオカメラは、機械的に制御して指向方向を変えたり、光学的に制御してＣＦＯＶを狭めたり、許可されないオブジェクトが検出器アレイに到達する前にそれをぼかしたり（例えば、ｆ／＃を変更）して、ローカルシーンの照明を変更してセンサを盲目にしたり、電気的に制御して電源を遮断したり、検出器アレイの電気化学層、ＲＯＩＣの増幅器またはＡ／Ｄコンバータを無効にしたり、許可されないオブジェクトのピクセルを選択的にオフにしたりすることができる。

【0018】

本発明のこれら及び他の特徴及び利点は、添付の図面と併せた、好ましい実施形態の次の詳細な説明から当業者に明らかとなろう。

【図面の簡単な説明】

【0019】

【図1】ビデオカメラ用の予測ＦＯＶを予測的なキューに与え、リアルタイム及びほぼリアルタイムのビデオのデータのキャプチャ及び送信のコンプライアンスの強制を実現するシステムの図である。

【図2】リアルタイム及びほぼリアルタイムのビデオのデータのキャプチャ及び送信のコンプライアンスを強制するビデオキャプチャ及び送信デバイスの実施形態のブロック図である。

【図3】予測ＦＯＶでオブジェクトを識別し、特定するための、許可されるオブジェクトと許可されないオブジェクトの両方を含む、ローカルシーンの３次元グラウンドトゥルースマップの図である。

【図4】ビデオ信号を形成するキャプチャされた画像フレームのシーケンスの図であり、予測されたＦＯＶを使用して、許可されないオブジェクトを含む画像フレームがビデオ信号にキャプチャされる前に割り込みを発行する。

【図5】６ＤＯＦポーズを決定するために、グラウンドトゥルースマップに対して位置合わせされた参照センサ自己生成地図の図である。

【図6】ビデオカメラ用の予測ＦＯＶを予測的なキューに与え、許可されるオブジェクトにアライメント条件を強制し、許可されないオブジェクトのキャプチャを防止する拡張現実（ＡＲ）システムの実施形態の図である。

【図7】ビデオカメラ用の予測ＦＯＶを予測的なキューに与え、許可されるオブジェクトにアライメント条件を強制し、許可されないオブジェクトのキャプチャを防止する拡張現実（ＡＲ）システムの実施形態の図である。

【発明を実施するための形態】

【0020】

リアルタイムまたはほぼリアルタイムでデータのキャプチャと送信のコンプライアンスを強制するビデオキャプチャは、個々のユーザ、企業、または国向けのさまざまな用途で必要になる場合がある。このような用途には、検査／プロセスレビュー、サプライヤー品質管理、内部監査、機器またはシステムのトラブルシューティング、工場運営、工場コラボレーション、検証と確認、機器の修理とアップグレード、機器またはシステムのトレーニングが含まれる場合があるが、これらに限定されない。これらの用途では、効率的かつ効果的なコミュニケーションを実現するために、問題の情報またはリアルタイムまたはほぼリアルタイムを含むローカルシーンのビデオをキャプチャし、一方向または双方向で送信する必要がある場合がある。特別なケースとして、データのキャプチャと送信のコンプライアンスは、拡張現実環境で実装される場合がある。ビデオカメラの指向方向は、ユーザの動き（例えば、ヘッドマウントビデオカメラまたはハンドヘルドビデオカメラ）、ユーザ制御の手動マニピュレーター（例えば、ロボットアーム）、または完全に自動化された手動マニピュレーター（例えば、ＡＩ制御のロボットアーム、または半自律型または自律型ロボット）によって連動または制御される。

【0021】

本発明は、顧客の要求、業界規制、国家安全保障、または国固有の法律によって、ある程度のデータのキャプチャ及び送信のコンプライアンスが要求される可能性がある、これらの用途及びその他の同様の用途を対象としている。場合によっては、コンプライアンスのために、シーンの一部または特定のタグが付けられたオブジェクトを、ビデオカメラが表示または送信用に出力するビデオ信号に含めることができないようにする必要があることがある。より厳しい環境では、コンプライアンスのために、シーンの一部またはタグ付けされたオブジェクトをカメラのメモリチップに保存できず、さらにビデオ信号に出力できないことが要求される場合がある。メモリチップは、メモリチップのみの場合もあれば、永続的なメモリを含むビデオディスプレイまたはビデオ送信チップの場合もある。必要なコンプライアンスレベルはさまざまな要因によって決定され、ビデオ信号のキャプチャと表示または送信の間隔、あるいはその最中に変化する可能性がある。

【0022】

本発明は、ビデオカメラのＦＯＶを予測して、許可されていない物体を認識し、ビデオカメラを制御して、許可されないオブジェクトのキャプチャと、ビデオ信号の１つ以上の将来のフレームにそれが含まれることを防ぐ。予測ＦＯＶはまた、許可されるオブジェクトに対しビデオカメラのアライメント条件を強制するためにも使用できる。キューを使用して、ビデオカメラの指向方向の修正を促し、許可されないオブジェクトのキャプチャを発生前に防ぐ、またはアライメント条件が失われる前にそれを強制することができる。キューによって修正措置が取られなかった場合、ビデオカメラは、許可されないオブジェクトのキャプチャを防止するか、アライメント条件の損失を罰するように制御される。その結果、許可されないオブジェクトはビデオ信号に含まれず、したがって下流の回路、処理、またはビデオカメラが接続され得るネットワークに到達しない。これは、ビデオカメラのＲＯＩＣとメモリチップの間に遅延ラインまたは一時メモリチップを配置することで、リアルタイムまたはほぼリアルタイムで、あるいは用途がそのようなパフォーマンスを要求しない場合はそれより遅い速度で実装できる。たとえば、ほとんどのユーザにとって許容できる最も遅いビデオフレームレートは約２４フレーム／秒（ｆｐｓ）、つまり約４２ミリ秒（ｍｓ）である。４２ミリ秒未満の時間遅延は、ほとんどのユーザにとって一般的に許容できる範囲である。高速ビデオカメラは１２０ｆｐｓ、つまり約８ｍｓである。これらのフレームレートでは、１フレームの遅延は確かにリアルタイムである。予測ＦＯＶを利用すると、ビデオ信号内の単一の画像または画像シーケンスに対するデータのキャプチャと送信のコンプライアンスを強制できる。

【0023】

これより図１を参照すると、ある実施形態では、ビデオゴーグルまたはハンドヘルドユニット（タブレットや携帯電話など）などのビデオキャプチャ、ディスプレイ、及び送信デバイス１０には、技術者の動き（たとえば、現場技術者１４がユニットを見ているか、ユニットを指しているか）に連動する指向方向１２がある。デバイス１０には、指向方向１２の周りのセンサのＦＯＶ１８で感知される信号をキャプチャするように構成されたセンサ１６（例えば、３Ｄカメラ、ＬＩＤＡＲ、ソナー）と、指向方向１２の周りのカメラＦＯＶ２２内及びセンサＦＯＶ１８内の光をキャプチャしてビデオ信号を形成するように構成されたビデオカメラ２０（例えば、２Ｄまたは３Ｄ ＣＭＯＳ、ＣＣＤ、またはＳＷＩＲカメラ）が含まれる。センサ（１６）は、ローカルシーンの３Ｄグラウンドトゥルースマップ２４を生成するために使用され、それにおいて特定のオブジェクト２６及び２８が許可されるオブジェクトとして示され、オブジェクト３０及び３２が許可されないオブジェクトとして示される。オブジェクトは、実際のセンサデータとして、またはコンピュータ生成モデルとしてグラウンドトゥルースマップに表される場合がある。

【0024】

この例では、現場技術者１６は、特定のオブジェクトの存在と位置を確認したり、特定のオブジェクトを修理または保守したり、特定のオブジェクトを使用したりするために、製造施設内を移動し得る。これらのオブジェクトは「許可された」オブジェクトとみなされ得る。技術者は、特定のタスク（検証、修理、使用など）を実行するために、指定されたオブジェクトに対する指向方向１２を維持するように促されたり、指示されたりする場合さえもある。現場技術者１６は、「許可された」オブジェクトをキャプチャ、表示、及び送信できる。現場技術者１６は、「許可されていない」オブジェクトをメモリにキャプチャすることはできず、まして表示したり送信したりすることもできない。

【0025】

許可されるオブジェクトまたは許可されないオブジェクトは、用途、ローカルシーン内のオブジェクトの種類、現場技術者、監督者、及びいずれかの遠隔のスタッフの権限、及び除外されるデータと送信のコンプライアンスに適用されるいずれかの特定の制限に応じる場合がある。この情報はデバイスに保存され得る。デバイスは感知した信号を処理してオブジェクトを検出し、位置を特定し、それが許可されるオブジェクトか許可されないオブジェクトかを判断する。ローカルシーンとグラウンドトゥルースマップの背景は、デフォルトで許可されているまたは許可されていないと設定される。グラウンドトゥルースマップに存在しないオブジェクトがシーン内に移動すると、識別されて許可とマークされるまで、そのオブジェクトは適切に許可されない。同様に、認識されないオブジェクトは、識別されて許可としてマークされるまで、適切に許可されない。まさにその内容に基づく代わりに、オブジェクトは、他の属性に基づいて定義及び許可されない場合がある。たとえば、ビデオカメラからの距離が近すぎる（＜最低距離）か遠すぎる（＞最大距離）と識別されたいずれかのオブジェクトは、許可されないものとして指定され得る。ビデオカメラまたはローカルシーンに入るオブジェクトの移動速度（速度や加速度など）はオブジェクトとして定義され、その移動速度が最大値を超える場合、許可されないと定義される場合がある。このデバイスは、認識されたオブジェクトをグラウンドトゥルースマップと比較して、同じオブジェクトであるかどうか、許可されているか許可されていないか、及び場所を検証し、オブジェクト認識の精度と信頼性を大幅に向上させる。

【0026】

除外されるデータのキャプチャと送信を防ぐために、ビデオカメラ用の１つ以上の予測カメラＦＯＶ３５を利用して、許可されないオブジェクトを認識し、ビデオカメラを制御して、ビデオ信号が形成されるメモリチップ３４への画像の転送を中断して停止する。たとえば、現在のカメラＦＯＶ２２と１つ以上の予測カメラＦＯＶ３５用の指向方向１２が、許可されるオブジェクト２６が何らかのタスクを実行するためのアライメント条件（たとえば、指向方向が推奨視線（ＬＯＳ）から数度以内）を満たし、いずれの許可されないオブジェクト３０または３２も含まず、ビデオカメラによってキャプチャされた画像はメモリチップ３４に転送され、そこでビデオ信号に形成され、現場技術者に表示されたり、遠隔地に送信されたり（たとえば、ストレージまたは他の遠隔のユーザへの表示）し得る。

【0027】

両方の条件が満たされた場合、デバイスは、許可されるオブジェクトに対するユーザの集中を強化するために、肯定的なキュー（例えば、緑色の「良好」）を生成できる。ユーザの指向方向が許可されるオブジェクトから離れ始めたり、許可されないオブジェクトに向かい始めたりしているが、どちらの条件にもまだ違反していない場合、デバイスは修正措置を実行するためのプロンプトキュー（例えば黄色の「左に移動」）を生成できる。ユーザの指向方向が、アライメント条件に違反する、または許可されないオブジェクトのキャプチャが差し迫っているポイントに変化した場合、デバイスはビデオカメラを制御して許可されないオブジェクトのキャプチャとビデオ信号へそれを含むことを防止するか、カメラを非アクティブ化して割り込みキュー（例えば、赤色の「ビデオカメラを非アクティブ化」）を発行することができる。

【0028】

いずれかの条件に違反した場合、デバイスは、許可されないオブジェクトを含むビデオ信号のキャプチャを防止するようカメラを制御する、またはアライメント条件が満たされないとき「割り込み」３６を発行する。アライメント条件に違反した場合、通常、ビデオカメラの電源を遮断するか、検出器アレイまたはＲＯＩＣの電気化学的最上層を非アクティブにするか、ビデオカメラをまったく別の方向に向けることによって、ビデオカメラをオフにする。許可されないオブジェクトをキャプチャするために移動する違反の場合、これらのオプションに加えて、ビデオカメラを制御して、カメラＦＯＶを光学的に狭めたり、カメラＦＯＶの一部を選択的にぼかしたり（例えば、ｆ／＃の変更）、ローカルシーンの照明を変更してセンサを盲目にしたり、許可されないオブジェクトに対応する検出器アレイのピクセルを選択的にオフにしたりぼかしたりすることができる。

【0029】

同じ方法は、ビデオカメラを向ける遠隔ユーザ制御のロボットアームや、視覚システムの一部としてビデオカメラを使用する完全自律型ロボットにも適用できる。ロボットアームの場合、「時間遅延」により、保護されたデータがキャプチャされず、ユーザがいる遠隔のサイトまたはその他の場所に送信されないのを確実にすることができる。完全に自律的なロボットの場合、「時間遅延」により、保護されたデータがロボットによってキャプチャされず使用されない、または、他の場所に送信されないのを確実にすることができる。

【0030】

この方法は、許可されるオブジェクトのみが存在する用途や、許可されないオブジェクトのみが存在するローカルシーンに適用できる。

【0031】

ここで、図２、図３、及び図４を参照すると、ある実施形態では、ビデオキャプチャ及び表示デバイス１００には、ビデオカメラ１０２、センサ１０４、及び割り込みプロセッサ１０６が含まれており、ビデオカメラを制御して、許可されないオブジェクト１３２がビデオ信号にキャプチャされるのを防ぎ、許可されるオブジェクト１３０にアライメント条件を強制する。デバイス１００は、デバイスの指向方向を制御するユーザ、ロボットアーム、ロボットなどの「プラットフォーム」１０７に結合される。

【0032】

センサ１０４には、３Ｄカメラ、ＬＩＤＡＲ、ソナーなどの３Ｄセンサ１２４と、センサＦＯＶ（ＳＦＯＶ）１２８内部の感知された信号を指向方向１１０に沿ってキャプチャし、１つ以上の許可されるオブジェクトまたは許可されないオブジェクトが識別される３次元グラウンドトゥルースマップ１２７を形成するセンサプロセッサ１２６が含まれる。識別されたオブジェクトは、感知された信号またはコンピュータで生成されたモデルによって表され得る。後述するように、センサはカメラのポーズを決定するためにも使用できる。センサ１０４は、ビデオ信号を配信するためにビデオカメラが接続され得るビデオキャプチャ及び表示デバイス１００の下流にあるビデオプロセッサ１４４またはその他いずれかの回路またはネットワークから分離されている。

【0033】

ビデオカメラ１０２は、ローカルシーン内の指向方向１１０にあるカメラの視野（ＣＦＯＶ）１０８内の光をキャプチャする。ビデオカメラには、適切に、電源１１１、ＣＦＯＶ内で光を集める光学系１１２、光を感知して統合し、光子を電子に変換して画像を形成する検出器アレイ１１４、フレームレートで画像シーケンスを読み出すための増幅器及びＡ／Ｄコンバータを含む読み出し集積回路（ＲＯＩＣ）１１６、及び画像シーケンスを保存してビデオ信号１２０を形成するメモリチップ１１８が含まれる。

【0034】

割り込みプロセッサ１０６は、現在のフレーム１５９のローカルシーン内部のビデオカメラの位置と方向を含むポーズ１５８を決定する。これは、ビデオカメラの６ＤＯＦポーズ（例えば、ｘ、ｙ、ｚ、及びｘ、ｙ、ｚ軸周りの回転）を測定するジャイロスコープ１５０を使用するか、または現在のフレームのセンサＦＯＶ１２８で感知された信号をグラウンドトゥルースマップ１２７と照合することによって行うことができる。割り込みプロセッサ１０６は、現在のフレームのポーズと、モーションセンサ１５２によって得られるビデオカメラの速度と加速度の測定値、適切には６ＤＯＦから、１つ以上の将来のフレーム１６３の予測ポーズ１６０と予測ＦＯＶ（ＰＦＯＶ）１６２を計算する。割り込みプロセッサ１０６は、１つ以上の予測ＦＯＶ１６２をグラウンドトゥルースマップと比較して、許可されないオブジェクト１３２と、許可される可能性のあるオブジェクト１３０を認識して特定する。

【0035】

システムの予測的な性質により、割り込みプロセッサ１０６は、ビデオカメラを制御したりオフにしたりすることなく、ビデオカメラの指向方向を変更して、許可されないオブジェクトのキャプチャと、ビデオ信号の１つ以上の将来のフレームにそれが含まれることを防ぐためのキュー１４０を生成することができる。キュー１４０は、ビデオカメラが許可されないオブジェクトに向かって移動するのを、それが発生する前に阻止するように構成される。キューを生成した後、割り込みプロセッサは１つ以上の予測ＦＯＶを更新し、更新された予測ＦＯＶに許可されないオブジェクトが含まれているかどうか決定する。キューが更新された予測ＦＯＶでの許可されないオブジェクトのキャプチャを防げない場合、割り込みプロセッサ１０６は割り込み１３６を発行してビデオを制御し、許可されないオブジェクトのキャプチャとそれがビデオ信号に含まれることを防ぐ。

【0036】

ビデオカメラが許可されるオブジェクト１３０についてトレーニングされており、許可されないオブジェクト１３２から離れている場合、割り込みプロセッサ１０６は、カメラの現在及び予測される指向方向が、許可されるオブジェクトの１つに対するアライメント条件を満たしているかどうかを判定する。そうでない場合、システムはビデオカメラの指向方向を変更してアライメント条件を強制するキュー１４０を生成する。キューがアライメント条件を強制できない場合、ビデオカメラは非アクティブになる。アライメント条件が失われることは、必ずしもカメラが許可されないオブジェクトをキャプチャすることを意味するわけではない。ただし、ビデオカメラが許可されるオブジェクトから外れ、キューで問題を修正できない場合は、少なくとも一時的にビデオカメラをオフにすると、プラットフォームが許可されるオブジェクトに対して適切なアライメントを維持し、手元のタスクを実行するようにトレーニングするのに効果的である。ローカルまたは遠隔のユーザまたはロボットをより効果的にトレーニングするために、ビデオカメラをオフにする時間の長さは変更できる。

【0037】

さまざまな実施形態では、オブジェクトはコンテンツのみに基づくのではなく、他の属性に基づいて定義及び禁止される場合がある。たとえば、ビデオカメラからの距離が近すぎるまたは遠すぎると識別されたいずれかのオブジェクトは、許可されないものとして指定される場合がある。ビデオカメラの移動速度（速度及び加速度など）は、その移動速度が最大値を超える場合、オブジェクトと定義され許可されない場合がある。

【0038】

ビデオプロセッサ１４４は、ビデオ信号１２０を処理して、ディスプレイ１４８または送信用のビデオ出力信号１４６を形成する。許可されないオブジェクトが検出されない場合、ビデオ出力信号１４６は通常のビデオ信号になる。割り込みが発行された場合、ビデオ出力信号１４６は、電源が中断された場合にはビデオ信号を受信しない可能性があり、ＲＯＩＣが非アクティブ化された場合には空白またはノイズの多いビデオ信号を受信する可能性があり、または、許可されないオブジェクトに対応するピクセルが削除または隠されたビデオ信号を受信する可能性がある。

【0039】

これより図５を参照すると、ビデオカメラの６ＤＯＦポーズを決定する１つの方法は、ビデオカメラ２０４と指向方向２０２を共有するセンサ２００を使用することである。この例に示すように、一対の３Ｄセンサ２０２がビデオカメラ２０４の両側に配置され、カメラＦＯＶ２０８を囲み、それとアライメントされたセンサＦＯＶ２０６を設ける。ビデオカメラ２０４の動作及び制御中に、センサ２０２は３Ｄ感知信号をキャプチャし、センサＦＯＶ２０６に自己生成マップ２１０を形成する。割り込みプロセッサは、３Ｄ感知信号を３Ｄグラウンドトゥルースマップ２１２（同じセンサによって生成される）と照合して、ビデオカメラの現在のフレームのポーズ２１４を決定する。同時位置推定及びマッピング（ＳＬＡＭ）アルゴリズム（または同様のもの）を使用して自己に位置特定する可能性があり、その後、自己生成マップ２１０を参照してグラウンドトゥルースマップ２１２とアライメントし、正確な位置と方向を決定する。

【0040】

ＡＲ環境では、ビデオカメラの指向方向は現場技術者の動き（ゴーグルの場合は技術者の頭、ハンドヘルドユニットの場合は手など）に連動する。ビデオ信号は、技術者から腕の長さの距離にあるローカルシーン内のオブジェクトのＦＯＶ内でキャプチャされる。技術者は、遠隔地の専門家からオブジェクトの操作のための手振りを受信し、それを登録してビデオ信号に重ね合わせ、ユーザにオブジェクトの操作を指示する拡張現実を作成する。さまざまな実装形態では、専門家が技術者のビデオカメラによってキャプチャされ、遠隔地の現場にリアルタイムで送信されたビデオ信号を表示して応答するとき、専門家がオブジェクトのレプリカとリアルタイムで対話するとき、または専門家がビデオに応答するかオブジェクトのレプリカと対話することによってオフラインで「定型」の指示を生成するときに、ハンドジェスチャーが提供される。

【0041】

懸念されるのは、技術者が意図的または無意識的に対象のオブジェクトから目をそらし、キャプチャまたは送信すべきではないシーンまたはオブジェクトの別の部分のビデオをキャプチャしてしまう可能性があることである。本発明は、技術者／顧客／マスター（「ユーザ」）の制御下で、かような制約のあるＡＲ環境においてビデオカメラを自動的に制御し、技術者にオブジェクトの操作を指示するＡＲオーバーレイに干渉することなく、データのキャプチャ及び送信のコンプライアンスのためにシーンの一部を除外するシステム及び方法を提供する。

【0042】

図６及び７を参照すると、ＡＲシステム３１０の実施形態には、ビデオゴーグルまたはハンドヘルドユニット（タブレットや携帯電話など）などのビデオキャプチャ、ディスプレイ、及び送信デバイス３１２が含まれており、その指向方向３１４は技術者の動き（たとえば、現場技術者３１６がユニットを見ているか、ユニットを指しているか）に連動する。現場技術者３１６は、ローカルシーン３２０内のオブジェクト３１８を操作して、たとえば、オブジェクトの保守を実行したり、オブジェクトの操作方法に関する指示を受信したりする。この例では、オブジェクト３１８はアクセスパネルであり、ローカルシーンにはトラクターが含まれている。アクセスパネルは「許可された」オブジェクトである。説明の便宜上、キャビン３１９は「許可されない」オブジェクトである。

【0043】

デバイス３１２は、感知される信号をキャプチャする３Ｄセンサ３１３（例えば、３Ｄカメラ、ＬＩＤＡＲ、またはソナー）と、ローカルの現場シーン３２０でのオブジェクト３１８の画像をキャプチャし、通信リンク３２８またはネットワークを介してビデオ信号３２６を遠隔のサイト、場合によっては別の国に送信するビデオカメラ３１５を含む。センサ３１３及び感知される信号は、通信リンク３２８またはネットワークから分離される。ビデオ信号３２６は、専門家の手のジェスチャーをキャプチャするためのデバイス３３４を備えたコンピュータワークステーション３３２上の専門家３３０に提示される。専門家３３０は、ビデオ内のオブジェクトを手（またはツールを介して）で操作してタスクを実行する。デバイス３３４は手のジェスチャーをキャプチャし、アニメーション化された手のジェスチャー３３６に変換して通信リンク３２８を介してユーザ３１６に送信し、ディスプレイに登録されてオーバーレイされる。専門家３３０は、ＡＲ環境をサポートするために、手のジェスチャーに加えて、またはその代わりに、音声、テキスト、またはその他のメディアの形式で指示を提供する場合がある。ＡＲ環境自体は、遠隔及びローカルコンピュータシステム３３２、３１２及びサーバ３４６上のアプリケーションソフトウェア３４０と設定ファイル３４２及び３４４を使用して実装される。

【0044】

本発明によれば、ＡＲシステムまたは方法は、ローカルビデオキャプチャ及び表示デバイス３１２の指向方向３１４が、許可されるオブジェクト３１８に対するアライメント条件３５０を満たしているかどうかを判定する。アライメント条件３５０は、カメラの指向方向３１４を許可されるオブジェクトへの視線（ＬＯＳ）３５５に関連付ける。両者は、許可されるオブジェクト３１８に対する角度または距離として与えられた、指定されたずれ３５７を維持する必要がある。ずれ３５７は、例えばプラスまたはマイナス５度に固定され、ユーザによって設定される。

【0045】

１つ以上の技術者／顧客、マスター、または専門家のキーコード３６０は、技術者／マスター／専門家を識別し、許可されるオブジェクトのペアリングを定義し、アライメント条件３５０を定義する許容値を指定するために使用され得る。キーコードにより、現場技術者／顧客／マスターまたは専門家がビデオカメラを制御し、現場技術者が顧客または国のポリシーまたは法的要件に違反するデータを現場でキャプチャ及び／または送信するのを防ぐことができる。キーコードにより、コードの所有者は、たとえばＧＵＩを介して、許可されるかまたは許可されないオブジェクトを指定したり、特定のローカルシーンまたはタスクに対してそれらの選択を事前にロードしたりすることができる。アライメント条件を確立するために、ユーザは２４インチの距離を指定することができ、これにより、許可されるオブジェクトまでのＬＯＳを中心に半径２４インチの円が作成される。あるいは、ユーザは、指向方向に対してプラス／マイナス５度のずれを指定することもでき、これにより、公称アーム長の作業距離に対して、たとえば半径１２インチの円が作成される可能性がある。距離または角度を指定する代わりに、またはそれに加えて、ユーザは、アライメント条件の外側の境界または許容値を定義する、許可されるオブジェクトの周囲に、シーン内の追加のマーカー（許可されないオブジェクト）を指定して配置することができる。ビデオキャプチャ及び表示デバイス３１２をアクティブ化するには、少なくとも識別された許可されるオブジェクトとのペアリングが成功する必要がある。準拠していないデータが遠隔地で送受信されないようにするために、専門家が管理する別のキーコードが遠隔地の現場技術者に提供される場合がある。このキーコードは、現場技術者のＡＲシステムで強制される。距離に加えて、キーコードには、許可されるかまたは許可されない形状の既知のセットが事前に入力される場合もある。

【0046】

３Ｄセンサ３１３は、センサＦＯＶ３５４内部で感知された信号をキャプチャし、許可されるオブジェクト３１８と許可されないオブジェクト３１９が示され、特定されている３Ｄグラウンドトゥルースマップを生成する。ビデオカメラ３１５は、カメラＦＯＶ３５６内の光をキャプチャし、その光は読み出されてメモリチップに画像として保存され、そこで画像がビデオ信号に形成される。割り込みプロセッサは、現在のフレームのビデオカメラのポーズを更新し、将来のフレームの１つ以上の予測カメラＦＯＶ３６１の予測ポーズ３５９を計算し、それらの予測カメラＦＯＶをグラウンドトゥルースマップと比較して、許可される３１８または許可されない３１９オブジェクトを認識及び特定する。割り込みプロセッサは、検出された感知される信号またはジャイロスコープの測定値などを使用して、指向方向３１４が許可されるオブジェクト３１８に対するアライメント条件３５０を満たしているかどうか、及びビデオカメラのＦＯＶ３５６または予測カメラＦＯＶ３６１が許可されないオブジェクト３１９を含んでいるかどうか、またはすぐに含むかどうかを決定する。

【0047】

許可されるオブジェクト３１８へのアライメント条件の満足に関しては、技術者が許可されるオブジェクト３１８の方向を見ている限り、許可されるオブジェクトはカメラのＦＯＶ３５６にキャプチャされ、アライメント条件が満たされ（緑色の「良好」）、それによりカメラが画像をキャプチャしてビデオ信号を形成できるようになる。技術者の目（カメラ）がさまよい始めると、許可されるオブジェクトはアライメント条件３５０の端（黄色の「左に修正」または「右に修正」）に近づき、技術者が許可されるオブジェクト３１８と手元のタスクに集中し続けるように促すキュー（音声、ビデオ、振動）が発行される。カメラは有効なままで、ビデオは送信及び表示のためにキャプチャされる。技術者のＬＯＳがあまりにも遠くまでさまよっている場合、予測カメラＦＯＶ３６１は許可されるオブジェクト３１８とのペアリングを失い、それによってアライメント条件３５０に違反し、ビデオカメラが無効になり、キュー（赤、「カメラを非アクティブ化」）が発せられる。ビデオカメラが無効になっている時間の長さを制御して、技術者が許可されるオブジェクトに焦点を合わせ続けるように「訓練」することができる。

【0048】

ビデオ信号における許可されないオブジェクト３１９のキャプチャを防止することに関しては、許可されないオブジェクト３１９が予測カメラＦＯＶ３６１にキャプチャされた場合、同様のキューを発行してビデオカメラを制御する割り込みを発行し得、許可されないオブジェクト３１９を含むいずれかのカメラ画像がメモリチップに転送されず、ビデオ信号に含まれないようにし、これには、ビデオカメラへの電源の遮断、検出器アレイの最上部の電気化学層を無効にする、またはＲＯＩＣの無効化、メモリチップに転送される前の時間遅延画像のダンプまたは編集が含まれる。赤色の「カメラを無効にしてください」などのキューを技術者に発して、技術者に許可されないオブジェクトに関する違反を通知し、技術者にＬＯＳを変更するよう促すことができる。

【0049】

本発明の幾つかの例示的な実施形態が示され説明されたが、当業者は多数の変形例及び代替の実施形態を考えつくであろう。そのような変形例及び代替の実施形態が企図されており、添付の特許請求の範囲に定義されるような本発明の趣旨及び範囲から逸脱することなく作られ得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】