特表 2024-539124 リアルタイム及びほぼリアルタイムのビデオでデータのキャプチャと送信のコンプライアンスを強制する時間遅延

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】リアルタイム及びほぼリアルタイムのビデオでデータのキャプチャと送信のコンプライアンスを強制する時間遅延

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241018BHJP

   G06T 19/00 20110101ALI20241018BHJP

   G06T 7/00 20170101ALI20241018BHJP

   H04N 23/61 20230101ALI20241018BHJP

   H04N 23/695 20230101ALI20241018BHJP

【ＦＩ】

H04N7/18 U

G06T19/00 600

G06T7/00 300

H04N23/61

H04N23/695

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024523576

(86)(22)【出願日】2022-10-19

(85)【翻訳文提出日】2024-06-13

(86)【国際出願番号】 US2022047126

(87)【国際公開番号】W WO2023069511

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】17/507,073

(32)【優先日】2021-10-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】524059674

【氏名又は名称】レイセオン カンパニー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】マヨルガ，アラン

(72)【発明者】

【氏名】コリアンドロ，ジョン エイ．

(72)【発明者】

【氏名】テイシー，マシュー ジェイ．

【テーマコード（参考）】

5B050

5C054

5C122

5L096

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA08

5B050DA01

5B050EA07

5B050EA18

5B050EA26

5B050FA02

5B050FA05

5B050FA10

5C054CA04

5C054CC02

5C054EH00

5C054FA04

5C122EA66

5C122FH11

5C122FH14

5C122FK09

5C122GA24

5L096BA08

5L096CA02

5L096DA01

5L096FA19

5L096FA66

5L096FA69

5L096HA02

5L096HA09

5L096MA03

(57)【要約】

除外されるデータのキャプチャと送信を防ぐために、オブジェクト認識センサとビデオカメラ間の短い時間遅延を利用して、許可されないオブジェクトを認識し、ビデオカメラを制御して、ビデオ信号が形成されるメモリチップへの画像の転送を中断して停止する。時間遅延は、許可されるオブジェクトに対するビデオカメラのアライメント条件を強制するためにも使用できる。時間遅延は、ビデオカメラのＲＯＩＣとメモリチップの間に配置された遅延ラインまたは一時メモリチップを使用して、リアルタイムまたはほぼリアルタイムで実装できる。時間遅延により、除外されるデータがビデオ信号に入り、回路に到達すること、またはメモリチップの下流で処理されることが防止される。

【特許請求の範囲】

【請求項1】

ビデオ信号からローカルシーン内の除外されるデータのキャプチャ及び送信を防止する方法であって、前記方法は、
ビデオカメラを使用して、カメラの視野（ＣＦＯＶ）内の光を前記ローカルシーンの指向方向にキャプチャすることであって、前記ビデオカメラは、光を感知して統合して画像を形成する検出器アレイ、フレームレートで画像シーケンスを読み出す読み出し集積回路（ＲＯＩＣ）、及び前記画像シーケンスを保存して前記ビデオ信号を形成するメモリチップを含む、前記キャプチャすること、及び
前記ビデオ信号を形成する前に、
センサ及びオブジェクト認識プロセッサを使用して、前記ＣＦＯＶ全体に広がる前記指向方向に沿ってセンサＦＯＶ（ＳＦＯＶ）内で感知される信号をキャプチャし、前記感知される信号を処理して前記ＳＦＯＶ内の許可されないオブジェクトを認識して位置を特定すること、
前記感知される信号に対して時間遅延によって前記メモリチップへの画像の保存を遅らせる間に、前記ビデオカメラを使用して前記ＣＦＯＶ内の光をキャプチャすること、及び
前記許可されないオブジェクトの認識に応答して、前記時間遅延の満了前に、前記ビデオカメラを制御して、前記許可されないオブジェクトを含む画像を前記メモリチップに保存すること、及び前記ビデオ信号に含まれることを防ぐことを含む、方法。

【請求項2】

前記センサは、前記ＲＯＩＣフレームレートよりも高いフレームレートで読み出され、許可されないオブジェクトの前記認識に応答して、前記許可されないオブジェクトを含む前記画像の次のフレームを読み出す前に前記ＲＯＩＣを無効にする、請求項１に記載の方法。

【請求項3】

前記ビデオカメラは、前記ＲＯＩＣと前記メモリチップとの間に遅延要素を備え、前記許可されないオブジェクトの認識に応答して、前記遅延要素を制御して、前記許可されないオブジェクトを含む前記時間遅延画像を、これが前記メモリチップに到達する前にダンプする、請求項１に記載の方法。

【請求項4】

前記遅延要素は、前記画像の前記メモリチップへの転送を前記時間遅延によって遅延させる遅延ライン、または前記画像を前記メモリチップに転送する前に前記時間遅延の間保持する一時メモリチップである、請求項３に記載の方法。

【請求項5】

前記ビデオカメラは、前記ＲＯＩＣと前記メモリチップとの間に遅延要素を備え、前記許可されないオブジェクトの認識に応答して、１つ以上の画像が前記メモリチップに保存される前に、前記１つ以上の画像を編集して前記許可されないオブジェクトを隠したり削除したりする、請求項１に記載の方法。

【請求項6】

センサを使用して前記ローカルシーンの３Ｄグラウンドトゥルースマップを生成すること、
前記グラウンドトゥルースマップの１つ以上のオブジェクトを許可されていないものとして識別すること、及び
いずれかの認識された許可されないオブジェクトを前記グラウンドトゥルースマップに対して検証することをさらに含む、請求項１に記載の方法。

【請求項7】

前記センサが、３Ｄビデオカメラ、ＬＩＤＡＲ、またはソナーのうちの１つである、請求項６に記載の方法。

【請求項8】

前記グラウンドトゥルースマップは、前記許可されないオブジェクトのうちの少なくとも１つのコンピュータ生成２Ｄまたは３Ｄモデルを含む、請求項６に記載の方法。

【請求項9】

認識されたオブジェクトが前記ビデオカメラまでの最小距離よりも短いか、または前記ビデオカメラまでの最大距離よりも長い場合、それが許可されないオブジェクトとして認識される、請求項１に記載の方法。

【請求項10】

前記ローカルシーンに入るオブジェクトの動きの速度、または前記ローカルシーンに対する前記ビデオカメラの動きの速度を測定すること、及び
前記測定された動きの速度が最大値を超えた場合、前記ビデオカメラが非アクティブになることをさらに含む、請求項１に記載の方法。

【請求項11】

前記時間遅延が４２ｍｓ未満である、請求項１に記載の方法。

【請求項12】

前記センサのＦＯＶが前記カメラのＦＯＶよりも大きく、許可されないオブジェクトが前記カメラのＦＯＶに入る前に検出されるバッファゾーンを作成する、請求項１に記載の方法。

【請求項13】

前記バッファゾーン内で許可されないオブジェクトが認識された場合、前記ビデオカメラの指向方向を変更するためのキューを生成して、前記許可されないオブジェクトが前記カメラのＦＯＶに入るのを防ぐようにすることをさらに含む、請求項１２に記載の方法。

【請求項14】

前記センサ及びオブジェクト認識プロセッサを使用して、許可されるオブジェクトを認識して位置を特定すること、
前記カメラの指向方向が、前記許可されるオブジェクトの１つに対するアライメント条件を満たしているかどうかを決定すること、
前記指向方向が前記アライメント条件を満たさない場合、前記アライメント条件を強制するために前記ビデオカメラの指向方向を変更するためのキューを生成すること、及び
前記キューが前記アライメント条件を強制できない場合、前記ビデオカメラを非アクティブにすること、をさらに含む、請求項１に記載の方法。

【請求項15】

３Ｄビデオカメラ、ＬｉＤＡＲ、またはソナーから選択されたセンサを使用して、前記ローカルシーンの３Ｄグラウンドトゥルースマップを生成すること、
前記アライメント条件が強制される前記許可されるオブジェクトのコンピュータ生成の２Ｄまたは３Ｄモデルを提供すること、
前記グラウンドトゥルースマップの１つ以上のオブジェクトを許可されないものとして識別すること、及び
いずれかの認識された許可されないオブジェクトを前記グラウンドトゥルースマップに対して検証すること、をさらに含む、請求項１４に記載の方法。

【請求項16】

前記ビデオカメラの前記指向方向をユーザの動きに連動させること、をさらに含み、
前記キューは、前記アライメント条件を強制するために、前記ユーザの指向方向を変更するように前記ユーザを促す、請求項１４に記載の方法。

【請求項17】

前記ローカルシーンは拡張現実（ＡＲ）環境であり、
前記許可されるオブジェクトに関連する、音声、テキスト、またはビデオメディアの形式での指示を、遠隔地から受信すること、及び
前記指示を前記ビデオ信号に登録し、前記ユーザに拡張現実を表示して、前記ユーザに指示すること、をさらに含む、請求項１６に記載の方法。

【請求項18】

前記ビデオ信号をネットワークに配信すること、及び
前記センサを前記ネットワークから分離すること、をさらに含む、請求項１に記載の方法。

【請求項19】

ビデオ信号からローカルシーン内の除外されるデータのキャプチャ及び送信を防止する方法であって、前記方法は、
ビデオカメラを使用して、カメラの視野（ＣＦＯＶ）内の光を前記ローカルシーンの指向方向にキャプチャすることであって、前記ビデオカメラは、光を感知して統合して画像を形成する検出器アレイ、フレームレートで画像シーケンスを読み出す読み出し集積回路（ＲＯＩＣ）、前記画像シーケンスを保存して前記ビデオ信号を形成するメモリチップ、及び前記ＲＯＩＣと前記メモリチップの間に配置され、時間遅延によって前記画像の保存を遅らせる遅延要素を含む、前記キャプチャすること、
センサ及びオブジェクト認識プロセッサを使用して、前記ＣＦＯＶ全体に広がる前記指向方向に沿ってセンサＦＯＶ（ＳＦＯＶ）内で感知される信号をキャプチャし、前記感知される信号を処理して前記ＳＦＯＶ内の許可されないオブジェクトを認識して位置を特定すること、及び
前記許可されないオブジェクトの認識に応答して、前記時間遅延の満了前に、前記遅延要素を制御して、前記許可されないオブジェクトを含む画像を前記メモリチップに保存すること、及び前記ビデオ信号に含まれることを防ぐことを含む、方法。

【請求項20】

ビデオ信号からローカルシーン内の除外されるデータのキャプチャ及び送信を防止する方法であって、前記方法は、
ビデオカメラを使用して、カメラの視野（ＣＦＯＶ）内の光を前記ローカルシーンの指向方向にキャプチャすることであって、前記ビデオカメラは、光を感知して統合して画像を形成する検出器アレイ、フレームレートで画像シーケンスを読み出す読み出し集積回路（ＲＯＩＣ）、及び前記画像シーケンスを保存して前記ビデオ信号を形成するメモリチップを含む、前記キャプチャすること、及び
前記ビデオ信号を形成する前に、
センサ及びオブジェクト認識プロセッサを使用して、前記ＣＦＯＶ全体に広がる前記指向方向に沿ってセンサＦＯＶ（ＳＦＯＶ）内で感知される信号をキャプチャすること、
前記感知される信号に対して時間遅延によって前記メモリチップへの画像の保存を遅らせる間に、前記ビデオカメラを使用して前記ＣＦＯＶ内の光をキャプチャすること、
前記感知される信号を処理して、前記ＳＦＯＶ内の許可されるオブジェクトと許可されないオブジェクトを認識し、位置を特定すること、
前記ビデオカメラの指向方向が、許可されるオブジェクトに対するアライメント条件を満たしているかどうかを決定すること、
前記ビデオカメラのＣＦＯＶが許可されないオブジェクトを含んでいるかどうかを決定すること、
前記指向方向が前記アライメント条件を満たさない場合、または前記許可されないオブジェクトが認識された場合、及び前記時間遅延の期限が切れる前に、前記ビデオカメラを制御して、画像を前記メモリチップに保存すること、及び前記ビデオ信号に含まれることを防ぐこと、を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

優先権の主張
本特許出願は、参照によりその全体が本明細書に組み込まれる、２０２１年１０月２１日に出願された米国特許出願第１７／５０７，０７３号に対する優先権の利益を主張する。

【背景技術】

【0002】

本発明は、リアルタイムまたはほぼリアルタイムのプライベート、制限的または安全な環境でデータのキャプチャ及び送信のコンプライアンスを強制するためのビデオのキャプチャ及び処理に関する。

【0003】

関連技術の説明
ビデオカメラ技術は今日世界中でいっそう普及している。たとえば、ヘッドマウントカメラ、ロボット制御カメラ、半自律型または自律型ロボット、携帯電話、デスクトップまたはテーブルコンピュータ、ニアアイディスプレイ、ハンドへルドのゲームシステムなどのデバイスには、ビデオのキャプチャ、表示、及び送信を可能にするカメラと関連ソフトウェアが含まれている場合がある。これらのデバイスは、リアルタイムまたはほぼリアルタイムで一方向または双方向のビデオ通信を提供するために使用されている。意図的か非意図的かにかかわらず、キャプチャ、保存、表示、または送信されるべきではないビデオがそのようにされるときに、プライバシーとセキュリティ上の憂慮事項が生じる。個人、企業、または国のプライバシーが、場合によっては違法に、侵害される可能性がある。軍事または企業の独占的な環境または安全な環境といった特定の制限された環境では、どのような視覚情報をキャプチャ、保存、表示、または送信できるかを管理する、厳格な統制が存在している。

【0004】

不要なビデオのキャプチャまたは送信を制限するために、一部の既存のシステムでは、ビデオがキャプチャされたときにそれをモニタする。これらのシステムは、人間による処理、人工知能（ＡＩ）、計算アルゴリズム、またはそれらの組み合わせを使用して、問題の視覚情報（人物の顔または企業の専有情報など）を識別し、次いでビデオファイルデータからその情報を削除または隠蔽する。これらのシステムでは、問題の情報がさらにキャプチャされるのを防ぐために、記録デバイスをシャットオフにすることさえもある。しかし、説明した既存のシステムはすべて、問題の情報をキャプチャ、保存、処理する。問題のデータは保存され（ほんの一時的な場合もあるが）、処理されるため、データ流出のリスクは依然として存在し、そのためこれらのシステムは特定の安全な環境や制限的な環境の要件を満たすことができない。ビデオファイルから情報を削除または隠すために必要な処理により、これらのシステムは、リアルタイムまたはほぼリアルタイムのビデオキャプチャと送信を必要とするアプリケーションと適合性がない。

【0005】

リアルタイムまたはほぼリアルタイムでデータのキャプチャと送信のコンプライアンスを強制するビデオキャプチャは、個々のユーザ、企業、または国向けのさまざまな用途で必要になる場合がある。このような用途には、検査／プロセスレビュー、サプライヤー品質管理、内部監査、機器またはシステムのトラブルシューティング、工場運営、工場での共同作業、検証と確認、機器の修理とアップグレード、機器またはシステムのトレーニングが含まれ得るが、これらに限定されない。これらの用途では、効率的かつ効果的なコミュニケーションを促すために、問題の情報またはリアルタイムまたはほぼリアルタイムを含むローカルシーンのビデオをキャプチャし、一方向または双方向で送信する必要がある場合がある。特別なケースとして、データのキャプチャと送信のコンプライアンスは、拡張現実環境で実装される場合がある。

【0006】

拡張現実（ＡＲ）とは、環境の周囲のオブジェクトに重ねて登録される２次元または３次元（３Ｄ）のビデオグラフィックまたはその他のメディアの生成を指す。固有で簡単に識別できる特徴を持つ人工の「マーカー」、別名「ソース」が、ユーザ、オブジェクト、またはシーンに配置され、さまざまな目的に使用され得る。これらのマーカーは、特定のオブジェクトを識別して位置を特定したり、コンピュータで生成されたメディアの表示をトリガーしたり、ユーザの位置や姿勢を決定したりするために使用されている。

【0007】

遠隔での修理または検査などの特定のビデオまたはＡＲ環境における、主に顧客が抱く、ＦＯＶを最大化するためのビデオカメラ業界の推進によって増大される懸念は、キャプチャされ、送信される、またはローカルで表示されるビデオのユーザ（現場技術者または専門家のいずれかだが、主に現場技術者）が、意図的または非意図的のうちに関心のあるオブジェクトから目をそらし、キャプチャまたは送信されるべきではない、シーンの別の部分のビデオをキャプチャする可能性があるということである。意図しない、または意図的な広範囲のＦＯＶの送信を回避するために、顧客の要求、業界規制、国家安全保障、または国固有の法律により、ある程度のデータのキャプチャ及び送信のコンプライアンスが必要になる場合がある。現在の技術は、ビデオ信号にキャプチャされないように対象のオブジェクトの周囲を布や防水シートで物理的に覆うこと、ＦＯＶを機械的に狭めること、または送信前にビデオを隔離して、セキュリティ認定を受けたドメイン専門家にキャプチャ後のビデオ信号を確認して編集させることを含む。これらは時間のかかる活動である。さらに一般的で、よりコストがかかるのは、現場に無関係な物品が残らないように、問題の機器を空のガレージや格納庫などの特別な安全な場所に移動することである。多くの場合、機器の取り外し、物理的なドレープ、またはキャプチャ後の編集は、コンプライアンス要件を満たすのに十分ではないか、または準リアルタイムのインタラクティブな状況で実装するには非現実的でコストがかかる。状況によっては、国家安全保障やＩＴＡＲ－国際武器取引規則－上の理由により、キャプチャ後のあらゆる種類の編集を防ぐ国の法律が存在する。

【0008】

米国特許第１０，４０３，０４６号（特許文献１）及び第１０，６７９，４２５号（特許文献２）「Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ （ＦＯＶ） ａｎｄ Ｋｅｙ Ｃｏｄｅ Ｌｉｍｉｔｅｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｔｏ Ｅｎｆｏｒｃｅ Ｄａｔａ Ｃａｐｔｕｒｅ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｍｐｌｉａｎｃｅ」は、リアルタイムのインタラクティブな状況で除外されるデータがキャプチャされるのを避けるために、ビデオカメラの指向方向とシーン内のマーカーとの間のアライメント条件を強制することを開示している。これは、例えば、ビデオカメラの指向方向が、ビデオカメラのＦＯＶがマーカーの周りのユーザ定義の許容できるＦＯＶ内にあるように、ローカルシーン内のマーカーに対するアライメント条件を満たしているかどうかを判断することによって実行できる。アライメント条件を満たすために、別のセンサを使用してセンサのＦＯＶ内でのマーカーの存在を検出することができる。カメラまたはセンサのＦＯＶを縮小してバッファゾーンを作成し、カメラのＦＯＶが許容できるＦＯＶの外に出ないようにさらに保証することができる。アライメント条件が満たされない場合、ビデオカメラは、ユーザ定義の許容できるＦＯＶの外側にあるカメラＦＯＶの少なくとも一部をビデオ信号内のキャプチャから除外するように制御される。たとえば、これはビデオカメラの電源をオフにするか、ＦＯＶを狭めることによって実行できる。マーカーは、シーンの特に微妙な領域の画像がキャプチャまたは送信されないのを確実にするためのフェイルセーフとしても使用できる。別のセンサがこれらのマーカーを検出すると、ビデオカメラはシャットダウンされる。システムは、例えば「緑」はアライメント条件が満たされていることを意味し、「黄色」は技術者の目がさまよい始めていることを意味し、「赤」はアライメント条件に違反しておりカメラが無効になっていることを意味するなど、ユーザに合図する場合がある。このシステムでは、位置合わせ条件を強制し、微妙な領域内の他のマーカーを検出するために別のセンサを使用することで、特に、シーンの一部またはタグ付けされたオブジェクトがビデオカメラ自体でキャプチャ（検出）できず、さらにビデオ信号に出力できないことがコンプライアンスで要求される、より厳格な環境や、リアルタイムまたは準リアルタイムのインタラクションが要求される環境向けに設計されている。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】米国特許第１０，４０３，０４６号

【特許文献2】米国特許第１０，６７９，４２５号

【発明の概要】

【0010】

以下は、本発明のいくつかの態様の基本的な理解を提供するための、本発明の概要である。この要約は、本発明の重要または重大な要素を特定すること、または本発明の範囲を詳細に描写することを意図していない。その唯一の目的は、本発明のいくつかの概念を、後で提示される、より詳細な説明及び特許請求の範囲の定義の序文として、簡略化された形で提示することである。

【0011】

本発明は、ビデオ信号を形成する画像を時間遅延して保存する方法を提供し、リアルタイム及びほぼリアルタイムのビデオのデータのキャプチャ及び送信のコンプライアンスの強制を実現する。

【0012】

リアルタイムまたはほぼリアルタイムのビデオのデータのキャプチャ及び送信のコンプライアンスの強化を提供するために、本発明は、オブジェクト認識センサとビデオカメラとの間に短い時間遅延を作成し、許可されないオブジェクトを認識し、ビデオ信号が形成されるメモリチップへの画像の転送を中断して停止するようにビデオカメラを制御する。時間遅延は、許可されるオブジェクトに対するビデオカメラのアライメント条件を強制するためにも使用できる。時間遅延は、ビデオカメラのＲＯＩＣとメモリチップの間に配置された遅延ライン（回路）または一時メモリチップを使用して実装できる。

【0013】

一実施形態では、ビデオカメラを使用して、ローカルシーン内の指向方向にあるカメラの視野（ＣＦＯＶ）内の光をキャプチャする。ビデオカメラには、光を感知して統合し画像を形成する検出器アレイ、フレームレートで画像シーケンスを読み出す読み出し集積回路（ＲＯＩＣ）、及び画像シーケンスを保存してビデオ信号を形成するメモリチップが含まれている。ビデオ信号を形成する前に、センサ（２次元または３次元カメラ、ＬｉｄａｒまたはＳｏｎａｒ）とオブジェクト認識プロセッサが、ＣＦＯＶ全体に広がる指向方向に沿ってセンサのＦＯＶ（ＳＦＯＶ）内で感知される信号をキャプチャし、感知される信号を処理してＳＦＯＶ内の許可されないオブジェクトを認識して位置を特定する。ビデオカメラは、感知される信号に対する時間遅延によってメモリチップへの画像の保存を遅らせながら、ＣＦＯＶ内の光をキャプチャする。許可されないオブジェクトが認識され、時間遅延が満了する前に、ビデオカメラは、許可されないオブジェクトを含む画像がメモリチップに保存されること、及びビデオ信号に含まれることを防ぐように制御される。

【0014】

さまざまな実施形態では、ビデオカメラは、ＲＯＩＣとメモリチップの間に配置された遅延要素を含む（たとえば、メモリチップへの画像の転送を遅らせる遅延ラインまたは回路、またはメモリチップにそれらを転送する前に時間遅延の間画像を保持する一時メモリチップ）。一時メモリチップは画像を保持せず、画像を保存、表示、または送信する可能性のあるいずれかの他のハードウェアから分離されている。許可されないオブジェクトの認識に応答して、遅延要素は、画像（複数可）がメモリチップに到達する前に、許可されないオブジェクトを含む時間遅延画像（複数可）をダンプするように制御される。別の実施形態では、ＲＯＩＣはビデオカメラよりも高いフレームレートを有する。許可されないオブジェクトが認識された場合、次のフレームを読み出す前にＲＯＩＣが無効になる。または、ビデオカメラ全体の電源が遮断され、ビデオカメラが非アクティブまたは無効になり得る。あるいは、ビデオカメラの指向方向を制御して、許可されないオブジェクトから目をそらすようにすることもできる。その結果、許可されないオブジェクトはビデオ信号に含まれず、したがって下流の回路、処理、またはビデオカメラが接続されているネットワークに到達しない。

【0015】

実施形態では、センサは、１つ以上のオブジェクトが許可されていないか、または許可されている可能性があると示されるローカルシーンの３Ｄグラウンドトゥルースマップを生成するために使用される。いずれかの認識されたオブジェクトはグラウンドトゥルースマップと比較され、その存在、位置、許可されるまたは許可されない指定が検証される。マップには、許可されているオブジェクトまたは許可されないオブジェクトの２Ｄまたは３Ｄモデルが追加されることがある。

【0016】

さまざまな実施形態では、オブジェクトはコンテンツのみに基づくのではなく、他の属性に基づいて定義及び禁止される場合がある。たとえば、ビデオカメラからの距離が近すぎるまたは遠すぎると識別されたいずれかのオブジェクトは、許可されないものとして指定される場合がある。シーン内のオブジェクトの移動速度（速度や加速度など）は、その移動速度が最大値を超える場合、許可されないと定義される場合がある。さらに、ビデオカメラ自体の動きの速度は、動きの速度が最大値を超える場合、許可されないオブジェクトとして定義されることがある。

【0017】

さまざまな実施形態では、ビデオカメラの指向方向は、ユーザの動き（例えば、ヘッドマウントビデオカメラ）、ユーザ制御の手動マニピュレーター（例えば、ロボットアーム）、または完全に自動化された手動マニピュレーター（例えば、ＡＩ制御のロボットアーム、または半自律型または自律型ロボット）によって連動または制御される。

【0018】

実施形態では、センサのＦＯＶはカメラのＦＯＶよりも大きく、カメラのＦＯＶの周囲にバッファゾーンを作成しており、それにおいて、カメラのＦＯＶに入る前に許可されないオブジェクトが検出できる。バッファゾーン内で許可されないオブジェクトが認識された場合、ビデオカメラの指向方向を変更するためのキューを生成して、許可されないオブジェクトがカメラのＦＯＶに入るのを防ぐようにすることができる。たとえば、許可されないオブジェクトをキャプチャする前に、ユーザの頭部を許可されないオブジェクトから逸らすように、オーディオまたはビデオのキューがユーザに提示される場合がある。同様に、ロボットアームのユーザに対して、許可されないオブジェクトをキャプチャする前にカメラを逸らすようにキューを提示することもできる。完全に自動化されたシステムでは、キューがシステムを無効にし、カメラが別の方向に向くようにし得る。

【0019】

異なる実施形態では、ビデオカメラは許可されるオブジェクトについてトレーニングされ、許可されないオブジェクトからは遠ざけられる。センサとオブジェクト認識プロセッサは、許可されるオブジェクトを認識して位置を特定する。システムは、カメラの指向方向が、許可されるオブジェクトの１つに対するアライメント条件を満たしているかどうかを決定する。そうでない場合、システムはビデオカメラの指向方向を変更してアライメント条件を強制するキューを生成する。キューがアライメント条件を強制できない場合、ビデオカメラは非アクティブになる。グラウンドトゥルースマップは、認識された許可されるオブジェクトを検証するために使用できる。

【0020】

本発明のこれら及び他の特徴及び利点は、添付の図面と併せた、好ましい実施形態の次の詳細な説明から当業者に明らかとなろう。

【図面の簡単な説明】

【0021】

【図1】ビデオ信号を形成するカメラ画像を時間遅延して保存することにより、リアルタイム及びほぼリアルタイムのビデオのデータのキャプチャ及び送信のコンプライアンスの強制を実現するシステムの図である。

【図2】リアルタイム及びほぼリアルタイムのビデオのデータのキャプチャ及び送信のコンプライアンスを強制するビデオキャプチャ、ディスプレイ及び送信デバイスの実施形態のブロック図である。

【図3A】ビデオカメラとセンサのＦＯＶが同等であり、感知される信号に対するカメラ画像の時間遅延された記憶のみに依存して、データのキャプチャ及び送信のコンプライアンスを強制する実施形態の図である。

【図3B】ビデオカメラとセンサのＦＯＶが同等であり、感知される信号に対するカメラ画像の時間遅延された記憶のみに依存して、データのキャプチャ及び送信のコンプライアンスを強制する実施形態の図である。

【図4】センサ信号に対するキャプチャされたビデオ信号の時間遅延と、ビデオ信号内の許可されないオブジェクトのキャプチャを防止するための割り込みとを示すタイミング図である。

【図5A】感知される信号に対するカメラ画像の時間遅延された記憶とバッファ領域の両方に依存して、センサのＦＯＶがビデオカメラＦＯＶの周囲にバッファ領域を提供し、データのキャプチャ及び送信のコンプライアンスをキュー及び強制する実施形態の図である。

【図5B】感知される信号に対するカメラ画像の時間遅延された記憶とバッファ領域の両方に依存して、センサのＦＯＶがビデオカメラＦＯＶの周囲にバッファ領域を提供し、データのキャプチャ及び送信のコンプライアンスをキュー及び強制する実施形態の図である。

【図6】ビデオ信号を形成するカメラ画像の時間遅延された記憶を使用して、許可されるオブジェクトにアライメント条件を強制し、許可されないオブジェクトのキャプチャを防止する拡張現実（ＡＲ）システムの実施形態の図である。

【図7】ビデオ信号を形成するカメラ画像の時間遅延された記憶を使用して、許可されるオブジェクトにアライメント条件を強制し、許可されないオブジェクトのキャプチャを防止する拡張現実（ＡＲ）システムの実施形態の図である。

【発明を実施するための形態】

【0022】

リアルタイムまたはほぼリアルタイムでデータのキャプチャと送信のコンプライアンスを強制するビデオキャプチャは、個々のユーザ、企業、または国向けのさまざまな用途で必要になる場合がある。このような用途には、検査／プロセスレビュー、サプライヤー品質管理、内部監査、機器またはシステムのトラブルシューティング、工場運営、工場コラボレーション、検証と確認、機器の修理とアップグレード、機器またはシステムのトレーニングが含まれる場合があるが、これらに限定されない。これらの用途では、効率的かつ効果的なコミュニケーションを実現するために、問題の情報またはリアルタイムまたはほぼリアルタイムを含むローカルシーンのビデオをキャプチャし、一方向または双方向で送信する必要がある場合がある。特別なケースとして、データのキャプチャと送信のコンプライアンスは、拡張現実環境で実装される場合がある。ビデオカメラの指向方向は、ユーザの動き（例えば、ヘッドマウントビデオカメラまたはハンドヘルドビデオカメラ）、ユーザ制御の手動マニピュレーター（例えば、ロボットアーム）、または完全に自動化された手動マニピュレーター（例えば、ＡＩ制御のロボットアーム、または半自律型または自律型ロボット）によって連動または制御される。

【0023】

本発明は、顧客の要求、業界規制、国家安全保障、または国固有の法律によって、ある程度のデータのキャプチャ及び送信のコンプライアンスが要求される可能性がある、これらの用途及びその他の同様の用途を対象としている。場合によっては、コンプライアンスのために、シーンの一部または特定のタグが付けられたオブジェクトを、ビデオカメラが表示または送信用に出力するビデオ信号に含めることができないようにする必要があることがある。より厳しい環境では、コンプライアンスのために、シーンの一部またはタグ付けされたオブジェクトをカメラのメモリチップに保存できず、さらにビデオ信号に出力できないことが要求される場合がある。メモリチップは、メモリチップのみの場合もあれば、メモリを含むビデオディスプレイまたはビデオ送信チップの場合もある。必要なコンプライアンスレベルはさまざまな要因によって決定され、ビデオ信号のキャプチャと表示または送信の間隔、あるいはその最中に変化する可能性がある。

【0024】

除外されるデータのキャプチャと送信を防ぐために、オブジェクト認識センサとビデオカメラ間の短い時間遅延を利用して、許可されないオブジェクトを認識し、ビデオカメラを制御して、ビデオ信号が形成されるメモリチップへの画像の転送を中断して停止する。時間遅延は、許可されるオブジェクトに対するビデオカメラのアライメント条件を強制するためにも使用できる。時間遅延は、ビデオカメラのＲＯＩＣとメモリチップの間に遅延ラインまたは一時メモリチップを配置することで、リアルタイムまたはほぼリアルタイムで、あるいは用途がそのようなパフォーマンスを要求しない場合はそれより遅い速度で実装できる。たとえば、ほとんどのユーザにとって許容できる最も遅いビデオフレームレートは約２４フレーム／秒（ｆｐｓ）、つまり約４２ミリ秒（ｍｓ）である。４２ミリ秒未満の時間遅延は、ほとんどのユーザにとって一般的に許容できる範囲である。高速ビデオカメラは１２０ｆｐｓ、つまり約８ｍｓである。これらのフレームレートでは、１フレームの遅延は確かにリアルタイムである。時間遅延を利用すると、ビデオ信号内の単一の画像または画像シーケンスに対するデータのキャプチャと送信のコンプライアンスを強制できる。

【0025】

これより図１を参照すると、ある実施形態では、ビデオゴーグルまたはハンドヘルドユニット（タブレットや携帯電話など）などのビデオキャプチャ、ディスプレイ、及び送信デバイス１０には、技術者の動き（たとえば、現場技術者１４がユニットを見ているか、ユニットを指しているか）に連動する指向方向１２がある。デバイス１０には、オブジェクトを認識して位置を特定するために、指向方向１２の周りのセンサのＦＯＶ１８で感知される信号をキャプチャするように構成されたセンサ１６（例えば、３Ｄカメラ、ＬＩＤＡＲ、ソナー）と、指向方向１２の周りのカメラＦＯＶ２２内及びセンサのＦＯＶ１８内の光をキャプチャしてビデオ信号を形成するように構成されたビデオカメラ２０（例えば、２Ｄまたは３Ｄ ＣＭＯＳ、ＣＣＤ、またはＳＷＩＲカメラ）が含まれる。

【0026】

この例では、現場技術者１４は、特定のオブジェクトの存在と位置を確認したり、特定のオブジェクトを修理または保守したり、特定のオブジェクトを使用したりするために、製造施設内を移動し得る。これらのオブジェクトは「許可された」オブジェクトとみなされ得る。技術者は、特定のタスク（検証、修理、使用など）を実行するために、指定されたオブジェクトに対する指向方向１２を維持するように促されたり、指示されたりする場合さえもある。現場技術者１４は、「許可された」オブジェクトをキャプチャ、表示、及び送信できる。現場技術者１４は、「許可されていない」オブジェクトをメモリにキャプチャすることはできず、まして表示したり送信したりすることもできない。

【0027】

許可されるオブジェクトまたは許可されないオブジェクトは、用途、ローカルシーン内のオブジェクトの種類、現場技術者、監督者、及びいずれかの遠隔のスタッフの権限、及び除外されるデータと送信のコンプライアンスに適用されるいずれかの特定の制限に応じる場合がある。この情報はデバイスに保存され得る。デバイスは感知した信号を処理してオブジェクトを検出し、位置を特定し、それが許可されるオブジェクトか許可されないオブジェクトかを判断する。オブジェクト認識プロセスの効率と精度は、特定のオブジェクト２６と２８が許可されていると示され、特定のオブジェクト３０と３２が許可されていないと示されたセンサ１６を使用して形成された３Ｄグラウンドトゥルースマップ２４をこれに追加することによって向上できる。オブジェクトは、実際のセンサデータとして、または２Ｄまたは３Ｄのコンピュータ生成モデルとしてグラウンドトゥルースマップに表される場合がある。ローカルシーンとグラウンドトゥルースマップの背景は、デフォルトで許可されているまたは許可されていないと設定される。グラウンドトゥルースマップに存在しないオブジェクトがシーン内に移動すると、識別されて許可とマークされるまで、そのオブジェクトは適切に許可されない。同様に、認識されないオブジェクトは、識別されて許可としてマークされるまで、適切に許可されない。まさにその内容に基づく代わりに、オブジェクトは、他の属性に基づいて定義及び許可されない場合がある。たとえば、ビデオカメラからの距離が近すぎる（＜最低距離）か遠すぎる（＞最大距離）と識別されたいずれかのオブジェクトは、許可されないものとして指定され得る。ビデオカメラの移動速度（速度及び加速度など）は、その移動速度が最大値を超える場合、オブジェクトと定義され許可されない場合がある。このデバイスは、認識されたオブジェクトをグラウンドトゥルースマップと比較して、同じオブジェクトであるかどうか、許可されているか許可されていないか、及び場所を検証し、オブジェクト認識の精度と信頼性を大幅に向上させる。

【0028】

除外されるデータのキャプチャと送信を防ぐために、センサによる感知される信号のキャプチャとビデオカメラによるビデオ信号のキャプチャの間の短い時間遅延を利用して、許可されないオブジェクトを認識し、ビデオカメラを制御して、ビデオ信号が形成されるメモリチップ３４への画像の転送を中断して停止する。時間遅延は、許可されるオブジェクトに対するビデオカメラのアライメント条件を強制するためにも使用できる。時間遅延は、ビデオカメラのＲＯＩＣとメモリチップ３４の間に遅延ラインまたは一時メモリチップを配置することで、リアルタイムまたはほぼリアルタイムで、あるいは用途がそのようなパフォーマンスを要求しない場合はそれより遅い速度で実装できる。たとえば、ほとんどのユーザにとって許容できる最も遅いビデオフレームレートは約２４フレーム／秒（ｆｐｓ）、つまり約４２ミリ秒（ｍｓ）である。

【0029】

たとえば、指向方向１２が、許可されるオブジェクト２６が何らかのタスクを実行するためのアライメント条件（たとえば、指向方向が推奨視線（ＬＯＳ）から数度以内）を満たし、センサがいずれかの許可されないオブジェクト３０または３２を認識して位置を特定しない場合、ビデオカメラによってキャプチャされた時間遅延画像はメモリチップ３４に転送され、そこでビデオ信号に形成され、現場技術者に表示されたり、遠隔地に送信されたり（たとえば、ストレージまたは他の遠隔のユーザへの表示）し得る。いずれかの条件に違反した場合、ビデオカメラは、画像がメモリチップ３４に転送されるのを中断して停止するように制御され、代わりに画像は「ゴミ箱」３６に転送またはダンプされる。ビデオカメラは、電源を遮断する（つまり、カメラをオフにする）、ＲＯＩＣを非アクティブにする、遅延ラインまたは回路または一時メモリチップから画像をダンプする、または、許可されないオブジェクトの場合には、メモリチップに転送される前に画像を編集して許可されないオブジェクトを削除または隠すことにより制御できる。ビデオカメラを制御する前、または制御と同時に、現場技術者に許可されるオブジェクトに目を向けたり、許可されないオブジェクトから目をそらしたりするように促すキュー（音声、ビデオ、または機械的振動など）を対象にすることができる。キューが成功すれば、それらはビデオカメラは画像のいずれかをダンプ（または編集）する必要がなくなるか、またはいずれかのそのような中断の長さが最小限に抑えられる可能性がある。オブジェクト認識及び決定プロセスは、時間遅延が非常に短く、遅延があってもビデオ信号が実質的にリアルタイムまたはほぼリアルタイムになるように実装できる。

【0030】

同じ方法は、ビデオカメラを向ける遠隔ユーザ制御のロボットアームや、視覚システムの一部としてビデオカメラを使用する完全自律型ロボットにも適用できる。ロボットアームの場合、「時間遅延」により、保護されたデータがキャプチャされず、ユーザがいる遠隔のサイトまたはその他の場所に送信されないのを確実にすることができる。完全に自律的なロボットの場合、「時間遅延」により、保護されたデータがロボットによってキャプチャされず使用されない、または、他の場所に送信されないのを確実にすることができる。

【0031】

この方法は、許可されるオブジェクトのみが存在する用途や、許可されないオブジェクトのみが存在するローカルシーンに適用できる。

【0032】

ここで、図２、図３Ａ～図３Ｂ、及び図４を参照すると、ある実施形態では、ビデオキャプチャ及び表示デバイス１００には、ビデオカメラ１０２、センサ１０４、及び割り込みプロセッサ１０６が含まれており、ビデオカメラを制御して、許可されないオブジェクトがビデオ信号にキャプチャされるのを防ぎ、許可されるオブジェクトにアライメント条件を強制する。デバイス１００は、デバイスの指向方向を制御するユーザ、ロボットアーム、ロボットなどの「プラットフォーム」１０７に結合される。

【0033】

ビデオカメラ１０２は、ローカルシーン内の指向方向１１０にあるカメラの視野（ＣＦＯＶ）１０８内の光をキャプチャする。ビデオカメラには、電源１１１、ＣＦＯＶ内で光を集める光学系１１２、光を感知して統合し、光子を電子に変換して画像を形成する検出器アレイ１１４、フレームレートで画像シーケンスを読み出すための増幅器及びＡ／Ｄコンバータを含む読み出し集積回路（ＲＯＩＣ）１１６、画像シーケンスを保存してビデオ信号１２０を形成するメモリチップ１１８、及びメモリチップ１１８への画像の転送を時間遅延によって遅らせる遅延要素１２２が含まれる。遅延要素１２２は、画像の転送を単に遅延させる遅延ライン（回路）であってもよく、または、画像を時間遅延だけ保持してからメモリチップに転送する一時メモリチップであってもよい。一時メモリチップは他のコンポーネントから物理的に分離されるため、画像を表示したり送信したりすることはできない。一時メモリチップの内容は、メモリチップに転送された後に破棄される。

【0034】

センサ１０４には、３Ｄカメラ、ＬＩＤＡＲ、またはソナーなどの３Ｄセンサ１２４と、ＣＦＯＶ１０８全体に広がる指向方向１１０に沿ったセンサのＦＯＶ（ＳＦＯＶ）１２８内の感知される信号をキャプチャし、感知される信号を処理してＳＦＯＶ内の許可されるオブジェクト１３０と許可されないオブジェクト１３２をそれぞれ認識して位置を特定するオブジェクト認識プロセッサ１２６が含まれる。前述のように、オブジェクト認識プロセッサ１２６は、検出された許可されるオブジェクトまたは許可されないオブジェクトを３Ｄグラウンドトゥルースマップ１２７に対して検証することができる。センサ１０４は、ビデオ信号を配信するためにビデオカメラが接続され得るビデオキャプチャ及び表示デバイス１００の下流にあるビデオプロセッサ１４４またはその他いずれかの回路またはネットワークから分離されている。

【0035】

遅延要素１２２によって課せられた時間遅延が満了する前に、センサからの１つ以上のフレーム１３４で許可されないオブジェクトが認識された場合、割り込みプロセッサ１０６はビデオカメラ１０２に割り込み１３６を発行して、許可されないオブジェクトを含む画像がメモリチップに保存され、ビデオ信号内の後続のフレーム１３８にそれが含まれることを防ぐ。これにより、許可されないオブジェクトがビデオ信号に入り、メモリチップの下流でビデオカメラが接続されている他の回路、処理、またはネットワークに到達するのを防ぐ。割り込み１３６は、ビデオカメラの電源を切断したり、ＲＯＩＣを非アクティブ化したり（たとえば、アンプやＡ／Ｄコンバータを無効にしたり）、画像を編集して許可されないオブジェクトに対応するピクセルを削除するかまたは隠したり、プラットフォーム１０７を制御してビデオカメラの指向方向を変更したりするのに役立ち得る。割り込みプロセッサ１０６は、キュー１４０を発行して、「プラットフォーム」１０７に、許可されないオブジェクトから離れて指向方向を変更するように促すこともできる。プラットフォームがユーザである場合、キューはビデオプロセッサによって処理され、視覚的または音声的なキューがユーザに中継される場合がある。成功した場合、割り込み１３６が削除され得、ビデオカメラが正常に機能できるようになる。失敗した場合、問題が解決されるまで割り込み１３６によってビデオカメラがシャットダウンされることがある。

【0036】

図４に示すように、時間遅延１４２は１つまたは複数のビデオフレーム（Ｎ）であってもよい。フレーム１３４でセンサによって許可されないオブジェクトが検出されてからＮビデオフレーム未満で割り込みが発行される限り、許可されないオブジェクトを含む時間遅延画像は中断され、メモリチップに転送されない。別の実施形態では、遅延要素は省略される。時間遅延は、ビデオカメラのフレームレートを超えるセンサを使用して実装される。センサが出力したフレーム内でオブジェクトが認識されると、ＲＯＩＣは次の画像を読み出す前に非アクティブ化される。

【0037】

ビデオプロセッサ１４４は、ビデオ信号１２０を処理して、ディスプレイ１４８または送信用のビデオ出力信号１４６を形成する。許可されないオブジェクトが検出されない場合、ビデオ出力信号１４６は通常のビデオ信号になる。割り込みが発行された場合、ビデオ出力信号１４６は、電源が中断された場合にはビデオ信号を受信しない可能性があり、ＲＯＩＣが非アクティブ化された場合には空白またはノイズの多いビデオ信号を受信する可能性があり、または、許可されないオブジェクトに対応するピクセルが削除または隠されたビデオ信号を受信する可能性がある。後者の場合、画像はメモリチップに保存された後ではなく、ＲＯＩＣとメモリチップ間でリアルタイムに編集されることに留意することが重要である。

【0038】

センサ１０４は、許可されるオブジェクト１３０を認識して位置を特定し、それらをグラウンドトゥルースマップ１２７と照合するためにも使用できる。割り込みプロセッサ１０６は、カメラの指向方向１１０が許可されるオブジェクト１３０に対するアライメント条件を満たしているかどうかを判定する。たとえば、指向方向１１０は、許可されるオブジェクトに対する意図された視線の＋／－２度以内であるかどうかである。この判定は、例えば、現在のセンサのＦＯＶ１２８をグラウンドトゥルースマップと比較することによって達成できる。あるいは、ジャイロスコープ１５０を使用して、ビデオカメラの６自由度（６ＤＯＦ）のポーズ、たとえばｘ、ｙ、ｚの位置と、ヨー、ピッチ、ロール（ｘ、ｙ、ｚ軸の周りの回転）の方向を追跡することもできる。現在のポーズを許可されるオブジェクトに対する計算されたポーズと比較して、アライメント条件が満たされているかどうかを判断できる。指向方向がアライメント条件を満たさない場合、割り込みプロセッサ１０６は、アライメント条件を強制するためにビデオカメラの指向方向を変更するためのキュー１４０を生成する場合がある。キューがアライメント条件の強制に失敗した場合、割り込みプロセッサ１０６は割り込み１３６を発行してビデオカメラを非アクティブ化する。アライメント条件が失われることは、必ずしもカメラが許可されないオブジェクトをキャプチャすることを意味するわけではない。ただし、ビデオカメラが許可されるオブジェクトから外れ、キューで問題を修正できない場合は、少なくとも一時的にビデオカメラをオフにすると、プラットフォームが許可されるオブジェクトに対して適切なアライメントを維持し、手元のタスクを実行するようにトレーニングするのに効果的である。ローカルまたは遠隔のユーザまたはロボットをより効果的にトレーニングするために、ビデオカメラをオフにする時間の長さは変更できる。

【0039】

ここで図５Ａ及び図５Ｂを参照すると、ある実施形態では、ビデオキャプチャ及び送信デバイス２００が、遠隔のユーザ２０４によって制御されるロボットアーム２０２に取り付けられている。デバイス２００によってキャプチャされたビデオ信号２０６は、通信リンク２０８を介して遠隔のユーザ２０４に送信され、通信リンク２０８を介してロボットアーム２０２に指示を送信し、デバイス２００の位置と向き、つまり「ポーズ」を制御する。デバイス２００には、デバイスの向きによって決まる指向方向のカメラＦＯＶ２１０内の光をキャプチャするビデオカメラが含まれている。センサは、同じ指向方向に沿ってセンサのＦＯＶ２１２内の光をキャプチャする。この実施形態では、センサのＦＯＶ２１２はカメラＦＯＶ２１０よりも大きく、カメラＦＯＶ２１０の両側にバッファゾーン２１４を作成し、デバイスの姿勢がカメラＦＯＶ２１０に入る前に変化すると、許可されないオブジェクトが検出される。これにより、予測的または非因果的な時間遅延が効果的に作成され（既存の時間遅延に加えて）、許可されないオブジェクトがカメラのＦＯＶ内に入る前に割り込みプロセッサが動作できるようになる。バッファゾーン２１４内で許可されないオブジェクト２１６が認識された場合、割り込みプロセッサは、ビデオカメラの指向方向を変更するためのキューを生成して、許可されないオブジェクトがカメラのＦＯＶ２１０に入らないようにする時間がある。キューが成功した場合、潜在的な許可されないオブジェクトが回避されたため、ビデオカメラのそれ以上の制御は必要ない。キューが失敗し、許可されないオブジェクトがカメラのＦＯＶ２１０に入った場合、時間遅延は、割り込みプロセッサがビデオカメラに割り込みを発行して、許可されないオブジェクトを含む画像がメモリチップに到達するのを防ぐのに十分な時間である。予測によって提供される追加時間を考慮すると、割り込みのオプションには、時間遅延について前述したものに加えて、ロボットアームを許可されないオブジェクトから遠ざけるように制御すること、検出器アレイの上部の電気化学層を非アクティブにして光子が電子に変換されないようにすること、光学系を使用してカメラのＦＯＶを狭めるか許可されないオブジェクトを含む領域を選択的にぼかす（たとえば、ｆ／＃を変更して近くのオブジェクトに焦点を合わせ、遠くのオブジェクトをぼかす）こと、シーンの照明を変更してセンサをブラインドにすること、または検出器内の許可されないオブジェクトに対応するピクセルをオフにすることが含まれる。時間遅延とバッファゾーンの組み合わせにより、許可されないオブジェクトの検出を認識して防止する機能、許可されるオブジェクトにアライメント条件を強制する機能、及び個別に接近するビデオカメラを制御するオプションの両方において、より堅牢なソリューションが提供される。

【0040】

ＡＲ環境では、ビデオカメラの指向方向は現場技術者の動き（ゴーグルの場合は技術者の頭、ハンドヘルドユニットの場合は手など）に連動する。ビデオ信号は、技術者から腕の長さの距離にあるローカルシーン内のオブジェクトのＦＯＶ内でキャプチャされる。技術者は、遠隔地の専門家からオブジェクトの操作のための手振りを受信し、それを登録してビデオ信号に重ね合わせ、ユーザにオブジェクトの操作を指示する拡張現実を作成する。さまざまな実装形態では、専門家が技術者のビデオカメラによってキャプチャされ、遠隔地の現場にリアルタイムで送信されたビデオ信号を表示して応答するとき、専門家がオブジェクトのレプリカとリアルタイムで対話するとき、または専門家がビデオに応答するかオブジェクトのレプリカと対話することによってオフラインで「定型」の指示を生成するときに、ハンドジェスチャーが提供される。

【0041】

懸念されるのは、技術者が意図的または無意識的に対象のオブジェクトから目をそらし、キャプチャまたは送信すべきではないシーンまたはオブジェクトの別の部分のビデオをキャプチャしてしまう可能性があることである。本発明は、技術者／顧客／マスター（「ユーザ」）の制御下で、かような制約のあるＡＲ環境においてビデオカメラを自動的に制御し、技術者にオブジェクトの操作を指示するＡＲオーバーレイに干渉することなく、データのキャプチャ及び送信のコンプライアンスのためにシーンの一部を除外するシステム及び方法を提供する。

【0042】

図６及び７を参照すると、ＡＲシステム３１０の実施形態には、ビデオゴーグルまたはハンドヘルドユニット（タブレットや携帯電話など）などのビデオキャプチャ、ディスプレイ、及び送信デバイス３１２が含まれており、その指向方向３１４は技術者の動き（たとえば、現場技術者３１６がユニットを見ているか、ユニットを指しているか）に連動する。現場技術者３１６は、ローカルシーン３２０内のオブジェクト３１８を操作して、たとえば、オブジェクトの保守を実行したり、オブジェクトの操作方法に関する指示を受信したりする。この例では、オブジェクト３１８はアクセスパネルであり、ローカルシーンにはトラクターが含まれている。アクセスパネルは「許可された」オブジェクトである。説明の便宜上、キャビン３１９は「許可されない」オブジェクトである。

【0043】

デバイス３１２は、感知される信号をキャプチャするオブジェクト認識センサ３１３（例えば、３Ｄカメラ、ＬＩＤＡＲ、またはソナー）と、短い時間遅延でローカルの現場シーン３２０でのオブジェクト３１８の画像をキャプチャし、通信リンク３２８またはネットワークを介してビデオ信号３２６を遠隔のサイト、場合によっては別の国に送信するビデオカメラ３１５を含む。センサ３１３及び感知される信号は、通信リンク３２８またはネットワークから分離される。ビデオ信号３２６は、専門家の手のジェスチャーをキャプチャするためのデバイス３３４を備えたコンピュータワークステーション３３２上の専門家３３０に提示される。専門家３３０は、ビデオ内のオブジェクトを手（またはツールを介して）で操作してタスクを実行する。デバイス３３４は手のジェスチャーをキャプチャし、アニメーション化された手のジェスチャー３３６に変換して通信リンク３２８を介してユーザ３１６に送信し、ディスプレイに登録されてオーバーレイされる。専門家３３０は、ＡＲ環境をサポートするために、手のジェスチャーに加えて、またはその代わりに、音声、テキスト、またはその他のメディアの形式で指示を提供する場合がある。ＡＲ環境自体は、遠隔及びローカルコンピュータシステム３３２、３１２及びサーバ３４６上のアプリケーションソフトウェア３４０と設定ファイル３４２及び３４４を使用して実装される。

【0044】

本発明によれば、ＡＲシステムまたは方法は、ローカルビデオキャプチャ及び表示デバイス３１２の指向方向３１４が、許可されるオブジェクト３１８に対するアライメント条件３５０を満たしているかどうかを判定する。アライメント条件３５０は、カメラの指向方向３１４を許可されるオブジェクトへの視線（ＬＯＳ）３５５に関連付ける。両者は、許可されるオブジェクトに対する角度または距離として与えられた、指定されたずれ３５７を維持する必要がある。ずれ３５７は、例えばプラスまたはマイナス５度に固定され、ユーザによって設定される。

【0045】

１つ以上の技術者／顧客、マスター、または専門家のキーコード３６０は、技術者／マスター／専門家を識別し、許可されるオブジェクトのペアリングを定義し、アライメント条件３５０を定義する許容値を指定するために使用され得る。キーコードにより、現場技術者／顧客／マスターまたは専門家がビデオカメラを制御し、現場技術者が顧客または国のポリシーまたは法的要件に違反するデータを現場でキャプチャ及び／または送信するのを防ぐことができる。キーコードにより、コードの所有者は、たとえばＧＵＩを介して、許可されるかまたは許可されないオブジェクトを指定したり、特定のローカルシーンまたはタスクに対してそれらの選択を事前にロードしたりすることができる。アライメント条件を確立するために、ユーザは２４インチの距離を指定することができ、これにより、許可されるオブジェクトまでのＬＯＳを中心に半径２４インチの円が作成される。あるいは、ユーザは、指向方向に対してプラス／マイナス５度のずれを指定することもでき、これにより、公称アーム長の作業距離に対して、たとえば半径１２インチの円が作成される可能性がある。距離または角度を指定する代わりに、またはそれに加えて、ユーザは、アライメント条件の外側の境界または許容値を定義する、許可されるオブジェクトの周囲に、シーン内の追加のマーカー（許可されないオブジェクト）を指定して配置することができる。ビデオキャプチャ及び表示デバイス３１２をアクティブ化するには、少なくとも識別された許可されるオブジェクトとのペアリングが成功する必要がある。準拠していないデータが遠隔地で送受信されないようにするために、専門家が管理する別のキーコードが遠隔地の現場技術者に提供される場合がある。このキーコードは、現場技術者のＡＲシステムで強制される。距離に加えて、キーコードには、許可されるかまたは許可されない形状の既知のセットが事前に入力される場合もある。

【0046】

オブジェクト認識センサ３１３は、カメラＦＯＶ３５６を含み、この例ではそれを超える指向方向３１４に沿ってセンサのＦＯＶ３５４内で感知される信号をキャプチャする。ビデオカメラ３１５は、カメラＦＯＶ３５６内の光をキャプチャし、感知される信号に対する時間遅延によってメモリチップへの画像の保存を遅らせる。オブジェクト認識センサは、感知される信号を処理して、センサのＦＯＶ３５４内の許可されるオブジェクト３１８または許可されないオブジェクト３１９を認識して位置を特定する。割り込みプロセッサは、検出された感知される信号またはジャイロスコープの測定値などを使用して、指向方向３１４が許可されるオブジェクト３１８に対するアライメント条件３５０を満たしているかどうか、及びビデオカメラのＦＯＶ３５６が許可されないオブジェクト３１９をすでに含んでいるかどうか、またはすぐに含まれるかどうかを決定する。

【0047】

許可されるオブジェクト３１８に対するアライメント条件の満足に関しては、技術者が許可されるオブジェクト３１８の方向を見ている限り、許可されるオブジェクトはセンサのＦＯＶ３５４内にキャプチャされ、アライメント条件が満たされ（緑色の「良好」）、それによりカメラはカメラＦＯＶ３５６内に画像をキャプチャすることができる。技術者の目（カメラ）がさまよい始めると、許可されるオブジェクトがアライメント条件３５０の端（黄色の「左に修正」または「右に修正」）に近づき、それにより許可されるオブジェクト３１８と手元のタスクに集中し続けるよう技術者に思い出させるキュー（音声、ビデオ、振動）が発せられる。カメラは有効なままで、ビデオは送信及び表示のためにキャプチャされる。技術者のＬＯＳがあまりにも遠くまで移動した場合、センサのＦＯＶは許可されるオブジェクト３１８とのペアリングを失い、それによってアライメント条件３５０に違反し、ビデオカメラが無効になり、キュー（赤、「カメラを非アクティブ化」）が発せられる。ビデオカメラが無効になっている時間の長さを制御して、技術者が許可されるオブジェクトに焦点を合わせ続けるように「訓練」することができる。

【0048】

ビデオ信号における許可されないオブジェクト３１９のキャプチャを防止することに関しては、許可されないオブジェクト３１９がセンサのＦＯＶ３５４にキャプチャされた場合、ビデオカメラを制御する割り込みが発行され、許可されないオブジェクト３１９を含むいずれかのカメラ画像がメモリチップに転送されず、ビデオ信号に含まれないようにし、これには、ビデオカメラへの電源の遮断、ＲＯＩＣの無効化、メモリチップに転送される前の時間遅延画像のダンプまたは編集が含まれる。赤色の「カメラを無効にしてください」などのキューを技術者に発して、技術者に許可されないオブジェクトに関する違反を通知し、技術者にＬＯＳを変更するよう促すことができる。

【0049】

本発明の幾つかの例示的な実施形態が示され説明されたが、当業者は多数の変形例及び代替の実施形態を考えつくであろう。そのような変形例及び代替の実施形態が企図されており、添付の特許請求の範囲に定義されるような本発明の趣旨及び範囲から逸脱することなく作られ得る。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【国際調査報告】