特許7571435制御パネル及び画面に注釈及びインターフェースを追加する拡張現実アプリケーションのための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】制御パネル及び画面に注釈及びインターフェースを追加する拡張現実アプリケーションのための方法
(51)【国際特許分類】
G06F 3/04815 20220101AFI20241016BHJP
H04N 21/431 20110101ALI20241016BHJP
G06T 19/00 20110101ALI20241016BHJP
【ＦＩ】
G06F3/04815
H04N21/431
G06T19/00 600
【請求項の数】
14
(21)【出願番号】P 2020154637
(22)【出願日】2020-09-15
(65)【公開番号】P2021128743
(43)【公開日】2021-09-02
【審査請求日】2023-08-30
(31)【優先権主張番号】16/786827
(32)【優先日】2020-02-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】スコット カーター
(72)【発明者】
【氏名】ローラン ドゥヌ
【審査官】岩橋 龍太郎
(56)【参考文献】
【文献】特開２０１１－０３４３１５（ＪＰ，Ａ）
【文献】特開２０１５－１７９９４７（ＪＰ，Ａ）
【文献】国際公開第２０１７／１１０６４５（ＷＯ，Ａ１）
【文献】特開２００６－１２６９３６（ＪＰ，Ａ）
【文献】国際公開第２０１６／１８５８４５（ＷＯ，Ａ１）
【文献】特開２０１６－１６７６８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－３／０４８９５
Ｇ０６Ｔ １／００
Ｇ０６Ｔ １１／６０－１３／８０
Ｇ０６Ｔ １７／０５
Ｇ０６Ｔ １９／００／１９／２０
Ｈ０４Ｎ ７／１０
Ｈ０４Ｎ ７／１４－７／１７３
Ｈ０４Ｎ ７／２０－７／５６
Ｈ０４Ｎ ２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
第２の装置上に表示するために第１の装置から受信したビデオを固定表示し、前記第２の装置に固定表示されたビデオの一部分になされた入力に対して、前記第１の装置のディスプレイ上に、前記固定表示されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイを生成すること、
を含み、
前記第１の装置の前記ディスプレイ上に、前記固定表示されたビデオの一部分に対応する前記ＡＲオーバーレイを生成することが、
前記入力に応答して、前記第２の装置の前記ディスプレイ上に前記ＡＲオーバーレイを生成し、
前記ＡＲオーバーレイを前記第１の装置に提供するための指示を受信した場合、前記ＡＲオーバーレイを前記第１の装置に送信して表示すること
を含み、
前記入力が注釈を含み、
前記第１の装置の前記ディスプレイ上に、前記固定表示されたビデオの一部分に対応するＡＲオーバーレイを生成することが、
前記入力の一時停止がタイムアウト閾値を超えた場合、前記入力に対応する注釈を含むビデオクリップを生成し、
前記第１の装置の前記ディスプレイに前記ビデオクリップを提供すること
を含む、方法。
【請求項2】
前記第２の装置上に表示するために前記第１の装置から受信したビデオを固定表示することが、前記ビデオ内の１つ以上のアンカー画像を識別し、
前記識別された１つ以上のアンカー画像に基づいて、二次元表面である対象オブジェクトを決定し、
前記第２の装置での表示のために、前記二次元表面である前記対象オブジェクトに基づいて前記ビデオの遠近補正を実行すること、
を含む、請求項１に記載の方法。
【請求項3】
前記ビデオ内の前記１つ以上のアンカー画像を識別することが、前記ビデオ内の１つ以上の画像と一致する１つ以上のアンカー画像をデータベースで検索することを含む、請求項２に記載の方法。
【請求項4】
前記ビデオ内の前記１つ以上のアンカー画像を識別することが、前記第１の装置から受信した前記ビデオ上の四角形を検出し、
前記検出された四角形の四つの角に対応する二次元ポイントに一致する平面を、ＡＲ空間である三次元空間内に生成し、
前記検出された四角形の前記二次元ポイントに一致する前記三次元空間内の平面を追跡し、
前記第２の装置を介して前記ビデオ内の前記１つ以上のアンカー画像の選択を受信すること、
を含む、請求項２に記載の方法。
【請求項5】
前記第２の装置上に表示するために、前記ビデオ内の前記対象オブジェクトを切り抜くことをさらに含む、請求項２に記載の方法。
【請求項6】
前記対象オブジェクトが表示画面である、請求項２に記載の方法。
【請求項7】
前記第１の装置の前記ディスプレイ上に、前記固定表示されたビデオの一部分に対応する前記ＡＲオーバーレイを生成することは、前記第２の装置で前記固定表示されたビデオの一部分になされた入力に応じてライブで行われる、請求項１に記載の方法。
【請求項8】
前記ビデオ内の１つ以上の手及び指を追跡し、前記第１の装置の前記ディスプレイ上の前記１つ以上の手及び指と重なる前記ＡＲオーバーレイの部分を遮蔽すること、
をさらに含む請求項１に記載の方法。
【請求項9】
前記第２の装置での表示のために前記第１の装置から受信された前記ビデオを固定表示することが、前記第２の装置で前記ディスプレイ上の前記ビデオを一時停止することを含み、前記入力が注釈を含む、請求項１に記載の方法。
【請求項10】
前記第１の装置が置かれていると判断された場合、前記第１の装置の前記ディスプレイで前記ビデオクリップを再生し、前記第１の装置がユーザの手にあると判断された場合、前記ビデオを前記第２の装置に表示するために提供すること、
をさらに含む、請求項１に記載の方法。
【請求項11】
前記ＡＲオーバーレイが、前記第１の装置のカーソルを第１の場所から第２の場所に移動させるための指示を含む、請求項１に記載の方法。
【請求項12】
前記第１の装置による再生のために前記ＡＲオーバーレイを保存することをさらに含む、請求項１に記載の方法。
【請求項13】
第２の装置上に表示するために第１の装置から受信したビデオを固定表示し、前記第２の装置に固定表示されたビデオの一部分になされた入力に対して、前記第１の装置のディスプレイ上に、前記固定表示されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイを生成すること
を含み、
前記入力が注釈を含み、
前記第１の装置の前記ディスプレイ上に、前記固定表示されたビデオの一部分に対応するＡＲオーバーレイを生成することが、
前記入力の一時停止がタイムアウト閾値を超えた場合、前記入力に対応する注釈を含むビデオクリップを生成し、
前記第１の装置の前記ディスプレイに前記ビデオクリップを提供すること
を含む、方法。
【請求項14】
第２の装置上に表示するために第１の装置から受信したビデオを固定表示し、前記第２の装置に固定表示されたビデオの一部分になされた入力に対して、前記第１の装置のディスプレイ上に、前記固定表示されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイをビデオクリップとして生成し、
前記第１の装置が置かれていると判断された場合、前記第１の装置の前記ディスプレイで前記ビデオクリップを再生し、
前記第１の装置がユーザの手にあると判断された場合、前記ビデオを前記第２の装置に表示するために提供すること
を含み、
前記入力が注釈を含み、
前記第１の装置の前記ディスプレイ上に、前記固定表示されたビデオの一部分に対応するＡＲオーバーレイを生成することが、
前記入力の一時停止がタイムアウト閾値を超えた場合、前記入力に対応する注釈を含むビデオクリップを生成し、
前記第１の装置の前記ディスプレイに前記ビデオクリップを提供すること
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、拡張現実（Augmented Reality：ＡＲ）システムに関し、より具体的には、ＡＲにより使用可能な制御パネル及び画面インターフェースを生成するためのシステム及び方法に関する。
【背景技術】
【0002】
関連技術では、ユーザが車両のダッシュボード又はステレオシステムを操作できるようにインターフェースを提供するＡＲアプリケーションが実装されている。他のアプリケーションでは、インターネットブラウジングセッションの際にＡＲを利用してウェブページに、インターネットのナビゲートを支援するためのオーバーレイを追加することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許第９６７９１４４号明細書
【文献】米国特許第１００８９７６９号明細書
【非特許文献】
【0004】
【文献】HENDERSON, S. et al. "Augmented Reality for Maintenance and Repair" Air Force Research Laboratory Human Effectiveness Directorate Warfighter Readiness Research Division Logistics Readiness Branch Wright Patterson AFB OH 45433-7604, ２００７年８月
【文献】PALMARINI, R. et al. "A Systematic Review of Augmented Reality applications in Maintenance" Robotics and Computer-Integrated Manufacturing, ２０１８年２月, pp. 215-228, 49巻
【文献】KLINKER, G. et al. "Augmented maintenance of powerplants: A prototyping case study of a mobile AR systern"
【文献】YEH, T. et al. "Creating Contextual Help for GUIs Using Screenshots" VIST'11, ２０１１年１０月１６～１９日、米国カリフォルニア州サンタバーバラ
【文献】BAIRD, K. et al. "EVALUATING THE EFFECTIVENESS OF AUGMENTED REALITY AND WEARABLE COMPUTING FOR A MANUFACTURING ASSEMBLY TASK" Thesis for Master of Science in Industrial and Systems Engineering,１９９９年６月２１日、米国バージニア州ブラックスバーグ
【文献】GATTULLO, M. et al. "From paper manual to AR manual: do we still need text?" 27th International Conference on Flexible Automation and Intelligent Manufacturing, FAIM2017, ２０１７年６月２７～３０日, pp. 1303-1310; イタリア国モデナ
【文献】STOCK, I. et al. "Metadata based Authoring for Technical Documentation" SIGDOC'05, ２００５年９月２１～２３日、英国コベントリー
【文献】TANG, Q. et al. "The implementation of an AR (augmented reality) approach to support mammographic interpretation Training - an initial feasibility study" Proceedings Volume 10136, Medical Imaging 2017: Image Perception, Observer Performance, and Technology Assessment, ２０１７年３月１０日
【文献】DAI, Y. et al. "Tipper. Contextual Tooltips that provide Seniors with Clear, Reliable Help for Web Tasks" CHI'15 Extended Abstracts, ２０１５年４月１８～２３日、韓国ソウル、pp. 1773-1778.
【文献】+Rescue by LogMeln "https://www.logmeinrescue.com/"アクセス日２０２０年１月１４日
【文献】ScopeAR "https://www.scopear.com/"アクセス日２０２０年１月１４日
【文献】Vuforia Chalk AR "https://chalk.vuforia.com/"アクセス日２０２０年１月１４日
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、拡張現実技術を使用して、画面上に、注釈を追加できるオーバーレイ表示を生成する方法を提供することを課題とする。
【課題を解決するための手段】
【0006】
本明細書で説明する実施例は、ディスプレイ（例えばコンピュータ画面、タッチ液晶ディスプレイ（ＬＣＤ）、デジタル制御パネル、電化製品の制御パネル）の調整された表示をストリーミングできるＡＲ実装を対象としており、ユーザに手順（例えば、画面でどのボタンをクリック又はタップするべきか、どこにテキストを入力するかなど）をガイドするオーバーレイをライブ（リアルタイム）で、又は自動エージェントが追加する。実施例には、登録、すなわち、ユーザがカメラを動かしても、ＡＲオーバーレイを画面に適切に表示するために、対象のオブジェクトの境界を検出することが含まれる。別の実施例では、基礎となるコンテンツに基づいてマークの作成が行われ、アクションが実行されると自動的に削除されることができる。別の実施例では、現実的な様式下で指示のオーバーレイを表示するための遮蔽（occlusions）の自動検出が行われる。最後に、自動プロセスにより、既存のビデオ素材（例えば、複合機（multi-function device：ＭＦＤ）などの電化製品のＬＣＤディスプレイのハウツービデオ）を取り込み、登録工程の開始に使用するアンカー画像を抽出することができる。
【0007】
実施例では、ＡＲインターフェースをライブ遠隔支援タスクに拡張でき、遠隔地にいる専門家（リモートエキスパート）が、モバイル装置又は頭部装着型装置からのライブストリームを共有する人々と接続して、現場の問題を診断及び解決する。ライブストリーミングサービスの導入に伴い、ライブ遠隔支援は、ユーザが、困難さを増している問題のトラブルシューティングを行う一つの方法になりつつある。背景技術のツールは、遠隔のユーザが解決方法に注釈を付けたり、それを実演したりできるようにすることに重点を置いているが、ユーザが指示に従うのに時間と労力を費やす必要があることを考慮していない。多くの場合、ユーザが完全に理解するまで指示が繰り返えされる必要があり、場合によっては物理的な装置を操作するために両手を使用する必要があり、モバイル装置からのライブビデオのストリーミングも困難になる。これらの問題に対処するために、実施例では、ユーザが非同期で見ることができるライブストリーム中に手順を自動的に記録できる、遠隔支援インターフェース用のＡＲベースのツールを利用できるようにする。
【0008】
本開示の態様は、第２の装置上に表示するために第１の装置から受信したビデオを固定表示（stabilize）し、第２の装置に固定表示されたビデオの一部分に対してなされた入力に対して、第１の装置のディスプレイ上に、固定表示されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイを生成することを含み得る方法を含む。
【0009】
前記第２の装置上に表示するために前記第１の装置から受信したビデオを固定表示することが、前記ビデオ内の１つ以上のアンカー画像を識別し、前記識別された１つ以上のアンカー画像に基づいて、二次元表面である対象オブジェクトを決定し、前記第２の装置での表示のために、前記二次元表面である前記対象オブジェクトに基づいて前記ビデオの遠近補正を実行すること、を含んでもよい。
【0010】
前記ビデオ内の前記１つ以上のアンカー画像を識別することが、前記ビデオ内の１つ以上の画像と一致する１つ以上のアンカー画像をデータベースで検索することを含んでもよい。
【0011】
前記ビデオ内の前記１つ以上のアンカー画像を識別することが、前記第１の装置から受信した前記ビデオ上の四角形を検出し、前記検出された四角形の二次元ポイントに三次元平面を一致させ、前記検出された四角形の前記二次元ポイントに一致する前記三次元平面を追跡し、前記第２の装置を介して前記ビデオ内の前記１つ以上のアンカー画像の選択を受信すること、を含んでもよい。
【0012】
本方法は、前記第２の装置上に表示するために、前記ビデオ内の前記対象オブジェクトを切り抜くことをさらに含んでもよい。
【0013】
前記対象オブジェクトは表示画面であってもよい。
【0014】
前記第１の装置の前記ディスプレイ上に、前記固定表示されたビデオの一部分に対応する前記ＡＲオーバーレイを生成することは、前記第２の装置で前記固定表示されたビデオの一部分になされた入力に応じてライブで行われてもよい。
【0015】
前記第１の装置の前記ディスプレイ上に、前記固定表示されたビデオの一部分に対応する前記ＡＲオーバーレイを生成することが、前記入力に応答して、前記第２の装置の前記ディスプレイ上に前記ＡＲオーバーレイを生成し、前記ＡＲオーバーレイを前記第１の装置に提供するための指示を受信した場合、前記ＡＲオーバーレイを前記第１の装置に送信して表示すること、を含んでもよい。
【0016】
本方法は、前記ビデオ内の１つ以上の手及び指を追跡し、前記第１の装置の前記ディスプレイ上の前記１つ以上の手及び指と重なる前記ＡＲオーバーレイの部分を遮蔽すること、をさらに含んでもよい。
【0017】
前記第２の装置での表示のために前記第１の装置から受信された前記ビデオを固定表示することが、前記第２の装置で前記ディスプレイ上の前記ビデオを一時停止することを含み、前記入力が注釈を含んでもよい。
【0018】
前記第１の装置の前記ディスプレイ上に、前記固定されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイを生成することが、前記入力の一時停止がタイムアウト閾値を超えた場合、前記注釈を含むビデオクリップを生成し、前記第１の装置の前記ディスプレイに前記ビデオクリップを提供すること、を含んでもよい。
【0019】
前記第１の装置が置かれていると判断された場合、前記第１の装置の前記ディスプレイで前記ビデオクリップを再生し、前記第１の装置がユーザの手にあると判断された場合、前記ビデオを前記第２の装置に表示するために提供すること、をさらに含んでもよい。
【0020】
前記ＡＲオーバーレイが、前記第１の装置のカーソルを第１の場所から第２の場所に移動させるための指示を含んでもよい。
【0021】
本方法は、前記第１の装置による再生のために前記ＡＲオーバーレイを保存することをさらに含んでもよい。
【0022】
本開示の態様は、処理を実行するための命令を格納する非一時的コンピュータ可読媒体を含み、命令は、第２の装置上に表示するために第１の装置から受信したビデオを固定表示し、第２の装置に固定表示されたビデオの一部分に対してなされた入力に対して、第１の装置のディスプレイ上に、固定表示されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイを生成することを含む。
【0023】
本開示の態様は、第２の装置上に表示するために第１の装置から受信したビデオを固定表示させるための手段と、第２の装置に固定表示されたビデオの一部分に対してなされた入力に対して、第１の装置のディスプレイ上に、固定表示されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイを生成する手段とを備えるシステムを含む。
【図面の簡単な説明】
【0024】
【図1】実施例による、画面又は制御パネル上にＡＲインターフェース及び注釈の少なくとも一方をオーバーレイするための例示的なフローを示す。
【図2】実施例による、ユーザ装置からキャプチャされた装置パネル上の例示的なオーバーレイを示す。
【図3】実施例による、遷移を伴う三次元オーバーレイノードの例を示す。
【図4】実施例による遠近（perspective）補正されたパネルを示す。
【図5】オーバーレイが手又は指の下に配置されるように手と指のマスクが実施されるオーバーレイの例を示す。
【図6】実施例による、ＡＲインターフェースの記録及び再生の例を示す。
【図7】実施例による、注釈及び記録プロセスのフロー図を示す。
【図8】実施例によるコンピュータ装置の例を示す。
【発明を実施するための形態】
【0025】
以下の詳細な説明は、本出願の図面及び実施例の詳細を提供する。参照番号と図との間で重複する要素の説明は、明確にするために省略されている。説明全体で使用される用語は例として提供されており、限定することを意図したものではない。例えば、「自動」という用語の使用は、本出願を実施する当業者の所望の実装に応じて、完全自動、又は実装の特定の局面に対するユーザ又は管理者の制御を含む半自動的実装を含み得る。選択は、ユーザインターフェース又は他の入力手段を介してユーザが行うか、又は所望のアルゴリズムを介して実施することができる。本明細書で説明される実施例は、単独で、又は組み合わせて利用することができ、実施例の機能は、所望の実装に従って任意の手段を通じて実装することができる。
【0026】
ＭＦＤなどの高度な電化製品のトラブルシューティングを顧客が行えるように遠隔から支援するには、いくつかの課題があり得る。例えば、音声のみのやり取りは間違いが発生しやすく、サービスエンジニアを顧客のもとに派遣するのは時間とコストがかかる可能性がある。
【0027】
このような状況に対処するために、多くの電化製品メーカーはハウツービデオを作成している。ビデオが十分でない場合、顧客は依然としてサービスエンジニアのライブ支援を必要とする。実施例では、顧客が新しいＭＦＤのドライバをインストールする際のコンピュータ／スマートフォン画面、又は作業員がＭＦＤを構成するためにボタンをタッチする操作の際のＭＦＤのＬＣＤ画面などの、画面や制御パネルにＡＲオーバーレイを提供するように構成されたＡＲシステムが提供される。特に、実施例は、本質的に二次元表面である画面及び制御パネルの表面を利用して、注釈、及び関連技術の実装よりも優れたオーバーレイを提供する。
【0028】
背景技術の実装では、顧客は、リモートエンジニアが顧客の画面を見たり、顧客の画面を制御したり、リモートカーソルを動かして顧客を案内したりできる画面共有ソフトウェアをインストールする。また、多くの場合、スマートフォンでＬＣＤ又は制御パネルの画像を撮り、リモートエンジニアに顧客が見ているものを見せる、といったように、ユーザはビデオに頼ることしかできない。
【0029】
このような背景技術の実装では、パソコンに画面共有ソフトウェアをインストールすることには問題がある。例えば、顧客はすでに別のソフトウェアをインストールするための支援を求めている、会社は新しいソフトウェアのインストールを簡単に許可できない場合がある、コンピュータがインターネットに接続されていない、又はモバイル装置用の画面共有アプリケーションがない可能性がある、等である。
【0030】
さらに、ビデオストリームの場合、ユーザが電話を動かすとリモートエンジニアは混乱し、口頭での指示に限定されることで、コミュニケーションが大幅に損なわれる可能性がある（例えば、「そう、左下のこの赤いボタンをクリックして、いや、このボタンではなく、それです、それから、これらすべてのボタンを同時に押して、３秒間そのまま押し続けてください」）。
【0031】
このような問題に対処するために、実施例では、制御パネルと画面（例えばコンピュータ画面、タッチスクリーン、ＭＦＤ、又は電子レンジ、カーステレオシステムなどの電化製品に見られる、通常のデジタル制御パネル）に対応するＡＲインターフェース及びオーバーレイシステムを支援する。本明細書で説明する実施例のＡＲインターフェースを利用するモバイル装置だけで、ユーザはモバイル装置のカメラを画面／ＬＣＤ／パネルに向けることができ、リモートエンジニアは対話形式でオーバーレイの指示を追加してユーザを案内することができる。
【0032】
図１は、実施例による、画面又は制御パネル上にＡＲインターフェース及び注釈の少なくとも一方をオーバーレイするための例示的なフローを示す。１００で、ローカルユーザがユーザ装置を介して遠隔支援システムに接続すると、フローが開始される。
【0033】
実施例では、システムは画面又は制御パネルの検出と追跡（tracking）の基礎として画像追跡（image tracking）を実行する。１０１で、システムはデータベースを検索して、ストリーミングされたコンテンツに一致するアンカー画像を探す。所望の実装に応じて、検出するオブジェクトを示すアンカー画像のデータベースに、自動又は手動でデータを追加できる。アンカー画像は、キーポイントを抽出するために処理された画像である。
【0034】
画面又はＬＣＤディスプレイが既知の装置（既知のＭＦＤのＬＣＤパネルなど）のものである静的なものである場合、参照画像はアプリケーションに事前追加されているか、オンラインデータベースから取得されてアプリケーションにダウンロードされる。例えば、ＭＦＤの場合、特定のＭＦＤ装置のＬＣＤ制御パネルを示す一連の画像が存在し、これらの種類の制御パネルがカメラの視野に表示されると、すぐにアプリケーションが自動的に検出及び追跡できる。同様に、一般的な標準ラップトップモデル用の一連の画像を作成することができる。したがって、アンカー画像がアプリケーション内で見つかった場合、又はオンラインデータベースから取得できる場合、そのようなアンカー画像が１０３で使用される。
【0035】
アンカー画像が見つからない場合（１０２）、アプリケーションは、見たことのないオブジェクト又はＬＣＤディスプレイの動的登録もサポートし、この場合、四角形検出器をＡＲ平面検出器とともに使用できる。具体的には、サービスエンジニア又はローカルユーザが画面をタップすると、現在のフレームで矩形又は四角形検出器を実行し、既知のＡＲ平面と交差する三次元空間の４つの角の投影をテストするようにアプリケーションを構成できる。次いで、矩形の二次元ポイントに一致する三次元平面が作成され、ＡＲフレームワークによって三次元空間で追跡され、これにより次いで１０４でアンカー画像が選択される。
【0036】
これらの参照画像が確定されると、アプリケーションによってキャプチャされたビデオフレームは、領域の安定したバージョンをリモートエンジニアが確認できるように遠近補正され、１０５で拡張現実オーバーレイ（Augmented Reality Overlay：ＡＲＯ）を作成できる。次に、リモートアシスタントは、１０６でストリームに注釈を付けることができ、その後、アプリケーションシステムは１０７で、画面を遮っているオブジェクトの有無を判断する。もしあれば、１０９で注釈は隠され、なければ１０８で注釈が表示される。
【0037】
アプリケーションがアンカーを検出して追跡すると、リモートエンジニアは画面をクリックしてオーバーレイを作成できる。マークはアプリケーションに送信され、ＡＲの対応する位置に表示される。実施例では、追跡された三次元の長方形はＷｅｂＶｉｅｗをテクスチャとして使用し、リモートエンジニアが作成したマークはハイパーテキストマークアップ言語（ＨＴＭＬ）で再作成されるため、両方のユーザが見ているものを一致させることができる。
【0038】
所望の実装に応じて、ＡＲの使用感を向上させるために、オーバーレイされたマークをマスクして、表示面の上に表示させることができる。このような実施例は、装置がタッチパネル（デジタルタッチスクリーン又は物理ボタン）であり、顧客が対話中に表示面の一部を見えにくくしてしまう場合に役立つ。
【0039】
実施例では、アプリケーションは動的オーバーレイを容易にし、サービスエンジニアが複数の手順を含むオーバーレイを作成できるようになる（例えば「ここでこのテキストボックスに入力してから、「ＯＫ」ボタンをクリックしてください」）。その場合、サービスエンジニアはテキストボックスをクリック／タップしてから、ＯＫボタンに移動してクリック／タップする。その後に、実行すべきことのアニメーションとしてオーバーレイが顧客に送信され、現在の顧客の位置からテキストボックスへの動き（例えば、テキストボックスの輪郭に続く円弧が強調表示される）が表示され、次にテキストボックスからＯＫボタンに移動する別の円弧が表示される。手順に番号を付けて、実行するアクションの順序をより明確にし、顧客が実行する手順を再現できるようにすることができる（これは、複数のオーバーレイとマウスの位置がリアルタイムで転送された場合は不可能である）。
【0040】
従来の画面共有とは異なり、動的オーバーレイはエンドユーザにとって便利であり得る。これは、ユーザが、常にディスプレイを見ながらシーケンス全体を追うことができるとは限らないためである。ユーザは最初にＡＲでシーケンスを確認し、次に実際のディスプレイに向かって手順を実行することを希望する場合があり得る。さらに、いくつかの手順では複数のボタンを押し続ける必要があり、これもリアルタイムオーバーレイを使用して簡単に伝えられない場合がある。本明細書で説明する動的オーバーレイを使用すると、サービスエンジニアは一連の手順を快適に作成し、それらが正しく作成された後でリモートカスタマーに送信することができる。他の面では同期ビデオコラボレーションである中でのこの非同期ビデオコラボレーションは、テキストベースのチャットシステムでユーザが実行できることに類似している。つまり、コミットして「送信」を押す前に、テキストメッセージを作成し、編集することである。
【0041】
実施例では、様々なタイプのオーバーレイを利用することができる。例えば、指又はマウスポインタをパス上でドラッグする必要があるアクションもあれば、指／マウスを別の場所に移動するだけのアクションもある。いくつかのタイプのオーバーレイは、例えば、明るい矢印と太い矢印のように、これらの違いを表現できる。所望の実装に応じて、オーバーレイはテキストツールチップによって拡張できる。
【0042】
実施例では、現在のマウス／カーソル位置の検出も容易にすることができる。子供の手を取って教えるように、ＡＲオーバーレイは現在のファインダ／カーソルの位置を考慮して、次に進むべき場所をユーザに示すことができる。例えば、ソフトウェアのインストールプロセス中に、ユーザのカーソルを配置すべき場所が明確でない場合がある。一部のＵＩ要素では、最初にテキストボックス内をクリックする必要がある。サービスエンジニアがエリア内でクリックを指定しているが、ユーザカーソルがエリア外にある場合、アプリケーションは現在のユーザマウスの位置からテキストボックスの位置まで自動的に円弧を表示し、カーソルが最初にそこに移動する必要があることを明確にすることができる。
【0043】
実施例では、自動オーバーレイを容易にすることもできる。実施例では、ライブセッション中に受信した手順を記録し、後で再生することができる。例えば、アプリケーションは、ビデオ化されているオブジェクトに同じアンカー画像が含まれていることを検出した場合、サービスエンジニアを繰り返し呼び出す代わりに、以前に記録されたオーバーレイの再生を自動的に提案することができる。この機能により、顧客はサービスエンジニアとのライブコミュニケーションを必要とせずに、自分で装置を操作することができる。
【0044】
実施例では、アクションが実行されたかどうかの判断を確認することもできる。一部のシナリオでは、ボタンを数秒間押す必要がある場合がある。エンジニアがオーバーレイを作成する際、エリアを必要な時間（例えば１０秒）押す必要はなく、時間を指定することができる。ただし、ユーザはそのボタンを指定された時間だけ長押しする必要がある。ツールチップに継続時間を表示するだけでなく、実施例では、指定された場所でカーソル／指先がどれだけ長く保持されたかをカウントすることも容易にすることができる。
【0045】
図２は、実施例による、ユーザ装置からキャプチャされた装置パネル上の例示的なオーバーレイを示す。図２に示されているように、リアルタイム四角形検出が、ユーザ装置によってキャプチャされた制御パネルを追跡するために利用される。実施例に従ったフレームワークを使用して三次元オーバーレイノードを生成及び適用でき、テクスチャリングプレーンノードは任意のビューで利用できる。図３は、実施例による、遷移を伴う三次元オーバーレイノードの例を示す。
【0046】
ネットワーク通信の場合、ユーザ装置は、適切なライブラリを使用してウェブサーバ及びウェブソケットサーバとして機能することができる。アプリケーションによってキャプチャされたフレームは画像としてリモートエンジニアに送信され、作成されたマークはアプリケーションに返送され、テクスチャとして使用されるウェブビュー上で再作成される。双方向オーディオ通信の場合、ウェブブラウザとアプリケーションとの間でＷｅｂＲＴＣ（Web Real-Time Communication）ベースのソリューションを利用できる。三次元平面が適合され、次いでＡＲフレームワークによって追跡されると、フレームが遠近補正され、リモートエンジニアに送信される。図４は、実施例による遠近補正されたパネルを示す。遠近補正により、リモートエンジニアは、アプリケーションのエンドユーザがキャプチャした、ディスプレイの切り抜き（crop）及び調整されたライブカメラビューを見る。リモートエンジニアは任意のオーバーレイを作成することができる。
【0047】
実施例を通して、特にライブシナリオの二次元表面上にＡＲインターフェースをオーバーレイするＡＲシステムを提供することができ、特に、ユーザをガイドするために役立つオーバーレイを作成するために、手を遮蔽し、マウス／指の位置を検出する。図５は、オーバーレイが手又は指の下に配置されるように、手と指のマスクが実装されるオーバーレイの例を示す。所望の実装に応じて、手と指のマスクは、手を追跡して、オーバーレイを手又は指の下に配置するよう実装されることもできる。このようなマスクは、セグメンテーションネットワークを介して、又はリアルタイムで手又は指を追跡する手追跡モデルを使用して取得できる。したがって、図１の１０７において画面を塞いでいるオブジェクトがある場合、１０９で追加された注釈を隠すことができる。
【0048】
別の実施例では、ＡＲ遠隔支援システムは、システムの閲覧手順を生成することもできる。作業環境の共有視覚表現を蓄積することは、現場の多くの問題に対処するのに有用であり得る。エキスパートからの段階的な指示により、ユーザはタスクを完了する必要があるが、このタスクは難しい場合もある。この期間中、ユーザは装置を置くか、視覚的な入力を無視しなくてはならない。さらに、ユーザは特定の手順を実行する方法の正確な詳細を忘れる可能性があり、リモートエキスパートに指示を繰り返してもらう必要がある。
【0049】
このような問題に対処するために、実施例ではＡＲインターフェースを拡張して、ライブ遠隔支援システムにおいて、非同期チュートリアル手順作成の機能を支援することができる。図６は、実施例による、ＡＲインターフェースの記録及び再生の例を示す。実施例では、リモートエキスパートからの指示は、ライブビデオ通話中に自動又は手動で自分のビデオクリップとして保存される。次に、ローカルユーザがその手順を完了する必要がある場合、保存されたビデオクリップを別のビデオプレーヤで表示して、タスクを完了することができる。タスクを完了する間、リモートエキスパートは、ローカルユーザがサブウィンドウで見ている記録のライブビューを見ることができる。ローカルユーザはいつでもライブカメラビューに切り替えることができる。
【0050】
実施例では、リモートエキスパートがキーボード、マウス、又はその他の周辺機器を能動的に使用している時はいつでも、ビデオクリップ手順が自動的に生成される。リモートエキスパートは、手動で手順を作成することもできる。
【0051】
図７は、実施例による、注釈及び記録プロセスのフロー図を示す。７００で、ローカルユーザがリモートアシスタントに接続する。接続中に、複数の機能が支援されることができる。ローカルユーザは、７０１でリモートアシスタントとストリームを共有することができる。このような実施例では、ローカルユーザはモバイル装置又はヘッドアップ装置からリモートユーザにコンテンツをストリーミングする。この場合、リモートエキスパートがユーザストリームに注釈の提供を始めると、ライブビデオセッションが継続している間に、新しいクリップの記録がバックグラウンドで自動的に開始される。システムは、リモートエキスパートがストリームへの注釈を停止しタイムアウトになるまで記録する。リモートエキスパートは任意選択的に、ユーザビデオを一時停止して、所望の実装に応じて、より表現力豊かな注釈を追加できる。図７に示されるように、リモートアシスタントは７０４で、ストリームを見て、必要に応じて注釈を追加することができる。ストリーム中、リモートアシスタントは７０７で注釈を一時停止することができる。注釈が閾値の期間（例えば数秒）一時停止されると、７０９でタイムアウトになる。その時点で、７１１でシステムは手順としてビデオクリップを保存する。
【0052】
別の手順例では、リモートアシスタントは、７０２でローカルユーザにストリームを共有する。ときに、例えば、ローカルユーザがソフトウェアシステムの問題を解決しようとしている場合、リモートエキスパートは自分の画面を共有して、自分のソフトウェアツールを使用して特定の問題を解決する方法を示す場合がある。この場合、リモートエキスパートは、自分のマウスとキーボードを能動的に使用して、システムが記録できる「手順」を示す。ここでも、手順の終了を判断するためにタイムアウトを使用する。リモートアシスタントは７０５で、注釈を提供したり、画面上のインターフェース又はパネルを制御したりして、ストリームとの対話を開始する。フローは、７０７以降に示されるように、ビデオクリップの保存と共に継続することができる。別の実施例では、リモートエキスパートがインターフェースのボタンをクリックして、ビデオクリップを手動で作成することもできる。これは、リモートユーザが自分のビデオカメラを使用してクリップを作成したり、外部クリップをロードしたりしたい場合に便利である。
【0053】
別の実施例では、ローカルユーザは、７０３でリモートアシスタントによって示された機能を実行するために、ユーザ装置を置く場合がある。ユーザ装置が置かれたことは、加速度計、ジャイロスコープに基づいて、又は所望の実装に従って装置の他のハードウェアを通して検出することができる。ユーザが装置を保持しようとしている場合でも、バックグラウンドプロセスシステムが、加速度計とジャイロスコープのデータのわずかな異常を検出して、装置が保持されていると判断できる。しかし、ユーザが装置を置くと、加速度計とジャイロスコープのデータは静的になり、バックグラウンドプロセスは装置がユーザの手の中にないと判断することができる。このようにして、システムは、記録された手順の表示（デバイスが置かれた時）とライブストリーム（装置がユーザの手にある時）の表示を自動的に切り替えることができる。７０６で、装置が置かれたことが検出されると、アプリケーションは手順ビューに切り替わる。手順ビューは、ローカルユーザが７０８で装置を手に取るまで維持される。すると、アプリケーションは７１０でライブビューに戻る。
【0054】
これらのアプローチを組み合わせて、ローカルユーザが困難なタスクを完了するために役立てることができる。例えば、複雑なインターフェースと対話する場合、リモートエキスパートはユーザのライブストリームに注釈を付け、１つのクリップを自動的に作成できる。次に、ユーザがそのタスクを完了するために一時停止している間に、リモートエキスパートは自分のストリームの同じ又は類似のインターフェースに注釈を付け、別のクリップを自動的に作成できる。また、同じ問題を処理した別のユーザの記録されたストリームから別のクリップを手動でロードすることもできる。
【0055】
同様に、ローカルユーザは所望の実装に応じて、自動又は手動の方法を利用して、ライブビデオストリーミングとクリップのレビューを切り替えることができる。
【0056】
システムはデフォルトで、ローカルユーザがクリップをレビューしている（見ている）時はローカルユーザマイクをオフにする。また、デフォルトでは、最近記録されたクリップが最初に表示される。さらに、ユーザは標準の垂直スワイプ操作を使用して異なるメディアクリップ間を移動し、水平スワイプ操作を使用してクリップ内をナビゲート（移動）できる。このようにして、ローカルユーザは装置をライブストリーミングツールから軽量のチュートリアルレビューツールにシームレスに切り替えることができる。
【0057】
ユーザがヘッドアップディスプレイからストリーミングしている場合は、口頭のコマンドを発して、ライブストリーミングとレビューインターフェースを切り替えることができる。モバイル装置では、ユーザは口頭のコマンド又はボタンを押してインターフェースを切り替えることができる。
【0058】
本明細書で説明する実施例を通じて、ユーザが非同期で見ることができるライブストリーム中の手順を自動的に記録する遠隔支援システムを容易にすることができる。
【0059】
図８は、実施例による、コンピュータ装置の例を示す。コンピュータ装置は、所望の実装に応じて、ラップトップ、パーソナルコンピュータ、モバイル装置、タブレット、又は他の装置の形態であってよい。コンピュータ装置８００は、カメラ８０１と、マイク８０２と、プロセッサ８０３と、メモリ８０４と、ディスプレイ８０５と、インターフェース（Ｉ／Ｆ）８０６と、方位センサ８０７とを含むことができる。カメラ８０１は、所望の実装に応じて、任意の形式のビデオを記録するように構成された任意の形式のカメラを含むことができる。マイク８０２は、所望の実装に応じて、任意の形式のオーディオを録音するように構成された任意の形式のマイクを含むことができる。ディスプレイ８０５は、本明細書に記載の機能を実行するための命令を容易にするために、タッチ入力を受信するように構成されたタッチスクリーンディスプレイ、又は所望の実装に応じて、液晶ディスプレイ（ＬＣＤ）又は他の任意のディスプレイなどの通常のディスプレイを含むことができる。Ｉ／Ｆ８０６は、所望の実装に従って、サーバ及び他の任意の装置などの外部要素へのコンピュータ装置８００の接続を容易にするためのネットワークインターフェースを含むことができる。プロセッサ８０３は、中央処理装置（ＣＰＵ）などのハードウェアプロセッサの形態、又は所望の実装に応じて、ハードウェアとソフトウェアユニットとの組み合わせであることができる。方位センサ８０７は、所望の実装に応じて、傾斜角、ｘ、ｙ、ｚに対する方位、軸、加速度（例えば重力）など、あらゆる種類の方位測定を測定するように構成されたあらゆる形態のジャイロスコープ及び加速度計の少なくとも一方を含むことができる。方位センサ測定は、所望の実装に応じて、装置の重力ベクトルを示すための重力ベクトル測定を含むこともできる。コンピュータ装置８００は、所望の実装に応じて、ローカルユーザ用の装置、又はリモートアシスタント用の装置として利用することができる。
【0060】
実施例では、プロセッサ８０３は、第２の装置（例えばリモートアシスタント装置）上に表示するために、第１の装置（例えばローカルユーザ装置）から受信したビデオを固定して継続的に表示するように構成される。そして、第２の装置に固定表示されたビデオの一部分になされた入力に対して、例えば図３～図５に示されるように、第１の装置のディスプレイ上に、固定表示されたビデオの一部分に対応する拡張現実（ＡＲ）オーバーレイを生成する。
【0061】
所望の実装に応じて、プロセッサ８０３は、ビデオ内の１つ以上のアンカー画像を識別し、識別された１つ以上のアンカー画像に基づいて二次元表示の対象オブジェクトを決定し、図１で説明したように、第２の装置での表示のために二次元表面である対象オブジェクトに基づいてビデオの遠近補正を実行すること、によって第２の装置上に表示するために第１の装置から受信したビデオを固定して定点表示するように構成されることができる。本明細書で説明したように、対象オブジェクトは、（例えばＭＦＤに表示される）パネルディスプレイ、キーパッド、タッチスクリーン、（例えばコンピュータ、モバイル装置、又は他の装置上の）表示画面のような二次元パネル表面、及び所望の実装に応じた他の物理的又は表示されたインターフェースを含むことができる。アンカー画像には、所望の実装に応じて、ボタン、ダイヤル、アイコン、又はパネル表面上にあると推定されるその他のオブジェクトが含まれることができる。
【0062】
所望の実装に応じて、プロセッサ８０３は、図４に示されるように、第２の装置上に表示するために対象オブジェクトにビデオを切り抜き（クロップ）するように構成されることができる。このように、表示画面、パネルディスプレイ、又はその他の対象オブジェクトのみが第２の装置に提供されるように、ビデオをクロップすることができる。
【0063】
所望の実装に応じて、プロセッサ８０３は、図１の１０１で説明したように、ビデオ内の１つ以上の画像と一致する１つ以上のアンカー画像をデータベースで検索することにより、ビデオ内の１つ以上のアンカー画像を識別するように構成される。データベースは、所望の実装に応じて、記憶システム、サーバ、又はその他の方法で遠隔から保存及びアクセスされることができる。実施例では、ＡＲオーバーレイをデータベースに保存して、第１の装置で取得したり将来再生したりすることもできる。
【0064】
プロセッサ８０３は、第１の装置から受信したビデオ上の四角形を検出し、検出された四角形の二次元ポイントに三次元平面を一致させ、検出された四角形の二次元ポイントに一致する三次元平面を追跡し、図１で説明したように、第２の装置を介してビデオ内の１つ以上のアンカー画像の選択を受け取ること、によりビデオ内の１つ以上のアンカー画像を識別するように構成されている。ほとんどのパネル及び表示されるインターフェースが四角形又は矩形の形態をとる傾向があるので、実施例では、当技術分野で知られている四角形又は矩形検出器が利用されるが、検出器は所望の実装に従って変更することができる。例えば、円形インターフェースを含む実施例では、代わりに円形表面検出器を利用することができる。さらに、四角形又は矩形が検出された後、検出された四角形／矩形の二次元ポイントに三次元平面がマッピングされ（例えば矩形の角へのマッピング）、これにより、従来技術において既知の所望の実装に従って追跡されることができる。パネルが検出されると、ユーザは、ＡＲシステムにリアルタイムで組み込むことができるアンカー画像（例えばパネルのボタン、ダイヤルなど）を選択できる。
【0065】
図１から図６に示すように、リモートアシスタントとローカルユーザとの間のリアルタイムの対話を容易にするために、第２の装置の固定表示ビデオの一部分に対してなされた入力に応じて、第１の装置のディスプレイ上に、固定表示されたビデオの一部分に対応するＡＲオーバーレイをライブで行うことができる。別の実施例では、リモートアシスタントの所望の実装に応じて、ＡＲオーバーレイの生成を遅らせ、非同期で展開することができる。リモートアシスタントは、自分の装置でＡＲオーバーレイを確認してから指示（確認ボタンをタッチするなど）を装置に与えて、ＡＲオーバーレイをローカルユーザ装置に送信して表示するようにできる。このようにして、リモートアシスタントはＡＲ注釈を作成するか、他のＡＲオーバーレイを提供して、ローカルユーザに展開する前にプレビューすることができる。実施例では、固定表示されたビデオの一部分に対して行われる入力は、フリーフォーム（自由入力）の注釈を含むことができる。さらに、ＡＲオーバーレイが特定のパネルボタンの選択又はカーソルを移動して特定の部分をクリックすることを含む場合、ＡＲオーバーレイは、第１の装置のカーソルを第１の場所から第２の場所に移動するための標示を含むことができる。そのような標示は、所望の実装に応じて任意の方法で（例えば、経路をたどる矢印、或いは線などにより）実装することができる。
【0066】
図５に示すように、プロセッサ８０３は、ビデオ内の１つ以上の手及び指を追跡し、第１の装置のディスプレイ上の１つ以上の手及び指と重なるＡＲオーバーレイの部分を遮蔽するように構成されることができる。手及び指の少なくとも一方の追跡は、任意の所望の実装を通じて実施できる。このような実施例により、ＡＲオーバーレイは、リモートユーザの装置に現実的な様式で表示できる。
【0067】
図７に示すように、プロセッサ８０３は、第２の装置のディスプレイ上のビデオを一時停止することにより、第２の装置での表示のために第１の装置から受信されたビデオを固定表示させるように構成されることができる。このような実施例では、所望の実装に応じて、リモートアシスタントは、ビデオストリームを一時停止して、注釈を作成したり、他のＡＲオーバーレイを提供したりすることができる。さらに、プロセッサ８０３は、入力の一時停止がタイムアウト閾値を超えた場合、注釈を含むビデオクリップを生成し、図７の７０７、７０９、７１１に示されるように、第１の装置のディスプレイ上にビデオクリップを提供することにより、第１デバイスのディスプレイ上に、固定表示されたビデオの一部分に対応するＡＲオーバーレイを生成するように構成されることができる。タイムアウトは、所望の実装に応じて設定できる。
【0068】
プロセッサ８０３は、図７の７０３、７０６、７０８、及び７１０に示すように、第１の装置が置かれていると判断されている場合は、第１の装置のディスプレイ上でビデオクリップを再生し、第１の装置がユーザの手にあると判断されている場合に、ビデオを第２の装置に表示するために提供するように構成されることができる。
【0069】
詳細な説明のいくつかの部分は、コンピュータ内の操作のアルゴリズム及び記号表現に関して提示されている。これらのアルゴリズム記述及び記号表現は、データ処理技術の当業者がその革新の本質を他の当業者に伝えるために使用する手段である。アルゴリズムは、所望の最終状態又は結果に至る一連の定義された手順である。実施例では、実行される手順は、具体的な結果を達成するために具体的な量の物理的な操作を必要とする。
【0070】
特に明記しない限り、これまでの説明から明らかなように、明細書全体を通して、「処理」、「コンピューティング」、「計算」、「決定」、「表示」などの用語を使用する説明には、コンピュータシステムのレジスタ又はメモリ内の物理量（電子）量として表されるデータを、コンピュータシステムのメモリ又はレジスタ又は他の情報記憶、伝送、又は表示デバイスにおける物理量として同様に表される他のデータに操作及び変換する、コンピュータシステム又は他の情報処理デバイスの動作及び処理を含み得ることが理解されよう。
【0071】
実施例はまた、本明細書の作用を実行するための装置に関連し得る。この装置は、必要な目的のために特別に構築され得るか、又は１つ以上のコンピュータプログラムによって選択的に作動又は再構成される１つ以上の汎用コンピュータを含み得る。このようなコンピュータプログラムは、コンピュータ可読記憶媒体又はコンピュータ可読信号媒体などのコンピュータ可読媒体に格納され得る。コンピュータ可読記憶媒体には、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、固体素子デバイス及びドライブ、又はその他の電子情報を保存するための適切な有形の、又は非一時的媒体などの具体的な媒体が含まれ得るが、これらに限定はされない。コンピュータ可読信号媒体は、搬送波などの媒体を含み得る。本明細書に提示されるアルゴリズム及び表示は、特定のコンピュータ又は他の装置に本質的に関連するものではない。コンピュータプログラムは、所望の実装の操作を実行する命令を含む純粋なソフトウェア実装を含むことができる。
【0072】
本明細書の実施例によるプログラム及びモジュールと共に様々な汎用システムを使用することができ、或いは所望の方法ステップを実行するためのより専門的な装置を構築することが好都合である場合がある。さらに、実施例は、特定のプログラミング言語を基準に記載されてはいない。本明細書に記載される実施例の教示を実装するために、様々なプログラミング言語が使用されてもよいことが理解されよう。プログラミング言語の命令は、１つ以上の処理装置、例えば中央処理装置（ＣＰＵ）、プロセッサ、又は制御装置によって実行され得る。
【0073】
当技術分野で知られているように、上述した動作は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの何らかの組み合わせによって実行可能である。実施例の様々な態様は、回路と論理デバイス（ハードウェア）を使用して実装できるが、他の態様では、機械可読媒体（ソフトウェア）に格納された命令を使用して実装でき、これがプロセッサにより実行されると、プロセッサは、本出願の実装を実施する方法を実行する。さらに、本出願のいくつかの実施例は、ハードウェアのみで実行されてもよく、他の実施例は、ソフトウェアのみで実行されてもよい。さらに、説明されている様々な機能は、単一のユニットで実行することも、任意の様々な方法で多数の構成要素に分散させることもできる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行され得る。必要に応じて、命令は圧縮及び暗号化の少なくとも一方がなされた形式で媒体に保存することができる。
【0074】
本出願のその他の実装は、本出願の明細書及び教示の実施を考慮すれば、当業者には明らかであろう。説明される実施例の様々な態様及び構成要素は、単独で又は任意の組み合わせで使用され得る。明細書及び実施例は、例示としてのみ考慮されることが意図されており、本出願の真の範囲及び精神は、以下の特許請求の範囲によって示される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
