特開 2022-72514 情報処理装置、情報処理システム、制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022072514

(43)【公開日】2022-05-17

(54)【発明の名称】情報処理装置、情報処理システム、制御方法、プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220510BHJP

   G06T 7/70 20170101ALI20220510BHJP

   G06F 3/04815 20220101ALI20220510BHJP

【ＦＩ】

G06T19/00 600

G06T7/70 A

G06F3/0481 150

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020181991

(22)【出願日】2020-10-30

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】山田 望

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050AA08

5B050BA06

5B050BA07

5B050BA11

5B050BA13

5B050BA18

5B050BA20

5B050CA07

5B050CA08

5B050DA01

5B050EA19

5B050FA02

5E555AA26

5E555AA58

5E555AA63

5E555BA06

5E555BB06

5E555BC04

5E555BC08

5E555BD01

5E555BE17

5E555CA42

5E555CB48

5E555CB74

5E555CC05

5E555DB53

5E555DB56

5E555DC09

5E555DC63

5E555DD01

5E555DD08

5E555EA10

5E555EA22

5E555FA00

5L096AA06

5L096CA02

5L096DA01

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096GA53

(57)【要約】

【課題】本発明では、収集したイベントの発生箇所を直観的に知らせる仕組みを提供することを目的とする。
【解決手段】本発明は、空間内の位置および方向を認識可能な特徴物の画像を含む画像を取得する情報処理装置であって、空間内のイベント発生箇所と前記特徴物との相対位置関係を取得する取得手段と、前記画像から認識した特徴物の位置および方向と前記相対位置関係とに基づいて、前記イベント発生箇所が前記画像の範囲内に存在するかを判定する判定手段と、前記イベント発生箇所が前記画像の範囲内に存在しないと判定された場合に、前記画像に前記イベント発生箇所の位置を示す情報を表示する表示制御手段とを備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

空間内の位置および方向を認識可能な特徴物の画像を含む画像を取得する情報処理装置であって、
空間内のイベント発生箇所と前記特徴物との相対位置関係を取得する取得手段と、
前記画像から認識した特徴物の位置および方向と前記相対位置関係とに基づいて、前記イベント発生箇所が前記画像の範囲内に存在するかを判定する判定手段と、
前記イベント発生箇所が前記画像の範囲内に存在しないと判定された場合に、前記画像に前記イベント発生箇所の位置を示す情報を表示する表示制御手段と
を備えることを特徴とする情報処理装置。

【請求項2】

前記表示制御手段は、前記イベント発生箇所の位置に対する方向と距離の情報を表示することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記表示制御手段は、前記イベント発生箇所の位置を示すマップを表示することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

空間内に複数の特徴物が配置されることを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

空間内の位置および方向を認識可能な特徴物の画像を含む画像を取得する情報処理システムであって、
空間内のイベント発生箇所と前記特徴物との相対位置関係を取得する取得手段と、
前記画像から認識した特徴物の位置および方向と前記相対位置関係とに基づいて、前記イベント発生箇所が前記画像の範囲内に存在するかを判定する判定手段と、
前記イベント発生箇所が前記画像の範囲内に存在しないと判定された場合に、前記画像に前記イベント発生箇所の位置を示す情報を表示する表示制御手段と
を備えることを特徴とする情報処理システム。

【請求項6】

空間内の位置および方向を認識可能な特徴物の画像を含む画像を取得する情報処理装置の制御方法であって、
取得手段が、空間内のイベント発生箇所と前記特徴物との相対位置関係を取得する取得ステップと、
判定手段が、前記画像から認識した特徴物の位置および方向と前記相対位置関係とに基づいて、前記イベント発生箇所が前記画像の範囲内に存在するかを判定する判定ステップと、
表示制御手段が、前記イベント発生箇所が前記画像の範囲内に存在しないと判定された場合に、前記画像に前記イベント発生箇所の位置を示す情報を表示する表示制御ステップと
を備えることを特徴とする情報処理装置の制御方法。

【請求項7】

空間内の位置および方向を認識可能な特徴物の画像を含む画像を取得する情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
空間内のイベント発生箇所と前記特徴物との相対位置関係を取得する取得手段と、
前記画像から認識した特徴物の位置および方向と前記相対位置関係とに基づいて、前記イベント発生箇所が前記画像の範囲内に存在するかを判定する判定手段と、
前記イベント発生箇所が前記画像の範囲内に存在しないと判定された場合に、前記画像に前記イベント発生箇所の位置を示す情報を表示する表示制御手段
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントの発生箇所を表示制御する技術に関する。

【背景技術】

【0002】

ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｒｌｉｔｙ；拡張現実）では、表示装置に現実環境の映像に拡張した情報を付加して表示するが、基本的には現在表示している範囲のみにしか拡張した情報は表示されない。しかし、現在表示している範囲外で注意が必要なイベントが発生した場合、イベントが発生している場所にユーザの注意を向けさせる必要がある。

【0003】

特許文献１では、運転者のアイポイントを検出し、アイポイントが拡張現実の可視範囲の最適範囲にあるとき、拡張現実の表示が欠損する方向への強調表示や頭部を誘導するための表示を行い、アイポイントが最適範囲から逸脱する場合にはそのような表示を行わない技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１８７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術では、運転者の前方のフロントガラスに表示されるヘッドアップディスプレイを対象としているため、運転者の視線が同ディスプレイを視認可能な範囲から逸脱した場合に情報表示を停止しているが、タブレットやスマートフォンのような携帯端末のディスプレイに表示する場合には、ユーザは常にディスプレイを視認可能であり、かつ、携帯端末本体を移動させて表示範囲を変更させることができるため、拡張現実の表示が欠損した場合には、欠損する方向や、携帯端末本体を誘導するための情報を常に表示する必要がある。

【0006】

また、特定のイベントの発生を監視するような場合、当該イベントに関する情報を拡張表示する際に、イベントの発生箇所がディスプレイの表示範囲内か表示範囲外かにかかわらず、ユーザに的確に知らせる必要がある。

【0007】

本発明では、収集したイベントの発生箇所を直観的に知らせる仕組みを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、 空間内の位置および方向を認識可能な特徴物の画像を含む画像を取得する情報処理装置であって、空間内のイベント発生箇所と前記特徴物との相対位置関係を取得する取得手段と、前記画像から認識した特徴物の位置および方向と前記相対位置関係とに基づいて、前記イベント発生箇所が前記画像の範囲内に存在するかを判定する判定手段と、前記イベント発生箇所が前記画像の範囲内に存在しないと判定された場合に、前記画像に前記イベント発生箇所の位置を示す情報を表示する表示制御手段とを備えることを特徴とする。

【発明の効果】

【0009】

本発明により、収集したイベントの発生箇所を直観的に知らせる仕組みを提供することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明のＡＲを用いたエラー情報ガイド表示システムの構成の一例を示すシステム構成図である。

【図2】本発明のＡＲを用いたエラー情報ガイド表示システムのクライアント端末に適用可能なハードウェア構成の一例である。

【図3】本発明のＡＲを用いたエラー情報ガイド表示システムのサーバに適用可能なハードウェア構成の一例である。

【図4】本発明のＡＲを用いたエラー情報ガイド表示システムにおけるエラー情報ガイド処理の一例を示すフローチャートである。

【図5】本発明のＡＲを用いたエラー情報ガイド表示システムにおけるマスタＡＲマーカテーブルの一例を示すデータ構成図である。

【図6】本発明のＡＲを用いたエラー情報ガイド表示システムにおけるサブＡＲマーカテーブルの一例を示すデータ構成図である。

【図7】本発明のＡＲを用いたエラー情報ガイド表示システムにおける端末情報テーブルの一例を示すデータ構成図である。

【図8】本発明のＡＲを用いたエラー情報ガイド表示システムにおける端末パラメータテーブルの一例を示すデータ構成図である。

【図9】本発明のＡＲを用いたエラー情報ガイド表示システムにおける注視点ベクトルテーブルの一例を示すデータ構成図である。

【図10】本発明のＡＲを用いたエラー情報ガイド表示システムにおけるセンサ情報テーブルの一例を示すデータ構成図である。

【図11】本発明のＡＲを用いたエラー情報ガイド表示システムにおけるマーカ位置座標テーブルの一例を示すデータ構成図である。

【図12】本発明のＡＲを用いたエラー情報ガイド表示システムにおけるガイドベクトルテーブルの一例を示すデータ構成図である。

【図13】本発明のＡＲを用いたエラー情報ガイド表示システムにおけるＡＲスキャン時にＡＲマーカを読み取る際の画面表示イメージである。

【図14】本発明のＡＲを用いたエラー情報ガイド表示システムにおける画面外でエラーが発生した際のガイド表示画面例である。

【図15】本発明のＡＲを用いたエラー情報ガイド表示システムにおける画面内にエラー箇所が存在する際の表示画面例である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0012】

図１は、本発明のＡＲを用いたエラー情報ガイド表示システムの構成の一例を示すシステム構成図である。
図１は、ローカル環境にある治具／各種Ｄｅｖｉｃｅ１００のデータを、クラウド環境にあるサーバ１０３にインターネット接続１０５を用いてアップロードを行う。その後、ローカル環境にあるクライアント端末１０２からＷｉ－Ｆｉ／Ｓｉｍ通信を用いてアップロードされたデータを取得し、ＡＲを実現する構成となっている。

【0013】

ＯＰＣサーバ１０１は、治具／各種Ｄｅｖｉｃｅ１００から送られてくるデータを、それぞれのプロトコルを使用してサーバ内に集約し、インターネット接続１０５経由で通信を行うサーバである。

【0014】

クラウド環境内のサーバ１０３は、ローカル環境にあるＯＰＣサーバ１０１と通信を行い、必要に応じてデータの加工をし、配信用サーバ１０４にデータを渡すサーバである。

【0015】

ローカル環境にあるクライアント端末１０２は、インターネット接続１０５経由で配信用サーバ１０４内のデータを取得する。取得したそのデータを端末内で表示するＡＲ表示用端末である。

【0016】

以上で、図１に示すシステム構成図に関する説明を終了する。

【0017】

以下、図２を用いて、図１に示したクライアント端末１０２に適用可能なハードウェア構成について説明する。

【0018】

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

【0019】

また、ＲＯＭ２０２あるいはフラッシュメモリ２１４には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、当該クライアント端末が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

【0020】

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

【0021】

また、入力コントローラ２０５は、タッチパネル２１０、マイク２１１、カメラ２１２からの入力を制御する。タッチパネル２１０からはユーザのタッチ操作に関する入力を制御し、マイク２１１からは音声の入力を制御し、カメラ２１２からは撮影された静止画、動画の入力を制御する。出力コントローラ２０６は、タッチパネル２１０、スピーカ２１３への出力を制御する。

【0022】

タッチパネル２１０は、ユーザからのタッチ操作を検知すると共に、前述した出力コントローラ２０６から送られた映像を表示する。タッチパネル２１０は、表示器と位置入力装置とが一体となった部品である。複数の箇所に対するタッチ操作（以下、マルチタッチ）も検知可能である。

【0023】

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ２１４へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。

【0024】

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

【0025】

センサコントローラ２０８は、クライアント端末１０２が備える内蔵センサ２１５からの入力を制御する。クライアント端末１０２の内蔵センサ２１５には様々なセンサが存在し、例えば方位センサ、加速度センサである。

【0026】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、タッチパネル２１０上での表示を可能としている。

【0027】

本発明のクライアント端末１０２が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ２１４に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルはフラッシュメモリ２１４に格納されている。

【0028】

以上で、図２の説明を終了する。上記の構成は一例であって、目的や用途に応じて適宜変更されうる。

【0029】

以下、図３を用いて、図１に示したＯＰＣサーバ１０１、サーバ１０３、配信用サーバ１０４に適用可能なハードウェア構成について説明する。

【0030】

図３に示すように、各サーバは、システムバス３０４を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３、入力コントローラ３０５、ビデオコントローラ３０６、メモリコントローラ３０７、通信Ｉ／Ｆコントローラ３０８等が接続された構成を採る。

【0031】

ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。

【0032】

また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、各情報処理装置が実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。

【0033】

ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0034】

また、入力コントローラ３０５は、キーボード（ＫＢ）３０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。

【0035】

ビデオコントローラ３０６は、ディスプレイ３１０等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。

【0036】

メモリコントローラ３０７は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、あるいは、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｃｉａｔｉｏｎ）カードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。

【0037】

通信Ｉ／Ｆコントローラ３０８は、ネットワークを介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いた通信等が可能である。

【0038】

尚、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ３１０上に表示することが可能である。また、ＣＰＵ３０１は、ディスプレイ３１０上のマウスカーソル（図示しない）等によるユーザ指示を可能とする。

【0039】

本発明を実現するための後述する各種プログラムは、外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。

【0040】

以上で、図３の説明を終了する。上記の構成は一例であって、目的や用途に応じて適宜変更されうる。

【0041】

以下、図４を参照して、本発明のＡＲを用いたエラー情報ガイド表示システムにおけるガイド情報表示処理について説明する。

【0042】

本処理はＡＲ表示用端末内にインストールされているＡＲアプリケーションを通して実施され、アプリケーション起動を行うとＡＲマーカ読み取り画面が表示される（図１３）。なお、端末パラメータテーブル（図８）はフローチャート処理とは別に、端末に取り付けられている各種センサ（加速度センサなど）から撮影時常に更新が行われている。また、センサ情報テーブル（図１０）は、治具／各種Ｄｅｖｉｃｅ１００に取り付けられたセンサよりセンサ値を随時取得し更新されている。

【0043】

ステップＳ４０１では、ＡＲコンテンツで表示するコンテンツ内容をローカル環境の開発ソフトウェア上にて定義し、ＡＲマーカに紐づけを行う。

【0044】

ステップＳ４０２では、ＡＲスキャンするために必要なＡＲマーカを適切な場所に設置を行う。サブＡＲマーカは位置補正に用いるため、センサを映した際に画面内に入る位置に設置を行う。

【0045】

ステップＳ４０３では、上記ＡＲマーカ読み取り画面（図１３）にて、ユーザが現実世界に存在するＡＲマーカを画面内の四角形に収める。スキャンが成功するとＡＲマーカに紐づけられている情報（図５：マスタＡＲマーカテーブル）を取得する。マスタＡＲマーカが画面外に出た際、画面内に表示されているサブＡＲマーカを用いてセンサ位置の補正を行う。

【0046】

ステップＳ４０４では、ステップＳ４０３にてスキャンした情報（図５：マスタＡＲマーカテーブル）を参照し、センサの情報（センサＩＤ、センサ座標）を取得する。

【0047】

ステップＳ４０５では、端末情報テーブル（図７）より、端末自身の情報を取得する。

【0048】

ステップＳ４０６では、ステップＳ４０５にて取得した視野角より、端末視野を算出する。

【0049】

ステップＳ４０７では、端末パラメータテーブル（図８）より、端末が向いている方角、端末自身の傾きを取得する。

【0050】

ステップＳ４０８では、端末パラメータテーブル（図８）より、端末の位置情報を取得する。

【0051】

ステップＳ４０９では、端末パラメータテーブル（図８）から端末が現在表示している画面のベクトル（注視点）を算出し、注視点ベクトルテーブル（図９）に登録を行う。

【0052】

ステップＳ４１０では、ＡＲマーカの位置座標を決める処理と、それに紐づくセンサの位置座標から２Ｄマップを作成・更新する処理を行う。

【0053】

まず、端末パラメータテーブル（図８）から取得する情報より、ＡＲマーカの位置座標を算出する。端末パラメータテーブル内の各種センサ値から算出される方角、傾き、焦点距離から求まる端末距離の３つの情報よりＡＲマーカの位置を特定する。値はマーカ位置座標テーブル（図１１）に登録する。なお、この時登録されるＡＲマーカの座標は絶対座標として登録する。

【0054】

次に、ステップＳ４０３にて取得したマスタＡＲマーカテーブル（図５）に紐づけられたセンサ情報（ＡＲマーカからの相対座標）と、先ほど算出したＡＲマーカの位置座標を用いて、センサの絶対座標を算出し、その値をマーカ位置座標テーブル（図１１）に登録を行う。マーカ位置座標テーブル（図１１）より、マーカ位置、それに紐づく各センサの位置、ステップＳ４０８で取得した端末自身の位置、ステップ４０６で取得した端末の視野を２Ｄマップ上にマッピングを行う。視野内に存在しないセンサは、センサ情報テーブル（図１０）内の視野内判定列に「Ｆａｌｓｅ」に更新する。視野内に存在するセンサは「Ｔｒｕｅ」に更新する。

【0055】

ステップＳ４１１でマスタＡＲマーカまたは、サブＡＲマーカに紐づけられているセンサＩＤをもとに、センサ情報テーブル（図１０）内のセンサ値とエラー情報を取得する。

【0056】

ステップＳ４１２でステップＳ４０６にて取得したエラー情報がＴｒｕｅを示していた場合、ステップＳ４１３に、Ｆａｌｓｅを示していた場合はステップＳ４０７に処理を分岐させる。

【0057】

ステップＳ４１３でステップＳ４１０にて取得した視野内判定がＴｒｕｅを示していた場合、ステップＳ４１５に、Ｆａｌｓｅを示していた場合はステップＳ４１４に処理を分岐させる。

【0058】

ステップＳ４１４ではマーカ位置座標テーブル（図１１）より、エラー発生センサへのガイドベクトルを取得して表示する。マーカ座標を始点、エラー発生センサ座標を終点としたベクトル、その距離を算出し、ガイドベクトルテーブル（図１２）に登録を行う。そのガイドベクトルを画面に表示する。

【0059】

なお、表示するガイドベクトルはそのまま結ぶと画面外に出てしまうためスケールは固定とする。また、この際、画面上に残り距離として、ガイドベクトルテーブル（図１２）の距離（ｃｍ）列の値を表示する。
視野外にある場合は表示画面例１（図１４）を表示する。表示画面例１では、ガイドベクトルを矢印で表示し、さらにマップ画面でセンサの位置を星印で表示する。

【0060】

以降、ガイド表示にて端末の方向を誘導しながら、エラー発生センサが視野内に入るまで、ステップＳ４０７から処理を繰り返す。

【0061】

ステップＳ４１５では上記ステップによって、エラーが発生している地点まで誘導を行った後、エラーが発生しているセンサを画面内に収めたときに、表示画面例２（図１５）を表示する。表示画面例２では、エラーが発生しているセンサに対応するオブジェクトを強調表示する。また表示画面例１と同様に、マップ画面でセンサの位置を表示してもよい。

【0062】

以下、本システムで使用するデータ類の一例について説明する。

【0063】

図５に示すように、マスタＡＲマーカテーブルはマスタマーカＩＤ５０１、センサＡ＿ＩＤ５０２、センサＡ座標５０３（Ｘ，Ｙ，Ｚ）、センサＢ＿ＩＤ５０４、センサＢ座標５０５（Ｘ，Ｙ，Ｚ）、センサＣ＿ＩＤ５０６、センサＣ座標５０７（Ｘ，Ｙ，Ｚ）の情報から構成される。

【0064】

本実施例では、マスタＡＲマーカに対してすべてのセンサ情報が直接紐づいているが、センサごとにマスタＡＲマーカを設置してもよい。マーカの位置に対するセンサ位置が定義されているため、マーカの位置を特定すれば、センサの位置も算出される。

【0065】

図６に示すように、サブＡＲマーカテーブルはサブマーカＩＤ６０１、センサＩＤ６０２、センサ相対座標６０３（Ｘ，Ｙ，Ｚ）から構成される。マスタＡＲマーカが画面外に出てしまった際の位置補正に使用する。そのため同じような構成になっている。本実施例では、サブＡＲマーカをセンサに対応付けているが、まずサブＡＲマーカをマスタＡＲマーカに対応付けて、マスタＡＲマーカを介して間接的にセンサに対応付けるようにしてもよい。

【0066】

図７に示すように、端末情報テーブルは端末ＩＤ７０１、端末名７０２、端末視野角（水平）７０３、焦点距離７０４の情報から構成される。
各メーカーが公表している端末の情報を登録しておく。

【0067】

図８に示すように、端末パラメータテーブルは端末ＩＤ８０１、地磁気センサから公知の方法により算出する各軸方向の方角８０２（方角Ｘ、方角Ｙ、方角Ｚ）、加速度センサから公知の方法により算出する各軸方向の傾き８０３（傾きＸ、傾きＹ、傾きＺ）、端末位置座標８０４（端末位置座標Ｘ、端末位置座標Ｙ、端末位置座標Ｚ）の情報から構成される。端末の位置情報に関してはＢｌｕｅｔｏｏｔｈ信号の強度の強弱を利用したビーコン測位技術を用いて取得する。

【0068】

図９に示すように、注視点ベクトルテーブルは端末注視点座標９０１（端末注視点座標Ｘ、端末注視点座標Ｙ、端末注視点座標Ｚ）の情報から構成される。図８の端末パラメータテーブルに格納してある方角・傾きを用いて端末の注視点座標を算出する。

【0069】

図１０に示すように、センサ情報テーブルはセンサＩＤ１００１、センサ種類１００２、センサ値１００３、エラー情報１００４、視野内判定１００５の情報から構成される。装置に設置してある各種センサの値を取得して、マイコンから送信する。マイコンで送信する際に設定した閾値を超えていた場合はエラーとみなし、エラー情報の値をＴｒｕｅにする。平常時はＦａｌｓｅとして処理する。２Ｄマップ作成時に端末の視野内にセンサが存在する場合、視野内判定の値をＴｒｕｅに、存在しない場合はＦａｌｓｅを設定する。

【0070】

図１１に示すように、マーカ位置座標テーブルはマーカ座標１１０１（マーカ座標Ｘ、マーカ座標Ｙ、マーカ座標Ｚ）、センサＡ座標１１０２（センサＡ座標Ｘ、センサＡ座標Ｙ、センサＡ座標Ｚ）、センサＢ座標１１０３（センサＢ座標Ｘ、センサＢ座標Ｙ、センサＢ座標Ｚ）、センサＣ座標１１０４（センサＣ座標Ｘ、センサＣ座標Ｙ、センサＣ座標Ｚ）の情報から構成される。ＡＲスキャンした時点の端末のパラメータを用いて、マーカ位置の絶対座標として登録し、マーカに紐づけられた相対座標から各センサ地点の絶対座標を決定する。

【0071】

図１２に示すように、ガイドベクトルテーブルはセンサ座標１２０１（センサ座標Ｘ、センサ座標Ｙ、センサ座標Ｚ）、距離（ｃｍ）１２０２の情報から構成される。

【0072】

マーカ位置座標テーブルに登録されているＡＲマーカの位置情報を始点、センサの座標を終点としたベクトルと、その距離をそれぞれ登録する。

【0073】

上記により、エラー発生箇所が視野外となる場合でも、適切に端末方向を誘導することが可能となる。

【0074】

また本実施例では、ＡＲ（拡張現実）を対象にＡＲマーカを認識するようにしたが、撮影された動画や静止画から、空間内の位置および方向を特定できる任意の物体を認識するようにしてもよい。

【0075】

いくつかの実施形態について示したが、本発明は、例えば、システム、装置、方法、コンピュータプログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0076】

また、本発明におけるコンピュータプログラムは、図４に示すフローチャートの処理方法をコンピュータが実行可能なコンピュータプログラムであり、本発明の記憶媒体は図４の処理方法をコンピュータが実行可能なコンピュータプログラムが記憶されている。なお、本発明におけるコンピュータプログラムは図４の各装置の処理方法ごとのコンピュータプログラムであってもよい。

【0077】

以上のように、前述した実施形態の機能を実現するコンピュータプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたコンピュータプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

【0078】

この場合、記録媒体から読み出されたコンピュータプログラム自体が本発明の新規な機能を実現することになり、そのコンピュータプログラムを記憶した記録媒体は本発明を構成することになる。

【0079】

コンピュータプログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

【0080】

また、コンピュータが読み出したコンピュータプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのコンピュータプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0081】

さらに、記録媒体から読み出されたコンピュータプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのコンピュータプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0082】

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にコンピュータプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのコンピュータプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0083】

さらに、本発明を達成するためのコンピュータプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0084】

１０１ ＯＰＣサーバ
１０２ クライアント端末
１０３ サーバ
１０４ 配信用サーバ
１０５ インターネット接続

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】