知財求人 - 知財ポータルサイト「IP Force」
特開2025-1523データ構造、データ表示プログラム、データ生成プログラム及びデータ蓄積処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025001523
(43)【公開日】2025-01-08
(54)【発明の名称】データ構造、データ表示プログラム、データ生成プログラム及びデータ蓄積処理装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20241225BHJP
G06T 19/00 20110101ALI20241225BHJP
【ＦＩ】
G06F3/01 510
G06T19/00 600
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023101153
(22)【出願日】2023-06-20
(71)【出願人】
【識別番号】523236858
【氏名又は名称】株式会社ツクリテ
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(74)【代理人】
【識別番号】100194836
【弁理士】
【氏名又は名称】長谷部 優一
(72)【発明者】
【氏名】川岸 孝輔
(72)【発明者】
【氏名】村上 亜香子
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA09
5B050BA11
5B050BA13
5B050BA18
5B050BA20
5B050CA08
5B050DA01
5B050EA19
5B050EA26
5B050FA02
5B050FA17
5E555AA04
5E555AA27
5E555AA47
5E555BA05
5E555BB05
5E555BC17
5E555BC18
5E555BD01
5E555BE17
5E555CA12
5E555CA42
5E555CB12
5E555CB14
5E555CB37
5E555CB42
5E555CB45
5E555CB46
5E555CB48
5E555CB52
5E555CB53
5E555CC05
5E555CC19
5E555DB11
5E555DB25
5E555DB43
5E555DB51
5E555DB53
5E555DC09
5E555DC13
5E555DC63
5E555DD04
5E555DD07
5E555EA08
5E555EA22
5E555FA00
(57)【要約】
【課題】 より簡便な操作で対象物についてエンドユーザに説明するＡＲシナリオを生成する。
【解決手段】 本発明は、説明対象となる対象物についての説明をコンピュータ上でＡＲ表示する内容が記述された対象物データのデータ構造に関する。そして、本発明の対象物データのデータ構造は、前記対象物の表面をマッピングした結果得られるマッピングデータと、前記マッピングデータに基づく座標系で、前記対象物の表面に配置されるマーカーの位置を示すマーカー情報と前記マーカー情報に対応する前記対象物に関するコンテンツを含む付与情報の組を１又は複数備えるＡＲ表示データとを備えることを特徴とする。
【選択図】 図１
【解決手段】 本発明は、説明対象となる対象物についての説明をコンピュータ上でＡＲ表示する内容が記述された対象物データのデータ構造に関する。そして、本発明の対象物データのデータ構造は、前記対象物の表面をマッピングした結果得られるマッピングデータと、前記マッピングデータに基づく座標系で、前記対象物の表面に配置されるマーカーの位置を示すマーカー情報と前記マーカー情報に対応する前記対象物に関するコンテンツを含む付与情報の組を１又は複数備えるＡＲ表示データとを備えることを特徴とする。
【選択図】 図１
【特許請求の範囲】
【請求項1】
説明対象となる対象物についての説明をコンピュータ上でＡＲ表示する内容が記述された対象物データのデータ構造において、
前記対象物の表面をマッピングした結果得られるマッピングデータと、
前記マッピングデータに基づく座標系で、前記対象物の表面に配置されるマーカーの位置を示すマーカー情報と前記マーカー情報に対応する前記対象物に関するコンテンツを含む付与情報の組を１又は複数備えるＡＲ表示データとを備える
ことを特徴とするデータ構造。
前記対象物の表面をマッピングした結果得られるマッピングデータと、
前記マッピングデータに基づく座標系で、前記対象物の表面に配置されるマーカーの位置を示すマーカー情報と前記マーカー情報に対応する前記対象物に関するコンテンツを含む付与情報の組を１又は複数備えるＡＲ表示データとを備える
ことを特徴とするデータ構造。
【請求項2】
前記マッピングデータは、前記対象物の全体を１つのモデルとしてマッピングしたデータであることを特徴とする請求項１に記載のデータ構造。
【請求項3】
前記ＡＲ表示データには、いずれの前記マーカー情報にも対応しない付与情報を含むことができることを特徴とする請求項１に記載のデータ構造。
【請求項4】
前記対象物データは、前記対象物に関する複数の前記マッピングデータと前記ＡＲ表示データを含むことが可能な構造であることを特徴とする請求項１に記載のデータ構造。
【請求項5】
コンピュータを、請求項１～４のいずれかに記載のデータ構造を備える対象物データに基づいてＡＲ表示するＡＲ表示手段として機能させることを特徴とするデータ表示プログラム。
【請求項6】
コンピュータを、請求項１～４のいずれかに記載のデータ構造を備える対象物データを生成する対象物データ生成手段として機能させることを特徴とするデータ生成プログラム。
【請求項7】
請求項１～４のいずれかに記載のデータ構造を備える対象物データを蓄積して処理する蓄積処理手段を備えることを特徴とするデータ蓄積処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ構造、データ表示プログラム、データ生成プログラム及びデータ蓄積処理装置に関し、例えば、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）処理を行うシステムに適用し得る。
【背景技術】
【0002】
従来、ＡＲ処理により、ユーザに商品の操作等を誘導する技術として特許文献１のシステムが存在する。
【0003】
特許文献１のシステムでは、設定された順序に沿って静止画像や動画の表示や音声出力を含むＡＲコンテンツが記述された「ＡＲシナリオ」を保持している。そして、特許文献１のシステムでは、カメラ、ディスプレイ、ヘッドホン、マイク、光学センサ等を備えた装着体をユーザの頭部に装着させ、当該装着体をユーザインタフェースとしてＡＲシナリオをユーザに提供している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６－２００９２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来のＡＲ処理を行うシステムでは、ユーザへの説明対象となる物体（例えば、操作や使用が可能な物体；以下、単に「対象物」と呼ぶ）についてユーザに説明するＡＲシナリオ（例えば、特許文献１に記載されるようなＡＲシナリオ）を作成するには、対象物を構成するパーツごとの３Ｄモデリングが必要になる等煩雑な操作が必要となるという問題があった。
【0006】
上記のような問題に鑑みて、より簡便な操作で対象物についてエンドユーザに説明するＡＲシナリオを生成することができる情報処理装置、情報処理プログラム、情報処理方法及びデータ構造が望まれている。
【課題を解決するための手段】
【0007】
第１の本発明は、説明対象となる対象物についての説明をコンピュータ上でＡＲ表示する内容が記述された対象物データのデータ構造において、前記対象物の表面をマッピングした結果得られるマッピングデータと、前記マッピングデータに基づく座標系で、前記対象物の表面に配置されるマーカーの位置を示すマーカー情報と前記マーカー情報に対応する前記対象物に関するコンテンツを含む付与情報の組を１又は複数備えるＡＲ表示データとを備えることを特徴とする。
【0008】
第２の本発明のデータ表示プログラムは、コンピュータを、第１の本発明のデータ構造を備える対象物データに基づいてＡＲ表示するＡＲ表示手段として機能させることを特徴とする。
【0009】
第３の本発明のデータ生成プログラムは、コンピュータを、第１の本発明のデータ構造を備える対象物データを生成する対象物データ生成手段として機能させることを特徴とする。
【発明の効果】
【0010】
本発明によれば、より簡便な操作で対象物についてエンドユーザに説明するＡＲシナリオを生成することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係る各装置の接続構成について示したブロック図である。
【図2】実施形態に係るユーザ企業端末の全体構成を示すブロック図である。
【図3】実施形態に係るエンドユーザ端末の全体構成を示すブロック図である。
【図4】実施形態に係るアプリケーションサーバの内部構成について示したブロック図である。
【図5】実施形態に係るユーザ企業管理データ管理部で管理されるユーザ企業管理データのデータ構成の例について示した図である。
【図6】実施形態に係るエンドユーザ端末で、対象物データに基づくＡＲシナリオが再生（表示）される様子について示した図である。
【図7】実施形態に係る対象物データの論理的構造の例について示したブロック図である。
【図8】実施形態に係る対象物管理データの構成例について示した図である。
【図9】実施形態に係るＡＲシーケンスデータのＡＲシーケンス管理データの構成例について示した説明図である。
【図10】実施形態に係るマーカー情報と付与情報の構成例について示した説明図である。
【図11】実施形態にＸＹＺ座標系に対象物が配置された例について示している。
【図12】実施形態に係るＡＲ空間の座標系において原点を設定する例について示している。
【図13】実施形態に係るエンドユーザ端末（対象物データ表示アプリケーション）において、対象物データに基づくＡＲシナリオを再生する動作の例について示したフローチャートである。
【図14】実施形態に係る対象物データ表示アプリケーションによりエンドユーザ端末のタッチパネルディスプレイに表示されるＡＲ表示画面の例について示した図（その１）である。
【図15】実施形態に係る対象物データ表示アプリケーションによりエンドユーザ端末のタッチパネルディスプレイに表示されるＡＲ表示画面の例について示した図（その２）である。
【図16】実施形態に係るユーザ企業端末（対象物データ生成アプリケーション）において、ユーザ企業のオペレータの操作に応じて対象物に関するＡＲシナリオ（対象物データ）を生成する動作の例について示したフローチャートである。
【図17】実施形態に係る対象物データ生成アプリケーションによりユーザ企業端末のタッチパネルディスプレイ１１に表示されるＡＲ生成画面の例について示した図（その１）である。
【図18】実施形態に係る対象物データ生成アプリケーションによりユーザ企業端末のタッチパネルディスプレイ１１に表示されるＡＲ生成画面の例について示した図（その２）である。
【図19】実施形態に係る対象物データ生成アプリケーションによりユーザ企業端末のタッチパネルディスプレイ１１に表示されるＡＲ生成画面の例について示した図（その３）である。
【図20】実施形態の変形例に係る対象物データの論理的構造の例について示したブロック図である。
【図21】変形実施例（その１）に係るユーザ企業端末（対象物データ生成アプリケーション）において、ユーザ企業のオペレータの操作に応じて対象物に関するＡＲシナリオ（対象物データ）を生成する動作の例について示したフローチャートである。
【図22】変形実施例（その２）に係るユーザ企業端末（対象物データ生成アプリケーション）において、オペレータの操作に応じて対象物データＴＤを編集する動作の変形例について示したフローチャートである。
【発明を実施するための形態】
【0012】
（Ａ）主たる実施形態
以下、本発明によるデータ構造、データ表示プログラム、データ生成プログラム及びデータ蓄積処理装置の一実施形態を、図面を参照しながら詳述する。
以下、本発明によるデータ構造、データ表示プログラム、データ生成プログラム及びデータ蓄積処理装置の一実施形態を、図面を参照しながら詳述する。
【0013】
（Ａ－１）実施形態の構成
図１は、この実施形態に係る各装置の接続構成について示したブロック図である。
図１は、この実施形態に係る各装置の接続構成について示したブロック図である。
【0014】
【0015】
情報処理システム１は、エンドユーザへの説明対象 となる対象物ＴＯについて、エンドユーザに対して説明するＡＲシナリオ（以下、単に「ＡＲシナリオ」又は「説明ＡＲシナリオ」と呼ぶ）を含むデータ（以下、「対象物データ」又は「ＡＲシナリオデータ」と呼ぶ）を処理するシステムである。
【0016】
この実施形態では、対象物ＴＯについて対象物データに基づいた説明を受けるユーザ（以下、「対象物データ被提供ユーザ」とも呼ぶ）を「エンドユーザ」と呼び、対象物ＴＯについて対象物データを含む対象物データを生成して提供するユーザ（以下、「対象物データ提供ユーザ」とも呼ぶ）を「ユーザ企業」と呼ぶものとする。ここでは、ユーザ企業は、主として対象物ＴＯ自体を製造又は販売する企業であり、自社の製造又は販売する対象物ＴＯに関する対象物データを生成してインターネットＮＷ上で提供するものとして説明する。また、ここでは、エンドユーザは、対象物ＴＯを使用するユーザであり、対象物ＴＯの使用にあたって対象物データに基づいた説明を受けるものとして説明する。
【0017】
ユーザ企業端末１０は、ＡＲシナリオを処理可能なコンピュータを備えた情報処理端末（例えば、種々のＰＣ、タブレットＰＣ、スマートホン等）に、プログラム（実施形態に係る、「ＡＲシナリオ生成プログラム」又は「データ生成プログラム」を含む）をインストールすることにより構成するようにしてもよい。また、エンドユーザ端末２０は、ＡＲシナリオを処理可能なコンピュータを備えた情報処理端末（例えば、種々のＰＣ、タブレットＰＣ、スマートホン等）に、プログラム（実施形態に係る、「ＡＲシナリオ表示プログラム」又は「データ表示プログラム」を含む）をインストールすることにより構成するようにしてもよい。
【0018】
次に、情報処理システム１の構成について説明する。
【0019】
図１に示す情報処理システム１は、アプリケーションサーバ３０を有している。なお、情報処理システム１を構成する装置（コンピュータ）の数は限定されないものである。例えば、情報処理システム１は、アプリケーションサーバ３０の機能を複数の装置（コンピュータ）を用いて構成するようにしてもよい。そして、図１に示すアプリケーションサーバ３０は、インターネットＮＷを介して、他の装置（端末）と通信可能となっている。この実施形態の例では、ユーザ企業端末１０及びエンドユーザ端末２０は、いずれも対象物データを処理可能な各種デバイスを備えるタブレットＰＣであるものとして説明する。
【0020】
アプリケーションサーバ３０は、主として、各端末との間で対象物データの処理を行う装置である。アプリケーションサーバ３０は、ユーザ企業（ＡＲシナリオ提供ユーザ）の情報（以下、「ユーザ企業情報」と呼ぶ）等や、エンドユーザ（ＡＲシナリオ被提供ユーザ）の情報（以下、「エンドユーザ情報」と呼ぶ）の管理も行うものとする。
【0021】
図２は、この実施形態のユーザ企業端末１０の全体構成を示すブロック図である。
【0022】
図２に示すように、ユーザ企業端末１０は、タッチパネルディスプレイ１１、カメラ１２、情報処理部１３、センサ部１４、マイクロホン１５及びスピーカ１６を有している。
【0023】
情報処理部１３は、ユーザ企業端末１０の全体を制御する機能を担っており、ＡＲシナリオを生成処理する対象物データ生成アプリケーション１３１（実施形態に係る「データ生成プログラム」を含む）を有している。
【0024】
情報処理部１３は、図示しないコンピュータにプログラム（実施形態に係る「データ生成プログラム」を含む）をインストールすることによりソフトウェア的に構成するようにしてもよいし、ハードウェア的に構成（例えば、専用の半導体チップ等を用いて構成）するようにしてもよい。この実施形態では、情報処理部１３は、コンピュータを用いてソフトウェア的に構成されているものとして説明する。
【0025】
カメラ１２は、対象物ＴＯが配置された現実空間を撮像することが可能な撮像手段である。この実施形態において、カメラ１２は、複数のイメージセンサ―（複眼）を備えることにより対象物ＴＯの立体的なスキャニング（３Ｄスキャニング）が可能な構成であるものとして説明する。なお、ユーザ企業端末１０自体に３Ｄスキャニングを行う必要がない場合は、カメラ１２は単眼のカメラであってもよい。
【0026】
タッチパネルディスプレイ１１は、ユーザに画像（例えば、操作画面等の画像）を表示出力（提示）することが可能な表示手段（ディスプレイ機能）と、ユーザからの操作を受け付けることが可能な操作手段（タッチパネル機能）を備えている。
【0027】
センサ部１４は、当該ユーザ企業端末１０の動きを検知するためのセンサ群である。センサ部１４には、例えば、加速度センサやジャイロセンサを含むセンサ群（３ＤスキャニングやＡＲ処理に必要なセンサ群）を適用することができる。
【0028】
図３は、この実施形態のエンドユーザ端末２０の全体構成を示すブロック図である。
【0029】
エンドユーザ端末２０は、タッチパネルディスプレイ２１、カメラ２２、情報処理部２３、センサ部２４、マイクロホン２５及びスピーカ２６を有している。
【0030】
情報処理部２３は、エンドユーザ端末２０の全体を制御する機能を担っており、ＡＲシナリオを再生処理する対象物データ表示アプリケーション２３１（実施形態に係る「データ表示プログラム」に相当するプログラム）を有している。
【0031】
情報処理部２３は、図示しないコンピュータにプログラム（実施形態に係る「データ表示プログラム」に相当するプログラム）をインストールすることによりソフトウェア的に構成するようにしてもよいし、ハードウェア的に構成（例えば、専用の半導体チップ等を用いて構成）するようにしてもよい。この実施形態では、情報処理部２３は、コンピュータを用いてソフトウェア的に構成されているものとして説明する。
【0032】
この実施形態では、エンドユーザ端末２０を構成するその他のデバイス（タッチパネルディスプレイ２１、カメラ２２、センサ部２４、マイクロホン２５及びスピーカ２６）についてはユーザ企業端末１０と同様であるため詳しい説明は省略する。
【0033】
以上のように、ユーザ企業端末１０及びエンドユーザ端末２０は、ハードウェア的には、例えば、ＰＣやタブレットＰＣ等の情報処理装置を用いて構成することができる。
【0034】
図４は、アプリケーションサーバ３０の内部構成について示したブロック図である。
【0035】
アプリケーションサーバ３０は、ＡＲ処理サーバアプリケーション３１及びデータ管理部３２を有している。つまり、アプリケーションサーバ３０は、対象物データを蓄積して処理するデータ蓄積処理手段として、ＡＲ処理サーバアプリケーション３１及びデータ管理部３２を有している。
【0036】
アプリケーションサーバ３０の内部構成は、機能的には図５のように示すことができる。アプリケーションサーバ３０としては、例えば、メモリ及びプロセッサを有するコンピュータ（例えば、ＰＣやワークステーション等）にソフトウェア（実施形態に係る「データ蓄積処理プログラム」を含む）をインストールすることにより構築することができる。
【0037】
ＡＲ処理サーバアプリケーション３１は、各端末との間で対象物データの処理を行う。ＡＲ処理サーバアプリケーション３１は、ユーザ企業端末１０から供給される対象物データについてデータ管理部３２に蓄積して処理する。また、ＡＲ処理サーバアプリケーション３１は、エンドユーザ端末２０からの要求に応じて、対象物データを提供する処理を行う。
【0038】
データ管理部３２は、ＡＲ処理サーバアプリケーション３１の制御に基づいて、対象物データを含むデータの蓄積・管理を行う。データ管理部３２は、ＡＲ処理サーバアプリケーション３１から供給された対象物データ等を蓄積する。また、データ管理部３２は、ＡＲ処理サーバアプリケーション３１から要求された対象物データ等を読み出し、ＡＲ処理サーバアプリケーション３１に供給する。データ管理部３２は、例えば、種々のＤＢＭＳ（Ｄａｔａｂａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）を用いて構築することができる。
【0039】
図４に示すように、データ管理部３２には、少なくとも、ユーザ企業を管理するユーザ企業管理データ管理部３２１と、対象物ＴＯごとの対象物データを含む対象物データＴＤ（ＴＤ－１、ＴＤ－２、・・・）を管理するための対象物データ管理部３２２と、対象物ＴＯの形状をマッピングする際に参照されるリファレンスデータＲＤ（ＲＤ－１、ＲＤ－２、・・・）とを備えている。
【0040】
この実施形態では、対象物データＴＤ－１、ＴＤ－２、・・・、に対して、それぞれ対象物データを識別するＩＤ（以下、「対象物データＩＤ」という）として、１、２、・・・が付与されているものとする。また、この実施形態では、リファレンスデータＲＤ－１、ＲＤ－２、・・・、に対して、それぞれリファレンスデータを識別するＩＤ（以下、「リファレンスＩＤ」と呼ぶ）として、１、２、・・・、が付与されているものとする。
【0041】
図５は、ユーザ企業管理データ管理部３２１で管理されるユーザ企業管理データのデータ構成の例について示した図である。
【0042】
図５に示すように、ユーザ企業管理データには、ユーザ企業ごとに、少なくともユーザ企業を識別するユーザ企業ＩＤと、ユーザ企業名と、当該ユーザ企業に属する対象物データＩＤのリストである対象物データリストの項目のデータが登録されている。例えば、図５では、Ａ社については、ユーザ企業ＩＤとして１が付与されており、対象物データＴＤ－１、ＴＤ－２、ＴＤ－３が属する旨が登録されていることになる。
【0043】
次に、この実施形態における対象物データの概要について、図６を用いて説明する。
【0044】
図６は、この実施形態のエンドユーザ端末２０で、対象物ＴＯに関する対象物データに基づくＡＲシナリオが再生される様子について示した図である。
【0045】
図６では、タブレット端末で構成されたエンドユーザ端末２０と、対象物ＴＯについて図示されている。図２では、エンドユーザ端末２０のタッチパネルディスプレイ２１に、対象物ＴＯに対応する対象物データに基づいた画面（以下、「ＡＲ表示画面」という）が表示されている。
【0046】
具体的には、図６では、エンドユーザ端末２０の対象物データ表示アプリケーション２３１が、カメラ２２により撮影された撮影画像（対象物ＴＯが写りこんだ撮影画像）に、対象物ＴＯの対象物データに基づくマーカーやコンテンツの画像（以下、「ＡＲ画像」と呼ぶ）合成し、タッチパネルディスプレイ２１に表示した状態となっている。
【0047】
上記の通り、対象物ＴＯは、エンドユーザに対して説明対象となりえる物体であり、例えば、種々の操作を伴う工業製品（例えば、産業機器、オーディオ機器等）が該当する。通常、操作を伴う物体（例えば、工業製品等）には、操作部分（例えば、ボタン、ハンドル、レバー、ノブ等）や、表示部分（例えば、ランプ、ディスプレイ、各種メータ等）、可動部分（例えば、開閉可能な蓋、駆動機構等）、危険部分（例えば、高熱を発する部分等）等の説明対象となり得る部分（以下、「説明対象部分」と呼ぶ）が含まれている。
【0048】
この実施形態において、対象物データには、対象物ＴＯの操作部分に関する説明を視覚的に分かりやすく表示（ＡＲ画像として表示）するコンテンツが含まれているものとする。具体的には、この実施形態において、対象物データには、少なくとも対象物ＴＯのリファレンスデータを所定の座標系でマッピング（例えば、点群等により３Ｄマッピング）することにより得られるデータ（以下、「マッピングデータ」と呼ぶ）と、マッピングデータにより表現される対象物ＴＯの３Ｄオブジェクト（点群等により表現された３Ｄ空間上のオブジェクト）上の説明対象部分に配置されたマーカーを定義する情報（以下、「マーカー情報」と呼ぶ）と、各マーカー（説明対象部分）に付与（紐づけ）されたコンテンツ（例えば、説明対象部分に関して説明するためのコンテンツ）を含むデータ（以下、「付与情報」と呼ぶ）とが含まれているものとする。つまり、この実施形態において、対象物データには、対象物ＴＯに対応するマッピングデータと、１以上のマーカー情報と、それぞれのマーカー情報に対応する１以上の付与情報（コンテンツ）が含まれているものとする。なお、１つのマーカーに複数の付与情報が対応づけられている場合もあり得る。
【0049】
次に、対象物データＴＤの論理的なデータ構造の例について図７を用いて説明する。
【0050】
図７は、対象物データＴＤの論理的構造の例について示したブロック図である。
【0051】
図７に示すように、対象物データは、システム的に対象物ＴＯを管理するための情報である対象物管理データＤＤと、１以上のマッピングデータＭＤと、１以上のＡＲシーケンスデータＡＤが含まれている。
【0052】
ＡＲシーケンスデータＡＤは、いずれかのマッピングデータＭＤと対応づけられており、当該マッピングデータＭＤ上のマーカー情報ＰＤと付与情報ＳＤの組を１以上備えるデータである。また、図７に示すように、ＡＲシーケンスデータＡＤ内では、論理的に複数のマーカー情報ＰＤと付与情報ＳＤの組が所定の順序で並べて連結された構造となっており、一連の流れ（以下、この流れを「ＡＲシーケンス」という）を構成している。つまりＡＲシーケンスデータＡＤにおいて、上記のようなＡＲシーケンスの構造を取ることで、網羅的に所定の順序でＡＲのコンテンツ(付与情報ＳＤに基づくコンテンツ)を表示するＡＲシナリオの再生等を可能とする。言い換えると、上記のようなＡＲシーケンスは、ＡＲシナリオの１つのパターンを示しているともいえる。
【0053】
また、図７では、マッピングデータＭＤとＡＲシーケンスデータＡＤが１対１となるようなパターンについて示しているが、１つのマッピングデータＭＤに複数のＡＲシーケンスデータＡＤが紐づくような構成としてもよい。各ＡＲシーケンスデータＡＤに対応するマッピングデータＭＤが一意に定まっていれば良いためである。なお、この実施形態の例においては、マッピングデータＭＤとＡＲシーケンスデータＡＤが１対１となるようなパターンについて説明する。
【0054】
また、図７では、説明を簡易とするために、各マッピングデータＭＤを生成する際に元となったリファレンスデータＲＤも図示しているが、既にマッピングデータＭＤが生成された状態であれば、対象物データＴＤの処理においてリファレンスデータＲＤの存在は必須ではない。
【0055】
図７に示す対象物データＴＤにおいて、マッピングデータＭＤ－１、ＭＤ－２、・・・にはそれぞれＩＤとして１、２、・・・が付与されており、ＡＲシーケンスデータＡＤ－１、ＡＤ－２、・・・にはそれぞれＩＤとして１、２、・・・が付与されているものとする。また、図７に示すＡＲシーケンスデータＡＤ－１では、マーカー情報ＰＤ１－１、ＰＤ、１－２、・・・、ＰＤ－１－Ｎ（Ｎは１以上の整数）にはそれぞれＩＤとして１、２、・・・、Ｎが付与されており、付与情報ＳＤ－１－１、ＳＤ－１－２、ＳＤ－１－Ｍ（Ｍは１以上の整数）にはそれぞれＩＤとして１、２、・・・、Ｍが付与されているものとする。
【0056】
図８は、対象物管理データＤＤの構成例について示した図である。
【0057】
図８に示すように対象物管理データＤＤには、当該対象物データＴＤの識別子である「対象物ＩＤ」、及び「ユーザ企業ＩＤ」（当該対象物データＴＤが属するユーザ企業のユーザ企業ＩＤ）、当該対象物データＴＤに対応する対象物ＴＯの名称である「対象物名称」が含まれている。
【0058】
図９は、ＡＲシーケンスデータＡＤ－１のＡＲシーケンス管理データＡＲＭの構成例について示した説明図である。
【0059】
図９に示すようにＡＲシーケンス管理データＡＲＭには、当該ＡＲシーケンスデータＡＤの識別子である「ＡＲシーケンスＩＤ」、当該ＡＲシーケンスデータＡＤに対応するマッピングデータのＩＤ（マッピングデータＩＤ）が設定されている。
【0060】
例えば、図９では、図８に示すＡＲシーケンスデータＡＤ－１のＡＲシーケンス管理データＡＲＭを示しているので、ＡＲシーケンスＩＤとしては「１」が設定され、マッピングデータＩＤとしては対応するマッピングデータＭＤ－１の識別子である「１」が設定されている。
【0061】
図１０は、マーカー情報ＰＤと付与情報ＳＤの構成例について示した説明図である。
【0062】
図１０では、マーカー情報ＰＤ－１－２と、マーカー情報ＰＤ－１－２に対応付けられた２つの付与情報ＳＤ－１－２、ＳＤ－１－３の具体的な構成例について示している。
【0063】
図１０に示すようにマーカー情報ＰＤには、対応するマーカーの識別子である「マーカーＩＤ」、対応するマーカーの位置（対応するマッピングデータＭＤの座標系における位置；座標）を示す「マーカー位置」（Ｘ、Ｙ、Ｚの各値）、当該マーカーのサイズを示す「マーカーサイズ」、当該マーカーに対応する付与情報のＩＤのリストである「付与情報リスト」が含まれている。この実施形態のマーカー情報で定義されるマーカーは、マーカー位置を中心としマーカーサイズを半径とする円形の領域（対象物ＴＯの３Ｄオブジェクトの表面に沿った領域）であるものとする。マーカーサイズの単位の表現は限定されないものであるが、例えば、マッピングデータＭＤの座標系の単位としてもよい。例えば、マーカー位置を（Ｘ，Ｙ，Ｚ）＝（０，０，０）としマーカーサイズを１０とすれば、当該マーカーは、例えば原点（０，０，０）を中心とした半径１０単位の円となる。マーカーサイズは、固定値としてもよいし、ユーザの操作に応じて変動する値としてもよい。また、マーカーの形状は円形に限定されず矩形等の多角形としてもよい。
【0064】
図１０に示すように、付与情報ＳＤには、当該付与情報の識別子である「付与情報ＩＤ」と、当該付与情報に対応するコンテンツのタイプを示す「コンテンツタイプ」と、当該コンテンツにアクセスするためのリンク先を示す「コンテンツリンク先」と、当該付与情報の次の順序の付与情報の識別子を示す「ネクストシーケンス」が含まれている。
【0065】
コンテンツタイプには、例えば、テキスト（例えば、ｔｘｔファイル等）、画像（例えば、ＪＰＥＧやＴＩＦＦファイル等）、動画（例えば、ＭＰＥＧファイル等）、ホームページ（例えば、ＨＴＭＬファイル等）を指定可能とすることが挙げられる。コンテンツタイプに指定可能なタイプの種類の数や組み合わせについては限定されないものである。この実施形態の例では、コンテンツタイプは、テキストであることを示す「ｔｅｘｔ」、画像であることを示す「ｉｍａｇｅ」、動画であることを示す「ｍｏｖｉｅ」、ホームページであることを示す「ｈｔｍｌ」等が設定されるものとして説明する。
【0066】
コンテンツリンク先は、インターネット上のＵＲＬとしてもよいし、コンテンツに対応する所定のファイルへアクセスするパス（例えば、ファイルサーバ上のパス等）としてもよい。
【0067】
ネクストシーケンスは、同じマーカー情報ＰＤに複数の付与情報ＳＤが対応している場合の順序（シーケンス）を示している。つまり、ネクストシーケンスは、例えば、エンドユーザ端末２０において、同じマーカーに対応する複数のコンテンツを再生する場合の順序（シーケンス）を示すことになる。なお、最後の順序（シーケンス）の付与情報ＳＤのネクストシーケンスは「ＥＮＤ」となる。また、１つのマーカー情報ＰＤに１つだけ付与情報ＳＤが対応づけられている場合、当該付与情報ＳＤのネクストシーケンスはＥＮＤとなる。例えば、図１０では、付与情報ＳＤ１－２のネクストシーケンスは３（付与情報ＳＤ－１－３のＩＤ）であり、付与情報ＳＤ－１－３のネクストシーケンスはＥＮＤとなる。つまり、ＡＲシーケンスデータＡＤでは、マーカー情報ＰＤのシーケンス構造と、各マーカー情報ＰＤの配下における付与情報ＳＤのシーケンス構造により木構造のシーケンスが形成されている。
【0068】
次に、各対象物データＴＤのマッピングデータＭＤにいて定義される座標系（対象物ＴＯを中心としたＡＲ空間の座標系）の例について図１１、図１２を用いて説明する。図１１、図１２の例では、対象物ＴＯは、操作部分として４つのノブ（ダイアル）を備えるオーディオインタフェースとなっている。
【0069】
図１１では、位置Ｐ０を原点としたＸＹＺ座標系に対象物ＴＯが配置された例について示している。図１２では、ＡＲ空間の座標系において原点Ｐ０を設定する例について示している。図１２では、原点Ｐ０を、対象物ＴＯのバウンディングボックスＢＢのいずれかの頂点とする例について示している。
【0070】
（Ａ－２）実施形態の動作
以下、この実施形態に係る各装置（各プログラム）の動作について説明する。
以下、この実施形態に係る各装置（各プログラム）の動作について説明する。
【0071】
図１３は、エンドユーザ端末２０（対象物データ表示アプリケーション２３１）において、対象物ＴＯに関するＡＲシナリオを再生する動作の例について示したフローチャートである。
【0072】
なお、図１３に示す対象物データ表示アプリケーション２３１の処理については、ＡＲに関わるミドルウェア（例えば、ＡＲＫｉｔ等のミドルウェア）等を用いて実現するようにしてもよい。
【0073】
【0074】
まず、ここでは、エンドユーザによりエンドユーザ端末２０が操作され、対象物データ表示アプリケーション２３１が起動したものとする。対象物データ表示アプリケーション２３１は起動するとカメラ２２で撮像した画像をタッチパネルディスプレイ２１に表示させる。また、このとき、対象物データ表示アプリケーション２３１は、図１４（ａ）に示すように、エンドユーザに対象物ＴＯがカメラ２２の視野内に入るように誘導するメッセージ（「対象物が写るようにカメラを向けてください」のようなメッセージ）を表示する。そして、ここでは、対象物データ表示アプリケーション２３１は、カメラ２２で撮影された画像（例えば、複眼のカメラにより撮像された画像）やセンサ部２４の検知結果等に基づいて、対象物ＴＯの３Ｄスキャニングデータを作成してその結果を取得したものとする（Ｓ１０１）。このとき、対象物データ表示アプリケーション２３１は、対象物ＴＯをスキャニングした結果として、マッピングデータを取得するようにしてもよい。図１４、図１５では、タッチパネルディスプレイ２１上に表示された対象物ＴＯの画像（撮影画像）をＴＯＧとしている。
【0075】
次に、対象物データ表示アプリケーション２３１は、取得したスキャニング結果（マッピングデータ）に基づいて候補となる対象物データＴＤを特定し、候補となる対象物データＴＤの対象物名称をユーザに提示して、今回処理対象となる対象物ＴＯの選択を受け付けるものとする（Ｓ１０２）。
【0076】
例えば、対象物データ表示アプリケーション２３１からＡＲ処理サーバアプリケーション３１に、スキャニング結果を送信し、ＡＲ処理サーバアプリケーション３１側で候補となる対象物データＴＤを特定するようにしてもよい。スキャニング結果から、候補となる対象物データＴＤを特定する方法については限定されないものであるが、例えば、スキャニング結果から特徴量（ベクトルデータ）を取得し、類似する（所定以上一致度の高い）マッピングデータを備える対象物データを対象物データ管理部３２２から１又は複数抽出して、抽出した対象物データＴＤを候補とするようにしてもよい。対象物データ管理部３２２からスキャニング結果と類似するマッピングデータを備える対象物データを抽出する処理については、対象物データ表示アプリケーション２３１がＡＲ処理サーバアプリケーション３１に依頼するようにしてもよい。このとき、対象物データ表示アプリケーション２３１は、図１４（ｂ）に示すような操作画面（対象物名称のリストからいずれかを選択させる操作画面）をエンドユーザに提示していずれかの対象物名称を選択させるようにしてもよい。なお、対象物データ表示アプリケーション２３１は、候補となる対象物データＴＤが1つのみの場合は、エンドユーザに選択させるプロセスを省略するようにしてもよい。
【0077】
なお、対象物データ表示アプリケーション２３１は、対象物ＴＯを特定する識別情報（例えば、型番や名称等の情報）について入力を受けたり、メニュー画面等により対象物ＴＯの選択を受け付けるようにしてもよい。
【0078】
以上のような処理により、対象物データ表示アプリケーション２３１は、スキャニングした対象物ＴＯに対応する対象物データＴＤ特定して、ＡＲ処理サーバアプリケーション３１から取得する（Ｓ１０３）。
【0079】
そして、対象物データ表示アプリケーション２３１は、取得した対象物データＴＤから、いずれかのＡＲシーケンスデータＡＤを選択し、さらに選択したＡＲシーケンスデータＡＤに対応するマッピングデータＭＤを取得する。そして、対象物データ表示アプリケーション２３１は、取得したマッピングデータＭＤに基づいて、対象物ＴＯの表面をマッピングすると共に、ＡＲシーケンスデータＡＤから取得した各マーカー情報ＰＤに従って、ＡＲ表示画面（タッチパネルディスプレイ２１）にマーカーの画像を合成表示させる（Ｓ１０４）。
【0080】
図１５（ａ）では、ＡＲ表示画面上で、対象物ＴＯの４つのノブ（操作部分）のそれぞれにマーカーＭ１０１～Ｍ１０４（ハッチが付された領域）を合成表示させた状態について図示している。
【0081】
そして、対象物データ表示アプリケーション２３１は、いずれかのマーカーＭ１０１～Ｍ１０４が操作（例えば、タッチパネルディスプレイ２１上でタッチする操作等）されると、操作されたマーカーに対応する付与情報ＳＤのコンテンツ（コンテンツリンク先のコンテンツ）を、ＡＲ表示画面に表示させる（Ｓ１０５）。
【0082】
図１５（ｂ）では、マーカーＭ１０１が操作され、マーカーＭ１０１のマーカー情報ＰＤに対応する付与情報ＳＤのコンテンツ（テキスト表示のポップアップウィンドウ）がＡＲ表示画面に合成表示された状態について図示している。
【0083】
図１６は、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、ユーザ企業のオペレータの操作に応じて対象物ＴＯに関する対象物データ（ＡＲシナリオデータ）を生成する動作の例について示したフローチャートである。
【0084】
【0085】
なお、図１６に示す対象物データ生成アプリケーション１３１の処理において、ＡＲに関わるミドルウェア（例えば、ＡＲＫｉｔ等のミドルウェア）等を用いて実現するようにしてもよい。
【0086】
まず、ここでは、オペレータによりユーザ企業端末１０が操作され、対象物データ生成アプリケーション１３１が起動し、対象物データ生成の処理が開始（例えば、オペレータによる任意のメニュー操作により開始）されたものとする。対象物データ生成アプリケーション１３１は、対象物データ生成の処理を開始すると、まず、対象物データＴＤの生成対象となる対象物ＴＯに関する情報（例えば、対象物管理データＤＤの各項目）の入力受付処理（以下、「情報入力処理」と呼ぶ）を受け付ける（Ｓ２００）。情報入力処理については、対象物管理データＤＤの各項目の情報入力を受けることができれば良いため、詳細な画面構成については図示を省略する。
【0087】
次に、対象物データ生成アプリケーション１３１は、カメラ１２で撮像した画像をタッチパネルディスプレイ１１に表示させる。また、このとき、対象物データ生成アプリケーション１３１は、図１７（ａ）に示すように、エンドユーザに対象物ＴＯがカメラ１２の視野内に入るように誘導するメッセージ（「対象物が写るようにカメラを向けてください」のようなメッセージ）を表示する。そして、ここでは、対象物データ生成アプリケーション１３１は、カメラ１２で撮影された画像（例えば、複眼のカメラにより撮像された画像）やセンサ部１４の検知結果等に基づいて、対象物ＴＯを３Ｄスキャニングしてマッピングデータを取得する（Ｓ２０１、Ｓ２０２）。図１７～図１９では、タッチパネルディスプレイ１１上に表示された対象物ＴＯの画像（撮影画像）をＴＯＧとしている。
【0088】
次に、対象物データ生成アプリケーション１３１は、取得したマッピングデータに基づくＡＲ処理により、図１７（ｂ）のようなＡＲ生成画面を表示し、オペレータから設定するマーカー位置（３Ｄ座標）の入力を受け付ける処理を行う（Ｓ２０３）。
【0089】
具体的には、対象物データ生成アプリケーション１３１は、現在カメラ２２で撮影されている対象物ＴＯの表面上に、マッピングデータを構成する点群の特徴点をマッピングし、さらに、ＡＲ生成画面（タッチパネルディスプレイ２１）上の位置（２Ｄ座標）と対象物ＴＯの表面上の３Ｄ座標とを相互に変換可能とする。これにより、対象物データ生成アプリケーション１３１は、ＡＲ生成画面（タッチパネルディスプレイ２１）でタッチされた位置（２Ｄ座標）に応じた３Ｄ座標（対象物ＴＯの表面上の位置）を、オペレータから入力されたマーカー位置の座標として入力を受け付けることができる。ここでは、図１８（ａ）に示すように、オペレータにより対象物ＴＯを構成するノブ（ダイアル）が表示された位置Ｐ２０１がタッチされたものとする。なお、このような座標変換の処理については、種々のＡＲ処理のミドルウェアの機能を用いるようにしてもよい。
【0090】
次に、対象物データ生成アプリケーション１３１は、オペレータから入力されたマーカー位置に対応するコンテンツ（追加データ）の入力を受け付ける処理を行う（Ｓ２０４）。
【0091】
このとき、対象物データ生成アプリケーション１３１は、マーカー位置に対応するコンテンツ（追加データ）の種類及びその内容の入力を受け付けるＧＵＩウィンドウをＡＲ生成画面に表示するようにしてもよい。例えば、対象物データ生成アプリケーション１３１は、図１８（ｂ）のように、複数種類のメディアの選択肢（図１８（ｂ）では、「テキスト」、「画像」、「動画」、「音声」・・・の各ボタン）が配置されたポップアップウィンドウを表示することにより、マーカー位置に対応するコンテンツ（追加データ）の種類を受け付け、選択された種類に応じたデータ入力を受け付けるようにしてもよい。例えば、図１８（ｂ）において、マーカー位置に対応するコンテンツ（追加データ）の種類としてテキストが選択された場合、対象物データ生成アプリケーション１３１は、図１９（ａ）、図１９（ｂ）に示すようにテキスト入力可能なポップアップウィンドウを追加表示して入力を受け付けるようにしてもよい。対象物データ生成アプリケーション１３１は、入力されたマーカー位置とコンテンツ（追加データ）を対応付けて一時的に記憶する。
【0092】
次に、対象物データ生成アプリケーション１３１は、次のマーカー位置の入力の有無を判断し（Ｓ２０５）、次のマーカー位置の入力があった場合上述のステップＳ２０３の処理に移行し、そうでない場合は、ステップＳ２０４の処理に移行する。例えば、対象物データ生成アプリケーション１３１は、図１７（ｂ）に示すように、マーカー位置の入力受付の際に、ＡＲシナリオの生成を終了するか否かを受け付けるためのボタン(「終了」と文字が付されたボタン)を配置して、当該ボタンを用いて次のマーカー位置の入力がない旨の入力を受け付けるようにしてもよい。
【0093】
次のマーカー位置の入力がない場合、対象物データ生成アプリケーション１３１は、ステップＳ２０３、Ｓ２０４で入力されたデータ（マーカー位置とコンテンツ（追加データ）の組）に基づいて、ＡＲシーケンスデータを生成し、さらにマッピングデータ（ステップＳ２０２で生成したマッピングデータ）及びその他の情報（ステップＳ２０１の情報入力処理で取得した情報）等と併せて、図７に示すような構造の対象物データＴＤを生成し、アプリケーションサーバ３０（ＡＲ処理サーバアプリケーション３１）に送信（アップロード）する（Ｓ２０６）。また、このとき、対象物データ生成アプリケーション１３１は、生成したマッピングデータの元となる３Ｄスキャニングした結果自体についても、アプリケーションサーバ３０にリファレンスデータＲＤとしてアップロードしてもよい。このとき、アプリケーションサーバ３０（ＡＲ処理サーバアプリケーション３１）では、新たな対象物データＴＤのアップロードを受けると、当該対象物データＴＤについて新規にＩＤを付与して対象物データ管理部３２２に追加登録すると共に、ユーザ企業管理データ管理部３２１のユーザ企業管理データを更新（対応するユーザ企業ＩＤの対象物データリストに追加した対象物データＴＤのＩＤを追加登録）する処理を行う。また、このとき、アプリケーションサーバ３０（ＡＲ処理サーバアプリケーション３１）は、リファレンスデータＲＤのアップロードも受けている場合には、当該リファレンスデータＲＤについてリファレンスデータ管理部３２３に追加登録すると共に、同時にアップロードを受けた対象物データと紐づけて管理する。
【0094】
以上のように対象物データ生成アプリケーション１３１は、マッピングデータＭＤとＡＲシーケンスデータＡＤを生成し、対象物データＴＤとしてアプリケーションサーバ３０（ＡＲ処理サーバアプリケーション３１）に送信する。
【0095】
（Ａ－３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
この実施形態によれば、以下のような効果を奏することができる。
【0096】
この実施形態の情報処理システム１では、図７に示すように、対象物データＴＤを用いてＡＲシナリオを生成・保持するので、図１６に示すような簡便な操作（マーカー設定及び付与情報設定の繰り返し）だけで、生成の受付処理を行うことができる。特に、この実施形態の対象物データＴＤでは、対象物の部品ごとにマッピングやモデリングすることを要せずに全体を１つの塊のオブジェクトとして捉えたマッピングデータＭＤで定義したうえで、マーカー情報をオーバーレイし、各マーカー情報に付与情報ＳＤ（コンテンツ）をリンクさせるという簡便なデータ構造となっているため、上記のような簡便な操作での対象物データの作成が可能となっている。例えば、従来のＡＲシナリオを定義したデータ構造では、複数の部品を備えるオブジェクトについて部品ごとのマッピングデータを定義し、各部品のマッピングデータについてコンテンツを付与するといったデータ構造になっているため、部品ごとのマッピングデータを取得するという極めて煩雑な処理が必要であった。これに対して、この実施形態の対象物データＴＤでは、上記の通り対象物ＴＯを１つのオブジェクトとして捉えたマッピングデータＭＤで定義した上で、１つのマッピングデータＭＤによって定義される１つのオブジェクト上にマーカー（マーカー情報ＰＤ）をマッピングし、各マーカーに付与情報ＳＤ（コンテンツ）をリンクするという構造になっている。そのため、この実施形態の対象物データＴＤは、対象物ＴＯについて、エンドユーザに対して説明するＡＲシナリオのデータを構成する上で、簡便な構造でありながら十分な情報量を付与することが可能となっている。
【0097】
特に、この実施形態の対象物データＴＤでは、対象物管理データＤＤ、マッピングデータＭＤ及びＡＲシーケンスデータについて別個に管理し、個別に置換や編集が容易な構造となっている。さらに、ＡＲシーケンスデータＡＤの中身自体も同様に、ＡＲシーケンス管理データＡＲＭ、マーカー情報ＰＤ及び付与情報ＳＤについて別個に管理、個別に置換や編集が容易な構造となっている。この実施形態の対象物データＴＤでは上記のように個別のデータについて容易に置換可能な構造とすることで、上記のような簡便な操作での対象物データの作成を可能としている。なお、通常のＡＲシナリオを構成するデータ（例えば、ＡＲＫｉｔ等のプラットフォームで通常処理されるデータ形式）は、バイナリーデータの塊となっているため、この実施形態の対象物データＴＤのように容易に置換可能な構造とはなっていない。
【0098】
また、この実施形態では、対象物データＴＤによって、実物の製品である対象物ＴＯに対して仮想的な情報を付与することで、エンドユーザ（例えば、工場や生産現場）での、対象物ＴＯの実践的な利用を促すことができる。例えば、この実施形態の対象物データＴＤに基づくＡＲシナリオの提供を受けるエンドユーザでは、対象物ＴＯに関する効率的な操作やメンテナンスが可能となる。具体的には、例えば、従来はＰＤＦや紙のマニュアルを参照しながら手順を確認して対象物ＴＯ（例えば、種々の設備や製品）に関する操作をしていた作業者が、ＡＲによって製品に対して仮想的に映し出された動画、図面、音声、テキスト等のコンテンツにより手順を確認しながら作業を行うことができる。このように、エンドユーザ端末２０では、対象物データＴＤに基づくＡＲシナリオにより必要な情報を瞬時に表示するので、エンドユーザにとって対象物ＴＯの効率的な操作やメンテナンスが可能となり、生産性の向上に繋がる。さらに、エンドユーザは、対象物データＴＤに基づくＡＲシナリオ（ＡＲサービス）を利用することで、対象物ＴＯを使用した業務のトレーニングを促進することができる。例えば、エンドユーザは、対象物データＴＤに基づいてＡＲ表示された対象物ＴＯに対して作業を行うことで、実際に対象物ＴＯに触れながらトレーニングを行うことができる。また、上記の通り、この実施形態では、ユーザ企業端末１０において、簡便に対象物データＴＤ（ＡＲシナリオ）を作成することができるため、企業内等での対象物ＴＯに関するノウハウの共有がしやすくなる。以上のように、この実施形態のエンドユーザでは、対象物データＴＤに基づくＡＲシナリオによって従業員のトレーニングや企業内での知識共有が促進され、生産現場におけるスキルアップに繋がる。
【0099】
（Ｂ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0100】
（Ｂ－１）上記の実施形態の対象物データＴＤを構成するＡＲシーケンスデータＡＤでは、全ての付与情報ＳＤはいずれかのマーカー情報ＰＤとリンクしているが、一部又は全部の付与情報ＳＤについてマーカー情報とリンクさせない構造（つまり、付与情報ＳＤについてマッピングデータＭＤと直結した構造）としてもよい。例えば、図２１では、ＡＲシーケンスデータＡＤ－１において付与情報ＳＤ－１－２、ＳＤ－１－３にはいずれのマーカー情報ＰＤもリンクされていない。この場合、エンドユーザ端末２０（対象物データ表示アプリケーション２３１）では、ＡＲ表示画面で、マーカー情報ＰＤとリンクしていない付与情報ＳＤ（コンテンツ）について、所定のアクション（例えば、所定のボタンやキーの押下）に応じて、表示する付与情報ＳＤ（コンテンツ）を次々と切替（例えば、識別番号やネクストシーケンス等により定まる順序で切替）表示するようにしてもよい。また、この場合、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）では、ＡＲ生成画面で、マーカーの位置選択を受け付ける際に所定のアクション（例えば、所定のボタンやキーの押下）に応じて、マーカーとリンクしないコンテンツ（付与情報ＳＤ）の入力を受け付けるようにしてもよい。
【0101】
（Ｂ－２）上記の実施形態において、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）は、対象物ＴＯを３Ｄスキャニングしてマッピングデータを取得する処理を行っている（図１６のステップＳ２０１、Ｓ２０２参照）が、マッピングデータについて、ＡＲシナリオ作成の対象となる対象物ＴＯと同一又は形状が一致する対象物ＴＯの対象物データＴＤのマッピングデータを流用（例えば、アプリケーションサーバ３０からダウンロードして取得）するようにしてもよい。
【0102】
図２１は、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、ユーザ企業のオペレータの操作に応じて対象物ＴＯに関する対象物データ（ＡＲシナリオデータ）を生成する動作の変形例（その１）について示したフローチャートである。
【0103】
【0104】
まず、ここでは、オペレータによりユーザ企業端末１０が操作され、対象物データ生成アプリケーション１３１が起動し、対象物データ生成の処理が開始されたものとする。対象物データ生成アプリケーション１３１は、対象物データ生成の処理を開始すると、まず、情報入力処理（対象物管理データＤＤの各項目の入力処理）を受け付ける（Ｓ２００）。なお、ここでのステップＳ２００の処理は、上記の図１６と同様の処理となるため、詳しい説明は省略する。
【0105】
次に、対象物データ生成アプリケーション１３１は、カメラ２２で撮像した画像をタッチパネルディスプレイ２１に表示させる。また、このとき、対象物データ生成アプリケーション１３１は、オペレータに対象物ＴＯがカメラ２２の視野内に入るように誘導するメッセージ（「対象物が写るようにカメラを向けてください」のようなメッセージ）を表示する。そして、ここでは、対象物データ生成アプリケーション１３１は、カメラ２２で撮影された画像（例えば、複眼のカメラにより撮像された画像）やセンサ部２４の検知結果等に基づいて、対象物ＴＯの３Ｄスキャニングデータを作成してその結果を取得したものとする（Ｓ３０１）。
【0106】
次に、対象物データ生成アプリケーション１３１は、取得したスキャニング結果に基づいて候補となる対象物データＴＤを特定し、候補となる対象物データＴＤの対象物名称をユーザに提示して、今回処理対象となる対象物ＴＯの選択を受け付けるものとする（Ｓ３０２）。
【0107】
なお、ステップＳ３０１、Ｓ３０３の処理は、上述の図１３に示すエンドユーザ端末２０（対象物データ表示アプリケーション２３１）の処理（ステップＳ１０１、Ｓ１０２と同様の処理を適用することができるため、詳しい説明を省略する。
【0108】
以上のような処理により、対象物データ生成アプリケーション１３１は、スキャニングした対象物ＴＯに対応する対象物データＴＤ（マッピングデータＭＤとＡＲシーケンスデータＡＤの組）特定してＡＲ処理サーバアプリケーション３１から取得し、さらに、取得した対象物データＴＤから対応するマッピングデータＭＤのみを取得することができる（Ｓ３０３）。なお、特定した対象物データＴＤに複数のマッピングデータが存在する場合は最もスキャニングした結果（ステップＳ３０１で取得したスキャニングデータ）に近いマッピングデータＭＤを取得するようにしてもよい。
【0109】
【0110】
以上のように、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、ＡＲシナリオを作成する際に、他の対象物データＴＤのマッピングデータを流用することができる。
【0111】
３Ｄスキャニングしてマッピングデータを取得する処理は、高精度に実行しようとすると非常に処理量が多く、ユーザ企業端末１０のスペックによっては非常に長い時間がかかったり、作業用メモリ等の記憶容量が不足することが予測される。そのため、上記のように、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、ＡＲシナリオ作成の際に、ＡＲシナリオ作成の対象となる対象物ＴＯと同一又は形状が一致する対象物ＴＯの対象物データＴＤのマッピングデータをダウンロードすることで効率的な処理が可能となる。つまり、図７に示すように、対象物データＴＤにおいて、対象物管理データＤＤ、マッピングデータＭＤ及びＡＲシーケンスデータＡＤを管理することにより、上記のようなマッピングデータの流用が可能となる。ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、ＡＲシナリオを作成する際に、他の対象物データＴＤのマッピングデータを流用する場合、例えば、図２１のようなフローチャートの処理で実現することができる。
【0112】
（Ｂ－３）上記の実施形態（上述の図１６、図２１）では、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）が、新規に対象物データＴＤを生成する処理について説明したが、すでに登録されている対象物データＴＤについて編集可能とするようにしてもよいし、複数のオペレータ（ユーザ企業端末１０）により同時に１つの対象物データＴＤの編集（例えば、マーカー情報及び付加情報の追加編集削除等）を可能としてもよい。
【0113】
図２２は、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、ユーザ企業のオペレータの操作に応じて対象物データＴＤを編集する動作の変形例について示したフローチャートである。
【0114】
まず、ここでは、オペレータによりユーザ企業端末１０が操作され、対象物データ生成アプリケーション１３１が起動し、対象物データの編集処理が開始されたものとする。対象物データ生成アプリケーション１３１は、対象物データの編集処理を開始すると、カメラ２２で撮像した画像をタッチパネルディスプレイ２１に表示させる。また、このとき、対象物データ生成アプリケーション１３１は、オペレータに対象物ＴＯがカメラ２２の視野内に入るように誘導するメッセージ（「対象物が写るようにカメラを向けてください」のようなメッセージ）を表示する。そして、ここでは、対象物データ生成アプリケーション１３１は、カメラ２２で撮影された画像（例えば、複眼のカメラにより撮像された画像）やセンサ部２４の検知結果等に基づいて、対象物ＴＯの３Ｄスキャニングデータを作成してその結果を取得したものとする（Ｓ４０１）。
【0115】
次に、対象物データ生成アプリケーション１３１は、取得したスキャニング結果に基づいて候補となる対象物データＴＤを特定し、候補となる対象物データＴＤの対象物名称をユーザに提示して、今回処理対象となる対象物ＴＯの選択を受け付けるものとする（Ｓ４０２）。
【0116】
以上のような処理により、対象物データ生成アプリケーション１３１は、スキャニングした対象物ＴＯに対応する対象物データＴＤ特定してＡＲ処理サーバアプリケーション３１から取得し、さらに、取得した対象物データＴＤから対応するマッピングデータＭＤと当該マッピングデータＭＤに紐づくＡＲシーケンスデータを読み込む（Ｓ４０３）。なお、特定した対象物データＴＤに複数のマッピングデータが存在する場合は最もスキャニングした結果（ステップＳ３０１で取得したスキャニングデータ）に近いマッピングデータＭＤと当該マッピングデータＭＤに紐づくＡＲシーケンスデータＡＤを読み込むようにしてもよい。
【0117】
なお、ステップＳ４０１～Ｓ４０３の処理は、上述の図１３に示すエンドユーザ端末２０（対象物データ表示アプリケーション２３１）の処理（ステップＳ１０１～Ｓ１０３と同様の処理を適用することができるため、詳しい説明を省略する。
【0118】
次に、対象物データ生成アプリケーション１３１は、取得したマッピングデータＭＤ及びＡＲシーケンスデータＡＤに基づくＡＲ処理により、図１７（ｂ）のようなＡＲ生成画面を表示し、オペレータから設定するマーカー位置（３Ｄ座標）の入力を受け付ける処理を行う（Ｓ４０４）。ステップＳ４０４の処理は、上述のステップＳ２０３と同様の処理であるため詳しい説明を省略する。
【0119】
次に、対象物データ生成アプリケーション１３１は、オペレータから入力されたマーカー位置に対応するコンテンツ（追加データ）の入力を受け付ける処理を行い、対象物データ生成アプリケーション１３１は、入力されたマーカー位置とコンテンツ（追加データ）を対応付けて一時的に記憶する（Ｓ４０５）。ステップＳ４０５の処理は、上述のステップＳ２０４と同様の処理であるため詳しい説明を省略する。
【0120】
次に、対象物データ生成アプリケーション１３１は、ステップＳ４０４で保持したマーカー位置に対応するマーカー情報ＰＤと、ステップＳ４０４で保持したコンテンツに対応する付与情報ＳＤを生成し、生成したマーカー情報ＰＤと生成した付与情報ＳＤとを紐づけ（例えば、図１０のように相互に紐づけ）、アプリケーションサーバ３０（ＡＲ処理サーバアプリケーション３１）に送信して、編集対象となる対象物データＴＤのＡＲシーケンスデータＡＤに追加登録させる（Ｓ４０６）。
【0121】
次に、対象物データ生成アプリケーション１３１は、次のマーカー位置の入力の有無を判断し（Ｓ４０７）、次のマーカー位置の入力があった場合上述のステップＳ４０４の処理に移行し、そうでない場合は対象物データＴＤの編集処理を終了する。ステップＳ４０７の処理については、上述のステップＳ２０５と同様であるため詳しい説明を省略する。
【0122】
以上のように、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、対象物データＴＤ（ＡＲシーケンスデータＡＤ）について編集を受け付けることができる。なお、図２２では、対象物データＴＤ（ＡＲシーケンスデータＡＤ）に対して新たなマーカー情報ＰＤと付与情報ＳＤの組を追加する例について示したが、削除（例えば、登録済のマーカー情報ＰＤや付与情報ＳＤの削除）や、付与情報ＳＤのみの追加（例えば、登録済のマーカー情報ＰＤへの付与情報ＳＤの追加）や、変更（例えば、マーカー情報ＰＤに設定されたマーカー位置の変更や、マーカー情報ＰＤに付加する付与情報ＳＤの変更）等の種々の編集処理を受付けて、アプリケーションサーバ３０（ＡＲ処理サーバアプリケーション３１）上のデータに反映可能とするようにしてもよい。
【0123】
ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、対象物データＴＤ（ＡＲシーケンスデータＡＤ）上の各データの編集（追加・削除・変更）については、上記の図２２のフローチャートに示すようなＡＲ処理を伴う操作画面ではなく、単なるデータベースの各項目についてデータ編集操作（図７に示すような構造のデータベースのデータ編集操作）を受け付けるようにしてもよい。この場合、アプリケーションサーバ３０（ＡＲ処理サーバアプリケーション３１）は、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）の要求に従ったデータベース編集処理（主としてＡＲシーケンスデータを構成するマーカー情報や付与情報の追加・変更・削除の処理）を受け付けるようにしてもよい。
【0124】
以上のように、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、簡便な操作で対象物データＴＤ（ＡＲシーケンスデータＡＤ）について編集を受け付けることができるのは、この実施形態の対象物データＴＤが上記のように個別のデータについて容易に置換可能な構造となっているためである。また、この実施形態の対象物データＴＤでは、対象物データＴＤが上記のように個別のデータについて容易に置換可能な構造となっていることで、同時に複数のユーザ企業端末１０から編集（マーカー情報ＰＤ及び付与情報ＳＤの追加・変更・削除等）を受け付けることができる。
【0125】
（Ｂ－４）ユーザ企業端末１０（対象物データ生成アプリケーション１３１）で、対象物データＴＤを生成する処理（上述の図１６の処理）を行う際に、マッピングデータＭＤを生成する元となるリファレンスデータＲＤとして、ユーザ企業端末１０自体で取得した３Ｄスキャニングデータ（カメラやセンサ等の検知結果に基づくスキャニングデータ）を用いているが、これに代えて予め保持した３Ｄモデリングデータ（例えば、対象物ＴＯを製造する元となるＣＡＤデータ等の３Ｄモデリングデータ）を用いるようにしてもよい。例えば、ステップＳ２０１、Ｓ２０２において、ユーザ企業端末１０（対象物データ生成アプリケーション１３１）が、オペレータから３Ｄモデリングデータの入力を受け付けるようにしてもよい。対象物ＴＯをかたどった３Ｄモデリングデータは、ユーザ企業端末１０自体で取得した３Ｄスキャニングデータ（カメラやセンサ等の検知結果に基づくスキャニングデータ）よりも精密なリファレンスデータＲＤであるといえるため、マッピングデータＭＤの生成に適している。ユーザ企業端末１０（対象物データ生成アプリケーション１３１）において、３Ｄモデリングデータの形式については限定されないものであり種々の形式（例えば、種々のＣＡＤ形式のデータ等）を適用することができる。また、３ＤモデリングデータからマッピングデータＭＤの形式に変換する処理については、種々のＡＲミドルウェアと同様の処理を適用することができる。
【符号の説明】
【0126】
１…情報処理システム，１０…ユーザ企業端末，１１…タッチパネルディスプレイ，１２…カメラ，１３…情報処理部，１４…センサ部，１５…マイクロホン，１６…スピーカ，２０…エンドユーザ端末，２１…タッチパネルディスプレイ，２２…カメラ，２３…情報処理部，２４…センサ部，２５…マイクロホン，２６…スピーカ，３０…アプリケーションサーバ，３１…ＡＲ処理サーバアプリケーション，３２…データ管理部，１３１…対象物データ生成アプリケーション，２３１…対象物データ表示アプリケーション，３２１…ユーザ企業管理データ管理部，３２２…対象物データ管理部，ＡＤ…ＡＲシーケンスデータ，ＡＲ…対象物説明，ＡＲ…説明，ＡＲＭ…ＡＲシーケンス管理データ，ＤＤ…対象物管理データ，ＭＤ…マッピングデータ，ＰＤ…マーカー情報，ＲＤ…リファレンスデータ，ＳＤ…付与情報，ＴＤ…対象物データ，ＴＯ…対象物。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】