▶ 東芝ソリューション株式会社の特許一覧 ▶ 東芝インフォメーションシステムズ株式会社の特許一覧
特許7330323コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-10
(45)【発行日】2023-08-21
(54)【発明の名称】コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20230814BHJP
G06F 3/04815 20220101ALI20230814BHJP
G06T 19/00 20110101ALI20230814BHJP
【ＦＩ】
G06F3/01 510
G06F3/04815
G06T19/00 600
【請求項の数】
15
(21)【出願番号】P 2022042877
(22)【出願日】2022-03-17
(65)【公開番号】P2023060799
(43)【公開日】2023-04-28
【審査請求日】2022-11-10
(31)【優先権主張番号】P 2021170483
(32)【優先日】2021-10-18
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】301063496
【氏名又は名称】東芝デジタルソリューションズ株式会社
(73)【特許権者】
【識別番号】504130809
【氏名又は名称】東芝インフォメーションシステムズ株式会社
(74)【代理人】
【識別番号】110003362
【氏名又は名称】弁理士法人ｉ．ＰＡＲＴＮＥＲＳ特許事務所
(72)【発明者】
【氏名】中村 麻周
(72)【発明者】
【氏名】▲高▼橋 潤
(72)【発明者】
【氏名】斎藤 翔太
(72)【発明者】
【氏名】▲裴▼ 秉哲
【審査官】酒井 優一
(56)【参考文献】
【文献】特開２０１９－１５３２７４（ＪＰ，Ａ）
【文献】特表２０２０－５２８１８４（ＪＰ，Ａ）
【文献】国際公開第２０１４／０９７４１３（ＷＯ，Ａ１）
【文献】特開２０１４－１９１７１８（ＪＰ，Ａ）
【文献】国際公開第２０１７／０５７１０７（ＷＯ，Ａ１）
【文献】特開２０１６－００６５８９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８１５
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
少なくとも１つ以上の仮想オブジェクトを含むコンテンツをＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示するコンテンツ表示装置であって、実オブジェクトを構成する各部品が３次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む３次元データと、該３次元データを示す識別子であるコンテンツＩＤと、前記仮想オブジェクトを示す識別子であるオブジェクトＩＤとを含む管理情報を記憶する記憶部と、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした前記コンテンツ表示装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記コンテンツ表示装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記コンテンツ表示装置の位置及び姿勢を更新するパラメータ更新部と、
前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてＭＲ表示する表示処理部と、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトＩＤと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザＩＤとを対応付ける判定処理部と
を備えるコンテンツ表示装置。
【請求項2】
前記判定処理部は、前記仮想オブジェクトに対する選択操作回数に応じて、該仮想オブジェクトに対する判定状態を変更することを特徴とする請求項１に記載のコンテンツ表示装置。
【請求項3】
異常と判定された仮想オブジェクトに関する判定結果情報を出力する出力処理部を更に備えることを特徴とする請求項１に記載のコンテンツ表示装置。
【請求項4】
前記判定結果情報は、前記オブジェクトＩＤと、該オブジェクトＩＤにより示される仮想オブジェクトに対するテキストとを更に対応付けることを特徴とする請求項３に記載のコンテンツ表示装置。
【請求項5】
前記判定結果情報は、前記オブジェクトＩＤと、メディアファイルとを更に対応付けることを特徴とする請求項３または請求項４に記載のコンテンツ表示装置。
【請求項6】
前記パラメータ算出部は、ユーザによる指示操作に基づいて、前記実オブジェクトの撮像画像に基づく前記コンテンツ表示装置の初期位置及び初期姿勢を算出することを特徴とする請求項１～請求項５のいずれか一項に記載のコンテンツ表示装置。
【請求項7】
前記パラメータ算出部は、所定の周期毎に、前記実オブジェクトの撮像画像に基づく前記コンテンツ表示装置の初期位置及び初期姿勢を算出することを特徴とする請求項１～請求項５のいずれか一項に記載のコンテンツ表示装置。
【請求項8】
前記パラメータ算出部は、前記実オブジェクトにおける特徴部分が撮像される毎に、該実オブジェクトの撮像画像に基づく前記コンテンツ表示装置の初期位置及び初期姿勢を算出することを特徴とする請求項１～請求項５のいずれか一項に記載のコンテンツ表示装置。
【請求項9】
前記表示処理部は、前記仮想空間におけるユーザによる指定箇所を指し示すピン形状の仮想オブジェクトであるピンオブジェクトを表示することを特徴とする請求項１～請求項８のいずれか一項に記載のコンテンツ表示装置。
【請求項10】
前記ピンオブジェクトは、テキスト、またはメディアファイルのうち少なくともいずれかを含む付加情報と対応付けられ、前記表示処理部は、前記ピンオブジェクトが選択された場合、該ピンオブジェクトに対応付けられた付加情報を表示することを特徴とする請求項９に記載のコンテンツ表示装置。
【請求項11】
前記表示処理部は、ユーザの指示に基づいて、選択操作された仮想オブジェクトのスケールを前記仮想空間における３軸のうち選択された軸方向に拡大または縮小させることを特徴とする請求項１～請求項９のいずれか一項に記載のコンテンツ表示装置。
【請求項12】
前記仮想オブジェクトは、自仮想オブジェクトが属するグループを示すグループＩＤと、該グループＩＤにより示されるグループが属する他のグループを示す親ＩＤとに対応付けられることを特徴とする請求項１～請求項１１のいずれか一項に記載のコンテンツ表示装置。
【請求項13】
少なくとも１つ以上の仮想オブジェクトを含むコンテンツをＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示するコンテンツ表示プログラムであって、コンピュータを、
実オブジェクトを構成する各部品が３次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む３次元データと、該３次元データを示す識別子であるコンテンツＩＤと、前記仮想オブジェクトを示す識別子であるオブジェクトＩＤとを含む管理情報を記憶する記憶部と、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした自装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記自装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記自装置の位置及び姿勢を更新するパラメータ更新部と、
前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてＭＲ表示する表示処理部と、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトＩＤと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザＩＤとを対応付ける判定処理部
として機能させるコンテンツ表示プログラム。
【請求項14】
少なくとも１つ以上の仮想オブジェクトを含むコンテンツをＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示するコンテンツ表示方法であって、コンピュータが、
実オブジェクトを構成する各部品が３次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む３次元データと、該３次元データを示す識別子であるコンテンツＩＤと、前記仮想オブジェクトを示す識別子であるオブジェクトＩＤとを含む管理情報を記憶し、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした自装置の初期位置及び初期姿勢を初期パラメータとして算出し、
前記自装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記自装置の位置及び姿勢を更新し、
前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてＭＲ表示し、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトＩＤと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザＩＤとを対応付けるコンテンツ表示方法。
【請求項15】
少なくとも１つ以上の仮想オブジェクトを含むコンテンツをＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示するコンテンツ表示装置と、該コンテンツ表示装置と通信可能に接続されるコンテンツ管理装置とを備えるコンテンツ表示システムであって、前記コンテンツ管理装置は、
実オブジェクトを構成する各部品が３次元モデルとして表現された仮想オブジェクトを含む前記実オブジェクトの設計情報のうち、判定対象として選択された仮想オブジェクトを含む３次元データを該３次元データと該３次元データを一意に示す識別子であるコンテンツＩＤと、前記仮想オブジェクトを示す識別子であるオブジェクトＩＤとを含む管理情報に変換する変換部と、
前記変換された管理情報を前記コンテンツ表示装置に送信するコンテンツ送信部とを備え、
前記コンテンツ表示装置は、
作業現場に存在する前記実オブジェクトを撮像した撮像画像に基づいて、該実オブジェクトの位置を原点とした前記コンテンツ表示装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記コンテンツ表示装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記コンテンツ表示装置の位置及び姿勢を更新するパラメータ更新部と、
前記コンテンツ管理装置により送信された管理情報を受信するコンテンツ受信部と、
前記受信された管理情報に基づいて、前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させてＭＲ表示する表示処理部と、
表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、少なくとも、前記仮想オブジェクトが重畳される前記実オブジェクトが正常であることを示す正常状態と前記仮想オブジェクトが重畳される前記実オブジェクトが正常ではないことを示す異常状態とを含む、前記仮想オブジェクトに対する判定状態を変更し、該変更した前記仮想オブジェクトのオブジェクトＩＤと、前記判定状態を変更した日時を示す変更日時と、前記判定状態を変更した作業ユーザを一意に示すユーザＩＤとを対応付ける判定処理部とを備えるコンテンツ表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、コンテンツを表示する技術に関する。
【背景技術】
【0002】
従来、現実世界と仮想世界を重ね合わせるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や、現実世界に対して仮想情報を付加するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。また、ＭＲ技術やＡＲ技術を作業現場に導入する試みがなされているが、ヘッドマウントディスプレイのような汎用的ではない装置が必要となるため、導入には多額の設備投資費が掛かることとなる。
【0003】
また、関連する技術として、作業者が装着している第１撮像部の映像と、第１撮像部の位置姿勢に基づく仮想物体画像とに基づく複合現実空間画像を取得する複合現実空間画像取得工程と、作業者によって行われた仮想物体に対するイベント情報を取得するイベント情報取得工程と、指示者の視点位置姿勢情報を取得する第２ユーザ指定位置姿勢情報取得工程と、指示者の視点位置姿勢情報に基づき、イベント情報に応じた仮想物体画像を生成する生成工程とを有し、第１画像を指示者に提示する第１モードと、仮想物体画像を指示者に提示する第２モードとを有する情報処理方法、が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００６－２９３６０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
より安価な装置によりＭＲ技術を用いた対象物に対する判定作業を行うことがひとつの課題である。
【0006】
本発明の実施形態は、上述した問題点を解決するためになされたものであり、より安価な装置によりＭＲ技術を用いた対象物に対する判定作業を実現することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決するため、本発明の実施形態は、少なくとも１つ以上の仮想オブジェクトを含むコンテンツを表示するコンテンツ表示装置であって、実オブジェクトの撮像画像に基づいて、該実オブジェクトの位置を原点とした前記コンテンツ表示装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、前記コンテンツ表示装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記コンテンツ表示装置の位置及び姿勢を更新するパラメータ更新部と前記実オブジェクトの位置を原点とした仮想空間に配された前記コンテンツを前記実オブジェクトに重畳させて表示する表示処理部と、表示されるコンテンツに含まれる仮想オブジェクトが選択操作された場合、該仮想オブジェクトに対する判定状態を変更する判定処理部とを備える。
【図面の簡単な説明】
【0008】
【図1】第１の実施形態に係るコンテンツ表示システムの構成を示す概略図である。
【図2】第１の実施形態に係るコンテンツ表示装置のハードウェア構成を示すブロック図である。
【図3】第１の実施形態に係るコンテンツ管理装置のハードウェア構成を示すブロック図である。
【図4】第１の実施形態に係るコンテンツ表示装置の機能構成を示すブロック図である。
【図5】第１の実施形態に係るコンテンツ管理装置の機能構成を示すブロック図である。
【図6】第１の実施形態に係るコンテンツ生成処理を示すフローチャートである。
【図7】第１の実施形態に係るコンテンツ管理情報を示す図である。
【図8】第１の実施形態に係るオブジェクト情報を示す図である。
【図9】第１の実施形態に係るコンテンツ表示装置の動作を示すフローチャートである。
【図10】第１の実施形態に係る実オブジェクトを示す概略図である。
【図11】第１の実施形態に係る初期位置及び初期姿勢の算出を説明するための概略図である。
【図12】第１の実施形態に係るコンテンツ表示処理を示すフローチャートである。
【図13】第１の実施形態に係る実オブジェクトに重畳されたコンテンツを示す概略図である。
【図14】第１の実施形態に係る判定対象である仮想オブジェクトを示す概略図である。
【図15】第１の実施形態に係る判定処理を示すフローチャートである。
【図16】第１の実施形態に係る判定された仮想オブジェクトを示す概略図である。
【図17】第１の実施形態に係る出力処理を示すフローチャートである。
【図18】第１の実施形態に係る判定結果表示画面を示す概略図である。
【図19】第１の実施形態に係る判定結果情報を示す図である。
【図20】第１の実施形態に係る実オブジェクトを示す概略図である。
【図21】第１の実施形態に係る実オブジェクトに重畳されたコンテンツを表示するコンテンツ表示装置を示す図である。
【図22】第１の実施形態に係るピンオブジェクトを表示するコンテンツ表示装置を示す図である。
【図23】第２の実施形態に係るコンテンツ生成処理を示すフローチャートである。
【図24】第２の実施形態に係るオブジェクト情報を示す図である。
【図25】第２の実施形態に係るコンテンツ表示装置の動作を示すフローチャートである。
【図26】第２の実施形態に係る可変処理を示すフローチャートである。
【図27】第２の実施形態に係る実オブジェクトを示す概略図である。
【図28】第２の実施形態に係る実オブジェクトに重畳された仮想オブジェクトを表示するコンテンツ表示装置を示す図である。
【図29】第２の実施形態に係る可変された仮想オブジェクトを表示するコンテンツ表示装置を示す図である。
【図30】第２の実施形態に係るコンテンツ生成処理を示すフローチャートである。
【図31】第３の実施形態に係るオブジェクト情報を示す図である。
【図32】第３の実施形態に係る階層化された仮想オブジェクト群を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照しつつ説明する。
【0010】
＜第１の実施形態＞
（ハードウェア構成）
第１の実施形態に係るコンテンツ表示システムのハードウェア構成について説明する。図１は、本実施形態に係るコンテンツ表示システムの構成を示す概略図である。図２、図３は、それぞれ、コンテンツ表示装置、コンテンツ管理装置のハードウェア構成を示すブロック図である。
（ハードウェア構成）
第１の実施形態に係るコンテンツ表示システムのハードウェア構成について説明する。図１は、本実施形態に係るコンテンツ表示システムの構成を示す概略図である。図２、図３は、それぞれ、コンテンツ表示装置、コンテンツ管理装置のハードウェア構成を示すブロック図である。
【0011】
図１に示すように、本実施形態に係るコンテンツ表示システム１は、コンテンツ表示装置１０とコンテンツ管理装置２０とを備える。本実施形態において、コンテンツ表示装置１０は、実オブジェクトに関するコンテンツを閲覧するユーザが用いる端末装置であり、携帯可能な端末装置、具体的にはタブレット型端末装置として構成される。コンテンツ管理装置２０は、コンテンツ表示装置１０を用いて閲覧されるコンテンツを管理する装置であり、本実施形態においては、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）として構成される。なお、コンテンツ表示装置１０は、スマートフォンやヘッドマウントディスプレイとして構成されても良く、後述する判定機能を用いない場合においては、ディスプレイへの表示やプロジェクタによる投影を実行可能な装置として構成されても良い。また、コンテンツ管理装置２０は、ローカル環境やクラウド環境により代替されても良い。
【0012】
実オブジェクトは、ユーザにより任意の作業がなされる対象であり、後に詳述するマーカーが付された実在する物体である。このような実オブジェクトとしては、例えば、各部の検査を要する装置、各部の配色を決定すべき装置などが挙げられる。本実施形態においては、実オブジェクトが各部の検査を要する装置であるものとして説明を行う。コンテンツ表示装置１０は、実オブジェクトが配された作業現場に設置された無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してネットワークに接続し、ネットワークを介してコンテンツ管理装置２０と通信する。なお、コンテンツ表示装置１０によるコンテンツ管理装置２０との通信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどを用いた有線接続を介してなされても良い。
【0013】
コンテンツ表示装置１０は、図２に示すように、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、記憶装置１３、タッチパネル１４、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１５、カメラ１６、深度センサ１７を備える。ＣＰＵ１１及びＲＡＭ１２は協働して各種機能を実行し、記憶装置１３は各種機能により実行される処理に用いられる各種データを記憶する。タッチパネル１４は、ディスプレイとタッチセンサとを有し、コンテンツ表示装置１０の正面側に備えられた入出力装置である。ネットワークＩ／Ｆ１５は、コンテンツ管理装置２０との無線通信を行う。なお、コンテンツ管理装置２０によるコンテンツ管理装置１０との通信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどを用いた有線接続を介してなされても良い。
【0014】
カメラ１６は、コンテンツ表示装置１０の背面側に備えられ、可視光による２次元画像及び映像を撮像する撮像装置である。深度センサ１７は、コンテンツ表示装置１０の背面側に備えられ、レーザを投光してその反射光を受光素子により受光することにより、コンテンツ表示装置１０から周囲の物体までの距離を測定するセンサである。この深度センサ１７は、本実施形態においては、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、コンテンツ表示装置１０から周囲の物体までの距離を測定して３次元点群化するセンサとする。なお、カメラ１６による撮像方向と深度センサ１７による測定方向は一致しているものとする。
【0015】
コンテンツ管理装置２０は、図３に示すように、ハードウェアとして、ＣＰＵ２１、ＲＡＭ２２、記憶装置２３、入出力Ｉ／Ｆ２４、ネットワークＩ／Ｆ２５を備える。ＣＰＵ２１及びＲＡＭ２２は協働して各種機能を実行し、記憶装置２３は各種機能により実行される処理に用いられる各種データを記憶する。入出力Ｉ／Ｆ２４は、コンテンツ管理装置２０に接続されるキーボードなどの入力装置やディスプレイなどの出力装置とのデータの入出力を行う。ネットワークＩ／Ｆ２５は、コンテンツ表示装置１０を含む他の装置との有線通信及び無線通信を行う。
【0016】
【0017】
コンテンツ表示装置１０は、図４に示すように、機能として、パラメータ算出部１０１、パラメータ更新部１０２、コンテンツ受信部１０３、表示処理部１０４、判定処理部１０５、出力処理部１０６、判定結果送信部１０７を備える。
【0018】
パラメータ算出部１０１は、カメラ１６により実オブジェクトが撮像された撮像画像におけるマーカーを認識し、認識したマーカーに基づいて、マーカーを原点としたマーカー座標におけるコンテンツ表示装置１０の初期位置及び初期姿勢をパラメータとして算出する。パラメータ更新部１０２は、深度センサ１７により取得される３次元点群の前後のフレーム間の変位に基づいて、コンテンツ表示装置１０の位置及び姿勢の変位をフレーム毎に算出し、この変位に基づいて、パラメータ算出部１０１により算出された初期位置及び初期姿勢を起点としたコンテンツ表示装置１０の位置及び姿勢を更新する。
【0019】
コンテンツ受信部１０３は、コンテンツ管理装置２０から送信されたコンテンツを受信する。表示処理部１０４は、コンテンツ受信部１０３により受信されたコンテンツを、コンテンツ表示装置１０の位置及び姿勢に基づいて、タッチパネル１４に表示する。判定処理部１０５は、タッチパネル１４に対するユーザの選択操作に基づくコンテンツの判定処理を行う。出力処理部１０６は、判定処理部１０５による判定処理結果を示す判定結果情報を出力する。判定結果送信部１０７は、判定処理部１０５により出力された判定結果情報をコンテンツ管理装置２０へ送信する。
【0020】
コンテンツ管理装置２０は、図５に示すように、機能として、変換部２０１、管理部２０２、コンテンツ送信部２０３、判定結果受信部２０４を備える。変換部２０１は、実オブジェクトに関連する３次元データをコンテンツに変換する。なお、コンテンツに変換される３次元データとしては、実オブジェクトの設計情報であるＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データが挙げられる。管理部２０２は、変換部２０１により変換されたコンテンツを管理する。コンテンツ送信部２０３は、管理部２０２により管理されるコンテンツをコンテンツ表示装置１０へ送信する。判定結果受信部２０４は、コンテンツ表示装置１０により送信された判定結果情報を受信する。
【0021】
（コンテンツ生成処理）
コンテンツ生成処理について説明する。図６は、コンテンツ生成処理を示すフローチャートである。図７、図８は、それぞれ、コンテンツ管理情報、オブジェクト情報を示す図である。なお、図６においては、コンテンツ管理装置に対して、実オブジェクトに関連する３Ｄデータがすでに入力されているものとする。
コンテンツ生成処理について説明する。図６は、コンテンツ生成処理を示すフローチャートである。図７、図８は、それぞれ、コンテンツ管理情報、オブジェクト情報を示す図である。なお、図６においては、コンテンツ管理装置に対して、実オブジェクトに関連する３Ｄデータがすでに入力されているものとする。
【0022】
図６に示すように、まず、変換部２０１は、コンテンツ管理装置２０に入力された３Ｄデータのうち、変換対象である３Ｄデータを選択する（Ｓ１０１）。
【0023】
ここで、コンテンツに変換される３Ｄデータについて説明する。変換対象としての３Ｄデータは、例えば、実オブジェクトとして検査対象である装置の設計データである。この３Ｄデータには、装置の各部品が３Ｄモデルとして表現された仮想オブジェクトが少なくとも１つ以上含まれている。３Ｄデータに複数の仮想オブジェクトが含まれている場合、複数の仮想オブジェクトは、３Ｄデータの作成者によって、配置位置、部品の種別などの基準により区分され、区分毎にグループ化されているものとする。
【0024】
コンテンツ生成処理に先立って、３Ｄデータに含まれるグループの少なくとも一部はコンテンツに変換すべき仮想オブジェクトである変換対象に設定され、変換対象であるグループの少なくとも一部は判定処理がなされる仮想オブジェクトである判定対象に設定される。
【0025】
３Ｄデータの選択後、変換部２０１は、選択中の３Ｄデータに対して、コンテンツを一意に示す識別子であるコンテンツＩＤを生成し、図７に示すように、コンテンツＩＤと、３Ｄデータのファイル名と、３Ｄデータのファイルパスとが対応付けられたコンテンツ情報を生成する（Ｓ１０２）。
【0026】
次に、変換部２０１は、選択中の３Ｄデータにおける未選択のグループを選択し（Ｓ１０３）、選択中のグループが変換対象に設定されているか否かを判定する（Ｓ１０４）。
【0027】
選択中のグループが変換対象である場合（Ｓ１０４，ＹＥＳ）、変換部２０１は、選択中のグループが判定対象に設定されているか否かを判定する（Ｓ１０５）。
【0028】
選択中のグループが判定対象である場合（Ｓ１０５，ＹＥＳ）、変換部２０１は、選択中のグループに含まれる仮想オブジェクトのそれぞれに対して、仮想オブジェクトを一意に示す識別子であるオブジェクトＩＤを含むオブジェクト情報を生成して、オブジェクト情報における判定対象フラグを“ＯＮ”にする（Ｓ１０６）。
【0029】
オブジェクト情報は、図８に示すように、オブジェクトＩＤと、コンテンツＩＤと、作成者ＩＤと、名称と、グループＩＤと、判定対象フラグとが対応付けられた情報である。コンテンツＩＤは、対応する仮想オブジェクトが属するコンテンツを示す。作成者ＩＤは、コンテンツの作成者を一意に示す識別子である。名称は、対応する仮想オブジェクトに対して作成者により付された名称を示す。グループＩＤは、対応する仮想オブジェクトが属するグループを一意に示す識別子である。判定対象フラグは、対応する仮想オブジェクトが判定対象であるか否かを示すフラグであり、判定対象である場合には“ＯＮ”に設定され、判定対象ではない場合には“ＯＦＦ”に設定される。また、変換部２０１は、グループに含まれる全て仮想オブジェクトに対して判定対象フラグを“ＯＮ”とした後に、ユーザに選択された仮想オブジェクトの設定フラグを“ＯＦＦ”に変更しても良い。
【0030】
ステップＳ１０６の動作後、変換部２０１は、選択中の３Ｄデータに未選択のグループが存在するか否かを判定する（Ｓ１０７）。
【0031】
未選択のグループが存在しない場合（Ｓ１０７，ＮＯ）、変換部２０１は、入力された３Ｄデータに対するコンテンツ生成処理を終了する。一方、未選択のグループが存在する場合（Ｓ１０７，ＹＥＳ）、変換部２０１は、再度、選択中の３Ｄデータにおける未選択のグループを選択する（Ｓ１０３）。
【0032】
また、ステップＳ１０５において、選択中のグループが判定対象ではない場合（Ｓ１０５，ＮＯ）、変換部２０１は、選択中のグループに含まれる仮想オブジェクトのそれぞれに対して、仮想オブジェクトを一意に示す識別子であるオブジェクトＩＤを含むオブジェクト情報を生成して、オブジェクト情報における判定対象フラグを“ＯＦＦ”にする（Ｓ１０８）。ステップＳ１０８の動作後、変換部２０１は、選択中の３Ｄデータに未選択のグループが存在するか否かを判定する（Ｓ１０７）。
【0033】
また、ステップＳ１０４において、選択中のグループが変換対象ではない場合（Ｓ１０４，ＮＯ）、変換部２０１は、選択中の３Ｄデータから、選択中のグループに属する仮想オブジェクトを削除する（Ｓ１０９）。ステップＳ１０９の動作後、変換部２０１は、選択中の３Ｄデータに未選択のグループが存在するか否かを判定する（Ｓ１０７）。
【0034】
このように、コンテンツ生成処理によれば、入力された３Ｄデータに対して、コンテンツとして不要な仮想オブジェクトを削除し、一部の仮想オブジェクトを判定対象とすることによってコンテンツを生成する。コンテンツは、不要な仮想オブジェクトが削除された３Ｄデータと、この３ＤデータにコンテンツＩＤを付すコンテンツ情報と、３Ｄデータに含まれる仮想オブジェクトのそれぞれにオブジェクトＩＤを付すオブジェクト情報とを含む。３Ｄデータ、コンテンツ情報、オブジェクト情報は、いずれも管理部２０２によって管理される。
【0035】
（コンテンツ表示装置の動作）
コンテンツ表示装置の動作について説明する。図９は、コンテンツ表示装置の動作を示すフローチャートである。図１０は、実オブジェクトを示す概略図である。図１１は、初期位置及び初期姿勢の算出を説明するための概略図である。なお、図９に示す動作に先立って、実オブジェクトに関するコンテンツはコンテンツ管理装置によりコンテンツ表示装置に送信されているものとする。
コンテンツ表示装置の動作について説明する。図９は、コンテンツ表示装置の動作を示すフローチャートである。図１０は、実オブジェクトを示す概略図である。図１１は、初期位置及び初期姿勢の算出を説明するための概略図である。なお、図９に示す動作に先立って、実オブジェクトに関するコンテンツはコンテンツ管理装置によりコンテンツ表示装置に送信されているものとする。
【0036】
図９に示すように、まず、パラメータ算出部１０１は、カメラ１６による撮像画像において、マーカーＭが認識されたか否かを判定する（Ｓ２０１）。
【0037】
図１０に示すように、マーカーＭは、実オブジェクトＲＯに付加された二次元画像であり、コンテンツが配される仮想空間の原点を現実空間に定めるものである。このようなマーカーＭとしては、実オブジェクトＲＯに貼着された二次元画像、実オブジェクトに刻印された二次元画像状の凹凸などが挙げられる。なお、マーカーＭは、必ずしも実オブジェクトＲＯに付加される必要はなく、実オブジェクトＲＯの周辺にある床面、壁面、天井面などに付加されてもよい。
【0038】
また、マーカーＭを用いず、三点測量方式や位置固定方式により、仮想空間の原点を現実空間に定めても良い。三点測量方式は、少なくとも３箇所の実オブジェクトの形状を選択し、選択された箇所を結ぶ面をマーカーＭの代わりに用いる方式である。位置固定方式は、実オブジェクトの配置位置と、コンテンツ表示システム１の利用位置、具体的にはコンテンツ表示装置１０の初期位置を予め固定し、常に同位置からコンテンツ表示システム１を利用することによって、仮想空間の原点を現実空間に定める方法である。このように、仮想空間の原点はどのような方法で現実空間に定められても良い。
【0039】
マーカーＭが認識されない場合（Ｓ２０１，ＮＯ）、パラメータ算出部１０１は、再度、カメラ１６による撮像画像において、マーカーＭが認識されたか否かを判定する（Ｓ２０１）。一方、マーカーＭが認識された場合（Ｓ２０１，ＹＥＳ）、パラメータ算出部１０１は、マーカーＭを原点とするコンテンツ表示装置１０の初期位置及び初期姿勢をパラメータとして算出する（Ｓ２０２）。
【0040】
ここで、初期位置及び初期姿勢の算出について説明する。図１１に示すように、実オブジェクトＲＯに付加されたマーカーＭを含む撮像範囲Ｓがカメラ１６により撮像されると、マーカーＭとコンテンツ表示装置１０との位置関係によって、撮像画像上のマーカーｍに拡縮、変形が生じる。パラメータ算出部１０１は、基準となるマーカーＭの形状及び大きさを示すマーカー情報に基づいて、マーカーｍの大きさ及び形状から、マーカーＭに対するコンテンツ表示装置１０の相対位置及び相対姿勢を算出する。更にパラメータ算出部１０１は、この相対位置及び相対姿勢からマーカーＭを原点とした３軸上（図中ｘ，ｙ，ｚ）のコンテンツ表示装置１０の位置及び、これら３軸に平行する回転軸（ｘ１，ｙ１，ｚ１）周りのコンテンツ表示装置１０の回転を算出することによって、コンテンツ表示装置１０の初期位置及び初期姿勢を算出する。なお、本実施形態において、マーカーＭの中心点を原点Ｏとし、カメラ１６の中心、具体的にはイメージセンサの中心点を回転軸の原点Ｉとする。
【0041】
パラメータの算出後、パラメータ更新部１０２は、深度センサ１７により検出される３次元特徴点群の変位に基づいてコンテンツ表示装置１０の現在位置及び現在姿勢を更新する（Ｓ２０３）。
【0042】
ここで、現在位置及び現在姿勢の更新について説明する。パラメータ更新部１０２は、時系列に前後する３次元特徴点群の変位に基づいて、コンテンツ表示装置１０の位置及び姿勢の変位を算出し、この変位を初期位置及び初期姿勢または前回更新した位置及び姿勢に積算することによって、コンテンツ表示装置１０の現在位置及び現在姿勢を逐次更新する。なお、３次元特徴点群の変位に基づく自位置及び自姿勢の変位の算出については、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）法やＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法など既知の手法を用いるものとする。また、ＶＳＬＡＭ（Ｖｉｓｕａｌ ＳＬＡＭ）法を用いて、カメラ１６により撮像された撮像画像に基づいてコンテンツ表示装置１０の位置及び姿勢の変位を算出するようにしても良い。
【0043】
現在位置及び現在姿勢の更新後、コンテンツ表示処理が実行され（Ｓ２０４）、判定処理が実行され（Ｓ２０５）、出力処理が実行される（Ｓ２０６）。コンテンツ表示処理、判定処理、出力処理については後述する。
【0044】
出力処理の実行後、表示処理部１０４は、ユーザにより、タッチパネル１４を介して、コンテンツの表示を終了させる終了指示がなされたか否かを判定する（Ｓ２０７）。終了指示がなされた場合（Ｓ２０７，ＹＥＳ）、コンテンツ表示装置１０の動作が終了される。一方、終了指示がなされない場合（Ｓ２０７，ＮＯ）、パラメータ更新部１０２は、再度、深度センサ１７により検出される３次元特徴点群の変位に基づいてコンテンツ表示装置１０の現在位置及び現在姿勢を更新する（Ｓ２０３）。
【0045】
このように、コンテンツ表示装置１０によれば、実オブジェクトＲＯにおける一部分に基づいて、仮想空間の原点Ｏを定めることができる。なお、パラメータ算出部１０１による初期位置及び初期姿勢の算出は、タッチパネル１４を介したユーザによる指示に応じてなされても良く、予め定められた周期毎になされても良く、また、カメラ１６によるマーカーＭの撮像毎になされても良い。このように構成されたコンテンツ表示装置１０によれば、実オブジェクトＲＯに対するコンテンツのズレが低減される。
【0046】
（コンテンツ表示処理）
コンテンツ表示処理について説明する。図１２は、コンテンツ表示処理を示すフローチャートである。図１３は、実オブジェクトに重畳されたコンテンツを示す概略図である。図１４は、判定対象である仮想オブジェクトを示す概略図である。なお、図１２に示すコンテンツ表示処理においては、実オブジェクトに関連するコンテンツがユーザにより予め選択されているものとする。
コンテンツ表示処理について説明する。図１２は、コンテンツ表示処理を示すフローチャートである。図１３は、実オブジェクトに重畳されたコンテンツを示す概略図である。図１４は、判定対象である仮想オブジェクトを示す概略図である。なお、図１２に示すコンテンツ表示処理においては、実オブジェクトに関連するコンテンツがユーザにより予め選択されているものとする。
【0047】
図１２に示すように、表示処理部１０４は、表示対象とするグループを選択指示する表示対象指示がユーザによりなされたか否かを判定する（Ｓ３０１）。
【0048】
表示対象指示がなされた場合（Ｓ３０１，ＹＥＳ）、表示処理部１０４は、ユーザにより選択されたグループをタッチパネル１４に表示するように表示対象を変更する（Ｓ３０２）。
【0049】
表示対象の変更後、または、表示対象指示がなされない場合（Ｓ３０１，ＮＯ）、表示処理部１０４は、選択されたグループの表示色の変更を指示する表示色指示がユーザによりなされたか否かを判定する（Ｓ３０３）。
【0050】
表示色指示がなされた場合（Ｓ３０３，ＹＥＳ）、表示処理部１０４は、選択されたグループに属する仮想オブジェクトの表示色を指定された色に変更する（Ｓ３０４）。
【0051】
表示色の変更後、または、表示色指示がなされない場合（Ｓ３０３，ＮＯ）、表示処理部１０４は、選択されたグループの透明度の変更を指示する透明度指示がユーザによりなされたか否かを判定する（Ｓ３０５）。
【0052】
透明度指示がなされた場合（Ｓ３０５，ＹＥＳ）、表示処理部１０４は、選択されたグループに属する仮想オブジェクトを指定された透明度に変更する（Ｓ３０６）。
【0053】
透明度の変更後、または、透明度指示がなされない場合（Ｓ３０５，ＮＯ）、表示処理部１０４は、マーカーＭにおける原点Ｏに対して配されたコンテンツのうち、表示対象に指定されたグループの仮想オブジェクトを、指定された表示色及び透明度でタッチパネル１４に表示させ（Ｓ３０７）、表示処理が終了される。
【0054】
本実施形態において、コンテンツは、図１３に示すように、タッチパネル１４上において、実オブジェクトと略同様の姿勢、大きさで表示されるように、仮想空間における原点Ｏに対する相対位置が予め設定されるものとする。また、表示対象に指定されたグループが判定対象である仮想オブジェクトを含む場合、図１４に示すように、判定対象に設定された仮想オブジェクトである判定オブジェクトＪＯは、ユーザにより容易に視認可能に、他の仮想オブジェクトとは異なる色で表示される。
【0055】
また、コンテンツの表示は、ユーザによりなされた設定に応じて、カメラ１６による撮像画像にコンテンツが重畳されるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示、または、コンテンツのみが表示されるＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示のいずれかに切り替えられるものとする。
【0056】
【0057】
図１５に示すように、まず、判定処理部１０５は、タッチパネル１４に表示されているグループ、より具体的には、上述したコンテンツ表示処理において表示対象に指定されているグループに判定オブジェクトが含まれているか否かを判定する（Ｓ４０１）。
【0058】
表示されるグループに判定オブジェクトが含まれる場合（Ｓ４０１，ＹＥＳ）、判定処理部１０５は、ユーザにより判定オブジェクトが選択されたか否かを判定する（Ｓ４０２）。ここで、判定処理部１０５は、タッチパネル１４において、判定オブジェクトがタップ操作された場合に、判定オブジェクトが選択されたと判定する。
【0059】
判定オブジェクトが選択された場合（Ｓ４０２，ＹＥＳ）、判定処理部１０５は、選択された判定オブジェクトの判定状態を変更し（Ｓ４０３）、判定処理が終了される。
【0060】
ここで、判定状態について説明する。図１６に示すように、判定オブジェクトＪＯは、ユーザによる選択操作に応じて、複数の異なる選択状態（ＪＯ１／ＪＯ２）に変更される。本実施形態においては、判定オブジェクトは“正常”または“異常”のいずれかに判定される。図１６には、未判定の判定オブジェクトＪＯ０、“正常”判定がなされた判定オブジェクトＪＯ１、“異常”判定がなされた判定オブジェクトＪＯ２が示される。判定オブジェクトＪＯ０，ＪＯ１，ＪＯ２は、表示処理部１０４により互いに異なる表示色でタッチパネル１４に表示される。これによって、ユーザは判定オブジェクトの判定状態を容易に認識することができる。なお、“正常”、“異常”以外の判定状態としては、例えば、“不明”、“一時保留”などが挙げられる。また、判定状態が“異常”である場合は、後述するように、別途異常状態を文字列情報や静止画情報として記録することもできる。こうすることで、使用例として後に詳述するように、ユーザは、判定結果を実績登録し上長へのレポート業務を完結することが可能となる。
【0061】
判定オブジェクトＪＯの判定状態は、判定オブジェクトＪＯに対する選択操作回数、本実施形態においては、判定オブジェクトＪＯに対するタップ操作回数により変更される。具体的には、タップ操作回数が０である場合には未判定状態であり、タップ操作回数が１である場合には“正常”判定状態となり、タップ操作回数が２である場合には“異常”判定状態となる。“異常”判定状態である判定オブジェクトに対して、更にタップ操作がなされると、未判定状態とすることができる。なお、判定状態が、“正常”、“異常”、“不明”、“一時保留”を含む場合は、タップ操作回数が０である場合には未判定状態であり、タップ操作回数が１の場合は“正常”判定状態となり、タップ操作回数が２の場合は“異常”判定状態となり、タップ操作回数が３の場合は“不明”判定状態となり、タップ操作回数が４の場合は“一時保留”判定状態となり、更にタップ操作がなされると、未判定状態とすることができる。また、判定状態が“異常”である場合は、後述するように、別途異常状態を文字列情報や静止画情報として記録することもできる。こうすることで、使用例として後に詳述するように、ユーザは、判定結果を実績登録し上長へのレポート業務を完結することが可能となる。また、判定オブジェクトＪＯの判定状態の変更は、“正常”、“異常”、“不明”、“一時保留”などの選択肢を含む判定状態変更画面に対する操作によりなされても良い。この判定状態変更画面は、判定状態を変更する対象としての判定オブジェクトＪＯを１回タップすることによってメイン画面上に重畳されて表示されるものとする。判定状態が“異常”に変更された場合は、後述するように、ユーザは別途異常状態を文字列情報や静止画情報として判定状態変更画面で記録することもできる。“正常”が選択された後、または“異常”が選択されて文字列情報などが追記された後、保存ボタンまたは、キャンセルボタンが押下された場合、変更された判定状態が保存された後に判定状態変更画面が閉じるものとする。
【0062】
なお、判定オブジェクトＪＯの判定状態は、少なくとも１つ以上存在すれば良く、また、複数の判定状態に対するラベルはユーザにより設定することができる。これによって、コンテンツ表示装置１０を様々な用途に用いることができる。
【0063】
ステップＳ４０１において表示されるオブジェクトに判定オブジェクトが含まれない場合（Ｓ４０１，ＮＯ）、または、判定オブジェクトが選択されない場合（Ｓ４０２，ＮＯ）、判定処理が終了される。
【0064】
【0065】
図１７に示すように、表示処理部１０４は、ユーザにより判定結果表示指示がなされたか否かを判定する（Ｓ５０１）。
【0066】
判定結果表示指示がなされた場合（Ｓ５０１，ＹＥＳ）、表示処理部１０４は、判定オブジェクトに対する判定結果をタッチパネル１４に表示させる（Ｓ５０２）。判定結果は、判定結果表示画面により表示される。
【0067】
判定結果表示画面は、図１８に示すように、判定対象数、正常判定数、異常判定数、未判定数、異常判定リストを含む。判定対象数は、コンテンツに含まれる判定オブジェクトの総数を示す。正常判定数は、“正常”判定がなされた判定オブジェクトの総数を示す。異常判定数は、“異常”判定がなされた判定オブジェクトの総数を示す。未判定数は、全ての判定オブジェクトのうち、判定がなされていない判定オブジェクトの総数を示す。判定結果表示画面によれば、ユーザは、チェック漏れがないかを確認することができ、判定業務の品質や生産性を高めることができる。
【0068】
異常判定リストは、“異常”判定がなされた判定オブジェクトそれぞれの詳細を一覧で示すものである。異常判定リストにおけるレコードは、オブジェクトＩＤ、コメント、添付ファイルをフィールドとして含む。コメントは、判定結果表示画面において、対応するオブジェクトＩＤにより示される判定オブジェクトについて、ユーザにより入力されたテキストである。添付ファイルは、判定結果表示画面において、対応するオブジェクトＩＤにより示される判定オブジェクトについて、ユーザにより添付されたファイル名を示す。添付されるファイルとしては、対応する判定オブジェクトに関する画像ファイル、動画ファイル、音声ファイルなどのメディアファイルが想定されるが、如何なるファイルが添付されても良い。
【0069】
判定結果の表示後、出力処理部１０６は、ユーザにより判定結果出力指示がなされたか否かを判定する（Ｓ５０３）。
【0070】
判定結果出力指示がなされた場合（Ｓ５０３，ＹＥＳ）、出力処理部１０６は、判定結果情報を出力し（Ｓ５０４）、判定結果送信部１０７は、出力された判定結果情報をコンテンツ管理装置２０へ送信し（Ｓ５０５）、出力処理が終了される。判定結果情報はコンテンツ管理装置２０における管理部２０２により管理される。
【0071】
判定結果情報は、異常判定リストを含むファイルであり、図１９に示すように、”異常”判定がなされた判定オブジェクトを示すオブジェクトＩＤと、判定オブジェクトが属するコンテンツを示すコンテンツＩＤと、コンテンツ表示装置１０のユーザを示すユーザＩＤと、判定オブジェクトに対する判定結果と、判定がなされた日時を示す判定日時と、コメントと、添付ファイルとが対応付けられる。判定結果情報は、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイル、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）ファイル、ＣＳＶ（Ｃｏｍｍａ－Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）ファイルなどのデータ構造を示すファイルとして出力される。判定結果情報は、この判定結果情報に示される添付ファイルとともに送信される。
【0072】
判定結果表示指示がなされない場合（Ｓ５０１，ＮＯ）、または、判定結果出力指示がなされない場合（Ｓ５０３，ＮＯ）、出力処理が終了される。
【0073】
判定結果がリスト表示されることによって、実オブジェクトに対する判定結果をユーザが容易に把握することができる。また、判定結果がファイルとして出力されることによって、実オブジェクトに対する判定結果が組織において容易に共有可能となる。
【0074】
上述した実施形態においては、コンテンツ表示装置１０が実オブジェクトＲＯにコンテンツＣＮを重畳して表示するものとしたが、コンテンツ表示装置１０は、図２０に示すような一部が欠けた実オブジェクトＲＯに対して、図２１に示すように実オブジェクトＲＯにおける欠けた部分にコンテンツＣＮを配して表示しても良い。つまり、コンテンツ表示装置１０は、仮想空間における実オブジェクトＲＯと重ならない位置にコンテンツＣＮを配しても良い。
【0075】
また、コンテンツ表示装置１０は、図２２に示すように、所定位置を指し示すピン状に形成されたピンオブジェクトＰを実オブジェクトＲＯに対して重畳して表示しても良い。このピンオブジェクトＰは、仮想空間における所定の箇所を指し示す仮想オブジェクトである。ユーザは、タッチパネル１４を介して仮想空間における所定の箇所を選択することによって、新規なピンオブジェクトＰとして登録することができる。また、ユーザは、新規なピンオブジェクトＰに対して、テキスト、画像などを含み得る付加情報を対応付けることができるとともに、既存のピンオブジェクトＰに対応付けられた付加情報を修正することができる。表示処理部１０４は、ピンオブジェクトＰをタッチパネル１４に表示させるとともに、ピンオブジェクトＰが選択された場合、選択されたピンオブジェクトＰに対応付けられた付加情報をタッチパネル１４に表示させる。
【0076】
（第１の使用例）
第１の使用例について説明する。第１の使用例は、コンテンツ表示システムを溶接打点の位置確認に用いた場合の使用例である。
第１の使用例について説明する。第１の使用例は、コンテンツ表示システムを溶接打点の位置確認に用いた場合の使用例である。
【0077】
旧来、溶接打点の位置確認は、溶接打点位置に穴を開けた実寸サイズの紙やガバリが溶接対象に貼り付けられることによってなされる。位置確認を行う作業者は、打点位置が正しいか、打点の大きさが正しいか、打点の深さ（必要な金属板の枚数が溶接されているか）が正しいか等の品質検査を行うが、全ての溶接打点が確認されたかは作業者に委ねられる。作業者は、確認後、別途ＰＣ等で確認結果を入力することによって上長に報告する。
【0078】
コンテンツ表示システム１を溶接打点の位置確認に用いた場合、作業者は、溶接対象に合わせて作成されたコンテンツによって溶接打点位置を確認することができるため、ガバリ等の事前準備が不要となる。また、溶接打点を示す判定オブジェクト毎に判定処理がなされることによって抜け漏れなく確認することができる。また、判定結果がデータとして蓄積されるため、上長への報告作業が容易になるとともに、溶接不良の多い場所やパターン等の分析、溶接作業に関する改善活動に判定結果を活用することが容易となる。
【0079】
（第２の使用例）
第２の使用例について説明する。第２の使用例は、コンテンツ表示システムを塗装後の確認作業に用いた場合の使用例である。
第２の使用例について説明する。第２の使用例は、コンテンツ表示システムを塗装後の確認作業に用いた場合の使用例である。
【0080】
旧来、塗装対象に塗料が塗布された後には確認作業が行われる。確認作業においては、塗布材の種類、塗布位置、塗布範囲が正しいか否かが確認される。塗布範囲の確認においては、必要な範囲に塗布されているか、塗布範囲外にはみ出していないかが確認されるが、全ての塗布場所が確認されたかは作業者に委ねられる。作業者は、確認作業後、別途ＰＣ等で確認結果を入力することによって上長に報告する。
【0081】
コンテンツ表示システム１を塗装後の確認作業に用いた場合、確認用のチェックリスト等の事前準備が不要となり、塗装作業に合わせて作成されたコンテンツによって塗布材の種類、塗布位置、塗布サイズを確認することができる。塗布位置を示す判定オブジェクト毎に判定処理がなされることによって抜け漏れなく確認することができる。また、判定結果がデータとして蓄積されるため、上長への報告作業が容易になるとともに、塗布不良の多い場所やパターン等を分析し、塗布作業に関する改善活動に判定結果を活用することが容易となる。
【0082】
（第３の使用例）
第３の使用例について説明する。第３の使用例は、コンテンツ表示システムを金型とプレス機の組み付け検証作業に用いた場合の使用例である。
第３の使用例について説明する。第３の使用例は、コンテンツ表示システムを金型とプレス機の組み付け検証作業に用いた場合の使用例である。
【0083】
旧来、金型とプレス機の組み付け検証作業においては、上下反転されたプレス金型の上に実寸サイズのシートやガバリが、金型と金型を設置するプレス機毎に事前に準備され、シートやガバリが金型に貼り付けられる。作業者は、クッションピンやクッションピンを保護する保護部材がプレス金型の土台部分（井桁形状）に干渉しないかを確認する。プレス機毎に形状の差異があるため、クッションピンや保護部材の干渉が生じた場合、作業者は、必要に応じて金型の土台部分を削る等の作業を行って干渉を除去する。一般的に、検証作業と干渉の予防作業は、異なる作業者により行われ、検証作業を行う作業者は、予防作業を行う作業者に対して、検証作業結果を口頭や書類等で伝達している。そのため、誰が、いつ、どの部分の、どんな作業を行ったかについては、紙で記録されるか、記録が残されない。
【0084】
コンテンツ表示システム１を金型とプレス機の組み付け検証作業に用いた場合、ガバリ等の事前準備が不要となり、仮想オブジェクトとしてのクッションピン等の位置を確認することができる。判定オブジェクトとしてのクッションピン毎に判定処理がなされることによって、作業者は、抜け漏れなく確認することができる。または、判定結果がデータとして蓄積可能なため、事後のデータ分析を行い、干渉の多い場所やパターン等を分析し改善活動に活用することができる。
【0085】
また、検証作業と干渉の予防作業とで作業者が異なっていても、判定結果がデータとして出力されることによって、どの部分にどんな作業を必要としているかを伝達することができ、作業後に誰が、いつ、どの部分の、どんな作業を行ったかを記録に残すことができる。判定結果や伝達した記録がデータとして蓄積可能なため、事後にデータ分析を行い、不良の多い場所やパターン等を分析し改善活動に活用することができる。
【0086】
（第４の使用例）
第４の使用例について説明する。第４の使用例は、コンテンツ表示システムを金型のメンテナンス作業に用いた場合の使用例である。
第４の使用例について説明する。第４の使用例は、コンテンツ表示システムを金型のメンテナンス作業に用いた場合の使用例である。
【0087】
旧来、定期的に行われる金型のメンテンス作業においては、確認作業者が、金型を機械から取り外し、溶接、切削、ばね交換、クッション交換等による補修を行う場所を目視により確認していた。更に、補修作業者は、口頭、文章、写真等を用いた確認作業者からの伝達に基づいて、金型の補修作業を行っていた。しかし、確認時と補修時とには時間的な差異があるため、補修内容が曖昧になり、補修個所や補修内容の確認に無駄が生じていた。
【0088】
コンテンツ表示システム１を金型のメンテナンス作業に用いた場合、確認作業者は、判定オブジェクトによって、金型のどの場所に対して、何を、どうすればよいのかを、様々なメディアファイルを用いて明確に示すことができる。更に、補修作業者も、どの場所で、何を、どうすればよいのかが明確に理解でき、タイムラグなく補修作業を実施できる。
【0089】
また、誰が、いつ、どの部分を補修したかを含めて記録することができるため、確認結果や伝達した情報、補修作業記録がデータとして蓄積可能となり、蓄積されたデータを用いて、不良の多い場所やパターン等を分析し改善活動に活用することができる。更に、このような分析結果を設計部門や開発部門にフィードバックすることで、不良回数の削減や補修しやすい設計に役立てることができる。また、分析結果を用いて、予防保全としての定期メンテナンスのスケジュール調整にも活用することができ、事後保全としての不定期のメンテナンスの発生を減らすこともできる。
【0090】
（第５の使用例）
第５の使用例について説明する。第５の使用例は、コンテンツ表示システムを塗装における塗布範囲の指定に用いた場合の使用例である。
第５の使用例について説明する。第５の使用例は、コンテンツ表示システムを塗装における塗布範囲の指定に用いた場合の使用例である。
【0091】
旧来、どの位置にどの塗布材を塗布すればよいかを示すため、プラスチックや金属で製作されたカバー等を含む専用器具を配置し、その周辺にマスキングテープを貼り付ける作業がなされていた。試作段階では何度も設計が変更されるため、設計変更に応じて専用器具も作成し直す必要がある。専用器具の製作に時間を要するため、設計変更からマスキング作業を実施するまでにタイムラグが生じていた。
【0092】
コンテンツ表示システム１を塗布範囲の指定に用いて、塗布対象の設計データに基づくコンテンツを塗布対象に重畳することによって、塗布位置や塗布範囲が明確となり、専用器具なしにマスキングテープの貼り付けを行うことができる。更に、専用器具を製作するため時間や費用が低減される。
【0093】
（第６の使用例）
第６の使用例について説明する。第６の使用例は、コンテンツ表示システムを機械設備の配置計画に用いた場合の使用例である。
第６の使用例について説明する。第６の使用例は、コンテンツ表示システムを機械設備の配置計画に用いた場合の使用例である。
【0094】
旧来、新たに機械設備が設置される場合や機械設備の入れ替えを実施する場合、設計図面に基づいて機械設備が工場建屋内に設置可能かが判断されていた。この場合、機械設備が動作する際に生じうる建屋や他の機械設備等に対する干渉や、建屋内で従事する作業者の動線、部材運搬車の動線等の考慮が不十分となり、機械設備の配置を見直す作業が生じていた。
【0095】
コンテンツ表示システム１を機械設備の配置計画に用いた場合、既存の工場建屋内や機械設備に対して、新たに設置する仮想の機械設備を配置することができるため、あらかじめ、建屋や他の機械設備等に対する干渉や、作業者の動線、部材運搬車の動線等の考慮や確認を十分に行うことができる。
【0096】
以上に説明したように、コンテンツ表示システム１によれば、コンテンツ表示装置１０、コンテンツ管理装置２０として、汎用的なタブレット型端末やＰＣを用いることができるため、ＭＲ技術を用いた対象物に対する判定作業をより安価に実現することができる。
【0097】
＜第２の実施形態＞
第２の実施形態に係るコンテンツ表示システムについて説明する。図２３、図２５、図２６は、それぞれ、本実施形態に係るコンテンツ生成処理、コンテンツ表示装置の動作、可変処理を示すフローチャートである。図２４は、本実施形態に係るオブジェクト情報を示す図である。図２７は、本実施形態に係る実オブジェクトを示す概略図である。図２８は、本実施形態に係る実オブジェクトに重畳された仮想オブジェクトを表示するコンテンツ表示装置を示す図である。
第２の実施形態に係るコンテンツ表示システムについて説明する。図２３、図２５、図２６は、それぞれ、本実施形態に係るコンテンツ生成処理、コンテンツ表示装置の動作、可変処理を示すフローチャートである。図２４は、本実施形態に係るオブジェクト情報を示す図である。図２７は、本実施形態に係る実オブジェクトを示す概略図である。図２８は、本実施形態に係る実オブジェクトに重畳された仮想オブジェクトを表示するコンテンツ表示装置を示す図である。
【0098】
本実施形態に係るコンテンツ表示装置１０は、実オブジェクトに重畳して表示される仮想オブジェクトのスケールが仮想空間の３軸（ｘ，ｙ，ｚ、図１１参照）毎に変更可能である点において、第１の実施形態とは異なる。本実施形態においては、スケールを拡大縮小可能な仮想オブジェクトである可変オブジェクトがコンテンツに含まれる。
【0099】
このような可変オブジェクトを生成するため、本実施形態に係るコンテンツ生成処理は、図２３に示すように、ステップＳ１０６，Ｓ１０８，Ｓ１０９の後にステップＳ１１１が実行される点において、第１の実施形態とは異なる。コンテンツ管理装置２０の変換部２０１は、ステップＳ１１１において、選択中のグループが可変対象に設定されているか否かを判定する。
【0100】
選択中のグループが可変対象である場合（Ｓ１１１，ＹＥＳ）、変換部２０１は、選択中のグループに含まれる仮想オブジェクトのそれぞれのオブジェクト情報における可変対象フラグを“ＯＮ”にし（Ｓ１１２，ＹＥＳ）、ステップＳ１０７の処理を実行する。一方、選択中のグループが可変対象ではない場合（Ｓ１１２，ＮＯ）、変換部２０１は、選択中のグループに含まれる仮想オブジェクトのそれぞれのオブジェクト情報における可変対象フラグを“ＯＦＦ”にし、ステップＳ１０７の処理を実行する。
【0101】
このように生成された本実施形態に係るオブジェクト情報は、図２４に示すように、オブジェクトＩＤに対して、可変対象フラグ、ｘスケール、ｙスケール、ｚスケールを更に対応付ける点において、第１の実施形態とは異なる。可変対象フラグは、対応する仮想オブジェクトが可変対象であるか否かを示す。ｘスケール、ｙスケール、ｚスケールは、いずれも０を初期値とし、最小値としての負値から最大値としての正値までの値が入力され、負値が入力された場合には対応する仮想オブジェクトが縮小され、正値が入力された場合には対応する仮想オブジェクトが拡大される。ｘスケールは対応する仮想オブジェクトのｘ軸方向のスケールを示す。ｙスケールは対応する仮想オブジェクトのｙ軸方向のスケールを示す。ｚスケールは対応する仮想オブジェクトのｚ軸方向のスケールを示す。例えば、ｚスケールに負値が入力されると、対応する仮想オブジェクトはｚ軸方向にのみ縮小される。
【0102】
本実施形態に係るコンテンツ表示装置１０は、図２５に示すように、出力処理がなされる前にステップＳ２０８の処理として可変処理を実行する点において、第１の実施形態とは異なる。可変処理においては、図２６に示すように、まず、表示処理部１０４は、可変対象フラグが“ＯＮ”に設定された仮想オブジェクトである可変オブジェクトが表示中のコンテンツに含まれるか否かを判定する（Ｓ６０１）。
【0103】
可変オブジェクトが含まれる場合（Ｓ６０１，ＹＥS）、表示処理部１０４は、可変オブジェクトがユーザにより選択されたか否かを判定し（Ｓ６０２）、可変オブジェクトが選択された場合（Ｓ６０２，ＹＥＳ）、３軸のうち選択された軸方向のスケールを可変させる可変指示がユーザによりなされたか否かを判定する（Ｓ６０３）。可変指示がなされた場合（Ｓ６０３，ＹＥＳ）、表示処理部１０４は、可変指示に基づいて可変オブジェクトのスケールを変更する（Ｓ６０４）。
【0104】
可変オブジェクトが含まれない場合（Ｓ６０１，ＮＯ）、可変オブジェクトが選択されない場合（Ｓ６０２，ＮＯ）、または、可変指示がなされない場合（Ｓ６０３，ＮＯ）、可変処理が終了される。
【0105】
図２７～図２９を参照して、具体例として、スケールが縮小される可変オブジェクトについて説明する。この具体例において、実オブジェクトＲＯは、図２７に示すように、上面に穴Ｈが形成された略直方体状の物体とし、穴Ｈは底面Ｂが形成される非貫通穴とする。また、図２８に示すように、ｚ軸方向に延在する柱状の可変オブジェクトＶＯが実オブジェクトＲＯに重畳されて表示されるものとする。また、可変オブジェクトＶＯは、穴Ｈに挿入されるパーツを模したものとする。
【0106】
上述した可変指示は、タッチパネル上に表示されるＧＵＩである可変操作部ＶＣを用いてなされる。可変操作部ＶＣは、可変オブジェクトＶＯのスケールを可変させる軸を選択するための３つのチェックボックスと、ツマミを左右方向に操作可能なスライダーＵＩとを含む。ツマミが左側に移動されると可変オブジェクトＶＯが縮小され、ツマミが右側に移動される可変オブジェクトＶＯが拡大される。
【0107】
図２８においては、可変オブジェクトＶＯのスケールを可変させる軸としてｚ軸（図２８中上下方向）が選択され、つまみは中央部にあるため、可変オブジェクトＶＯはスケールが変化されていない状態にある。可変オブジェクトＶＯは、穴Ｈに嵌合される位置に配されるが、穴Ｈの底面Ｂが可変オブジェクトＶＯに覆われ、可変オブジェクトＶＯが穴Ｈの底面Ｂと干渉するか否かをユーザは判定することができない。
【0108】
図２９に示すように、可変操作部ＶＣにおけるスライダーＵＩのツマミが左側に移動されると、可変オブジェクトＶＯがｚ軸方向に縮小される。これによって、可変オブジェクトＶＯと穴Ｈの底面Ｂとの両方がタッチパネル１４上に表示され、ユーザは可変オブジェクトＶＯが穴Ｈの底面Ｂと干渉するか否かを判定することができる。
【0109】
本実施形態に係るコンテンツ表示装置１０によれば、上述した第３の使用例のように、金型とプレス機の組み付け検証作業に用いた場合、複数の凹部を有する金型に対して、クッションピンを模した仮想オブジェクトのスケールを凹部の凹み方向に縮小させることによって、金型の凹部の底部とクッションピンとの干渉具合を容易に確認することができる。
【0110】
＜第３の実施形態＞
第３の実施形態に係るコンテンツ表示システムについて説明する。図３０は、本実施形態に係るコンテンツ生成処理を示すフローチャートである。図３１は、本実施形態に係るオブジェクト情報を示す図である。図３２は、本実施形態に係る階層化された仮想オブジェクト群を示す図である。
第３の実施形態に係るコンテンツ表示システムについて説明する。図３０は、本実施形態に係るコンテンツ生成処理を示すフローチャートである。図３１は、本実施形態に係るオブジェクト情報を示す図である。図３２は、本実施形態に係る階層化された仮想オブジェクト群を示す図である。
【0111】
本実施形態に係るコンテンツ表示装置１０は、コンテンツに含まれる複数の仮想オブジェクトを階層化して扱うことができる点において、第１の実施形態とは異なる。本実施形態においては、自身が属するグループが属するグループに対応付けられた仮想オブジェクトである階層化オブジェクトがコンテンツに含まれる。
【0112】
このような階層化オブジェクトを生成するため、本実施形態に係るコンテンツ生成処理は、図３０に示すように、ステップＳ１０６，Ｓ１０８，Ｓ１０９の後にステップＳ１２１が実行される点において、第１の実施形態とは異なる。コンテンツ管理装置２０の変換部２０１は、ステップＳ１２１において、選択中のグループが構造化対象に設定されているか否かを判定する。
【0113】
選択中のグループが構造化対象である場合（Ｓ１２１，ＹＥＳ）、変換部２０１は、選択中のグループに含まれる仮想オブジェクトのそれぞれのオブジェクト情報における親ＩＤ（後述）に対して、これらの仮想オブジェクトが属するグループが属するグループを示すグループＩＤをセットし（Ｓ１２２，ＹＥＳ）、ステップＳ１０７の処理を実行する。一方、選択中のグループが構造化対象ではない場合（Ｓ１２２，ＮＯ）、変換部２０１は、オブジェクト情報における親ＩＤに変更を加えず、空ステップＳ１０７の処理を実行する。なお、親ＩＤの初期値は空値またはコンテンツにおける全ての仮想オブジェクトを含むルートグループを示すグループＩＤとする。また、親ＩＤは、コンテンツ生成処理の実行に先立ってユーザに指定されたグループがセットされるか、入力された３Ｄデータに含まれる構造化情報に基づいて設定されるものとする。
【0114】
このように生成された本実施形態に係るオブジェクト情報は、図３１に示すように、オブジェクトＩＤに対して、上述した親ＩＤを更に対応付ける点において、第１の実施形態とは異なる。親ＩＤには、対応するグループＩＤに示されるグループが属するグループを示すグループＩＤがセットされる。
【0115】
このような親ＩＤを含むオブジェクト情報によれば、図３２に示すように、仮想オブジェクトを階層化して扱うことができる。図３２には、仮想オブジェクトとしての６つのナットＡ～Ｆが示される。６つのナットＡ～Ｆのそれぞれのオブジェクト情報における親ＩＤにはＧ１がセットされ、ナットＡ～Ｃのそれぞれのオブジェクト情報におけるグループＩＤにはＧ２がセットされ、ナットＤ～Ｆのそれぞれのオブジェクト情報におけるグループＩＤにはＧ３がセットされる。これによって、“エリア１”に属する３つのナットと、“エリア１”とは異なる“エリア２”に属する３つのナットとを含む全てのナットを表現することができる。また、他のグループに属するグループが親ＩＤとしてセットされても良く、仮想オブジェクトが３階層以上に階層化されても良い。
【0116】
このように仮想オブジェクトを構造化することによって、複数の仮想オブジェクトに対する変更をより柔軟に行うことができる。例えば、図３２に示されるようにナットの表示色を変更する場合、まず、全てのナットの表示色を赤に変更し、“エリア１”に属するナットのうち、ナットＢのみの表示色を青に変更し、“エリア２”に属する全てのナットの表示色を黄色に変更すれば良い。このように、仮想オブジェクトの構造化によれば、全ての仮想オブジェクトを個別に変更する場合と比較して、同一グループに属する一部の仮想オブジェクトに対する変更がより容易となる。
【0117】
本実施形態に係るコンテンツ表示装置１０を、上述の第２の使用例のような塗装後の確認作業に用いた場合、多数の塗布位置を、塗布場所や塗布材だけでなく、担当するエリアや担当者毎に区分することができ、塗装作業におけるミスを減らすことができる。また、作業者が、コンテンツ表示装置１０において、チェックを完了した塗布位置を非表示にし、未チェックのもののみを表示させることによって、チェックの効率を高めることもできる。
【0118】
発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0119】
１０ コンテンツ表示装置
１０１ パラメータ算出部
１０２ パラメータ更新部
１０４ 表示処理部
１０５ 判定処理部
１０６ 出力処理部
１０１ パラメータ算出部
１０２ パラメータ更新部
１０４ 表示処理部
１０５ 判定処理部
１０６ 出力処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
