特許 6896688 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6896688

(24)【登録日】2021年6月11日

(45)【発行日】2021年6月30日

(54)【発明の名称】位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210621BHJP

   G01B 11/00 20060101ALI20210621BHJP

   G01B 11/26 20060101ALI20210621BHJP

   G06T 19/00 20110101ALI20210621BHJP

   G06F 3/0481 20130101ALI20210621BHJP

【ＦＩ】

   G06T7/20 100

   G01B11/00 H

   G01B11/26 H

   G06T19/00 600

   G06F3/0481 150

【請求項の数】2

【全頁数】18

(21)【出願番号】特願2018-187909(P2018-187909)

(22)【出願日】2018年10月3日

(65)【公開番号】特開2019-153274(P2019-153274A)

(43)【公開日】2019年9月12日

【審査請求日】2018年10月3日

(31)【優先権主張番号】特願2018-34509(P2018-34509)

(32)【優先日】2018年2月28日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(73)【特許権者】

【識別番号】504130809

【氏名又は名称】東芝インフォメーションシステムズ株式会社

(74)【代理人】

【識別番号】100101856

【弁理士】

【氏名又は名称】赤澤 日出夫

(72)【発明者】

【氏名】上曽山 裕哉

(72)【発明者】

【氏名】星川 俊則

(72)【発明者】

【氏名】裴 ビョンチョル

(72)【発明者】

【氏名】斎藤 翔太

【審査官】 片岡 利延

(56)【参考文献】

【文献】 国際公開第２０１７／１３４８８６（ＷＯ，Ａ１）

【文献】 特開２０１３−１６４６９７（ＪＰ，Ａ）

【文献】 特開２０１６−００６５８９（ＪＰ，Ａ）

【文献】 特開２０１７−１９９３２４（ＪＰ，Ａ）

【文献】 島村潤，外２名，設備保守支援向けＡＲのための部分テンプレート検出とｖＳＬＡＭの併用によるオブジェクト座標系へのレジストレーション，画像の認識・理解シンポジウム（ＭＩＲＵ２０１１），２０１１年 ７月，pp.1370-1376

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２６

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

サーバ装置とネットワークにより接続可能であり、自位置を算出する位置算出装置であって、
所定箇所に配されたマーカーを撮像する撮像装置と、
前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記位置算出装置の周囲の物体の３次元特徴点群を所定の時間毎に検出する深度センサと、
時系列において前後する３次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部と、
前記撮像装置により撮像された撮像画像を表示する表示部と、
前記表示された撮像画像において指定された指定箇所と前記位置算出装置との離間距離を前記深度センサにより取得し、該離間距離と前記位置算出装置の位置及び姿勢とに基づいて前記マーカーの位置を原点とした前記指定箇所の位置を算出し、該指定箇所の位置に対して該指定箇所に付加される所定のコンテンツを付加コンテンツとして対応付けるともに、前記指定箇所と前記位置算出装置の位置とを結ぶ線分の延在方向を向く仮想オブジェクトとを対応付け、前記付加コンテンツと該付加コンテンツの指定箇所に対応付けた仮想オブジェクトの向きとを前記サーバ装置に送信する付加処理部と
を備える位置算出装置。

【請求項2】

自位置を算出する位置算出装置と該位置算出装置とネットワークにより接続可能なサーバ装置とを備えるコンテンツ付加システムであって、
前記位置算出装置は、
所定箇所に配されたマーカーを撮像する撮像装置と、
前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記位置算出装置の周囲の物体の３次元特徴点群を所定の時間毎に検出する深度センサと、
時系列において前後する３次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部と、
前記撮像装置により撮像された撮像画像を表示する表示部と、
前記表示された撮像画像において指定された指定箇所と前記位置算出装置との離間距離を前記深度センサにより取得し、該離間距離と前記位置算出装置の位置及び姿勢とに基づいて前記マーカーの位置を原点とした前記指定箇所の位置を算出し、該指定箇所の位置と該指定箇所に付加される所定のコンテンツとを対応付けた付加コンテンツを前記サーバ装置に送信するとともに、前記指定箇所と対応付けられた仮想オブジェクトの向きとして前記指定箇所と前記位置算出装置の位置とを結ぶ線分の延在方向を前記サーバ装置に送信する付加処理部とを備え、
前記サーバ装置は、
前記位置算出装置により送信された付加コンテンツ及び仮想オブジェクトの向きを受信する受信部と、
受信された付加コンテンツ及び仮想オブジェクトの向きをコンテンツ情報として管理するコンテンツ情報管理部とを備えることを特徴とするコンテンツ付加システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、自位置を取得する技術に関する。

【背景技術】

【0002】

従来、現実の世界の物事に対して仮想の情報を付加するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術が知られている。このＡＲ技術によれば、現実環境が映された映像における特定のパターン、現実環境における機器の位置などに対応して、３Ｄモデル、テキストなどのコンテンツが提示される。

【0003】

このようなＡＲ技術において、カメラに撮像された画像や空間など機器に認識可能な周辺環境に基づいてコンテンツの提示を行うものはビジョンベースＡＲと呼ばれ、また、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサなどにより得られる機器の位置情報に基づいてコンテンツの提示を行うものはロケーションＡＲと呼ばれる。

【0004】

ロケーションＡＲは、現実環境にコンテンツを付加するというその特性から、作業空間における作業支援への応用が期待されている。ＡＲ技術を用いた作業支援としては、作業空間における任意の位置に対して、作業に関する注意事項や指示などをコンテンツとして付加することが考えられている。

【0005】

また、関連する技術として、画像を撮像した端末の位置及び姿勢を基準として画像に映る環境の位置及び姿勢を表現する環境認識行列を認識する認識部と、環境認識行列の逆行列を計算する計算部と、環境認識行列の逆行列に基づく位置及び姿勢を有する仮想オブジェクトを環境内に配置するオブジェクト配置部とを備える画像処理装置、が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６−１７７８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

現実世界において特定の位置にコンテンツを付加する場合、また付加したコンテンツを提示する場合、その前提として現実世界における機器の位置の特定が不可欠である。機器の位置の特定については、緯度及び経度を得られるＧＮＳＳセンサを用いるのが一般的である。しかし、地下などのＧＮＳＳ信号の受信が困難な環境においては、精度良く機器の位置を得ることができず、したがって、コンテンツの付加及び提示が適切になされない、という問題があった。

【0008】

本発明の実施形態は、上述した問題点を解決するためになされたものであり、ＧＮＳＳ信号を取得することが困難な環境においても、精度良く機器の位置を得ることができる技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

上述した課題を解決するため、本発明の実施形態は、自位置を算出する位置算出装置であって、所定箇所に配されたマーカーを撮像する撮像装置と、前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、前記位置算出装置の周囲の物体の３次元特徴点群を所定の時間毎に検出する深度センサと、時系列において前後する３次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部とを備える。

【0010】

また、本発明の実施形態は、自位置を算出する位置算出装置と該位置算出装置とネットワークにより接続可能なサーバ装置とを備えるコンテンツ付加システムであって、前記位置算出装置は、所定箇所に配されたマーカーを撮像する撮像装置と、前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、前記位置算出装置の周囲の物体の３次元特徴点群を所定の時間毎に検出する深度センサと、時系列において前後する３次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部と、所定の指定箇所と前記位置算出装置との離間距離を前記深度センサにより取得し、該離間距離と前記位置算出装置の位置及び姿勢とに基づいて前記マーカーの位置を原点とした前記指定箇所の位置を算出し、該指定箇所の位置と該指定箇所に付加される所定のコンテンツとを対応付けた付加コンテンツを前記サーバ装置に送信する付加処理部とを備え、前記サーバ装置は、前記位置算出装置により送信された付加コンテンツを受信する受信部と、受信された付加コンテンツをコンテンツ情報として管理するコンテンツ情報管理部とを備える。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係るコンテンツ付加システムの全体構成を示す概略図である。

【図2】第１の実施形態に係るコンテンツ付加システムが運用される作業現場を示す概略平面図である。

【図3】サーバ装置のハードウェア構成を示すブロック図である。

【図4】位置算出装置のハードウェア構成を示すブロック図である。

【図5】位置算出装置の機能構成を示すブロック図である。

【図6】サーバ装置の機能構成を示すブロック図である。

【図7】コンテンツの付加に係る位置算出装置の全体動作を示すフローチャートである。

【図8】初期位置及び初期姿勢の算出を説明するための概略図である。

【図9】初期位置から現位置までの経路を示す概略平面図である。

【図10】コンテンツ付加処理の動作を示すフローチャートである。

【図11】コンテンツ付加位置と仮想オブジェクトとを示す概略図である。

【図12】コンテンツの付加に係るサーバ装置の全体動作を示すフローチャートである。

【図13】撮像画像に対して重畳表示された付加コンテンツを示す概略図である。

【図14】カテゴリと対応付けられた付加コンテンツを示す概略図である。

【図15】第２の実施形態に係るコンテンツ付加システムが運用される製造工場を示す概略平面図である。

【図16】建物における一方の付加コンテンツの出力を示す概略図である。

【図17】建物における他方の付加コンテンツの出力を示す概略図である。

【図18】第３の実施形態に係るコンテンツ付加システムが運用される観光地を示す概略図である。

【図19】モニュメントにおける付加コンテンツの出力を示す概略図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照しつつ説明する。

【0013】

＜第１の実施形態＞
（全体構成）
第１の実施形態に係るコンテンツ付加システム１の全体構成及びこのコンテンツ付加システムが運用される作業現場について説明する。図１は、本実施形態に係るコンテンツ付加システムの全体構成を示す概略図である。図２は、本実施形態に係るコンテンツ付加システムが運用される作業現場を示す概略平面図である。

【0014】

図１に示すように、本実施形態に係るコンテンツ付加システムは、サーバ装置１０と、管理者端末２０と、少なくとも１つ以上の位置算出装置３０を備える。位置算出装置３０は、携帯可能な装置であり、本実施形態においてコンテンツ付加システムが運用される作業現場において作業者により使用される。また、サーバ装置１０と管理者端末２０は、作業現場とは異なる場所にある管理センターに設置される。

【0015】

位置算出装置３０は、作業現場に設置された無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してネットワークに接続し、ネットワークを介してサーバ装置１０と通信する。また、管理者端末２０は、管理センターに設置された有線ＬＡＮを介してサーバ装置１０と通信する。なお、位置算出装置３０は、ネットワークに常時接続されていなくとも良く、送受信すべきデータを位置算出装置３０内に一時記憶し、ネットワークに接続された際に、データの送受信を行うようにしても良い。

【0016】

本実施形態において、作業現場は、コンテンツ付加システムが運用される建屋であり、例えば、原子力発電所などにおける１区画とする。この作業現場は、図２に示すように、壁部で囲まれた複数の部屋がある１区画であり、区画内に複数の設備が配されているものとする。

【0017】

この作業現場においては、位置算出装置３０をそれぞれ有した作業者が従事し、以下に詳述するコンテンツ付加システムを用いることによって、壁部または設備における特定箇所に対して、この箇所に対応付けられたコンテンツが存在することを示す仮想オブジェクトを付加する。この仮想オブジェクトは、位置算出装置３０のタッチパネル３４（図４参照）を介して作業者が視認可能な仮想の目印である。

【0018】

また、作業現場の入口付近の壁部には、正方形内に所定のパターンが描画された２次元画像であるマーカーが貼着される。このマーカーは所謂ＡＲマーカーであり、後に詳述するように、位置算出装置３０の位置及び仮想オブジェクトの位置を示す座標の原点として機能する。このマーカーは、位置算出装置３０とマーカーとの位置関係を推定するのに適したものであれば、どのような画像であっても良い。

【0019】

（ハードウェア構成）
サーバ装置及び位置算出装置のハードウェア構成について説明する。図３は、サーバ装置のハードウェア構成を示すブロック図である。図４は、位置算出装置のハードウェア構成を示すブロック図である。

【0020】

サーバ装置１０は、図３に示すように、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、記憶装置１３、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４、ネットワークＩ／Ｆ１５を備える。ＣＰＵ１１及びＲＡＭ１２は協働して各種機能を実行し、記憶装置１３は各種機能により実行される処理に用いられる各種データを記憶する。入出力Ｉ／Ｆ１４は、サーバ装置１０に接続されるキーボードなどの入力装置やディスプレイなどの出力装置とのデータの入出力を行う。ネットワークＩ／Ｆ１５は、管理者端末２０や位置算出装置３０などの他の装置との有線通信及び無線通信を行う。本実施形態においては、管理者端末２０はサーバ装置１０と同様のハードウェア構成であるものとし、よって説明を省略する。

【0021】

位置算出装置３０は、タブレット型端末であり、図４に示すように、ハードウェアとして、ＣＰＵ３１、ＲＡＭ３２、記憶装置３３、タッチパネル３４、ネットワークＩ／Ｆ３５、カメラ３６、深度センサ３７を備える。ＣＰＵ３１及びＲＡＭ３２は協働して各種機能を実行し、記憶装置３３は各種機能により実行される処理に用いられる各種データを記憶する。タッチパネル３４は、ディスプレイとタッチセンサとを有し、位置算出装置３０の正面側に備えられた入出力装置である。ネットワークＩ／Ｆ３５は、サーバ装置１０との無線通信を行う。

【0022】

カメラ３６は、位置算出装置３０の背面側に備えられ、可視光による２次元画像及び映像を撮像する撮像装置である。深度センサ３７は、位置算出装置３０の背面側に備えられ、レーザを投光してその反射光を受光素子により受光することにより、位置算出装置３０から周囲の物体までの距離を測定するセンサである。この深度センサ３７は、本実施形態においては、投光パルスに対する受光パルスの遅れ時間を距離に換算するＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、位置算出装置３０から周囲の物体までの距離を測定して３次元点群化するセンサとする。なお、カメラ３６による撮像方向と深度センサ３７による測定方向は一致しているものとする。

【0023】

（位置算出装置の機能構成）
位置算出装置の機能構成について説明する。図５は、位置算出装置の機能構成を示すブロック図である。

【0024】

図５に示すように、位置算出装置３０は、機能として、パラメータ算出部３０１、パラメータ更新部３０２、付加処理部３０３、表示部（提示部）３０４、ユーザ情報送信部３０５、コンテンツ情報受信部３０６、位置送信部３０７、映像送信部３０８を備える。

【0025】

パラメータ算出部３０１は、カメラ３６による撮像画像におけるマーカーを認識し、認識したマーカーに基づいて、貼着されたマーカーを原点としたマーカー座標における位置算出装置３０の初期位置及び初期姿勢をパラメータとして算出する。パラメータ更新部３０２は、深度センサ３７により取得される３次元点群の前後のフレーム間の変位に基づいて、位置算出装置３０の位置及び姿勢の変位をフレーム毎に算出し、この変位に基づいて、パラメータ算出部３０１により算出された初期位置及び初期姿勢を起点とした位置算出装置３０の位置及び姿勢を更新する。なお、位置算出装置３０の位置及び姿勢は、それぞれ算出、更新された時点の時刻と対応付けられるものとする。

【0026】

付加処理部３０３は、位置算出装置３０の現在位置及び現在姿勢と、深度センサ３７により測定された、位置算出装置３０からコンテンツを付加する対象物としての設備または壁部上の指定箇所までの距離とに基づいてマーカー座標上における指定箇所の位置を算出し、指定箇所とコンテンツとを対応付けることによりコンテンツを付加する。また、付加処理部３０３は、付加したコンテンツをサーバ装置１０へ送信し、付加コンテンツとして、マーカー座標系における所定の座標、及びこの座標を指し示す仮想オブジェクトの向きと対応付けられたコンテンツをサーバ装置１０へ送信する。ここでコンテンツは、例えば、テキスト、ＵＲＬ、音声、画像などの出力装置を介して、直接的または間接的にユーザに提示可能なあらゆるデータを含む。

【0027】

表示部３０４は、カメラ３６により撮像された画像に仮想オブジェクトを重畳してタッチパネル３４に表示する。なお、表示部３０４は、複数の仮想オブジェクトをタッチパネル３４に表示する際、位置算出装置３０の現在位置及び現在姿勢に基づいて、複数の仮想オブジェクトまたは実在の物体との前後関係を算出し、手前に位置する仮想オブジェクトまたは実在の物体を奥に位置する仮想オブジェクトまたは実在の物体上に重畳して表示する。

【0028】

ユーザ情報送信部３０５は、ユーザとして作業者を一意に示すユーザＩＤとこのユーザＩＤに対応する認証情報とを認証要求としてサーバ装置１０へ送信する。コンテンツ情報受信部３０６は、ユーザ情報送信部３０５による認証要求に対する応答としてサーバ装置１０により送信されたコンテンツ情報を受信する。位置送信部３０７は、パラメータ算出部３０１により算出された初期位置とパラメータ更新部３０２により逐次算出された後続位置とをサーバ装置１０へ送信する。映像送信部３０８は、表示部３０４によりタッチパネル３４に表示された表示画面をその時点における位置算出装置３０の位置と対応付けて、表示画面が時系列に連なる表示画面映像としてサーバ装置１０へ送信する。

【0029】

（サーバ装置の機能構成）
サーバ装置の機能構成について説明する。図６は、サーバ装置の機能構成を示すブロック図である。

【0030】

図６に示すように、サーバ装置１０は、機能として、ユーザ情報管理部１０１、ユーザ認証部１０２、付加コンテンツ受信部１０３、コンテンツ情報管理部１０４、コンテンツ情報送信部１０５、位置受信部１０６、経路管理部１０７、経路送信部１０８、映像受信部１０９、映像管理部１１０、映像送信部１１１を備える。

【0031】

ユーザ情報管理部１０１は、ユーザＩＤと認証情報とを対応付けてユーザ情報として管理する。ユーザ認証部１０２は、位置算出装置３０により送信されたユーザ情報とユーザ情報管理部１０１により管理されたユーザ情報とを照合して位置算出装置３０の認証を行う。なお、ユーザＩＤは、管理者端末２０のユーザにも割り当てられており、ユーザ認証部１０２は、位置算出装置３０と同様に管理者端末２０に対する認証を行う。

【0032】

付加コンテンツ受信部１０３は、付加コンテンツを位置算出装置３０より受信する。コンテンツ情報管理部１０４は、付加コンテンツ受信部１０３により受信されたコンテンツをこのコンテンツを一意に示す識別子であるコンテンツＩＤを付してコンテンツ情報として管理する。ここで、コンテンツ情報は、付加コンテンツと、閲覧制限の可否と、閲覧を許可されたユーザのユーザＩＤとが対応付けられたものである。コンテンツ情報には、全てのユーザが取得可能に閲覧制限がなされていないものと一部のユーザのみが取得可能に閲覧制限されたものとがあり、後者のコンテンツ情報のみに閲覧が許可されたユーザのユーザＩＤが設定されるものとする。コンテンツ情報送信部１０５は、ユーザ認証部１０２により認証されたユーザについて、このユーザが閲覧を制限されていないコンテンツ情報のみを位置算出装置３０へ送信する。

【0033】

位置受信部１０６は、位置算出装置３０より送信された位置を受信する。経路管理部１０７は、ユーザ認証部１０２によりユーザが認証される毎に、作業現場における位置算出装置３０の経路を一意に示す経路ＩＤを生成し、経路ＩＤとユーザＩＤと経路情報とを対応付けて管理する。ここで経路情報は、認証されたユーザが使用する位置算出装置３０より送信された初期位置及び更新された位置とこれらの算出時刻とを含む。経路送信部１０８は、管理者端末２０による所定の経路の取得要求に応じて、該当する経路情報を管理者端末２０へ送信する。

【0034】

映像受信部１０９は、位置算出装置３０により送信された表示画面映像を受信する。映像管理部１１０は、映像受信部１０９により受信された表示画面映像とユーザＩＤとを対応付け、表示画面映像を一意に示す映像ＩＤを付して管理する。映像送信部１１１は、管理者端末２０による所定の表示画面映像の取得要求に応じて、該当する表示画面映像を管理者端末２０へ送信する。この表示画面映像は、管理者端末２０により閲覧可能とすることにより、作業者としてのユーザの状況を管理センターから確認することができる。なお、表示画面映像を構成する一連の表示画面には、位置算出装置３０の位置が対応付けられているため、図２に示したように、作業現場の一部領域をマスクエリアとして予め設定することによって、このマスクエリア内における撮像画像に基づく表示画面は黒塗りにするなどのマスクを施しても良い。これによって、作業現場におけるマスクエリア内の設備を外部から閲覧不能に秘匿することができる。

【0035】

（位置算出装置の動作）
コンテンツの付加に係る位置算出装置の動作について説明する。図７は、コンテンツの付加に係る位置算出装置の全体動作を示すフローチャートである。図８は、初期位置及び初期姿勢の算出を説明する概略図である。図９は、初期位置から現位置までの経路を示す概略平面図である。なお、図７においては、カメラによる撮像画像がパラメータ算出部により予め取得されているものとする。

【0036】

図７に示すように、パラメータ算出部３０１は、カメラ３６による撮像画像において、マーカーが認識されたか否かを判定する（Ｓ１０１）。

【0037】

マーカーが認識された場合（Ｓ１０１，ＹＥＳ）、パラメータ算出部３０１は、マーカーを原点とする位置算出装置３０の初期位置及び初期姿勢をパラメータとして算出する（Ｓ１０２）。

【0038】

ここで、初期位置及び初期姿勢の算出について説明する。図８に示すように、作業現場における壁部Ｗに対して、水平面に垂直する壁面に貼着されたマーカーＭを含む撮像範囲Ｓがカメラ３６により撮像されると、マーカーＭと位置算出装置３０との位置関係によって、撮像画像上のマーカーｍに拡縮、変形が生じる。パラメータ算出部３０１は、基準となるマーカーの形状及び大きさを示すマーカー情報に基づいて、マーカーｍの大きさ及び形状から、マーカーＭに対する位置算出装置３０の相対位置及び相対姿勢を算出する。更にパラメータ算出部３０１は、この相対位置及び相対姿勢からマーカーＭを原点とした３軸上（図中ｘ，ｙ，ｚ）の位置算出装置３０の位置及び、これら３軸に平行する回転軸（ｘ１，ｙ１，ｚ１）周りの位置算出装置３０の回転を算出することによって、位置算出装置３０の初期位置及び初期姿勢を算出する。なお、本実施形態において、マーカーＭの中心点を原点Ｏとし、カメラ３６の中心、具体的にはイメージセンサの中心点を回転軸の原点Ｉとする。

【0039】

初期位置及び初期姿勢の算出後、ユーザ情報送信部３０５は、認証要求として、サーバ装置１０へユーザ情報を送信する（Ｓ１０３）。次に、コンテンツ情報受信部３０６は、認証要求に対するサーバ装置１０の応答により、認証が許可されたか否かを判定する（Ｓ１０４）。

【0040】

認証が許可された場合（Ｓ１０４，ＹＥＳ）、コンテンツ情報受信部３０６が、サーバ装置１０から送信されたコンテンツ情報を受信し（Ｓ１０５）、位置送信部３０７が位置算出装置３０の現在位置、即ち直近に算出された位置座標を、その算出または更新時刻とともにサーバ装置１０へ送信し（Ｓ１０６）、パラメータ更新部３０２が深度センサ３７により検出される３次元特徴点群の変位に基づいて位置算出装置３０の現在位置及び現在姿勢を更新する（Ｓ１０７）。

【0041】

ここで、現在位置及び現在姿勢の更新について説明する。パラメータ更新部３０２は、時系列に前後する３次元特徴点群の変位に基づいて、位置算出装置３０の位置及び姿勢の変位を算出し、この変位を初期位置及び初期姿勢または前回更新した位置及び姿勢に積算することによって、位置算出装置３０の現在位置及び現在姿勢を逐次更新する。このように現在位置及び現在姿勢を更新することによって、図９に示すように、時系列に得られる一連の位置及び姿勢から、現在位置及び現在姿勢Ｃに先立つ位置算出装置３０の経路Ｒが得られる。なお、３次元特徴点群の変位に基づく自位置及び自姿勢の変位の算出については、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）法やＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法など既知の手法を用いるものとする。また、ＶＳＬＡＭ（Ｖｉｓｕａｌ ＳＬＡＭ）法を用いて、カメラ３６により撮像された撮像画像に基づいて位置算出装置３０の位置及び姿勢の変位を算出するようにしても良い。

【0042】

現在位置及び現在姿勢の更新後、付加処理部３０３は、タッチパネル３４を介して所定箇所にコンテンツを付加する付加指示がなされたか否かを判定する（Ｓ１０８）。

【0043】

付加指示がなされた場合（Ｓ１０８，ＹＥＳ）、付加処理部３０３は、後述するコンテンツ付加処理を実行する（Ｓ１０９）。次に、付加処理部３０３は、タッチパネル３４を介して、コンテンツの付加に係る処理を終了する終了指示がなされたか否かを判定する（Ｓ１１０）。

【0044】

終了指示がなされた場合（Ｓ１１０，ＹＥＳ）、コンテンツの付加に係る処理が終了される。

【0045】

一方、終了指示がなされない場合（Ｓ１１０，ＮＯ）、位置送信部３０７が更新された位置算出装置３０の位置をサーバ装置１０へ送信する（Ｓ１０６）。

【0046】

また、ステップＳ１０８において、付加指示がなされなかった場合（Ｓ１０８，ＮＯ）、位置送信部３０７が更新された位置算出装置３０の位置をサーバ装置１０へ送信する（Ｓ１０６）。

【0047】

また、ステップＳ１０４において、認証が拒否された場合（Ｓ１０４，ＮＯ）、コンテンツの付加に係る処理が終了される。

【0048】

また、ステップＳ１０１において、マーカーが認識されない場合（Ｓ１０１，ＮＯ）、パラメータ算出部３０１は、再度、カメラ３６による撮像画像において、マーカーが認識されたか否かを判定する（Ｓ１０１）。

【0049】

（コンテンツ付加処理）
コンテンツ付加処理について説明する。図１０は、コンテンツ付加処理の動作を示すフローチャートである。図１１は、コンテンツ付加位置と仮想オブジェクトとを示す概略図である。

【0050】

図１０に示すように、付加処理部３０３は、タッチパネル３４を介して、コンテンツの付加位置が指定されたか否かを判定する（Ｓ２０１）。ここで、付加位置の指定は、タッチパネル３４に表示されたカメラ３６による撮像画像上をタップすることによりなされるものとする。

【0051】

コンテンツの付加位置が指定された場合（Ｓ２０１，ＹＥＳ）、付加処理部３０３は、撮像画像上の指定箇所に対応する壁部または設備上の所定箇所について、深度センサ３７により検出された位置算出装置３０との離間距離を取得し（Ｓ２０２）、この離間距離と位置算出装置３０の現在位置及び現在姿勢とに基づいて、付加位置を算出する（Ｓ２０３）。

【0052】

ここで、付加位置の座標の算出について説明する。図１１に示すように、作業現場における設備Ｆについて、まず、所定箇所にコンテンツが付加される場合、タッチパネル３４においてカメラ３６による撮像画像として表示される設備Ｆ上の撮像範囲Ｐにおいて、所望の位置がタッチパネル３４に対するタップにより指定される。付加処理部３０３は、タッチパネル３４上の指定箇所に対応する設備Ｆ上の指定箇所Ａと深度センサ３７により検出される位置算出装置３０との離間距離Ｄを取得し、この離間距離Ｄとこの際の位置算出装置３０の位置及び姿勢とに基づいて、マーカーを原点とする座標系における指定箇所Ａの位置座標を算出する。

【0053】

指定箇所Ａの位置座標にコンテンツが付加されると、この指定箇所Ａが撮像範囲Ｐに含まれるようにカメラ３６により撮像した際、タッチパネル３４において撮像画像に指定箇所Ａを示す仮想オブジェクトＶが重畳されて表示される。ここで仮想オブジェクトＶは、指定箇所Ａを指し示す矢印上の３次元モデルまたは画像により表現され、この３次元モデルまたは画像は、その指し示す方向が、指定箇所Ａとコンテンツを付加した際の位置算出装置３０の位置Ｃとを結ぶ線分の延在方向を向くようになっている。

【0054】

このように付加位置Ａの座標が算出された後、付加処理部３０３は、この付加位置の座標と、この座標を指し示す仮想オブジェクトＶの向きと、コンテンツとを、付加コンテンツとしてサーバ装置１０へ送信する（Ｓ２０４）。

【0055】

また、ステップＳ２０１において、コンテンツの付加位置が指定されない場合（Ｓ２０１，ＮＯ）、付加処理部３０３は、再度、タッチパネル３４を介して、コンテンツの付加位置が指定されたか否かを判定する（Ｓ２０１）。

【0056】

このように、マーカー位置を原点とした座標における自位置を算出することによって、地下にある建屋のようなＧＮＳＳ信号の利用が困難な場所においても他の装置と同様の基準において自位置を得ることができる。

【0057】

（サーバ装置の動作）
図１２は、コンテンツの付加に係るサーバ装置の全体動作を示すフローチャートである。なお、図１２は、所定の１ユーザを対象とした場合の動作を示すものとする。

【0058】

図１２に示すように、ユーザ情報管理部１０１は、位置算出装置３０からユーザ情報を受信したか否かを判定する（Ｓ３０１）。

【0059】

ユーザ情報を受信した場合（Ｓ３０１，ＹＥＳ）、ユーザ認証部１０２は、ユーザ情報に含まれるユーザＩＤにより示されるユーザが正当なユーザであるかを判定する（Ｓ３０２）。ここで、ユーザ認証部１０２は、ユーザ情報管理部１０１において、認証対象とするユーザＩＤに対応付けられた認証情報と、受信されたユーザ情報に含まれる認証情報との比較により認証を行い、これらの一致を以ってユーザを正当と判定する。

【0060】

ユーザが正当なユーザである場合（Ｓ３０２，ＹＥＳ）、コンテンツ情報送信部１０５は、コンテンツ情報管理部１０４に管理されるコンテンツ情報のうち、対象とするユーザにより取得可能とされた全てのコンテンツ情報を位置算出装置３０へ送信する（Ｓ３０３）。

【0061】

次に、位置受信部１０６は、位置算出装置３０より送信された現在位置を受信したか否かを判定する（Ｓ３０４）。

【0062】

現在位置を受信した場合（Ｓ３０４，ＹＥＳ）、経路管理部１０７が、経路ＩＤと現在位置及びこれに付された算出または更新時刻とを対応付けて記録し（Ｓ３０５）、付加コンテンツ受信部１０３が位置算出装置３０より付加コンテンツを受信したか否かを判定する（Ｓ３０６）。

【0063】

付加コンテンツを受信した場合（Ｓ３０６，ＹＥＳ）、コンテンツ情報管理部１０４が、付加コンテンツ受信部１０３により受信された付加コンテンツにコンテンツＩＤを付して記録し、コンテンツ情報として管理し（Ｓ３０７）、位置受信部１０６が、再度、位置算出装置３０より送信された現在位置を受信したか否かを判定する（Ｓ３０４）。なお、コンテンツ情報は、このコンテンツを付加したユーザが使用する位置算出装置３０または管理者端末２０により、閲覧制限の可否、閲覧を許可するユーザＩＤを設定可能となっている。

【0064】

一方、付加コンテンツを受信しない場合（Ｓ３０６，ＮＯ）、位置受信部１０６が、再度、位置算出装置３０より送信された現在位置を受信したか否かを判定する（Ｓ３０４）。

【0065】

また、ステップＳ３０４において、現在位置を受信しない場合（Ｓ３０４，ＮＯ）、位置受信部１０６が、再度、位置算出装置３０より送信された現在位置を受信したか否かを判定する（Ｓ３０４）。

【0066】

また、ステップＳ３０２において、ユーザが正当なユーザではない場合（Ｓ３０２，ＮＯ）、ユーザ情報管理部１０１は、再度、位置算出装置３０からユーザ情報を受信したか否かを判定する（Ｓ３０１）。

【0067】

また、ステップＳ３０１において、ユーザ情報を受信しない場合（Ｓ３０１，ＮＯ）、ユーザ情報管理部１０１は、再度、位置算出装置３０からユーザ情報を受信したか否かを判定する（Ｓ３０１）。

【0068】

（付加コンテンツの重畳表示）
付加コンテンツの重畳表示について説明する。図１３は、撮像画像に対して重畳表示された付加コンテンツを示す概略図である。図１４は、カテゴリと対応付けられた付加コンテンツを示す概略図である。

【0069】

図１３に示すように、位置算出装置３０のタッチパネル３４には、付加コンテンツＶ１，Ｖ２が、カメラ３６による撮像画像に重畳表示される。これらの付加コンテンツＶ１，Ｖ２は、タッチパネル３４に表示された仮想オブジェクトＶをタップすることで表示される。ここで、付加コンテンツＶ１，Ｖ２は、それぞれ、作業手順、注意事項を示すテキストである。

【0070】

このように、マーカー位置を原点とした座標に位置付けられたコンテンツを複数の装置により共有可能とすることによって、ＧＮＳＳ信号を利用することなく、特定の位置に対応付けられたコンテンツを複数の装置間で共有して閲覧する、所謂ロケーションベースＡＲを達成することができる。

【0071】

また、図１４に示すように、付加コンテンツと付加コンテンツの内容に応じて分類されたカテゴリとを対応付け、付加コンテンツを分類しても良い。図１４においては、作業現場内の３つの設備のそれぞれにコンテンツが付加コンテンツＶ３〜Ｖ５として付加されている。ここで、付加コンテンツＶ３は、そのカテゴリがノウハウや慣例を含む「伝承」に設定されており、扉の開け方を説明するテキストを含む。また、付加コンテンツＶ４は、そのカテゴリが期限を設定された他の作業者への要求である「即時対応要求」に設定されており、盤の扉が施錠されていなかった原因の説明と今後の対策を要求するテキストを含む。また、付加コンテンツＶ５は、そのカテゴリが他の作業者へ注意を催す「警告」に設定されており、液晶パネルにドット抜けが発生しているため、状態の更なる悪化を確認することを催すテキストを含む

【0072】

このように、付加コンテンツをカテゴリと対応付けることによって、例えば、作業現場において付加コンテンツが多数あるような場合において、所定のカテゴリが設定された付加コンテンツのみを表示することが可能となり、作業者の目的に応じた付加コンテンツを容易に見出すことができる。

【0073】

＜第２の実施形態＞
第２の実施形態に係るコンテンツ付加システムについて説明する。図１５は、本実施形態に係るコンテンツ付加システムが運用される製造工場を示す概略平面図である。図１６、図１７は、それぞれ、建物における一方、他方の付加コンテンツの出力を示す概略図である。

【0074】

本実施形態に係るコンテンツ付加システム１は、位置算出装置３０が音声を出力するスピーカ（不図示）を更に備える点と、マーカーとして所定の対象物を用いる点と、運用される環境と提示されるコンテンツの種類とが第１の実施形態とは異なる。以下、第１の実施形態と異なる点のみについて説明する。

【0075】

本実施形態において、コンテンツ付加システム１は、図１５に示すような、建物や設備を複数有する製造工場として敷地全体において運用される。この敷地内には、３つの工場と３つの設備とがあり、第１の実施形態における作業現場と同様に、位置算出装置３０をそれぞれ有した作業者が従事しているものとする。また、敷地内部と敷地外部とは壁などによって隔てられ、作業者は、門を介して敷地内部に出入りすることができる。

【0076】

本実施形態においては、貼着された二次元画像の代わりに門がマーカーとして用いられる。具体的には、敷地外側からカメラ３６により撮像された門が、パラメータ算出部３０１によりマーカーとして認識される。ここで、パラメータ算出部３０１は、真正面から撮像された門の形状及び大きさを示すマーカー情報に基づいて、マーカーとしての門の大きさ及び形状から、門に対する位置算出装置３０の相対位置及び相対姿勢を算出し、この相対位置及び相対姿勢から門を原点とした３軸上の位置算出装置３０の位置及び、これら３軸に平行する回転軸周りの位置算出装置３０の回転を算出することによって、位置算出装置３０の初期位置及び初期姿勢を算出する。本実施形態において、門の中心点を原点Ｏとし、第１の実施形態と同様に、カメラ３６におけるイメージセンサの中心点を回転軸の原点Ｉとする。

【0077】

このように、本実施形態に係るコンテンツ付加システム１によれば、門のような所定の対象物を、位置算出装置３０の位置及び仮想オブジェクトの位置を示す座標の原点として機能させることができる。このマーカーとして用いる対象物は、位置算出装置３０との位置関係を推定するのに適したものであれば、どのような物体であっても良い。

【0078】

パラメータ更新部３０２は、撮像された門に基づいて算出された初期位置及び初期姿勢を起点とする点のみが第１の実施形態とは異なり、位置算出装置３０の位置及び姿勢の変位をフレーム毎に算出し、初期位置及び初期姿勢を起点とした位置算出装置３０の現在位置及び現在姿勢Ｃを逐次更新する点については第１の実施形態と同様である。

【0079】

付加処理部３０３によるコンテンツの付加方法は、第１の実施形態と同様であるが、テキストと音声が指定箇所に付加される点が第１の実施形態とは異なる。図１５に示すように、敷地内における建物Ｂ１には、２つのコンテンツが付加され、図１６及び図１７に示すように、これらのコンテンツの付加位置が仮想オブジェクトＶ６，Ｖ７として、位置算出装置３０のタッチパネル３４に表示される。ここで、仮想オブジェクトＶ６により示されるコンテンツは建物Ｂ１における一方の出入口近傍に付加され、仮想オブジェクトＶ７により示されるコンテンツは建物Ｂ１における他方の出入口近傍に付加される。

【0080】

図１６に示すように、タッチパネル３４に表示される仮想オブジェクトＶ６がタップされると、仮想オブジェクトＶ６近傍のドアから建物Ｂ１内に立ち入ることが可能である旨のメッセージを含むコンテンツが位置算出装置３０を有する作業者に提示される。ここで、このコンテンツは、テキストＴＸＴ１、音声ＳＮＤ１、画像ＩＭＧ１を含み、作業者に提示される際、位置算出装置３０の表示部３０４が、テキストＴＸＴ１及び画像ＩＭＧ１をカメラ３６による撮像画像に重畳してタッチパネル３４に表示し、音声ＳＮＤ１をスピーカに出力させる。

【0081】

また、図１７に示すように、タッチパネル３４に表示される仮想オブジェクトＶ７がタップされると、仮想オブジェクトＶ７近傍のドアから建物Ｂ１内に立ち入ることを禁じる旨のメッセージを含むコンテンツが位置算出装置３０を有する作業者に提示される。ここで、このコンテンツは、テキストＴＸＴ２、音声ＳＮＤ２、画像ＩＭＧ２を含み、作業者に提示される際、表示部３０４がテキストＴＸＴ２及び画像ＩＭＧ２の表示と、音声ＳＮＤ２の出力を行う。

【0082】

このように、本実施形態に係るコンテンツ付加システム１は、屋外で運用され、音声がコンテンツとして付加される。なお、出力される音声は、コンテンツとして予め付加されたものに限らず、例えば、音声合成によってコンテンツに含まれるテキストが読み上げられたものであっても良い。

【0083】

＜第３の実施形態＞
第３の実施形態に係るコンテンツ付加システムについて説明する。図１８は、本実施形態に係るコンテンツ付加システムが運用される観光地を示す概略平面図である。図１９は、モニュメントにおける付加コンテンツの出力を示す概略図である。

【0084】

本実施形態に係るコンテンツ付加システム１は、運用される環境のみが第２の実施形態とは異なり、図１８に示すような、観光資源としての建物やモニュメントを有する観光地において運用される。この観光地には、３つの建物と２つのモニュメントとがあり、位置算出装置３０をそれぞれ有した観光客が訪れているものとする。また、観光地における所定位置、例えば、観光地において、最寄りにあるバス停や駅から近接する位置には、観光地を案内する標識があり、本実施形態においては、この標識がマーカーとして用いられる。なお、この標識に基づく原点Ｏの算出については、第２の実施形態と同様であるため、その説明を省略する。また、本実施形態においては、第１及び第２の実施形態と同様に、カメラ３６におけるイメージセンサの中心点を回転軸の原点Ｉとする。

【0085】

観光地におけるモニュメントＭ１には、２つのコンテンツが付加される。図１９に示すように、モニュメントＭ１は、歴史的価値を有する仏像であり、２つのコンテンツの付加位置が仮想オブジェクトＶ８，Ｖ９として、位置算出装置３０のタッチパネル３４に表示される。ここで、仮想オブジェクトＶ８により示されるコンテンツはモニュメントＭ１における頭部に付加され、仮想オブジェクトＶ９により示されるコンテンツはモニュメントＭ１における胴部に付加される。

【0086】

タッチパネル３４に表示される仮想オブジェクトＶ８がタップされると、モニュメントＭ１の頭部について解説するメッセージを含むコンテンツが位置算出装置３０を有する観光客に提示される。ここで、このコンテンツは、テキストＴＸＴ３及び音声ＳＮＤ３を含み、観光客に提示される際、位置算出装置３０の表示部３０４が、テキストＴＸＴ３をタッチパネル３４に表示し、音声ＳＮＤ３をスピーカに出力させる。

【0087】

また、タッチパネル３４に表示される仮想オブジェクトＶ９がタップされると、モニュメントＭ１の胴部について解説するメッセージを含むコンテンツが位置算出装置３０を有する観光客に提示される。ここで、このコンテンツは、テキストＴＸＴ４、音声ＳＮＤ４を含み、観光客に提示される際、表示部３０４がテキストＴＸＴ４の表示と、音声ＳＮＤ４の出力を行う。

【0088】

本実施形態に示したように、コンテンツ付加システム１は、作業者が従事する場所に限らず、観光地のような環境においても運用可能である。

【0089】

本実施の形態において、位置算出プログラムは上述した位置算出装置の内部に予めインストールされているものとして記載したが、本発明における位置算出プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク（ハードディスクドライブ等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ等、位置算出装置に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した位置算出装置としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。

【0090】

発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0091】

３０ 位置算出装置
３６ カメラ（撮像装置）
３７ 深度センサ
３０１ パラメータ算出部
３０２ パラメータ更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】