特開 2024-8351 情報処理装置、情報処理方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008351

(43)【公開日】2024-01-19

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240112BHJP

   G09B 29/00 20060101ALI20240112BHJP

【ＦＩ】

G06T7/00 C

G09B29/00 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022110160

(22)【出願日】2022-07-08

(71)【出願人】

【識別番号】521023539

【氏名又は名称】Ｃｅｌｌｉｄ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】白神 賢

【テーマコード（参考）】

2C032

5L096

【Ｆターム（参考）】

2C032HB25

2C032HC11

5L096AA09

5L096DA01

5L096FA35

5L096FA66

5L096FA67

5L096FA69

5L096HA11

5L096JA11

(57)【要約】

【課題】情報端末が自己位置の推定に用いる空間マップデータの精度を向上させる。
【解決手段】情報処理装置１は、空間を撮影することにより生成された第１撮像画像データを撮像端末から取得する画像データ取得部１３１と、第１撮像画像データから第１特徴を抽出することにより、空間の特徴を示す第１空間マップデータを作成する空間マップ作成部１３２と、第１空間マップデータを情報端末２に提供する空間マップ提供部１３３と、を有する。画像データ取得部１３１は、情報端末２から第２撮像画像データを取得し、空間マップ作成部１３２は、第１撮像画像データから抽出した前記第１特徴の数よりも少ない数の第２特徴を第２撮像画像データから抽出することにより、空間の特徴を示す第２空間マップデータを作成し、空間マップ提供部１３３は、第２空間マップデータを情報端末２に提供する。
【選択図】図２

【特許請求の範囲】

【請求項1】

空間を撮影することにより生成された第１撮像画像データを撮像端末から取得する画像データ取得部と、
前記第１撮像画像データから第１特徴を抽出することにより、前記空間の特徴を示す第１空間マップデータを作成する空間マップ作成部と、
前記第１空間マップデータを情報端末に提供する空間マップ提供部と、
を有し、
前記画像データ取得部は、前記空間マップ提供部が前記第１空間マップデータを前記情報端末に提供した後に前記情報端末が前記空間を撮影することにより生成された第２撮像画像データを取得し、
前記空間マップ作成部は、前記第１撮像画像データから抽出した前記第１特徴の数よりも少ない数の第２特徴を前記第２撮像画像データから抽出することにより、前記空間の特徴を示す第２空間マップデータを作成し、
前記空間マップ提供部は、前記第２空間マップデータを前記情報端末に提供する、
情報処理装置。

【請求項2】

前記空間マップ作成部は、前記第１撮像画像データからベクトル特徴量により表される前記第１特徴を抽出し、前記第２撮像画像データからバイナリデータにより表される前記第２特徴を抽出する、
請求項１に記載の情報処理装置。

【請求項3】

前記空間マップ作成部は、前記第１特徴を示す前記ベクトル特徴量をバイナリデータに変換することにより前記第１空間マップデータを作成する、
請求項２に記載の情報処理装置。

【請求項4】

前記空間マップ作成部は、前記第１撮像画像データから前記第１特徴を抽出することにより作成された第１種別マップデータと、前記第１撮像画像データから前記第２特徴を抽出することにより作成された第２種別マップデータとを含む前記第１空間マップデータを作成する、
請求項１に記載の情報処理装置。

【請求項5】

前記空間マップ作成部は、第１抽出時間で前記第１特徴を抽出する第１手法を用いて前記第１空間マップデータを作成し、前記第１抽出時間よりも短い第２抽出時間で前記第２特徴を抽出する第２手法を用いて前記第２空間マップデータを作成する、
請求項１に記載の情報処理装置。

【請求項6】

前記空間マップ作成部は、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、ＫＡＺＥ、ＡＫＡＺＥ、ＯＲＢ、ＢＲＩＥＦ、ＢＲＩＳＫ、ＣＡＲＤ又は深層学習モデルを用いて最適な特徴量を使用する手法のうち、前記第１特徴の抽出時間が相対的に長い前記第１手法を用いて前記第１特徴を抽出することにより前記第１空間マップデータを作成し、前記第２特徴の抽出時間が相対的に短い前記第２手法を用いて前記第２特徴を抽出することにより前記第２空間マップデータを作成する、
請求項５に記載の情報処理装置。

【請求項7】

前記空間マップ作成部は、前記第１空間マップデータを作成する時間よりも短い時間内に前記第２空間マップデータを作成する、
請求項１から５のいずれか一項に記載の情報処理装置。

【請求項8】

前記空間マップ作成部は、前記第１空間マップデータを作成する周期よりも短い周期で前記第２空間マップデータを作成する、
請求項１から５のいずれか一項に記載の情報処理装置。

【請求項9】

コンピュータが実行する、空間を撮影することにより生成された第１撮像画像データを撮像端末から取得するステップと、
前記コンピュータが実行する、前記第１撮像画像データから第１特徴を抽出することにより、前記空間の特徴を示す第１空間マップデータを作成するステップと、
前記コンピュータが実行する、前記第１空間マップデータを情報端末に提供するステップと、
前記コンピュータが前記第１空間マップデータを提供した後に、前記コンピュータ又は前記情報端末が、前記情報端末が前記空間を撮影することにより生成された第２撮像画像データを取得するステップと、
前記コンピュータ又は前記情報端末が、前記第１撮像画像データから抽出した前記第１特徴の数よりも少ない数の第２特徴を前記第２撮像画像データから抽出することにより、前記空間の特徴を示す第２空間マップデータを作成するステップと、
を有する情報処理方法。

【請求項10】

空間の特徴を示す空間マップデータを作成する情報処理装置と、前記空間マップデータを用いて位置を特定する情報端末と、を備え、
前記情報処理装置は、
前記空間を撮影することにより生成された第１撮像画像データを撮像端末から取得する画像データ取得部と、
前記第１撮像画像データから第１特徴を抽出することにより、前記空間の特徴を示す第１空間マップデータを作成する空間マップ作成部と、
前記第１空間マップデータを情報端末に提供する空間マップ提供部と、
を有し、
前記情報処理装置又は前記情報端末は、前記空間マップ提供部が前記第１空間マップデータを前記情報端末に提供した後に、前記情報端末が前記空間を撮影することにより生成された第２撮像画像データを取得し、
前記情報処理装置又は前記情報端末は、前記第１撮像画像データから抽出した前記第１特徴の数よりも少ない数の第２特徴を前記第２撮像画像データから抽出することにより、前記空間の特徴を示す第２空間マップデータを作成する、
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、空間の特徴を示す空間マップデータを作成するための情報処理装置、情報処理方法及び情報処理システムに関する。

【背景技術】

【0002】

従来、空間の特徴を表すマップを作成する技術として、自己位置の推定と空間マップを同時に作成するＳＬＡＭ（Simultaneous Localization and Mapping）技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－５２８４７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＳＬＡＭ技術を用いて情報端末が自己位置を推定する場合、作成済の空間マップデータの精度が低いと、当該空間マップデータを用いて情報端末が新たに作成する空間マップデータの精度も低くなる。その結果、情報端末が使用する空間マップデータに誤差が蓄積することで、情報端末が空間マップデータを用いて自己位置を推定する精度が低下するという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、情報端末が自己位置の推定に用いる空間マップデータの精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の情報処理装置は、空間を撮影することにより生成された第１撮像画像データを撮像端末から取得する画像データ取得部と、前記第１撮像画像データから第１特徴を抽出することにより、前記空間の特徴を示す第１空間マップデータを作成する空間マップ作成部と、前記第１空間マップデータを情報端末に提供する空間マップ提供部と、を有し、前記画像データ取得部は、前記空間マップ提供部が前記第１空間マップデータを前記情報端末に提供した後に前記情報端末が前記空間を撮影することにより生成された第２撮像画像データを取得し、前記空間マップ作成部は、前記第１撮像画像データから抽出した前記第１特徴の数よりも少ない数の第２特徴を前記第２撮像画像データから抽出することにより、前記空間の特徴を示す第２空間マップデータを作成し、前記空間マップ提供部は、前記第２空間マップデータを前記情報端末に提供する。

【0007】

前記空間マップ作成部は、前記第１撮像画像データからベクトル特徴量により表される前記第１特徴を抽出し、前記第２撮像画像データからバイナリデータにより表される前記第２特徴を抽出してもよい。

【0008】

前記空間マップ作成部は、前記第１特徴を示す前記ベクトル特徴量をバイナリデータに変換することにより前記第１空間マップデータを作成してもよい。

【0009】

前記空間マップ作成部は、前記第１撮像画像データから前記第１特徴を抽出することにより作成された第１種別マップデータと、前記第１撮像画像データから前記第２特徴を抽出することにより作成された第２種別マップデータとを含む前記第１空間マップデータを作成してもよい。

【0010】

前記空間マップ作成部は、第１抽出時間で前記第１特徴を抽出する第１手法を用いて前記第１空間マップデータを作成し、前記第１抽出時間よりも短い第２抽出時間で前記第２特徴を抽出する第２手法を用いて前記第２空間マップデータを作成してもよい。

【0011】

前記空間マップ作成部は、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、ＫＡＺＥ、ＡＫＡＺＥ、ＯＲＢ、ＢＲＩＥＦ、ＢＲＩＳＫ、ＣＡＲＤ又は深層学習モデルを用いて最適な特徴量を使用する手法のうち、前記第１特徴の抽出時間が相対的に長い前記第１手法を用いて前記第１特徴を抽出することにより前記第１空間マップデータを作成し、前記第２特徴の抽出時間が相対的に短い前記第２手法を用いて前記第２特徴を抽出することにより前記第２空間マップデータを作成してもよい。

【0012】

前記空間マップ作成部は、前記第１空間マップデータを作成する時間よりも短い時間内に前記第２空間マップデータを作成してもよい。

【0013】

前記空間マップ作成部は、前記第１空間マップデータを作成する周期よりも短い周期で前記第２空間マップデータを作成してもよい。

【0014】

本発明の第２の態様の情報処理方法は、コンピュータが実行する、空間を撮影することにより生成された第１撮像画像データを撮像端末から取得するステップと、前記コンピュータが実行する、前記第１撮像画像データから第１特徴を抽出することにより、前記空間の特徴を示す第１空間マップデータを作成するステップと、前記コンピュータが実行する、前記第１空間マップデータを情報端末に提供するステップと、前記コンピュータが前記第１空間マップデータを提供した後に、前記コンピュータ又は前記情報端末が、前記情報端末が前記空間を撮影することにより生成された第２撮像画像データを取得するステップと、前記コンピュータ又は前記情報端末が、前記第１撮像画像データから抽出した前記第１特徴の数よりも少ない数の第２特徴を前記第２撮像画像データから抽出することにより、前記空間の特徴を示す第２空間マップデータを作成するステップと、を有する。

【0015】

本発明の第３の態様の情報処理システムは、空間の特徴を示す空間マップデータを作成する情報処理装置と、前記空間マップデータを用いて位置を特定する情報端末と、を備え、前記情報処理装置は、前記空間を撮影することにより生成された第１撮像画像データを撮像端末から取得する画像データ取得部と、前記第１撮像画像データから第１特徴を抽出することにより、前記空間の特徴を示す第１空間マップデータを作成する空間マップ作成部と、前記第１空間マップデータを情報端末に提供する空間マップ提供部と、を有し、前記情報処理装置又は前記情報端末は、前記空間マップ提供部が前記第１空間マップデータを前記情報端末に提供した後に、前記情報端末が前記空間を撮影することにより生成された第２撮像画像データを取得し、前記情報処理装置又は前記情報端末は、前記第１撮像画像データから抽出した前記第１特徴の数よりも少ない数の第２特徴を前記第２撮像画像データから抽出することにより、前記空間の特徴を示す第２空間マップデータを作成する。

【発明の効果】

【0016】

本発明によれば、情報端末が自己位置の推定に用いる空間マップデータの精度が向上するという効果を奏する。

【図面の簡単な説明】

【0017】

【図1】情報処理システムＳの構成を示す図である。

【図2】情報処理装置１の構成を示す図である。

【図3】それぞれ異なる手法で作成された複数の種別のデータを含む第１空間マップデータの作成方法を説明するための図である。

【図4】情報処理システムＳにおける処理の流れを示すシーケンス図である。

【図5】情報処理システムＳにおける処理の流れの他の例を示すシーケンス図である。

【発明を実施するための形態】

【0018】

［情報処理システムＳの構成］
図１は、情報処理システムＳの構成を示す図である。情報処理システムＳは、情報処理装置１及び情報端末２を備えている。情報処理装置１と情報端末２とは、ネットワークＮを介して互いにデータを送受信することができる。ネットワークＮは、例えばインターネット及び無線通信網を含む。図１には１台の情報端末２を示しているが、情報処理システムＳは複数の情報端末２を有していてもよい。

【0019】

情報端末２は、例えば眼鏡型の端末であり、ユーザＵが身体に装着したり保持したりして使用する。情報端末２は撮像素子を有しており、ユーザＵがいる空間内を撮影することにより撮像画像データを生成する。情報端末２は、無線通信回線Ｗを介して情報処理装置１との間でデータを送受信する。

【0020】

情報処理装置１は、例えばサーバであり、空間の特徴を示す点群データを含む空間マップデータを作成する。空間マップデータは、空間内の特定の位置において空間内を見た場合に見える一以上の被写体の特徴を示す特徴点群の座標データを含む。空間マップデータにおいては、複数の座標データに、空間を視認した位置及び向きを示すポーズデータが関連付けられている。また、複数の座標データに、色を示す画素値（Ｒ値、Ｇ値、Ｂ値）が関連付けられていてもよい。

【0021】

情報端末２は、情報処理装置１から提供される空間マップデータを用いて情報端末２の位置及び向きを推定する。具体的には、情報端末２は、空間を撮影して生成した撮像画像データから抽出した特徴点群の座標を、複数の空間マップデータが示す複数の特徴点群の座標と比較することにより、情報端末２が生成した撮像画像データに対応する空間マップデータを特定し、特定した空間マップデータが示すポーズデータに基づいて情報端末２の位置及び向きを推定する。情報端末２は、例えば、ユーザＵが市街地を歩いている間、公園内を歩いている間、又はユーザＵが工事現場で作業をしている間等に撮像画像データを生成するとともに情報端末２の位置及び向きを推定する。情報端末２は、推定した位置を画面に表示したり、外部の装置に送信したりする。

【0022】

情報端末２は、情報処理装置１から提供される、複数の位置及び向きに対応する複数の空間マップデータを記憶しておき、撮像画像データから特徴点群を抽出すると、記憶した複数の空間マップデータを参照することにより情報端末２の位置及び向きを推定する。情報端末２は、情報端末２が移動し得る範囲の空間に対応する複数の空間マップデータを記憶しておいてもよく、撮像画像データを生成するたびに最新の空間マップ画像データを情報処理装置１から取得してもよい。

【0023】

情報処理システムＳは、２種類の空間マップデータを使用することを特徴としている。情報処理装置１は、精度が高いが作成に長時間を要する第１空間マップデータと、精度は第１空間マップデータよりも低いが第１空間マップデータよりも短時間で作成できる第２空間マップデータと、を作成する。

【0024】

情報処理装置１は、例えばＳｆＭ（Structure from Motion）技術を用いて第１空間マップデータを作成し、作成した第１空間マップデータを情報端末２に提供する。詳細については後述するが、情報処理装置１は、例えば、撮像画像内の局所特徴量として輝度勾配のヒストグラムを用いるＳＩＦＴ（Scale Invariant Feature Transform）を使用することにより第１空間マップデータを作成する。

【0025】

情報処理装置１は、第１空間マップデータを用いて自己の位置及び向きを推定した一以上の情報端末２から取得した撮像画像データに基づいて、第２空間マップデータを作成する。一以上の情報端末２は、空間内に滞在している一以上のユーザＵが使用している情報端末２である。情報処理装置１は、例えば、撮像画像データにおいて隣接する複数の画素間の画素値（又は輝度値）の変化量が閾値以上であるか否かに対応するバイナリデータを作成するＯＲＢ（Oriented FAST and Rotated BRIEF）を使用することにより、第２空間マップデータを作成する。第２空間マップデータを作成するために要する演算量は第１空間マップデータを作成するために要する演算量よりも小さいので、情報処理装置１の代わりに情報端末２が第２空間マップデータを作成してもよい。

【0026】

第２空間マップデータを作成するための演算量は小さいため、情報処理装置１又は情報端末２は、情報端末２が撮像画像データを生成する動作と並行してリアルタイムで第２空間マップデータを作成することができる。例えば、情報処理装置１又は情報端末２は、情報端末２が生成する動画像の撮像画像データのフレームレートと同じ周期で第２空間マップデータを作成することができる。

【0027】

情報端末２は、位置及び向きを推定する動作を開始する時点で、精度が高い第１空間マップデータを使用して初期の位置及び向きを推定し、その後は、第１空間マップデータよりも精度は低いがリアルタイムで更新される第２空間マップデータを使用して位置及び向きを推定する。このような方法は、時間の経過とともに空間の状態が変化し得る市街地、公園又は建設現場等において情報端末２の位置及び向きを推定する場合に好適である。このように状態が変化する空間内に情報端末２がいる場合であっても、情報処理システムＳが第１空間マップデータと第２空間マップデータを併用することで、情報端末２が初期の位置及び向きを高精度に推定するとともに、空間の状態が変化した場合にも、変化後の空間における位置及び向きを推定することが可能になる。

【0028】

このように、情報処理システムＳにおいては、まず情報処理装置１が高精度の第１空間マップデータを作成し、情報端末２が第１空間マップデータに基づいて自己の位置及び向きを推定した後に、情報処理装置１又は情報端末２が第１空間空間マップデータよりも低い精度の第２空間マップデータをリアルタイムで作成する。情報処理システムＳがこのように構成されていることで、情報端末２が自己位置の推定する精度を向上させることができる。
以下、情報処理装置１及び情報端末２の動作の詳細を説明する。

【0029】

［情報処理装置１の構成］
図２は、情報処理装置１の構成を示す図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、画像データ取得部１３１と、空間マップ作成部１３２と、空間マップ提供部１３３と、を有する。

【0030】

通信部１１は、ネットワークＮを介して情報端末２とデータを送受信するための通信インターフェースである。通信部１１は、情報端末２から受信した撮像画像データを画像データ取得部１３１に入力する。また、通信部１１は、空間マップ提供部１３３が作成した空間マップデータを情報端末２に送信する。

【0031】

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、情報端末２から送信された撮像画像データ、及び空間マップ提供部１３３が作成した空間マップデータを記憶する。

【0032】

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、画像データ取得部１３１、空間マップ作成部１３２及び空間マップ提供部１３３として機能する。

【0033】

画像データ取得部１３１は、通信部１１を介して、空間を撮影することにより生成された撮像画像データを撮像端末から取得する。撮像端末は例えば情報端末２であるが、撮像端末は、撮像画像データを生成する機能を有していれば任意の端末であってもよい。撮像端末は、情報端末２と同じ種別の端末であってもよく、カメラ付きドローン又はデジタルカメラのように情報端末２と異なる種別の端末であってもよい。画像データ取得部１３１は、取得した撮像画像データを空間マップ作成部１３２に入力する。画像データ取得部１３１は、撮像画像データを記憶部１２に記憶させることにより、空間マップ作成部１３２が撮像画像データを読み出せるようにしてもよい。

【0034】

画像データ取得部１３１は、第１空間マップデータの作成に用いられる第１撮像画像データと、第２空間マップデータの作成に用いられる第２撮像画像データと、を取得する。画像データ取得部１３１は、例えば、情報端末２と異なる撮像端末から第１撮像画像データを取得し、第１空間マップデータが作成された後に、情報端末２から第２撮像画像データを取得する。

【0035】

画像データ取得部１３１は、例えば、前日に空間内を移動した複数の情報端末２が多数の地点で撮影することで生成された複数の撮像画像データを第１撮像画像データとして記憶部１２又は外部装置から取得する。画像データ取得部１３１は、空間内を飛行したドローンが空間内の多数の地点で撮影することで生成した複数の撮像画像データを第１撮像画像データとして取得してもよい。

【0036】

画像データ取得部１３１は、例えば、空間マップ提供部１３３が第１空間マップデータを情報端末２に提供した後に情報端末２が空間を撮影することにより生成された第２撮像画像データを取得する。画像データ取得部１３１は、第１空間マップデータを用いて初期の位置及び向きを推定した複数の情報端末２が生成した複数の撮像画像データを第２撮像画像データとして取得してもよい。

【0037】

空間マップ作成部１３２は、撮像画像データから特徴を抽出することにより、空間の特徴を示す空間マップデータを作成する。空間マップ作成部１３２は、初期の空間マップデータ（すなわち第１空間マップデータ）を作成するべき初期化タイミングにおいて、第１撮像画像データから第１特徴を抽出することにより、空間の特徴を示す第１空間マップデータを作成する。初期化タイミングは、情報端末２が空間マップデータを使用して自己位置の推定を開始する前のタイミングである。初期化タイミングは所定の周期（例えば１日周期）で発生してもよい。情報端末２が昼間の作業において用いられる場合、初期化タイミングは、情報端末２の作業が終了してから翌日の作業が開始するまでの夜間である。

【0038】

また、空間マップ作成部１３２は、第１空間マップデータを作成した後に、第１撮像画像データから抽出した第１特徴と異なる第２特徴を第２撮像画像データから抽出することにより、空間の特徴を示す第２空間マップデータを作成する。一例として、空間マップ作成部１３２は、第１空間マップデータを作成した後に、第１撮像画像データから抽出した第１特徴の数よりも少ない数の第２特徴を第２撮像画像データから抽出することにより、空間の特徴を示す第２空間マップデータを作成する。

【0039】

空間マップ作成部１３２は、例えば第１空間マップデータを作成するタイミングと異なるタイミングで第２空間マップデータを作成する。一例として、情報端末２が昼間の作業で空間マップデータを使用する場合、空間マップ作成部１３２は、昼間の作業中に画像データ取得部１３１が取得した第２撮像画像データに基づいて、リアルタイムで第２空間マップデータを作成する。

【0040】

空間マップ作成部１３２は、第１抽出時間で第１特徴を抽出する第１手法を用いて第１空間マップデータを作成し、第１抽出時間よりも短い第２抽出時間で第２特徴を抽出する第２手法を用いて第２空間マップデータを作成する。具体的には、空間マップ作成部１３２は、第１撮像画像データからベクトル特徴量により表される第１特徴を抽出し、第２撮像画像データからバイナリデータにより表される第２特徴を抽出する。

【0041】

空間マップ作成部１３２は、ＳＩＦＴ、ＳＵＲＦ、ＲＩＦＦ、ＫＡＺＥ、ＡＫＡＺＥ、ＯＲＢ、ＢＲＩＥＦ、ＢＲＩＳＫ、ＣＡＲＤ又は深層学習モデルを用いて最適な特徴量を使用する手法のうち、第１特徴の抽出時間が相対的に長い第１手法を用いて第１特徴を抽出することにより第１空間マップデータを作成し、第２特徴の抽出時間が相対的に短い第２手法を用いて第２特徴を抽出することにより第２空間マップデータを作成する。

【0042】

空間マップ作成部１３２が第１撮像画像データから第１特徴を抽出する手法としては、勾配方向ヒストグラムを用いるＳＩＦＴ、勾配特徴量を用いるＳＵＲＦ（Speeded-UP Robust Features）、ＲＩＦＦ（Resource Interchange File Format）、ＫＡＺＥ、ＡＫＡＺＥ、又は深層学習モデルを用いて最適な特徴量を使用する手法を例示することができる。この場合、空間マップ作成部１３２は、第１特徴を示すベクトル特徴量をバイナリデータに変換することにより第１空間マップデータを作成する。

【0043】

なお、深層学習モデルを用いて最適な特徴量を使用する手法は、撮像画像データが入力されると使用するべき特徴量の種別を出力する深層学習モデルに第１撮像画像データを入力することで、深層学習モデルが出力する種別の特徴量に基づく空間マップデータを作成する手法である。当該深層学習モデルは、例えば、撮像画像データと、空間マップデータの作成に有効な特徴量の種別とを教師データとして深層学習することにより作成される。

【0044】

空間マップ作成部１３２が第２撮像画像データから第２特徴を抽出する手法としては、第２撮像画像データにおいて隣接する複数の画素間の画素値（又は輝度値）の変化量が閾値以上であるか否かを判定することによりバイナリデータを作成するＯＲＢ、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）又はＣＡＲＤ（Compact And Real-time Descriptors）を例示することができる。これらの手法の詳細については、２０１１年１２月発行の精密工学会誌（Vol.11, No.12, 2011）の「局所勾配特徴抽出技術」において開示されている。

【0045】

空間マップ作成部１３２が第２撮像画像データに基づいて第２特徴のバイナリデータを作成するために要する演算量及び処理時間は、空間マップ作成部１３２が第１撮像画像データに基づいて第１特徴のベクトル特徴量を算出し、算出したベクトル特徴量をバイナリデータに変換するために要する演算量及び処理時間よりも小さい。したがって、空間マップ作成部１３２は、第１空間マップデータを作成する時間よりも短い時間内に第２空間マップデータを作成する。その結果、空間マップ作成部１３２は、リアルタイムで第２特徴を抽出して第２空間マップデータを作成することができる。

【0046】

空間マップ作成部１３２は、第１撮像画像データから第１特徴を抽出することにより作成された第１種別マップデータと、第１撮像画像データから第２特徴を抽出することにより作成された第２種別マップデータとを含む第１空間マップデータを作成してもよい。一例として、空間マップ作成部１３２は、第１特徴の抽出時間が相対的に長い手法（例えばＳＩＦＴ）により作成した第１種別マップデータと、第２特徴の抽出時間が第１特徴の抽出時間よりも短い手法（例えばＯＲＢ）により作成した第２種別マップデータとを含む第１空間マップデータを作成する。空間マップ作成部１３２は、例えば、ＯＲＢにより、第１撮像画像データにおいて隣接する複数の画素間の画素値（又は輝度値）の変化量が閾値以上であるか否かを判定することにより第２種別マップデータを作成する。

【0047】

このような第１空間マップデータには、同一の位置及び向きに対して複数の種別の空間マップデータが含まれるので、情報端末２が撮像画像データに基づいて抽出した特徴点のパターンが一方の種別の空間マップデータに対応すると判定できない場合でも、他方の空間マップデータに対応すると判定し得る。したがって、情報端末２が自己の位置を正しく推定できる確率が向上する。

【0048】

図３は、それぞれ異なる手法で作成された複数の種別のデータを含む第１空間マップデータの作成方法を説明するための図である。空間マップ作成部１３２は、動画像である第１撮像画像データのフレームごとに、ＳＩＦＴにより抽出されるベクトル特徴量に基づく第１種別マップデータ（図３の例ではＳｆＭマップ）を作成する。また、空間マップ作成部１３２は、ＯＲＢにより抽出されるバイナリデータの特徴量に基づく第２種別マップデータを作成する。空間マップ作成部１３２は、ベクトル特徴量とバイナリデータの特徴量との既知の関係に基づいて、第１種別マップデータと、第２種別マップデータとを関連付けることにより、第１種別マップデータ及び第２種別マップデータを含む第１空間マップデータを作成する。

【0049】

空間マップ提供部１３３は、第１空間マップデータ及び第２空間マップデータを情報端末２に提供する。具体的には、空間マップ提供部１３３は、通信部１１を介して、第１空間マップデータ及び第２空間マップデータを情報端末２に送信する。空間マップ提供部１３３は、例えば、空間マップデータを要求した複数の情報端末２に第１空間マップデータ及び第２空間マップデータを提供する。空間マップ提供部１３３は、通信部１１を介して、情報端末２の位置を示すデータ又は情報端末２が滞在しているエリアを示すデータを取得し、情報端末２が移動する可能性があるエリアに対応する空間マップデータを提供してもよい。

【0050】

［情報処理システムＳにおける処理の流れ］
図４は、情報処理システムＳにおける処理の流れを示すシーケンス図である。図４に示すシーケンス図は、ある日に情報端末２を用いて位置及び向きを推定するユーザＵの行動が終了した時点から開始している。

【0051】

空間マップ作成部１３２は、撮像端末から取得した第１撮像画像データに基づいて、例えばＳＩＦＴを用いた高精度の第１空間マップデータを作成する（Ｓ１）。空間マップ提供部１３３は、作成された第１空間マップデータを記憶部１２に記憶する。情報端末２が動作を開始し（Ｓ２）、当該情報端末２から第１空間マップデータの要求を受けたことに応じて、空間マップ提供部１３３は第１空間マップデータを情報端末２に送信する。

【0052】

情報端末２は撮像画像データを生成し（Ｓ３）、受信した第１空間マップデータが示す点群の位置と撮像画像データに基づいて作成される点群の位置とを比較することにより、情報端末２の位置及び向きを推定する（Ｓ４）。情報端末２は、推定した位置及び向きを示すポーズデータとともに、撮像画像データを情報処理装置１に送信する。当該撮像画像データは第２撮像画像データとして使用される。

【0053】

空間マップ作成部１３２は、受信したポーズデータと第２撮像画像データに基づいて第２空間マップデータを作成する（Ｓ５）。具体的には、空間マップ作成部１３２は、例えばＯＲＢを用いることにより、受信したポーズデータを含む第２空間マップデータを作成する。空間マップ提供部１３３は、作成された第２空間マップデータを情報端末２に送信する。空間マップ提供部１３３は、第１の情報端末２が生成した第２撮像画像データに基づいて作成された第２空間マップデータを第２の情報端末２に送信してもよい。

【0054】

情報端末２は、次の撮影タイミングにおいて新たな撮像画像データを生成し（Ｓ６）、情報処理装置１から受信した第１空間マップデータ又は第２空間マップデータが示す点群の位置と撮像画像データに基づいて作成される点群の位置とを比較することにより、情報端末２の位置及び向きを推定する（Ｓ７）。情報端末２は、推定した位置及び向きを示すポーズデータとともに、第２撮像画像データを情報処理装置１に送信する。

【0055】

空間マップ作成部１３２は、Ｓ５と同様に、受信したポーズデータと第２撮像画像データに基づいて第２空間マップデータを作成する（Ｓ８）。情報処理装置１及び情報端末２は、情報端末２が位置及び向きを推定する動作を継続する間、Ｓ５からＳ８までの処理を周期Ｔ２で繰り返す。

【0056】

情報端末２は、ユーザＵが、位置及び向きを推定するアプリケーションソフトウェアを終了させる操作を行うと、位置及び向きを推定する動作を終了し（Ｓ９）、終了通知データを情報処理装置１に送信する。空間マップ作成部１３２は、画像データ取得部１３１が終了通知データを取得した後に、第１空間マップデータを作成する（Ｓ１０）。空間マップ作成部１３２は、空間マップ提供部１３３が第２空間マップデータを提供している複数の情報端末２から終了通知データを取得した後に、第１空間マップデータの作成を開始してもよい。

【0057】

空間マップ作成部１３２が第１空間マップデータを作成する周期Ｔ１は、第２空間マップデータを作成する周期Ｔ２よりも長い。すなわち、空間マップ作成部１３２は、第１空間マップデータを作成する周期よりも短い周期で第２空間マップデータを作成する。したがって、情報端末２は、高い精度の第１空間マップデータを用いて初期の位置及び向きを推定した後に、リアルタイムで更新される第２空間マップデータを用いて、最新の空間の状態を考慮して位置及び向きを推定することができる。

【0058】

図４に示すように、情報処理装置１が第２空間マップデータを作成する態様は、第２空間マップデータを複数の情報端末２で共用する場合、ユーザＵの位置をユーザＵの管理者等が確認する場合、又は情報端末２でユーザＵの位置及び向きを特定するだけで足りるユースケースに好適である。

【0059】

図５は、情報処理システムＳにおける処理の流れの他の例を示すシーケンス図である。図５に示すシーケンス図においては、情報端末２が第２空間マップデータを作成するという点で図４に示したシーケンス図と異なる。以下、図４に示したシーケンス図と異なる点を説明する。

【0060】

情報端末２は、撮像画像データを生成し（Ｓ３）、位置及び向きを推定すると（Ｓ４）、生成した撮像画像データに基づいて第２空間マップデータを作成する（Ｓ１１）。情報端末２は、例えば空間マップ作成部１３２と同様にＯＲＢを用いて第２空間マップデータを作成する。情報端末２は、作成した第２空間マップデータを情報処理装置１に送信することにより、作成した第２空間マップデータを他の情報端末２が利用できるようにしてもよい。情報端末２は、情報処理装置１を介することなく、予め登録された他の情報端末２に第２空間マップデータを送信してもよい。

【0061】

情報端末２は、次の撮影タイミングにおいて新たな撮像画像データを生成し（Ｓ６）、情報端末２の位置及び向きを推定すると（Ｓ７）、新たな撮像画像データに基づいて第２空間マップデータを作成する（Ｓ１２）。情報端末２は、位置及び向きを推定する動作を継続する間、周期Ｔ２で第２空間マップデータを作成する。このように情報端末２が第２空間マップデータを作成することで、情報処理装置１が第２空間マップデータを作成するよりも早く新たな第２空間マップデータを使用することが可能になる。また、ネットワークＮに異常が生じた場合であっても、情報端末２は第２空間マップデータを更新し続けることができる。

【0062】

図５のように情報端末２が第２空間マップデータを作成する態様は、情報端末２が推定した位置及び向きに応じて情報端末２がＡＲ画像（拡張現実画像）を表示するというユースケースのように、高いリアルタイム性が要求される場合に好適である。

【0063】

［情報処理システムＳによる効果］
以上説明したように、情報処理装置１は、情報端末２が位置及び向きを推定する動作を開始する前に、撮像画像データに基づいて特定したベクトル特徴量を用いて高精度の第１空間マップデータを作成して情報端末２に提供する。そして、情報端末２は、第１空間マップデータを用いて自己の位置及び向きを推定する。その後、情報処理装置１又は情報端末２は、第１空間マップデータを用いて情報端末２が推定した位置及び向きと、新たな撮像画像データとに基づいて第２空間マップデータを作成する。

【0064】

情報処理装置１及び情報端末２がこのように構成されていることで、情報端末２は、高精度の第１空間マップデータを用いて最初の位置及び向きを推定できるので、その後に生成された撮像画像データに基づいて作成される第２空間マップデータの精度が向上する。その結果、情報端末２が位置及び向きを推定する精度が継続的に向上する。

【0065】

以上、実施の形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0066】

１ 情報処理装置
２ 情報端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 画像データ取得部
１３２ 空間マップ作成部
１３３ 空間マップ提供部
Ｎ ネットワーク
Ｓ 情報処理システム
Ｗ 無線通信回線

【図1】

【図2】

【図3】

【図4】

【図5】