特許 7709719 端末装置、情報処理システム、情報処理方法、および、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-09

(45)【発行日】2025-07-17

(54)【発明の名称】端末装置、情報処理システム、情報処理方法、および、コンピュータプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20250710BHJP

   G06T 7/20 20170101ALI20250710BHJP

【ＦＩ】

G06T7/70 Z

G06T7/20 100

【請求項の数】 10

(21)【出願番号】P 2021040937

(22)【出願日】2021-03-15

(65)【公開番号】P2022140891

(43)【公開日】2022-09-29

【審査請求日】2024-02-29

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110001911

【氏名又は名称】弁理士法人アルファ国際特許事務所

(72)【発明者】

【氏名】石黒 祥生

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０２１－０３９５８６（ＪＰ，Ａ）

【文献】特開２０２０－１２９２７２（ＪＰ，Ａ）

【文献】特開２００１－１１６５６４（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３４９３６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

ユーザに保持されて前記ユーザと共に移動する端末装置であって、
撮像部と、
３次元絶対位置を示す情報が付与された点群から構成された３次元点群地図上における自己の位置および姿勢を特定しつつ移動する移動体であって、マーカとして機能するマーカ部を有する前記移動体について、前記３次元点群地図上における前記マーカ部の位置および姿勢を示すマーカ位置姿勢情報を取得するマーカ情報取得部と、
前記マーカ部が撮像された画像と、前記マーカ部に対する前記撮像部の相対位置および相対姿勢と、を対応付ける画像対応情報を取得する画像対応情報取得部と、
前記撮像部により撮像された前記マーカ部の画像と前記画像対応情報とに基づき、前記マーカ部に対する前記端末装置の相対位置および相対姿勢を示す相対関係情報を特定する相対関係特定部と、
前記マーカ位置姿勢情報と前記相対関係情報とに基づき、前記３次元点群地図上における前記端末装置の位置および姿勢を推定する端末位置姿勢推定部と、
を備える、端末装置。

【請求項2】

請求項１に記載の端末装置であって、さらに、
前記端末装置の位置および姿勢が推定された時点からの前記端末装置の位置および姿勢の変化を追跡するトラッキング部と、
前記変化に基づき、前記端末装置の位置および姿勢の推定結果を更新する推定結果更新部と、
を備える、端末装置。

【請求項3】

請求項２に記載の端末装置であって、
前記トラッキング部は、前記撮像部により撮像された画像を用いて、前記端末装置の位置および姿勢の変化を追跡する、端末装置。

【請求項4】

請求項１から請求項３までのいずれか一項に記載の端末装置であって、さらに、
表示部と、
前記端末装置の位置および姿勢の推定結果に応じて変化する仮想画像を、前記撮像部により撮像された現実画像に重畳して、前記表示部に表示させる拡張現実処理部と、
を備える、端末装置。

【請求項5】

請求項１から請求項４までのいずれか一項に記載の端末装置と、
前記移動体と、
を備え、
前記端末装置は、さらに、前記端末装置の位置および姿勢の推定結果を、直接または他の装置を介して、前記移動体に送信する推定結果送信部を備え、
前記移動体は、前記端末装置の位置および姿勢の推定結果を用いて、特定の処理を実行する特定処理実行部を備える、情報処理システム。

【請求項6】

請求項５に記載の情報処理システムであって、
前記特定の処理は、前記端末装置に近接するハザードの存在を前記端末装置に通知するハザード通知処理を含む、情報処理システム。

【請求項7】

請求項５または請求項６に記載の情報処理システムであって、
前記移動体は、センサによる周辺検知情報と前記３次元点群地図とを用いて自律移動する自律移動体である、情報処理システム。

【請求項8】

請求項５から請求項７までのいずれか一項に記載の情報処理システムであって、さらに、
サーバ装置を備え、
前記移動体は、前記マーカ位置姿勢情報を前記サーバ装置に送信し、
前記端末装置の前記マーカ情報取得部は、前記サーバ装置を介して、前記マーカ位置姿勢情報を取得する、情報処理システム。

【請求項9】

撮像部を有し、ユーザに保持されて前記ユーザと共に移動する端末装置の位置および姿勢を推定するための情報処理方法であって、
３次元絶対位置を示す情報が付与された点群から構成された３次元点群地図上における自己の位置および姿勢を特定しつつ移動する移動体であって、マーカとして機能するマーカ部を有する前記移動体について、前記３次元点群地図上における前記マーカ部の位置および姿勢を示すマーカ位置姿勢情報を取得する工程と、
前記マーカ部が撮像された画像と、前記マーカ部に対する前記撮像部の相対位置および相対姿勢と、を対応付ける画像対応情報を取得する工程と、
前記撮像部により撮像された前記マーカ部の画像と前記画像対応情報とに基づき、前記マーカ部に対する前記端末装置の相対位置および相対姿勢を示す相対関係情報を特定する工程と、
前記マーカ位置姿勢情報と前記相対関係情報とに基づき、前記３次元点群地図上における前記端末装置の位置および姿勢を推定する工程と、
を備える、情報処理方法。

【請求項10】

撮像部を有し、ユーザに保持されて前記ユーザと共に移動する端末装置の位置および姿勢を推定するためのコンピュータプログラムであって、
前記端末装置に、
３次元絶対位置を示す情報が付与された点群から構成された３次元点群地図上における自己の位置および姿勢を特定しつつ移動する移動体であって、マーカとして機能するマーカ部を有する前記移動体について、前記３次元点群地図上における前記マーカ部の位置および姿勢を示すマーカ位置姿勢情報を取得する処理と、
前記マーカ部が撮像された画像と、前記マーカ部に対する前記撮像部の相対位置および相対姿勢と、を対応付ける画像対応情報を取得する処理と、
前記撮像部により撮像された前記マーカ部の画像と前記画像対応情報とに基づき、前記マーカ部に対する前記端末装置の相対位置および相対姿勢を示す相対関係情報を特定する処理と、
前記マーカ位置姿勢情報と前記相対関係情報とに基づき、前記３次元点群地図上における前記端末装置の位置および姿勢を推定する処理と、
を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示される技術は、端末装置、情報処理システム、情報処理方法、および、コンピュータプログラムに関する。

【背景技術】

【0002】

近年、人間が知覚する現実環境をコンピュータにより拡張する拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）の技術が普及しつつある。例えば、ユーザに保持されてユーザと共に移動する端末装置（スマートフォン等）において、撮像部により生成された現実環境の画像に仮想画像（コンピュータグラフィックス）を重畳させて表示部に表示するＡＲ型情報提示が、例えば歩行ナビゲーション、観光案内、保守点検のガイド、位置ゲーム等の形態で利用されている。

【0003】

ＡＲ型情報提示では、端末装置の位置および姿勢に基づき、端末装置の撮像部が何処をどの距離および角度から見ているかの情報が特定され、該情報に基づき、表示部に表示する仮想画像の種類、大きさ、位置等が決定される。そのため、ＡＲ型情報提示において、現実環境にマッチした仮想画像の表示を行うためには、端末装置（より詳細には端末装置の撮像部、以下同様）の位置および姿勢を高精度に推定することが求められる。

【0004】

従来、ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、ＱＺＳＳ等のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｉｔｅ Ｓｙｓｔｅｍ、全球測位衛星システム）からの信号を端末装置によって受信することにより、端末装置の位置および姿勢を推定する方法が知られている。また、現実環境における位置および姿勢が既知のマーカを設置し、端末装置の撮像部によりマーカを撮像することによってマーカに対する端末装置の相対的な位置および姿勢の情報を特定し、該情報に基づき、現実環境における端末装置の位置および姿勢を推定する方法が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－４８９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＧＮＳＳを利用して端末装置の位置および姿勢を推定する方法では、推定誤差が比較的大きい上に（例えば、誤差数ｍ程度）、屋内では信号を良好に受信することができないために屋内での利用が困難であるという課題がある。また、マーカを利用して端末装置の位置および姿勢を推定する方法では、位置および姿勢が既知であるマーカを事前に大量に設置する必要がある、という課題がある。

【0007】

なお、端末装置に、自律走行移動体による自己位置姿勢推定に用いられるセンサ（例えば、ＬｉＤＡＲ）および３次元点群地図データベースを搭載し、それらを用いて端末装置の位置および姿勢を推定することも可能である。しかしながら、ユーザに保持されてユーザと共に移動する端末装置にそのようなセンサやデータベースを搭載すると、端末装置が大型化・重量化したり、端末装置の記憶容量が不足したりする、という課題がある。

【0008】

このように、従来は、端末装置の大型化・重量化や記憶容量の不足を抑制しつつ、また、マーカを事前に大量に設置することを要することなく、屋内外において高い精度で端末装置の位置および姿勢を推定することが困難である、という課題がある。

【0009】

なお、このような課題は、ＡＲ型情報提示のための端末装置の位置および姿勢の推定に限らず、他の用途のための端末装置の位置および姿勢の推定にも共通の課題である。

【0010】

本明細書では、上述した課題を解決することが可能な技術を開示する。

【課題を解決するための手段】

【0011】

本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。

【0012】

（１）本明細書に開示される端末装置は、ユーザに保持されて前記ユーザと共に移動する装置である。端末装置は、撮像部と、マーカ情報取得部と、画像対応情報取得部と、相対関係特定部と、端末位置姿勢推定部とを備える。マーカ情報取得部は、３次元絶対位置を示す情報が付与された点群から構成された３次元点群地図上における自己の位置および姿勢を特定しつつ移動する移動体であって、マーカとして機能するマーカ部を有する前記移動体について、前記３次元点群地図上における前記マーカ部の位置および姿勢を示すマーカ位置姿勢情報を取得する。画像対応情報取得部は、前記マーカ部が撮像された画像と、前記マーカ部に対する相対位置および相対姿勢と、を対応付ける画像対応情報を取得する。相対関係特定部は、前記撮像部により撮像された前記マーカ部の画像と前記画像対応情報とに基づき、前記マーカ部に対する前記端末装置の相対位置および相対姿勢を示す相対関係情報を特定する。端末位置姿勢推定部は、前記マーカ位置姿勢情報と前記相対関係情報とに基づき、前記３次元点群地図上における前記端末装置の位置および姿勢を推定する。

【0013】

このように、本端末装置では、３次元点群地図上における移動体のマーカ部の位置および姿勢を示すマーカ位置姿勢情報と、マーカ部に対する端末装置の相対位置および相対姿勢を示す相対関係情報とに基づき、３次元点群地図上における端末装置の位置および姿勢を推定することができる。そのため、本端末装置によれば、移動体のマーカ部が撮像部によって撮像可能な位置であれば屋内外を問わずシームレスに、また、位置および姿勢が既知であるマーカを事前に大量に設置する必要もなく、さらに、端末装置に撮像部以外のセンサ（例えば、ＬｉＤＡＲ）や３次元点群地図データベースを搭載することなく、高い精度で端末装置の位置および姿勢を推定することができる。

【0014】

（２）上記端末装置において、さらに、前記端末装置の位置および姿勢が推定された時点からの前記端末装置の位置および姿勢の変化を追跡するトラッキング部と、前記変化に基づき、前記端末装置の位置および姿勢の推定結果を更新する推定結果更新部と、を備える構成としてもよい。本端末装置によれば、一旦、マーカ位置姿勢情報と相対関係情報とに基づき３次元点群地図上における端末装置の位置および姿勢（初期位置および初期姿勢）を推定した後は、移動体のマーカ部が撮像部によって撮像可能であるか否かにかかわらず、端末装置単独で、端末装置の位置および姿勢の推定結果を更新することができる。このとき、初期位置および初期姿勢の推定精度が高いため、その後の更新によっても、端末装置の位置および姿勢の推定精度は一定以上に保たれる。従って、本端末装置によれば、移動体とは独立して移動する端末装置について、継続的に、高い精度で端末装置の位置および姿勢を推定することができる。

【0015】

（３）上記端末装置において、前記トラッキング部は、前記撮像部により撮像された画像を用いて、前記端末装置の位置および姿勢の変化を追跡する構成としてもよい。本端末装置によれば、撮像部以外のセンサを必要とすることなく、継続的に、高い精度で端末装置の位置および姿勢を推定することができる。

【0016】

（４）上記端末装置において、さらに、表示部と、前記端末装置の位置および姿勢の推定結果に応じて変化する仮想画像を、前記撮像部により撮像された現実画像に重畳して、前記表示部に表示させる拡張現実処理部と、を備える構成としてもよい。本端末装置によれば、高い精度で推定された端末装置の位置および姿勢に基づき、仮想画像を表示させることができ、高精度なＡＲ型情報提示を実現することができる。

【0017】

（５）本明細書に開示される情報処理システムは、上記端末装置と、前記移動体と、を備える。前記端末装置は、さらに、前記端末装置の位置および姿勢の推定結果を、直接または他の装置を介して、前記移動体に送信する推定結果送信部を備え、前記移動体は、前記端末装置の位置および姿勢の推定結果を用いて、特定の処理を実行する特定処理実行部を備える構成としてもよい。本情報処理システムによれば、高い精度で推定された３次元点群地図上における端末装置の位置および姿勢を利用して、特定の処理を実行することができ、該特定の処理の精度を向上させることができる。

【0018】

（６）上記情報処理システムにおいて、前記特定の処理は、前記端末装置に近接するハザードの存在を前記端末装置に通知するハザード通知処理を含む構成としてもよい。本情報処理システムによれば、高い精度で推定された３次元点群地図上における端末装置の位置および姿勢を利用して、移動体から端末装置へハザードの存在を通知することができ、高精度なハザード通知を実現することができる。

【0019】

（７）上記情報処理システムにおいて、前記移動体は、センサによる周辺検知情報と前記３次元点群地図とを用いて自律移動する自律移動体である構成としてもよい。本情報処理システムによれば、人間の運転操作を要さずにマーカ部を移動させることによって、広い範囲において、移動するマーカ部を利用した高い精度での端末装置の位置および姿勢の推定を実現することができる。

【0020】

（８）上記情報処理システムにおいて、さらに、サーバ装置を備え、前記移動体は、前記マーカ位置姿勢情報を前記サーバ装置に送信し、前記端末装置の前記マーカ情報取得部は、前記サーバ装置を介して、前記マーカ位置姿勢情報を取得する構成としてもよい。本情報処理システムによれば、移動体と直接的に通信ができない端末装置においても、移動体のマーカ部を利用した高い精度での端末装置の位置および姿勢の推定を実現することができる。

【0021】

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、端末装置、情報処理システム、情報処理方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

【図面の簡単な説明】

【0022】

【図1】第１実施形態における情報処理システム１０の構成を概略的に示す説明図

【図2】第１実施形態における端末装置１００の構成を概略的に示すブロック図

【図3】第１実施形態における自律移動体２００の構成を概略的に示すブロック図

【図4】第１実施形態におけるサーバ装置３００の構成を概略的に示すブロック図

【図5】第１実施形態の情報処理システム１０において実行されるＡＲ型情報提示処理の流れを示す説明図

【図6】第１実施形態の情報処理システム１０において実行されるＡＲ型情報提示処理を概念的に示す説明図

【図7】第１実施形態の情報処理システム１０において実行されるＡＲ型情報提示処理を概念的に示す説明図

【図8】ユーザ座標系から世界座標系への変換方法を示す説明図

【図9】第２実施形態における情報処理システム１０ａの構成を概略的に示す説明図

【図10】第２実施形態における端末装置１００ａの構成を概略的に示すブロック図

【図11】第２実施形態における自律移動体２００ａの構成を概略的に示すブロック図

【図12】第２実施形態におけるサーバ装置３００ａの構成を概略的に示すブロック図

【図13】第２実施形態の情報処理システム１０ａにおいて実行されるハザード通知処理の流れを示す説明図

【図14】第２実施形態の情報処理システム１０ａにおいて実行されるハザード通知処理を概念的に示す説明図

【発明を実施するための形態】

【0023】

Ａ．第１実施形態：
Ａ－１．情報処理システム１０の構成：
図１は、第１実施形態における情報処理システム１０の構成を概略的に示す説明図である。本実施形態の情報処理システム１０は、３次元点群地図上における端末装置１００（より詳細には後述する撮像部１５４、以下同様）の位置および姿勢（向き）を高精度に推定し、推定された端末装置１００の位置および姿勢に基づき、端末装置１００においてＡＲ型情報提示を実行するためのシステムである。本実施形態では、ショッピングモールの屋内および屋外において案内表示を行うＡＲ型情報提示を例に挙げて説明する。

【0024】

情報処理システム１０は、複数のユーザＵのそれぞれが使用する端末装置１００と、複数の自律移動体２００と、サーバ装置３００とを備える。情報処理システム１０を構成する各装置は、通信ネットワークＮＥＴを介して互いに通信可能に接続されている。

【0025】

端末装置１００は、ユーザＵに保持されてユーザＵと共に移動する装置であり、例えば、スマートフォンやタブレット型端末といったハンドヘルドデバイスや、頭部装着型画像表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）等である。以下では、端末装置１００として、スマートフォンを用いた例について説明する。

【0026】

図２は、第１実施形態における端末装置１００の構成を概略的に示すブロック図である。端末装置１００は、制御部１１０と、記憶部１２０と、表示部１５１と、操作入力部１５２と、音声出力部１５３と、撮像部１５４と、通信部１５５とを備える。これらの各部は、バス１９０を介して互いに通信可能に接続されている。

【0027】

端末装置１００の表示部１５１は、例えば液晶ディスプレイや有機ＥＬディスプレイ等により構成され、各種の画像や情報を表示する。操作入力部１５２は、例えばボタンやマイク等により構成され、ユーザＵの操作や指示を受け付ける。なお、表示部１５１がタッチパネルを備えることにより、操作入力部１５２として機能するとしてもよい。音声出力部１５３は、例えばスピーカにより構成され、音声を出力（再生）する。撮像部１５４は、例えばカメラにより構成され、被写体を撮像して該被写体を表す静止画像や動画像を生成する。本実施形態では、撮像部１５４は、端末装置１００における表示部１５１の表示面とは反対側の面（背面）にレンズが配置されたカメラ（背面カメラ）である。通信部１５５は、通信ネットワークＮＥＴを介して、所定の通信方式で他の装置との通信を行う通信インターフェースである。

【0028】

端末装置１００の記憶部１２０は、例えばＲＯＭやＲＡＭ等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部１２０には、後述するＡＲ型情報提示処理を行うための拡張現実処理プログラムＣＰ１１が格納されている。拡張現実処理プログラムＣＰ１１は、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体（不図示）に格納された状態で提供され、あるいは外部装置から通信ネットワークＮＥＴを介してダウンロードされ、端末装置１００にインストールすることにより記憶部１２０に格納される。

【0029】

また、記憶部１２０には、拡張現実処理プログラムＣＰ１１のインストールの際に、または、後述するＡＲ型情報提示処理の際に、マーカ画像情報ＭＩと、マーカ位置姿勢情報ＬＩと、画像対応情報ＩＩと、相対関係情報ＣＩとが格納される。これらの情報の内容については、後述のＡＲ型情報提示処理の説明に合わせて説明する。

【0030】

端末装置１００の制御部１１０は、例えばＣＰＵ等により構成され、記憶部１２０から読み出したコンピュータプログラムを実行することにより、端末装置１００の動作を制御する。例えば、制御部１１０は、記憶部１２０から拡張現実処理プログラムＣＰ１１を読み出して実行することにより、ＡＲ型情報提示処理を行う拡張現実処理部１１１として機能する。拡張現実処理部１１１は、端末位置姿勢推定部１１２を含み、端末位置姿勢推定部１１２は、マーカ情報取得部１１３と、画像対応情報取得部１１４と、相対関係特定部１１５と、トラッキング部１１６と、推定結果更新部１１７とを含む。これら各部の機能については、後述のＡＲ型情報提示処理の説明に合わせて説明する。

【0031】

自律移動体２００は、人による運転操作を必要とせずに自律的に走行する移動体である。自律移動体２００は、例えば、自律走行車両や自律移動ロボットである。本実施形態では、自律移動体２００として、ショッピングモール内で荷物を搬送する自律移動ロボットを用いた例について説明する。自律移動体２００は、特許請求の範囲における移動体の一例である。

【0032】

図３は、第１実施形態における自律移動体２００の構成を概略的に示すブロック図である。自律移動体２００は、制御部２１０と、記憶部２２０と、センサ２３０と、駆動部２５０と、通信部２５５と、マーカ部２６０とを備える。

【0033】

自律移動体２００のセンサ２３０は、例えば、ＬｉＤＡＲ、ＲＡＤＡＲ、可視光カメラ、遠赤外線カメラ、超音波センサ等により構成され、自律移動体２００の周辺環境（他の車両、歩行者、自転車、路面障害物、街路樹、道路の段差等）の状態（位置、姿勢、形状、移動速度等）や自律移動体２００自身の状態を認識する。駆動部２５０は、例えば、モータ、エンジン、ステアリング、ブレーキ等により構成され、自律移動体２００の走行動作（加速、操舵、制動等）を行う。通信部２５５は、通信ネットワークＮＥＴを介して、所定の通信方式で他の装置との通信を行う通信インターフェースである。また、マーカ部２６０は、マーカとして機能する部分である。本実施形態では、マーカ部２６０は、自律移動体２００の側面に付された所定の平面画像である。

【0034】

自律移動体２００の記憶部２２０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部２２０には、自律移動制御プログラムＣＰ２１と、位置姿勢情報提供プログラムＣＰ２２と、３次元点群地図データベースＭＤとが格納されている。３次元点群地図データベースＭＤには、道路や通路、街路樹、ガードレール、建物等についての３次元絶対位置（緯度、経度、高度）を示す情報が付与された点群から構成された高精度な３次元点群地図が含まれている。３次元点群地図データベースＭＤに含まれた３次元点群地図は、自律移動体２００の移動可能範囲の全体をカバーしている。なお以下では、３次元点群地図の座標系を「世界座標系」ともいい、３次元点群地図上における位置および姿勢を「絶対位置」および「絶対姿勢」ともいう。

【0035】

自律移動体２００の制御部２１０は、例えばＣＰＵ等により構成され、記憶部２２０から読み出したコンピュータプログラムを実行することにより、自律移動体２００の動作を制御する。例えば、制御部２１０は、記憶部２２０から自律移動制御プログラムＣＰ２１を読み出して実行することにより、自律移動体２００の自律的な走行を制御する自律移動制御部２１２として機能する。自律移動制御部２１２は、管理者から発せられた指令に基づき、移動経路を設定する。また、自律移動制御部２１２は、センサ２３０から出力される各種信号と３次元点群地図データベースＭＤに含まれる３次元点群地図とのマッチングを行うことによって、３次元点群地図上における自律移動体２００（より詳細には、自律移動体２００のセンサ２３０、以下同様）の位置（絶対位置）および姿勢（絶対姿勢）を推定する。さらに、自律移動制御部２１２は、センサ２３０から出力される各種信号に基づき、周辺環境の状態を検知・認識する。自律移動制御部２１２は、これらの情報に基づき駆動部２５０による走行動作を制御することにより、周辺物体との衝突を回避しつつ、設定された移動経路に沿って自律移動体２００を走行させる。

【0036】

また、自律移動体２００の制御部２１０は、記憶部２２０から位置姿勢情報提供プログラムＣＰ２２を読み出して実行することにより、位置姿勢情報提供部２１４として機能する。位置姿勢情報提供部２１４の機能については、後述のＡＲ型情報提示処理の説明に合わせて説明する。

【0037】

サーバ装置３００は、端末装置１００および自律移動体２００から情報を取得すると共に、端末装置１００および自律移動体２００に情報を提供するための装置である。図４は、第１実施形態におけるサーバ装置３００の構成を概略的に示すブロック図である。サーバ装置３００は、制御部３１０と、記憶部３２０と、表示部３５１と、操作入力部３５２と、通信部３５５とを備える。これらの各部は、バス３９０を介して互いに通信可能に接続されている。

【0038】

サーバ装置３００の表示部３５１は、例えば液晶ディスプレイや有機ＥＬディスプレイ等により構成され、各種の画像や情報を表示する。操作入力部３５２は、例えばキーボードやマウス、ボタン、マイク等により構成され、管理者の操作や指示を受け付ける。通信部３５５は、通信ネットワークＮＥＴを介して、所定の通信方式で他の装置との通信を行う通信インターフェースである。

【0039】

サーバ装置３００の記憶部３２０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部３２０には、後述するＡＲ型情報提示処理を行うための拡張現実サーバプログラムＣＰ３１が格納されている。拡張現実サーバプログラムＣＰ３１は、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体（不図示）に格納された状態で提供され、あるいは外部装置から通信ネットワークＮＥＴを介してダウンロードされ、サーバ装置３００にインストールすることにより記憶部３２０に格納される。

【0040】

また、サーバ装置３００の記憶部３２０には、拡張現実サーバプログラムＣＰ３１のインストールの際に、または、後述するＡＲ型情報提示処理の際に、仮想画像データベースＩＤと、マーカ位置姿勢情報ＬＩとが格納される。仮想画像データベースＩＤでは、後述するＡＲ型情報提示処理において端末装置１００に提供する複数の仮想画像が、端末装置１００の位置および姿勢に対応付けて設定されている。本実施形態では、仮想画像は、ショッピングモール内の案内表示を行うための画像である（後述する図６および図７参照）。また、マーカ位置姿勢情報ＬＩの内容については、後述するＡＲ型情報提示処理の説明に合わせて説明する。

【0041】

サーバ装置３００の制御部３１０は、例えばＣＰＵ等により構成され、記憶部３２０から読み出したコンピュータプログラムを実行することにより、サーバ装置３００の動作を制御する。例えば、制御部３１０は、記憶部３２０から拡張現実サーバプログラムＣＰ３１を読み出して実行することにより、ＡＲ型情報提示処理を行う拡張現実サーバ処理部３１２として機能する。拡張現実サーバ処理部３１２は、位置姿勢サーバ処理部３１４を含む。これら各部の機能については、後述のＡＲ型情報提示処理の説明に合わせて説明する。

【0042】

Ａ－２．ＡＲ型情報提示処理：
次に、第１実施形態の情報処理システム１０において実行されるＡＲ型情報提示処理について説明する。本実施形態のＡＲ型情報提示処理は、端末装置１００において、撮像部１５４により撮像された現実環境の画像に仮想画像を重畳して表示部１５１に表示させる処理である。本実施形態では、ショッピングモールの屋内および屋外において案内表示を行うＡＲ型情報提示を例に挙げて説明する。

【0043】

図５は、第１実施形態の情報処理システム１０において実行されるＡＲ型情報提示処理の流れを示す説明図である。また、図６および図７は、第１実施形態の情報処理システム１０において実行されるＡＲ型情報提示処理を概念的に示す説明図である。図６には、ショッピングモールの屋外においてＡＲ型情報提示がなされている場面が示されており、図７には、ショッピングモールの屋内においてＡＲ型情報提示がなされている場面が示されている。

【0044】

図５に示すように、処理が開始されると、自律移動体２００は、ショッピングモールの屋外および屋内における自律移動を開始する（Ｓ２１０）。すなわち、自律移動体２００の自律移動制御部２１２（図３）が、３次元点群地図データベースＭＤに含まれる３次元点群地図上における自律移動体２００の位置（絶対位置）および姿勢（絶対姿勢）を推定しつつ、自律移動体２００を自律的に走行させる。なお、自律移動制御部２１２は、センサ２３０から出力される各種信号と３次元点群地図とのマッチングを行うことによって、３次元点群地図上における自律移動体２００の位置および姿勢を推定しており、その推定精度は、例えば誤差数ｃｍ程度の非常に高い精度である。

【0045】

自律移動体２００が自律移動を開始すると、自律移動体２００の位置姿勢情報提供部２１４（図３）は、３次元点群地図上におけるマーカ部２６０の位置および姿勢を示すマーカ位置姿勢情報ＬＩを、サーバ装置３００に向けて送信する（Ｓ２２０）。自律移動体２００においては、自律移動制御部２１２が把握する自律移動体２００（のセンサ２３０）の位置および姿勢と、マーカ部２６０の位置および姿勢との対応関係を示す情報が、予め記憶部２２０に格納されている。位置姿勢情報提供部２１４は、該対応関係を参照して、自律移動制御部２１２により把握された自律移動体２００の位置および姿勢を、マーカ部２６０の位置および姿勢に変換することによってマーカ位置姿勢情報ＬＩを生成し、該マーカ位置姿勢情報ＬＩをサーバ装置３００に送信する。マーカ位置姿勢情報ＬＩは、自律移動体２００を識別するための移動体ＩＤと、位置および姿勢の推定時刻を示すタイムスタンプと、位置および姿勢を特定する情報とを含んでいる（図４参照）。

【0046】

また、自律移動体２００の位置姿勢情報提供部２１４は、自律移動体２００の自律移動が終了されたか否かを判定し（Ｓ２３０）、自律移動体２００の自律移動が終了されていないと判定された場合には（Ｓ２３０：ＮＯ）、再度、マーカ位置姿勢情報ＬＩの送信処理（Ｓ２２０）を実行する。すなわち、位置姿勢情報提供部２１４は、自律移動体２００による自律移動の実行中、周期的に（例えば、１Ｈｚ～１００Ｈｚ程度で）、マーカ位置姿勢情報ＬＩの送信処理（Ｓ２２０）を繰り返し実行する。本実施形態では、多数の自律移動体２００が、ショッピングモールの屋内および屋外において、このような処理を実行している。自律移動体２００の自律移動が終了されたと判定された場合には（Ｓ２３０：ＹＥＳ）、自律移動体２００は動作を終了する。

【0047】

また、サーバ装置３００の位置姿勢サーバ処理部３１４（図４）は、Ｓ２２０において自律移動体２００から送信されたマーカ位置姿勢情報ＬＩを受信し、受信したマーカ位置姿勢情報ＬＩを記憶部３２０に格納する（Ｓ３１０）。位置姿勢サーバ処理部３１４は、複数の自律移動体２００から時々刻々と送信されてくるマーカ位置姿勢情報ＬＩを、記憶部３２０に蓄積する。

【0048】

また、端末装置１００のユーザＵは、ショッピングモールの屋内外において、ＡＲ型情報提示のためのアプリケーションプログラム（拡張現実処理プログラムＣＰ１１）の実行を指示すると共に、近くの自律移動体２００を探し、撮像部１５４が自律移動体２００のマーカ部２６０の方向を向くように、端末装置１００を構える（図６および図７参照）。ユーザＵによるこのような動作を契機として、端末装置１００の端末位置姿勢推定部１１２（図２）は、撮像部１５４により生成された画像から、マーカ部２６０の画像を検出する（Ｓ１１０）。上述したように、制御部１１０の記憶部１２０には、マーカ画像情報ＭＩが格納されている。マーカ画像情報ＭＩは、マーカ部２６０として使用される画像を特定する情報である。端末位置姿勢推定部１１２は、マーカ画像情報ＭＩを参照して、パターンマッチング等の公知の手法により、撮像画像からマーカ部２６０の画像の検出を行う。図６に示す例では、ショッピングモール屋外のエントランス付近を移動する自律移動体２００のマーカ部２６０が、ユーザＵが保持する端末装置１００の撮像部１５４により撮像され、表示部１５１に表示されている。また、図７に示す例では、ショッピングモールの屋内を移動する自律移動体２００のマーカ部２６０が、ユーザＵが保持する端末装置１００の撮像部１５４により撮像され、表示部１５１に表示されている。

【0049】

また、端末装置１００の画像対応情報取得部１１４は、記憶部１２０から画像対応情報ＩＩを取得し、端末装置１００の相対関係特定部１１５は、撮像部１５４により撮像されたマーカ部２６０の画像と、画像対応情報ＩＩとに基づき、マーカ部２６０に対する端末装置１００（の撮像部１５４）の相対位置および相対姿勢を示す相対関係情報ＣＩを特定する（Ｓ１２０）。

【0050】

より詳細には、画像対応情報ＩＩは、マーカ部２６０が撮像された画像と、マーカ部２６０に対する相対位置および相対姿勢と、を対応付ける情報である。マーカ部２６０に対する端末装置１００の撮像部１５４の相対位置および相対姿勢に応じて、撮像部１５４により撮像された画像におけるマーカ部２６０の表れ方は変化する。例えば、撮像部１５４とマーカ部２６０との間の距離が比較的近ければ、撮像画像においてマーカ部２６０は比較的大きく表れ、反対に、撮像部１５４とマーカ部２６０との間の距離が比較的遠ければ、撮像画像においてマーカ部２６０は比較的小さく表れる。また、撮像部１５４がマーカ部２６０に正対した状態と、撮像部１５４がマーカ部２６０に対して斜め方向に位置する状態とでは、撮像画像におけるマーカ部２６０の表れ方は異なる。画像対応情報ＩＩは、このようなマーカ部２６０に対する端末装置１００の撮像部１５４の相対位置および相対姿勢と、撮像画像におけるマーカ部２６０の表れ方と、を対応付ける情報である。そのため、相対関係特定部１１５は、マーカ部２６０の画像と画像対応情報ＩＩとに基づき、マーカ部２６０に対する端末装置１００（の撮像部１５４）の相対位置および相対姿勢を特定することができる。なお、本実施形態では、マーカ部２６０に対する端末装置１００の相対位置および相対姿勢は、端末装置１００によって用いられる座標系（以下、「ユーザ座標系」という。）におけるマーカ部２６０の位置および姿勢として表現される。特性された相対関係情報ＣＩは、記憶部１２０に格納される。

【0051】

また、端末装置１００のマーカ情報取得部１１３（図１）は、サーバ装置３００に対してマーカ位置姿勢情報ＬＩを要求し、サーバ装置３００からマーカ位置姿勢情報ＬＩを取得する（Ｓ１３０）。本実施形態では、自律移動体２００のマーカ部２６０に、自律移動体２００を識別する情報（移動体ＩＤ）が含まれている。そのため、マーカ情報取得部１１３は、Ｓ１２０において相対位置および相対姿勢が特定された自律移動体２００の移動体ＩＤを指定し、かつ、相対位置および相対姿勢の特定時刻を指定して、サーバ装置３００に対してマーカ位置姿勢情報ＬＩを要求する。サーバ装置３００の位置姿勢サーバ処理部３１４（図４）は、端末装置１００からの要求に含まれる移動体ＩＤの指定および時刻の指定に対応するマーカ位置姿勢情報ＬＩを選択し、端末装置１００に向けて送信する（Ｓ３２０）。端末装置１００により取得されたマーカ位置姿勢情報ＬＩは、記憶部１２０に格納される。

【0052】

次に、端末装置１００の端末位置姿勢推定部１１２（図２）は、Ｓ１３０において取得されたマーカ位置姿勢情報ＬＩと、Ｓ１２０において取得された相対関係情報ＣＩとに基づき、３次元点群地図上における端末装置１００（の撮像部１５４）の位置（絶対位置）および姿勢（絶対姿勢）を推定する（Ｓ１４０）。上述したように、マーカ位置姿勢情報ＬＩは、３次元点群地図上におけるマーカ部２６０の位置（絶対位置）および姿勢（絶対姿勢）を示す情報であり、相対関係情報ＣＩは、マーカ部２６０に対する端末装置１００の相対位置および相対姿勢を示す情報である。そのため、端末位置姿勢推定部１１２は、両情報を用いて座標変換（ユーザ座標系から世界座標系への変換）を行うことにより、３次元点群地図上における端末装置１００の位置および姿勢を推定することができる。このとき用いられる座標変換については、後に詳述する。以下では、Ｓ１４０における推定が実行された時点を「トラッキング開始点」といい、Ｓ１４０において推定された端末装置１００の位置および姿勢を「初期位置」および「初期姿勢」という。

【0053】

その後、端末装置１００のトラッキング部１１６（図２）は、トラッキング開始点における初期位置および初期姿勢からの端末装置１００の位置および姿勢の変化を追跡し、推定結果更新部１１７は、該変化に基づき、端末装置１００の位置および姿勢の推定結果を更新する（Ｓ１５０）。トラッキング部１１６による端末装置１００の位置および姿勢の変化の追跡（以下、「トラッキング」ともいう。）は、公知の手法により実現される。例えば、トラッキング部１１６は、移動体の自己位置推定と環境地図作成とを同時に行う技術であるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）の１つであるＶｉｓｕａｌ－ＳＬＡＭを利用して、端末装置１００の位置および姿勢の変化を追跡する。すなわち、トラッキング部１１６は、撮像部１５４により撮像された画像に基づき、周辺環境の地図（ユーザ座標系の地図）を作成すると共に、撮像部１５４により撮像された画像における特徴量の推移に基づき、ユーザ座標系における端末装置１００の移動量および姿勢変化量を推定し、該周辺環境地図上における撮像部１５４の位置および姿勢を追跡する。このように、トラッキング部１１６によるトラッキングは、自律移動体２００のマーカ部２６０が撮像部１５４の撮像範囲に存在しなくても、継続的に実行することができる。また、推定結果更新部１１７は、該周辺環境地図上における撮像部１５４の位置および姿勢に対して座標変換（ユーザ座標系から世界座標系への変換）を行うことにより、３次元点群地図上における端末装置１００の撮像部１５４の位置および姿勢の推定結果を更新する。

【0054】

ここで、ユーザ座標系から世界座標系への変換について説明する。図８は、ユーザ座標系から世界座標系への変換方法を示す説明図である。上述したように、世界座標系は、３次元点群地図の座標系であり、ユーザ座標系は、端末装置１００によって用いられる座標系である。また、以下では、自律移動体２００の位置を原点とする座標系を「移動体座標系」といい、端末装置１００の撮像部１５４の位置を原点とする座標系を「撮像部座標系」という。

【0055】

図８のＡ欄には、世界座標系（原点：Ｏ^ｗ）における移動体座標系の原点Ｏ_Ｖ ^Ｗの位置および移動体座標系の向きが示されており、図８のＢ欄には、ユーザ座標系（原点：Ｏ^Ｕ）における撮像部座標系の原点Ｏ_Ｃ ^Ｕの位置および撮像部座標系の向きと、移動体座標系の原点Ｏ_Ｖ ^Ｕの位置および移動体座標系の向きとが示されており、図８のＣ欄には、世界座標系におけるユーザ座標系の原点Ｏ_Ｕ ^Ｗの位置およびユーザ座標系の向きと、撮像部座標系の原点Ｏ_Ｃ ^Ｗの位置および撮像部座標系の向きと、移動体座標系の原点Ｏ_Ｖ ^Ｗの位置および移動体座標系の向きとが示されている。ユーザ座標系の原点Ｏ^Ｕは、Ｓ１４０における推定が実行されたトラッキング開始点における撮像部１５４の位置である。そのため、トラッキング開始点においては、撮像部座標系はユーザ座標系に一致する。トラッキング開始点以降、端末装置１００の撮像部１５４の位置および姿勢の変化（図８において細い破線で示す）に伴い、撮像部座標系の原点位置および撮像部座標系の向きは、ユーザ座標系の原点の位置およびユーザ座標系の向きから変化する。

【0056】

下記の式（１）に示すように、ユーザ座標系の点の世界座標系への直線変換行列Ｔ_ＯＵ ^ｗは、世界座標系の原点Ｏ^ｗから移動体座標系の原点Ｏ_Ｖ ^ＷへのベクトルＴ_ＯＶ ^Ｗから、世界座標系におけるユーザ座標系の原点Ｏ_Ｕ ^Ｗから移動体座標系の原点Ｏ_Ｖ ^ＷへのベクトルＴ_Ｏ ^Ｕ _Ｖを引くことにより求めることができる。

【数1】

【0057】

また、下記の式（２）に示すように、ユーザ座標系の点の世界座標系への回転変換行列Ｒ_ＯＵ ^ｗは、世界座標系の原点Ｏ^ｗから見た、移動体座標系の原点Ｏ_Ｖ ^Ｗの回転量とユーザ座標系から見た移動体座標系の回転量の逆クオータニオンとのクオータニオン積により求めることができる。

【数2】

【0058】

これらの変換行列を用いることにより、トラッキング開始点において、端末位置姿勢推定部１１２は、３次元点群地図上における端末装置１００の位置および姿勢を推定することができ（Ｓ１４０）、また、トラッキング開始点の後において、推定結果更新部１１７は、３次元点群地図上における端末装置１００の位置および姿勢の推定結果を更新することができる（Ｓ１５０）。これにより、端末装置１００は、トラッキング開始点以降において、３次元点群地図上における端末装置１００の位置および姿勢（すなわち、世界座標系における絶対位置および絶対姿勢）を継続的に把握することができる。

【0059】

図５に示すように、トラッキング開始点以降、端末装置１００の拡張現実処理部１１１（図２）は、サーバ装置３００に対して、３次元点群地図上における端末装置１００の位置および姿勢に応じた仮想画像ＶＩを要求し、サーバ装置３００から仮想画像ＶＩを取得する（Ｓ１６０）。すなわち、拡張現実処理部１１１は、３次元点群地図上における端末装置１００の位置および姿勢を指定して、サーバ装置３００に対して仮想画像ＶＩを要求する。上述したように、サーバ装置３００においては、複数の仮想画像ＶＩが端末装置１００の位置および姿勢に対応付けて設定された仮想画像データベースＩＤ（図４）が構築されている。サーバ装置３００の拡張現実サーバ処理部３１２は、仮想画像データベースＩＤから、端末装置１００からの要求に含まれる端末装置１００の位置および姿勢に対応する仮想画像ＶＩを選択し、該仮想画像ＶＩを端末装置１００に向けて送信する（Ｓ３３０）。

【0060】

端末装置１００の拡張現実処理部１１１は、Ｓ１６０において取得された仮想画像ＶＩを、撮像部１５４により撮像された現実画像ＲＩに重畳して、表示部１５１に表示させる（Ｓ１７０）。例えば、図６に示す例では、ユーザＵが保持する端末装置１００の表示部１５１に、ショッピングモールのエントランス付近の外観を表す現実画像ＲＩに重畳して、案内表示のための仮想画像ＶＩ（「Ｍａｉｎ Ｅｎｔｒａｎｃｅ（メインエントランス」、「Ｐａｒｋｉｎｇ（駐車場）」、「Ｃａｆｅ（カフェ）」等）が表示されている。また、図７に示す例では、ユーザＵが保持する端末装置１００の表示部１５１に、ショッピングモールの建物内を表す現実画像ＲＩに重畳して、案内表示のための仮想画像ＶＩ（「Ｄｏｗｎｓｔａｉｒ（下階へ）」、「Ｉｖｅｎｔ Ｓｐａｃｅ（イベントスペース）」、「Ｆｏｏｄ Ｃｏｕｒｔ（フードコート）」等）が表示されている。ユーザＵは、表示部１５１に表示された仮想画像ＶＩを参照することにより、ショッピングモール内の各施設の位置を把握することができる。

【0061】

トラッキング開始点以降、端末装置１００の拡張現実処理部１１１（図２）は、撮像部１５４により生成された画像からマーカ部２６０の画像が検出されたか否かを監視すると共に（Ｓ１８０）、ＡＲ型情報提示処理の終了指示があったか否かを監視する（Ｓ１９０）。マーカ部２６０の画像が検出されず（Ｓ１８０：ＮＯ）、かつ、終了指示もないと判定された場合には（Ｓ１９０：ＮＯ）、端末装置１００は、上述したＳ１５０からＳ１７０の処理を繰り返し実行する。すなわち、ユーザＵの移動や姿勢変化に伴い端末装置１００の位置および姿勢は時々刻々と変化するため、端末装置１００の位置および姿勢の推定結果が更新され（Ｓ１５０）、更新結果に応じて仮想画像ＶＩの要求・取得処理（Ｓ１６０）が再度実行され、表示される仮想画像ＶＩが更新される（Ｓ１７０）。これにより、ユーザＵの移動や姿勢変化があっても、端末装置１００の表示部１５１に、現実画像ＲＩにマッチした適切な仮想画像ＶＩが表示される。

【0062】

また、撮像部１５４による撮像画像においてマーカ部２６０の画像が検出されたと判定された場合には（Ｓ１８０：ＹＥＳ）、端末装置１００は、上述したＳ１２０以降の処理を再度実行する。すなわち、マーカ部２６０の画像と画像対応情報ＩＩとに基づき、マーカ部２６０に対する端末装置１００の相対位置および相対姿勢が特定され（Ｓ１２０）、３次元点群地図上におけるマーカ部２６０の位置および姿勢を示すマーカ位置姿勢情報ＬＩが取得され（Ｓ１３０）、３次元点群地図上における端末装置１００の位置および姿勢が推定される（Ｓ１４０）。すなわち、端末装置１００の初期位置および初期姿勢が更新される。トラッキング開始点の後の端末装置１００によるトラッキングでは、端末装置１００の位置および姿勢の推定誤差が蓄積されるおそれがあるが、端末装置１００の初期位置および初期姿勢が更新されることによって該誤差が解消されるため、継続的な端末装置１００の位置および姿勢の高精度な推定が実現される。なお、自律移動体２００の自律移動が終了された後（Ｓ２３０：ＹＥＳ）であっても、自律移動の終了の直前にサーバ装置３００に送信されたマーカ位置姿勢情報ＬＩを利用することができるため、マーカ位置姿勢情報ＬＩを用いた端末装置１００の初期位置および初期姿勢の推定または更新は実行可能である。また、端末装置１００がトラッキングに失敗したり、途中でトラッキングができなくなったりした場合に、サーバ装置３００が、端末装置１００の近くにいる自律移動体２００の位置を提示したり、自律移動体２００の経路を変更して端末装置１００の近くに移動させたりしてもよい。その後、Ｓ１５０以降の処理（トラッキング等）が同様に実行される。

【0063】

端末装置１００による上述のような処理の実行中、ＡＲ型情報提示処理の終了指示があったと判定された場合には（Ｓ１９０：ＹＥＳ）、端末装置１００の拡張現実処理部１１１は、ＡＲ型情報提示処理を終了する。なお、同様に、サーバ装置３００においても、ＡＲ型情報提示処理の終了指示があったと判定された場合には（Ｓ３４０：ＹＥＳ）、サーバ装置３００の拡張現実サーバ処理部３１２は、ＡＲ型情報提示処理を終了する。

【0064】

Ａ－３．第１実施形態の効果：
以上説明したように、第１実施形態の情報処理システム１０を構成する端末装置１００は、ユーザＵに保持されてユーザＵと共に移動する装置であり、撮像部１５４と、マーカ情報取得部１１３と、画像対応情報取得部１１４と、相対関係特定部１１５と、端末位置姿勢推定部１１２とを備える。マーカ情報取得部１１３は、３次元絶対位置を示す情報が付与された点群から構成された３次元点群地図上における自己の位置および姿勢を特定しつつ移動する自律移動体２００であって、マーカとして機能するマーカ部２６０を有する自律移動体２００について、３次元点群地図上におけるマーカ部２６０の位置および姿勢を示すマーカ位置姿勢情報ＬＩを取得する。画像対応情報取得部１１４は、マーカ部２６０が撮像された画像と、マーカ部２６０に対する相対位置および相対姿勢と、を対応付ける画像対応情報ＩＩを取得する。相対関係特定部１１５は、撮像部１５４により撮像されたマーカ部２６０の画像と画像対応情報ＩＩとに基づき、マーカ部２６０に対する端末装置１００の相対位置および相対姿勢を示す相対関係情報ＣＩを特定する。端末位置姿勢推定部１１２は、マーカ位置姿勢情報ＬＩと相対関係情報ＣＩとに基づき、３次元点群地図上における端末装置１００の位置および姿勢を推定する。

【0065】

このように、本実施形態の端末装置１００では、３次元点群地図上における自律移動体２００のマーカ部２６０の位置および姿勢を示すマーカ位置姿勢情報ＬＩと、マーカ部２６０に対する端末装置１００の相対位置および相対姿勢を示す相対関係情報ＣＩとに基づき、３次元点群地図上における端末装置１００の位置および姿勢を推定することができる。そのため、本実施形態の端末装置１００によれば、自律移動体２００のマーカ部２６０が撮像部１５４によって撮像可能な位置であれば屋内外を問わずシームレスに、また、位置および姿勢が既知であるマーカを事前に大量に設置する必要もなく、さらに、端末装置１００に撮像部１５４以外のセンサ（例えば、ＬｉＤＡＲ）や３次元点群地図データベースを搭載することなく、高い精度で端末装置１００の位置および姿勢を推定することができる。

【0066】

また、本実施形態の端末装置１００は、さらに、トラッキング部１１６と、推定結果更新部１１７とを備える。トラッキング部１１６は、端末装置１００の位置および姿勢が推定された時点（トラッキング開始点）からの端末装置１００の位置および姿勢の変化を追跡する。推定結果更新部１１７は、該変化に基づき、端末装置１００の位置および姿勢の推定結果を更新する。そのため、本実施形態の端末装置１００によれば、一旦、マーカ位置姿勢情報ＬＩと相対関係情報ＣＩとに基づき３次元点群地図上における端末装置１００の位置および姿勢（初期位置および初期姿勢）を推定した後は、自律移動体２００のマーカ部２６０が撮像部１５４によって撮像可能であるか否かにかかわらず、端末装置１００単独で、端末装置１００の位置および姿勢の推定結果を更新することができる。このとき、初期位置および初期姿勢の推定精度が高いため、その後の更新によっても、端末装置１００の位置および姿勢の推定精度は一定以上に保たれる。従って、本実施形態の端末装置１００によれば、自律移動体２００とは独立して移動する端末装置１００について、継続的に、高い精度で端末装置１００の位置および姿勢を推定することができる。

【0067】

なお、本実施形態の端末装置１００では、トラッキング部１１６は、撮像部１５４により撮像された画像を用いて、端末装置１００の位置および姿勢の変化を追跡する。そのため、本実施形態の端末装置１００では、撮像部１５４以外のセンサを必要とすることなく、継続的に、高い精度で端末装置１００の位置および姿勢を推定することができる。

【0068】

また、本実施形態の端末装置１００は、さらに、表示部１５１と、拡張現実処理部１１１とを備える。拡張現実処理部１１１は、端末装置１００の位置および姿勢の推定結果に応じて変化する仮想画像ＶＩを、撮像部１５４により撮像された現実画像ＲＩに重畳して、表示部１５１に表示させる。そのため、本実施形態の端末装置１００によれば、高い精度で推定された端末装置１００の位置および姿勢に基づき、仮想画像ＶＩを表示させることができ、高精度なＡＲ型情報提示を実現することができる。

【0069】

また、本実施形態の情報処理システム１０は、端末装置１００と、自律移動体２００とを備える。自律移動体２００は、センサ２３０による周辺検知情報と３次元点群地図とを用いて自律移動する移動体である。そのため、本実施形態の情報処理システム１０によれば、人間の運転操作を要さずにマーカ部２６０を移動させることによって、広い範囲において、移動するマーカ部２６０を利用した高い精度での端末装置１００の位置および姿勢の推定を実現することができる。

【0070】

また、本実施形態の情報処理システム１０は、さらに、サーバ装置３００を備える。自律移動体２００は、マーカ位置姿勢情報ＬＩをサーバ装置３００に送信し、端末装置１００のマーカ情報取得部１１３は、サーバ装置３００を介して、マーカ位置姿勢情報ＬＩを取得する。そのため、本実施形態の情報処理システム１０によれば、自律移動体２００と直接的に通信ができない端末装置１００においても、自律移動体２００のマーカ部２６０を利用した高い精度での端末装置１００の位置および姿勢の推定を実現することができる。

【0071】

Ｂ．第２実施形態：
図９は、第２実施形態における情報処理システム１０ａの構成を概略的に示す説明図であり、図１０は、第２実施形態における端末装置１００ａの構成を概略的に示すブロック図であり、図１１は、第２実施形態における自律移動体２００ａの構成を概略的に示すブロック図であり、図１２は、第２実施形態におけるサーバ装置３００ａの構成を概略的に示すブロック図である。以下では、第２実施形態の情報処理システム１０ａ、端末装置１００ａ、自律移動体２００ａおよびサーバ装置３００ａの構成や各装置による処理内容のうち、上述した第１実施形態と同一の構成および処理内容については、同一の符号を付すことによってその説明を適宜省略する。

【0072】

第２実施形態の情報処理システム１０ａは、第１実施形態の情報処理システム１０と同様に、３次元点群地図上における端末装置１００ａの位置および姿勢を高精度に推定するシステムであるが、該推定された位置および姿勢を用いて、ＡＲ型情報提示を実行するのではなく、ハザード通知を実行するためのシステムである。本実施形態では、公道上の見通しの悪い交差点等において、端末装置１００ａに近接するハザードの存在を通知するハザード通知を例に挙げて説明する。

【0073】

図９に示すように、情報処理システム１０ａは、複数の端末装置１００ａと、複数の自律移動体２００ａと、サーバ装置３００ａとを備える。第２実施形態では、自律移動体２００ａは、乗員を乗せて公道上を自律的に走行する自律走行車両である。

【0074】

図１０に示すように、第２実施形態における端末装置１００ａの記憶部１２０には、後述するハザード通知処理を行うためのハザード通知プログラムＣＰ１２が格納されている。端末装置１００ａの制御部１１０は、記憶部１２０からハザード通知プログラムＣＰ１２を読み出して実行することにより、後述するハザード通知処理を行うハザード通知部１１９として機能する。ハザード通知部１１９は、第１実施形態と同様の端末位置姿勢推定部１１２ａを含んでいる。ただし、第２実施形態の端末位置姿勢推定部１１２ａは、推定結果送信部１１８を含んでいる。また、端末装置１００ａの記憶部１２０には、後述するハザード通知処理の際に、ハザード情報ＨＩが格納される。

【0075】

図１１に示すように、第２実施形態における自律移動体２００ａの記憶部２２０には、後述するハザード通知処理を行うためのハザード通知プログラムＣＰ２３が格納されている。自律移動体２００ａの制御部２１０は、記憶部２２０からハザード通知プログラムＣＰ２３を読み出して実行することにより、後述するハザード通知処理を行うハザード通知部２１６として機能する。また、自律移動体２００ａの記憶部２２０には、後述するハザード通知処理の際に、端末位置姿勢情報ＴＩが格納される。なお、ハザード通知処理は、特許請求の範囲における特定処理の一例であり、ハザード通知部２１６は、特許請求の範囲における特定処理実行部の一例である。

【0076】

図１２に示すように、第２実施形態におけるサーバ装置３００ａの記憶部３２０には、後述するハザード通知処理を行うためのハザード通知サーバプログラムＣＰ３２が格納されている。サーバ装置３００ａの制御部３１０は、記憶部３２０からハザード通知サーバプログラムＣＰ３２を読み出して実行することにより、後述するハザード通知処理を行うハザード通知サーバ処理部３１８として機能する。ハザード通知サーバ処理部３１８は、第１実施形態と同様の位置姿勢サーバ処理部３１４を含む。また、サーバ装置３００ａの記憶部３２０には、後述するハザード通知処理の際に、端末位置姿勢情報ＴＩと、ハザード情報ＨＩとが格納される。

【0077】

次に、第２実施形態の情報処理システム１０ａにおいて実行されるハザード通知処理について説明する。本実施形態のハザード通知処理は、自律移動体２００ａが認識した端末装置１００ａに近接するハザードの存在を、端末装置１００ａに通知し、端末装置１００ａの音声出力部１５３により報知する処理である。本実施形態では、公道上の見通しの悪い交差点等において、端末装置１００ａに近接するハザードの存在を通知するハザード通知処理を例に挙げて説明する。

【0078】

図１３は、第２実施形態の情報処理システム１０ａにおいて実行されるハザード通知処理の流れを示す説明図である。また、図１４は、第２実施形態の情報処理システム１０ａにおいて実行されるハザード通知処理を概念的に示す説明図である。図１４に示す例では、公道上の見通しの悪い交差点において、ユーザＵが保持する端末装置１００ａの撮像部１５４の撮像範囲に自律移動体２００ａが走行している。また、ビルＢｕの陰には、ユーザＵからは視認できないが、自律移動体２００ａのセンサ２３０からは認識可能なハザードＨａとしての自転車が存在しており、該自転車がユーザＵの前に飛び出そうとしている。

【0079】

図１３に示すハザード通知処理において、自律移動体２００ａによるＳ２１０，Ｓ２２０の処理、サーバ装置３００ａによるＳ３１０，Ｓ３２０の処理、端末装置１００ａによるＳ１１０からＳ１４０の処理内容は、図５に示す第１実施形態のＡＲ型情報提示処理における各ステップの処理内容と同じである。これらの処理により、端末装置１００ａは、３次元点群地図上における端末装置１００ａ（の撮像部１５４）の位置（初期位置）および姿勢（初期精度）を高精度に推定することができる。

【0080】

その後、端末装置１００ａの推定結果送信部１１８（図１０）は、３次元点群地図上における端末装置１００ａの位置および姿勢の推定結果を示す端末位置姿勢情報ＴＩを、サーバ装置３００ａを介して、自律移動体２００ａに送信する。すなわち、推定結果送信部１１８は、端末位置姿勢情報ＴＩをサーバ装置３００ａに向けて送信し（Ｓ１４２）、サーバ装置３００ａの位置姿勢サーバ処理部３１４（図１２）は、受信した端末位置姿勢情報ＴＩを自律移動体２００ａに向けて送信し（Ｓ３２２）、自律移動体２００ａのハザード通知部２１６（図１１）は、端末位置姿勢情報ＴＩを受信する（Ｓ２２２）。端末位置姿勢情報ＴＩは、端末装置１００ａを識別するための端末ＩＤと、位置および姿勢の推定時刻を示すタイムスタンプと、位置および姿勢を特定する情報とを含んでいる（図１２参照）。なお、本実施形態では、端末位置姿勢情報ＴＩは、推定された端末装置１００ａの位置から所定の距離内に存在する（すなわち、端末装置１００ａの近くに存在する）自律移動体２００ａを対象として送信される。

【0081】

端末装置１００ａは、端末位置姿勢情報ＴＩの送信後、第１実施形態と同様に、初期位置および初期姿勢からの端末装置１００ａの位置および姿勢の変化に基づき端末装置１００ａの位置および姿勢の推定結果を更新しつつ（Ｓ１５０）、ハザード情報ＨＩが受信されたか否かを判定する（Ｓ１５２）。

【0082】

端末位置姿勢情報ＴＩを受信した自律移動体２００ａのハザード通知部２１６（図１１）は、端末位置姿勢情報ＴＩに基づき、３次元点群地図上における端末装置１００ａの位置および姿勢を特定し、端末装置１００ａの周辺のハザードＨａを探索する（Ｓ２２４）。すなわち、ハザード通知部２１６は、センサ２３０により認識された周辺物体と端末装置１００ａとの相対位置関係や相対速度関係に基づき、端末装置１００ａに対するハザードＨａとなり得る周辺物体の有無を判定する。

【0083】

自律移動体２００ａのハザード通知部２１６は、端末装置１００ａの周辺にハザードＨａを検出した場合には（Ｓ２２４：ＹＥＳ）、検出したハザードＨａを特定するハザード情報ＨＩを作成し、該ハザード情報ＨＩを、サーバ装置３００ａを介して、対象の自律移動体２００ａに送信する。すなわち、ハザード通知部２１６は、ハザード情報ＨＩをサーバ装置３００ａに向けて送信し（Ｓ２２６）、サーバ装置３００ａのハザード通知サーバ処理部３１８（図１２）は、受信したハザード情報ＨＩを自律移動体２００ａに向けて送信し（Ｓ３２４）、端末装置１００ａのハザード通知部１１９（図１０）は、ハザード情報ＨＩを受信する（Ｓ１５２：ＹＥＳ）。ハザード情報ＨＩは、例えば、ハザードＨａの位置や速度、名称等を示す情報である。なお、自律移動体２００ａにおいてハザードＨａが検出されなかった場合には（Ｓ２２４：ＮＯ）、Ｓ２２６の処理はスキップされる。

【0084】

ハザード情報ＨＩを受信した端末装置１００ａのハザード通知部１１９は、ハザードＨａの存在をユーザＵに報知する報知処理を実行する（Ｓ１５４）。例えば、図１４の例では、端末装置１００ａの音声出力部１５３から、「ａｔｔｅｎｔｉｏｎ！（注意！）」という音声が出力されている。報知処理により、端末装置１００ａのユーザＵは、例えば、自らは視認できないものの、自律移動体２００ａによって認識されているハザードＨａの存在を認識することができる。なお、報知処理では、端末装置１００ａから見たハザードＨａの方向（例えば、前方）や、ハザードＨａの名称（例えば、自転車）が報知されてもよい。また、音声による報知に代えて、あるいは、音声による報知と共に、画像による報知や振動による報知が実行されてもよい。端末装置１００ａにおいてハザード情報ＨＩが受信されなかった場合には（Ｓ１５２：ＮＯ）、Ｓ１５４の処理はスキップされる。その後の処理は、第１実施形態と同様である。

【0085】

以上説明したように、第２実施形態の情報処理システム１０ａは、端末装置１００ａと自律移動体２００ａとを備える。端末装置１００ａは、端末装置１００ａの位置および姿勢の推定結果を、直接または他の装置を介して、自律移動体２００ａに送信する推定結果送信部１１８を備える。自律移動体２００ａは、端末装置１００ａの位置および姿勢の推定結果を用いて、端末装置１００ａに近接するハザードＨａの存在を端末装置１００ａに通知するハザード通知処理を実行するハザード通知部２１６を備える。そのため、第２実施形態の情報処理システム１０ａによれば、高い精度で推定された３次元点群地図上における端末装置１００ａの位置および姿勢を利用して、自律移動体２００ａから端末装置１００ａへハザードＨａの存在を通知することができ、高精度なハザード通知を実現することができる。

【0086】

Ｃ．変形例：
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。

【0087】

上記実施形態における情報処理システム１０の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、マーカ部２６０を有する移動体は、センサ２３０による周辺検知情報と３次元点群地図とを用いて自律移動する自律移動体２００であるが、３次元点群地図上における自己の位置および姿勢を特定しつつ移動する移動体である限りにおいて、必ずしも自律移動する移動体である必要はなく、人による運転操作に従い移動する移動体であってもよい。また、上記実施形態では、自律移動体２００は、センサ２３０による周辺認識結果と３次元点群地図とのマッチングにより自己の位置および姿勢を推定しているが、他の手法（例えば、Ｖｉｓｕａｌ－ＳＬＡＭやＧＮＳＳを利用した手法）を組み合わせて、より高精度に自己の位置および姿勢を推定するとしてもよい。

【0088】

上記実施形態では、自律移動体２００が、車体の側面に付された画像をマーカ部２６０として有するが、マーカ部２６０の態様はこれに限られない。例えば、マーカ部２６０は、３次元の物体であってもよく、自律移動体２００自体の形状がマーカ部２６０として機能するとしてもよい。

【0089】

上記実施形態におけるＡＲ型情報提示処理やハザード通知処理の内容は、あくまで一例であり、種々変更可能である。例えば、上記実施形態では、自律移動体２００の位置姿勢情報提供部２１４が、３次元点群地図上におけるマーカ部２６０の位置および姿勢を示すマーカ位置姿勢情報ＬＩをサーバ装置３００に向けて送信し（図５のＳ２２０）、サーバ装置３００の位置姿勢サーバ処理部３１４がマーカ位置姿勢情報ＬＩを端末装置１００に送信しているが（Ｓ３２０）、自律移動体２００の位置姿勢情報提供部２１４が、マーカ位置姿勢情報ＬＩではなく、３次元点群地図上における自律移動体２００（のセンサ２３０）の位置および姿勢を示す情報をサーバ装置３００に向けて送信し、サーバ装置３００の位置姿勢サーバ処理部３１４が、該情報に基づきマーカ部２６０の位置および姿勢を示すマーカ位置姿勢情報ＬＩを生成して端末装置１００に送信するとしてもよい。また、上記実施形態では、自律移動体２００と端末装置１００との間のマーカ位置姿勢情報ＬＩ等の情報のやり取りが、サーバ装置３００を介して実行されているが、自律移動体２００と端末装置１００との間で直接的に情報のやり取りが実行されてもよい。

【0090】

上記実施形態では、トラッキング開始点以降の端末装置１００の位置および姿勢の変化の追跡（トラッキング）が、Ｖｉｓｕａｌ－ＳＬＡＭを利用して実行されているが、トラッキングは、ＬｉＤＡＲ－ＳＬＡＭ等の他のＳＬＡＭを利用して実行されてもよいし、ＧＮＳＳを利用する手法等の他の公知の手法を利用して実行されてもよい。

【0091】

上記第１実施形態では、ショッピングモールの屋内および屋外において案内表示を行うＡＲ型情報提示を例に挙げて説明したが、本明細書に開示される技術は、他の目的（例えば、歩行ナビゲーション、観光案内、保守点検のガイド、位置ゲーム等）のためのＡＲ型情報提示にも同様に適用可能である。

【0092】

上記第２実施形態では、端末位置姿勢情報ＴＩを受信した自律移動体２００ａが、端末装置１００ａの位置および姿勢の推定結果を用いて、端末装置１００ａに近接するハザードＨａの存在を端末装置１００ａに通知するハザード通知処理を実行しているが、端末位置姿勢情報ＴＩを受信した自律移動体２００ａが、端末装置１００ａの位置および姿勢の推定結果を用いて、他の処理（例えば、移動体の精密な誘導処理）を実行してもよい。また、反対に、自律移動体２００ａに対するハザードが端末装置１００ａの撮像部１５４により認識された場合に、端末装置１００ａが、自律移動体２００ａに対して、端末位置姿勢情報ＴＩと共に該ハザードの情報を通知するとしてもよい。これにより、自律移動体２００ａによりハザードの認識を端末装置１００ａが補うことができ、自律移動体２００ａの走行の安全性を向上させることができる。

【0093】

上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。

【符号の説明】

【0094】

１０：情報処理システム １００：端末装置 １１０：制御部 １１１：拡張現実処理部 １１２：端末位置姿勢推定部 １１３：マーカ情報取得部 １１４：画像対応情報取得部 １１５：相対関係特定部 １１６：トラッキング部 １１７：推定結果更新部 １１８：推定結果送信部 １１９：ハザード通知部 １２０：記憶部 １５１：表示部 １５２：操作入力部 １５３：音声出力部 １５４：撮像部 １５５：通信部 １９０：バス ２００：自律移動体 ２１０：制御部 ２１２：自律移動制御部 ２１４：位置姿勢情報提供部 ２１６：ハザード通知部 ２２０：記憶部 ２３０：センサ ２５０：駆動部 ２５５：通信部 ２６０：マーカ部 ３００：サーバ装置 ３１０：制御部 ３１２：拡張現実サーバ処理部 ３１４：位置姿勢サーバ処理部 ３１８：ハザード通知サーバ処理部 ３２０：記憶部 ３５１：表示部 ３５２：操作入力部 ３５５：通信部 ３９０：バス Ｈａ：ハザード ＲＩ：現実画像 Ｕ：ユーザ ＶＩ：仮想画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】