特許 7390910 地図生成装置およびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-24

(45)【発行日】2023-12-04

(54)【発明の名称】地図生成装置およびその方法

(51)【国際特許分類】

   G06T 11/60 20060101AFI20231127BHJP

   G09B 29/00 20060101ALI20231127BHJP

【ＦＩ】

G06T11/60 300

G09B29/00 Z

【請求項の数】 14

(21)【出願番号】P 2020014259

(22)【出願日】2020-01-31

(65)【公開番号】P2021120828

(43)【公開日】2021-08-19

【審査請求日】2022-10-05

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】一野瀬 亮子

(72)【発明者】

【氏名】腰塚 久洋

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１７－１０７２７５（ＪＰ，Ａ）

【文献】特開２０１３－１９５８６３（ＪＰ，Ａ）

【文献】国際公開第２００８／０６８８４９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｇ０６Ｔ １７／０５

Ｇ０９Ｂ ２９／００ － ２９／１４

(57)【特許請求の範囲】

【請求項1】

屋内環境での位置推定用の地図を生成する地図生成装置において、
前記屋内環境を構成する屋内環境要素を撮像する撮像部と、
前記撮像部で撮像された前記屋内環境における視覚的情報および、当該視覚的情報の撮像位置である位置情報を記録する視覚的情報記録部と、
再開地点候補として前記視覚的情報の撮像地点一覧を提示する情報提示部と、
前記撮像部での撮像を中断後に再開指示を受け付ける際、撮像の再開位置を特定する開始位置計算部と、を有し、
前記情報提示部は、再開地点として前記撮像地点一覧から選択された地点の前記視覚的情報と、前記撮像部が再開指示を受け付ける際に撮像している視覚的情報である再開撮像情報と、を同一画面上に提示し、
前記開始位置計算部は、前記選択された地点の前記撮像位置に応じて前記再開位置を特定することを特徴とする地図生成装置。

【請求項2】

請求項１に記載の地図生成装置において、
開始位置計算部は、前記選択された地点の視覚的情報と、前記再開撮像情報とを比較し、当該比較の結果に応じて、前記屋内環境要素に対する撮像の再開位置を特定することを特徴とする地図生成装置。

【請求項3】

請求項１または請求項２に記載の地図生成装置において、
前記撮像部は、前記再開撮像情報と前記視覚的情報を、前記屋内環境要素に対する撮像角度とは所定値以上異なる傾斜角度である周辺撮像角度で撮像し、
開始位置計算部は、それぞれ前記周辺撮像角度で撮像された前記再開撮像情報と前記選択された地点の前記視覚的情報を比較することを特徴とする地図生成装置。

【請求項4】

請求項３に記載の地図生成装置において、
さらに、当該地図生成装置の傾きを検知する向き変化検出部を有し、
前記向き変化検出部で、当該地図生成装置の傾斜角度が予め定めた範囲内または傾斜の角速度が一定値以上であることを検知した場合、前記撮像部は前記再開撮像情報または前記視覚的情報を撮像することを特徴とする地図生成装置。

【請求項5】

請求項４に記載の地図生成装置において、
前記撮像部は、前記向き変化検出部で、当該地図生成装置の傾斜角度が予め定めた範囲内であることを検知した場合に、前記再開撮像情報または前記視覚的情報を撮像し、
前記予め定めた範囲は、当該地図生成装置の傾斜角度が前記周辺撮像角度に基づく範囲であることを特徴とする地図生成装置。

【請求項6】

請求項１または請求項２に記載の地図生成装置において、
前記情報提示部は、前記視覚的情報を撮像ないし記録した時間から一定時間以上経過および撮像ないし記録した位置から一定距離以上移動の少なくとも一方が検知された場合、新たに視覚的情報を撮像することを促す情報を提示することを特徴とする地図生成装置。

【請求項7】

請求項１乃至６のいずれに記載の地図生成装置において、
開始位置計算部は、前記再開撮像情報の周辺撮像角度と、前記選択された地点の前記視覚的情報の周辺撮像角度に差分がある場合、画像処理により前記差分を算出し、前記算出した差分に基づき前記再開位置を補正することを特徴とする地図生成装置。

【請求項8】

屋内環境での位置推定用の地図を生成する地図生成装置を用いた地図生成方法において、
撮像部により、前記屋内環境を構成する屋内環境要素を撮像し、
視覚的情報記録部により、前記撮像部で撮像された前記屋内環境における視覚的情報および、当該視覚的情報の撮像位置である位置情報を記録し、
情報提示部により、再開地点候補として前記視覚的情報の撮像地点一覧を提示し、
開始位置計算部により、前記撮像部での撮像を中断後に再開指示を受け付ける際、撮像の再開位置を特定し、
前記情報提示部により、再開地点として前記撮像地点一覧から選択された地点の前記視覚的情報と、前記撮像部が再開指示を受け付ける際に撮像している視覚的情報である再開撮像情報と、を同一画面上に提示し、
前記開始位置計算部により、前記選択された地点の前記撮像位置に応じて前記再開位置を特定することを特徴とする地図生成方法。

【請求項9】

請求項８に記載の地図生成方法において、
開始位置計算部は、前記選択された地点の視覚的情報の撮像位置に加え、
前記選択された地点の視覚的情報と再開指示を受け付ける際に前記撮像部が撮像した再開撮像情報を比較し、当該比較の結果に応じて、前記屋内環境要素に対する撮像の再開位置を特定することを特徴とする地図生成方法。

【請求項10】

請求項８または請求項９に記載の地図生成方法において、
前記撮像部は、前記再開撮像情報と前記視覚的情報を、前記屋内環境要素に対する撮像角度とは所定値以上異なる傾斜角度である周辺撮像角度で撮像し、
開始位置計算部は、それぞれ前記周辺撮像角度で撮像された前記再開撮像情報と前記選択された地点の前記視覚的情報を比較することを特徴とする地図生成方法。

【請求項11】

請求項１０に記載の地図生成方法において、
向き変化検出部により、当該地図生成装置の傾きを検知し、
前記向き変化検出部で当該地図生成装置の傾斜角度が予め定めた範囲内または傾斜の角速度が一定値以上であることを検知した場合、前記撮像部は前記再開撮像情報または前記視覚的情報を撮像することを特徴とする地図生成方法。

【請求項12】

請求項１１に記載の地図生成方法において、
前記撮像部が、前記向き変化検出部で、当該地図生成装置の傾斜角度が予め定めた範囲内であることを検知した場合に、前記再開撮像情報または前記視覚的情報を撮像し、
前記予め定めた範囲は、当該地図生成装置の傾斜角度が前記周辺撮像角度に基づく範囲であることを特徴とする地図生成方法。

【請求項13】

請求項８または請求項９に記載の地図生成方法において、
前記情報提示部は、前記視覚的情報を撮像ないし記録した時間から一定時間以上経過および撮像ないし記録した位置から一定距離以上移動の少なくとも一方が検知された場合、新たに視覚的情報を撮像することを促す情報を提示することを特徴とする地図生成方法。

【請求項14】

請求項８乃至１３のいずれに記載の地図生成方法において、
開始位置計算部は、前記再開撮像情報の周辺撮像角度と、前記選択された地点の前記視覚的情報の周辺撮像角度に差分がある場合、画像処理により前記差分を算出して、前記再開位置を補正することを特徴とする地図生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、地図を生成する技術に関する。その中でも特に、屋内環境を移動する自律移動ロボットなどの自己位置推定に用いる地図の生成に関する。なお、本願明細書での屋内環境とは、空港ロビーやショッピングセンター等の公共空間を含み、連続的な撮像が可能な屋内環境要素を有する空間であればよく、少なくともその一部で屋根がなくともよい。

【背景技術】

【0002】

近年、様々な分野で地図データ（単に地図と称する）の利用が進められている。例えば、ナビゲーションシステムで利用されている。また、地図を利用する例として、自己位置を逐次推定しながら自律的に移動するロボットが開発されている。自己位置を推定する一般的な方法の一つに、予め環境地図を作成し、移動しながらセンサで取得した環境データを環境地図と照合して現在位置を推定する方法がある。環境地図を作成する一般的な方法としては、例えば、特許文献１に開示される技術がある。特許文献１などの従来技術では、ロボットを手動で走行させて、ロボットに搭載されているセンサで周囲環境の環境特徴、つまり、形状や色、物体などを検出し、前センサ値との差分値の積算、ホイールエンコーダ値積算、位置情報衛星信号受信などにより得た位置情報と対応付けてプロットし、地図を作成している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2017-198517号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、近年、空港ロビーやショッピングセンター等の公共空間では、来客者への案内を実行するロボットが導入されている。しかし、この公共空間では来客者に配慮して来客者のいる時間帯はロボットを地図生成のために走らせることが困難で、地図生成作業が深夜などに制限され、導入までに多くの時間を要した。

【0005】

また、来客者など周囲に人がいる場合、安全確保のために地図生成作業中断や、空いている場所から順に行うなど、任意地点での地図生成作業の中断、再開が頻繁に発生する可能性がある。再開時は、既生成地図上で再開地点の位置座標を正確に取得して、その位置座標から作業を再開しなければ誤った位置座標から地図が追加されて、誤った地図が生成される可能性がある。

【0006】

さらに、屋内など位置情報衛星信号受信ができない場所では絶対位置座標の取得が容易ではないため、既生成地図上で再開地点の位置座標を正確に取得することは難しかった。特に、建物形状の点群、壁や天井の繰り返し模様などをプロットした環境地図の場合、その地図をグラフィカルに表示しても人間にはわかりにくいため、地図上で再開位置を把握することは困難であった。

【0007】

そこで、本発明の地図生成装置は、屋内環境に対する地図生成作業をスムーズに実現することを目的とする。

【課題を解決するための手段】

【0008】

本課題を解決するために本発明では、地図作成用の撮像の再開に、撮像の中断の際に取得される視覚的情報を利用する。

【0009】

より具体的には、屋内環境での位置推定用の地図を生成する地図生成装置において、前記屋内環境を構成する屋内環境要素を撮像する撮像部と、前記撮像部で撮像された前記屋内環境における視覚的情報および、当該視覚的情報の撮像位置である位置情報を記録する視覚的情報記録部と、再開地点候補として前記視覚的情報の撮像地点一覧を提示する情報提示部と、前記撮像部での撮像を中断後に再開指示を受け付ける際、撮像の再開位置を特定する開始位置計算部と、を有し、前記情報提示部は、再開地点として前記撮像地点一覧から選択された地点の前記視覚的情報と、前記撮像部が再開指示を受け付ける際に撮像している視覚的情報である再開撮像情報と、を同一画面上に提示し、前記開始位置計算部は、前記選択された地点の前記撮像位置に応じて前記再開位置を特定する地図生成装置である。

【0010】

また、本発明には、当該地図生成装置での地図生成方法やこの地図生成方法を実行するためのプログラム製品（含む媒体）が含まれる。さらに、地図生成装置を含むシステムやサーバ装置も本発明の一態様である。

【発明の効果】

【0011】

本発明の地図生成装置によれば、屋内環境においても、スムーズに地図生成を実行できる。

【図面の簡単な説明】

【0012】

【図1】実施例１の地図生成装置の機能ブロック図である。

【図2】実施例１の地図生成装置の環境特徴抽出用画像撮像状況例を示す図である。

【図3】実施例１の地図生成装置の視覚的情報画像撮像状況例を示す図である。

【図4】実施例１の地図生成装置の動作例を示す図である。

【図5】実施例１の地図生成装置の動作例を示す図である。

【図6】実施例１の地図生成装置の制御例を示すフローチャートである。

【図7】実施例２の地図生成装置の機能ブロック図である。

【図8】実施例２の地図生成装置の制御例を示すフローチャートである。

【図9】実施例２の地図生成装置の動作例を示す図である。

【図10】実施例３の地図生成装置の機能ブロック図である。

【図11】実施例３の地図生成装置の制御例を示すフローチャートである。

【図12】実施例４の地図生成装置の機能ブロック図である。

【図13】実施例４の地図生成装置の制御例を示すフローチャートである。

【図14】実施例５の地図生成装置の機能ブロック図である。

【図15】実施例５の地図生成装置の制御例を示すフローチャートである。

【図16】本発明の実施例における地図運用システムの構成図である。

【発明を実施するための形態】

【0013】

以下、図面を用いて実施例を説明する。まず、図１６を用いて、各実施例に共通する地図運用システムのシステム構成を説明する。図１６は、地図生成装置１０が、ネットワーク４０００を介して、サーバ２０００やロボット３０００－１、２と接続されている。サーバ２０００は、地図生成装置１０で生成された地図を格納し、ロボット３０００－１に配信する機能を有する。また、ロボット３０００－２は、サーバ２０００を介さず地図生成装置１０から地図の配信を受ける。これらの配信される地図を用いて、ロボット３０００－１、２は、地図を用いて、自己位置推定を行い、来客者へのサービス（案内等）を実現可能となる。

【0014】

ここで、地図生成装置１０は、地図生成装置制御部１００、主記憶部１００１、副記憶部１００２、撮像部１０１、情報提示部１０６、情報入力部１０７、通信部１００３および慣性センサ１００４(例えば、ジャイロセンサ)をハードウェアとして有する。つまり、主記憶部１００１に格納された各種プログラム、アプリケーション（アプリ）に従って、ＣＰＵ、ＭＰＵなどと称される地図生成装置制御部１００が各種演算を実行する。

【0015】

また、地図生成装置１０は、その一例として、スマートフォンやタブレットＰＣなどの汎用携帯型情報端末で実現される。この場合、情報提示部１０６および情報入力部１０７は、タッチパネル１００５として一体で構成される。

【0016】

さらに、地図生成装置１０は、ロボット３０００－１、２に実装するなどして、自走してもよい。

【0017】

なお、地図生成装置１０の各種アプリおよびこれらに従った処理および他の構成についての詳細は、各実施例の欄で説明する。

【0018】

また、ロボット３０００－１、２は、サーバ２０００のプログラムで、各種サービスを実行してもよい。この場合、記憶装置２００１に生成した地図を格納することが好適である。さらに、ネットワーク４０００は、有線、無線などのその形式は問わない。

【0019】

また、さらに、地図生成装置１０の少なくともその一部を、サーバ２０００で実現してもよい（いわゆるクラウド化も可能である）。

【実施例1】

【0020】

図１は、実施例１の地図生成装置１０の主な構成要素を示す機能ブロック図である。なお、本図では、図１６に示すサーバ２０００などの他の装置や一部構成の図示を省略する。この地図生成装置１０は、空港ロビーやショッピングセンター等、屋内公共空間で走行する自律移動ロボット（ロボット３０００－１、２）の自己位置推定に必要な地図を生成することを想定している。このために、来客者のいる時間帯にも地図生成作業が行えるように、小型の携帯型を想定している。具体的には、上述のとおり、ハードウェアとしてスマートフォンやタブレットＰＣなどの汎用携帯型情報端末を使用する。つまり、本実施例では、地図生成装置１０を必要な処理をアプリとして実装して実現し、利用者が持ち歩きながら地図生成作業を行う。但し、上述のように、自走機能を設けてもよい。この場合、各機能も自動化することが好適である。

【0021】

図１に示すように、地図生成装置１０は、撮像部１０１と、環境特徴抽出部１０２と、位置推定部１０３と、地図情報記録部１０４と、視覚的情報記録部１０５と、情報提示部１０６と、情報入力部１０７と、開始位置計算部１０８を備え、更に、これら全体を制御する地図生成装置制御部１００を備える。これらのうち、環境特徴抽出部１０２、位置推定部１０３および開始位置計算部１０８は、図１６の主記憶部１００１に格納されるアプリとして実現される。

【0022】

情報提示部１０６は具体的には携帯型情報端末のディスプレイ、スピーカ、振動素子等で、情報入力部１０７は具体的には携帯型情報端末のタッチパネル、マイク、物理的ボタン等で実現される。なお、上述したように、情報提示部１０６と情報入力部１０７を一体化したタッチパネル１００５で実現してもよい。地図生成装置１０の利用者から地図生成装置１０への指示は、情報入力部１０７を通して受ける。例えば、タッチパネル上に各種指示ボタンを表示しておき、ボタン部分へのタップを検出する、予め各種指示を割り当てた物理的ボタンの押下を検出する、マイクからの入力された音声を認識するなどである。

【0023】

なお、地図生成装置１０は、図１６に示すような、ＣＰＵ等の演算装置（地図生成装置制御部１００）、半導体メモリ等主記憶部１００１などのハードウェアも備えている。そそして、副記憶部１００２からロードしたプログラムを地図生成装置制御部１００が実行することで、図１に示す一部機能を実現する。但し、以下では、このような周知動作を適宜省略しながら、各構成の詳細を説明する。

【0024】

撮像部１０１は、具体的には静止画像、動画像を取得するカメラである。一般的スマートフォンやタブレットＰＣに具備されている。

【0025】

環境特徴抽出部１０２は、撮像部１０１が撮像した画像から、自己位置推定に必要な環境特徴情報を抽出する。具体的な環境特徴情報は自己位置推定方式に依存する。自己位置推定方式は各種あるが、例えば、人密度の高い広い公共屋内空間に適した方式として、プライバシーを配慮して人の映り込みの少ない上方を撮像し、天井照明器具の形状や梁、天井と壁の境などの線などの幾何情報を環境特徴情報として利用する方式がある。また、具体的な物ではなく、画像の輝度変化点を環境特徴情報として利用する方式もある。なお、上方を撮像するため撮像部１０１を上方に向けて撮像する場合、一般的スマートフォンやタブレットＰＣにはディスプレイ（情報提示部１０６）と同じ側とその反対側の２か所にカメラがついている。そこで、ディスプレイ（情報提示部１０６）と同じ側のカメラを撮像部１０１として使用すると操作性がよい。撮像部１０１を概略水平方向に向けて撮像する場合は、ディスプレイ（情報提示部１０６）と反対側のカメラを撮像部１０１として使用すると操作性がよい。

【0026】

なお、本願明細書では、上方つまり天井を撮像し、環境特徴画像を利用するが、本発明はこれに限定されない。例えば、壁、床、塀、幕（スクリーン）、パーテーション、仕切り板、面等その表現は問わず、これらを対象としてもよい。つまり、他の連続的に撮像可能な屋内環境要素を撮像して地図を生成してもよい。

【0027】

位置推定部１０３は、まず、撮像部１０１が撮像した連続画像を比較し地図生成装置１０の移動量を求める。具体的には、今回撮像した画像から環境特徴を抽出し、前回撮像した画像から抽出した同じ環境特徴の画像内の画素位置と今回抽出した画像内の画素位置の差分を実世界距離に換算して地図生成装置１０の移動量を求める。そして、地図生成開始位置から移動量を積算し、現在の位置を推定する。最新の位置推定を行った撮像画像は保存しておく。

【0028】

地図情報記録部１０４は、環境特徴抽出部１０２が抽出した環境特徴情報を、位置推定部１０３が推定した現在位置情報と対応付けて地図情報として、図示しない記憶装置に記録する。具体的な記録情報は、自己位置推定方式によって異なる。例えば、画像の中心と幾何の抽出画素位置から各幾何の中心座標を求め、幾何の種類と大きさと幾何の中心座標、向きと地図生成装置１０の現在位置座標を記録したり、画像の輝度変化点配置を地図生成装置１０の現在位置座標と対応付けて記録したりする。

【0029】

視覚的情報記録部１０５は、情報入力部１０７が、利用者２０３から視覚的情報画像取得指示を受け付けた際に、撮像部１０１が撮像した画像である視覚的情報画像を、その撮像位置と対応付けて記録する。つまり、視覚的情報画像とは、地図作成の再開の際に、目印となる画像である。

【0030】

なお、撮像位置として、位置推定部１０３が推定した位置を用いるが、視覚的情報記録部１０５は位置とその位置推定に使用した撮像画像も記録する。

【0031】

開始位置計算部１０８は、既生成地図内での地図生成装置１０の現位置座標を算出する。この算出は、撮像部１０１が撮像した画像のうち、所定の画像を特定し、この画像の撮像位置に応じて行なわれる。例えば、開始位置計算部１０８は、利用者２０３から選択された画像を、所定の画像として特定する。そして、開始位置計算部１０８は、選択された画像に対応付けられている視覚的情報記録部１０５の位置情報を基に、既生成地図内での地図生成装置１０の現位置座標を算出する。

【0032】

また、上記算出は、以下のとおり行ってもよい。開始位置計算部１０８は、情報入力部１０７が、利用者２０３から地図生成開始指示を受け付けたときに、撮像部１０１が撮像した画像と、視覚的情報記録部１０５が記録した画像を比較する。そして、開始位置計算部１０８は、視覚的情報記録部１０５が記録した画像に対応付けられている位置情報を基に、既生成地図内での地図生成装置１０の現位置座標を算出する。

【0033】

そして、それ以降の地図生成では、位置推定部１０３はこの位置座標を地図生成開始位置として、現在位置を推定する。撮像部１０１が撮像した画像と、視覚的情報記録部１０５が記録した画像を比較して地図生成装置１０の現在位置座標を算出することで地図生成開始位置の信頼性が高まるため、誤った地図を生成するリスクを低減可能である。但し、環境や使用者の熟練度によっては誤った地図が生成されるリスクが少ないため、開始位置計算部１０８は視覚的情報記録部１０５が記録した画像に対応付けられている位置情報をそのまま地図生成装置１０の現在位置座標として出力することとしてもよい。なお、本処理での「そのまま」とは、上記比較を省略することを意味する。このため、画像に対応付けられている位置情報に対し、例えば、向きを特定の値にするなどの微調整など他の処理を施しても構わない。

【0034】

次に、図２の環境特徴抽出用画像撮像状況例を示す図を用いて、地図生成装置１０の使用方法を説明する。

【0035】

２０１は、天井や壁などで構成される屋内環境である。２０２ａ、２０２ｂは、環境特徴の例で、例えば２０２ａは天井タイル目地、２０２ｂは天井照明器具である。２０３は地図生成装置１０の利用者であり、地図生成装置１０を持ち歩きながら地図生成作業を行う。２０４ａは環境特徴の方向に撮像部１０１を向けたときの撮像範囲である。

【0036】

２０５は視覚的情報で、例えば、看板や案内表示である。人間は、天井タイル目地２０２ａや天井照明器具２０２ｂよりも２０５の看板のようなものを見た方が、場所の特定が容易である。そこで、後ほど、分かれ道で地図を連結したり、地図生成作業中断後に再開したりするときに、作業を開始する位置を特定する目印として、視覚的に場所の位置が特定しやすい視覚的情報２０５を撮像する。

【0037】

環境特徴として上方の情報を使用する場合、撮像部１０１は概略水平向きでも上向きでも上方も撮像範囲に入る。但し、上向きの方が周囲の人の映り込みが低減できるため、周囲に来客者がいる中で地図生成作業を行う場合、周囲の人のプライバシーを考慮すると、上向きの方が適している。撮像部１０１を上向きで撮像する場合、看板や案内表示などの視覚的情報２０５は壁や低い位置に存在することが多いため、撮像範囲２０４ａに入らない場合がある。その場合は、環境特徴である天井タイル目地２０２ａ、天井照明器具２０２ｂを撮像していた状態から、ほぼ同じ立ち位置で地図生成装置１０を傾けて視覚的情報２０５を撮像する。つまり、天井を撮像する際から所定値以上異なる傾斜である周辺撮像角度で撮像する。なお、周辺撮像角度は一定の範囲（公差）を許容する。また、この撮像においては、利用者２０３からの撮像指示（シャッターボタンの押下等）に従って実行される。

【0038】

その際の、撮像範囲の例を図３の２０４ｂに示す。地図生成装置１０を持ち歩きながら環境特徴を撮像している利用者２０３は、視覚的に特徴のある物が近くにある場所に来たら、撮像範囲２０４ａから撮像範囲２０４ｂに撮像範囲を切り替えて視覚的情報画像取得指示を行う。後ほど、撮像範囲２０４ｂで撮像した画像と同じ画像が撮像できる位置に利用者２０３が立つと、撮像範囲２０４ｂで撮像したときとほぼ同じ立ち位置となる。従って、撮像範囲２０４ｂで撮像した時点で位置推定部１０３が最後に位置推定した最新位置情報を該視覚的情報画像と共に視覚的情報記録部１０５が記録する。そして、後ほど、利用者２０３が該視覚的情報画像と同じような画像が撮像できる位置に立った際に該視覚的情報画像と共に保存されている位置情報を地図生成開始地点と設定する。そのため、そこから地図を生成すれば、既生成地図と、新たに生成する地図を正しい位置で連結することができる。つまり、視覚的情報画像が撮像された地点が、開始可能地点となる。なお、その時、位置推定部１０３は、最初の位置推定では、最初に撮像した画像と該視覚的情報画像を比較する。

【0039】

撮像部１０１は、利用者２０３の操作により撮像範囲２０４ａから撮像範囲２０４ｂに撮像範囲を切り替えてもよい。この場合、利用者２０３は、視覚的情報画像取得指示を行う動作を立ち止まって行ってもよい。但し、歩きながら素早く行ってもよい。なぜならば、撮像部１０１が撮像し、その画像から環境特徴情報を抽出して地図情報記録部１０４が記録するまでに掛かる時間は一般的な携帯型情報端末で数十ms程度と人の一般的歩行速度より十分短く、その処理は連続して繰り返し行えるためである。また、小型携帯型の地図生成装置１０を人間が傾けることは容易であり短時間で行える。このため、撮像範囲２０４ａで最後に位置推定を行ったときの利用者２０３の立ち位置と、撮像範囲２０４ｂで視覚的情報画像取得指示を行ったときの利用者２０３の立ち位置は、地図の正しい位置での連結に必要な誤差上限に比べて十分小さいと考えられる。誤差上限は、類似する他の環境特徴と誤って照合しない距離であり、例えば、同じ種類で等間隔に並んでいる天井照明器具を環境特徴として使用する場合は、誤差上限は天井照明器具間隔となる。なお、本実施例では、利用者２０３が撮像作業を行っているが、地図生成装置１０を自走式の装置として実現してもよい（例えば、ロボット３０００－１、２に実装）。この場合、ロボット３０００－１、２等が地図生成装置１０を傾ける。

【0040】

図４は、視覚的情報画像を使用した開始動作例（特に、再開動作）を示す図である。情報提示部１０６に視覚的情報記録部１０５が記録している視覚的情報画像を開始可能地点として一覧表示する。利用者が作業中断指示をしたらこの表示を行う。なお、本表示は情報提示部１０６で表示するが、これは情報入力部１０７を兼ねるタッチパネル１００５でもよい。このとき、地図情報記録部１０４が記録している地図生成装置１０の位置情報を情報提示部１０６にプロットすると既作業済み経路３０１となり、利用者２０３にとってわかりやすい。なお、本実施例では、地図作成の中断・再開を例に説明するが、適用先はこれに限定されない。例えば、分かれ道での地図を連結や地図の更新などにも適用可能である。また、ショッピングセンターなどで、来客者向けの概略施設地図がある場合は、施設地図３０２も表示すると、利用者２０３にとってよりわかりやすい表示となる。

【0041】

情報入力部１０７から、利用者２０３による開始(再開)しようと考えた地点の選択指示を受け付けると、その地点の視覚的情報画像（地点３画像）を表示する。表示例を図５に示す。利用者２０３の移動に伴い、地図生成装置１０はその画像が同じように撮像可能な地点に移動することになる。同じように撮像可能かどうか判断しやすいように、現在カメラに写っている画像（現在の画像）と地点３画像と併記するとよい。この場合、図５に示すように、現在の画像と地点３画像を重畳することが望ましい。さらに、重畳した画像を区別（例えば、地点３画像を薄く）して表示することが好適である。

【0042】

情報入力部１０７から、この表示を確認した利用者２０３による開始指示を受け付けると、開始位置計算部１０８が開始位置を算出する。現在の画像に含まれる物体の大きさと角度が視覚的情報画像(地点３画像)に映っている物体の大きさと角度と同じであれば、地図生成装置１０が視覚的情報画像撮像時と同じ位置にあるということである。視覚的情報画像に対応付けられている位置情報を開始位置とする。しかしながら、全く同じ大きさと角度にすることは難しいため、視覚的情報画像と現在のカメラ画像に写っている同じ物体の写り方の差分から地図生成装置１０の撮像位置の差を画像処理により求め、開始位置を補正するとよい。つまり、周辺撮像角度に差がある場合、その差を収束することが可能になる。

【0043】

次に、図６を用いて、地図生成装置１０の制御例を説明する。

【0044】

最初に、位置推定部１０３が、初期開始位置設定を行う（Ｓ１０１）。このために、位置推定部１０３は、初期開始位置入力欄を情報提示部１０６に表示する。そして、位置推定部１０３は、情報入力部１０７に対して、利用者２０３による位置座標を入力できるようにする。情報入力部１０７は、利用者２０３からの任意の位置座標の入力を受け付ける。そして、位置推定部１０３はその位置座標を地図生成開始位置とする。そして、地図生成を開始する。なお、地図生成装置１０は、利用者２０３により、撮像部１０１が環境特徴を撮像できる向きとなるように、移動させられる。な、この移動は別装置により自動で行ってもよい。

【0045】

また、撮像部１０１は、Ｓ１０１の処理を受け、天井等を撮像する（Ｓ１０２）。そして、環境特徴抽出部１０２が、撮像画像から環境特徴を抽出する（Ｓ１０３）。また、位置推定部１０３が、現在位置を推定する（Ｓ１０４）。そして、これらの情報を用いて位置推定部１０３により作成されるロボット３０００－１、２の自己位置推定に用いられる地図を、地図情報記録部１０４に記録する（Ｓ１０５）。つまり、位置推定部１０３が環境特徴と位置を対応付けて地図とする。以上のＳ１０２～Ｓ１０５の地図作成は、当該地図生成装置１０の移動に伴い連続的に実行される。つまり、移動に伴い撮像される環境画像分の地図が逐次的に作成される。

【0046】

上記のＳ１０２～Ｓ１０５における地図作成の際に、情報入力部１０７が、利用者２０３から視覚的情報画像取得指示を受け付けた場合は（Ｓ１０６のＹＥＳ）、地図作成処理を中断してＳ１２１へ進む。視覚的情報画像取得指示を受け付けていない場合は（Ｓ１０６のＮＯ）、地図作成処理を継続してＳ１０７へ進む。

【0047】

Ｓ１２１では、撮像部１０１が視覚的情報画像を撮像する。ここでは、図３を用いて説明したように、撮像部１０１が周辺撮像角度分傾かされて撮像を行う。このため、本ステップでは、周辺撮像角度分をガイダンスする表示を情報提示部１０６が行ってもよい。そそして、視覚的情報記録部１０５が、Ｓ１２１で撮像された視覚的情報を、その撮像位置と対応付けて記録する。なお、撮像位置は位置推定部１０３が求める推定位置を用いるが、位置推定部１０３が連続的に行っている位置推定計算で地図生成に必要な精度であると判定し地図生成に使用した結果の内の最新結果を使用することが、撮像位置として信頼性のあるデータであるため最も適している。そして、それを推定するために使用した画像を記録することが好適である（Ｓ１２２）。この処理が終了すると、次のＳ１０７に進む。この際、情報入力部１０７が、利用者２０３から中断指示を受け付けない場合（ＮＯ）はＳ１０８に進み。なお、この際、一定時間中断指示を受け付けないことや中断なしとの指示を受け付けることで実現可能である。

【0048】

なお、ここでの１０７は、人込みが多いなどで、地図作成処理を中断する必要がある場合に、利用者２０３の判断をトリガーになることが想定される。そして、中断原因がなくなったと利用者２０３で判断された場合、後述するＳ１３２が実行されることが想定される。

【0049】

中断指示があった場合は（Ｓ１０７）、情報提示部１０６が、視覚的情報記録部１０５に記録されている視覚的情報画像を開始可能地点画像として提示する（Ｓ１３１）。つまり、情報提示部１０６が、図４に示す情報を提示する。そして、情報入力部１０７が、利用者２０３によるに対する開始指示（再開指示）を受け付けると（Ｓ１３２）、開始位置計算部１０８が開始位置を計算する（Ｓ１３３）。ここで、Ｓ１３３においては、まず、情報入力部１０７が、利用者２０３から再開地点の入力を受け付ける。これは情報提示部１０６が提示する図４で表される情報から「開始したい地点」を受け付けることで実現できる。「開始したい地点」を受け付けると、開始位置計算部１０８が、図５で表される（現在の画像）と「開始したい地点」の画像（Ｓ１２２で記録した視覚的情報画像。図５の例では地点３の画像）に応じた入力に従って、その開始位置を計算する。つまり、これらを比較して、当該地図生成装置１０が「開始したい地点」に位置するかを判断し、差分から開始位置を算出する（Ｓ１０８）。この方法は、図５の説明などで記載したとおりである。この結果、地点３に位置する場合(含む利用者２０３の移動によるもの)、情報入力部１０７が利用者から終了指示を受け付けるまでは、地図生成処理を実行する。つまり、Ｓ１０８がＮＯであれば、Ｓ１０２へ戻る。また、Ｓ１０８で終了指示を受け付けると（ＹＥＳ）処理を終了する。

【0050】

ここで、図６の処理は、以下のように行ってもよい。これらについては、それぞれを組みわせてもよい。なお、これらの処理は、後述する各実施例（図８、１１、１３、１５）でも同様である。
（１）Ｓ１０６を省略し、Ｓ１２１、Ｓ１２２の処理を、Ｓ１０７でＹＥＳの場合に実行し、その後Ｓ１３１以降の処理を実行する。
（２）Ｓ１０６でＮＯ、Ｓ１０７でＮＯの場合、一旦地図生成処理（Ｓ１０２～Ｓ１０５）を中断する。そして、Ｓ１０７、Ｓ１０８で中断なしないし終了なしとの入力を、情報入力部１０７が利用者２０３から受け付けた場合に、地図生成処理を再開する。
（３）Ｓ１３１とＳ１３２の順序は逆でもよい。つまり、再開指示を受け付けると、図４に示す開始可能地点画像を、情報提示部１０６が提示してもよい。
（４）Ｓ１３３の処理で、利用者２０３により選択された「開始したい地点」の画像の位置情報を開始位置とする。
（５）利用者２０３からの入力を受け付ける処理は、ロボット３０００－１、２を利用して自動化してもよい。以上で、実施例１の説明を終了する。

【実施例2】

【0051】

次に、図７および図８を用いて、実施例２について説明する。実施例２は、図７に示すように、実施例１の構成に相対位置計算部１０９を追加した構成である。相対位置計算部１０９も図１６の主記憶部１００１に格納されるアプリで実現される。なお、本図でも、図１６に示すサーバ２０００などの他の装置や一部構成の図示を省略する。相対位置計算部１０９は、視覚的情報画像取得指示があった場合、位置推定部１０３が推定した地図生成装置１０の最新位置、向きに対する、視覚的情報画像撮像時の地図生成装置１０の位置、向きを算出する。具体的には、地図生成装置１０に内蔵されている図１６に示す慣性センサ１００４を監視し、慣性センサの出力値の変化量を積分して相対移動量を求める。もしくは、撮像部１０１で連続撮像し、画像変化を基に計算する。

【0052】

図８を用いて、相対位置計算部１０９を加えた構成の実施例２における制御例を説明する。ここでは、実施例１と同じ処理には同じ符号を付しており、以下相違点に絞って説明する。つまり、本実施例は、実施例１の制御例に対して、Ｓ１２１とＳ１２２の間にＳ２０１を設けている点で相違があるので、以下この点について説明する。なお、その他の箇所は、実施例１と同様である。

【0053】

Ｓ２０１において、相対位置計算部１０９は、視覚的情報画像が撮像されると、視覚的情報画像を撮像したときの地図生成装置１０の最新位置推定位置に対する相対位置、向き（周辺撮像角度）を求める。

【0054】

そして、Ｓ１２２において、視覚的情報記録部１０５が相対位置、向きも記録する。また、Ｓ１３１において、情報提示部１０６は、開始可能地点画像を提示するときにそれらの情報も提示する。具体的には、図９に示すように、右手に、正面上に翳して、などと、相対位置、向きを利用者にわかりやすい表現で提示してもよいし、相対位置と向きの数値を提示してもよい。

【0055】

これにより、実施例２においては、利用者２０３は、開始可能地点の立つ位置を探す動作が容易になり、作業性が向上する。以上で実施例２の説明を終了する

【実施例3】

【0056】

次に、図１０および図１１を用いて、実施例３について説明する。本実施例は、図１０に示すように、実施例２の構成に地図生成装置向き変化検出部１１０を追加した構成である。地図生成装置向き変化検出部１１０も図１６の主記憶部１００１に格納されるアプリで実現される。なお、本図でも、図１６に示すサーバ２０００などの他の装置や一部構成の図示を省略する。

【0057】

地図生成装置向き変化検出部１１０は、地図生成装置１０に内蔵されている図１６に示す慣性センサ１００４を継続的に監視し、地図生成装置１０の通常向きに対する相対向き、向きの変化の角速度、向きの変化の角加速度を検出する。地図生成装置１０の通常向きは概略水平上向きや概略垂直進行方向向きなど自己位置推定方式によって異なり、予め定め、利用者にも持ち方として指定する。

【0058】

そして、以下の場合に、視覚的情報画像取得指示を発する。
・通常向きに対する相対向きが予め定めた一定範囲値になった場合
・向きが変化するときの角速度が予め定めた一定値以上になった場合
・向きが変化するときの角加速度が一定値以上になった場合
・上記の場合のうち、二つ以上が発生した場合
実施例３の制御例を、図１１を用いて説明する。ここでは、実施例１、２と同じ処理には同じ符号を付しており、以下相違点に絞って説明する。つまり、本実施例は、実施例２の制御例に対して、Ｓ１０５とＳ１０６の間にＳ５０１を設けている点で相違があるので、以下この点について説明する。なお、その他の箇所は、実施例２と同様である。

【0059】

Ｓ５０１において、地図生成装置向き変化検出部１１０は、地図生成装置１０の向きや向きの変化を検出する。つまり、向きや向きの変化が、視覚的情報画像取得指示を示す場合には、Ｓ１２１へ進む。

【0060】

具体的には、地図生成装置向き変化検出部１１０が地図生成装置１０内の主記憶部１００１の特定のメモリに、視覚的情報画像取得指示有り、無しを記録する。Ｓ１０６で地図生成装置制御部１００は、利用者の指示検出と共に、そのメモリにアクセスし、視覚的情報画像取得指示有り、無しを読み取る。そして、視覚的情報画像取得指示有りだった場合は、利用者の指示の有無にかかわらず、指示有りのフロー（Ｓ１２１以降）に移行する。

【0061】

これにより、利用者２０３は、情報入力部１０７のタップやボタン押下や音声指示などの動作無くとも、視覚的情報がある方向に地図生成装置１０の向きを変えるという必然的で簡単な動作だけで指示を行えるため、作業性が向上する。

【0062】

なお、本実施例の地図生成装置向き変化検出部１１０は、実施例１の構成に追加してもよい。以上で実施例３の説明を終了する

【実施例4】

【0063】

次に、図１２および図１３を用いて、実施例４について説明する。本実施例は、図１２に示すように、実施例２の構成に視覚的情報画像取得タイミング計算部１１２を追加した構成である。視覚的情報画像取得タイミング計算部１１２も図１６の主記憶部１００１に格納されるアプリで実現される。なお、本図でも、図１６に示すサーバ２０００などの他の装置や一部構成の図示を省略する
視覚的情報画像取得タイミング計算部１１２は、最後に視覚的情報画像が撮像されてからの経過状況（経過時間、場所など）に応じて、視覚的情報画像を取得ないし撮像するタイミング、位置を計算する機能を有する。

【0064】

経過状況としては、最後に視覚的情報画像が撮像されてからの経過時間や、最後に視覚的情報画像が撮像されたときの地図生成装置１０の位置と現在の地図生成装置１０までの移動量が含まれる。これら経過時間が予め定めた一定時間以上経過、および、移動量が予め定めた一定量以上移動のうち少なくとも一方を満たす場合に、視覚的情報画像取得タイミングであると判定する。

【0065】

実施例４の制御例を、図１３を用いて説明する。ここでは、実施例１～３と同じ処理には同じ符号を付しており、以下相違点に絞って説明する。つまり、本実施例は、実施例２の制御例に対して、Ｓ１０５とＳ１０６の間にＳ３０１とＳ３０２を設けている点で相違があるので、以下この点について説明する。なお、その他の箇所は、実施例２と同様である。

【0066】

Ｓ３０１において、視覚的情報画像取得タイミング計算部１１２は、視覚的情報画像取得タイミングを判定する。この判定基準は、上述のとおりであり、タイミングであれば（ＹＥＳ）、Ｓ３０２に進む。タイミングでなければ（Ｎｏ）、Ｓ１０６に進む。

【0067】

Ｓ３０２では、つまり、視覚的情報画像取得タイミングであったら、視覚的情報画像取得タイミング計算部１１２は、地図生成装置１０内の主記憶部１００１の特定のメモリに、視覚的情報画像取得タイミング有り、無しを記録する。そして、地図生成装置制御部１００がそのメモリにアクセスし、視覚的情報画像取得タイミング有りの場合は、情報提示部１０６に、「もうそろそろ視覚的情報画像を撮像することをお勧めします」など、利用者に視覚的情報画像撮像を促す表示を行う。これにより、開始可能地点を多く設定でき、周囲状況により急に中断しなくてはならなくなったときでも、再開地点をできるだけ中断位置の近くにすることが可能になり、利用者２０３の利便性が向上する。

【0068】

また、位置推定部１０３が位置推定を行うときに位置推定信頼度も算出する。また、視覚的情報画像取得タイミング計算部１１２がその値を監視する。そして、位置推定信頼度が予め定めた一定基準以下に低下した場合も、視覚的情報画像取得タイミングであると判定すると、位置推定信頼度の低い区間の生成作業をやり直すことが容易になるという効果が生じる。

【0069】

なお、本実施例の視覚的情報画像取得タイミング計算部１１２は、実施例１や３に設けてもよい。以上で実施例４の説明を終了する

【実施例5】

【0070】

次に、図１４および図１５を用いて、実施例５について説明する。本実施例は、図１４に示すように、実施例４の構成に視覚的情報抽出部１１１を加えた構成である。視覚的情報抽出部１１１も図１６の主記憶部１００１に格納されるアプリで実現される。なお、本図でも、図１６に示すサーバ２０００などの他の装置や一部構成の図示を省略する
視覚的情報抽出部１１１は環境特徴抽出部１０２が環境特徴情報を抽出し、位置推定部１０３は、位置推定に用いた画像の視覚的特徴を調べ、視覚的に特徴のある部分があった場合は、その部分画像を視覚的情報画像として抽出する。そして、画像全体に対する部分画像の相対位置から、位置推定部１０３が推定した地図生成装置１０の位置に対する視覚的特徴画像の相対位置を求める。

【0071】

環境特徴抽出画像から視覚的情報画像を抽出する方法は、地図生成装置１０を概略垂直に持ちながら地図生成作業を行う場合や、撮像部１０１として全方位カメラを使用する場合に環境特徴情報と視覚的情報が１画面で撮像される可能性が高いため、有効である。

【0072】

実施例５の制御例を、図１５を用いて説明する。ここでは、実施例１～４と同じ処理には同じ符号を付しており、以下相違点に絞って説明する。つまり、本実施例は、実施例４の制御例に対して、Ｓ１０５とＳ１０６の間にＳ４０１～Ｓ４０３を設けている点で相違があるので、以下この点について説明する。なお、その他の箇所は、実施例２と同様である。

【0073】

Ｓ３０１で視覚的情報画像取得タイミングと判定された場合、Ｓ４０１へ進む。Ｓ４０１において、視覚的情報抽出部１１１は、上述した視覚的情報画像を抽出する。そして、Ｓ４０２において、視覚的情報抽出部１１１は、地図生成装置１０の位置に対する視覚的特徴画像の相対位置を求める。そして、Ｓ４０３において、視覚的情報記録部１０５が該視覚的情報画像を位置推定部１０３が推定した位置とその位置推定に使用した撮像画像と共に記録する。

【0074】

本実施例によれば、利用者は、能動的に操作を行わなくても、自動的に撮像されるため、作業効率が向上する。

【0075】

なお、本実施例の視覚的情報抽出部１１１は、実施例１～３に設けてもよい。以上で実施例５の説明を終了する
以上の各実施例によれば、前記視覚的情報画像は地図の位置座標と対応付けられており、利用者が視覚的にわかりやすい視覚的情報画像を見てその場所に地図生成装置を移動させて地図生成開始することができる。このため、既生成地図上で開始位置座標が正確に算出でき、誤った地図生成を防ぐことができるという効果がある

【符号の説明】

【0076】

１０ 地図生成装置、
１００ 地図生成装置制御部、
１０１ 撮像部、
１０２ 環境特徴抽出部、
１０３ 位置推定部、
１０４ 地図情報記録部、
１０５ 視覚的情報記録部、
１０６ 情報提示部、
１０７ 情報入力部、
１０８ 開始位置計算部、
１０９ 相対位置計算部、
１１０ 地図生成装置向き変化検出部、
１１１ 視覚的情報抽出部、
１１２ 視覚的情報画像取得タイミング計算部、
２０１ 環境、
２０２ａ 天井タイル目地、
２０２ｂ 天井照明器具、
２０３ 利用者、
２０４ａ、２０４ｂ 撮像範囲、
２０５ 視覚的情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】