特開 2022-50115 移動体の位置推定システム、オペレータ用端末装置及び位置推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022050115

(43)【公開日】2022-03-30

(54)【発明の名称】移動体の位置推定システム、オペレータ用端末装置及び位置推定方法

(51)【国際特許分類】

   G05D 1/02 20200101AFI20220323BHJP

   G05D 1/00 20060101ALI20220323BHJP

【ＦＩ】

G05D1/02 H

G05D1/00 B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020156522

(22)【出願日】2020-09-17

(71)【出願人】

【識別番号】714008031

【氏名又は名称】株式会社キビテク

(74)【代理人】

【識別番号】100123858

【弁理士】

【氏名又は名称】磯田 志郎

(72)【発明者】

【氏名】行村 隆志

(72)【発明者】

【氏名】林 摩梨花

(72)【発明者】

【氏名】菊嶋 久光

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301CC03

5H301CC06

5H301DD06

5H301DD15

5H301GG08

5H301GG09

5H301GG10

5H301MM04

5H301MM10

(57)【要約】      （修正有）

【課題】オペレータへの負担が少なく、移動体の位置推定を行うことが可能な位置推定システムを提供する。
【解決手段】移動体２と、移動体とは離れて設けられたオペレータ用端末装置３と、移動体位置推定手段４とを含み、移動体は周囲環境の形状を取得する環境情報取得手段２２を含み、環境情報取得手段によって取得した形状データをオペレータ用端末装置に提供可能であり、オペレータ用端末装置は、形状データ及び移動体の移動範囲の少なくとも一部を含む地図情報を重ねて表示可能な画像表示手段３１と、画像表示手段に表示された形状データ及び地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作可能な入力手段３２とを含み、移動体位置推定手段は、入力手段によって操作された移動量及び／又は回転量に基づいて移動体の位置及び向きを推定可能である。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動手段を含む移動体と、前記移動体とは離れて設けられたオペレータ用端末装置と、移動体位置推定手段と、を含む移動体の位置推定システムであって、
前記移動体は、前記移動体の周囲環境の形状を取得する環境情報取得手段を含み、前記環境情報取得手段によって取得した周囲環境の形状に関する形状データを前記オペレータ用端末装置に提供可能であり、
前記オペレータ用端末装置は、前記形状データ及び前記移動体の移動範囲の少なくとも一部を含む地図情報を重ねて表示可能な画像表示手段と、前記画像表示手段に表示された前記形状データ及び前記地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作可能な入力手段と、を含み、
前記移動体位置推定手段は、前記入力手段によって操作された移動量及び／又は回転量に基づいて前記移動体の位置及び向きを推定可能である、移動体の位置推定システム。

【請求項2】

前記移動体位置推定手段は、前記入力手段によって相対的に移動及び／又は回転操作された後の前記地図情報上における前記形状データ取得時の移動体の配置から前記移動体の位置及び向きを推定する、請求項１に記載の移動体の位置推定システム。

【請求項3】

前記形状データは、当該形状データ取得時の移動体の配置情報を含み、
前記画像表示手段は、前記形状データに併せて当該形状データ取得時の前記移動体の配置情報を前記形状データと一体に表示し、
前記入力手段は、前記形状データと前記移動体の配置情報との位置関係を変更せずに、一体として前記地図情報に対して相対的に移動及び／又は回転操作可能である、請求項１又は２に記載の移動体の位置推定システム。

【請求項4】

前記入力手段は、前記入力手段によって操作された前記形状データ又は前記地図情報に対し、一致度が高い位置関係となるように自動的に移動又は回転操作を実行する自動位置合わせ機能を有する、請求項１乃至３の何れか１項に記載の移動体の位置推定システム。

【請求項5】

前記移動体は、前記形状データと前記地図情報とを照合することにより自己位置を推定する自己位置推定手段と、前記移動手段を制御して前記自己位置推定手段で推定した自己位置を用いて目的地まで移動する制御手段と、さらに含み、
前記移動体は、前記自己位置推定手段による自己位置推定に問題が生じた際に、前記オペレータ用端末装置に対し移動体の位置推定処理の開始を要求するサポート信号を送信する、請求項１乃至４の何れか１項に記載の移動体の位置推定システム。

【請求項6】

前記制御手段は、前記移動体位置推定手段から取得した前記移動体の位置及び向きを用いて移動を制御する、請求項５に記載の移動体の位置推定システム。

【請求項7】

前記移動体は、前記移動体の周囲環境の画像を取得する画像情報取得手段をさらに含み、前記画像情報取得手段によって取得した周囲環境の画像データを前記オペレータ用端末装置に提供可能であり、
前記オペレータ用端末装置は、前記画像表示手段に前記周囲環境の画像データを表示可能である、請求項１乃至６の何れか１項に記載の移動体の制御システム。

【請求項8】

前記オペレータ用端末装置は、前記移動体の移動手段を制御して、前記移動体の移動を操作できる操作手段を含む、請求項７に記載の移動体の位置推定システム。

【請求項9】

前記入力手段は、前記画像表示手段に表示された周囲環境の形状データ、画像データ又は地図情報に前記移動体の目的地を設定可能である、請求項７又は８に記載の移動体の位置推定システム。

【請求項10】

移動手段を含む移動体とは離れて設けられたオペレータ用端末装置であって、
前記移動体の周囲環境の形状を取得する環境情報取得手段によって取得した周囲環境の形状に関する形状データを取得する形状データ取得部と、
前記移動体の移動範囲の少なくとも一部を含む地図情報を取得する地図情報取得部と、
前記形状データ及び前記地図情報を重ねて表示可能な画像表示手段と、
前記画像表示手段に表示された前記形状データ及び前記地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作可能な入力手段と、を含み、
前記入力手段によって操作された移動量及び／又は回転量から前記移動体の位置及び向きを推定可能な移動体位置推定手段に対し、前記入力手段によって操作された移動量及び／又は回転量を提供可能である、オペレータ用端末装置。

【請求項11】

移動手段及び環境情報取得手段を含む移動体と、前記移動体とは離れて設けられ、画像表示手段及び入力手段を含むオペレータ用端末装置と、移動体位置推定手段と、を含む移動体の位置推定方法であって、
前記移動体の環境情報取得手段によって、前記移動体の周囲環境の形状に関する形状データを取得するステップと、
前記形状データを前記オペレータ用端末装置に提供するステップと、
前記オペレータ用端末装置の前記画像表示手段に、前記形状データ及び前記移動体の移動範囲の少なくとも一部を含む地図情報を重ねて表示するステップと、
前記オペレータ用端末装置の前記入力手段によって、前記画像表示手段に表示された前記形状データ及び前記地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作するステップと、
前記入力手段によって操作された移動量及び／又は回転量を前記移動体位置推定手段に提供するステップと、
前記動体位置推定手段によって、前記移動量及び／又は回転量から前記移動体の位置及び向きを推定するステップと、
を含む、移動体の位置推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実際の移動体の位置が地図上におけるどの位置であるのかを推定するための位置推定システム、オペレータ用端末装置及び位置推定方法に関し、特に、自律移動式の移動体と、移動体と接続可能なオペレータ用端末装置と、を含むシステムであって、移動体が自己位置を見失った時（ロストした時）に利用可能な位置推定システム、オペレータ用端末装置及び位置推定方法に関する。

【背景技術】

【0002】

従来から、予め決められた走行路に沿って走行する無人搬送車は知られていた（特許文献１）。無人搬送車は、走行路及び各移載位置に関するレイアウトデータを格納した格納手段と、レイアウトデータに基づくレイアウト画面を表示する表示手段と、レイアウト画面に対する接触位置を識別してその接触位置に対応する実際のレイアウトにおける実位置を導出する導出手段と、格納手段から必要なレイアウトデータを読み出し、読み出したレイアウトデータに基づくレイアウト画面を表示すべく表示手段を制御する制御手段と、導出手段により導出される実位置のアドレスデータを取り込んで無人搬送車に設定する設定手段と、を備えた無人搬送システムの制御装置によって、複数の移載位置のうち目的位置まで誘導して荷積みまたは荷降しを行うことができる。例えば、無人搬送車の立上時または異常復旧時における基準位置、或いは、荷積み・荷降しのための目的位置を無人搬送車に設定する場合は、作業者が表示手段に表示されているレイアウト画面に指を接触させることにより、接触位置を識別して、その接触位置に対応する実位置のアドレスデータを通信手段を介して無人搬送車側の通信手段に送信し、無人搬送車側ＣＰＵが受信したアドレスデータを取り込んでアドレス設定を実行し、基準位置や目的位置を特定していた。

【0003】

また、環境地図を記憶して目標地点まで自律移動するロボットも知られている。例えば、特許文献２には、メモリ部に自律走行するエリアの情報である地図データを保持し、走行経路を撮影するカメラを備えた自律走行部と障害物などとの距離を計測する複数の距離センサを備えた走行制御部とで自己の位置を推定し、補正しながら走行制御部の移動機構を制御して走行する自律走行ロボットが開示されている。自律走行ロボットはカメラにより自己の位置を認識し、メモリ部に保持した地図データに従って自律走行を行う。しかし、自律走行ロボットは、推定した位置と実際の位置とのずれ、あるいは走行エリアの特徴点を計測できない等の問題により自己の位置を正確に推定できなくなり、走行が停止する問題がある。特許文献２の自律走行ロボットにおいては、自己位置推定失敗時、距離センサで周囲の壁までの距離を計測し、計測距離データから壁モデルを推定し、地図データから選択した現在位置付近の壁モデルと比較照合して自己位置を復帰することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４－１１０１１１号公報

【特許文献2】特開２００８－５９２１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、作業者が表示手段に表示されているレイアウト画面に指を接触させて、無人搬送車の立上時または異常復旧時における基準位置を設定することは開示しているが、この場合は、立上時または異常復旧時に作業者が無人搬送車の位置を毎回確認して、レイアウト画面の対応する位置に指を接触させなければならず、手間がかかるものであった。また、特許文献２においては、自動で自己復帰することができるとされているが、元々、何らかの原因により自己位置推定を失敗しているのであり、かかる原因により自動復帰ができない場合は結局自律走行を中止することになる。

【0006】

本発明は、前述した問題の一部を解決することを目的とするものであり、特にオペレータへの負担が少なく、移動体の位置推定を行うことが可能な位置推定システム、オペレータ用端末装置及び位置推定方法を提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の移動体の位置推定システムは、移動手段を含む移動体と、前記移動体とは離れて設けられたオペレータ用端末装置と、移動体位置推定手段と、を含む移動体の位置推定システムであって、前記移動体は、前記移動体の周囲環境の形状を取得する環境情報取得手段を含み、前記環境情報取得手段によって取得した周囲環境の形状に関する形状データを前記オペレータ用端末装置に提供可能であり、前記オペレータ用端末装置は、前記形状データ及び前記移動体の移動範囲の少なくとも一部を含む地図情報を重ねて表示可能な画像表示手段と、前記画像表示手段に表示された前記形状データ及び前記地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作可能な入力手段と、を含み、前記移動体位置推定手段は、前記入力手段によって操作された移動量及び／又は回転量に基づいて前記移動体の位置及び向きを推定可能である。

【0008】

さらに、上記移動体の位置推定システムにおいて、前記移動体位置推定手段は、前記入力手段によって相対的に移動及び／又は回転操作された後の前記地図情報上における前記形状データ取得時の移動体の配置から前記移動体の位置及び向きを推定してもよい。

【0009】

さらに、上記移動体の位置推定システムにおいて、前記形状データは、当該形状データ取得時の移動体の配置情報を含み、前記画像表示手段は、前記形状データに併せて当該形状データ取得時の前記移動体の配置情報を前記形状データと一体に表示し、前記入力手段は、前記形状データと前記移動体の配置情報との位置関係を変更せずに、一体として前記地図情報に対して相対的に移動及び／又は回転操作可能であってもよい。

【0010】

さらに、上記移動体の位置推定システムにおいて、前記入力手段は、前記入力手段によって操作された前記形状データ又は前記地図情報に対し、一致度が高い位置関係となるように自動的に移動又は回転操作を実行する自動位置合わせ機能を有していてもよい。

【0011】

さらに、上記移動体の位置推定システムにおいて、前記移動体は、前記形状データと前記地図情報とを照合することにより自己位置を推定する自己位置推定手段と、前記移動手段を制御して前記自己位置推定手段で推定した自己位置を用いて目的地まで移動する制御手段と、さらに含み、前記移動体は、前記自己位置推定手段による自己位置推定に問題が生じた際に、前記オペレータ用端末装置に対し移動体の位置推定処理の開始を要求するサポート信号を送信してもよく、さらに、前記制御手段は、前記移動体位置推定手段から取得した前記移動体の位置及び向きを用いて移動を制御してもよい。

【0012】

さらに、上記移動体の位置推定システムにおいて、前記移動体は、前記移動体の周囲環境の画像を取得する画像情報取得手段をさらに含み、前記画像情報取得手段によって取得した周囲環境の画像データを前記オペレータ用端末装置に提供可能であり、前記オペレータ用端末装置は、前記画像表示手段に前記周囲環境の画像データを表示可能であってもよく、さらに、前記オペレータ用端末装置は、前記移動体の移動手段を制御して、前記移動体の移動を操作できる操作手段を含んでもよいし、前記入力手段は、前記画像表示手段に表示された周囲環境の形状データ、画像データ又は地図情報に前記移動体の目的地を設定可能であってもよい。

【0013】

また、本発明のオペレータ用端末装置は、移動手段を含む移動体とは離れて設けられ、 前記移動体の周囲環境の形状を取得する環境情報取得手段によって取得した周囲環境の形状に関する形状データを取得する形状データ取得部と、前記移動体の移動範囲の少なくとも一部を含む地図情報を取得する地図情報取得部と、前記形状データ及び前記地図情報を重ねて表示可能な画像表示手段と、前記画像表示手段に表示された前記形状データ及び前記地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作可能な入力手段と、を含み、前記入力手段によって操作された移動量及び／又は回転量から前記移動体の位置及び向きを推定可能な移動体位置推定手段に対し、前記入力手段によって操作された移動量及び／又は回転量を提供可能である。

【0014】

また、本発明の移動体の位置推定方法は、移動手段及び環境情報取得手段を含む移動体と、前記移動体とは離れて設けられ、画像表示手段及び入力手段を含むオペレータ用端末装置と、移動体位置推定手段と、を含む移動体の位置推定方法であって、前記移動体の環境情報取得手段によって、前記移動体の周囲環境の形状に関する形状データを取得するステップと、前記形状データを前記オペレータ用端末装置に提供するステップと、前記オペレータ用端末装置の前記画像表示手段に、前記形状データ及び前記移動体の移動範囲の少なくとも一部を含む地図情報を重ねて表示するステップと、前記オペレータ用端末装置の前記入力手段によって、前記画像表示手段に表示された前記形状データ及び前記地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作するステップと、前記入力手段によって操作された移動量及び／又は回転量を前記移動体位置推定手段に提供するステップと、前記動体位置推定手段によって、前記移動量及び／又は回転量から前記移動体の位置及び向きを推定するステップと、を含む。

【発明の効果】

【0015】

本発明の移動体の位置推定システムによれば、画像表示手段に移動体の周囲環境の形状データ及び移動体の移動範囲を少なくとも一部を含む地図情報が重ねて表示されており、オペレータは、入力手段を使用して表示された形状データ及び地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作させることができ、移動体位置推定手段によって入力手段によって操作された移動量及び／又は回転量から移動体の位置及び向きが推定される。本発明では、自律式の移動体において自己位置推定に問題が生じた際に、オペレータ用端末装置（以下「端末装置」ともいう）を介して、移動体位置の問題に対し、遠隔地のオペレータの判断を仰ぐことができる。オペレータは、画像表示手段に表示されている形状データと地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作して重ね合わせることにより、直感的に形状データが地図のどの位置に相当するのか把握することができ、移動体の位置の判断が容易になる。特に、オペレータの作業としては、形状データと地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作して重ね合わせるだけであり、オペレータの負担を少なくできる。その他の効果については実施の形態の中で説明する。

【図面の簡単な説明】

【0016】

【図1】本発明の移動体の位置推定方法のフローチャートの一例

【図2】本発明の移動体の位置推定システムに必要な構成要素のブロック図

【図3】本発明の位置推定システムを実現するハードウェアの一例

【図4】（Ａ）は移動体の移動範囲の間取りを示す地図情報、（Ｂ）は周囲環境の形状データを取得する作業を示す図

【図5】（Ａ）及び（Ｂ）は周囲環境の形状データを取得する作業を示す図

【図6】（Ａ）及び（Ｂ）は移動体の位置推定処理を説明するための図

【図7】移動体の位置推定処理を説明するための図

【図8】（Ａ）及び（Ｂ）は周囲環境の形状データを取得する作業を示す図

【発明を実施するための形態】

【0017】

［位置推定処理］
図１は、本発明のオペレータ用端末装置（端末装置）における移動体の位置推定方法のフローチャートの一例である。本発明の移動体の位置推定システム及び方法は、移動体が、自己位置推定手段による自己位置推定に問題が生じた際、例えば、自己位置を喪失した場合、移動体が経路から外れて移動した場合等、オペレータの判断が必要となった際に、オペレータ用端末装置（端末装置）を介して、移動体位置の問題に対し、オペレータの判断を仰ぐことができる。図１のＳ１において、端末装置は、移動体の周囲の形状データを取得し、Ｓ２において、受信した形状データ及び移動体の移動範囲の少なくとも一部を含む地図情報を画像表示手段に表示する。さらに、端末装置は、入力手段を操作可能な状態とし、必要に応じてオペレータに障害物の情報を変更することを要求し、Ｓ３において、オペレータは、形状データ及び地図情報の少なくとも一方を他方に対して相対的に移動及び／又は回転操作（以下「移動回転操作」という）する。Ｓ４において、端末装置は、オペレータによって操作された移動量及び／又は回転量（以下「移動回転量」という）を取得し、移動体位置推定手段に提供する。端末装置は、移動体からの移動体の位置推定処理の開始を要求するサポート信号の受信を契機として処理を開始してもよい。また、移動体は、環境情報取得手段によって移動体の周囲環境の形状に関する形状データを取得し、取得した形状データをオペレータ用端末装置に提供する。移動体位置推定手段は、取得した移動回転量から移動体の位置及び向きを推定する。例えば、入力手段によって相対的に移動回転操作された後の地図情報上における形状データ取得時の移動体の配置から移動体の位置及び向きを推定する。さらに、端末装置の入力手段は、入力手段によってオペレータが操作した形状データ又は地図情報に対し、一致度が高い位置関係となるように自動的に移動又は回転操作を実行する自動位置合わせ機能を有することが好ましい。

【0018】

このように、端末装置の画像表示手段には、移動体の周囲環境の形状データと、地図情報とが併せて表示され、オペレータは、移動体の周囲環境の形状データを地図情報と照らし合わせて対応する位置を判断し、いずれか一方を移動、回転操作させて両者を重ね合わせて移動体の位置を推定できるので、直感的に且つ容易に作業することができる。さらに、画像情報取得手段によって撮像した移動体の周囲の画像データを端末装置の画像表示手段に表示することにより、周囲の画像から例えば地図情報には存在しない障害物を把握して形状データと地図情報との差異についても確認できる場合があり、より正確に移動体の位置を推定することができる。加えて、端末装置は、移動体の移動手段を制御して、移動体の移動を操作できる操作手段や、画像表示手段に表示された周囲環境の形状データ、画像データ又は地図情報に対して移動体の目的地を設定可能であることにより、仮に移動体の位置が不明であっても移動体を移動させることができ、移動体の位置が判明可能となる位置まで移動させることもできる。

【0019】

［位置推定システムの構成］
図２は、本発明を実現するための移動体の位置推定システム１に必要な構成要素のブロック図である。図２では、位置推定システム１は、移動手段２１及び環境情報取得手段２２を含む移動体２と、画像表示手段３１及び入力手段３２を含むオペレータ用端末装置３と、移動体位置推定手段４と、を含んでいる。さらに、移動体２は、画像情報取得手段２３、自己位置推定手段２４、移動制御手段２５を含んでいてもよく、図示しない記憶手段、通信手段を含んでいてもよい。オペレータ用端末装置３は、移動体２とは離れて設けられており、さらに操作手段３３を含んでいてもよく、図示しない記憶手段、通信手段を含んでいてもよい。移動体位置推定手段４は、移動体２に設けられてもよいし、端末装置３に設けられてもよいし、それらとは別のハードウェアに設けられてもよい。図２において、各要素を連結する線は情報を相互に又は一方に提供可能に接続されていることを意味し、両者が同一機器内部に実装されて内部バスによって接続されている場合も、別々の機器に実装されて有線又は無線のネットワークによって接続されている場合も含む。

【0020】

移動体２は、移動体を移動させる移動手段２１と、移動体２の周囲の環境情報を取得する環境情報取得手段２２とを少なくとも有している。移動体２は、さらに必要に応じて、移動体２の周囲環境の画像を取得する画像情報取得手段２３、形状データと地図情報とを照合することにより自己位置を推定する自己位置推定手段２４、自己位置推定手段で推定した自己位置を用いて目的地まで移動する移動制御手段２５、各種情報（形状データ、画像データ、地図情報、プログラム、目的地座標等）が記録された記憶手段（図示せず）、外部ネットワークと通信可能な無線通信手段（図示せず）を有していてもよい。移動体２は、通常時は予め設定された固定ルートを巡回してもよい。この場合、例えば、移動体に地図上における自己位置を把握可能とすることにより、予め設定されたルートを巡回させてもよいし、地図情報を持たせず、周囲の壁、天井、床等に移動体２を誘導する手段、例えば磁気テープ、発信機などによってコースを誘導することで、予め設定されたルートを巡回させてもよい。また、移動体２は、通常時はオペレータ、サーバ等から目的地が設定され、設定された目的地まで経路を算出して自律的に移動してもよい。また、移動体２は、常に形状データを端末装置に提供し、端末装置３において移動体の位置推定システムを使用可能な状態としてもよいが、周囲の障害物等に起因して自己位置推定に問題が生じた時のみ端末装置３に対してサポート信号及び形状データを送信し、端末装置３において位置推定処理を開始させてもよい。移動体２としては、例えば、無人搬送車、有人車両、移動式の産業用ロボット、モバイルロボット、移動式のサービスロボット、及び無人航空機（ドローンを含む）を含む。

【0021】

移動手段２１は、移動体２を移動させるものであり、例えば、車輪、無限軌道、多足歩行装置、プロペラ等を含み、さらに、これらを駆動する駆動手段（モータ、エンジン等）を含む。移動制御手段２５によって各移動手段２１の出力を制御することにより、移動体２を所定の方向に移動させることができる。

【0022】

環境情報取得手段２２は、移動体２の周囲の環境情報の形状を取得するセンサであり、少なくとも周囲の障害物の形状を検知することができる。環境情報取得手段２２は、障害物の存在と位置（相対的な位置又は絶対的な位置）を検出可能な手段であればよく、例えば、周囲に存在する障害物までの距離と方向を計測することにより周囲の形状データを取得する。環境情報取得手段２２としては、例えば、レーザ光を使用したＬｉＤＡＲ（Light Detection and Ranging又はLaser Imaging Detection and Ranging）や測域センサ、複数のカメラを使用したステレオカメラ、パターンプロジェクションカメラ、電波（ミリ波）を使用したレーダ、磁気センサ等を含む。環境情報取得手段２２は、移動体２に設けられ、移動体２の周囲の少なくとも一部の環境情報を取得することができ、例えば、移動体２を中心とした所定の角度範囲内の環境情報を取得することができる。全周囲（３６０°）の環境情報を取得できることが好ましいが、少なくとも移動体の移動方向前方の環境情報を取得する。取得した形状データの少なくとも一部は、端末装置３に提供可能とされている。また、環境情報取得手段２２は、二次元（２Ｄ）の環境情報だけではなく三次元（３Ｄ）の環境情報を取得できることが好ましい。環境情報取得手段２２で取得される環境情報は、センサの種類によって異なるが、センサの測定点までの距離を含んでいる。例えば、ＬｉＤＡＲの場合は、マイクロパルスレーザ光で所定の角度範囲内を順次走査し、障害物によって反射して戻ってきた光を受光して、戻ってくるまでの時間を測定し、障害物までの距離及び方向を取得する。ここで測定点とは、照射したレーザ光が当たった障害物の位置であり、形状データは測定点の点群である。ステレオカメラの場合は、複数のカメラで撮影した画像内に含まれる特定の被写体の一部（一画素又は数画素の領域）について、各画像内における位置の違い（視差）と、複数のカメラ間の間隔とから、特定の被写体の一部までの距離や形状を認識できる。ここで、各画素内における視差を求めた被写体の一部が測定点である。ステレオカメラでは、複数のカメラの画像が重なる範囲が所定の角度範囲となり、３Ｄの環境情報を取得することができる。複数のカメラを移動（回転）可能に設けてもよい。また、通常のカメラであっても、既知の大きさのマーカー（図形、文字、形状等）を障害物に付すことにより、画像情報におけるマーカーのドット数（大きさ）及び角度から障害物の存在と位置を検出できる。さらに、赤外線カメラ等の距離も検出可能なカメラを使用してもよい。環境情報取得手段２２としてカメラ（ステレオカメラを含む）を採用した場合は、画像情報取得手段２３として利用することもできる。

【0023】

画像情報取得手段２３は、少なくとも移動体２の周囲の画像を取得するカメラであり、例えば、ＣＣＤカメラ、ＣＭＯＳセンサなどを使用することができる。画像情報取得手段２３は、少なくとも移動体２の移動方向前方の画像（静止画又は動画）を取得でき、環境情報取得手段２２の測定範囲の全部についての画像を取得できることが好ましく、画像情報取得手段２３の撮像方向を変更可能な可動部を含むことが好ましい。画像情報取得手段２３は、障害物の画像データを取得し、画像認識手段によって障害物を判定したり、端末装置３の画像表示手段３１に表示してオペレータに障害物を確認させたりできる。ただし、環境情報取得手段２２として高精細な３ＤのＬｉＤＡＲ等を使用すれば、測定点のパターンによって障害物を判定又は確認することも可能であり、環境情報取得手段２２で障害物を判定又は確認できる場合は、画像情報取得手段２３を設けなくてもよい。また、環境情報取得手段２２としてカメラを使用すれば、それを画像情報取得手段２３としても使用可能である。画像情報取得手段２３は、移動体２に設けることが好ましいが、移動体２の外部、例えば、周囲の壁、天井、床等に設けてもよい。移動体２に画像情報取得手段２３を設けた場合、画像情報取得手段２３としては、例えば、周方向に回転可能な可動部にカメラを設置した構成としてもよい。画像情報取得手段２３の撮像方向は、環境情報取得手段２３の測定点の走査と連携させて測定点の画像を取得することが好ましい。撮像タイミングは、常に撮像してもよいし、所定のタイミングで撮像してもよい。常に撮像する場合は、画像データのデータ量が膨大となり、移動体２に搭載される比較的小容量の記憶手段のデータ領域を圧迫する。また、取得した画像データをネットワークを介して端末装置３に提供可能であるが、常に提供した場合は膨大なデータ量の画像データが常に送受信されるため、通信回線が混雑するという課題が生じる。このため、少なくとも画像情報については、所定のタイミングに限定して端末装置３に提供することが好ましい。つまり、通常の動作時には画像データは送信せず、移動体２の記憶手段に記憶しておき、周囲の障害物に起因して自己位置を喪失する等のオペレータの判断が必要となった際、又は端末装置３から画像を要求する信号を受信した際、画像データを送信することが好ましい。なお、移動体の記憶手段の容量が少ない場合には、古い画像から自動的に削除するようにしてもよい。また、常に撮像せずに所定のタイミングで撮像する場合は、例えば、移動中の経路を遮る障害物等を環境情報取得手段２２によって検出したタイミングで画像データを取得してもよい。移動体２の外部に画像情報取得手段２３を設ける場合は、例えば、監視カメラを画像情報取得手段２３として利用してもよい。

【0024】

自己位置推定手段２４は、移動体２に設けられた自己の位置を推定するものであり、位置推定プログラムを実行することによって実現され、制御手段の一部の機能として実現されてもよい。自己位置推定手段２４としては、自己位置が特定できればよく、特に手段を問うものではないが、環境情報取得手段２２で取得した形状データと、予め用意された地図情報とを照合して、照合結果に基づき移動体の自己位置を算出してもよい。他の自己位置推定手段としては、ＧＰＳで特定したり、通信アンテナや基地局で特定したり、周囲の壁、天井、床に位置を示す記号を表記してそれを画像認識することで特定したりしてもよい。

【0025】

移動制御手段２５は、移動制御プログラムを実行することによって実現され、目的地までの経路に沿って各移動手段２１の出力を制御して移動体２を所定の位置（目的地）へ移動させる。移動制御手段２５は、例えば移動手段２１として複数のモータが移動体２に設けられていた場合、各モータの回転角や回転速度を制御してもよいし、各モータに供給される電流値を制御してもよい。移動制御手段２５は、移動体２に設けることが好ましいが、移動体２の外部、例えば、端末装置３に設けてもよい。

【0026】

オペレータ用端末装置３は、移動体２とは離れて設けられており、形状データ及び移動体の移動範囲の少なくとも一部を含む地図情報を重ねて表示可能な画像表示手段３１と、画像表示手段に表示された形状データ及び地図情報の少なくとも一方を他方に対して相対的に移動回転操作可能な入力手段３２と、を含んでいる。端末装置３は、必要に応じて、移動体の移動を操作できる操作手段３３、入力手段によって操作された移動回転量から移動体の位置及び向きを推定する移動体位置推定手段４、を含んでいてもよく、さらに、図示しないが、各種情報（形状データ、画像データ、地図情報、プログラム、目的地座標等）が記録された記憶手段、外部ネットワークと通信可能な無線通信手段、環境情報取得手段２２から提供された形状データから移動体近傍の地図情報を作成する地図作成手段、地図情報に基づいて目的地までの移動体の経路を算出する経路算出手段、各手段を制御する制御手段を含んでいてもよい。端末装置３には、環境情報取得手段２２から形状データの少なくとも一部が提供される。さらに画像情報取得手段２３から画像データの少なくとも一部が提供されてもよい。端末装置３は、人間（オペレータ）が操作する装置であり、画像表示手段３１に形状データ及び地図情報を表示して、移動体２の現在地から環境情報取得手段２２が取得した形状データが、地図情報のどの位置に対応するかをオペレータに判断させることができ、対応する位置に重なるように、入力手段３２によって画像表示手段３１に表示された形状データ及び地図情報の少なくとも一方を他方に対して相対的に移動回転操作させることができ、重なる位置までの移動回転量を移動体位置推定手段４に提供することで移動体の位置を推定することができる。また、端末装置３は、オペレータに操作手段３３を操作させて移動体２をオペレータの自由に移動させてもよく、この場合に、画像取得手段２３からの画像データを画像表示手段３１に表示してオペレータに移動先の状態を確認できるようにしてもよい。さらに、端末装置３は、入力手段３２を介して画像表示手段３１に表示された周囲環境の形状データ、画像データ又は地図情報に移動体の目的地を設定可能であり、オペレータに目的地を設定させ、移動体に環境情報取得手段の周囲環境の形状データに基づいて目的地まで移動させてもよい。端末装置３としては、例えば、コンピュータ、ノートパソコン、携帯情報端末（スマートフォン、タブレット端末を含む）等を含み、一つのハードウェアで端末装置３を実現してもよいし、複数のハードウェア（例えば、携帯情報端末を画像表示手段、入力手段、サーバを移動体位置推定手段、記憶手段、地図作成手段、経路算出手段、制御手段とする等）に手段を分散して端末装置３を実現してもよい。また、一台の端末装置３に複数台の移動体２を接続させてもよい。本発明においては、移動体２が経路算出に影響する障害物を認識した時などに限定して人間がサポートすればよく、一人で複数台の移動体をサポートすることが可能である。

【0027】

「地図情報」とは、移動体の移動範囲内の障害物等の配置が示されたものであり、事前に道路地図、地形図、建物の間取り図、建築図面などの既存の地図を取り込んで作成してもよいし、事前に移動体の移動範囲を環境情報取得手段を使用したＳＬＡＭ（Simultaneous Localization and Mapping）によって、自己位置推定と環境地図作成を同時に行って取得してもよいし、他の移動体又は他のコンピュータで作成された基本地図情報を使用してもよい。地図情報は、例えば、移動体の記憶手段に記憶されていてもよいし、端末装置の記憶手段に記憶されていてもよいし、記憶サーバに記憶されていてもよい。地図情報は、経路算出手段で経路を算出するために、少なくとも目的地までの情報を含むことが好ましく、移動中に環境情報取得手段によって逐次地図情報を蓄積、更新してもよい。地図情報として、２次元又は３次元の地図を複数のセル（典型的には均等幅のグリッド、ボクセル等の格子であるが、これに限定されない）で分割し、各セルに対し、移動体の移動可能性に関連するコストが設定されていてもよい。画像表示手段３１に表示される地図情報は、移動体の移動範囲の少なくとも一部を含む。例えば、移動体２が自己位置を喪失する前に認識していた最後の自己位置を中心として一定範囲の地図情報を表示してもよい。

【0028】

画像表示手段３１は、様々な情報を表示する手段であり、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ、プロジェクタ等を含む。画像表示手段３１としてタッチパネル式のディスプレイを使用すれば、入力手段３２、操作手段３３としても使用できる。また、複数の移動体２に対応して、複数の画像表示手段３１を設けてもよいし、一つの画像表示手段３１に複数の移動体２の情報を同時に又は順次表示するようにしてもよい。画像表示手段３１には、少なくとも移動体２から取得した移動体の周囲環境の形状データ及び地図情報（例えば、図示しない記憶手段に記憶されている）が表示され、さらに、移動体２から取得した移動体の周囲環境の画像データが表示されてもよい。また、その他の情報が表示されてもよく、例えば、移動体２からのサポート信号を受信したことをオペレータに伝えるメッセージを表示してもよい。形状データ及び地図情報は、最初は別々に表示されていてもよいし、最初から重ねて表示されていてもよいが、入力手段によっていずれか一方を移動回転操作した際には、他方の上に重ねて表示可能である。このように、形状データと地図情報とを重ねた状態で移動及び／又は回転できるため、オペレータは形状データに対応する地図情報を把握しやすい。特に、形状データと地図情報とは異なる色として、重ねても識別できるようにすることが好ましい。

【0029】

入力手段３２は、画像表示手段３１に表示された形状データ及び地図情報を画面上で移動回転操作可能な手段であり、例えば、キーボード、ポインティングデバイス（マウス、タッチパッド等）、タッチパネル（タッチスクリーンを含む）、コントローラ等を含む。入力手段３２による形状データ及び地図情報の操作は、例えば、マウスで形状データ又は地図情報のうち操作したい方を選択し、そのままマウスを移動させてもよいし、形状データ及び／又は地図情報に近接して表示された回転ハンドルをマウスで選択して回転させてもよい。また、例えば、タッチパネルにおいて、形状データ又は地図情報のうち操作したい方を指一本でタッチし、そのまま指を移動させることで移動させたり、もう一本の指を画面にタッチすることにより回転モードにし、一方又は両方の指を移動することで回転させたりしてもよい。また、キーボードのカーソルを使用して移動又は回転させてもよい。入力手段３２は、形状データ及び／又は地図情報を拡大又は縮小操作可能であってもよい。さらに、入力手段は、自動位置合わせ機能を有していてもよい。自動位置合わせ機能は、形状データ全体に対して、一致度の高い地図情報の部分のうち、最も近接した部分に位置合わせしてもよいし、形状データの線、角等の一部の構成要素に対して、地図情報の一致度の高い構成要素のうち近接した構成要素に位置合わせしてもよい。近接した部分や構成要素に位置合わせするのは、オペレータが操作して形状データと対応する地図情報の部分とを近づけているためである。例えば、地図情報において、形状データと類似する部分が複数存在する場合、又は形状データが回転対称であり、移動体がどの向きであるのか不明な場合等は、コンピュータでは移動体の位置を判断できないことがある。本発明では、オペレータが形状データと対応する地図情報の部分を判断し、当該部分と形状データとを相対的に近づけるように移動、回転操作するため、形状データ全体に対して、一致度の高い地図情報の部分のうち、最も近接した部分に位置合わせする自動位置合わせ機能を実行すれば、最後の位置合わせは自動で行うことができる。また、例えば、形状データに地図情報に無い障害物等の形状が含まれている場合等は、形状データ全体で照合すると一致度の高い地図情報の部分が見つからないこともある。この場合は、形状データ全体に対して一致度の高い地図情報の部分に位置合わせする自動位置合わせ方法は使えないが、形状データの線、角等の一部の構成要素に対して、地図情報の一致度の高い構成要素のうち近接した構成要素に位置合わせする方法であれば自動位置合わせが可能である。自動位置合わせ機能によって、オペレータの操作の補助が可能である。なお、オペレータの操作なしで、自動位置合わせ機能によって自動で対応する位置に移動及び／又は回転した場合、オペレータは、最終確認した上で、移動体位置推定手段に移動回転量を提供してもよく、自動位置合わせ機能では位置合わせできなかった場合、又は間違った位置に位置合わせされた場合に、オペレータによる移動回転操作を介在させてもよい。また、入力手段は、画像表示手段に表示された周囲環境の形状データ、画像データ又は地図情報に移動体の目的地を設定可能であってもよく、例えば、形状データ、画像データ又は地図情報の一点又は一領域をポインティングデバイス又は指で選択することにより、目的地を設定してもよい。

【0030】

操作手段３３は、移動体の移動手段を制御して、移動体の移動を操作できるものであり、例えば、キーボード、ポインティングデバイス（マウス、タッチパッド等）、タッチパネル（タッチスクリーンを含む）、コントローラ等を含み、入力手段３２を兼用させてもよい。操作手段３３としては、移動体の移動方向に合わせたキー、ボタン又はスティック等を操作して移動体を操作した方向に移動するようにしてもよいし、画像表示手段に表示された形状データ、画像データ又は地図情報に目的地を設定することにより、移動体を操作してもよい。

【0031】

移動体位置推定手段４は、入力手段３２による移動回転量に基づいて移動体の位置を推定するものであり、位置推定プログラムを実行することによって実現され、例えば、ＣＰＵ（Central Processing Unit）及び作業用メモリなどによって、或いは集積回路（Integrated Circuit）によって実現される。移動体位置推定手段４は、移動体２に設けられてもよいし、端末装置３に設けられてもよいし、それらとは別のハードウェアに設けられてもよい。移動体位置推定手段４は、例えば、入力手段によって相対的に移動回転操作された後の地図情報上における形状データ取得時の移動体の配置から移動体の位置及び向きを推定する。これは、入力手段３２の移動回転操作によって、対応する地図情報の部分に形状データが重なるように配置された際の地図情報の部分の座標及びその時の形状データに対する移動体の向きから推定することを含む。また、入力手段３２による移動回転量には、オペレータが操作したものに加えて、自動位置合わせ機能によって移動及び／又は回転した量も含む。

【0032】

図３は、本発明の移動体の位置推定システム１を実現するハードウェアの一例である。本実施形態における位置推定システム１は、目的地までの経路を算出することが可能な自律式の移動体２と、移動体位置推定手段を含むオペレータ用端末装置３と、移動体２及び端末装置３が接続されたネットワーク５と、を含み、必要に応じてネットワーク５を介して接続可能な記憶サーバ６及び管理サーバ７を含んでいてもよい。本実施形態の移動体の位置推定システム１は、目的地までの経路を算出することが可能な自律式の移動体２において自己位置を喪失し、移動体２及び管理サーバ７では復帰できない場合等に、ネットワーク５を介してオペレータ用端末装置３と接続してオペレータのサポートにより移動体２の位置を推定し、自律移動に復帰させることができる。また、移動体２が取得した情報を端末装置３に送り、端末装置３で移動体２の状況を確認したり、端末装置３で作成した情報を移動体２に送り、かかる情報を使用して移動体２を制御したりすることができる。

【0033】

［形状データ取得処理］
図４（Ａ）は、移動体の移動範囲の間取りを示す地図情報４０であり、図４（Ｂ）、図５（Ａ）及び図５（Ｂ）は環境情報取得手段で周囲環境の形状データ５０を取得する作業を示す図である。地図情報４０は、事前に建物の間取り図、建築図面などの既存の地図を取り込んで作成してもよいし、事前に移動体の移動範囲を環境情報取得手段を使用したＳＬＡＭ（Simultaneous Localization and Mapping）によって、自己位置推定と環境地図作成を同時に行って取得してもよいし、他の移動体又は他のコンピュータで作成された基本地図情報を使用してもよい。地図情報４０は、図４（Ａ）に示すように、横長の略四角形の壁４１で構成された部屋の中に、一つ又は複数の連続した正方形の障害物４２が配置され、下側の壁４１の一部が僅かに突出しており、そこに扉４３が配置されている。移動体２は、部屋の中央やや上に位置している。移動体２は、移動手段２１として４つの車輪を有し、環境情報取得手段２２としてＬｉＤＡＲを有している。図４（Ｂ）に示すように、移動体２は、環境情報取得手段２２（ＬｉＤＡＲ）からマイクロパルスレーザ光２２ａを所定のステップ角度毎に順次照射し、周囲の環境をレーザ光で走査して環境情報の形状データを取得する。図４（Ｂ）では、全方位に走査しており、各レーザ光２２ａは、それぞれ周囲の環境（壁、障害物、扉）に照射され、各測定点２２ｂで反射光や散乱光（図示せず）を発生させ、戻ってきた反射光又は散乱光をＬｉＤＡＲの検出器で検出し、照射してから戻ってくるまでの時間を計測することにより各測定点２２ｂまでの距離及び方向を測定する。図５（Ａ）は、レーザ光２２ａを除いた各測定点２２ｂと地図情報４０との対応位置関係を示し、図５（Ｂ）は測定点２２ｂのみを示したものであり、測定点２２ｂの点群が形状データ５０である。図５（Ａ）に示すように、移動体２に面している部屋４０の壁４１の一部分の位置と、障害物４２の一部分の位置と、扉４３の位置とを示す測定点の点群が得られ、各測定点２２ｂについて、環境情報取得手段２２を中心とした極座標（距離，角度）を得ることができる。なお、各測定点の極座標を直交座標に変換してもよい。図５（Ｂ）に示すように、形状データ５０から、環境情報取得手段２２の位置及び向きから相対的な移動体の配置と、各測定点２２ｂまでの距離及び方向を把握することができる。

【0034】

［位置推定処理］
図６及び図７は、移動体の位置推定処理を説明するための図であり、端末装置３の画像表示手段３１の画面を示している。移動体２は、図５（Ｂ）に示す形状データ５０を取得したが、何らかの原因で自己位置及び向き（配置）を誤認識しており、自己位置推定に失敗したため、端末装置３にサポート信号及び形状データ５０を提供して移動体位置推定処理の実行を要求した。図６（Ａ）は、移動体２から取得した形状データ５０と地図情報４０とを重ねて表示した画面であるが、移動体２の配置６１を誤認識しているため、形状データ５０と地図情報４０とが一致していない。図６（Ｂ）は、オペレータが形状データ５０を選択し、矢印６２で示すように右斜め上に移動し、さらに、矢印６３で示すように時計回りに僅かに回転させて向きを変更した状態を示す画面である。図６（Ｂ）において、移動前の形状データ５０を点線で示し、移動回転操作後の形状データ６０を実線で示す。移動回転操作によって点線の測定点２２ｂは実線の測定点２２ｃに移動し、地図情報４０の壁４１と一致する。図７は、移動回転操作後の形状データ６０と地図情報４０とを重ねて表示し画面である。移動回転操作後の形状データ６０は、地図情報４０の壁４１、障害物４２、扉４３と一致しており、かかる移動回転操作により、移動体２の正しい配置６４を把握することができる。そして、移動体位置推定手段４は、移動量６２及び回転量６３に基づいて、移動回転操作後の形状データ６０の座標を特定し、形状データ６０に対して相対的な移動体の配置６４を算出して移動体２に提供し、移動体２は正しい配置６４を自己位置として自律動作に復帰できる。

【0035】

図８（Ａ）は、環境情報取得手段２２（ＬｉＤＡＲ）によって、同じ位置から複数回レーザ光を走査した時の測定点２２ｄ、２２ｅ、２２ｆを示す図であり、図８（Ｂ）は、その形状データ８０である。図８（Ａ）において、黒丸は、一度目の走査による測定点２２ｄであり、四角は、二度目の走査による測定点２２ｅであり、三角は、三度目の走査による測定点２２ｆである。レーザ光によって複数回走査することにより、形状データの精度を高めることができる。また図８（Ｂ）の形状データ８０は、移動体２の配置情報として位置を示す二重丸８１と向きを示す矢印８２とを含んでいる。

【符号の説明】

【0036】

１ 位置推定システム
２ 移動体
３ オペレータ用端末装置
４ 移動体位置推定手段
２１ 移動手段
２２ 環境情報取得手段
２３ 画像情報取得手段
２４ 自己位置推定手段
２５ 移動制御手段
３３ 操作手段
３１ 画像表示手段
３２ 入力手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】