特開 2024-171472 自律移動体及び自己位置推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171472

(43)【公開日】2024-12-12

(54)【発明の名称】自律移動体及び自己位置推定方法

(51)【国際特許分類】

   G05D 1/43 20240101AFI20241205BHJP

【ＦＩ】

G05D1/02 K

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023088494

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】瀋 載栄

(72)【発明者】

【氏名】川崎 康博

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA02

5H301BB05

5H301BB14

5H301CC03

5H301CC06

5H301CC10

5H301GG08

5H301GG09

5H301GG16

(57)【要約】

【課題】天井を撮影した画像を利用して精度よく自己位置を推定する「自律移動体及び自己位置推定方法」を提供する。
【解決手段】実運用に先立って、ミリ波レーダ１３の天井の走査で得られた電波反射強度の分布を表すフレーム（ａ１）中の電波反射強度のレベルが大きい領域を照明装置領域（ａ２、３００）として検出し、カメラ１４で撮影した、フレームに対応する天井の領域の画像である画像フレーム（ｂ）の、照明装置領域に対応するマスク領域３０１をマスクした合成フレーム（ｃ）を、慣性航法装置１２が測位している自律移動体の位置に基づいて算定した合成フレームが表す経緯度方向の座標範囲と対応づけて天井マップ１６に登録する。実運用時には、生成した合成フレームを、天井マップ１６とマッチングして現在位置を推定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

天井下を移動する自律移動体であって、
天井を走査するレーダと、
天井を撮影するカメラと、
天井の地図を表す天井マップを生成して登録するマップ生成手段と、
前記天井マップを用いて、当該自律移動体の現在位置を推定する自己位置推定手段と、
前記レーダで検出した電波反射強度の分布から、天井の照明装置が設置された領域を照明装置領域として識別する照明装置識別部とを有し、
前記マップ生成手段は、前記カメラが天井を撮影した画像の前記照明装置識別部が識別した前記照明装置領域を少なくとも除く領域を有効領域として、当該有効領域を用いて前記天井の地図を表す前記天井マップを生成して登録し、
前記自己位置推定手段は、前記カメラが天井を撮影した画像の前記照明装置識別部が識別した前記照明装置領域を少なくとも除く領域を照合領域として、当該照合領域と登録されている前記天井マップとを照合して、当該自律移動体の現在位置を推定することを特徴とする自律移動体。

【請求項2】

請求項１記載の自律移動体であって、
慣性航法により自律移動体の位置を測位する慣性航法手段を有し、
前記マップ生成手段は、前記慣性航法手段が測位した位置に基づいて、各有効領域に対応する実空間上の領域の座標を算定して前記天井の地図を表す前記天井マップを生成することを特徴とする自律移動体。

【請求項3】

請求項１記載の自律移動体であって、
前記マップ生成手段は、前記有効領域内の特徴部を検出し、検出した特徴部を天井マップに登録し、
前記自己位置推定手段は、前記照合領域内の画像パターンとマッチした特徴部の、前記天井マップが表す実空間上の位置に基づいて当該自律移動体の現在位置を推定することを特徴とする自律移動体。

【請求項4】

天井下を移動する自律移動体であって、
天井を走査するレーダと、
前記レーダで検出した電波反射強度の分布から、天井の照明装置が設置された領域を照明装置領域として識別する照明装置識別部と、
前記照明装置識別部が識別した前記照明装置領域の天井における配置を表す天井マップを生成して登録するマップ生成手段と、
前記天井マップを用いて、当該自律移動体の現在位置を推定する自己位置推定手段とを有し、
前記自己位置推定手段は、前記照明装置識別部が識別した前記照明装置領域と登録されている前記天井マップとを照合して、当該自律移動体の現在位置を推定することを特徴とする自律移動体。

【請求項5】

請求項４記載の自律移動体であって、
慣性航法により自律移動体の位置を測位する慣性航法手段を有し、
前記マップ生成手段は、前記慣性航法手段が測位した位置に基づいて、各照明装置領域に対応する実空間上の領域の座標を算定して、前記照明装置領域の天井における配置を表す前記天井マップを生成することを特徴とする自律移動体。

【請求項6】

天井下を移動する自律移動体であって、天井を走査するレーダと天井を撮影するカメラとを備えた自律移動体において、現在位置を推定する自己位置推定方法であって、
前記レーダで検出した電波反射強度の分布から、天井の照明装置が設置された領域を照明装置領域として識別する照明装置識別ステップと、
前記カメラが天井を撮影した画像の前記照明装置識別ステップで識別した前記照明装置領域を除く領域を有効領域として、当該有効領域を用いて天井の地図を表す天井マップを生成する天井マップ生成ステップと、
前記天井マップ生成ステップによって天井マップが生成された後に、前記カメラが天井を撮影した画像の前記照明装置識別ステップで識別した前記照明装置領域を除く領域を照合領域として、当該照合領域と前記天井マップとを照合して、当該自律移動体の現在位置を推定する推定ステップとを有することを特徴とする自己位置推定方法。

【請求項7】

天井下を移動する自律移動体であって、天井を走査するレーダと天井を撮影するカメラとを備えた自律移動体において、現在位置を推定する自己位置推定方法であって、
前記レーダで検出した電波反射強度の分布から、天井の照明装置が設置された領域を照明装置領域として識別する照明装置識別ステップと、
前記照明装置識別ステップで識別した前記照明装置領域の天井における配置を表す天井マップを生成するマップ生成ステップと、
前記天井マップ生成ステップによって天井マップが生成された後に、前記照明装置識別ステップで識別した前記照明装置領域と前記天井マップとを照合して、当該自律移動体の現在位置を推定する自己位置推定ステップとを有することを特徴とする自己位置推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動搬送ロボットなどの自律移動を行う自律移動体において自己位置を推定する技術に関するものである。

【背景技術】

【0002】

自律移動を行う自律移動体において自己位置を推定する技術としては、カメラで天井を撮影した画像を利用して自己位置を推定する技術が知られている（たとえば、特許文献１）
この技術では、自律移動体に搭載したカメラで天井を撮影した画像中の照明装置を識別し、識別した照明装置の画像中の位置と、予め設定されている照明装置の座標より自己位置を推定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６-４１２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

明るさの度合いが大きい照明装置が設置された天井をカメラで撮影すると、撮影した画像において、照明装置やその周辺がサチュレーションによって真っ白になって表れてしてしまう（白飛びしてしまう）場合がある。そして、このような場合、天井を撮影した画像からでは、自己位置を精度良く推定できなくなることがある。

【0005】

そこで、本発明は、自律移動体において、明るさの度合いが大きい照明装置が設置されている場合にも、天井に基づいて精度よく自己位置を推定することを課題とする。

【課題を解決するための手段】

【0006】

前記課題達成のために、本発明は、天井下を移動する自律移動体に、天井を走査するレーダと、天井を撮影するカメラと、天井の地図を表す天井マップを生成して登録するマップ生成手段と、前記天井マップを用いて、当該自律移動体の現在位置を推定する自己位置推定手段と、前記レーダで検出した電波反射強度の分布から、天井の照明装置が設置された領域を照明装置領域として識別する照明装置識別部とを備えたものである。前記マップ生成手段は、前記カメラが天井を撮影した画像の前記照明装置識別部が識別した前記照明装置領域を少なくとも除く領域を有効領域として、当該有効領域を用いて天井の地図を表す前記天井マップを生成して登録し、前記自己位置推定手段は、前記カメラが天井を撮影した画像の前記照明装置識別部が識別した前記照明装置領域を少なくとも除く領域を照合領域として、当該照合領域と登録されている前記天井マップとを照合して、当該自律移動体の現在位置を推定する。

【0007】

ここで、このような自律移動体に、慣性航法により自律移動体の位置を測位する慣性航法手段を設け、前記マップ生成手段において、前記慣性航法手段が測位した位置に基づいて、各有効領域に対応する実空間上の領域の座標を算定して前記天井の地図を表す前記天井マップを生成してもよい。

【0008】

また、このような自律移動体は、前記マップ生成手段において、前記有効領域内の特徴部を検出し、検出した特徴部を天井マップに登録し、前記自己位置推定手段において、前記照合領域内の画像パターンとマッチした特徴部の、前記天井マップが表す実空間上の位置に基づいて当該自律移動体の現在位置を推定してもよい。

【0009】

以上のような自律移動体によれば、天井をカメラで撮影した画像の照明装置が設置された領域を除く領域を用いて天井の地図を表す天井マップを作成すると共に、天井をカメラで撮影した画像の照明装置が設置された領域を除く領域と天井マップと照合して現在位置を推定するので、天井に明るさの度合いが大きい照明装置が設置されている場合にも、天井に基づいて支障なく自己の現在位置を精度良く推定することができる。

【0010】

また、本発明は、前記課題達成のために、天井下を移動する自律移動体に、天井を走査するレーダと、前記レーダで検出した電波反射強度の分布から、天井の照明装置が設置された領域を照明装置領域として識別する照明装置識別部と、前記照明装置識別部が識別した前記照明装置領域の天井における配置を表す天井マップを生成して登録するマップ生成手段と、前記天井マップを用いて、当該自律移動体の現在位置を推定する自己位置推定手段とを備えたものである。ここで、前記自己位置推定手段は、前記照明装置識別部が識別した前記照明装置領域と登録されている前記天井マップとを照合して、当該自律移動体の現在位置を推定する。

【0011】

ここで、このような自律移動体に、慣性航法により自律移動体の位置を測位する慣性航法手段を備え、前記マップ生成手段は、前記慣性航法手段が測位した位置に基づいて、各照明装置領域に対応する実空間上の領域の座標を算定して、前記照明装置領域の天井における配置を表す前記天井マップを生成してもよい。

【0012】

これらの自律移動体では、レーダで検出した電波反射強度の分布から天井の照明装置が設置された領域を照明装置領域として識別して、照明装置領域の天井における配置を表す天井マップを作成すると共に、現在位置の推定の際には、レーダで検出した電波反射強度の分布から識別した照明装置領と、登録されている天井マップと照合して現在位置を推定する。ここで、レーダで検出する電波反射強度は照明装置の明るさの影響を受けないので、このような自律移動体によれば、天井に明るさの度合いが大きい照明装置が設置されている場合にも、天井に基づいて支障なく自己の現在位置を精度良く推定することができる。

【発明の効果】

【0013】

以上のように、本発明によれば、自律移動体において、明るさの度合いが大きい照明装置が設置されている場合にも、天井に基づいて精度よく自己位置を推定することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る自律移動体システムの機能構成を示すブロック図である。

【図2】本発明の実施形態に係る自律移動体を示す図である。

【図3】本発明の実施形態に係る天井マップの作成手順を示す図である。

【図4】本発明の実施形態に係る天井マップの例を示す図である。

【図5】本発明の実施形態に係る天井マップの他の例を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る自律移動体システム１の機能構成を示す。
自律移動体システム１は、照明装置が設置された天井下を移動する自動搬送ロボットなどの自律移動体に搭載されるシステムであり、加速度や角速度や地磁気等を検出するＩＭＵ１１（Inertial Measurement Unit/慣性計測ユニット）、ＩＭＵ１１を用いた慣性航法によって自律移動体の位置を測位する慣性航法装置１２、ミリ波レーダ１３、カメラ１４、自己位置推定部１５、天井マップ１６、マップ生成部１７、自動運転制御部１８、移動機構１９を備えている。

【0016】

自律移動体は、たとえば、図２ａに側方から見たようすを、図２ｂに前方から見たようすを表すように、車輪によって移動する自律移動体であり、移動機構１９は車輪を駆動するモータや車輪の舵角を操作するアクチュエータなどを含んでいる。
そして、自己位置推定部１５は、自律移動体の現在位置を推定し、自動運転制御部１８は、自己位置推定部１５が推定した自律移動体の現在位置と予め設定された地図データ等に基づいて、所要のルートを走行するように移動機構１９を制御する。
図２ａ、ｂに示すように、ミリ波レーダ１３とカメラ１４は自律移動体の上面の同じ平面に設置され、ＩＭＵ１１は自律移動体の内部に搭載される。
そして、カメラ１４は、自律移動体の上方の天井を撮影し、ミリ波レーダ１３は、自律移動体の前後方向をｘ軸方向、左右方向をｙ軸方向とする、ｘ軸-ｙ軸ビームフォーミングを自律移動体の上方に向けて行って、自律移動体の上方の天井を平面掃引する。
さて、本実施形態では、自律移動体の実運用開始前に、マップ生成部１７に天井マップ１６を生成させて自律移動体システム１に設定する。
そして、自律移動体の実運用時に、自己位置推定部１５は、慣性航法装置１２の測位位置や、設定されている天井マップ１６を用いて、自律移動体の現在位置を推定する。
以下、このマップ生成部１７が行う天井マップ１６の生成と、自己位置推定部１５が行う現在位置の推定について説明する。
まず、マップ生成部１７が行う天井マップ１６の生成について説明する。
オペレータは、自律移動体を、実運用時に自律移動体が走行する区域の天井が漏れなくミリ波レーダ１３によって走査されるように、自律移動体を移動させながら、マップ生成部１７に天井マップ１６の生成を行わせる。
マップ生成部１７は、ミリ波レーダ１３の各回の平面掃引毎に合成フレームの生成と特徴部の抽出を行う。
すなわち、まず、平面掃引で得られた電波反射強度の分布をフレームと呼ぶこととして、フレーム中の電波反射強度のレベルが大きく、蛍光灯などの天井の照明装置として形状や大きさが矛盾しない領域を照明装置領域として検出する。
ここで、通常、天井の照明装置は金属製であり、天井を形成する天井材やコンクリートよりも電波反射強度のレベルが大きいので、電波反射強度のレベルに基づいて照明装置を検出することができる。
たとえば、ミリ波レーダ１３の平面掃引によって、図３ａ１のフレームが得られた場合、図３ａ１のフレーム中の各点がミリ波レーダ１３の各走査点を表し、各走査点の色の濃さが電波反射強度を表すものとして、図３ａ２の領域３００を照明装置領域として検出する。

【0017】

次に、カメラ１４で撮影した天井の画像から、フレームが電波反射強度の分布を表す天井の領域と同じ天井の領域を撮影した部分を画像フレームとして抽出する。
そして、抽出した画像フレームの、照明装置領域に対応する領域、もしくは、照明装置領域に対応する領域を少し拡張した領域をマスク領域として、抽出した画像フレームのマスク領域をマスクした合成フレームを生成する。マスク領域のマスクは、たとえば、画像フレームのマスク領域に対応する領域内の画素値として、色を表さない特定の値を設定したり、マスク領域の範囲を示す情報を画像フレームに付加したりすること等により行うことができる。

【0018】

たとえば、ミリ波レーダ１３の平面掃引によって得られた図３ａ１のフレームに対して図３ａ２の照明装置領域３００が検出された場合、カメラ１４で撮影した天井の画像から図３ａ１のフレームと同じ天井の領域に対応する図３ｂの画像フレームが抽出され、図３ｂの画像フレームの照明装置領域３００に相当する領域３０１をマスク領域としてマスクした合成フレームが図３ｃに示すように生成される。

【0019】

次に、合成フレームのマスク領域以外の領域から、特徴のある画像パターンの部分を特徴部として検出する。特徴部として検出する特徴のある画像パターンとしては、排気口の画像パターン、エアコンの画像パターン、火災感知器の画像パターン、配管の画像パターン等を用いることができる。なお、特徴部として検出する画像パターンの大きさは、ミリ波レーダ１３の走査点を少なくとも一つ含む大きさとする。

【0020】

この結果、図３ｃに示すように合成フレームが生成された場合、マスク領域３０１を除く領域中にある各特徴部３０２が検出される。
次に、慣性航法装置１２が測位している自律移動体の位置とミリ波レーダ１３の配置位置との関係に基づいて合成フレームが表す実空間上の経緯度方向の座標範囲を算定し、合成フレームを算定した実空間上の座標範囲と対応づけて天井マップ１６に登録する。また、検出した特徴部の位置を識別可能とする情報を天井マップ１６に登録する。

【0021】

結果、実運用時に自律移動体が走行する区域の天井を漏れなくミリ波レーダ１３で走査することにより、それぞれ実空間上の座標範囲と対応づけられた合成フレームの集合としての天井マップ１６は、天井の地図を表すこととなる。
たとえば、図４ａに示す通路４００を有する屋内施設に対しては、図４ｂに示すような個々の合成フレーム中のマスク領域３０１や特徴部３０２を通路４００上の座標に対応づける天井マップ１６が生成される。
以上、マップ生成部１７が行う天井マップ１６の生成について説明した。
次に、自己位置推定部１５が行う現在位置の推定について説明する。
自己位置推定部１５は、自律移動体の実運用が開始されると、ミリ波レーダ１３の各回の平面掃引毎に合成フレームを生成する。合成フレームの生成は、マップ生成部１７の合成フレームの生成と同様に行う。
そして、自己位置推定部１５は、生成した合成フレームを、天井マップ１６の前回推定した現在位置の周辺に対応する部分とマッチング（照合）して、生成した合成フレームに対応する実空間上の座標を求めることにより、自律移動体の現在位置を推定する
より具体的には、マッチングにおいて、たとえば、生成した合成フレーム中に、天井マップ１６から位置を識別した特徴部とマッチする画像パターンを検出できたならば、その画像パターンの合成フレーム中の位置と、天井マップ１６が表す特徴部の実空間上の座標に基づいて、自律移動体の現在位置を推定する。

【0022】

また、慣性航法装置１２において測位に用いるためにローカルに管理している最終測位位置（現在位置）を、推定した現在位置に修正し、慣性航法装置１２の測位の誤差の蓄積を防止する。
また、自己位置推定部１５は、走行中の天井が一様であったり周期模様であったりするために、天井マップ１６とのマッチングによっては自己位置を推定できない場合には、慣性航法装置１２の測位位置を、現在位置として推定したり、カメラ１４で撮影した画像中のパターンや像の移動量から、自律移動体の移動ベクトルを算定して現在位置を推定する処理なども行う。

【0023】

以上、本発明の実施形態について説明した。
以上のように本実施形態は、天井をカメラ１４で撮影した画像の照明装置が設置された領域を除く領域を用いて天井の地図を表す天井マップ１６を作成すると共に、天井をカメラ１４で撮影した画像の照明装置が設置された領域を除く領域と天井マップ１６とを照合して現在位置を推定するので、天井に明るさの度合いが大きい照明装置が設置されている場合にも支障なく天井に基づいて自己の現在位置を精度良く推定することができる。

【0024】

なお、以上の実施形態は、マップ生成部１７の天井マップ１６の生成や、自己位置推定部１５の現在の推定を、上述した照明装置の領域である照明装置領域３００を用いて行うようにしてもよい。
すなわち、この場合は、実運用に先だって、実運用時に自律移動体が走行する区域の天井が漏れなくミリ波レーダ１３によって走査されるように自律移動体を移動させながら、上述のようにミリ波レーダ１３の平面掃引で得られた電波反射強度の分布から照明装置領域３００を検出し、検出した各照明装置領域３００を、慣性航法装置１２で測位している自律移動体の位置から算出した照明装置領域３００の実空間上の座標範囲と対応づけて天井マップ１６に登録する。

【0025】

したがって、この場合、天井マップ１６は、天井における照明装置領域３００の配置を表すものとなる。たとえば、図５ａに示す通路４００を有する屋内施設に対しては、図５ｂに示すような個々の照明装置領域３００を通路４００上の座標に対応づける天井マップ１６が生成される。

【0026】

そして、実運用時には、ミリ波レーダ１３の各回の平面掃引毎に照明装置領域３００の検出と、検出した照明装置領域３００と天井マップ１６の前回推定した現在位置の周辺に対応する部分とのマッチング（照合）を行って、検出した照明装置領域３００に対応する実空間上の座標を求めることにより、自律移動体の現在位置を推定する
このようにマップ生成部１７の天井マップ１６の生成や、自己位置推定部１５の現在位置の推定を、上述したミリ波レーダ１３で検出される、照明装置の明るさの影響を受けない電波反射強度の分布から識別した照明装置領域３００を用いて行うことにより、天井に明るさの度合いが大きい照明装置が設置されている場合にも、天井に基づいて支障なく自己の現在位置を精度良く推定することができる。

【0027】

ここで、このような照明装置領域３００を用いた天井マップ１６の生成と現在位置の推定は、上述した合成フレームを用いた天井マップ１６の生成と現在位置の推定と併用するようにしてもよい。このような併用により推定した二つの現在位置を突き合わせて評価することにより、現在位置を推定不能な区間の発生を抑制したり、現在位置の推定の信頼度を向上したりすることができる。

【0028】

また、以上の実施形態では、ミリ波レーダ１３を用いたが、ミリ波レーダ１３に代えて他の波長帯の電波を使用するレーダを用いてもよい。
また、以上の実施形態では、自律移動体が無人の移動体である場合について示したが、本実施形態は、自動運転を行うパーソナルモビリティ等の、自律移動を行う有人の移動体にも同様に適用することができる。

【符号の説明】

【0029】

１…自律移動体システム、１１…ＩＭＵ、１２…慣性航法装置、１３…ミリ波レーダ、１４…カメラ、１５…自己位置推定部、１６…天井マップ、１７…マップ生成部、１８…自動運転制御部、１９…移動機構。

【図1】

【図2】

【図3】

【図4】

【図5】