知財求人 - 知財ポータルサイト「IP Force」
特許7661231自己位置推定装置、自律移動体、自己位置推定方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-04
(45)【発行日】2025-04-14
(54)【発明の名称】自己位置推定装置、自律移動体、自己位置推定方法及びプログラム
(51)【国際特許分類】
G05D 1/43 20240101AFI20250407BHJP
G01C 21/28 20060101ALI20250407BHJP
G06T 7/70 20170101ALI20250407BHJP
G09B 29/10 20060101ALI20250407BHJP
G09B 29/00 20060101ALI20250407BHJP
【ＦＩ】
G05D1/43
G01C21/28
G06T7/70 A
G09B29/10 A
G09B29/00 A
【請求項の数】
13
(21)【出願番号】P 2021550641
(86)(22)【出願日】2020-09-23
(86)【国際出願番号】 JP2020035687
(87)【国際公開番号】W WO2021065594
(87)【国際公開日】2021-04-08
【審査請求日】2023-08-16
(31)【優先権主張番号】P 2019181183
(32)【優先日】2019-10-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】吉村 真
【審査官】影山 直洋
(56)【参考文献】
【文献】特開２０１９－００７７３９（ＪＰ，Ａ）
【文献】特開２００７－３２２１３８（ＪＰ，Ａ）
【文献】国際公開第２０１６／１３９７４７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／４３
Ｇ０１Ｃ ２１／２８
Ｇ０６Ｔ ７／７０
Ｇ０９Ｂ ２９／１０
Ｇ０９Ｂ ２９／００
(57)【特許請求の範囲】
【請求項1】
実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、前記環境地図情報に基づいて、前記対のそれぞれが含まれるグループそれぞれと、前記グループそれぞれに関するグループ情報と、前記グループにおける基準自己位置と前記過去の自己位置とのオフセット量を示すオフセット情報とのリストによる学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記環境地図情報に基づく自己位置に関するグループ分けの誤差、自己位置の誤差および姿勢の誤差に対して重み付け加算した値をデータセット全体に関して合計した値を最小化するように学習された学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
前記画像センサによって取得された前記現在の画像情報と、前記学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
を備え、
前記第２の自己位置推定部は、
前記第２の自己位置と、前記第２の自己位置を推定した際の、推定された前記第２の自己位置の信頼度を示す第２の自己位置推定信頼度と、を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の自己位置推定信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定装置。
【請求項2】
請求項１に記載の自己位置推定装置であって、前記データセット生成部は、
複数の前記対を、１又は複数のグループに分類し、
前記グループ毎に、各々の基準とする基準自己位置を設定し、
前記グループ毎に、前記基準自己位置と、前記過去の自己位置との間のオフセット量を示すオフセット情報を前記対毎に求め、
前記学習用データセットの入力部分を、前記対のうちの前記過去画像情報とし、
前記学習用データセットの出力部分を、前記対が含まれる前記グループに関するグループ情報と、前記オフセット情報とする前記学習用データセットを生成する、
自己位置推定装置。
【請求項3】
請求項１に記載の自己位置推定装置であって、前記データセット生成部は、
前記環境地図情報における複数の前記対のうち前記過去画像情報のプロパティが許容範囲内であるか否かを判定し、
前記許容範囲内でない前記対の前記過去画像情報に対応付けられた前記特徴量と、前記過去の自己位置を前記学習用データセットから除外する、
自己位置推定装置。
【請求項4】
請求項１に記載の自己位置推定装置であって、前記自律移動体のオドメトリ情報に基づいて、現在の第３の自己位置を推定する第３の自己位置推定部と、
前記第１の自己位置の自己位置推定信頼度に基づいて、前記第１の自己位置に乗じる重み係数を算出する重み算出部と、
前記重み算出部が算出した前記重み係数に基づいて、前記第１の自己位置と前記第３の自己位置とを統合する第２の統合部と、
をさらに備え、
前記第１の統合部は、
前記第２の統合部が統合した統合結果と前記第２の自己位置と統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定装置。
【請求項5】
請求項１に記載の自己位置推定装置であって、複数の前記環境地図情報を記憶する環境地図情報記憶部と、
前記環境地図情報記憶部が記憶する複数の前記環境地図情報を統合する地図統合部と、
をさらに備え、
前記特徴量は、
第１の特徴量抽出方法で抽出された第１の特徴量と、
前記第１の特徴量抽出方法と異なる第２の特徴量抽出方法で抽出された第２の特徴量と、
を含み、
前記環境地図情報記憶部は、複数の前記対のうち、相対的な位置関係が異なる複数の前記対を異なる前記環境地図情報として複数記憶し、
前記地図統合部は、
前記第２の特徴量に基づいて、異なる前記環境地図情報を統合する、
自己位置推定装置。
【請求項6】
請求項５に記載の自己位置推定装置であって、前記第１の自己位置推定部は、
前記環境地図情報における前記過去画像情報と、前記第１の特徴量と、前記過去の自己位置と、前記現在の画像情報と、に基づいて、前記第１の自己位置を推定し、
前記地図統合部は、
前記環境地図情報記憶部が複数の前記環境地図情報を記憶しているか否かを判定し、
前記環境地図情報記憶部が複数の前記環境地図情報を記憶していると判定した場合、異なる前記環境地図情報に含まれる前記過去画像情報と、前記第１の特徴量と、前記第２の特徴量と、前記過去の自己位置と、の前記対間における類似度を、前記第２の特徴量を用いて評価し、
異なる前記環境地図情報において前記類似度が所定の閾値以上である前記対の数をカウントし、
前記対の数が所定値以上である場合、前記類似度が所定の閾値以上である前記対の前記過去の自己位置に基づいて異なる前記環境地図情報を統合する、
自己位置推定装置。
【請求項7】
請求項５に記載の自己位置推定装置であって、前記第２の特徴量は、
前記過去画像情報に対して多物体検出処理を行うことによって検出された物体の大きい、位置、種類、向きのいずれか一つ以上である、
自己位置推定装置。
【請求項8】
自己位置推定装置と、１つ以上の画像センサと、
移動機構と、
前記移動機構を制御する制御部と、
を備える自律移動体であって、
前記自己位置推定装置は、
前記画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における当該自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記環境地図情報に基づいて、前記対のそれぞれが含まれるグループそれぞれと、前記グループそれぞれに関するグループ情報と、前記グループにおける基準自己位置と前記過去の自己位置とのオフセット量を示すオフセット情報とのリストによる学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記環境地図情報に基づく自己位置に関するグループ分けの誤差、自己位置の誤差および姿勢の誤差に対して重み付け加算した値をデータセット全体に関して合計した値を最小化するように学習された学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
前記画像センサによって取得された前記現在の画像情報と、前記学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
を備え、
前記第２の自己位置推定部は、
前記第２の自己位置と、前記第２の自己位置を推定した際の、推定された前記第２の自己位置の信頼度を示す第２の推定結果信頼度と、を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の推定結果信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定し、
前記制御部は、
前記第１の統合部が推定した前記現在の自己位置に基づいて、前記移動機構を駆動することによって前記複数の領域毎の各々の推定信頼度が低い領域に優先的に当該自律移動体を移動させる、
自律移動体。
【請求項9】
請求項８に記載の自律移動体であって、複数の前記環境地図情報を記憶する環境地図情報記憶部をさらに備える、
自律移動体。
【請求項10】
自己位置推定装置と、１つ以上の画像センサと、
外部のサーバと双方向に通信可能な通信部と、
移動機構と、
前記通信部と、前記移動機構と、を制御する制御部と、
を備える自律移動体であって、
前記自己位置推定装置は、
前記画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における当該自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
を備え、
前記サーバは、
複数の前記環境地図情報を記憶する環境地図情報記憶部と、
前記環境地図情報に基づいて、前記対のそれぞれが含まれるグループそれぞれと、前記グループそれぞれに関するグループ情報と、前記グループにおける基準自己位置と前記過去の自己位置とのオフセット量を示すオフセット情報とのリストによる学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記環境地図情報に基づく自己位置に関するグループ分けの誤差、自己位置の誤差および姿勢の誤差に対して重み付け加算した値をデータセット全体に関して合計した値を最小化するように学習された学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
を備え、
前記制御部は、
前記通信部に、前記環境地図情報と、前記学習部が算出した前記学習済みパラメータと、を取得させ、
前記第２の自己位置推定部は、
前記第２の自己位置及び前記第２の自己位置を推定した際の、推定された前記第２の自己位置の信頼度を示す第２の推定結果信頼度を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の推定結果信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自律移動体。
【請求項11】
請求項１０に記載の自律移動体であって、前記制御部は、
前記第１の統合部が推定した前記現在の自己位置に基づいて、前記移動機構を駆動することによって前記複数の領域毎の各々の推定信頼度が低い領域に優先的に当該自律移動体を移動させる、
自律移動体。
【請求項12】
自己位置推定装置が実行する自己位置推定方法であって、実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量、前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定し、
前記環境地図情報に基づいて、前記対のそれぞれが含まれるグループそれぞれと、前記グループそれぞれに関するグループ情報と、前記グループにおける基準自己位置と前記過去の自己位置とのオフセット量を示すオフセット情報とのリストによる学習用データセットを生成し、
前記生成した前記学習用データセットを入力とし、前記環境地図情報に基づく自己位置に関するグループ分けの誤差、自己位置の誤差および姿勢の誤差に対して重み付け加算した値をデータセット全体に関して合計した値を最小化するように学習された学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出し、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された前記学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定し、前記推定した前記第２の自己位置と、前記第２の自己位置を推定した際の、推定された前記第２の自己位置の信頼度を示す第２の自己位置推定信頼度と、を出力し、
前記複数の領域の各々の推定信頼度と、前記第２の自己位置推定信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定方法。
【請求項13】
自己位置推定装置に実行させるプログラムであって、実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、環境地図情報記憶部が記憶する前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量、前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定させ、
前記環境地図情報に基づいて、前記対のそれぞれが含まれるグループそれぞれと、前記グループそれぞれに関するグループ情報と、前記グループにおける基準自己位置と前記過去の自己位置とのオフセット量を示すオフセット情報とのリストによる学習用データセットを生成させ、
前記生成した前記学習用データセットを入力とし、前記環境地図情報に基づく自己位置に関するグループ分けの誤差、自己位置の誤差および姿勢の誤差に対して重み付け加算した値をデータセット全体に関して合計した値を最小化するように学習された学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出させ、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定させ、前記推定させた前記第２の自己位置と、前記第２の自己位置を推定した際の、推定された前記第２の自己位置の信頼度を示す第２の自己位置推定信頼度と、を出力させ、
前記複数の領域の各々の推定信頼度と、前記第２の自己位置推定信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自己位置推定装置、自律移動体、自己位置推定方法及びプログラムに関する。
【背景技術】
【0002】
自律移動体に搭載された撮像装置により自律移動体の周辺を時系列で撮像した各時刻の画像情報に基づいて、自律移動体の自己位置を推定する技術が知られている。例えば、下記特許文献１では、実空間における３次元位置が対応付けられた複数の照合用ランドマークの特徴点を記憶する地図データベースを用いて特定した各時刻の画像情報の各々に含まれるランドマークの３次元位置と、自律移動体の基準点に対する相対的な位置及び姿勢と、に基づいて、実空間における自律移動体の自己位置を推定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－１８５２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献１では、自律移動体が頻繁に休止したり、外部環境が大きく変化したりする場合、自律移動体の自己位置を推定することができないという問題点があった。例えば、特許文献１では、昼と夜のように環境が大きく変化した場合、ランドマークの画像上の見え方が大きく変わるため、地図データベースが記憶する照合用ランドマークと画像情報に含まれるランドマークとの照合が取れず、自律移動体の自己位置を推定することができない。
【0005】
そこで、本開示では、自律移動体が頻繁に休止したり、外部環境が大きく変化したりする場合であっても、自律移動体の自己位置を推定することができる自己位置推定装置、自律移動体、自己位置推定方法及びプログラムを提案する。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示に係る一形態の自己位置推定装置は、実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、前記環境地図情報に基づいて、前記対のそれぞれが含まれるグループそれぞれと、前記グループそれぞれに関するグループ情報と、前記グループにおける基準自己位置と前記過去の自己位置とのオフセット量を示すオフセット情報とのリストによる学習用データセットを生成するデータセット生成部と、前記データセット生成部が生成した前記学習用データセットを入力とし、前記環境地図情報に基づく自己位置に関するグループ分けの誤差、自己位置の誤差および姿勢の誤差に対して重み付け加算した値をデータセット全体に関して合計した値を最小化するように学習された学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、前記画像センサによって取得された前記現在の画像情報と、前記学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、を備え、前記第２の自己位置推定部は、前記第２の自己位置と、前記第２の自己位置を推定した際の、推定された前記第２の自己位置の信頼度を示す第２の自己位置推定信頼度と、を出力し、前記第１の統合部は、前記複数の領域の各々の推定信頼度と、前記第２の自己位置推定信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する。
【0007】
（作用）
本開示に係る一形態の自己位置推定装置によれば、第１の自己位置推定部が環境地図情報と、現在の画像情報と、に基づいて、第１の自己位置を推定し、第２の自己位置推定部が現在の画像情報と、環境地図情報を用いて学習された学習済みパラメータと、に基づいて第２の自己位置を推定する。そして、第１の統合部が第１の自己位置と、第２の自己位置と、を統合することによって自律移動体の現在の自己位置を推定するので、自律移動体が頻繁に休止したり、外部環境が大きく変化したりする場合であっても、高精度で安定した自律移動体の自己位置を推定することができる。
本開示に係る一形態の自己位置推定装置によれば、第１の自己位置推定部が環境地図情報と、現在の画像情報と、に基づいて、第１の自己位置を推定し、第２の自己位置推定部が現在の画像情報と、環境地図情報を用いて学習された学習済みパラメータと、に基づいて第２の自己位置を推定する。そして、第１の統合部が第１の自己位置と、第２の自己位置と、を統合することによって自律移動体の現在の自己位置を推定するので、自律移動体が頻繁に休止したり、外部環境が大きく変化したりする場合であっても、高精度で安定した自律移動体の自己位置を推定することができる。
【図面の簡単な説明】
【0008】
【図1】本開示の各実施形態に適用される自律移動体の概略的な正面図である。
【図2】本開示の各実施形態に適用される自律移動体の概略的な側面図である。
【図3】一般家庭向けロボット製品が取得した昼の画像情報の一例を示す図である。
【図4】自律移動体が取得した夜の画像情報の一例を示す図である。
【図5】環境地図の分断の一例を模式的に示す図である。
【図6】本開示の第１の実施形態に係る自律移動体の機能構成を示すブロック図である。
【図7】本開示の第１の実施形態に係る画像センサが取得する画像の一例を示す図である。
【図8】本開示の第１の実施形態に係る環境地図情報記憶部が記憶する環境地図情報の一例を模式的に示す図である。
【図9】本開示の第１の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。
【図10】本開示の第１の実施形態に係る第１の自己位置推定部の機能構成を示すブロック図である。
【図11】本開示の第１の実施形態に係るデータセット生成部が生成する学習用データセットにおける１つのグループの一例を模式的に示す図である。
【図12】本開示の第１の実施形態に係るデータセット生成部が生成する学習用データセットにおける別のグループの一例を模式的に示す図である。
【図13】本開示の第１の実施形態に係る第２の自己位置推定部による自律移動体の第２の自己位置の推定方法を模式的に示す図である。
【図14】本開示の第１の実施形態に係る自律移動体が実行する処理の概要を示すフローチャートである。
【図15】本開示の第２の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。
【図16】本開示の第２の実施形態に係る重み算出部が行う重み付けを模式的に示す図である。
【図17】本開示の第２の実施形態に係る自律移動体が実行する処理の概要を示すフローチャートである。
【図18】本開示の第２の実施形態の変形例に係る自己位置推定装置の機能構成を示すブロック図である。
【図19】本開示の第３の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。
【図20】本開示の第３の実施形態に係る地図統合部が互いに異なる環境地図情報を統合する統合前の状態を模式的に示す図である。
【図21】本開示の第３の実施形態に係る地図統合部が互いに異なる環境地図情報を統合した統合後の状態を模式的に示す図である。
【図22】本開示の第３の実施形態に係る昼の画像情報に対して多物体検出を行った際に検出された第２の特徴量を模式的に示す図である。
【図23】本開示の第３の実施形態に係る夜の画像情報に対して多物体検出を行った際に検出された第２の特徴量を模式的に示す図である。
【図24】本開示の第３の実施形態の変形例に係る自己位置推定装置の機能構成を示すブロック図である。
【図25】本開示の第４の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0010】
なお、説明は、以下の順序で行うものとする。
１．自律移動体の構成
１－１． 自律移動体の概略構成
１－２． 一般家庭向けロボット製品の問題点
２．第１の実施形態
２－１． 自律移動体の機能構成
２－２． 自己位置推定装置の機能構成
２－２－１． 第１の自己位置推定部の詳細な構成
２－３． 自律移動体の処理
２－４． 作用・効果
３．第２の実施形態
３－１． 自己位置推定装置の機能構成
３－２． 自己位置推定装置の処理
３－３． 作用・効果
３－４． 第２の実施形態の変形例
３－５． 作用・効果
４．第３の実施形態
４－１． 自己位置推定装置の機能構成
４－２． 作用・効果
４－３． 第３の実施形態の変形例
４－４． 作用・効果
５．第４の実施形態
５－１． 自己位置推定装置の機能構成
５－２． 作用・効果
６．むすび
１．自律移動体の構成
１－１． 自律移動体の概略構成
１－２． 一般家庭向けロボット製品の問題点
２．第１の実施形態
２－１． 自律移動体の機能構成
２－２． 自己位置推定装置の機能構成
２－２－１． 第１の自己位置推定部の詳細な構成
２－３． 自律移動体の処理
２－４． 作用・効果
３．第２の実施形態
３－１． 自己位置推定装置の機能構成
３－２． 自己位置推定装置の処理
３－３． 作用・効果
３－４． 第２の実施形態の変形例
３－５． 作用・効果
４．第３の実施形態
４－１． 自己位置推定装置の機能構成
４－２． 作用・効果
４－３． 第３の実施形態の変形例
４－４． 作用・効果
５．第４の実施形態
５－１． 自己位置推定装置の機能構成
５－２． 作用・効果
６．むすび
【0011】
＜１．自律移動体の構成＞
〔１－１． 自律移動体の概略構成〕
図１は、本開示の各実施形態に適用される自律移動体の概略的な正面図である。図２は、本開示の各実施形態に適用される自律移動体の概略的な側面図である。
〔１－１． 自律移動体の概略構成〕
図１は、本開示の各実施形態に適用される自律移動体の概略的な正面図である。図２は、本開示の各実施形態に適用される自律移動体の概略的な側面図である。
【0012】
図１及び図２に示す自律移動体１０は、電気的な作用及び磁気的な作用の少なくとも一方を用いて自律的に移動可能な装置である。具体的には、自律移動体１０は、地面を自律的に歩行することによって移動可能なロボット（例えばペットロボット等）である。なお、自律移動体１０は、ロボット以外にも、電気的な作用及び磁気的な作用の少なくとも一方を用いて自律的に移動可能な装置や移動体であればよい。例えば、自律移動体１０は、ヒューマノイドロボット又はドローン等の他の種類のロボット、車両、電車、船舶及び飛行機等の乗り物、医療装置、各種の産業用機械及び玩具等であってもよい。
【0013】
自律移動体１０は、行動時又は移動時に、撮影しつつ、自己位置を推定しながら行動する。ここで、自己位置とは、活動空間（実空間）の原点に対する自律移動体の位置（絶対的な位置）及び姿勢である。
【0014】
自律移動体１０は、頭部１１と、胴体部１２と、移動機構１３と、を有する。自律移動体１０は、頭部１１、胴体部１２及び移動機構１３のうち１つ以上の内部に、複数の関節を有する。この複数の関節の各々の内部には、アクチュエータが配置されてなる。これらのアクチュエータは、後述する制御部の制御のもと、駆動することによって、複数の関節の各々が、各々の所定の軸周りに回転又は回動する。これにより、自律移動体１０は、目的の運動を行う。例えば、自律移動体１０は、頭部１１と胴体部１２との間に首関節を配置することによって、頭部１１が胴体部１２に対して所定の軸周りに回動する。さらに、自律移動体１０は、胴体部１２と各々の移動機構１３と間に股関節を配置する。これにより、自律移動体１０は、各々の移動機構１３が胴体部１２に対して所定の軸周りに回動することによって移動することができる。
【0015】
〔１－２． 一般家庭向けロボット製品の問題点〕
自律移動体１０を含む一般家庭向けロボット製品は、常に稼動し、外部環境が変化しない条件下において十分な自己位置を推定することができる。しかしながら、一般家庭向けロボット製品は、頻繁に休止したり、外部環境が日々大きく変化したりする場合、自己位置を推定することが困難であった。例えば、一般家庭向けロボット製品は、昼と夜のように環境が大きく変化した場合、撮影した画像に写るランドマークの見え方が大きく変化するので、同一のランドマークであっても、昼と夜とで別のものと認識する。
自律移動体１０を含む一般家庭向けロボット製品は、常に稼動し、外部環境が変化しない条件下において十分な自己位置を推定することができる。しかしながら、一般家庭向けロボット製品は、頻繁に休止したり、外部環境が日々大きく変化したりする場合、自己位置を推定することが困難であった。例えば、一般家庭向けロボット製品は、昼と夜のように環境が大きく変化した場合、撮影した画像に写るランドマークの見え方が大きく変化するので、同一のランドマークであっても、昼と夜とで別のものと認識する。
【0016】
図３は、一般家庭向けロボット製品が取得した昼の画像情報の一例を示す図である。図４は、自律移動体１０が取得した夜の画像情報の一例を示す図である。図３及び図４は、同一の空間で自律移動体１０が取得した画像情報である。なお、図４では、全体にハッチングを施すことによって夜の状況を模式的に表現している。
【0017】
図３に示す画像Ｑ１及び図４に示す画像Ｑ２では、ランドマーク又はオブジェクトとして機能する照明装置Ｏ１に注目した場合について説明する。この場合、照明装置Ｏ１は、昼と夜とで見た目が大きく変化する。即ち、一般家庭向けロボット製品は、昼と夜とで、周知の物体検出処理技術を用いて、照明装置Ｏ１を一致させることができない。さらに、一般家庭向けロボット製品は、ランドマーク等の物体の移動や変形等により大きく変化する場合において、周知の物体検出処理技術を用いたとき、周知のＳＬＡＭ（Simultaneous Localization And Mapping）処理によって作成された環境地図を用いて、十分な自己位置を推定することができない。このため、一般家庭向けロボット製品は、画像センサによって昼に取得された画像情報によって生成された環境地図内に対応付けられたランドマークと、画像センサによって夜に取得された最新の画像に写るランドマークとの対応を取ることができない。この結果、一般家庭向けロボット製品は、既存の地図に対する現在（最新）の自己位置を推定することができない（問題点（１））。
【0018】
また、一般家庭向けロボット製品は、製造コストの増大を防止するため、画像センサ等の性能の最適化を行っている。これにより、一般家庭向けロボット製品は、搭載されている画像センサ等が高性能でなく、低分解能のため、例えば距離センサ等の検出結果に基づいて、自己位置を推定することができない場合がある（問題点（２））。
【0019】
さらに、一般家庭向けロボット製品は、ユーザによって抱き上げて移動させられたり、電源ボタンによるオン操作又はオフ操作が頻繁に行われることによって、駆動したり、停止したりする。さらにまた、一般家庭向けロボット製品は、停止した状態で、ユーザによって抱き上げて移動させられたりする。この場合、一般家庭向けロボット製品は、その都度、一時的に自己位置を見失った状態となる（問題点（３））。
【0020】
一般家庭向けロボット製品は、上述した問題点（２）の事象に加えて、上述した問題点（３）の原因で自己位置を見失った場合、画像センサが取得した画像情報に基づいて自己位置を推定するしかない。しかしながら、一般家庭向けロボット製品は、自己位置を見失った状態の場合において、周辺の外部環境が大きく変化したとき、上述した問題点（１）により、自己位置を推定することができない（問題点（４））。
【0021】
問題点（４）の事象は、一般家庭向けロボット製品の実際の使用状況において頻繁に発生する。具体的には、問題点（４）の事象は、一般家庭向けロボット製品がユーザのボタン操作をトリガとして、又は自律的な熱放出や充電を目的として一定時間休止状態となったりする。さらに、問題点（４）の事象は、電源オフ状態になった後に、再度、アクティブ状態に復帰したりする状況下で頻繁に発生する。
【0022】
さらに、一般家庭向けロボット製品は、上述した問題点（４）の事象により、同じ空間であっても、別の空間と認識する（問題点（５））。
【0023】
この結果、一般家庭向けロボット製品は、環境が変わる度に、同じ空間であっても、複数の地図を作成し、その都度、環境に応じた地図に基づいた制御を行う（問題点（６））。
【0024】
問題点（６）の事象は、本来一つの地図に集約して使いたい画像が、複数の地図に分断され、散らばってしまうため、ロボット制御において好ましくない。例えば、一般家庭向けロボット製品は、まず、朝方に、朝の環境で作成した地図上に充電台の位置（座標）を対応付ける。そして、一般家庭向けロボット製品は、充電台から出発する。その後、一般家庭向けロボット製品は、１日活動し、夜に充電台へ帰還しようとした場合において、地図が夜の地図に切り替わっているとき、取得した画像情報に基づいて自己位置を推定することができない。この結果、一般家庭向けロボット製品は、充電台の位置を消失することで、充電台へ帰還することができないという問題が発生する。
【0025】
さらに、問題点（６）の事象は、ある空間で生活するのに十分な地図があるにも関わらず、その都度、異なった地図を作成することで、地図の容量が地図枚数分増加してしまう。この結果、問題点（６）では、一般家庭向けロボット製品の記憶装置の容量を圧迫するうえ、自己位置の推定処理に多大な時間が掛かってしまうという問題が発生する。
【0026】
【0027】
図５に示すように、一般家庭向けロボット製品は、環境変化が激しい領域において、異なる環境地図を複数作成する。例えば、一般家庭向けロボット製品は、朝の環境地図Ｍ１、昼の環境地図Ｍ２及び夜の環境地図Ｍ３の各々を作成する。このため、一般家庭向けロボット製品は、同じフロアＦ１であっても、分裂した環境地図Ｍ１～Ｍ３を作成する。
【0028】
このように、従来の一般家庭向けロボット製品では、頻繁に休止したり、外部環境が大きく変化したりする場合、自己位置を推定することができないという問題点があった。
【0029】
【0030】
図６に示すように、自律移動体１０は、移動機構１３と、画像センサ１４と、内界センサ１５と、自己位置推定装置１６と、外界センサ１７と、通信部１８と、記憶部１９と、制御部２０と、を備える。
【0031】
移動機構１３は、自律移動体１０が移動するための機構である。具体的には、移動機構１３は、図１及び図２に示すように、歩行するための複数の脚部、例えば２脚や４脚等を用いて構成される。また、移動機構１３は、１以上のアクチュエータを有する。移動機構１３は、制御部２０の制御のもと、自律移動体１０内に配置されてなる電源（図示せず）から供給される電力に基づいてアクチュエータが駆動することによって自律移動体１０を移動させる。なお、脚部の数は、適宜変更することができる。また、移動機構１３は、脚部の代わりに、複数の車輪やプロペラを用いて構成してもよい。さらに、移動機構１３は、無限軌道の機構を含む構成であってもよい。
【0032】
画像センサ１４は、自律移動体１０に１つ以上設けられる。画像センサ１４は、自律移動体１０の胴体部１２の位置であって、実空間における天地方向、例えば天井を撮影可能な胴体部１２の背中１２１（図２を参照）及び自律移動体１０の頭部１１の目等に設けられてなる。画像センサ１４は、制御部２０の制御のもと、所定の視野領域を撮像することによって画像情報を生成し、この画像情報を制御部２０及び自己位置推定装置１６へ出力する。画像センサ１４は、光学系と、イメージセンサと、を用いて構成される。光学系は、１又は複数のレンズを用いて構成され、被写体像をイメージセンサの受光面に結像する。画像センサ１４の光学系としては、魚眼光学系が好ましく、円周魚眼光学又は対角線魚眼光学のどちらであってもよい。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成され、光学系が結像した被写体像を受光することによって画像情報を生成する。
【0033】
図７は、画像センサ１４が取得する画像の一例を示す図である。図７に示すように、画像センサ１４は、例えば天井を撮影可能な胴体部１２の背中１２１に設けられている場合、画像Ｑ３を取得することができる。画像Ｑ３は、一般的な家庭の室内空間を撮影したものの一例である。なお、画像センサ１４の画角は、１回の撮影で多くの情報を取得するため、広角であることが望ましい。また、自律移動体１０に対する画像センサ１４の装着方法は、１方向に固定した状態で装着させて設けてもよいし、例えば関節等の自由度の高い可動部に装着させて設けてもよい。なお、画像センサ１４は、可動部の先に装着する場合、自律移動体１０の進行方向を基準とする座標系に対する画像センサ１４の姿勢を可動部の状態から算出可能なようにすればよい。また、画像センサ１４は、取得する波長帯域の光として、可視光及び赤外光（ＩＲ光）の少なくとも一方である。さらに、画像センサ１４は、アクティブ照射による赤外光から求まる距離画像情報や深度情報であってもよい。さらにまた、画像センサ１４は、制御部２０の制御のもと、所定のフレームレート（ｆｐｓ）に従って、画像情報を取得する。なお、フレームレートは、適宜変更することができる。
【0034】
内界センサ１５は、自律移動体１０に関する内界情報を計測する。ここで、内界情報とは、自律移動体１０の速度、自律移動体１０の加速度、自律移動体１０の相対位置及び自律移動体１０の角速度の少なくとも１つ以上を含む。また、内界情報は、自律移動体１０が１以上の関節を有する場合、自律移動体１０内の各関節の回転角度及び各関節の回転速度の少なくとも１つ以上を含む。内界センサ１５は、３軸加速度センサ、３軸ジャイロセンサ、エンコーダ及び車輪エンコーダ等の少なくとも１つ以上を用いて構成される。内界センサ１５は、図１及び図２に示す場合、１以上の３軸加速度センサ及び１以上の３軸ジャイロセンサが頭部１１及び胴体部１２の内部の各々に配置されてなる。さらに、内界センサ１５は、自律移動体１０の各関節に、エンコーダが配置されてなる。これにより、内界センサ１５は、各関節の回転角度及び回転速度を計測する。さらに、内界センサ１５は、自律移動体１０の各関節に配置されてなるエンコーダ等による計測結果及び自律移動体１０の形状に基づいて、自律移動体１０の並進移動成分及びヨー軸周りの姿勢成分を算出し、この算出結果を制御部２０へ出力する。さらにまた、内界センサ１５は、３軸ジャイロセンサ及び３軸加速度センサ（ＩＭＵ：Inertial Measurement Unit）による計測結果に基づいて、自律移動体１０のピッチ軸周りの姿勢成分及びロール軸周りの姿勢成分を算出し、この算出結果を制御部２０へ出力する。
【0035】
自己位置推定装置１６は、制御部２０の制御のもと、画像センサ１４が取得した画像情報と、後述する記憶部１９の環境地図情報記憶部１９１が記憶する環境地図情報と、に基づいて、自律移動体１０の現在の位置を推定する。自己位置推定装置１６は、推定結果を制御部２０へ出力する。自己位置推定装置１６は、メモリと、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＮＰＵ（Neural Network Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）等のハードウェアと、を用いて構成される。なお、自己位置推定装置１６の詳細な構成は、後述する。
【0036】
外界センサ１７は、制御部２０の制御のもと、自律移動体１０の外界に関する外界情報を計測する。ここで、外界情報とは、自律移動体１０の周囲の環境に関する情報である。例えば、外界情報は、自律移動体１０から他の各物体までの距離、自律移動体１０の周囲の音、自律移動体１０の周囲の地磁気、及び自律移動体１０の周囲における無線通信用の電波状況の少なくとも１つ以上を含む。外界センサ１７は、デプスセンサ（例えばＴｏＦ（Time of Flight）センサやステレオカメラなど）、赤外センサ、人感センサ、距離センサ及びマイクロフォン等を用いて構成される。さらに、外界センサ１７は、ＬＩＤＡＲ（Light Detection And Ranging）及び磁気センサ等を設けてもよい。さらにまた、外界センサ１７は、ＧＰＳ（Global Positioning System）及びＧＬＯＮＡＳＳ（Global Navigation Satellite System）等の測位衛星から測位信号を受信する受信機を設けてもよい。
【0037】
通信部１８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ‐Ｆｉ（登録商標）などの所定の通信規格に沿った通信用の通信モジュールを用いて構成される。通信部１８は、制御部２０の制御のもと、ネットワークを介して所定の情報を外部へ送信したり、外部からの情報を受信したりする。
【0038】
記憶部１９は、揮発性メモリ、不揮発性メモリ、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、外部から挿入可能な記録媒体等を用いて構成される。記憶部１９は、環境地図情報記憶部１９１と、プログラム記憶部１９２と、を有する。環境地図情報記憶部１９１は、画像センサ１４が過去に取得した過去画像情報と、その過去画像情報の特徴量と、その過去画像情報の取得時における自律移動体１０の自己位置と、を対（１組）とする複数を地図上に対応付けた環境地図情報を記憶する。プログラム記憶部１９２は、自律移動体１０が実行する各種のプログラムを記憶する。
【0039】
ここで、環境地図情報記憶部１９１が記憶する環境地図情報について詳細に説明する。図８は、環境地図情報記憶部１９１が記憶する環境地図情報の一例を模式的に示す図である。
【0040】
図８に示す環境地図情報Ｍ１００は、画像センサ１４によって過去に取得された過去画像情報と、その過去画像情報の１つ以上の特徴量と、その過去画像情報を取得した取得時における自律移動体１０の自己位置と、その過去画像情報の取得時における壁等の空間情報と、の対（１組）を２次元又は３次元の地図上に複数対応付けられている。地図の次元は、２次元及び３次元の少なくとも一方であればよい。また、過去画像情報の記憶フォーマットは、特に限定されることなく、例えばＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式や所定のフォーマットに変換することによって記憶してもよい。なお、過去画像情報には、画像データ以外に、プロパティとして各種のメタ情報を含めてよい。ここで、メタ情報とは、データ容量、画質、取得日時（撮影日時）、取得時刻（撮影時刻）、自律移動体１０を識別するＩＤ情報、撮影情報（ＩＳＯ、シャッタ速度、Ｆ値）、ノイズ情報等である。なお、空間情報は、必須でなく、適宜変更することができる。さらに、特徴量は、１種類以上であればよい。
【0041】
図８に示す環境地図情報Ｍ１００において、複数の小さい円Ｘ１が実空間における各画像の取得座標（画像情報の取得時における自律移動体１０の自己位置）を示し、円Ｘ１の中心から延びる線Ｈ１が自律移動体１０の姿勢を示す。さらに、円Ｘ１に付記された数字が画像情報の取得時における取得座標（過去の自己位置）を示す。なお、図８では、各取得座標の数字を模式的に表している。
【0042】
ここで、画像から抽出された特徴量とは、画像の対応付けによく用いられる、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）といった局所特徴量である。ＳＩＦＴ又はＳＵＲＦの手法は、特徴点の周囲の模様を特徴量化し、特徴点同士の類似度で画像の対応を取る。このため、ＳＩＦＴ又はＳＵＲＦ等の手法は、遮蔽に強い。また、ＳＩＦＴやＳＵＲＦ等の手法は、スケールの変化、回転に対応しているため、空間内の異なる位置で撮影した画像間の対応を取ることができるため広く利用されている。
【0043】
しかしながら、ＳＩＦＴ又はＳＵＲＦ等の手法では、光源の位置や種類が変わったり、画像上の物体の見え方が変わったりする場合において、空間内の異なる位置で撮影した画像であるとき、空間内の異なる位置で撮影した画像間の対応を取ることができなくなる。
【0044】
一方、多物体検出方法は、画像上の物体の見え方に影響を受けにくい。このため、多物体検出方法は、形状が多少変わったとしても同じ種類に分類することができる。例えば、多物体検出方法は、オフ状態のテレビと、オン状態のテレビとで見ためが全く異なる場合であっても、テレビとして検出することができる。多物体検出方法は、画像内に存在する物体の種類を検出し、検出した物体の座標（位置）、姿勢、大きさ、複数物体の相対的な位置関係等を特徴量化する。これにより、多物体検出方法は、環境の変化が大幅に変化した場合であっても、画像の対応付けに使うことができる。なお、多物体検出方法による特徴量は、画像から１つの特徴量を求めるため、遮蔽に弱い。しかしながら、多物体検出方法は、地図に含まれる１つ以上の特徴量を用いることによって、環境の変化が大幅に変化した場合であっても、画像の対応付けを行うことができる。
【0045】
図６に戻り、自律移動体１０の構成について説明する。
制御部２０は、自律移動体１０を構成する各部を統括的に制御する。制御部２０は、メモリと、ＣＰＵ、ＧＰＵ、ＮＰＵ、ＡＳＩＣ及びＦＰＧＡ等のハードウェアと、を用いて構成される。制御部２０は、自己位置推定装置１６の推定結果に基づいて、移動機構１３を駆動させて所定の位置へ自律移動体１０を移動させる。
制御部２０は、自律移動体１０を構成する各部を統括的に制御する。制御部２０は、メモリと、ＣＰＵ、ＧＰＵ、ＮＰＵ、ＡＳＩＣ及びＦＰＧＡ等のハードウェアと、を用いて構成される。制御部２０は、自己位置推定装置１６の推定結果に基づいて、移動機構１３を駆動させて所定の位置へ自律移動体１０を移動させる。
【0046】
〔２－２． 自己位置推定装置の機能構成〕
次に、自己位置推定装置１６の機能構成について説明する。図９は、自己位置推定装置の機能構成を示すブロック図である。
次に、自己位置推定装置１６の機能構成について説明する。図９は、自己位置推定装置の機能構成を示すブロック図である。
【0047】
図９に示す自己位置推定装置１６は、第１の自己位置推定部１６１と、データセット生成部１６２と、学習部１６３と、第２の自己位置推定部１６４と、第１の統合部１６５と、を備える。
【0048】
第１の自己位置推定部１６１は、画像センサ１４が取得した現在の画像情報と、環境地図情報記憶部１９１から取得した環境地図情報と、を入力として、画像センサ１４が取得した現在の画像情報を取得した取得時における自律移動体１０の現在の位置である第１の自己位置（第１の推定結果）を推定する。そして、第１の自己位置推定部１６１は、第１の自己位置における自己位置推定信頼度の評価に用いる情報を第１の統合部１６５へ出力する。
【0049】
〔２－２－１． 第１の自己位置推定部の詳細な構成〕
ここで、第１の自己位置推定部１６１の詳細な構成について説明する。図１０は、第１の自己位置推定部１６１の機能構成を示すブロック図である。
ここで、第１の自己位置推定部１６１の詳細な構成について説明する。図１０は、第１の自己位置推定部１６１の機能構成を示すブロック図である。
【0050】
図１０に示すように、第１の自己位置推定部１６１は、特徴量抽出部１６１ａと、照合部１６１ｂと、を有する。
【0051】
特徴量抽出部１６１ａは、画像センサ１４から入力された画像情報の特徴量を抽出し、抽出した特徴量を照合部１６１ｂへ出力する。特徴量抽出部１６１ａは、上述したＳＩＦＴ、ＳＵＲＦ及び多物体検出方法の少なくとも１つ以上を用いて、画像センサ１４から入力された画像情報の特徴量を抽出する。なお、特徴量抽出部１６１ａは、ＳＩＦＴ、ＳＵＲＦ及び多物体検出方法以外にも、周知の方法によって特徴量を抽出してもよい。
【0052】
照合部１６１ｂは、特徴量抽出部１６１ａが抽出した特徴量と、環境地図情報記憶部１９１から入力された環境地図情報と、を照合する。具体的には、まず、照合部１６１ｂは、環境地図情報記憶部１９１から入力された環境地図情報に含まれる１つ以上の特徴量と、特徴量抽出部１６１ａが抽出した特徴量との類似度を求める。そして、照合部１６１ｂは、類似度が所定の閾値以上である特徴量の対の過去の自己位置に基づいて、画像センサ１４が取得した現在の画像情報に対応する第１の自己位置を推定する。その後、照合部１６１ｂは、第１の自己位置を第１の統合部１６５へ出力する。ここで、第１の自己位置には、自律移動体１０の推定位置（座標）と、自律移動体１０の姿勢と、が含まれる。また、所定の閾値は、適宜設定することができる。
【0053】
このように構成された第１の自己位置推定部１６１は、第１の自己位置と、第１の自己位置における推定結果の信頼度評価に使える情報を第１の統合部１６５へ出力する。ここで、第１の自己位置の信頼度評価に使える情報とは、画像センサ１４から入力される画像情報から抽出した特徴量と環境地図情報の特徴量との照合時に得られたエラー量と、画像情報のノイズ、明るさ、模様量、テクスチャー及びランドマークの数等である。第１の自己位置推定部１６１は、エラー量と、画像情報のノイズ、明るさ、模様量、テクスチャー及びランドマークの数の少なくとも１つ以上を第１の自己位置の信頼度評価に使える情報として第１の統合部１６５へ出力する。
【0054】
図９に戻り、自己位置推定装置１６の構成の説明を続ける。
データセット生成部１６２は、環境地図情報に基づいて、学習用データセットを生成する。まず、データセット生成部１６２は、環境地図情報記憶部１９１から入力された環境地図情報に含まれる複数の対を１又は複数のグループに分類する。具体的には、データセット生成部１６２は、複数の過去画像情報（画像情報）の各々を、取得時の自己位置（座標）に基づいて、実空間における領域毎にグループ分けを行う。そして、データセット生成部１６２は、グループ毎に、各々の基準とする基準自己位置を設定する。その後、データセット生成部１６２は、グループ毎に、基準自己位置と、過去の自己位置との間のオフセット量を対毎に求める。具体的には、データセット生成部１６２は、グループ毎の基準自己位置からのオフセット量を示すオフセット情報（ｘ．ｙ．ｙａｗ）を過去画像情報（画像情報）毎に算出する。続いて、データセット生成部１６２は、学習用データセットの入力部分を、各対のうちの過去画像情報とする。そして、データセット生成部１６２、学習用データセットの出力部分を、各対が含まれる各グループと、この各グループに関するグループ情報と、オフセット情報と、をリストとする学習用データセットを生成する。続いて、データセット生成部１６２は、学習用データセットを学習部１６３へ出力する。
データセット生成部１６２は、環境地図情報に基づいて、学習用データセットを生成する。まず、データセット生成部１６２は、環境地図情報記憶部１９１から入力された環境地図情報に含まれる複数の対を１又は複数のグループに分類する。具体的には、データセット生成部１６２は、複数の過去画像情報（画像情報）の各々を、取得時の自己位置（座標）に基づいて、実空間における領域毎にグループ分けを行う。そして、データセット生成部１６２は、グループ毎に、各々の基準とする基準自己位置を設定する。その後、データセット生成部１６２は、グループ毎に、基準自己位置と、過去の自己位置との間のオフセット量を対毎に求める。具体的には、データセット生成部１６２は、グループ毎の基準自己位置からのオフセット量を示すオフセット情報（ｘ．ｙ．ｙａｗ）を過去画像情報（画像情報）毎に算出する。続いて、データセット生成部１６２は、学習用データセットの入力部分を、各対のうちの過去画像情報とする。そして、データセット生成部１６２、学習用データセットの出力部分を、各対が含まれる各グループと、この各グループに関するグループ情報と、オフセット情報と、をリストとする学習用データセットを生成する。続いて、データセット生成部１６２は、学習用データセットを学習部１６３へ出力する。
【0055】
図１１は、データセット生成部１６２が生成する学習用データセットにおける１つのグループの一例を模式的に示す図である。図１２は、データセット生成部１６２が生成する学習用データセットにおける別のグループの一例を模式的に示す図である。図１１及び図１２において、小さい円Ｘ１は、各画像情報の取得時における実空間における座標（自己位置）を示す。また、円Ｘ１から延びる線Ｈ１は、自律移動体１０の方向（姿勢）を示す。さらに、枠は、各グループ（例えばグループＡ，グループＢ）を示す。さらにまた、円Ｐ１，円Ｐ２は、各グループの基準自己位置を示す。
【0056】
図１１及び図１２に示すように、まず、データセット生成部１６２は、グループ毎に、過去画像情報（画像情報）と、グループ（出力）と、オフセット量を示す自己位置（出力）と、姿勢（出力）と、をリストにしたものを学習用データセットＤ１，Ｄ２として生成する。データセット生成部１６２は、グループ毎に、環境地図情報内の全ての円Ｘ１に関してリスト化を行うことによって学習用データセットＤ１，Ｄ２を生成する。なお、データセット生成部１６２は、過去画像情報に含まれるプロパティ（メタ情報）に基づいて、ノイズ量、模様量、明るさ等から自己位置の推定に不適切な画像を抽出し、学習用データセットから除外してもよい。例えば、データセット生成部１６２は、各過去画像情報に対して、ノイズ量が所定の閾値以上であるか否かを判定し、ノイズ量が所定の閾値以上である過去画像情報を学習データセットから除外する。これにより、後述する学習部１６３の学習結果の精度を向上させることができる。
【0057】
なお、データセット生成部１６２は、環境地図情報記憶部１９１が記憶する環境地図情報を１つしか記憶していない場合、グループの分類を行う処理を省略してもよい。さらに、データセット生成部１６２は、環境地図情報記憶部１９１が記憶する環境地図情報が３次元の場合、基準自己位置からの３軸（ｘ．ｙ．ｚ）のオフセット量に関するオフセット情報を算出する。また、オフセット情報及び基準自己位置の各々は、クオータニオンのように自己位置を表すのに適した表現方法等であれば、どのような形式であってもよい。さらに、図１１及び図１２において、データセット生成部１６２は、環境地図情報毎にグループと基準自己位置を設けているが、１つの環境地図情報を複数のグループに分離してもよい。
【0058】
図９に戻り、自己位置推定装置１６の構成の説明を続ける。
学習部１６３は、データセット生成部１６２が生成した学習用データセットを入力とし、学習済みパラメータと、環境地図情報における地図上における領域毎の推定信頼度を算出する。具体的には、学習部１６３は、データセット生成部１６２が生成した学習用データセットに記述された過去画像情報（画像情報）から、グループ、自己位置を求める機械学習のためのパラメータを求める。第１実施形態では、機械学習としてＤＮＮ（Deep Neural Network）が想定される。学習部１６３は、グループ分けの誤差、自己位置（座標）の誤差及び姿勢の誤差に対して重みづけ加算したものをデータセット全体に関して合計したものを最小化するよう、予めセットしたネットワークの学習済みパラメータとして算出する。学習部１６３は、算出したパラメータを学習済みパラメータとして第２の自己位置推定部１６４へ出力する。この場合、学習部１６３は、グループ毎の推定誤差に基づいて、グループ毎及び実空間における所定の領域毎の少なくとも一方の推定信頼度を算出し、この領域毎の推定信頼度を第１の統合部１６５へ出力してもよい。
学習部１６３は、データセット生成部１６２が生成した学習用データセットを入力とし、学習済みパラメータと、環境地図情報における地図上における領域毎の推定信頼度を算出する。具体的には、学習部１６３は、データセット生成部１６２が生成した学習用データセットに記述された過去画像情報（画像情報）から、グループ、自己位置を求める機械学習のためのパラメータを求める。第１実施形態では、機械学習としてＤＮＮ（Deep Neural Network）が想定される。学習部１６３は、グループ分けの誤差、自己位置（座標）の誤差及び姿勢の誤差に対して重みづけ加算したものをデータセット全体に関して合計したものを最小化するよう、予めセットしたネットワークの学習済みパラメータとして算出する。学習部１６３は、算出したパラメータを学習済みパラメータとして第２の自己位置推定部１６４へ出力する。この場合、学習部１６３は、グループ毎の推定誤差に基づいて、グループ毎及び実空間における所定の領域毎の少なくとも一方の推定信頼度を算出し、この領域毎の推定信頼度を第１の統合部１６５へ出力してもよい。
【0059】
なお、学習部１６３は、データセット生成部１６２によって生成された学習用データセットに複数のグループがない場合、学習用データセットに含まれる姿勢の推定誤差を最小化するようなパラメータを算出し、この算出結果を学習済みパラメータとして出力する。また、学習部１６３は、グループ毎の推定信頼度を、グループ毎に算出する必要がなく、グループを所定の領域毎に分割し、この分割した領域毎に推定信頼度を算出し、この領域毎の推定信頼度を出力してもよい。この場合、学習部１６３は、所定の領域に含まれる画像について限定した推定信頼度を算出すればよい。また、ＤＮＮのネットワークの種類は、学習済みパラメータが第２の自己位置推定部１６４において使用できるものであればよく、特に種類を限定する必要がない。
【0060】
第２の自己位置推定部１６４は、画像センサ１４から入力された現在の画像情報と、学習部１６３から入力された学習済みパラメータをセットしたＤＮＮを用いて、自律移動体１０の現在の位置である第２の自己位置を推定する。そして、第２の自己位置推定部１６４は、第２の自己位置（推定結果）を第１の統合部１６５へ出力する。
【0061】
図１３は、第２の自己位置推定部１６４による自律移動体１０の第２の自己位置の推定方法を模式的に示す図である。なお、図１３では、大丸Ｘ２が第２の自己位置を示し、大丸Ｘ２から延びる直線Ｈ２が自律移動体１０の姿勢を示す。
【0062】
図１３に示すように、第２の自己位置推定部１６４は、画像センサ１４から入力された現在の画像情報Ｑ４と、学習部１６３から入力された学習済みパラメータをセットしたＤＮＮを用いて、自律移動体１０の現在の位置である第２の自己位置を推定する。この場合、第２の自己位置推定部１６４は、第２の自己位置（推定結果）の信頼度を表す第２の自己位置推定信頼度を第１の統合部１６５へ出力する。なお、ＤＮＮのネットワークの種類は、学習済みパラメータが第２の自己位置推定部１６４において使用できるものであればよく、特に種類を限定する必要がない。
【0063】
図９に戻り、自己位置推定装置１６の構成の説明を続ける。
第１の統合部１６５は、第１の自己位置推定部１６１から入力された第１の自己位置と、第２の自己位置推定部１６４から入力された第２の自己位置と、に基づいて、自律移動体１０の現在の自己位置を推定し、この推定結果を制御部２０へ出力する。
第１の統合部１６５は、第１の自己位置推定部１６１から入力された第１の自己位置と、第２の自己位置推定部１６４から入力された第２の自己位置と、に基づいて、自律移動体１０の現在の自己位置を推定し、この推定結果を制御部２０へ出力する。
【0064】
なお、第１の統合部１６５は、学習部１６３から入力された領域毎の推定信頼度及び第２の自己位置推定部１６４から入力された第２の自己位置推定信頼度の少なくとも一方に基づいて、第１の自己位置と第２の自己位置の各々に乗じる重み係数を算出する。そして、第１の統合部１６５は、第１の自己位置と第２の自己位置の各々に重み係数を乗じることによって、第１の自己位置と第２の自己位置とのブレンド率を切り替えもよい。また、第１の統合部１６５は、第２の自己位置推定信頼度がない場合、領域毎の推定信頼度を変調してもよく、推定信頼度と共に増加する値であれもよい。また、第１の統合部１６５は、領域毎の推定信頼度がない場合、第２の自己位置推定信頼度を変調してもよく、自己位置推定信頼度と共に増加する値であればよい。
【0065】
〔２－３． 自律移動体の処理〕
次に、自律移動体１０が実行する処理について説明する。図１４は、自律移動体１０が実行する処理の概要を示すフローチャートである。
次に、自律移動体１０が実行する処理について説明する。図１４は、自律移動体１０が実行する処理の概要を示すフローチャートである。
【0066】
図１４に示すように、まず、画像センサ１４は、所定の視野領域を撮像することによって画像情報を取得する（ステップＳ１０１）。
【0067】
続いて、第１の自己位置推定部１６１は、画像センサ１４が取得した現在の画像情報と、環境地図情報記憶部１９１から取得した環境地図情報と、に基づいて、画像センサ１４が取得した現在の画像情報を取得した取得時における自律移動体１０の第１の自己位置を推定する（ステップＳ１０２）。
【0068】
その後、データセット生成部１６２は、環境地図情報記憶部１９１から入力された環境地図情報に含まれる複数の画像情報（過去画像情報）の各々を、取得時の自己位置（座標）に基づいて、学習用データセットを生成する（ステップＳ１０３）。
【0069】
続いて、学習部１６３は、データセット生成部１６２が生成した学習用データセットに記述された画像情報から、グループ、自己位置を求める機械学習のための学習済みパラメータを生成する（ステップＳ１０４）。この場合、学習部１６３は、グループ毎の推定誤差に基づいて、グループ毎及び実空間における所定の領域毎の少なくとも一方の推定信頼度を算出し、この推定信頼度を第１の統合部１６５へ出力する。
【0070】
その後、第２の自己位置推定部１６４は、画像センサ１４から入力された現在の画像情報と学習部１６３が生成した学習済みパラメータとに基づいて、第２の自己位置を推定する。
【0071】
続いて、第１の統合部１６５は、第１の自己位置推定部１６１から入力された第１の自己位置と、第２の自己位置推定部１６４から入力された第２の自己位置と、に基づいて、自律移動体１０の現在の自己位置を推定する（ステップＳ１０６）。
【0072】
その後、制御部２０は、第１の統合部１６５の推定結果と学習部１６３から入力された各領域の推定信頼度とに基づいて、移動機構１３を駆動することによって、推定信頼度が低い領域へ自律移動体１０を移動させる（ステップＳ１０７）。
【0073】
続いて、自律移動体１０に対して電源オフされた場合（ステップＳ１０８；Ｙｅｓ）、自律移動体１０は、本処理を終了する。これに対して、自律移動体１０に対して電源オフされていない場合（ステップＳ１０８：Ｎｏ）、自律移動体１０は、上述したステップＳ１０１へ戻る。
【0074】
〔２－４．作用・効果〕
以上説明した第１の実施形態によれば、第１の自己位置推定部１６１がＳＬＡＭ処理によって作成された環境地図情報と、現在の画像情報と、に基づいて、第１の自己位置を推定する。そして、第２の自己位置推定部１６４がＳＬＡＭ処理によって作成された環境地図情報が機械学習によって学習された学習済みパラメータと、現在の画像情報と、に基づいて、第２の自己位置を推定する。その後、第１の統合部１６５が第１の自己位置と、第２の自己位置とを統合することによって自律移動体１０の現在の自己位置を推定する。この結果、自律移動体１０が頻繁に休止したり、外部環境が大きく変化したりする場合であっても、高精度で安定した自律移動体１０の自己位置を推定することができる。
以上説明した第１の実施形態によれば、第１の自己位置推定部１６１がＳＬＡＭ処理によって作成された環境地図情報と、現在の画像情報と、に基づいて、第１の自己位置を推定する。そして、第２の自己位置推定部１６４がＳＬＡＭ処理によって作成された環境地図情報が機械学習によって学習された学習済みパラメータと、現在の画像情報と、に基づいて、第２の自己位置を推定する。その後、第１の統合部１６５が第１の自己位置と、第２の自己位置とを統合することによって自律移動体１０の現在の自己位置を推定する。この結果、自律移動体１０が頻繁に休止したり、外部環境が大きく変化したりする場合であっても、高精度で安定した自律移動体１０の自己位置を推定することができる。
【0075】
また、第１の実施形態によれば、自己位置推定装置１６がデータセット生成部１６２と、学習部１６３と、を備える。そして、データセット生成部１６２が実際の自律移動体１０によって取得された画像情報を用いた環境地図情報に基づいて、学習用データセットを生成する。さらに、学習部１６３が学習用データセットを入力とし、学習済みパラメータと、地図上における複数の領域の各々の推定信頼度を算出する。これにより、自律移動体１０が使用される環境に最適化された安定で高精度な自己位置を推定することができる。
【0076】
また、第１の実施形態によれば、第１の統合部１６５が複数の領域の各々の推定信頼度と、第２の自己位置推定信頼度と、の少なくとも一方に基づいて、第１の自己位置と、第２の自己位置と、を統合することによって自律移動体１０の現在の自己位置を推定する。これにより、学習が不十分な領域であっても、十分な自己位置推定の精度を得ることができる。
【0077】
また、第１の実施形態によれば、データセット生成部１６２が複数の対を、１又は複数のグループに分類し、グループ毎に、各々の基準とする基準自己位置を設定する。そして、データセット生成部１６２がグループ毎に、基準自己位置と、過去の自己位置との間のオフセット量を対毎に求める。その後、データセット生成部１６２が学習用データセットの入力部分を、対のうちの過去画像情報とし、学習用データセットの出力部分を、対が含まれるグループに関するグループ情報と、オフセット量とする学習用データセットを生成する。これにより、データセット生成部１６２は、激しい環境変化のある画像群から機械学習に適した学習用データを生成する。この結果、自律移動体１０が使用される環境に最適化された安定で高精度な自己位置を推定することができる。
【0078】
また、第１の実施形態によれば、データセット生成部１６２が環境地図情報における複数の対のうち過去画像情報のプロパティが許容範囲内であるか否かを判定する。そして、データセット生成部１６２が許容範囲内でない対の過去画像情報に対応付けられた特徴量と、過去の自己位置を学習用データセットから除外するので、激しい環境変化のある画像群から機械学習に適した学習用データを生成することができる。
【0079】
また、第１の実施形態によれば、制御部２０が第１の統合部１６５が推定した現在の自己位置に基づいて、複数の領域毎の各々の推定信頼度が低い領域に優先的に移動するように移動機構１３を制御する。これにより、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
【0080】
＜３．第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態に係る自己位置推定装置１６と構成が異なる。以下においては、第２の実施形態に係る自己位置推定装置について説明する。
次に、第２の実施形態について説明する。第２の実施形態は、上述した第１の実施形態に係る自己位置推定装置１６と構成が異なる。以下においては、第２の実施形態に係る自己位置推定装置について説明する。
【0081】
〔３－１． 自己位置推定装置の機能構成〕
図１５は、第２の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。図１５に示す自己位置推定装置１６Ａは、上述した第１実施形態に係る自己位置推定装置１６の構成に加えて、第３の自己位置推定部１６６と、重み算出部１６７と、第２の統合部１６８と、をさらに備える。さらに、自己位置推定装置１６Ａは、上述した第１の統合部１６５に代えて、第１の統合部１６５Ａをさらに備える。
図１５は、第２の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。図１５に示す自己位置推定装置１６Ａは、上述した第１実施形態に係る自己位置推定装置１６の構成に加えて、第３の自己位置推定部１６６と、重み算出部１６７と、第２の統合部１６８と、をさらに備える。さらに、自己位置推定装置１６Ａは、上述した第１の統合部１６５に代えて、第１の統合部１６５Ａをさらに備える。
【0082】
第３の自己位置推定部１６６は、オドメトリ情報に基づいて、自律移動体１０の自己位置を推定する。具体的には、第３の自己位置推定部１６６は、移動機構１３における車輪の回転数や歩行の歩数のように移動機構１３の動作に応じた移動量に基づいて、一定期間毎の変位量の積分値を算出することによって自律移動体１０の自己位置を推定する。以下において、この推定結果を、第３の自己位置という。なお、オドメトリには、外界センサ１７によるビジュアルオドメトリ、レーザーセンサを用いたレーザーオドメトリ及びＴＯＦセンサを用いたＴＯＦオドメトリの少なくとも１つ以上が含まれる。第３の自己位置推定部１６６は、ビジュアルオドメトリ、レーザーオドメトリ及びＴＯＦオドメトリの複数組み合わせることによって、第３の自己位置を推定してもよい。これにより、第３の自己位置の精度をより向上させることができる。
【0083】
重み算出部１６７は、第１の自己位置の第１の自己位置推定信頼度に基づいて、第１の自己位置に乗じる重み係数を算出する。具体的には、重み算出部１６７は、第１の自己位置推定部１６１から入力された推定結果の信頼度評価に使える情報を実際のブレント比率に変換する。例えば、入力される情報が特徴量の照合エラーである場合、推定信頼度は、エラーが大きいほど下がる。このため、重み算出部１６７は、第１の自己位置推定部１６１から入力された第１の自己位置推定信頼度に対して変調を施すことができる重み係数を第２の統合部１６８へ出力する。
【0084】
図１６は、重み算出部１６７が行う重み付けを模式的に示す図である。図１６において、横軸が照合エラーを示し、縦軸が重みを示す。また、図１６において、折れ線Ｌ１が重み係数の変調の一例を示す。なお、図１６では、ブレンド比率の値を０．０～１．０の重みに変換するものとする。
【0085】
図１６の折れ線Ｌ１に示すように、重み算出部１６７は、特徴量の照合エラーである場合、エラーが大きいほど推定信頼度が下がるように変調する重み係数を設定する。具体的には、重み算出部１６７は、第１の自己位置推定部１６１から入力された第１の自己位置推定信頼度に対して照合エラーに応じた変調を施すことができる重み係数を第２の統合部１６８へ出力する。なお、重み係数は、第１の自己位置推定部１６１の第１の自己位置推定信頼度と共に増加する値であれば、適宜変更することができる。
【0086】
第２の統合部１６８は、重み算出部１６７から入力された重み係数に基づいて、第１の自己位置推定部１６１から入力された第１の自己位置と第３の自己位置推定部１６６から入力された第３の自己位置とを統合した第２の統合結果を生成する。具体的には、第２の統合部１６８は、以下の式（１）によって第２の統合結果を生成する。
第２の統合結果＝重み係数×第１の自己位置＋（１－重み係数）×第３の自己位置・・・（１）
第２の統合結果＝重み係数×第１の自己位置＋（１－重み係数）×第３の自己位置・・・（１）
【0087】
第１の統合部１６５Ａは、第２の自己位置推定部１６４から入力された第２の自己位置と、第２の統合部１６８から入力された第２の統合結果と、を統合することによって自律移動体１０の現在の自己位置を推定した第１の統合結果を制御部２０へ出力する。
【0088】
〔３－２． 自己位置推定装置の処理〕
次に、自己位置推定装置１６Ａを備える自律移動体１０が実行する処理について説明する。図１７は、自律移動体１０が実行する処理の概要を示すフローチャートである。
次に、自己位置推定装置１６Ａを備える自律移動体１０が実行する処理について説明する。図１７は、自律移動体１０が実行する処理の概要を示すフローチャートである。
【0089】
【0090】
ステップＳ２０３において、第３の自己位置推定部１６６は、オドメトリ情報に基づいて、自律移動体１０の第３の自己位置を推定する。
【0091】
続いて、重み算出部１６７は、第１の自己位置推定部１６１から入力された第１の自己位の信頼度評価に使える情報に基づいて、第１の自己位置と第３の自己位置とを統合する際のブレンド比率を示す重み係数を算出（ステップＳ２０５）。
【0092】
その後、第２の統合部１６８は、重み算出部１６７から入力された重み係数に基づいて、第１の自己位置推定部１６１から入力された第１の自己位置と第３の自己位置推定部１６６から入力された第３の自己位置とを統合した第２の統合結果を生成する（ステップＳ２０６）。
【0093】
ステップＳ２０７～ステップＳ２０９は、上述した図１４のステップＳ１０３～ステップＳ１０５の各々と同様の処理のため、詳細な説明は省略する。
【0094】
ステップＳ２１０において、第１の統合部１６５Ａは、第２の自己位置推定部１６４から入力された第２の自己位置と、第２の統合部１６８から入力された第２の統合結果と、を統合することによって自律移動体１０の現在の自己位置を推定した推定結果を制御部２０へ出力する。
【0095】
ステップＳ２１１及びステップＳ２１２は、上述した図１４のステップＳ１０７及びステップＳ１０８の各々と同様の処理のため、詳細な説明は省略する。
【0096】
〔３－３． 作用・効果〕
以上説明した第２の実施形態によれば、第３の自己位置推定部１６６が自律移動体１０のオドメトリ情報に基づいて、現在の第３の自己位置を推定する。そして、重み算出部１６７が第１の自己位置の第１の自己位置推定信頼度に基づいて、第１の自己位置に乗じる重み係数を算出する。さらに、第２の統合部１６８は、重み係数に基づいて、第１の自己位置と第３の自己位置とを統合する。最後に、第１の統合部１６５Ａが、第２の統合部１６８が統合した統合結果と第２の自己位置と統合することによって自律移動体１０の現在の自己位置を推定する。この結果、第１の自己位置の第１の自己位置推定信頼度に基づいて、第１の自己位置と第２の自己位置とのブレンド率を変化させるので、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
以上説明した第２の実施形態によれば、第３の自己位置推定部１６６が自律移動体１０のオドメトリ情報に基づいて、現在の第３の自己位置を推定する。そして、重み算出部１６７が第１の自己位置の第１の自己位置推定信頼度に基づいて、第１の自己位置に乗じる重み係数を算出する。さらに、第２の統合部１６８は、重み係数に基づいて、第１の自己位置と第３の自己位置とを統合する。最後に、第１の統合部１６５Ａが、第２の統合部１６８が統合した統合結果と第２の自己位置と統合することによって自律移動体１０の現在の自己位置を推定する。この結果、第１の自己位置の第１の自己位置推定信頼度に基づいて、第１の自己位置と第２の自己位置とのブレンド率を変化させるので、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
【0097】
〔３－４． 第２の実施形態の変形例〕
次に、第２の実施形態の変形例について説明する。図１８は、第２の実施形態の変形例に係る自己位置推定装置の機能構成を示すブロック図である。図１８に示す自己位置推定装置１６Ｂは、上述した実施形態２に係る自己位置推定装置１６Ａの第１の統合部１６５Ａに代えて、第１の統合部１６５Ｂを備える。
次に、第２の実施形態の変形例について説明する。図１８は、第２の実施形態の変形例に係る自己位置推定装置の機能構成を示すブロック図である。図１８に示す自己位置推定装置１６Ｂは、上述した実施形態２に係る自己位置推定装置１６Ａの第１の統合部１６５Ａに代えて、第１の統合部１６５Ｂを備える。
【0098】
第１の統合部１６５Ｂは、第１の自己位置推定部１６１から入力された第１の自己位置推定信頼度及び第３の自己位置推定部１６６から入力された第３の自己位置推定信頼度の少なくとも一方に基づいて、自律移動体１０の現在の自己位置を推定する。具体的には、第１の統合部１６５Ｂは、第１の自己位置推定信頼度及び第３の自己位置推定信頼度の少なくとも一方に基づいて、推定信頼度が高いものの比率が高くなるように第２の自己位置と、第２の統合結果と、を統合することによって自律移動体１０の現在の自己位置を推定する。この場合、第１の統合部１６５Ｂは、第１の自己位置推定信頼度及び第３の自己位置推定信頼度の各々が所定の値よりも低い場合、第１の自己位置推定信頼度及び第３の自己位置推定信頼度を用いずに、第２の自己位置と、第２の統合結果と、を統合することによって自律移動体１０の現在の自己位置を推定するようにしてもよい。
【0099】
〔３－５． 作用・効果〕
以上説明した第２の実施形態の変形例によれば、第１の統合部１６５Ｂが第１の自己位置推定信頼度及び第３の自己位置推定信頼度の少なくとも一方に基づいて、第１の自己位置と、第２の自己位置と、第２の統合結果と、を統合する。これにより、第２の自己位置と第２の統合結果とのブレンド率を変化させるので、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
以上説明した第２の実施形態の変形例によれば、第１の統合部１６５Ｂが第１の自己位置推定信頼度及び第３の自己位置推定信頼度の少なくとも一方に基づいて、第１の自己位置と、第２の自己位置と、第２の統合結果と、を統合する。これにより、第２の自己位置と第２の統合結果とのブレンド率を変化させるので、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
【0100】
＜４．第３の実施形態＞
次に、第３の実施形態について説明する。第３の実施形態は、上述した第１の実施形態に係る自己位置推定装置１６と構成が異なる。以下においては、第３の実施形態に係る自己位置推定装置について説明する。
次に、第３の実施形態について説明する。第３の実施形態は、上述した第１の実施形態に係る自己位置推定装置１６と構成が異なる。以下においては、第３の実施形態に係る自己位置推定装置について説明する。
【0101】
〔４－１． 自己位置推定装置の機能構成〕
図１９は、第３の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。図１９に示す自己位置推定装置１６Ｃは、上述した第２の実施形態に係る自己位置推定装置１６Ａの構成に加えて、地図統合部１６９をさらに備える。
図１９は、第３の実施形態に係る自己位置推定装置の機能構成を示すブロック図である。図１９に示す自己位置推定装置１６Ｃは、上述した第２の実施形態に係る自己位置推定装置１６Ａの構成に加えて、地図統合部１６９をさらに備える。
【0102】
地図統合部１６９は、環境地図情報記憶部１９１が記憶する複数の環境地図情報を統合する。具体的には、まず、地図統合部１６９は、環境地図情報記憶部１９１に複数の環境地図情報が記憶されているか否かを判定する。そして、地図統合部１６９は、環境地図情報記憶部１９１に複数の環境地図情報が記憶されていると判定した場合、互いに異なる複数の環境地図情報に対して、環境地図情報に対応付けられた各対に含まれる過去画像情報と、過去画像情報から抽出した第１の特徴量と、過去画像情報から抽出した第２の特徴量と、過去画像情報の取得時における過去の自己位置と、の対間の類似度を、環境変化に強い第２の特徴量を用いて評価する。続いて、地図統合部１６９は、類似度が所定の閾値以上である対の数をカウントし、互いに異なる複数の環境地図情報間で対の数が所定値以上である場合、類似度が所定の閾値以上である対の過去の自己位置に基づいて、互いに異なる環境地図情報を統合する。その後、地図統合部１６９は、環境地図情報記憶部１９１が記憶する環境地図情報を更新する。ここで、所定の閾値及び所定値の各々は、適宜設定することができる。
【0103】
図２０は、地図統合部１６９が互いに異なる環境地図情報を統合する統合前の状態を模式的に示す図である。図２１は、地図統合部１６９が互いに異なる環境地図情報を統合した統合後の状態を模式的に示す図である。図２２は、昼の画像情報に対して多物体検出を行った際に検出された第２の特徴量を模式的に示す図である。図２３は、夜の画像情報に対して多物体検出を行った際に検出された第２の特徴量を模式的に示す図である。
【0104】
図２０及び図２１に示すように、まず、地図統合部１６９は、第２の特徴量に基づいて、環境地図情報Ｍ２００，Ｍ２０１の各々に対して、環境地図情報Ｍ２００，Ｍ２０１の各々に属する複数の対間の類似度を評価する。
【0105】
ここで、第２の特徴量とは、多物体検出方法によって検出された物体の大きさ、位置、種類、向きの少なくとも１つ以上のである。具体的には、図２２の画像Ｑ２００及び図２３の画像Ｑ２０１に示すように、第２の特徴量は、画像Ｑ２００及び画像Ｑ２０１に写るランドマークとして機能する物体である。例えば、図２２に示すように、画像Ｑ２００では、第２の特徴量として機能する物体としてテレビ（ＴＶ）と、テレビの位置と、が含まれている。同様に、画像Ｑ２００，Ｑ２０１では、複数の物体の大きさ、位置、種類、向きの少なくとも１つ以上が第２の特徴量として検出されている。
【0106】
地図統合部１６９は、環境地図情報Ｍ２００，Ｍ２０１に対して、第２の特徴量の類似度が所定の値以上である対の数をカウントし、十分な数の類似した対がある場合、類似した対の取得時の過去の自己位置に基づいて、互いに異なる環境地図情報Ｍ２００，Ｍ２０１を統合した環境地図情報Ｍ２０２を生成する（図２０→図２１）。そして、地図統合部１６９は、環境地図情報記憶部１９１が記憶する環境地図情報を更新する。なお、地図統合部１６９は、１枚の画像単体で類似度を評価するのでなく、第２の特徴量間の類似度を互いに異なる環境地図情報全体で合計したものがある閾値以上であるか否かを判定し、閾値以上である場合、互いに異なる環境地図情報を統合するようにしてもよい。
【0107】
〔４－２． 作用・効果〕
以上説明した第３の実施形態によれば、地図統合部１６９が第２の特徴量に基づいて、環境地図情報記憶部１９１によって記憶された複数の環境地図情報を統合する。そして、第１の自己位置推定部１６１及び第２の自己位置推定部１６４が統合後の環境地図情報を用いて、第１の自己位置と、第２の自己位置と、を推定する。さらに、データセット生成部１６２が統合後の環境地図情報を用いて学習用データセットを生成し、学習部１６３が激しい環境変化のある画像群から機械学習する。これにより、激しい環境変化であっても、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
以上説明した第３の実施形態によれば、地図統合部１６９が第２の特徴量に基づいて、環境地図情報記憶部１９１によって記憶された複数の環境地図情報を統合する。そして、第１の自己位置推定部１６１及び第２の自己位置推定部１６４が統合後の環境地図情報を用いて、第１の自己位置と、第２の自己位置と、を推定する。さらに、データセット生成部１６２が統合後の環境地図情報を用いて学習用データセットを生成し、学習部１６３が激しい環境変化のある画像群から機械学習する。これにより、激しい環境変化であっても、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
【0108】
さらに、第３の実施形態によれば、機械学習を行うことで、ロボットの活動環境での位置推定に最適な特徴量を画像から抽出し、高精度で安定的に自律移動体１０の自己位置を推定することができる。
【0109】
また、第３の実施形態によれば、地図統合部１６９が第２の特徴量に基づいて、環境地図情報記憶部１９１によって記憶された複数の環境地図情報を統合する。これにより、ある空間で生活するのに十分な地図があるにも関わらず、その都度、異なった環境地図情報が作成された場合であっても、容量を増加することを防止することができる。この結果、自己位置推定装置１６Ｃは、環境地図情報の枚数が少なくなるので、自己位置の推定処理に短時間で行うことができる。
【0110】
〔４－３． 第３の実施形態の変形例〕
次に、第３の実施形態の変形例について説明する。図２４は、第３の実施形態の変形例に係る自己位置推定装置の機能構成を示すブロック図である。
次に、第３の実施形態の変形例について説明する。図２４は、第３の実施形態の変形例に係る自己位置推定装置の機能構成を示すブロック図である。
【0111】
図２４に示す自己位置推定装置１６Ｄは、上述した第３の実施形態に係る自己位置推定装置１６Ｃの構成から第３の自己位置推定部１６６、重み算出部１６７及び第２の統合部１６８の機能を省略したものである。
【0112】
〔４－４． 作用・効果〕
以上説明した第３の実施形態の変形例によれば、上述した第３の実施形態と同様に、激しい環境変化であっても、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
以上説明した第３の実施形態の変形例によれば、上述した第３の実施形態と同様に、激しい環境変化であっても、自律移動体１０が実空間の環境内を活動すればするほど自己位置の安定度と精度を向上させることができる。
【0113】
【0114】
図２５に示す自己位置推定装置１６Ｅは、上述した第１の実施形態に係る自己位置推定装置１６の構成から、データセット生成部１６２、学習部１６３が省略されている。自己位置推定装置１６Ｅは、通信部１８及びネットワークを介してサーバ１００から各種情報を取得する。
【0115】
サーバ１００は、メモリと、ＣＰＵ等のハードウェアを用いて構成される。サーバ１００は、上述した環境地図情報記憶部１９１と、データセット生成部１６２と、学習部１６３と、を備える。サーバ１００は、ネットワークを介して自律移動体１０からの要求に応じて、環境地図情報記憶部１９１が記憶する環境地図情報、学習済みパラメータ、領域毎の推定信頼度等を含む各種情報を通信部１８へ送信する。
【0116】
このように構成された自己位置推定装置１６Ｅは、通信部１８を介してサーバ１００から環境地図情報、学習済みパラメータ及び領域毎の推定信頼度を取得することによって自律移動体１０の現在の自己位置を推定する。
【0117】
〔５－２． 作用・効果〕
以上説明した第４の実施形態によれば、自己位置推定装置１６Ｅがサーバ１００に設けられた環境地図情報記憶部１９１、データセット生成部１６２及び学習部１６３の各々から各種情報を取得することができるので、装置の小型化を図ることができる。
以上説明した第４の実施形態によれば、自己位置推定装置１６Ｅがサーバ１００に設けられた環境地図情報記憶部１９１、データセット生成部１６２及び学習部１６３の各々から各種情報を取得することができるので、装置の小型化を図ることができる。
【0118】
＜６．むすび＞
上述した本開示の第１の実施形態～第４の実施形態では、自己位置推定装置が自律移動体に設けられていたが、これに限定されることなく、例えばサーバ上に設けてもよい。この場合、自己位置推定装置は、自律移動体の通信部を介して画像センサが取得した画像情報を受信し、受信した画像情報を用いて自律移動体の自己位置を推定し、この推定結果を自律移動体へ送信するようにすればよい。
上述した本開示の第１の実施形態～第４の実施形態では、自己位置推定装置が自律移動体に設けられていたが、これに限定されることなく、例えばサーバ上に設けてもよい。この場合、自己位置推定装置は、自律移動体の通信部を介して画像センサが取得した画像情報を受信し、受信した画像情報を用いて自律移動体の自己位置を推定し、この推定結果を自律移動体へ送信するようにすればよい。
【0119】
また、本開示の第１の実施形態～第４の実施形態に係る自律移動体及び自己位置推定装置の各々に開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した本開示の第１の実施形態～第４の実施形態に係る自律移動体及び自己位置推定装置に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の第１の実施形態～第４の実施形態に係る自律移動体及び自己位置推定装置で説明した構成要素を適宜組み合わせてもよい。
【0120】
また、本開示の第１の実施形態～第４の実施形態に係る自律移動体及び自己位置推定装置では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0121】
また、本開示の第１の実施形態～第４の実施形態に係る自律移動体及び自己位置推定装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0122】
また、本開示の第１の実施形態～第４の実施形態に係る自律移動体及び自己位置推定装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【0123】
なお、本明細書におけるタイミングチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてタイミング間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したタイミングチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【0124】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0125】
なお、本技術は以下のような構成も取ることができる。
（１）
実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
を備える、
自己位置推定装置。
（２）
前記（１）に記載の自己位置推定装置であって、
前記環境地図情報に基づいて、学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
をさらに備え、
前記第２の自己位置推定部は、
前記画像センサが取得した前記現在の画像情報と、前記学習部が算出した前記学習済みパラメータと、に基づいて、前記第２の自己位置と、前記第２の自己位置を推定した際の第２の自己位置推定信頼度と、を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の自己位置推定信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定装置。
（３）
前記（２）に記載の自己位置推定装置であって、
前記データセット生成部は、
複数の前記対を、１又は複数のグループに分類し、
前記グループ毎に、各々の基準とする基準自己位置を設定し、
前記グループ毎に、前記基準自己位置と、前記過去の自己位置との間のオフセット量を示すオフセット情報を前記対毎に求め、
前記学習用データセットの入力部分を、前記対のうちの前記過去画像情報とし、
前記学習用データセットの出力部分を、前記対が含まれる前記グループに関するグループ情報と、前記オフセット情報とする前記学習用データセットを生成する、
自己位置推定装置。
（４）
前記（２）又は（３）に記載の自己位置推定装置であって、
前記データセット生成部は、
前記環境地図情報における複数の前記対のうち前記過去画像情報のプロパティが許容範囲内であるか否かを判定し、
前記許容範囲内でない前記対の前記過去画像情報に対応付けられた前記特徴量と、前記過去の自己位置を前記学習用データセットから除外する、
自己位置推定装置。
（５）
前記（１）～（４）のいずれか一つに記載の自己位置推定装置であって、
前記自律移動体のオドメトリ情報に基づいて、現在の第３の自己位置を推定する第３の自己位置推定部と、
前記第１の自己位置の自己位置推定信頼度に基づいて、前記第１の自己位置に乗じる重み係数を算出する重み算出部と、
前記重み算出部が算出した前記重み係数に基づいて、前記第１の自己位置と前記第３の自己位置とを統合する第２の統合部と、
をさらに備え、
前記第１の統合部は、
前記第２の統合部が統合した統合結果と前記第２の自己位置と統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定装置。
（６）
前記（１）～（５）のいずれか一つに記載の自己位置推定装置であって、
複数の前記環境地図情報を記憶する環境地図情報記憶部と、
前記環境地図情報記憶部が記憶する複数の前記環境地図情報を統合する地図統合部と、
をさらに備え、
前記特徴量は、
第１の特徴量抽出方法で抽出された第１の特徴量と、
前記第１の特徴量抽出方法と異なる第２の特徴量抽出方法で抽出された第２の特徴量と、
を含み、
前記環境地図情報記憶部は、複数の前記対のうち、相対的な位置関係が異なる複数の前記対を異なる前記環境地図情報として複数記憶し、
前記地図統合部は、
前記第２の特徴量に基づいて、異なる前記環境地図情報を統合する、
自己位置推定装置。
（７）
前記（６）に記載の自己位置推定装置であって、
前記第１の自己位置推定部は、
前記環境地図情報における前記過去画像情報と、前記第１の特徴量と、前記過去の自己位置と、前記現在の画像情報と、に基づいて、前記第１の自己位置を推定し、
前記地図統合部は、
前記環境地図情報記憶部が複数の前記環境地図情報を記憶しているか否かを判定し、
前記環境地図情報記憶部が複数の前記環境地図情報を記憶していると判定した場合、異なる前記環境地図情報に含まれる前記過去画像情報と、前記第１の特徴量と、前記第２の特徴量と、前記過去の自己位置と、の前記対間における類似度を、前記第２の特徴量を用いて評価し、
異なる前記環境地図情報において前記類似度が所定の閾値以上である前記対の数をカウントし、
前記対の数が所定値以上である場合、前記類似度が所定の閾値以上である前記対の前記過去の自己位置に基づいて異なる前記環境地図情報を統合する、
自己位置推定装置。
（８）
前記（６）又は（７）に記載の自己位置推定装置であって、
前記第２の特徴量は、
前記過去画像情報に対して多物体検出処理を行うことによって検出された物体の大きい、位置、種類、向きのいずれか一つ以上である、
自己位置推定装置。
（９）
自己位置推定装置と、
１つ以上の画像センサと、
移動機構と、
前記移動機構を制御する制御部と、
を備える自律移動体であって、
前記自己位置推定装置は、
前記画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における当該自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
前記環境地図情報に基づいて、学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
を備え、
前記第２の自己位置推定部は、
前記画像センサが取得した前記現在の画像情報と、前記学習部が算出した前記学習済みパラメータと、に基づいて、前記第２の自己位置と、前記第２の自己位置を推定した際の第２の推定結果信頼度と、を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の推定結果信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定し、
前記制御部は、
前記第１の統合部が推定した前記現在の自己位置に基づいて、前記移動機構を駆動することによって前記複数の領域毎の各々の推定信頼度が低い領域に優先的に当該自律移動体を移動させる、
自律移動体。
（１０）
前記（９）に記載の自律移動体であって、
複数の前記環境地図情報を記憶する環境地図情報記憶部をさらに備える、
自律移動体。
（１１）
自己位置推定装置と、
１つ以上の画像センサと、
外部のサーバと双方向に通信可能な通信部と、
移動機構と、
前記通信部と、前記移動機構と、を制御する制御部と、
を備える自律移動体であって、
前記自己位置推定装置は、
前記画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における当該自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
を備え、
前記サーバは、
複数の前記環境地図情報を記憶する環境地図情報記憶部と、
前記環境地図情報に基づいて、学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
を備え、
前記制御部は、
前記通信部に、前記環境地図情報と、前記学習部が算出した前記学習済みパラメータと、を取得させ、
前記第２の自己位置推定部は、
前記画像センサが取得した前記現在の画像情報と、前記学習部が算出した前記学習済みパラメータと、に基づいて、前記第２の自己位置及び前記第２の自己位置を推定した際の第２の推定結果信頼度を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の推定結果信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自律移動体。
（１２）
前記（１１）に記載の自律移動体であって、
前記制御部は、
前記第１の統合部が推定した前記現在の自己位置に基づいて、前記移動機構を駆動することによって前記複数の領域毎の各々の推定信頼度が低い領域に優先的に当該自律移動体を移動させる、
自律移動体。
（１３）
自己位置推定装置が実行する自己位置推定方法であって、
実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量、前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定し、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定し、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定方法。
（１４）
自己位置推定装置に実行させるプログラムであって、
実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、環境地図情報記憶部が記憶する前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量、前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定させ、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定させ、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定させる、
プログラム。
（１）
実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
を備える、
自己位置推定装置。
（２）
前記（１）に記載の自己位置推定装置であって、
前記環境地図情報に基づいて、学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
をさらに備え、
前記第２の自己位置推定部は、
前記画像センサが取得した前記現在の画像情報と、前記学習部が算出した前記学習済みパラメータと、に基づいて、前記第２の自己位置と、前記第２の自己位置を推定した際の第２の自己位置推定信頼度と、を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の自己位置推定信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定装置。
（３）
前記（２）に記載の自己位置推定装置であって、
前記データセット生成部は、
複数の前記対を、１又は複数のグループに分類し、
前記グループ毎に、各々の基準とする基準自己位置を設定し、
前記グループ毎に、前記基準自己位置と、前記過去の自己位置との間のオフセット量を示すオフセット情報を前記対毎に求め、
前記学習用データセットの入力部分を、前記対のうちの前記過去画像情報とし、
前記学習用データセットの出力部分を、前記対が含まれる前記グループに関するグループ情報と、前記オフセット情報とする前記学習用データセットを生成する、
自己位置推定装置。
（４）
前記（２）又は（３）に記載の自己位置推定装置であって、
前記データセット生成部は、
前記環境地図情報における複数の前記対のうち前記過去画像情報のプロパティが許容範囲内であるか否かを判定し、
前記許容範囲内でない前記対の前記過去画像情報に対応付けられた前記特徴量と、前記過去の自己位置を前記学習用データセットから除外する、
自己位置推定装置。
（５）
前記（１）～（４）のいずれか一つに記載の自己位置推定装置であって、
前記自律移動体のオドメトリ情報に基づいて、現在の第３の自己位置を推定する第３の自己位置推定部と、
前記第１の自己位置の自己位置推定信頼度に基づいて、前記第１の自己位置に乗じる重み係数を算出する重み算出部と、
前記重み算出部が算出した前記重み係数に基づいて、前記第１の自己位置と前記第３の自己位置とを統合する第２の統合部と、
をさらに備え、
前記第１の統合部は、
前記第２の統合部が統合した統合結果と前記第２の自己位置と統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定装置。
（６）
前記（１）～（５）のいずれか一つに記載の自己位置推定装置であって、
複数の前記環境地図情報を記憶する環境地図情報記憶部と、
前記環境地図情報記憶部が記憶する複数の前記環境地図情報を統合する地図統合部と、
をさらに備え、
前記特徴量は、
第１の特徴量抽出方法で抽出された第１の特徴量と、
前記第１の特徴量抽出方法と異なる第２の特徴量抽出方法で抽出された第２の特徴量と、
を含み、
前記環境地図情報記憶部は、複数の前記対のうち、相対的な位置関係が異なる複数の前記対を異なる前記環境地図情報として複数記憶し、
前記地図統合部は、
前記第２の特徴量に基づいて、異なる前記環境地図情報を統合する、
自己位置推定装置。
（７）
前記（６）に記載の自己位置推定装置であって、
前記第１の自己位置推定部は、
前記環境地図情報における前記過去画像情報と、前記第１の特徴量と、前記過去の自己位置と、前記現在の画像情報と、に基づいて、前記第１の自己位置を推定し、
前記地図統合部は、
前記環境地図情報記憶部が複数の前記環境地図情報を記憶しているか否かを判定し、
前記環境地図情報記憶部が複数の前記環境地図情報を記憶していると判定した場合、異なる前記環境地図情報に含まれる前記過去画像情報と、前記第１の特徴量と、前記第２の特徴量と、前記過去の自己位置と、の前記対間における類似度を、前記第２の特徴量を用いて評価し、
異なる前記環境地図情報において前記類似度が所定の閾値以上である前記対の数をカウントし、
前記対の数が所定値以上である場合、前記類似度が所定の閾値以上である前記対の前記過去の自己位置に基づいて異なる前記環境地図情報を統合する、
自己位置推定装置。
（８）
前記（６）又は（７）に記載の自己位置推定装置であって、
前記第２の特徴量は、
前記過去画像情報に対して多物体検出処理を行うことによって検出された物体の大きい、位置、種類、向きのいずれか一つ以上である、
自己位置推定装置。
（９）
自己位置推定装置と、
１つ以上の画像センサと、
移動機構と、
前記移動機構を制御する制御部と、
を備える自律移動体であって、
前記自己位置推定装置は、
前記画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における当該自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
前記環境地図情報に基づいて、学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
を備え、
前記第２の自己位置推定部は、
前記画像センサが取得した前記現在の画像情報と、前記学習部が算出した前記学習済みパラメータと、に基づいて、前記第２の自己位置と、前記第２の自己位置を推定した際の第２の推定結果信頼度と、を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の推定結果信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定し、
前記制御部は、
前記第１の統合部が推定した前記現在の自己位置に基づいて、前記移動機構を駆動することによって前記複数の領域毎の各々の推定信頼度が低い領域に優先的に当該自律移動体を移動させる、
自律移動体。
（１０）
前記（９）に記載の自律移動体であって、
複数の前記環境地図情報を記憶する環境地図情報記憶部をさらに備える、
自律移動体。
（１１）
自己位置推定装置と、
１つ以上の画像センサと、
外部のサーバと双方向に通信可能な通信部と、
移動機構と、
前記通信部と、前記移動機構と、を制御する制御部と、
を備える自律移動体であって、
前記自己位置推定装置は、
前記画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量および前記画像センサが前記過去画像情報を取得した取得時における当該自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定する第１の自己位置推定部と、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定する第２の自己位置推定部と、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する第１の統合部と、
を備え、
前記サーバは、
複数の前記環境地図情報を記憶する環境地図情報記憶部と、
前記環境地図情報に基づいて、学習用データセットを生成するデータセット生成部と、
前記データセット生成部が生成した前記学習用データセットを入力とし、前記学習済みパラメータと、前記地図上における複数の領域の各々の推定信頼度を算出する学習部と、
を備え、
前記制御部は、
前記通信部に、前記環境地図情報と、前記学習部が算出した前記学習済みパラメータと、を取得させ、
前記第２の自己位置推定部は、
前記画像センサが取得した前記現在の画像情報と、前記学習部が算出した前記学習済みパラメータと、に基づいて、前記第２の自己位置及び前記第２の自己位置を推定した際の第２の推定結果信頼度を出力し、
前記第１の統合部は、
前記複数の領域の各々の推定信頼度と、前記第２の推定結果信頼度と、の少なくとも一方に基づいて、前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自律移動体。
（１２）
前記（１１）に記載の自律移動体であって、
前記制御部は、
前記第１の統合部が推定した前記現在の自己位置に基づいて、前記移動機構を駆動することによって前記複数の領域毎の各々の推定信頼度が低い領域に優先的に当該自律移動体を移動させる、
自律移動体。
（１３）
自己位置推定装置が実行する自己位置推定方法であって、
実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量、前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定し、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定し、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定する、
自己位置推定方法。
（１４）
自己位置推定装置に実行させるプログラムであって、
実空間を移動可能な自律移動体に設けられた１つ以上の画像センサによって取得された現在の画像情報と、環境地図情報記憶部が記憶する前記画像センサが過去に取得した過去画像情報、前記過去画像情報から抽出した１つ以上の特徴量、前記画像センサが前記過去画像情報を取得した取得時における前記自律移動体の位置を推定した過去の自己位置の対を地図上に複数対応付けた環境地図情報と、に基づいて、前記自律移動体の現在の第１の自己位置を推定させ、
前記画像センサによって取得された前記現在の画像情報と、前記環境地図情報を用いて学習された学習済みパラメータと、に基づいて、前記自律移動体の現在の第２の自己位置を推定させ、
前記第１の自己位置と、前記第２の自己位置と、を統合することによって前記自律移動体の現在の自己位置を推定させる、
プログラム。
【符号の説明】
【0126】
１０ 自律移動体
１１ 頭部
１２ 胴体部
１３ 移動機構
１４ 画像センサ
１５ 内界センサ
１６，１６Ａ～１６Ｅ 自己位置推定装置
１７ 外界センサ
１８ 通信部
１９ 記憶部
２０ 制御部
１００ サーバ
１６１ 第１の自己位置推定部
１６１ａ 特徴量抽出部
１６１ｂ 照合部
１６２ データセット生成部
１６３ 学習部
１６４ 第２の自己位置推定部
１６５，１６５Ａ，１６５Ｂ 第１の統合部
１６６ 第３の自己位置推定部
１６７ 重み算出部
１６８ 第２の統合部
１６９ 地図統合部
１９１ 環境地図情報記憶部
１９２ プログラム記憶部
Ｄ１，Ｄ２ 学習用データセット
１１ 頭部
１２ 胴体部
１３ 移動機構
１４ 画像センサ
１５ 内界センサ
１６，１６Ａ～１６Ｅ 自己位置推定装置
１７ 外界センサ
１８ 通信部
１９ 記憶部
２０ 制御部
１００ サーバ
１６１ 第１の自己位置推定部
１６１ａ 特徴量抽出部
１６１ｂ 照合部
１６２ データセット生成部
１６３ 学習部
１６４ 第２の自己位置推定部
１６５，１６５Ａ，１６５Ｂ 第１の統合部
１６６ 第３の自己位置推定部
１６７ 重み算出部
１６８ 第２の統合部
１６９ 地図統合部
１９１ 環境地図情報記憶部
１９２ プログラム記憶部
Ｄ１，Ｄ２ 学習用データセット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】