知財求人 - 知財ポータルサイト「IP Force」
▶ 日立オムロンターミナルソリューションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024001827
(43)【公開日】2024-01-10
(54)【発明の名称】自律移動装置及び自己位置推定装置
(51)【国際特許分類】
G05D 1/43 20240101AFI20231227BHJP
【ＦＩ】
G05D1/02 K
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022100735
(22)【出願日】2022-06-22
(71)【出願人】
【識別番号】504373093
【氏名又は名称】日立チャネルソリューションズ株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】柴田 亨
(72)【発明者】
【氏名】玉本 淳一
【テーマコード（参考）】
5H301
【Ｆターム（参考）】
5H301AA01
5H301BB10
5H301CC03
5H301CC06
5H301CC10
5H301GG08
5H301GG09
5H301GG12
5H301GG17
(57)【要約】
【課題】自己位置の推定精度を向上できる自律移動装置及び自己位置推定装置を提供する。
【解決手段】自律移動装置は、カメラと、自己位置を推定する情報処理装置とを含む。情報処理装置は、地図上の建築物の位置及び高さを示す建築物情報に基づいて、カメラによって撮像された撮像画像から建築物の領域を含む画像を切り出す画像切り出しと、切り出した画像から建築物の特徴点を抽出する特徴点抽出と、第１時点にて抽出された建築物の特徴点、及び、第１時点より前の第２時点にて抽出された建築物の特徴点から特徴点の時系列の動きを計算し、第２時点の自己位置及び特徴点の時系列の動きに基づいて、第１時点の自己位置を推定する自己位置推定と、を行う。
【選択図】図１Ａ
【解決手段】自律移動装置は、カメラと、自己位置を推定する情報処理装置とを含む。情報処理装置は、地図上の建築物の位置及び高さを示す建築物情報に基づいて、カメラによって撮像された撮像画像から建築物の領域を含む画像を切り出す画像切り出しと、切り出した画像から建築物の特徴点を抽出する特徴点抽出と、第１時点にて抽出された建築物の特徴点、及び、第１時点より前の第２時点にて抽出された建築物の特徴点から特徴点の時系列の動きを計算し、第２時点の自己位置及び特徴点の時系列の動きに基づいて、第１時点の自己位置を推定する自己位置推定と、を行う。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
自己位置を推定する外部又は内部の情報処理装置と互いに情報を送受信可能に構成された制御装置を備えた自律移動装置であって、
周囲を撮像することにより撮像画像を取得する撮像装置と、
前記制御装置によって制御される、前記自律移動装置を所望の移動方向に移動させることが可能な移動装置と、
を備え、
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
前記自己位置と前記地図上の前記物体が存在しない領域を通る移動予定経路とに基づいて、前記自律移動装置が前記移動予定経路に沿って移動するように、前記制御装置に前記移動装置を制御させる移動制御と、
を行う、
ように構成された、
自律移動装置。
周囲を撮像することにより撮像画像を取得する撮像装置と、
前記制御装置によって制御される、前記自律移動装置を所望の移動方向に移動させることが可能な移動装置と、
を備え、
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
前記自己位置と前記地図上の前記物体が存在しない領域を通る移動予定経路とに基づいて、前記自律移動装置が前記移動予定経路に沿って移動するように、前記制御装置に前記移動装置を制御させる移動制御と、
を行う、
ように構成された、
自律移動装置。
【請求項2】
請求項１に記載の自律移動装置において、
前記地図、前記建築物情報及び前記移動予定経路を示す情報、並びに、前記撮像装置の画角及び設置位置に関するセンサ情報が格納された記憶装置を備え、
前記情報処理装置は、前記画像切り出しにおいて、前記記憶装置に格納された前記建築物情報並びに前記撮像装置の画角及び前記設置位置に基づいて前記建築物の領域を特定するように構成され、
前記情報処理装置は、前記特徴点抽出によって抽出した前記建築物の前記特徴点及び前記自己位置推定によって推定した前記自己位置を前記記憶装置に格納するように構成され、
前記情報処理装置は、前記自己位置推定において、前記記憶装置に格納された前記第２時点にて抽出された前記建築物の前記特徴点及び前記第２時点の前記自己位置を用いるように構成された、
自律移動装置。
前記地図、前記建築物情報及び前記移動予定経路を示す情報、並びに、前記撮像装置の画角及び設置位置に関するセンサ情報が格納された記憶装置を備え、
前記情報処理装置は、前記画像切り出しにおいて、前記記憶装置に格納された前記建築物情報並びに前記撮像装置の画角及び前記設置位置に基づいて前記建築物の領域を特定するように構成され、
前記情報処理装置は、前記特徴点抽出によって抽出した前記建築物の前記特徴点及び前記自己位置推定によって推定した前記自己位置を前記記憶装置に格納するように構成され、
前記情報処理装置は、前記自己位置推定において、前記記憶装置に格納された前記第２時点にて抽出された前記建築物の前記特徴点及び前記第２時点の前記自己位置を用いるように構成された、
自律移動装置。
【請求項3】
請求項２に記載の自律移動装置において、
前記情報処理装置は、
前記情報処理装置に、前記建築物情報を特定可能な図面データ及び画像データの少なくとも一つのデータを入力できるように構成され、
前記情報処理装置は、入力された前記少なくとも一つのデータから特定された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
前記情報処理装置は、
前記情報処理装置に、前記建築物情報を特定可能な図面データ及び画像データの少なくとも一つのデータを入力できるように構成され、
前記情報処理装置は、入力された前記少なくとも一つのデータから特定された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
【請求項4】
請求項２に記載の自律移動装置において、
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
前記ＧＵＩ画面を介して、前記情報処理装置に前記建築物情報を入力できる、
ように構成され、
前記情報処理装置は、入力された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
前記ＧＵＩ画面を介して、前記情報処理装置に前記建築物情報を入力できる、
ように構成され、
前記情報処理装置は、入力された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
【請求項5】
請求項１に記載の自律移動装置において、
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物と空との輝度差に基づいてセグメンテーション化した結果に基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物と空との輝度差に基づいてセグメンテーション化した結果に基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
【請求項6】
請求項１に記載の自律移動装置において、
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物を深層学習に基づくセグメンテーションに基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物を深層学習に基づくセグメンテーションに基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
【請求項7】
請求項１に記載の自律移動装置において、
前記撮像装置及び／又は前記撮像装置のレンズの向きを可動させる可動機構を含み、
前記情報処理装置は、
前記可動機構を制御することによって、
前記建築物のエッジ及びコーナーの少なくとも一つを含む特徴点が抽出されやすい部分が前記撮像装置の撮像範囲に含まれる位置まで、前記撮像装置及び／又は前記撮像装置のレンズの向きを可動する、
ように構成された、
自律移動装置。
前記撮像装置及び／又は前記撮像装置のレンズの向きを可動させる可動機構を含み、
前記情報処理装置は、
前記可動機構を制御することによって、
前記建築物のエッジ及びコーナーの少なくとも一つを含む特徴点が抽出されやすい部分が前記撮像装置の撮像範囲に含まれる位置まで、前記撮像装置及び／又は前記撮像装置のレンズの向きを可動する、
ように構成された、
自律移動装置。
【請求項8】
請求項２に記載の自律移動装置において、
前記情報処理装置は、
周囲に照射波を照射することにより、前記照射波の物体上の反射点を測定点として検出し、前記測定点の前記自律移動装置に対する相対的な位置を示す位置情報を取得する周囲センサを有し、
前記情報処理装置は、
地図作成対象領域を移動しながら前記周囲センサによって取得された前記測定点の前記位置情報に基づいて、前記物体が存在する位置を前記地図作成対象領域に対応する地図座標に記録することにより、前記物体が存在する領域と前記物体が存在しない領域とを表す前記地図を作成し、作成した当該地図を前記記憶装置に格納する、
ように構成された、
自律移動装置。
前記情報処理装置は、
周囲に照射波を照射することにより、前記照射波の物体上の反射点を測定点として検出し、前記測定点の前記自律移動装置に対する相対的な位置を示す位置情報を取得する周囲センサを有し、
前記情報処理装置は、
地図作成対象領域を移動しながら前記周囲センサによって取得された前記測定点の前記位置情報に基づいて、前記物体が存在する位置を前記地図作成対象領域に対応する地図座標に記録することにより、前記物体が存在する領域と前記物体が存在しない領域とを表す前記地図を作成し、作成した当該地図を前記記憶装置に格納する、
ように構成された、
自律移動装置。
【請求項9】
請求項１に記載の自律移動装置において、
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
ＧＵＩ画面を介して、前記地図上の移動開始地点及び移動終了地点を入力できるように構成され、
前記情報処理装置は、前記移動開始地点及び前記移動終了地点が入力された場合、前記自律移動装置が移動した場合の前記撮像装置の撮像範囲に前記建築物情報に対応する前記建築物が含まれるような経路を、前記移動開始地点及び前記移動終了地点間の前記移動予定経路として設定する、
ように構成された、
自律移動装置。
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
ＧＵＩ画面を介して、前記地図上の移動開始地点及び移動終了地点を入力できるように構成され、
前記情報処理装置は、前記移動開始地点及び前記移動終了地点が入力された場合、前記自律移動装置が移動した場合の前記撮像装置の撮像範囲に前記建築物情報に対応する前記建築物が含まれるような経路を、前記移動開始地点及び前記移動終了地点間の前記移動予定経路として設定する、
ように構成された、
自律移動装置。
【請求項10】
移動体に搭載された周囲を撮像することにより撮像画像を取得する撮像装置から撮像画像を取得し前記撮像画像に基づいて前記移動体の自己位置を推定する情報処理装置を備え、
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
を行う、
ように構成された、
自己位置推定装置。
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
を行う、
ように構成された、
自己位置推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律移動装置及び自己位置推定装置に関する。
【背景技術】
【0002】
従来から、ロボット等の自律移動体に外界センサや内界センサを搭載し、それらのセンサを用いて自己位置を推定しながら目的地まで自律的に移動する自律移動に関する技術が開発されている。ここで、外界センサはカメラやＬｉＤＡＲ等であり、内界センサは、エンコーダや慣性計測装置等である。
【0003】
その中でも、カメラにより撮影された画像を用いた自己位置推定として、画像から特徴点を抽出し、その特徴点を用いて自己位置を推定する手法がある。そのような自己位置推定手法において、精度を向上させるために、例えば、位置の変化にロバストな不変特徴点を抽出する方法などが提案されている（特許文献１を参照。）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１１－０５３８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１で開示される例は、撮影された画像内に含まれる人や移動体などの動く物体から動的な特徴点を抽出する可能性がある。そういった動的な特徴点を抽出してしまった場合、自己位置推定の精度が低下する可能性があった。
【0006】
本発明は上記課題を解決するためになされた。即ち、本発明の目的の一つは、自己位置の推定精度を向上できる自律移動装置及び自己位置推定装置を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の自律移動装置は、自己位置を推定する外部又は内部の情報処理装置と互いに情報を送受信可能に構成された制御装置を備えた自律移動装置であって、周囲を撮像することにより撮像画像を取得する撮像装置と、前記制御装置によって制御される、前記自律移動装置を所望の移動方向に移動させることが可能な移動装置と、を備え、前記情報処理装置は、物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、前記自己位置と前記地図上の前記物体が存在しない領域を通る移動予定経路とに基づいて、前記自律移動装置が前記移動予定経路に沿って移動するように、前記制御装置に前記移動装置を制御させる移動制御と、を行うように構成されている。
【0008】
本発明の自己位置推定装置は、移動体に搭載された周囲を撮像することにより撮像画像を取得する撮像装置から撮像画像を取得し前記撮像画像に基づいて前記移動体の自己位置を推定する情報処理装置を備え、前記情報処理装置は、物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、を行うように構成されている。
【発明の効果】
【0009】
本発明によれば、自己位置の推定精度を向上できる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について図面を用いて説明する。ただし、本発明は以下に示す実施形態の記載内容に限定して解釈されるものではない。本発明の思想又は趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【0012】
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
【0013】
図面等において示す各構成の位置、大きさ、形状及び範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状及び範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状及び範囲などに限定されない。
【0014】
以下の説明では、機能ブロック又はプログラムを主語として処理を説明する場合があるが、処理の主語が、機能ブロックに代えて、ＣＰＵ又は装置とされてもよい。
【0015】
<<実施形態>>
本発明の実施形態（以下、「本実施形態」と称呼される。）に係る自律移動装置１００について、図１Ａ乃至図６を参照しながら説明する。本実施形態に係る自律移動装置１００は、屋外であらかじめ決められた走行予定経路（「移動予定経路」とも称呼される。）を自律移動する装置である。なお、詳細は後述するが、走行予定経路は、あらかじめ用意した地図上で、事前に人がスタート地点とゴール地点とを指定するだけでその間の経路を自動的に計算したり、人が手動で経路を指定したりすることにより決定される。
本発明の実施形態（以下、「本実施形態」と称呼される。）に係る自律移動装置１００について、図１Ａ乃至図６を参照しながら説明する。本実施形態に係る自律移動装置１００は、屋外であらかじめ決められた走行予定経路（「移動予定経路」とも称呼される。）を自律移動する装置である。なお、詳細は後述するが、走行予定経路は、あらかじめ用意した地図上で、事前に人がスタート地点とゴール地点とを指定するだけでその間の経路を自動的に計算したり、人が手動で経路を指定したりすることにより決定される。
【0016】
図１Ａは本実施形態に係る自律移動装置１００を含むシステムの構成例を示す図である。図１Ａに示すように、システムは、自律移動装置１００と、端末３００とを含む。自律移動装置１００と、端末３００とは、無線でネットワークＮＷ１を介して互いに情報を送受信可能に構成されている。
【0017】
自律移動装置１００は、自己位置推定装置１と、センサ部１０１と、制御部１０６と、駆動装置１０６ａと、車輪１０７ａ及び駆動軸１２７ａと、車輪１０７ｂ及び駆動軸１２７ｂとを含む。なお、車輪１０７ａ及び車輪１０７ｂは、特に区別する必要がない場合、「車輪１０７」と称呼され、駆動軸１２７ａ及び駆動軸１２７ｂは、特に区別する必要がない場合、「駆動軸１２７」と称呼される。
【0018】
自己位置推定装置１は、特徴点処理部１０２と、記憶部１０３と、特徴点トラッキング部１０４と、自己位置推定部１０５と、を含む。特徴点処理部１０２は、画像エリア切り出し部２０１と、特徴点抽出部２０２とを含む。
【0019】
自己位置推定装置１は、例えば、図１Ｂに示すコンピュータ１１０により構成される。コンピュータ１１０は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、記憶装置（ＨＤＤ）１１４、ネットワークインタフェース１１５及び入出力インタフェース１１６等を含む。これらは、バス１１７を介して互いに通信可能に接続されている。コンピュータ１１０は、便宜上、「情報処理装置」とも称呼される。自己位置推定装置１及び制御部１０６は、複数のコンピュータ１１０で構成されていてもよい。
【0020】
ＣＰＵ１１１はＲＯＭ１１２及び／又は記憶装置１１４に格納された図示しない各種プログラムをＲＡＭ１１３にロードし、ＲＡＭ１１３にロードされたプログラムを実行することによって、各種機能を実現する。ＲＡＭ１１３には、上述したようにＣＰＵ１１１が実行する各種プログラムがロードされ、ＣＰＵ１１１が各種プログラムを実行する際に使用するデータが一時的に記憶される。ＲＯＭ１１２は、不揮発性の記憶媒体であり、各種プログラムが記憶されている。記憶装置１１４は、データの読み出し及び書き込み可能な不揮発性の記憶媒体である。ネットワークインタフェース１１５は、コンピュータ１１０が無線でネットワークＮＷ１に接続されるためのインタフェースである。入出力インタフェース１１６は、外部装置（例えば、キーボード、マウス等の操作装置及びディスプレイ（表示装置））に接続されるためのインタフェースである。
【0021】
自己位置推定装置１の特徴点処理部１０２（画像エリア切り出し部２０１及び特徴点抽出部２０２）、特徴点トラッキング部１０４及び自己位置推定部１０５は、ＲＯＭ１１２及び／又は記憶装置１１４に格納されたプログラムにより構成される。記憶部１０３は、記憶装置１１４により構成される。
【0022】
制御部１０６は、車輪１０７を駆動する駆動装置１０６ａに接続されている。駆動装置１０６ａは、例えば、２つのモータである。２つのモータのそれぞれは、図示しない電源部からモータに供給される電力によって、それぞれのモータに対応する駆動軸１２７を回転させる（駆動させる）トルクを発生する。モータは、このトルクによって、それぞれの駆動軸１２７に対応する車輪１０７を回転させることができる。
【0023】
制御部１０６は、モータに供給される電力を制御する制御装置である。制御部１０６は、モータに供給される電力を制御することによって、モータが発生するトルクの大きさ及び向きを調整することによって、車輪１０７の回転速度及び回転方向を自在に制御することができる。
【0024】
制御部１０６は、モータを制御して駆動軸１２７を駆動することによって、自律移動装置１００の走行を制御する。即ち、制御部１０６は、前進、後退、ターン、カーブ走行、進行方向調整、障害物回避、停止等を行うように、自律移動装置１００の動きを自在に制御できる。なお、モータ、駆動軸１２７及び車輪１０７を含む装置は、便宜上、「移動装置」とも称呼される場合がある。
【0025】
センサ部１０１は、カメラ１０１ａ及び図示しない他のセンサ（例えば、ＬｉＤＡＲ等）を含む外界センサや図示しない内界センサを含む。内界センサは、自律移動装置１００の自律移動の制御に使用される自律移動装置１００の内部状態に関する情報（内界センサデータ）を取得するためのセンサである。内界センサは、車輪の回転速度等を検出するためのエンコーダ及びジャイロセンサ等を含む。内界センサデータは、例えば、自律移動装置１００の向き、自律移動装置１００の加速度及び自律移動装置１００の速度等である。
【0026】
カメラ１０１ａは、自律移動装置１００の上方の撮像範囲を撮像し、撮像画像を取得する撮像装置である。カメラ１０１ａは、そのレンズの向き（レンズの光軸の向き）が、例えば、自律移動装置１００の進行方向に対して垂直方向になるように配置されている。カメラ１０１ａは、自律移動装置１００の上方の撮像範囲を撮像することにより、撮像画像を取得し、取得した撮像画像を自己位置推定装置１に出力する。
【0027】
上述したように、カメラ１０１ａは、そのレンズの向きが自律移動装置１００の進行方向に対して垂直方向になるように設置されている。これにより、自律移動装置１００の周囲に人などが存在する場合などのように、自律移動装置１００が障害物に囲まれた場合に、カメラ１０１ａの視界が障害物によって遮られないようにすることができる。
【0028】
なお、カメラ１０１ａの設置の仕方は、上記に限定されない。例えば、カメラ１０１ａは、そのレンズの向きが自律移動装置１００の進行方向に対して水平方向になるように設置されていてもよい。カメラ１０１ａは、上記垂直方向から上記水平方向の間の方向になるように設置されてもよい。カメラ１０１ａは、これらの方向の間を自在に可動するように設置されてもよい。その場合、例えば、カメラ１０１ａは、カメラ１０１ａの向き及び／又はカメラ１０１ａのレンズの向きを自在に変えることができるように構成された可動機構が設けられていてもよい。自己位置推定装置１は、可動機構を制御することによって、カメラ１０１ａの向き及び／又はカメラ１０１ａのレンズの向きを自在に変えることができるように構成されていてもよい。カメラ１０１ａが、そのレンズの向きが、上記垂直方向になるように設置されている場合、例えば、対象とする建屋の壁一面が同一色であるような撮像画像が取得され、その撮像画像中に特徴点が存在しないことが生じ得る。この場合、カメラ１０１ａは、特徴点が存在する建屋の辺や角（エッジ、コーナ）などの特徴点が抽出されやすい部分が撮像範囲に含まれる位置までカメラ１０１ａの向き及び／又はカメラ１０１ａのレンズの向きを変えることが好ましい。この場合、自己位置推定装置１が、可動機構を制御することによって、特徴点が存在する建屋の辺や角（エッジ、コーナ）などの特徴点が抽出されやすい部分が撮像範囲に含まれる位置までカメラ１０１ａの向き及び／又はカメラ１０１ａのレンズの向きを変えるようにしてもよい。
【0029】
ここで、特徴点とは、例えば、トラッキングの対象となる撮像画像中の物体のエッジ、コーナー等であり、周知の特徴点検出器などを用いて撮像画像から抽出される。
【0030】
自己位置推定装置１には、センサ部１０１のカメラ１０１ａから撮像画像（画像情報）が入力される。自己位置推定装置１は、撮像画像（画像情報）に基づいて自己位置推定を行う。
【0031】
具体的に述べると、自己位置推定装置１は、センサ部１０１のカメラ１０１ａから得られた画像から、特徴点処理部１０２により、記憶部１０３に記憶されている走行予定経路上に存在する建屋にかかわる静的な特徴点を抽出する。そして、自己位置推定装置１は、抽出した特徴点を特徴点トラッキング部１０４で時系列にトラッキング（追跡）し、画像内での時系列の特徴点の動き（特徴点の軌跡）を求める。
【0032】
自己位置推定装置１は、画像内での特徴点の動きから自己位置推定部１０５により、自律移動装置１００の変位を計算することにより、自己位置（自己位置を示す自己位置情報）を推定する。例えば、自己位置推定部１０５は、前回推定した推定自己位置から特徴点の動きに基づく移動量（移動距離及び向きを含む量）だけ移動した位置を今回の自己位置と推定する。例えば、特徴点の動きに基づく移動量は、例えば、１つの特徴点の移動量又は複数の特徴点の移動量の平均値などである。
【0033】
これにより、自己位置推定装置１は、推定した自己位置を取得する。なお、自己位置推定装置１は、取得した自己位置を取得時刻に対応付けて記憶部１０３に格納（記憶）する。更に、自己位置推定部１０５は、記憶部１０３から走行予定経路を取得し、自己位置及び走行予定経路に基づいて、自律移動装置１００が走行予定経路に沿って走行するための駆動装置１０６ａの制御量を計算し、制御部１０６に出力する。
【0034】
制御部１０６には、自己位置推定装置１から制御量が入力される。制御部１０６は、入力された制御量に基づいて、駆動装置１０６ａを制御することにより、自律移動装置１００が走行予定経路に沿って移動するように制御する。
【0035】
なお、本実施形態では、自己位置推定装置１が自律移動装置１００に搭載されており、直接ケーブルなどの配線によりセンサ部１０１が自己位置推定装置１と直接通信を行うが、自己位置推定装置１は自律移動装置１００に搭載される必要はなく、自律移動装置１００の外部に存在してもよい。
【0036】
この場合、自律移動装置１００は、無線通信手段（無線通信装置）を備えるようにしてもよい。自律移動装置１００は、無線通信手段を介して、カメラ１０１ａによって取得された画像、及び、自律移動装置１００の位置、速度等の走行に関する情報を自己位置推定装置１に送信する。自己位置推定装置１は、自己位置推定装置１から受信したそれらの情報をもとに、自己位置推定を行い、得られた自己位置をもとに自律移動装置１００（駆動装置１０６ａ）の制御量を決定し、制御量を自律移動装置１００の制御部１０６に送信する。
【0037】
自律移動装置１００の制御部１０６は、自己位置推定装置１から受信した決定された制御量に基づいて、モータを制御することによって、自律移動装置１００の走行を制御する。これにより、自律移動装置１００内で自己位置推定を行う必要がなくなるため、自律移動装置１００に搭載されるＰＣ（パーソナルコンピュータ）の処理能力を小さくでき、省電力化や小型化につながる。なお、自己位置推定装置１が自己位置を制御部１０６に送信し、制御部１０６が制御量を計算するようにしてもよい。
【0038】
図２は自己位置推定装置１の特徴点処理部１０２の処理フロー図である。特徴点処理部１０２には、記憶部１０３に記憶されているデータ２０３が入力される。データ２０３は、建屋情報、センサ情報及び前時刻の自己位置情報を含む。建屋情報は、建屋の位置及び高さを示す情報を含む。建屋情報は、「建築物情報」とも称呼される。センサ情報は、カメラ１０１ａの画角及びカメラ１０１ａの設置位置などを含むセンサに関する情報を含む。前時刻の自己位置情報は、前時刻で推定した自己位置を含む。前時刻は、例えば、前回の自己位置推定を行った時点の時刻である。なお、自己位置推定装置１は、所定の時間が経過する毎に自己位置推定を行っている。
【0039】
更に、特徴点処理部１０２には、センサ部１０１から画像データ２０４が入力される。特徴点処理部１０２は、センサ部１０１から入力された画像データ２０４と記憶部１０３から入力されたデータ２０３とを用いて、画像エリア切り出し部２０１によって画像データ２０４の建屋が映っている画像エリアを切り出した建屋エリア切り出し画像データ２０５を生成する。
【0040】
具体的に述べると、画像エリア切り出し部２０１に、データ２０３及び画像データ２０４が入力される。画像エリア切り出し部２０１は、データ２０３に基づいて、画像データ２０４から建屋が映っている画像エリアを切り出すことによって、建屋エリア切り出し画像データ２０５を生成し、特徴点抽出部２０２に出力する。なお、この画像切り出し処理の例は、後に図４を用いて詳述する。
【0041】
特徴点抽出部２０２には、建屋エリア切り出し画像データ２０５が入力される。特徴点抽出部２０２は、建屋エリア切り出し画像データ２０５から建屋特徴点データ２０６を抽出し、建屋特徴点データ２０６を特徴点トラッキング部１０４に出力する。なお、画像エリア切り出し部２０１と特徴点抽出部２０２の処理の順番は入れ替え可能であるが、記載した順のように、あらかじめ画像データ２０４から建屋が映っている画像エリアを切り出すことにより、特徴点抽出部２０２による処理時間を短縮することができる。
【0042】
図３は記憶部１０３への建屋情報を入力するインタフェースに関する説明図である。自己位置推定装置１は、外部の端末３００との間で、無線で情報を送受信できるようにネットワークＮＷ１を介して接続できるようになっている。端末３００は、例えば、表示装置３１０を備えるＰＣ（パーソナルコンピュータ）、表示装置３１０を備えるスマートフォンなどである。端末３００の具体的な構成例としては、例えば、図１Ｂに示したコンピュータ１１０と同様のコンピュータ及びコンピュータに接続されたディスプレイが適用される。
【0043】
図３のインタフェースの例は、端末３００の表示装置３１０に表示される、ＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面である画面３０１の例を示している。この画面３０１は、自律移動装置１００を制御するためにユーザによって操作されるＧＵＩ画面である。画面３０１は、記憶部１０３に記憶された環境データ地図が表示されており、図示は省略するが、環境データ地図の中で現在の自律移動装置１００の位置が表示できるようになっている。
【0044】
この環境データ地図の一例は、例えば、自律移動装置１００があらかじめ想定経路（例えば、走行予定経路に対応する経路など）を走行し、ＬｉＤＡＲなどの周囲センサにより得られた地図データである。環境データ地図は、記憶部１０３に格納されている。環境データ地図は、物体が存在する領域と物体が存在しない領域とを表している。なお、本実施形態では、自己位置情報と合わせて、ＬｉＤＡＲなどのセンサによる地図との照合を行うことで地図上の自律移動装置１００の位置に関して、より高精度に推定することができる。
【0045】
ユーザによって、静的な特徴点が取得される対象として、図３の右図に示すように環境データ地図上で建屋の位置などの情報が、端末３００のＧＵＩ画面を介して自己位置推定装置１に入力されることにより、環境データ地図上の建屋３０２の領域Ｒ１が指定される。例えば、ＧＵＩ画面上には、ＧＵＩ画面を操作可能な操作装置に対するユーザの操作によって、自在にＧＵＩ画面上の表示位置及び大きさを変更することが可能な矩形の枠（不図示）が表示される。更に、ユーザの操作装置に対する操作によって、ＧＵＩ画面上でこの矩形の枠内の領域を塗りつぶすことができるようになっている。なお、枠の形状は矩形に限定されるものではない。
【0046】
例えば、ユーザがＧＵＩ画面で建屋３０２の領域を塗りつぶすことにより、建屋３０２の領域Ｒ１が指定される。すると、ユーザによって指定された領域Ｒ１を示す位置情報が建屋３０２の領域を示す位置情報として記憶部１０３に記録される。更に、領域Ｒ１が指定されると、追加で必要な建屋高さなどを編集（入力）するための編集画面が、ポップアップＰＵＰ１として表示される。ユーザによって、ポップアップＰＵＰ１に建屋３０２の高さが入力されると、入力された建屋３０２の高さが、建屋３０２の領域を示す位置情報に対応付けられて建屋情報として記憶部１０３に記録される。
【0047】
このように、本実施形態に係る自律移動装置１００では、自律移動装置１００に情報を入力するための端末３００の画面に表示されている環境データ地図上で建屋３０２のような静的な物体（静的な物体の領域及び静的な物体に関する情報）をユーザが直接簡単に入力および編集できるようになっている。これにより、自律移動装置１００が走行する際、自己位置推定装置１は、確実に建屋３０２（静的な物体）の特徴点のみをトラッキングできるようになるため、自己位置推定精度の悪化を防ぐことができる。
【0048】
更に、自律移動装置１００は、自律移動装置１００が走行する経路（走行予定経路）に関しても、同様に、画面に表示されている環境データ地図上で、ユーザによって、事前にスタート地点とゴール地点とが設定されるだけで、スタート地点とゴール地点との間の経路（走行予定の経路）を自動的に計算できるようになっている。更に、自律移動装置１００は、画面に表示されている環境データ地図上で、全てユーザによって手動で経路が指定されることによって、自律移動装置１００が走行する経路（走行予定の経路）を設定できるようになっている。なお、自律移動装置１００が走行する経路を設定する場合、自律移動装置１００に搭載されるカメラ１０１ａの画角の範囲内（撮像範囲内）に、建屋が収まるように経路が決定されることが望ましい。よって、自律移動装置１００は、自動で経路を計算する場合、自律移動装置１００に搭載されるカメラ１０１ａの画角の範囲内に、建屋が収まるように経路を計算するようにしてもよい。
【0049】
なお、もし自律移動装置１００が障害物を回避するなどの緊急動作をする必要があり、自律移動装置１００の向きの関係で、記憶部１０３に記憶された建屋がセンサ部１０１で得られる画像内に存在しないと計算された場合は、画像エリア切り出し部２０１で処理せずに画像内に映るすべての物体のトラッキングを行うようにしてもよい。
【0050】
更に、上記に代えて、自己位置推定装置１は、図示しない他のセンサ（ＬｉＤＡＲやエンコーダ）の情報による自己位置推定により、自己位置推定を継続してもよい。そして、自己位置推定装置１は、再び通常の設定経路に復帰後、画像エリア切り出し部２０１で処理を行い、対象とする建屋の特徴点をトラッキングして自己位置推定を開始する。
【0051】
図４は画像エリア切り出し部２０１の処理の一例を説明するための図である。図４では、センサ部１０１のカメラ１０１ａにより、画像４０１が撮影され、対象とする建屋４０２がハッチングされている場所に映りこんでおり、空と、そのほかの例えば木などの対象建屋以外の映り込み４０３が存在している状態を示している。
【0052】
本実施形態では、図３で説明したように、静的な物体に関する特徴点のみをトラッキングするために、ユーザが入力した建屋（建屋の領域）に基づいて、建屋を含む領域を図４右図に示すように画像上で切り出す。記憶部１０３に記憶されている前時刻における自己位置情報から環境データ地図上の自律移動装置１００の位置と向きがおおよそ分かっているため、あらかじめ入力された建屋の位置および高さ情報と搭載されたセンサ部１０１の画角から、画像上のどの部分に建屋が映りこんでいるのかを計算することができる。例えば、建屋の位置及び高さ情報、カメラ１０１ａの画角及び取り付け位置、並びに、前時刻の自律移動装置１００の自己位置及び向きに基づいて、環境データ地図に対応する仮想的な３次元空間内でシミュレーション計算を行うことにより、画像内の建屋が映りこんでいるエリアを計算する。
【0053】
そして、画像エリア切り出し部２０１は、計算したエリアに対して、少し大きめの領域を切り出す。換言すると、画像エリア切り出し部２０１は、計算したエリアを含み、且つ、計算したエリアの面積より大きい面積を有するエリアを切り出す。図４右図では、画像エリア切り出し部２０１によって切り出された画像エリア４０４が示されている。例えば、画像エリア切り出し部２０１は、このように画像を切り出す際に、あらかじめ入力された建屋の位置および高さ情報と搭載されたセンサ部１０１の画角等から計算される領域よりも、例えば１．１倍から１．５倍までの領域といったように、大きめに切り取る。これにより、センサ部１０１の画角情報の誤差や図３でユーザが入力する際の誤差、または建屋の形によって高さが場所によって異なる場合などに対応することができる。なお、例えば、画像エリア切り出し部２０１は、上記計算したエリアを含み、且つ、上記計算したエリアの外形線から所定の距離だけ広げた領域を切り出すようにしてもよい。
【0054】
また、画像エリア切り出し部２０１は、切り取った画像に対して、輝度差によってセグメンテーション化し、建屋に関する領域のみ残すように処理を行ってもよい。これにより、切り出される画像エリア４０４に、より確実に対象とする建屋４０２のみを残すことができるため、安定的に自己位置推定することができる。
【0055】
本例では、画像エリア切り出し部２０１は、画像データ２０４と記憶部１０３に記憶されているデータ２０３（建屋の位置や高さといった建屋情報、カメラ１０１ａの画角などといったセンサ情報、前時刻における自己位置情報）を用いて画像エリアを切り出していたが、以下に述べるように、画像エリアを切りだすようにしてもよい。
【0056】
画像エリア切り出し部２０１は、例えば、建屋と空との輝度差によるセグメンテーション化により、画像エリアを切り出してもよい。これにより、建屋情報などをユーザに事前入力してもらう必要がなくなる。
【0057】
画像エリア切り出し部２０１は、上述した建屋情報などに基づく画像エリア切り出しと、輝度差によるセグメンテーション化による画像エリア切り出しとを選択的に実行するようにしてもよい。この場合、手動又は自動で切り替えられるようにしてもよい。
【0058】
自動で切り替える場合、画像エリア切り出し部２０１は、画像中に建屋情報に対応する建屋が存在しない場合に輝度差によるセグメンテーション化による画像エリア切り出しを実行し、建屋情報が入力されていない建屋が画像に映っている場合に、上述した建屋情報などに基づく画像エリア切り出しにより、その建屋を含む領域を切り出すようにしてもよい。
【0059】
更に、画像エリア切り出し部２０１は、深層学習により事前に建屋の画像に関して学習し、セグメンテーション化した結果に基づき、画像エリアを切り出してもよい。例えば、画像エリア切り出し部２０１は、深層学習により事前に建屋の画像に関して学習し、画像を入力として、画像から建屋領域を分類できるモデルを生成し、そのモデルを用いて、画像をセグメンテーション化した結果に基づき、画像エリアを切り出してもよい。この方法でも、建屋情報などユーザに事前入力してもらう必要がなくなる。
【0060】
画像エリア切り出し部２０１は、上述した建屋情報などに基づく画像エリア切り出しと、深層学習に基づくセグメンテーション化による画像エリア切り出しとを選択的に実行するようにしてもよい。この場合、手動又は自動で切り替えられるようにしてもよい。
【0061】
自動で切り替える場合、画像エリア切り出し部２０１は、画像中に建屋情報に対応する建屋が存在しない場合に深層学習に基づくセグメンテーション化による画像エリア切り出しを実行し、建屋情報が入力されていない建屋が画像に映っている場合に、上述した建屋情報などに基づく画像エリア切り出しにより、その建屋を含む領域を切り出すようにしてもよい。
【0062】
図５は複数の建屋情報を入力する場合のインタフェースを説明するための図である。図５に示すように、ユーザが静的特徴点として、環境データ地図上で建屋の位置などの情報を入力する際、複数の建屋を指定してもよい。
【0063】
図５のインタフェースの例は、端末３００の表示装置３１０に表示されるＧＵＩ画面である画面３０１の例を示している。この画面３０１の例では、図３で指定した建屋３０２のほかに、２つ目の建屋５０１及び３つ目の建屋５０３をそれぞれに対応する領域Ｒ２及び領域Ｒ３を塗りつぶして指定する様子を示している。この時、それぞれの建屋情報を編集（入力）するための編集画面が、ポップアップＰＵＰ１１及びポップアップＰＵＰ１２として表示される。ユーザによって、ポップアップＰＵＰ１１及びポップアップＰＵＰ１２のそれぞれに建屋５０１及び建屋５０３の高さが入力されると、入力された建屋の高さが、建屋の領域を示す位置情報に対応付けられて建屋情報として記憶部１０３に記録される。
【0064】
複数の建屋に関する建屋情報が記憶部１０３に記録されることにより、自律移動装置１００が走行予定経路上を走行する際に建屋が映らない事象が発生しにくくなり、より自由な経路選択が可能となる。また、自律移動装置１００が障害物を回避するなどの緊急動作をする場合でも、より多くの建屋を指定したほうが、対象の建屋が画像内に映らないことがなくなり、安定した自己位置推定が可能となる。
【0065】
図６は複数の建屋が映りこんだ場合の画像エリア切り出し部の処理を説明するための図である。図６では、センサ部１０１により、画像４０１が撮影され、対象とする建屋４０２がハッチングされている場所に映りこんでおり、そのほかにもう一つの対象建屋６０１が映り込んでいる状態を示している。
【0066】
本実施形態では、図５で説明したように、静的な特徴点のみをより安定的にトラッキングするために、複数の建屋情報をユーザが入力した場合、図６に示すように、それぞれの建屋情報に対応する建屋に関して画像エリア切り出し部２０１により画像エリア４０４、画像エリア６０２のように、建屋を含む領域が切り出される。
【0067】
その後、特徴点抽出部２０２によって、切り出された画像からそれぞれの建屋の特徴点が抽出され、特徴点トラッキング部１０４によって抽出された特徴点をトラッキングすることで自己位置推定が実行される。これにより、より多くの特徴点をトラッキングすることができるようになり、自己位置推定精度の向上につながる。
【0068】
＜効果＞
以上説明したように、本発明の実施形態に係る自律移動装置１００によれば、画像内の静的な特徴点のみを抽出し、トラッキングすることで、高い精度で自己位置推定を行うことができる。
以上説明したように、本発明の実施形態に係る自律移動装置１００によれば、画像内の静的な特徴点のみを抽出し、トラッキングすることで、高い精度で自己位置推定を行うことができる。
【0069】
<<変形例>>
本発明は上記実施形態に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。
本発明は上記実施形態に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。
【0070】
上記実施形態では、自律移動装置１００によって作成した地図データ（環境データ地図）が記憶部１０３に格納され、その地図データが使用されたが、地図データ（画像データ、図面データ）が自己位置推定装置１に入力されることにより、記憶部１０３に格納され、その地図データが使用されてもよい。その場合、入力前に建屋の領域及び高さの少なくとも一つを指定した上で地図データを自己位置推定装置１に入力することにより、建屋情報に含まれる建屋の領域及び高さの少なくとも一つが入力されるようにしてもよい。入力された地図データから画像分析等により建屋の領域を自動抽出してその領域を示す位置情報を建屋の位置情報として入力されるようにしてもよい。
【0071】
上記実施形態において、静的な特徴点を抽出する対象として、機器及び設備等を格納した建物である建屋を例に挙げて説明したが、静的な特徴点を抽出する対象としては、建築物であってもよい。建築物は、土地に定着する工作物であり、屋根があって、且つ、柱又は壁があるもの、これに付随する門又は塀、及び、野球場のスタンドなどの観覧のための工作物などを含む。なお、建築物は、建屋を含む。
【0072】
上記実施形態において、自律移動装置１００の車輪の数は、上記に限定されず、例えば、４輪等であってもよく、制御部１０６によって制御可能な車輪を操舵する操舵機構が設けられていてもよい。自律移動装置１００は、移動機構が車輪である移動装置に限定されず、移動機構が車輪以外の他の移動機構である移動装置であってもよい。
【0073】
なお、本発明以下の構成をとることもできる。
【0074】
［１］
自己位置を推定する外部又は内部の情報処理装置と互いに情報を送受信可能に構成された制御装置を備えた自律移動装置であって、
周囲を撮像することにより撮像画像を取得する撮像装置と、
前記制御装置によって制御される、前記自律移動装置を所望の移動方向に移動させることが可能な移動装置と、
を備え、
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
前記自己位置と前記地図上の前記物体が存在しない領域を通る移動予定経路とに基づいて、前記自律移動装置が前記移動予定経路に沿って移動するように、前記制御装置に前記移動装置を制御させる移動制御と、
を行う、
ように構成された、
自律移動装置。
自己位置を推定する外部又は内部の情報処理装置と互いに情報を送受信可能に構成された制御装置を備えた自律移動装置であって、
周囲を撮像することにより撮像画像を取得する撮像装置と、
前記制御装置によって制御される、前記自律移動装置を所望の移動方向に移動させることが可能な移動装置と、
を備え、
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
前記自己位置と前記地図上の前記物体が存在しない領域を通る移動予定経路とに基づいて、前記自律移動装置が前記移動予定経路に沿って移動するように、前記制御装置に前記移動装置を制御させる移動制御と、
を行う、
ように構成された、
自律移動装置。
【0075】
［２］
［１］に記載の自律移動装置において、
前記地図、前記建築物情報及び前記移動予定経路を示す情報、並びに、前記撮像装置の画角及び設置位置に関するセンサ情報が格納された記憶装置を備え、
前記情報処理装置は、前記画像切り出しにおいて、前記記憶装置に格納された前記建築物情報並びに前記撮像装置の画角及び前記設置位置に基づいて前記建築物の領域を特定するように構成され、
前記情報処理装置は、前記特徴点抽出によって抽出した前記建築物の前記特徴点及び前記自己位置推定によって推定した前記自己位置を前記記憶装置に格納するように構成され、
前記情報処理装置は、前記自己位置推定において、前記記憶装置に格納された前記第２時点にて抽出された前記建築物の前記特徴点及び前記第２時点の前記自己位置を用いるように構成された、
自律移動装置。
［１］に記載の自律移動装置において、
前記地図、前記建築物情報及び前記移動予定経路を示す情報、並びに、前記撮像装置の画角及び設置位置に関するセンサ情報が格納された記憶装置を備え、
前記情報処理装置は、前記画像切り出しにおいて、前記記憶装置に格納された前記建築物情報並びに前記撮像装置の画角及び前記設置位置に基づいて前記建築物の領域を特定するように構成され、
前記情報処理装置は、前記特徴点抽出によって抽出した前記建築物の前記特徴点及び前記自己位置推定によって推定した前記自己位置を前記記憶装置に格納するように構成され、
前記情報処理装置は、前記自己位置推定において、前記記憶装置に格納された前記第２時点にて抽出された前記建築物の前記特徴点及び前記第２時点の前記自己位置を用いるように構成された、
自律移動装置。
【0076】
［３］
［２］に記載の自律移動装置において、
前記情報処理装置は、
前記情報処理装置に、前記建築物情報を特定可能な図面データ及び画像データの少なくとも一つのデータを入力できるように構成され、
前記情報処理装置は、入力された前記少なくとも一つのデータから特定された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
［２］に記載の自律移動装置において、
前記情報処理装置は、
前記情報処理装置に、前記建築物情報を特定可能な図面データ及び画像データの少なくとも一つのデータを入力できるように構成され、
前記情報処理装置は、入力された前記少なくとも一つのデータから特定された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
【0077】
［４］
［２］に記載の自律移動装置において、
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
前記ＧＵＩ画面を介して、前記情報処理装置に前記建築物情報を入力できる、
ように構成され、
前記情報処理装置は、入力された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
［２］に記載の自律移動装置において、
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
前記ＧＵＩ画面を介して、前記情報処理装置に前記建築物情報を入力できる、
ように構成され、
前記情報処理装置は、入力された前記建築物情報を前記記憶装置に格納する、
ように構成された、
自律移動装置。
【0078】
［５］
［１］に記載の自律移動装置において、
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物と空との輝度差に基づいてセグメンテーション化した結果に基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
［１］に記載の自律移動装置において、
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物と空との輝度差に基づいてセグメンテーション化した結果に基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
【0079】
［６］
［１］に記載の自律移動装置において、
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物を深層学習に基づくセグメンテーションに基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
［１］に記載の自律移動装置において、
前記情報処理装置は、
前記画像切り出しと、
前記撮像画像内に映る前記建築物を深層学習に基づくセグメンテーションに基づき、前記建築物の領域を含む画像を切り出す他の画像切り出しと、
を選択的に実行できる、
ように構成された、
自律移動装置。
【0080】
［７］
［１］に記載の自律移動装置において、
前記撮像装置及び／又は前記撮像装置のレンズの向きを可動させる可動機構を含み、
前記情報処理装置は、
前記可動機構を制御することによって、
前記建築物のエッジ及びコーナーの少なくとも一つを含む特徴点が抽出されやすい部分が前記撮像装置の撮像範囲に含まれる位置まで、前記撮像装置及び／又は前記撮像装置のレンズの向きを可動する、
ように構成された、
自律移動装置。
［１］に記載の自律移動装置において、
前記撮像装置及び／又は前記撮像装置のレンズの向きを可動させる可動機構を含み、
前記情報処理装置は、
前記可動機構を制御することによって、
前記建築物のエッジ及びコーナーの少なくとも一つを含む特徴点が抽出されやすい部分が前記撮像装置の撮像範囲に含まれる位置まで、前記撮像装置及び／又は前記撮像装置のレンズの向きを可動する、
ように構成された、
自律移動装置。
【0081】
［８］
［２］に記載の自律移動装置において、
前記情報処理装置は、
外部センサとして、周囲に照射波を照射することにより、前記照射波の物体上の反射点を測定点として検出し、前記測定点の前記自律移動装置に対する相対的な位置を示す位置情報を取得する周囲センサを有し、
前記情報処理装置は、
地図作成対象領域を移動しながら前記周囲センサによって取得された前記測定点の前記位置情報に基づいて、前記物体が存在する位置を前記地図作成対象領域に対応する地図座標に記録することにより、前記物体が存在する領域と前記物体が存在しない領域とを表す前記地図を作成し、作成した当該地図を前記記憶装置に格納する、
ように構成された、
自律移動装置。
［２］に記載の自律移動装置において、
前記情報処理装置は、
外部センサとして、周囲に照射波を照射することにより、前記照射波の物体上の反射点を測定点として検出し、前記測定点の前記自律移動装置に対する相対的な位置を示す位置情報を取得する周囲センサを有し、
前記情報処理装置は、
地図作成対象領域を移動しながら前記周囲センサによって取得された前記測定点の前記位置情報に基づいて、前記物体が存在する位置を前記地図作成対象領域に対応する地図座標に記録することにより、前記物体が存在する領域と前記物体が存在しない領域とを表す前記地図を作成し、作成した当該地図を前記記憶装置に格納する、
ように構成された、
自律移動装置。
【0082】
［９］
［１］に記載の自律移動装置において、
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
ＧＵＩ画面を介して、前記地図上の移動開始地点及び移動終了地点を入力できるように構成され、
前記情報処理装置は、前記移動開始地点及び前記移動終了地点が入力された場合、前記自律移動装置が移動した場合の前記撮像装置の撮像範囲に前記建築物情報に対応する前記建築物が含まれるような経路を、前記移動開始地点及び前記移動終了地点間の前記移動予定経路として設定する、
ように構成された、
自律移動装置。
［１］に記載の自律移動装置において、
前記情報処理装置には、表示装置が接続され、
前記情報処理装置は、
情報を入力するためのＧＵＩ画面を前記表示装置に表示し、
ＧＵＩ画面を介して、前記地図上の移動開始地点及び移動終了地点を入力できるように構成され、
前記情報処理装置は、前記移動開始地点及び前記移動終了地点が入力された場合、前記自律移動装置が移動した場合の前記撮像装置の撮像範囲に前記建築物情報に対応する前記建築物が含まれるような経路を、前記移動開始地点及び前記移動終了地点間の前記移動予定経路として設定する、
ように構成された、
自律移動装置。
【0083】
［１０］
移動体に搭載された周囲を撮像することにより撮像画像を取得する撮像装置から撮像画像を取得し前記撮像画像に基づいて前記移動体の自己位置を推定する情報処理装置を備え、
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
を行う、
ように構成された、
自己位置推定装置。
移動体に搭載された周囲を撮像することにより撮像画像を取得する撮像装置から撮像画像を取得し前記撮像画像に基づいて前記移動体の自己位置を推定する情報処理装置を備え、
前記情報処理装置は、
物体が存在する領域と物体が存在しない領域とを表す地図上の建築物の位置及び高さを示す建築物情報に基づいて、前記撮像画像から前記建築物の領域を含む画像を切り出す画像切り出しと、
切り出した画像から前記建築物の特徴点を抽出する特徴点抽出と、
第１時点にて抽出された前記建築物の特徴点、及び、前記第１時点より前の第２時点にて抽出された前記建築物の前記特徴点から前記特徴点の時系列の動きを計算し、前記第２時点の前記自己位置及び前記特徴点の時系列の動きに基づいて、前記第１時点の前記自己位置を推定する自己位置推定と、
を行う、
ように構成された、
自己位置推定装置。
【符号の説明】
【0084】
１…自己位置推定装置、１００…自律移動装置、１０１…センサ部、１０１ａ…カメラ、１０２…特徴点処理部、１０３…記憶部、１０４…特徴点トラッキング部、１０５…自己位置推定部、１０６…制御部、１０６ａ…駆動装置、１０７ａ，１０７ｂ…車輪、１２７ａ，１２７ｂ…駆動軸、３００…端末、３１０…表示装置
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】