(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178800
(43)【公開日】2024-12-25
(54)【発明の名称】自律移動体制御システム、自律移動体制御方法、及びコンピュータプログラム
(51)【国際特許分類】
G05D 1/46 20240101AFI20241218BHJP
【FI】
G05D1/10
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023097223
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】▲高▼橋 俊也
【テーマコード(参考)】
5H301
【Fターム(参考)】
5H301AA06
5H301AA10
5H301BB05
5H301BB14
5H301CC03
5H301CC04
5H301CC06
5H301CC07
5H301CC10
5H301DD07
5H301GG07
5H301GG08
5H301GG09
5H301GG17
5H301KK02
5H301KK03
5H301KK08
5H301KK09
5H301KK18
5H301KK19
(57)【要約】
【課題】
高い精度で自律移動体を移動させることが可能な自律移動体制御システムを提供する。
【解決手段】
自律移動体制御システムにおいて、指定された目的地の位置情報と、前記目的地の近傍の、固有識別子で識別される第1の空間に紐づけて保存されている第1の物体の位置情報と、を取得する取得手段と、自律移動体に設けた撮像手段により撮像された画像に基づき前記第1の物体の位置を認識する認識手段と、前記取得手段により取得された前記第1の物体の前記位置情報及び前記目的地の前記位置情報と、前記認識手段により認識された前記第1の物体の前記位置とに基づき、前記自律移動体を前記目的地まで移動させる移動手段と、を有することを特徴とする。
【選択図】
図8
【特許請求の範囲】
【請求項1】
指定された目的地の位置情報と、前記目的地の近傍の、固有識別子で識別される第1の空間に紐づけて保存されている第1の物体の位置情報と、を取得する取得手段と、
自律移動体に設けた撮像手段により撮像された画像に基づき前記第1の物体の位置を認識する認識手段と、
前記取得手段により取得された前記第1の物体の前記位置情報及び前記目的地の前記位置情報と、前記認識手段により認識された前記第1の物体の前記位置とに基づき、前記自律移動体を前記目的地まで移動させる移動手段と、
を有することを特徴とする自律移動体制御システム。
【請求項2】
前記認識手段により前記第1の物体の前記位置を認識するまで、前記取得手段により取得された前記第1の物体の前記位置情報を用いて前記自律移動体を移動させることを特徴とする請求項1に記載の自律移動体制御システム。
【請求項3】
前記認識手段により前記第1の物体の前記位置を認識した後に、前記取得手段により取得された前記第1の物体の前記位置情報と前記目的地の前記位置情報との差分情報を用いて前記自律移動体を移動させることを特徴とする請求項1に記載の自律移動体制御システム。
【請求項4】
前記自律移動体と前記第1の物体との相対距離と、前記取得手段により取得された前記第1の物体の前記位置情報と前記目的地の前記位置情報との差分情報を用いて前記自律移動体を移動させるとを特徴とする請求項3に記載の自律移動体制御システム。
【請求項5】
前記目的地の前記位置情報は、地図と前記固有識別子で識別される空間を重畳させて表示したGUIを用いて指定されることを特徴とする請求項1に記載の自律移動体制御システム。
【請求項6】
前記地図は、前記自律移動体により荷物を配送する地点の地図を含むことを特徴とする請求項5に記載の自律移動体制御システム。
【請求項7】
前記自律移動体は無人航空機であることを特徴とする請求項1に記載の自律移動体制御システム。
【請求項8】
指定された目的地の位置情報と、前記目的地の近傍の、固有識別子で識別される第1の空間に紐づけて保存されている第1の物体の位置情報と、を取得する取得ステップと、
自律移動体に設けた撮像手段により撮像された画像に基づき前記第1の物体の位置を認識する認識ステップと、
前記取得ステップにより取得された前記第1の物体の前記位置情報及び前記目的地の前記位置情報と、前記認識ステップにより認識された前記第1の物体の前記位置とに基づき、前記自律移動体を前記目的地まで移動させる移動ステップと、
を有することを特徴とする自律移動体制御方法。
【請求項9】
請求項1~7のいずれか1項に記載の自律移動体制御システムの各手段をコンピュータにより制御するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、自律移動体制御システム、自律移動体制御方法、及びコンピュータプログラム等に関する。
【背景技術】
【0002】
荷物の配送において、ドローンのような無人航空機を使った配送や、特定の敷地内での小型のロボットなどの自律移動体を使った配送などが検討されている。例えば特許文献1では、離着陸台に表示装置を設け、無人航空機に搭載したカメラで、表示装置に表示された着陸環境情報を認識して着陸制御を行う飛行システムが記載されている。
【0003】
また特許文献2には、回転翼機が着陸する着陸部に矩形領域を設け、矩形領域の中心及び対角線上に赤外カメラを配置し、赤外カメラにより検出された回転翼機の位置に基づき回転翼機を遠隔操作して着陸させる装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-149640号公報
【特許文献2】特許第6402876号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方で、集合住宅内の配送においては、配送位置を自由に指定したいというユーザニーズがある。一般的な配送先として玄関前や宅配BOXなど、人が出入りする玄関周辺などがあるが、例えば無人航空機のような空間を移動できる移動体で配送すると、集合住宅屋外から各部屋にアプローチすることも可能になる。
【0006】
更に、配送位置をその日の気温や天候や配送先の状況によって自由に変更したいケースもある。例えば、配送先を示すターゲットが配置されている場所と、部屋の出入り口と距離があるケースでは、雨天などでは出入り口の近傍の庇のある場所に配送位置を変更したいといったケースがある。しかし、上記従来例では、そのようなニーズに対応することはできなかった。
【0007】
そこで本発明は、高い精度で自律移動体を移動させることが可能な自律移動体制御システムを提供することを目的の1つとする。
【課題を解決するための手段】
【0008】
本発明の1側面としての自律移動体制御システムは、
指定された目的地の位置情報と、前記目的地の近傍の、固有識別子で識別される第1の空間に紐づけて保存されている第1の物体の位置情報と、を取得する取得手段と、
自律移動体に設けた撮像手段により撮像された画像に基づき前記第1の物体の位置を認識する認識手段と、
前記取得手段により取得された前記第1の物体の前記位置情報及び前記目的地の前記位置情報と、前記認識手段により認識された前記第1の物体の前記位置とに基づき、前記自律移動体を前記目的地まで移動させる移動手段と、
を有することを特徴とする。
【発明の効果】
【0009】
本発明によれば、高い精度で自律移動体を移動させることが可能な自律移動体制御システムを実現出来る。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施例に係る配送システムの全体構成の例を示す図である。
【
図2】
図1における自律移動体12とユーザインターフェース21の構成例を示す機能ブロック図である。
【
図3】実施例に係る自律移動体12の構成例を示す斜視図である。
【
図4】(A)、(B)は実施例に係る自立移動体が利用する3次元マップを説明するための図である。
【
図5】(A)は地球の緯度/経度情報を示す図であり、
図2(B)は
図2(A)の所定の空間100を示す斜視図である。
【
図6】空間100内の空間情報を模式的に示した図である。
【
図7】(A)~(C)は、ユーザインターフェース21の表示画面例を示す図である。
【
図8】実施例に係る自律移動体12を配送先15まで制御する制御方法の例を示すフローチャートである。
【
図9】(A)~(C)は、実施例に係る自律移動体12が配送先をターゲットを認識し、オフセット分だけ移動する動作を説明するための図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態を、実施例を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。
【0012】
図1は、本発明の実施例に係る配送システムの全体構成の例を示す図である。本実施例に係る配送システムでは、荷物を配送する外部の配送者(配送業者)30と、受取人20と配送先(目的地)15に対して、配送をセキュアにしつつ補助するために、配送システム制御装置10を有する。又、本実施例の配送システムは、外部の配送者から配送された荷物を、自律移動体12によって所定の配送位置まで配送させる。
【0013】
配送システム制御装置10は、変換情報保持装置13と共に、配送システム全体を管理する情報処理装置として機能している。又、配送システム制御装置10は、集合住宅の外部の配送者(配送業者)30からの荷物情報の受信、荷物の配送状況の管理、各住人の配送希望箇所の管理、などを行う。
【0014】
受付所14は、集合住宅の管理人が、外部の配送者30から集合住宅に届いた荷物を受け取る場所である。
図1では受付所14が集合住宅外部の建物のように描かれているが、集合住宅の建物内の部屋やスペース等であっても良い。
【0015】
受付所14には不図示の端末装置があり、予め配送システム制御装置10から、届けられる予定の荷物の種類等を示す荷物情報を受信している。そして実際に荷物が届いた際に、荷物につけられている例えばQRコード(登録商標)等を読み取ることで、両者の照合を行い、集合住宅に荷物が到着したことを配送システム制御装置10に送信する。
【0016】
尚、荷物を受け取るのは前述のように集合住宅の管理人が行っても良いし、ロボットや専用の受付装置で受け取りと照合と通知を全自動で実施するようにしても良い。
【0017】
自律移動体待機所16は、後述する荷物配送用の自律移動体12が待機する場所である。受付所14と同様に、
図1では自律移動体待機所16が集合住宅外部の建物のように描かれているが、集合住宅の建物内の部屋やスペース等であっても良い。ここでは、後述する自律移動体制御装置11の指示に基づき、受付所14で配送業者から受け取った荷物を、後述する自律移動体12に搭載させる作業が行われる。
【0018】
自律移動体12に荷物の搭載が完了したのち、自律移動体12は、自律移動体制御装置11の指示に基づき、荷物を集合住宅内の住居の配送位置(住人が指定した目的地)まで配送する。又、荷物の配送が完了したら、自律移動体12は、自律移動体制御装置11の指示に基づき、自律移動体待機所16へ帰還する。
【0019】
なお、自律移動体12は、自律移動体12が自律移動体待機所16に帰還した旨の情報を自律移動体制御装置11に通知する。尚、
図1では受付所14と自律移動体待機所16が別々に描かれているが、同一の場所であっても構わない。
【0020】
変換情報保持装置13は、特定空間の位置と状態の情報(空間状態情報)を保持する機保持手段として機能している。変換情報保持装置13は、配送システム制御装置10が配送先15の情報を入手する際の問い合わせ先として機能し、自律移動体制御装置11が配送先15までの配送経路を決定し自律移動体12に伝達するための情報等を提供する。
【0021】
自律移動体制御装置11は、後述する自律移動体12の動作を制御する装置である。自律移動体制御装置11は、配送システム制御装置10から荷物情報を取得し、変換情報保持装置13から配送先15の情報を取得する。
【0022】
自律移動体制御装置11は、これらの取得した情報に基づいて、自律移動体12が配送位置まで荷物を配送するための経路情報を生成する。そして、自律移動体制御装置11は、生成した経路情報を自律移動体12に対して通知すると共に自律移動体12に対して動作指示を行う。集合住宅の規模や住人の需要が大きい場合には、自律移動体制御装置11は、複数台の自律移動体12を同時に制御可能に構成される。
【0023】
更に、自律移動体制御装置11は、自律移動体待機所16で待機している自律移動体12に対して、受付所14に向かわせるよう指示する機能も有する。そして、受付所14で受け取った荷物とともに、自律移動体12を配送先15に向かわせる機能も有する。
【0024】
自律移動体制御装置11は、配送システム制御装置10が受取人20から配送先の詳細なリクエストを受け取った場合には、そのリクエストに対応可能な自律移動体12を選択する。更に、自律移動体制御装置11は、自律移動体12が移動する経路を生成して、自律移動体12により、リクエストされた配送先15まで荷物を配送させる。
【0025】
尚、
図1では配送システム制御装置10と自律移動体制御装置11を別のものとして定義しているが、夫々の役割を有する同一の装置として構成しても良い。
【0026】
自律移動体12は、荷物を配送先15である集合住宅内の住人の住居まで送るための手段であり、例えば小型のロボットやドローンである。自律移動体12は、自律移動体制御装置11の制御に基づき、人間による操作を必要とすることなく、移動可能なものである。
【0027】
配送システム制御装置10は、自律移動体制御装置11、自律移動体12、受取人が操作するユーザインターフェース21、変換情報保持装置13、外部の配送者30に対してネットワークを通じて通信する。なお、配送システム制御装置10は、自律移動体制御装置11を介して自律移動体12と通信する構成であってもよい。
【0028】
尚、受取人20はユーザインターフェース21によって、具体的な居住空間の情報を見ながら、配送先を指定することができる。上記の構成間の情報の送受信は、インターネットもしくはLAN(Local Area Network)等の他のネットワークシステムを介してなされる。
【0029】
次に
図1における自律移動体12とユーザインターフェース21に関して
図2を用いて詳細に説明する。
図2は、
図1における自律移動体12とユーザインターフェース21の構成例を示す機能ブロック図である。
【0030】
尚、
図2に示される機能ブロックの一部は、各装置の制御部等に含まれる不図示のコンピュータとしてのCPU等に、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。
【0031】
しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP)などを用いることができる。又、
図2に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。
【0032】
又、ユーザインターフェース21は、受取人20によって利用される端末装置であり、操作部21-1、制御部21-2、表示部21-3、情報記憶部(メモリ/HDD)21-4、ネットワーク接続部21-5を備えている。
【0033】
操作部21-1は、タッチパネルやキーボタンなどで構成されており、データの入力のために用いられる。表示部21-3は例えば液晶画面などであり、データの表示のために用いられる。
【0034】
受取人20は表示部21-3に表示されたメニューを介してサービスの選択、情報の入力、情報の確認を行うことができる。即ち、操作部21-1及び表示部21-3は、受取人20が実際に操作をするためのユーザインターフェースを提供している。
【0035】
制御部21-2にはコンピュータとしてのCPUが内蔵されており、記憶媒体としての情報記憶部(メモリ/HDD)21-4に記憶されたコンピュータプログラムに基づきユーザインターフェース21の各部の動作を制御する。
【0036】
即ち、制御部21-2は、操作部21-1、表示部21-3、情報記憶部(メモリ/HDD)21-4、ネットワーク接続部21-5等における処理を制御する。情報記憶部(メモリ/HDD)21-4は、必要な情報を保有しておくためのデータベースである。ネットワーク接続部21-5は、インターネットやLAN、無線LANなどを介して行われる通信を制御する。
【0037】
尚、ユーザインターフェース21は例えばスマートフォンのような端末であり、表示部21-3にユーザが必要とする情報を表示するとともに、操作部21-1からユーザである受取人20による操作を受け付けられるように構成されている。
【0038】
本実施例におけるユーザインターフェース21は、表示部21-3のブラウザ画面に間取りと配送先の候補を表示し、ユーザによる配送位置やその他の配送にかかわる入力を受け付けことができる。尚、ユーザインターフェース21は、配送システム制御装置10自身がその機能を兼ねていても良い。
【0039】
尚、配送システム制御装置10は、受取人20が指定する配送位置情報の取得し、当該配送位置情報を自律移動体制御装置11に送信する。そして、自律移動体制御装置11によって生成された配送位置までの経路情報を取得し、当該経路情報を変換情報保持装置13に送信する。
【0040】
そして、変換情報保持装置13によって配送位置までの経路が固有識別子によって表現された経路情報を取得する。そして、取得した固有識別子によって表現された経路情報を自律移動体制御装置11に送信する。
【0041】
尚、変換情報保持装置13内で管理されている3次元空間の管理フォーマットについて説明する。上記のフォーマットは、所定の位置を起点とした空間に識別子(以下、固有識別子)を割り振り、固有識別子に関連付けて空間を管理するものであり、所定の位置情報を基に、該当する固有識別子や空間内の情報を取得することができる。
【0042】
言い換えると、上記のフォーマットは、自律移動体の配送範囲である3次元空間を、所定の基準で分割した分割空間のそれぞれに、固有の識別子を割り振って(関連付けて)管理するものである。また、この分割空間には、分割空間内に存在する物体等の空間情報が含まれている。
【0043】
本実施例では、このようなフォーマットで3次元空間が管理されていることにより、例えば受取人20によって指定された配送位置及び配送位置までの経路は、その配送位置及び経路上の位置に対応する分割空間に対応付けられた固有識別子によって特定される。
【0044】
このように特定された固有識別子を自律移動体制御装置11に送信することで、自律移動体制御装置11は、自律移動体12を経路に沿って配送位置まで自律移動させることが可能となる。また、分割空間のそれぞれに含まれる空間情報に基づいて、自律移動体制御装置11は、現在時刻において最適な経路を探索することが可能となる。
【0045】
即ち、本実施例の自律移動体制御装置11は、3次元空間の位置を表す任意の基準系で規定された空間に存在する物体の状態と時間に関する情報を、固有識別子を用いて識別するフォーマットを用いて、自律移動体12の目的地を決定している。尚、本実施例では、少なくとも自律移動体制御装置11、自律移動体12等により自律移動体制御システムが構成されている。
【0046】
変換情報保持装置13は、自身に接続された外部の機器、装置、ネットワークにより取得された前記空間に関する情報を、前記固有識別子と紐づけて管理する。そして自身に接続された外部の機器、装置、ネットワークに対して前記固有識別子及びそれに紐づく前記空間に関する情報を提供する。
【0047】
以上のように、変換情報保持装置13には、3次元空間の位置を表す任意の基準系で規定された空間に存在する物体の状態と時間に関する情報が格納されている。又、変換情報保持装置13は、所定の位置情報を基に、固有識別子や空間内の情報を収集し、その情報を自身に接続された外部の機器、装置、ネットワークが共有できる状態に管理、提供する機能を有する。
【0048】
図2において、自律移動体12は、検出部12-1、制御部12-2、方向制御部12-3、情報記憶部(メモリ/HDD)12-4、ネットワーク接続部12-5、駆動部12-6を備えた移動装置である。
【0049】
検出部12-1は、自律移動体12の周囲に存在する物体を検出することで自律移動体の周辺の空間状態を検出する検出手段として機能している。検出部12-1は、例えば撮像素子のような撮像手段と、例えば視差を有する複数の撮像素子を用いた測距機能を有する。
【0050】
そして、撮像手段と前記測距機能を使って、周辺の地形・建物の壁などの障害物に関する検出情報(以下、検出情報)を取得する。更に又、検出部12-1は、検出情報から自己位置を推定する自己位置推定機能を有する。
【0051】
尚、前述の測距機能及び自己位置推定機能は、自律移動体12に設置されたLiDAR(Light Detection And Ranging)を用いた測距や、測距した物体の点群情報を基にした自己位置推定機能を併用しても良い。或いは、夫々片方の使用で実現しても良い。
【0052】
また検出部12-1は、GPS(Global Positioning System)などの自己位置検出機能と、例えば地磁気センサーなどの方向検出機能も有する。方向検出機能としては、IMU(Inertial Measurement Unit)などの慣性計測装置を用いて角速度を測定し、回転量を算出して方向を検出するようにしても良い。
【0053】
又、前記IMUは加速度の測定結果から算出した移動量を活用することで、回転量と合わせて自己位置推定を行うことも可能である。検出部12-1が取得した検出情報と自己位置推定情報と方向検出情報を基に、制御部12-2はサイバー空間に3次元マップを作成することができる。
【0054】
サイバー空間の3次元マップは、現実世界の地物位置と等価な空間情報をデジタルデータとして表現可能なものである。このサイバー空間の3次元マップ内には、現実世界に存在する自律移動体12や、その周辺の地物情報が、デジタルデータとして空間的に等価な情報として保持されている。従って自律移動体12は、このデジタルデータを基に効率的な移動が可能である。
【0055】
又、自律移動体12は、例えば情報記憶部(メモリ/HDD)12-4に、機械学習などを行った学習結果データを保有しており、撮影画像から物体検出することができる。前記検出情報に関しては、ネットワーク接続部12-5を経由して、外部のシステムから取得して、3次元マップに反映することもできる。
【0056】
制御部12-2は、コンピュータとしてのCPUと、コンピュータプログラムを記憶する記憶媒体としてのメモリを内蔵する。又、制御部12-2は、自律移動体12の移動、方向転換、自律走行機能の制御を司り、検出部12-1、方向制御部12-3、情報記憶部(メモリ/HDD)12-4、ネットワーク接続部12-5、駆動部12-6等を制御する。
【0057】
制御部12-2は、例えば情報記憶部12-4に機械学習などを行った学習結果データを保有することで、検出部12-1で取得した撮影画像から物体検出をすることができる。
【0058】
更に、制御部12-2は、ネットワーク接続部12-5を経由して外部のシステムから前記検出情報を取得して、3次元マップに反映することもできる。加えて、制御部12-2は、取得した周囲の物体情報と作成した3次元マップから、指定された配送先15まで周囲の物体と衝突することなく航行し荷物を置くことが可能かの判断までを行う。
【0059】
方向制御部12-3は、複数ある駆動部12-6の出力を変更することで、自律移動体12を傾ける方向、移動方向、速度等の変更を行う。駆動部12-6は、モータなどの駆動装置からなり、自律移動体12の推進力を発生させる。
【0060】
自律移動体12は前記3次元マップ内に前記自己位置及び検出情報、物体検出情報を反映し、周辺の地形・建物・障害物・物体から一定の間隔を保った経路を生成し、自律走行を行うことができる。即ち、自律移動体12は検出手段としての検出部12-1による検出結果に基づき制御手段によって決定された目的地又は配送経路を移動中に自身で修正することができる。
【0061】
即ち、自律移動体制御装置11で行う経路生成は、主に事前に取得している集合住宅内の3次元情報をもとに大まかに経路を生成する。それに対し、自律移動体12が行う自律航行の経路生成は、自律移動体12自身と周辺障害物との位置関係をより正確に検出し、それらに接触しないように移動するために詳細な経路を生成する。
【0062】
次に本実施例における自律移動体12の本体構成について
図3を用いて説明する。
図3は、実施例に係る自律移動体12の構成例を示す斜視図である。尚、本実施例においては、プロペラを有する無人航空機(ドローン)として説明するがこの限りではなく、自律移動体12は車輪を有する走行体であっても良く、自律的に移動可能なものであればどのような形態であっても良い。
【0063】
図2において、自律移動体12は、上述の検出部12-1、制御部12-2、方向制御部12-3、情報記憶部(メモリ/HD)12-4、ネットワーク接続部12-5、駆動部12-6を備える。駆動部12-6はプロペラを含み、自律移動体12に少なくとも2つ以上の駆動部12-6が設けられている。
【0064】
そして、方向制御部12-3は、複数ある駆動部12-6の出力変更や、軸の回転駆動による駆動部12-6の方向変更により、自律移動体12の移動方向を変更する。更に、駆動部12-6は、プロペラの回転軸の回転により自律移動体12の前進、後退等を行う。尚、
図5を用いて説明した構成は1例であって、これに限定するものではなく、同等の効果を実行できる構造であれば良い。
【0065】
以上のように、自律移動体12は、例えばSLAM(Simultaneous Localization And Mapping)技術を搭載した移動体である。又、自律移動体12は、検出部12-1により検出した検出情報や、インターネットを介して取得した外部サーバ等の外部システムの検出情報を基に、指定された所定の経路を自律移動できるように構成されている。
【0066】
自律移動体12は細かく指定された地点をトレースするようなトレース移動も可能であるし、大まかに設定された地点を通過しながらその間の空間においては自身で経路情報を生成し、移動することも可能である。
【0067】
以下
図4(A)、(B)を参照して本実施例で用いるサイバー空間の3次元マップについて詳細に説明する。
図4(A)、(B)は実施例に係る自立移動体が利用する3次元マップを説明するための図であり、
図4(A)は、現実世界における自律移動体12とその周辺の地物情報として存在する柱99の空間的位置関係を示した図である。
【0068】
自律移動体12の位置は、自律移動体12のGPS(不図示)等によって取得された緯度経度の位置情報から自律移動体12内の位置α0の同一位置として特定される。又、自律移動体12の方位は、電子コンパス(不図示)等によって取得された方位αYと自律移動体12の移動方向12Yの差分によって特定される。
【0069】
又、例えば柱99の位置は、予め測定された位置情報から頂点99-1の位置として特定される。また自律移動体12の測距機能によって、自律移動体12のα0から頂点99-1までの距離を取得することが可能である。
【0070】
図4(A)においては自律移動体12の移動方向12Y方向をXYZ座標系のY軸とし、α0を原点とした場合に、頂点99-1の座標を(Wx,Wy,Wz)として示すことができる。サイバー空間の3次元マップでは、この様に取得された情報がデジタルデータとして管理され、
図4(B)のような空間情報として再構成可能である。
【0071】
図4(B)は自律移動体12と柱99を、任意のP0を原点とするXYZ座標系空間にマッピングした状態を示している。即ち、P0を現実世界の所定の緯度経度に設定し、現実世界の方位北をY軸方向に取ることで、この任意のXYZ座標系空間において、自律移動体12をP1とし、柱99をP2として夫々表現することができる。
【0072】
具体的には、α0の緯度経度とP0の緯度経度から、この空間におけるα0の位置をP1として、又、同様に柱99の位置をP2として管理することができる。尚、本実施例では自律移動体12のGPS等によって取得した緯度経度情報を用いて位置を特定しているが、それに限らず、自律移動体12の周辺環境をカメラやLiDARなどの検出部12-1でセンシングして、位置を特定しても良い。
【0073】
尚、3次元マップ内の座標系の方向は、電位コンパス等によって取得した方位から特定しても良いし、自律移動体12の周辺環境をカメラやLiDARなどの検出部12-1でセンシングし、周辺環境の面や線の形状情報などから方向を特定しても良い。
【0074】
例えば、自律移動体12の周囲にある壁面98をカメラでセンシングし壁面を認識する。認識した壁面に沿った方向をY軸方向にとることで、この任意のXYZ座標系空間を特定することが可能になる。更に、
図4の例では、自律移動体12と柱99をサイバー空間の3次元マップで表現しているが、無論、対象物が複数あっても同様に扱うことが可能である。
【0075】
以上のように、3次元空間に現実世界の自己位置や物体をマッピングしたものが本実施例における3次元マップである。
【0076】
ここで、変換情報保持装置13内で管理されている3次元空間の管理フォーマットに関して、
図5(A)、(B)、
図6を用いて詳細に説明する。
図5(A)は地球の緯度/経度情報を示す図であり、
図5(B)は
図6(A)の所定の空間100を示す斜視図である。又、
図5(B)において所定の空間100の中心を中心101とする。
図6は空間100内の空間情報を模式的に示した図である。
【0077】
図5(A)、
図5(B)に示すように、フォーマットは、地球の空間を緯度/経度/高さを起点とした範囲によって決定される3次元の空間に分割し、夫々の空間に固有識別子を紐づけして管理可能としたものである。
【0078】
例えばここでは所定の3次元の空間として空間100を表示する。空間100は、例えば北緯20度、東経140度、高さHを中心101に規定され、緯度方向の幅をD、経度方向の幅をW、高さ方向の幅をTと規定された分割空間である。又、地球の空間を前記緯度/経度/高さを起点とした範囲によって決定される空間に分割した1つの空間である。
【0079】
図5(A)においては便宜上、空間100のみを表示しているが、フォーマットの規定においては前述のとおり空間100と同じように規定された空間が緯度/経度/高さ方向に並んで配置されているものとする。
【0080】
そして配置された各分割空間は夫々緯度/経度によって水平位置を定義されているとともに、高さ方向にも重なりを持ち、高さによって高さ方向の位置を定義されているものとする。
【0081】
尚、
図5(B)において前記緯度/経度/高さの起点として、前記分割空間の中心101を設定しているが、これに限定されるものではなく、例えば空間の角部や、底面の中心を前記起点としても良い。又、形状も略直方体であればよく、地球のような球体表面上に敷き詰める場合を考えた時は、直方体の底面よりも天面のほうをわずかに広く設定したほうが、より隙間なく配置できる。
【0082】
図6において前記空間100を例にすると、変換情報保持装置13には空間100の範囲に存在又は進入可能な物体の種別と時間制限に関する情報(空間情報)が夫々固有識別子と関連付けてフォーマット化されて保存されている。又、フォーマット化された空間情報は、過去から未来といった時系列に保管されている。
【0083】
即ち、変換情報保持装置13は、緯度/経度/高さによって定義される3次元の空間に存在又は進入可能な物体の種別に関する空間情報を固有識別子と関連付けてフォーマット化し保存している。但し、本実施例における3次元空間は、緯度/経度/高さで規定されるものに限定されず、任意の基準系(座標系)で規定されたものであっても良い。
【0084】
又、前記空間情報は、例えば集合住宅の監視カメラなどの変換情報保持装置13に通信可能に接続された外部システムなどにより入力された情報に基づき更新可能である。即ち、空間状態情報は、例えば自律移動体自身に搭載されたカメラ等の撮像装置やLiDAR等の測定装置またはネットワークを介して外部サーバ等から取得することができる。
【0085】
又、自律移動体の移動経路に設けられた撮像装置やLiDAR等の測定装置から空間状態情報を取得しても良い。又、空間状態情報は、変換情報保持装置13に通信可能に接続された他の外部システムと情報共有される。
【0086】
以上のように、本実施例では、緯度/経度/高さによって定義される3次元の空間に存在又は進入可能な物体の種別と時間制限に関する情報(以下、空間情報)を固有識別子と関連付けてフォーマット化してデータベースに保存している。そしてフォーマット化された空間情報によって時空間を管理可能としている。
【0087】
そのため、自律移動体制御装置11が配送先15やその間の経路空間の最新の状況を確認することができる。尚、自律移動体12の経路生成に利用するフォーマット化された管理された時空間は全世界共通のでも、集合住宅固有のものでも良い。
【0088】
全世界共通のものを利用すれば集合住宅側の管理コストを減らすことが出来るというメリットがあり、集合住宅固有のものを利用すれば集合住宅内のプライバシーが担保出来るというメリットがある。
【0089】
図1に戻って、配送先15は、荷物の宛先であり、荷物の受取人である住人が指定した特定のエリアである。例えば、住居の入り口のドアの前や、ベランダ(バルコニー)の特定のエリアである。
【0090】
この配送先15は後述するユーザインターフェース21を用いて住人等の受取人によって位置が指定され、変換情報保持装置13内の空間情報の固有識別子として管理される。配送先15を複数設定することで、自律移動体制御装置11が天候、経路の混雑度、配送先15の状況等に基づき、最適な配送経路と配送場所を決定することが出来る。
【0091】
尚、本実施例では、これらの複数の配送先15は、受取人が配送の優先順位を付けて設定することが出来るようになっている。即ち、複数の配送先候補は、前記荷物の宛先の受取人によって設定可能である。それにより、出来るだけ住人の希望通りの場所に荷物を配送することが出来るという効果がある。
【0092】
尚、配送先15は、受取人が、全ての荷物に対して一律に同じ場所と優先順位を設定することができる。即ち、複数の配送先候補は、荷物の宛先の受取人によって優先順位を付けて設定可能である。更に、荷物の宛先の受取人によって優先順位を荷物ごとに個別に設定出来るようにしても良い。
【0093】
次にユーザインターフェース21の表示画面イメージについて
図7を参照して説明する。
図7(A)~(C)は、ユーザインターフェース21の表示画面例を示す図である。
図7(A)の表示部21-3には受取人の住居の間取り情報が表示されている。
【0094】
図7(A)において、受取人は21-3の表示部に表示されている間取り情報から、配送先15をタッチしてしている。ユーザインターフェース21はタッチしたエリアを斜線部のように強調表示をする。
【0095】
受取人はタッチした場所が斜線のように協調表示されていることを確認し、21-6の決定ボタンを押下する。21-6の決定ボタンを押下したタイミングで、ユーザインターフェース21は指定された配送先15の空間情報を配送システム制御装置10へ送付する。
【0096】
表示部21-3の表示方法として、
図7(B)のように固有識別子で定義された空間情報と地図としての間取り情報を重畳して表示しても良い。即ち、目的地の前記位置情報は、地図(間取り等)と固有識別子で識別される空間とを重畳させて表示したGUIを用いて指定されるようにしても良い。
【0097】
尚、上記の地図は、間取りに限定されず、自律移動体により荷物を配送する地点の地図を含む。また
図7(C)に示されるように、配送リスト21-7をプルダウンリストし、その中から配送先15を選択し決定できるようにしても良い。
【0098】
又、表示部21-3の表示方法として配送可能なエリアの色や輝度を目立つようにすることで、受取人にわかりやすく表示して選択しやすくしても良いし、逆に配送不可のエリアの輝度や彩度を下げて選択できない事をわかりやすく表示するようにしても良い。
【0099】
以上のように、ユーザインターフェース21は例えばスマートフォンのようなデバイスであり、表示部21-3にユーザが必要とする情報を表示するとともに、操作部21-1からユーザによる操作を受け付けられるように構成されている。
【0100】
次に自律移動体を配送先まで移動させるための自律移動体制御装置11と自律移動体12の制御方法について
図8のフローチャートと
図9の模式図を用いて説明する。
図8は、実施例に係る自律移動体12を配送先15まで制御する制御方法の例を示すフローチャートであり、
図9(A)~(C)は、実施例に係る自律移動体12が配送先をターゲットを認識し、オフセット分だけ移動する動作を説明するための図である。
【0101】
尚、各装置の制御部内のコンピュータとしてのCPUがメモリに記憶されたコンピュータプログラムを実行することによって
図8のシーケンスにおける各ステップの動作が順次行われる。
【0102】
図8のステップS801において、自律移動体制御装置11のCPUは、受取人がユーザインターフェース21を用いて指定された配送先15の情報を取得する。又、指定された配送先15の近傍の空間(エリア)に、
図9(A)に記載したターゲット81(第1の物体)があればその第1の物体の位置情報も取得する。
【0103】
ここでステップS801は、指定された目的地の位置情報と、目的地の近傍の、固有識別子で識別される第1の空間に紐づけて保存されている第1の物体の位置情報と、を取得する取得ステップ(取得手段)として機能している。
【0104】
次のステップS802では自律移動体制御装置11のCPUは、ステップS801で指定した配送先15の空間(エリア)に、
図9(A)に記載したターゲット81があるか否かを判断し、判断した結果を自律移動体12の情報記憶部12-4に記録する。
【0105】
ターゲット81は画像特徴を持つ目標であり、自律移動体12内の検出部12-1の1つであるカメラを用いて撮影することで物体の位置を特定することが可能である。配送先15のエリアにターゲット81がある場合は、ステップS802でYesと判定され、ステップS803において、自律移動体制御装置11のCPUは、指定された位置を配送先として設定し、配送先15を表す固有識別子を用いて経路を算出する。
【0106】
一方配送先15にターゲット81がない場合は、ステップS802でNoと判定され、ステップS804に進む。ステップS804では、自律移動体制御装置11のCPUは、配送先15の近傍でターゲット81が配置されている空間を定義する固有識別子を配送先として設定し、経路を算出する。
【0107】
その後ステップS805で、自律移動体制御装置11のCPUは、ステップS803又はステップS804において固有識別子を用いて算出された経路情報を用いて自律移動体12により自律航行を行わせる。
【0108】
又、ステップS805において、自律移動体12のCPUは、自律航行中に検出部12-1(撮像手段)を用いてターゲット81を認識するための撮像を継続的に行う。ここで、ステップS805は、自律移動体に設けた撮像手段により撮像された画像に基づき第1の物体の位置を認識する認識ステップ(認識手段)として機能している。
【0109】
次にステップS806において、自律移動体12のCPUは、自律航行中に検出部12-1を用いてターゲット81(第1の物体)を認識できるまで航行を続ける。即ち、認識手段により第1の物体の位置を認識するまで、取得ステップ(取得手段)により取得された第1の物体の位置情報を用いて自律移動体を移動させる。
【0110】
この時、現在の自律移動体12が配送先15の近傍に近づいたことを自律移動体制御装置11のCPUで判断しステップS806のターゲット81を認識する処理を開始しても良い。
【0111】
ステップS806において、自律移動体12がターゲット81を認識したら、自律移動体12のCPUは、その旨を自律移動体制御装置11へ通知する。通知を受け取った自律移動体制御装置11のCPUは、ステップS807で、配送先15の空間に、ターゲット81があるかどうかを再度判断する。
【0112】
尚、本実施例では、ステップS801で受取人が配送先15を指定することで配送が開始されるが、受取人はユーザインターフェース21を通して、配送先15を配送途中でも変更することができる。そのため、配送途中で配送先15が変更になることも想定し、配送先15に到達する直前、つまりターゲット81を認識したタイミングのステップS807で再度配送先15にターゲット81が含まれるかを確認している。
【0113】
ステップS807で、配送先15のエリアにターゲット81が含まれる場合は、Yesと判定され、ステップS808に進む。ステップS808では、自律移動体12のCPUは、検出部12-1を用いてターゲット81の位置情報を画像処理を用いて特定し、その結果を自律移動体制御装置11へ送信する。そして自律移動体制御装置11のCPUは、特定されたターゲット81の位置までの経路を算出し、自律移動体12をターゲット81の位置へ移動させる。
【0114】
一方、配送先15のエリアにターゲット81が含まれない場合は、ステップS807でNoと判定され、ステップS809に進む。ステップS809において、自律移動体12のCPUは、自律移動体12内の検出部12-1のカメラを用いて撮影された画像に基づいて、配送先15の近傍にあるターゲット81の位置を特定し、その結果を自律移動体制御装置11へ送信する。
【0115】
そしてステップS809において、自律移動体制御装置11のCPUは、認識したターゲット位置と、配送先とターゲットの位置差分に基づき自律移動体12をターゲットに向けて移動させる。即ち、自律移動体制御装置11のCPUは、ターゲット81と現在の自律移動体12までの距離を算出する。
【0116】
そして、算出した距離と、配送先15と配送先近傍のターゲット81が設置されているエリアの位置差分に基づいて配送先15までの経路を算出し、その経路に従って自律移動体12をターゲットに向けて移動させる。
【0117】
ステップS809の処理に関して
図9を用いて詳しく説明する。
図9(A)はステップS805とステップS806の処理を表す概念図であり、12-10は自律移動体12に搭載されている検出部12-1で認識できる視野を示す。
【0118】
またターゲット81が設置されているエリアに紐づけられた固有識別子をP21とし、固有識別子P21の3次元位置情報を(X21,Y21、Z21)とする。P22は配送先15として受取人により指定されたエリアに紐づけられた固有識別子であり、固有識別子P22の3次元位置情報を(X22,Y22、Z22)とする。
【0119】
ここで、配送先15を示すP22とターゲット81が設置されているエリアであるP21との空間的な位置の差分をP_offsetとし、差分の3次元位置情報を(Xos、Yos、Zos)とする。
【0120】
図9(A)では自律移動体12とターゲット81の間に遮蔽壁91があるため、視野12-10でターゲット81を認識できない。従って、固有識別子P21で定義された位置情報を用いてターゲット81に向けて自律航行をしている。
【0121】
図9(B)は自律移動体12の視野12-10内にターゲット81が入り、認識した状態を示している。ここで自律移動体12がターゲット81を認識した地点の自律移動体12の現在位置をP20とし、P20の3次元位置情報を(X20、Y20,Z20)とする。
【0122】
ここで、自律移動体12は検出部12-1でターゲット81を認識し画像処理を用いて位置を特定し、自律移動体制御装置11へ結果を送信する。自律移動体制御装置11はターゲットP81の現在の正確な位置P21’の3次元の位置情報(X21’,Y21’、Z21’)を取得する。
【0123】
その後、
図9(C)で示す配送先15の位置に移動するために、自律移動体制御装置11は、ターゲット81の位置P21‘と自律移動体12の現在位置P20と、配送先15とターゲット81の空間的な位置の差分P_offsetを用いて経路を算出する。
【0124】
その後、自律移動体制御装置11が算出した経路を用いて自律移動体12は移動する。尚、本実施例では、自律移動体12はターゲットを認識した時点の現在位置とターゲットの空間的な位置の差分(相対距離)と、配送先15とターゲット81の空間的な位置の差分の両方に基づき移動する経路を算出し移動している。
【0125】
即ち、ターゲットを認識した時点の自律移動体と第1の物体との相対距離と、取得ステップにより取得された第1の物体の位置情報と目的地の位置情報との差分情報を用いて自律移動体12を移動させている。しかし、移動しながら経路を変更しても良い。それにより更に移動時間を短縮することが可能になる。
【0126】
ここでステップS809は、取得ステップにより取得された第1の物体の位置情報及び目的地の位置情報と、認識ステップにより認識された第1の物体の位置とに基づき、自律移動体を目的地まで移動させる移動ステップ(移動手段)として機能している。
【0127】
又、上述したように、ステップS809では、認識ステップにより第1の物体(ターゲット81)の位置を認識した後に、取得ステップにより取得された第1の物体の位置情報と、目的地の位置情報との差分情報を用いて自律移動体を移動させている。
【0128】
次にステップS810で、自律移動体12のCPUは検出部12-1で着陸したことを認識する。次にステップS811で、自律移動体12のCPUは自律移動体制御装置11へ、へ配送先15に到着したことを知らせ、自律移動体制御装置11のCPUは、配送システム制御装置10へ配送完了を通知することで配送は完了する。
【0129】
ここで着陸の有無は自律移動体12に付属したGPSやIMUやカメラなどの各種センサを用いて認識しても良いが、配送先に設置されたカメラで判断しても良い、或いは配送先の受取人が端末から、配送されたことを入力しても良い。
【0130】
尚、本実施例では、自律移動体12の経路を自律移動体制御装置11で算出しているが、移動先までの距離によっては自律移動体12内の制御部12-2で経路を算出しても良い。
【0131】
以上、本発明をその好適な実施例である集合住宅内の配送システムとして詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【0132】
本発明は、例えば、無人航空機を用いたオフィスや工場等への配送に適用することもできる。又、無人航空機等の自律移動体を用いた建物や橋やトンネル等の点検検査などにも適用可能である。
【0133】
又、上述の実施例の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【0134】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【0135】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでも良い。
【0136】
又、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も含む。尚、本発明は、以下の組み合わせを含む。
【0137】
(構成1)指定された目的地の位置情報と、前記目的地の近傍の、固有識別子で識別される第1の空間に紐づけて保存されている第1の物体の位置情報と、を取得する取得手段と、自律移動体に設けた撮像手段により撮像された画像に基づき前記第1の物体の位置を認識する認識手段と、前記取得手段により取得された前記第1の物体の前記位置情報及び前記目的地の前記位置情報と、前記認識手段により認識された前記第1の物体の前記位置とに基づき、前記自律移動体を前記目的地まで移動させる移動手段と、を有することを特徴とする自律移動体制御システム。
【0138】
(構成2)前記認識手段により前記第1の物体の前記位置を認識するまで、前記取得手段により取得された前記第1の物体の前記位置情報を用いて前記自律移動体を移動させることを特徴とする構成1に記載の自律移動体制御システム。
【0139】
(構成3)前記認識手段により前記第1の物体の前記位置を認識した後に、前記取得手段により取得された前記第1の物体の前記位置情報と前記目的地の前記位置情報との差分情報を用いて前記自律移動体を移動させることを特徴とする構成1又は2に記載の自律移動体制御システム。
【0140】
(構成4)前記自律移動体と前記第1の物体との相対距離と、前記取得手段により取得された前記第1の物体の前記位置情報と前記目的地の前記位置情報との差分情報を用いて前記自律移動体を移動させるとを特徴とする構成3に記載の自律移動体制御システム。
【0141】
(構成5)前記目的地の前記位置情報は、地図と前記固有識別子で識別される空間を重畳させて表示したGUIを用いて指定されることを特徴とする構成1~4のいずれか1つに記載の自律移動体制御システム。
【0142】
(構成6)前記地図は、前記自律移動体により荷物を配送する地点の地図を含むことを特徴とする構成5に記載の自律移動体制御システム。
【0143】
(構成7)前記自律移動体は無人航空機であることを特徴とする構成1~6のいずれか1つに記載の自律移動体制御システム。
【0144】
(方法)指定された目的地の位置情報と、前記目的地の近傍の、固有識別子で識別される第1の空間に紐づけて保存されている第1の物体の位置情報と、を取得する取得ステップと、自律移動体に設けた撮像手段により撮像された画像に基づき前記第1の物体の位置を認識する認識ステップと、前記取得ステップにより取得された前記第1の物体の前記位置情報及び前記目的地の前記位置情報と、前記認識ステップにより認識された前記第1の物体の前記位置とに基づき、前記自律移動体を前記目的地まで移動させる移動ステップと、を有することを特徴とする自律移動体制御方法。
【0145】
(プログラム)構成1~7のいずれか1つに記載の自律移動体制御システムの各手段をコンピュータにより制御するためのコンピュータプログラム。
【符号の説明】
【0146】
10:配送システム制御装置
11:自律移動体制御装置
12:自律移動体
13:変換情報保持装置
14:受付所
15:配送先
16:自律移動体待機所
21:ユーザインターフェース