IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エンルートM’sの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-16
(45)【発行日】2024-08-26
(54)【発明の名称】無人飛行体の降下システム
(51)【国際特許分類】
   B64F 1/18 20060101AFI20240819BHJP
   B64C 27/08 20230101ALI20240819BHJP
   B64C 39/02 20060101ALI20240819BHJP
   B64D 47/08 20060101ALI20240819BHJP
   B64C 13/18 20060101ALI20240819BHJP
   G05D 1/00 20240101ALI20240819BHJP
【FI】
B64F1/18
B64C27/08
B64C39/02
B64D47/08
B64C13/18 Z
G05D1/00
【請求項の数】 8
(21)【出願番号】P 2020080714
(22)【出願日】2020-04-30
(65)【公開番号】P2021172318
(43)【公開日】2021-11-01
【審査請求日】2023-04-21
(73)【特許権者】
【識別番号】516145390
【氏名又は名称】イームズロボティクス株式会社
(74)【代理人】
【識別番号】100127328
【弁理士】
【氏名又は名称】八木澤 史彦
(74)【代理人】
【識別番号】100140866
【弁理士】
【氏名又は名称】佐藤 武史
(72)【発明者】
【氏名】山口 達也
(72)【発明者】
【氏名】ホルヘ サンチェス ヘルナンデス
【審査官】長谷井 雅昭
(56)【参考文献】
【文献】米国特許出願公開第2017/0225800(US,A1)
【文献】国際公開第2019/175994(WO,A1)
【文献】米国特許第10479528(US,B1)
【文献】米国特許出願公開第2017/0045894(US,A1)
【文献】特開2018-124718(JP,A)
【文献】国際公開第2019/175993(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B64F 1/18
B64C 27/08
B64C 39/02
B64D 47/08
B64C 13/18
G05D 1/46
B64U 10/13
B64U 70/97
(57)【特許請求の範囲】
【請求項1】
複数のモーターの回転軸にそれぞれ接続されたプロペラの回転を制御して飛行する無人飛行体を目標位置に着陸させるための降下システムであって、
前記目標位置を含む領域に配置される目標標識を有し、
前記目標標識は、水平方向における外形の大きさが異なる複数段階の階層標識から構成され、
相対的に外形が小さな前記階層標識は、相対的に外形が大きな前記階層標識の内側に配置され、
前記複数段階の前記階層標識は水平方向における内側に前記目標位置を含み、
前記無人飛行体は、
前記階層標識を構成する各部の相対的な位置関係を示す情報である相対情報と、
下方を撮影可能な画像取得手段と、
を有し、
前記画像取得手段の撮影範囲内において相対的に外形が大きな前記階層標識を認識可能な場合には、前記相対的に外形が大きな前記階層標識が前記撮影範囲内に位置するように前記無人飛行体を制御しつつ降下し、
前記無人飛行体が降下した結果、前記撮影範囲内において前記相対的に外形が大きな前記階層標識が認識不可能になった場合には、前記相対的に外形が小さな前記階層標識が前記撮影範囲内に位置するように前記無人飛行体を制御しつつ降下し、
前記無人飛行体は、前記相対的に外形が大きな前記階層標識が前記撮影範囲内に位置するように前記無人飛行体を制御しつつ降下するときに、相対的に外形が小さな前記階層標識も認識し、前記無人飛行体が降下した結果、前記撮影範囲内において前記相対的に外形が大きな前記階層標識が認識不可能になる前に、前記相対的に外形が小さな前記階層標識が前記撮影範囲内に位置するように制御しつつ降下する制御に切り替える、
降下システム。
【請求項2】
外側の前記階層標識の外形の全体が前記画像取得手段によって取得するカメラ画像に投影できなくなる直前に、内側の前記階層標識の外形の全体を前記カメラ画像に投影しつつ降下する制御に切り替える、
請求項1に記載の降下システム。
【請求項3】
最も内側の前記階層標識は、前記無人飛行体が着陸したときにおいても、前記無人飛行体が前記撮影範囲内において認識可能な外形の大きさに規定されている、
請求項1または請求項2に記載の降下システム。
【請求項4】
前記複数段階の前記階層標識は複数の要素標識から構成され、
前記相対情報は、各前記要素標識を基準とする前記目標位置の方向及び距離を示す情報であり、
前記無人飛行体は、前記要素標識に示される前記目標位置の方向及び距離に基づいて、前記無人飛行体自体の機首方向を所定方向に制御する、
請求項1または請求項2のいずれかに記載の降下システム。
【請求項5】
前記無人飛行体は、
前記階層標識の一部の前記要素標識によって、前記階層標識の全体を推定する推定手段を有し、
推定した前記階層標識が前記撮影範囲内に位置するように制御しつつ降下する、
請求項4に記載の降下システム。
【請求項6】
前記目標位置を含む領域には、前記無人飛行体の充電可能な電源を充電するための充電装置が配置され、
前記無人飛行体は、前記目標位置に、前記機首方向を前記所定方向に向けた状態において着陸し、前記充電装置によって前記無人飛行体の電源を充電するように構成されている、
請求項5に記載の降下システム。
【請求項7】
前記降下システムは、複数の前記無人飛行体と複数の前記目標標識を有し、
各前記無人飛行体には、異なる前記目標標識が割り当てられ、
各前記無人飛行体は、割り当てられた前記目標標識が示す前記目標位置に向かって降下するように構成されている、
請求項1または請求項2のいずれかに記載の降下システム。
【請求項8】
前記無人飛行体は、
予め有している前記目標標識の特徴を示すデータと、前記画像取得手段によって取得した画像データにおける画像から抽出した特徴データとの相関度に基づいて、前記目標標識を認識するように構成されており、
前記目標標識の特徴を示すデータは、深層学習(ディープラーニング)によって生成されたデータを含む請求項1または請求項2のいずれかに記載の降下システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人飛行体の降下システムに関する。
【背景技術】
【0002】
従来、小型無人飛行体(「ドローン」とも呼ばれる。)の利用が提案されている。このようなドローンが着陸する際に、地上に配置した目標物(「マーカー」とも呼ばれる。)を目指して降下する技術が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】特願2019-501868号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の技術においては、ドローンはカメラで目標物を撮影し、目標物に向かって降下する。カメラには、撮影可能な範囲(例えば、「画角」で規定される。以下、「撮影範囲」と呼ぶ。)があり、ドローンの飛行高度が下がるほど、撮影範囲内の地上の領域は狭くなる。このため、ドローンが高度を下げると、いずれ、マーカーの一部または全部が撮影範囲を外れるから、ドローンが所定の着陸位置に正確に着陸することができない場合がある。
【0005】
本発明はかかる問題の解決を試みたものであり、正確な目標位置に降下することができる無人飛行体の降下システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
第一の発明は、複数のモーターの回転軸にそれぞれ接続されたプロペラの回転を制御して飛行する無人飛行体を目標位置に着陸させるための降下システムであって、前記目標位置を含む領域に配置される目標標識を有し、前記目標標識は、水平方向における外形の大きさが異なる複数段階の階層標識から構成され、相対的に外形が小さな前記階層標識は、相対的に外形が大きな前記階層標識の内側に配置され、前記複数段階の前記階層標識は水平方向における内側に前記目標位置を含み、前記無人飛行体は、前記階層標識を構成する各部の相対的な位置関係を示す情報である相対情報と、下方を撮影可能な画像取得手段と、を有し、前記画像取得手段の撮影範囲内において相対的に外形が大きな前記階層標識を認識可能な場合には、前記相対的に外形が大きな前記階層標識が前記撮影範囲内に位置するように前記無人飛行体を制御しつつ降下し、前記無人飛行体が降下した結果、前記撮影範囲内において前記相対的に外形が大きな前記階層標識が認識不可能になった場合には、前記相対的に外形が小さな前記階層標識が前記撮影範囲内に位置するように前記無人飛行体を制御しつつ降下する、降下システムである。
【0007】
まず、図23乃至25を参照して、本発明の技術思想を説明する。図23に示すように、空中に位置する無人飛行体1の位置から目標位置CP0までの間の空中に、中空のチューブ状の枠部材W1を配置すれば、無人飛行体1が枠部材W1内を通過するように位置を制御しつつ降下することにより、正確に目標位置CP0に着陸することができる。また、枠部材W1に替えて、図24に示すように、上方から下方に向かって次第に内形が小さくなる枠部材W2を配置すれば、無人飛行体1が枠部材W2内を通過するように位置を制御しつつ降下することにより、降下するに連れて、水平方向の位置が目標位置CP0の鉛直方向に近づく。さらに、図25に示すように、1つの枠部材W2に替えて、複数の枠W2a乃至W2dを空中に配置しても同様であり、上方の枠W2aから下方の枠W2dに向かうに連れて、枠の大きさを小さくしていくことによって、無人飛行体1は、下降するに連れて、目標位置CP0に近づく。しかし、任意の空中に枠部材W1、W2やW2a乃至W2dを配置することは現実的ではない。この点、本発明は、複数段階の階層標識を認識しつつ、降下することによって、複数の枠W2a等を通過するのと技術的に等価である効果を奏するように構成される。すなわち、第一の発明の構成によれば、無人飛行体1は、相対的に飛行高度が高く、外側の階層標識を撮影範囲内において認識可能な場合には、外側の階層標識を撮影範囲内に維持しつつ降下し、無人飛行体が降下した結果、撮影範囲内において外側の階層標識が認識できなくなった場合には、内側の階層標識を撮影範囲内に維持しつつ降下することができる。無人飛行体1は、階層標識が撮影範囲内に入るように無人飛行体1の位置を制御する(以下、「撮影位置制御」と呼ぶ。)。撮影位置制御をしつつ降下する技術は、複数の枠W2a等を通過しつつ降下するのと技術的に等価である。さらに、相対的に高い高度においては外側の階層標識に基づいて降下し、相対的に低い高度においては内側の階層標識に基づいて降下することにより、無人飛行体が降下するに連れて、無人飛行体の水平方向の位置は目標位置を通る鉛直線上に近づく(以下、「降下接近効果」と呼ぶ。)。これにより、目標標識を参照して、正確な目標位置に降下することができる。また、無人飛行体は、相対情報を有しているから、機首方向を所定の方向に調整しつつ降下することができる。
【0008】
第二の発明は、第一の発明の構成において、前記無人飛行体は、前記相対的に外形が大きな前記階層標識が前記撮影範囲内に位置するように前記無人飛行体を制御しつつ降下するときに、相対的に外形が小さな前記階層標識も認識し、前記無人飛行体が降下した結果、前記撮影範囲内において前記相対的に外形が大きな前記階層標識が認識不可能になる前に、前記相対的に前記相対的に外形が小さな前記階層標識が前記撮影範囲内に位置するように制御しつつ降下する制御に切り替える、降下システムである。
【0009】
第二の発明の構成によれば、無人飛行体は、外側の階層標識が撮影範囲内に位置するように制御しつつ降下するときに、既に内側の階層標識も認識しており、外側の階層標識が認識不可能になる前に、内側の階層標識が撮影範囲内に位置するように制御しつつ降下する制御に切り替えるから、撮影位置制御を途切れることなく実施することができる。
【0010】
第三の発明は、第一の発明または第二の発明のいずれかの構成において、最も内側の前記階層標識は、前記無人飛行体が着陸したときにおいても、前記無人飛行体が前記撮影範囲内において認識可能な外形の大きさに規定されている、降下システムである。
【0011】
第三の発明の構成によれば、着陸する瞬間まで、撮影位置制御を継続することができるから、確実に目標位置に着陸することができる。
【0012】
第四の発明は、第一の発明乃至第三の発明のいずれかの構成において前記複数段階の前記階層標識は複数の要素標識から構成され、前記相対情報は、各前記要素標識を基準とする前記目標位置の方向及び距離を示す情報であり、前記無人飛行体は、前記要素標識に示される前記目標位置の方向及び距離に基づいて、前記無人飛行体自体の機首方向を所定方向に制御する、降下システムである。
【0013】
第四の発明の構成によれば、無人飛行体は、要素標識を認識することによって、機首方向を所定方向に制御しつつ、目標位置に向かって降下することができる。
【0014】
第五の発明は、第四の発明の構成において、前記無人飛行体は、前記階層標識の一部の前記要素標識によって、前記階層標識の全体を推定する推定手段を有し、推定した前記階層標識が前記撮影範囲内に位置するように制御しつつ降下する、降下システムである。
【0015】
第五の発明の構成によれば、階層標識の一部が影などによって認識できない場合であっても、階層標識の全体を推定し、撮影位置制御を実施しつつ、降下することができる。
【0016】
第六の発明は、第四の発明または第五の発明の構成において、前記目標位置を含む領域には、前記無人飛行体の充電可能な電源を充電するための充電装置が配置され、前記無人飛行体は、前記目標位置に、前記機首方向を前記所定方向に向けた状態において着陸し、前記充電装置によって前記無人飛行体の電源を充電するように構成されている、降下システムである。
【0017】
第六の発明の構成によれば、無人飛行体は、機首方向を所定方向に制御しつつ着陸することができるから、例えば、充電装置の充電用端子が特定の位置に設定されている場合において、無人飛行体側の充電用端子を充電装置側の充電用端子と接続させることができる。
【0018】
第七の発明は、第一の発明乃至第六の発明のいずれかの構成において、前記降下システムは、複数の前記無人飛行体と複数の前記目標標識を有し、各前記無人飛行体には、異なる前記目標標識が割り当てられ、各前記無人飛行体は、割り当てられた前記目標標識が示す前記目標位置に向かって降下するように構成されている、降下システムである。
【0019】
第七の発明の構成によれば、複数の無人飛行体が、それぞれの目標位置に精度良く降下することができる。
【0020】
第八の発明は、第一の発明乃至第七の発明のいずれかの構成において、前記無人飛行体は、予め有している前記目標標識の特徴を示すデータと、前記画像取得手段によって取得した画像データにおける画像から抽出した特徴データとの相関度に基づいて、前記目標標識を認識するように構成されており、前記目標標識の特徴を示すデータは、深層学習(ディープラーニング)によって生成されたデータを含む請求項1乃至請求項7のいずれかに記載の降下システムである。
【0021】
同一の目標標識であっても、環境の光の強さなどによって、様々が外観を呈する。この点、第八の発明の構成によれば、同一の目標標識について様々な外観を深層学習し、その結果として生成された目標標識の特徴を示すデータを利用して目標標識を認識することができるから、環境の変化の影響があっても、精度良く目標標識を認識することができる。
【発明の効果】
【0022】
本発明によれば、正確な目標位置に着陸することができる。
【図面の簡単な説明】
【0023】
図1】本発明の第一の実施形態に係る降下システムの運用の一例を示す概略図である。
図2】無人飛行体を示す概略斜視図である。
図3】無人飛行体の機能ブロックを概略図である。
図4】目標標識の一例を示す概略平面図である。
図5】外側の階層標識を示す概略平面図である。
図6】内側の階層標識を示す概略平面図である。
図7】無人飛行体が記憶する目標標識に関するデータの構造を示す概念図である。
図8】階層標識と画像取得手段の撮影範囲の関係を示す概略平面図である。
図9】外側の階層標識と画像取得手段の撮影範囲の関係を示す概略平面図である。
図10】内側の階層標識と画像取得手段の撮影範囲の関係を示す概略平面図である。
図11】無人飛行体の高度と撮影範囲の関係を示す概略図である。
図12】無人飛行体の高度と撮影範囲の関係を示す概略図である。
図13】無人飛行体が降下する軌跡の一例を示す概略図である。
図14】無人飛行体の動作を説明するための概略フローチャートである。
図15】本発明の第二の実施形態の無人飛行体の動作を説明するための概略フローチャートである。
図16】本発明の第三の実施形態の無人飛行体の動作を説明するための概略フローチャートである。
図17】本発明の第四の実施形態に係る降下システムの運用の一例を示す概略図である。
図18】降下システムの運用の一例を示す概略図である。
図19】画像推定の一例を示す概略図である。
図20】画像推定の一例を示す概略図である。
図21】本発明の第五の実施形態に係る降下システムの運用の一例を示す概略図である。
図22】本発明の第六の実施形態に係る無人飛行体が記憶する目標標識に関するデータの構造を示す概念図である。
図23】本発明の技術思想を説明するための概念図である。
図24】本発明の技術思想を説明するための概念図である。
図25】本発明の技術思想を説明するための概念図である。
【発明を実施するための形態】
【0024】
以下、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以下の説明においては、同様の構成には同じ符号を付し、その説明を省略又は簡略する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。
【0025】
図1に示す無人機1は、プロペラの回転によって推力を得て、所定の経路を自律飛行することができるように構成されている。無人機1は無人飛行体の一例である。
【0026】
無人機1は、所定領域300を経路R1に従って自律飛行する。無人機1は、GPS衛星(Global Positioning System)等の航法衛星からの測位用電波を受信し、無人機1自体の位置を測位しつつ、経路R1に従って自律飛行することができる。
【0027】
所定領域300は、山200A乃至200F、ゴルフ場202、動物園204、田畑206、池208、道路210などの構成物が存在する。無人機1は、所定領域300を撮影しつつ、飛行する。無人機1は、発着領域90から発進し、発着領域90に帰還する。無人機1が着陸するための目標位置CP0は、発着領域90内に位置する。
【0028】
図2に示すように、無人機1は、筐体2を有する。筐体2には、無人機1の各部を制御するコンピュータ、自律飛行装置、無線通信装置、GPS(Global Positioning System)などの航法衛星システムからの測位用電波を利用する測位装置、バッテリー等が配置されている。また、筐体2には、固定装置12を介して、カメラ14が配置されている。カメラ14は、画像取得手段の一例である。
【0029】
無人機1は、カメラ14によって、外部領域(下方の領域)の画像を取得する。無人機1は、カメラ14によって、無人機1の真下の方向も撮影することができる。カメラ14は、可視光カメラであるが、これとは異なり、可視光カメラと近赤外線カメラとを切り替え可能なハイブリッドカメラであってもよい。ただし、無人機1は、目標位置CP0へ向かって降下する際には、可視光カメラを使用する。以下、カメラ14によって撮影して得た画像を「カメラ画像」と呼ぶ。
【0030】
固定装置12は、カメラ画像のぶれを最小化し、かつ、カメラ14の光軸を任意の方向に制御することができる3軸の固定装置(いわゆる、ジンバル)である。
【0031】
筐体2には、丸棒状のアーム4が接続されている。各アーム4にはモーター6が接続されており、各モーター6にはプロペラ8が接続されている。各モーター6は、直流モーター(ブラシレスDCモーター)である。各モーター6は、それぞれ独立して制御され、無人機1を上下水平方向の移動や空中での停止(ホバリング)及び機首方向の変更を自在に行うことができるようになっている。無人機1は、前後左右へ移動する場合には、進行方向に対して後方側の2つのモーター6の回転数を進行方向側の2つのモーター6の回転数よりも多くする。無人機1は、水平方向の位置を維持しつつ機首方向を変更する場合には、対角線上の2つのモーター6の回転数をもう一組の対角線状の2つのモーター6の回転数よりも多くする。無人機1は、隣り合うモーター6を反対方向に回転し、反力を相殺するように構成されている。無人機1は、水平方向の位置を維持しつつ機首方向を変更する場合には、反力を相殺せずに利用する。無人機1は、すべてのモーター6の回転数を徐々に減少させることによって、鉛直方向に降下することができる。
【0032】
アーム4には保護枠10が接続され、プロペラ8が外部の物体に直接接触することを防止している。アーム4及び保護枠10は、例えば、炭素繊維強化プラスチックで形成されており、強度を保ちつつ、軽量に構成されている。
【0033】
図3は、無人機1の機能構成を示す図である。図3に示すように、無人機1は、CPU(Central Processing Unit)50、記憶部52、無線通信部54、衛星測位部56、慣性センサー部58、駆動制御部60、画像処理部62、及び、電源部64を有する。
【0034】
無人機1は、無線通信部54によって、無人機1に発進等の指示を無線送信する制御装置(図示せず)と通信可能になっている。制御装置は、無人機1の管理者が操作するコンピュータであり、無線通信が可能なコンピュータである。
【0035】
無人機1は、衛星測位部56によって、無人機1自体の位置を測定することができる。衛星測位部56は、基本的に、4つ以上の航法衛星からの測位用電波を受信して無人機1の位置を計測する。上述のように、無人機1は、計測した位置に基づいて、経路R1を自律飛行する。慣性センサー部58は、例えば、加速度センサー及びジャイロセンサーによって、無人機1の動きを出力する。慣性センサー部58からの情報は自律飛行装置に出力され、無人機1の姿勢制御に利用される。姿勢制御とは、無人機1が予定した傾斜と乖離した場合に修正することを意味する。例えば、無人機1の4つのプロペラ8の回転面の高さが同一であるときを水平状態とすれば、傾斜とは、水平状態からの乖離である。例えば、無人機1が空中停止(ホバリング)しているときや、鉛直方向の降下するときの予定の傾斜は0であり、無人機1は水平状態を維持する。
【0036】
駆動制御部60によって、無人機1は各モーター6(図2参照)に接続されたプロペラ8(図2参照)の回転を制御し、上下水平移動や空中停止、及び、機首方向を制御するようになっている。
【0037】
画像処理部62によって、無人機1はカメラ14(図2参照)を作動させて外部の画像(カメラ画像)を取得することができる。カメラ14の光軸は、無人機1が目標位置CP0に向かって降下するときには、鉛直方向における下方に固定される。
【0038】
電源部64は、例えば、交換可能な可充電電池であり、無人機1の各部に電力を供給するようになっている。
【0039】
記憶部52には、出発点から目的位置まで自律移動するための移動計画を示すデータ等の自律移動に必要な各種データ及びプログラムのほか、目標標識100に関するデータ、及び、着陸プログラムを格納している。CPU50と着陸プログラムは着陸制御手段の一例である。
【0040】
着陸プログラムは、無人機1が、飛行高度を下げて、目標位置CP0に向かって降下するための制御を行うためのプログラムである。無人機1は、衛星測位部56による現在位置の測位によって、目標位置CP0の上空に到達したと判断すると、着陸プログラムによって、駆動制御部60を介してモーター6の回転を制御し、徐々に高度を下げて、目標位置CP0に向かって降下する。
【0041】
ここで、図4乃至図8を参照して、着陸領域90に配置される目標標識100について説明する。着陸領域90には、図4に示す目標標識100が配置されている。目標標識100は目標標識の一例である。着陸領域90は、目標位置CP0を含む領域の一例である。無人機1と目標標識100によって降下システムが構成される。
【0042】
図4に示すように、目標標識100は、水平方向における外形の大きさが異なる複数段階の階層標識102及び104から構成される。内側の階層標識104は、外側の階層標識102よりも水平方向における外形が小さい。内側の階層標識104は、外側の階層標識102の内側に配置されている。外側の階層標識102の外形は正方形であり、一辺の長さL1は、例えば、130cm(センチメートル)である。内側の階層標識104の外形は正方形であり、一辺の長さL2は、例えば、20cm(センチメートル)である。内側の階層標識104は、無人機1が着陸したときにおいても、その全体がカメラ14の撮影範囲内に入り、無人機1において認識可能な外形の大きさに規定されている。具体的には、内側の階層標識104は、無人機1が着陸したときにおいて、その全体がカメラ14の撮影範囲内に入る限界の外形の大きさに規定されている。本実施形態においては、内側の階層標識104の正方形の外形104out(図6参照)の対角線の長さは、無人機1の着陸時におけるカメラ14の撮影範囲である円の直径と等しい。
【0043】
無人機1が着陸するための目標位置CP0は、階層標識102及び104の内側に位置する。すなわち、階層標識102及び104は、それぞれの内側に目標位置CP0を含む。目標位置CP0は、特定の緯度及び経度で示される座標である。本実施形態において、目標位置CP0は、階層標識102の外形102outの中心位置である(図5参照)。また、目標位置CP0は、階層標識104の外形104outの中心位置でもある(図6参照)。
【0044】
階層標識102及び104は、それぞれ、複数の要素標識から構成される。図4及び図5に示すように、外側の階層標識102は、要素標識102a乃至102h及び102inで構成される。要素標識102inは正方形の輪郭として構成され、要素標識102inの外周に接して要素標識102a乃至102hが形成されている。図6に示すように、内側の階層標識104は、部分標識104a乃至104iから構成される。
【0045】
図7は、目標標識100に関するデータの一例を説明するための概念図である。図7においては、目標標識を目標標識X1とし、目標標識X1が外側の階層標識A及び内側の階層標識Bから構成され、階層標識Aは要素標識Aa及びAbから構成され、階層標識Bは要素標識Ba及びBbから構成されるものとしている。
【0046】
目標標識X1に関するデータは、目標標識X1の座標を示す位置データ、目標標識X1の識別データ、目標標識X1の特徴を示す特徴データ、及び、目標標識X1と目標位置との関係を示すデータを含む。目標標識X1の位置データに示される位置は目標位置の位置と同一である。特徴データは、対象物の特徴点、輪郭や個々の構成の方向といった特徴を示すデータである。特徴データは、KLT(Kanada-Lucas-Tomasi)法、SIFT(Scale INvariant Feature Transform)などの特徴点ベースの画像に基づく追跡方法において使用されるデータである。目標標識X1の特徴データは、例えば、目標標識X1全体としての特徴点、輪郭や個々の構成の方向といった特徴を示すデータである。
【0047】
階層標識Aに関するデータは、階層標識Aの位置データ、階層標識Aの識別データ、階層標識Aの特徴データ、及び、階層標識Aと目標位置との関係を示すデータを含む。特徴データの内容は、上述の目標標識X1の特徴データと同様である。階層標識Aの位置データに示される位置は、目標位置の位置と同一である。階層標識Bに関するデータの構成は以上の階層標識Aのデータ構成と同様である。
【0048】
要素標識Aaに関するデータは、要素標識Aaの位置データ、要素標識Aaの識別データ、要素標識Aaの特徴データ、及び、要素標識Aaと目標位置との関係を示すデータを含む。要素標識Aaの位置データは、要素標識Aa自体の基準位置を示すデータであり、目標位置とは異なる。要素標識Aaの基準位置は、例えば、要素標識Aaの水平方向における中心位置とする。要素標識Aaの位置データと目標位置との関係を示すデータは、要素標識Aaの基準位置を基準として、目標位置の方向及び距離を示すデータである。他の要素標識Ab,Ba及びBbの構成は以上と同様である。すなわち、無人機1は、記憶部52に、各要素標識を基準とする目標位置の方向及び距離を示す情報を格納している。各要素標識を基準とする目標位置の方向及び距離を示す情報は、相対情報の一例である。
【0049】
着陸プログラムは、認識対象決定プログラム及び目標標識認識プログラムを含む。認識対象決定プログラムとCPU50は認識対象決定手段の一例であり、目標標識認識プログラムとCPU50は目標標識認識手段の一例である。認識対象決定プログラムは、無人機1がカメラ画像において認識すべき認識対象を決定するためのプログラムである。本実施形態において、無人機1は、認識対象決定プログラムによって、階層標識102と104のいずれかを認識対象とする。目標標識認識プログラムは、無人機1が認識対象を認識するためのプログラムである。
【0050】
無人機1は、目標位置CP0の上空に到達したと判断すると、カメラ14によって鉛直方向における下方を撮影する。そして、無人機1は、認識対象決定プログラムによって、外側の階層標識102を認識対象として設定する。後述のように、無人機1は、降下した結果、外側の階層標識102がカメラ画像から外れ、認識できなくなった場合には、内側の階層標識104を認識対象として設定する。
【0051】
無人機1は、目標標識認識プログラムによって、カメラ画像中の特徴を抽出し、予め記憶部52に格納している階層標識102及び104の特徴データに基づいて、カメラ画像中において、認識対象として設定された階層標識102または104を認識する。具体的には、無人機1は、カメラ画像中の特徴と、記憶部52に記憶されている特徴データとを対比して、相関性(相関度)を判断することによって、階層標識102または104を認識する。また、無人機1は、目標標識認識プログラムによって、認識対象として設定された階層標識102または104を構成する要素標識を認識する。
【0052】
無人機1は、目標標識認識プログラムによって、特徴点ベースにおける追跡方法を実施する。例えば、無人機1は、カメラ画像について、輪郭や個々の構成の方向といった特徴を多数抽出し、カメラ画像に投影された物体の特徴(以下、「カメラ画像の特徴」という。)を認識する。無人機1は、カメラ画像の特徴と記憶部52に格納された特徴データと対比して、相関性(相関度)を判断する。相関度が高いほど、カメラ画像中の物体が、階層標識102及び104、あるいは、特定の要素標識である可能性が高い。例えば、相関度が0の場合には、カメラ画像中の領域が特定の階層標識あるいは要素標識である可能性(以下、「カテゴリー共通確率」と呼ぶ。)は0%として、相関度が最大値を示すときに、カテゴリー共通確率が100%であると定義する。無人機1は、カテゴリー共通確率が所定の基準値である、例えば、95%以上であるときに、カメラ画像中の物体が、特定の階層標識、あるいは、要素標識であると判断する。
【0053】
図8に、無人機1のカメラ14の撮影範囲と階層標識102及び104との関係を示す。無人機1がカメラ14の撮影方向を鉛直方向における下方に向けた状態で降下すると、無人機1の高度が低下するに連れて、カメラ14の撮影範囲内の地表の領域が狭くなる。なお、カメラ14の画角は一定とする。また、カメラ14の光軸は鉛直下方に固定する。例えば、無人機1の高度が低下するに連れて、カメラ14の撮影範囲内の地表の領域は、円S1の範囲内、円S2の範囲内、円S3の範囲内、円S4の範囲内、円S5の範囲内というように狭くなっていく。そして、無人機1の高度が低下するに連れて、階層標識102及び104のカメラ画像中の大きさが大きくなっていく。別の観点では、無人機1の高度が低下するにつれて、カメラ画像中の画素に占める階層標識102及び104の割合が大きくなることを意味する。
【0054】
無人機1の高度が低下するに連れて、外側の階層標識102と内側の階層標識104の双方がカメラ14の撮影範囲内に入る状態から、外側の階層標識102は撮影範囲の外側に外れ、内側の階層標識104のみが撮影範囲内に入る状態に移行する。
【0055】
無人機1は、着陸プログラムによって、外側の階層標識102が撮影範囲に入り、その全体が認識可能な場合には、階層標識102がカメラ画像内に位置するように無人機1の位置を制御しつつ降下する。言い換えると、無人機1は、階層標識102に基づく撮影位置制御を実施しつつ降下する。そして、無人機1が降下した結果、階層標識102がカメラ画像内に収まらなくなり、階層標識102の全体が認識できなくなった場合には、無人機1は、内側の階層標識104がカメラ画像内に位置するように無人機1の位置を制御しつつ降下するように構成されている。すなわち、無人機1は、まず、階層標識102に基づく撮影位置制御を実施しつつ降下し、階層標識102が撮影範囲の外側に外れると、階層標識104に基づく撮影位置制御に切り替える。ただし、無人機1は、風などの影響によって姿勢や位置が変動するから、図8のように、階層標識102及び104の中心位置である目標位置CP0が、常にカメラ画像の中心に位置するわけではない。
【0056】
図9及び10図を参照して、無人機1が、降下する制御を具体的に説明する。図9に示すように、無人機1は、外側の階層標識102がカメラ画像内に入るように無人機1の位置を制御しつつ降下する。相対的に高度が高い状態においては、例えば、図9に示すように、カメラ画像の撮影範囲S11において、階層標識102の中心位置は左に寄っていても、無人機1が高度を下げて、撮影範囲S12、S13、S14、S15となるにつれて、階層標識102の中心位置はカメラ画像の中心に近づいたり遠ざかったりしつつも、全体的には徐々に中心に寄っていき、最終的に、中心に近い状態になる。このように、撮影位置制御を実施しつつ降下することによって、降下接近効果を奏する。
【0057】
内側の階層標識104においても同様であり、例えば、図10に示すように、カメラ画像の撮影範囲S21において、階層標識104の中心位置は右に寄っていても、無人機1が高度を下げて、撮影範囲S22、S23、S24、S25となるにつれて、カメラ画像における階層標識104の中心位置はカメラ画像の中央に近づいたり遠ざかったりしつつも、全体的には徐々に中央に寄っていき、最終的に、階層標識104の中心位置はカメラ画像の中心に近くなる。すなわち、降下接近効果を奏する。
【0058】
無人機1は、認識対象である階層標識102または104がカメラ画像内に入れば降下を継続し、カメラ画像の中心に階層標識102の中心位置が位置するように無人機1の水平方向の位置を制御する。これに対して、無人機1は、認識対象である階層標識102または104がカメラ画像に入らない場合には、下降を停止、あるいは、下降速度を低下して、認識対象である階層標識102または104がカメラ画像に入るように無人機1の水平方向の位置を調整し、認識対象である階層標識102または104がカメラ画像に入った時点で撮影位置制御を実施しつつ下降を再開する。
【0059】
図11に示すように、無人機1は、着陸領域90の上空に到達すると、カメラ14によって、矢印Z1に示す方向である鉛直方向における下方を撮影する。カメラ14の撮影範囲は、例えば、画角θ1で示される。図11の状態においては、画角θ1の撮影範囲は円S31の範囲であり、階層標識102及び階層標識104の双方が認識可能である。しかし、無人機1は、認識対象決定プログラムによって、外側の階層標識102のみを認識するように構成されている。無人機1は、階層標識102及び要素標識102a乃至102h及び102inを認識する。
【0060】
無人機1は、記憶部52に格納している階層標識102の位置データ及び、要素標識102a乃至102hの目標位置CP0との関係を示すデータを参照し、機首方向を所定の方向に制御する。そして、無人機1は、カメラ画像に階層標識102の外形102outの全体が入るように、撮影位置制御を実施しつつ、降下する。
【0061】
図12に示すように、無人機1が降下した結果、階層標識102がカメラ画像の外側に外れ、カメラ14の撮影範囲に階層標識102の全体が認識できない状態になると、認識対象決定プログラムによって認識する対象を内側の階層標識104に切り替える。そして、無人機1は、目標標識認識プログラムによって、階層標識104及び要素標識104a乃至104iを認識し、記憶部52に格納している階層標識104の位置データ及び、要素標識104a乃至104iの目標位置との関係を示すデータを参照し、機首方向を所定の方向に制御する。そして、無人機1は、カメラ画像に階層標識104の外形104outが入るように、撮影位置制御を実施しつつ、降下する。
【0062】
階層標識102及び104の外形102out及び104outがカメラ画像の撮影範囲内に入るように、撮影位置制御を実施しつつ降下することによって、図13に示すように、無人機1は、目標位置CP0の水平方向の位置に徐々に近づきながら降下することができる。図13に、目標位置の鉛直線上の空中に架空の枠として枠102air及び枠104airを示す。枠102airは外側の階層標識102に対応し、枠104airは内側の階層標識104に対応する。階層標識102及び104に基づいて撮影位置制御を実施しつつ降下することは、無人機1が枠102airを通過し、枠104airを通過することを目指して降下することと技術的概念として等価である。このため、無人機1が、複数段階の階層標識102及び104に基づいて撮影位置制御を実施しつつ降下することによって、無人機1が降下するに連れて、無人機1の水平方向の位置は目標位置CP0を含む鉛直線上に近づく降下接近効果を奏する。これにより、無人機1は、目標標識100を参照して、正確な目標位置CP0に降下することができる。また、無人機1は、相対情報を有しているから、機首方向を所定の方向に維持しつつ降下することができる。
【0063】
以下、図14のフローチャートを参照して、無人機1の動作の概略を説明する。無人機1が、目標位置CP0の上空に到達すると(図14のステップST1)、着陸プログラム
による降下制御を開始する。無人機1は、鉛直方向における下方を撮影し、認識対象決定プログラムによって、外側の階層標識102を認識対象として設定する(ステップST2)。続いて、無人機1は、目標標識認識プログラムによって、外側の階層標識102を認識すると(ステップST3)、階層標識102の全体をカメラ画像に投影するように無人機1の水平方向の位置を制御しつつ降下する(ステップST4)。無人機1の高度が下がり、階層標識102がカメラ14の撮影範囲から外れると(ステップST5)、認識対象決定プログラムによって、認識対象を内側の階層標識104に変更し(ステップST6)、目標標識認識プログラムによって階層標識104を認識し、階層標識104の全体をカメラ画像に投影するように無人機1の水平方向の位置を制御しつつ降下し(ステップST7)、着陸したと判断すると(ステップST8)、停止する。着陸の判断は、例えば、慣性センサー部58(図3参照)の出力から、下方への移動が停止したことを判断することによって行ってもよい。
【0064】
本実施形態において、階層標識は、階層標識102及び104の2段階とした。本発明は、複数段階の階層標識を使用することを特徴とするから、本実施形態とは異なり、階層標識は2階層に限らず、例えば、3階層以上の階層にしてもよい。また、本実施形態とは異なり、姿勢制御と撮影位置制御において、優先順位をつけてもよい。例えば、姿勢制御によって階層標識102または104がカメラ画像の中心に近づかない場合に、撮影位置制御を実施するようにしてもよい。あるいは、本実施形態とは異なり、撮影位置制御は、姿勢制御の時間間隔よりも長い時間間隔において実施するようにしてもよい。例えば、姿勢制御を1000分の1秒ごとに実施するとすれば、撮影位置制御は10分の1秒ごとに実施する。また、本実施形態とは異なり、階層標識102及び104の全体をカメラ画像に投影するように無人機1の水平位置を制御しつつ降下するのではなく、階層標識102及び104の中心位置がカメラ画像の中心位置に位置するように無人機1の水平方向の位置を制御しつつ降下するようにしてもよい。この場合、階層標識102及び104の中心位置は、階層標識102及び104の全体を認識することによって認識する。また、階層標識102及び104をカメラ画像に投影することによって降下方向を制御する技術は、以上に限定されない。例えば、無人機1の水平方向の位置制御に階層標識102を採用する場合には、カメラ画像中における階層標識102の画素数が増加するように制御し、階層標識104を採用する場合には、カメラ画像中における階層標識104の画素数が増加するように制御するようにしてもよい。
【0065】
<第二の実施形態>
次に、図15を参照して、第二の実施形態について説明する。第一の実施形態と共通する事項の説明は省略し、第一の実施形態と異なる事項を中心に説明する。第二の実施形態においては、図15のステップST4A及びST7Aに示すように、無人機1は、階層標識102及び104の中心位置をカメラ画像の中心位置に投影するように無人機1の水平位置を制御しつつ降下する。
【0066】
<第三の実施形態>
次に、図16を参照して、第三の実施形態について説明する。第一の実施形態と共通する事項の説明は省略し、第一の実施形態と異なる事項を中心に説明する。第三の実施形態においては、無人機1は、目標位置CP0の上空に到達すると、外側の階層標識102を認識し、階層標識102の外形102outの全体がカメラ画像に投影されるように水平方向の位置を制御しつつ降下するのであるが、このとき、内側の階層標識104も認識している。そして、外側の階層標識102の外形102outの全体がカメラ画像に投影できなくなる直前に、内側の階層標識104の外形104outの全体をカメラ画像に投影しつつ降下する制御に切り替える。外側の階層標識102の外形102outの全体がカメラ画像に投影できなくなる直前は、例えば、外形102outの一部がカメラ画像の最も外側に達したときとするが、これに限定されない。
【0067】
図16のステップST4Bに示すように、無人機は、階層標識102の全体をカメラ画像に投影するように水平方向の位置を制御しつつ降下するときに、並行して、内側の階層標識104を認識している。ただし、内側の階層標識104は、撮影位置制御には使用しない。無人機1は、外側の階層標識102の外形102outの一部がカメラ画像から外れる直前であると判断すると(ステップST5B)、内側の階層標識104の外形104outをカメラ画像に投影するように無人機1の水平位置を制御しつつ降下する制御に切り替える(ステップST6)。この制御によれば、無人機1は、途切れることなく撮影位置制御を実施しつつ降下することができる。
【0068】
<第四の実施形態>
次に、図17乃至20を参照して、第四の実施形態について説明する。第一の実施形態と共通する事項の説明は省略し、第一の実施形態と異なる事項を中心に説明する。第四の実施形態においては、図17及び18に示すように、目標標識100は、充電基地400に配置される。充電基地400は、基部402、及び、左右の移動筐体404A及び404Bから構成される。
【0069】
左右の移動筐体404A及び404Bは、図17及び18に示すように、矢印X1方向及び矢印X2方向に示すように、水平方向に往復移動可能であり、図17に示す開放状態及び図18に示す閉鎖状態を形成する。
【0070】
目標標識100は、基部402の水平方向における中央部に配置されており、図17に示す開放状態においては外部に露出し、図18に示す閉鎖状態においては移動筐体404A及び404Bによって覆われるように構成されている。
【0071】
無人機1は、充電基地400が開放状態において、目標標識100に示される目標位置に向かって降下する。無人機1が基部402に着陸すると、充電基地400は閉鎖し、無人機1に対する充電が実施される。
【0072】
無人機1の記憶部52には、形状推定プログラムが格納されている。無人機1は、形状推定プログラムによって、階層標識102の一部のみが認識できる場合において、階層標識102の全体形状を推定することができる。そして、無人機1は、着陸プログラムによって、推定した階層標識102がカメラ画像の撮影範囲内に入る状態を維持し、かつ、推定した階層標識102の全体がカメラ画像内に入るように撮影位置制御を実施しつつ、降下する。以上の制御は、階層標識104についても同様である。形状推定プログラムとCPU50は、形状推定手段の一例である。
【0073】
例えば、図19及び図20に示すように、階層標識102及び104の一部が、影SD1及びSD2によって認識が困難な場合がある。
【0074】
無人機1は、目標標識認識プログラムによって、階層標識102及び階層標識104の要素標識を認識し、認識した要素標識に基づいて、階層標識102及び階層標識104の全体形状を推定することができる。
【0075】
例えば、図19に示すように、外側の階層標識102の要素標識のうち、要素標識102a、102b、102g及び102hが認識可能であり、他の要素標識102c等は認識不可能な場合、認識可能な要素標識102a、102b、102g及び102hから外層標識102の全体形状を推定する。このことは、図20に示すように、内側の階層標識104の一部の要素標識が認識可能な場合においても同様である。
【0076】
そして、無人機1は、着陸プログラムによって、推定した階層標識102または階層標識104がカメラ画像の撮影範囲内に位置するように、撮影位置制御を実施しつつ、降下する。
【0077】
なお、本実施形態において、人工知能の使用は必須ではないが、無人機1は、様々な環境条件において撮影した画像データを使用した機械学習の結果を利用して、階層標識102及び階層標識104の一部から、階層標識102及び104を認識するように構成してもよい。目標標識100について、様々な見え方の画像を学習することによって、所定の部分の特徴を抽出し、どのような見え方であっても、所定の部分を識別するための学習結果データを生成することができる。特徴データに示される特徴は、様々な環境条件においても不変の特徴と、様々な環境条件ごとの特徴の双方を含む。この場合、無人機1は、学習結果データを記憶部52に格納している。
【0078】
機械学習は、無人機1自体が実施する必要はなく、外部のコンピュータが実施し、無人機1はその学習結果を利用するようにしてもよい。機械学習の方式は、例えば、深層学習(ディープラーニング)を採用する。深層学習とは、多層構造のニューラルネットワークを用いた機械学習であり、画像認識の分野が有力な活用分野の一つである。ニューラルネットワークは、例えば、畳み込みニューラルネットワーク(CNN:Conlolutional Neural Network)である。畳み込みニューラルネットワークは、入力層(input layer)、畳み込み層(convolution layer)、プーリング層(pooling layer)、全結合層(fully connetced layer)、出力層(output layer)から構成され、畳み込み層とプーリング層は複数回繰り返して深い層を形成し、その後の全結合層も複数層続く。無人機1は、ディープラーニングによって生成した学習結果データを使用することによって、階層標識102または104がどのような見え方であっても識別することができる。
【0079】
<第五の実施形態>
次に、図21を参照して、第五の実施形態について説明する。第一の実施形態または第二の実施形態と共通する事項の説明は省略し、異なる事項を中心に説明する。第五の実施形態においては、図21に示すように、複数の無人機1A,1B及び1Cが運用され、各無人機1A等について、それぞれ、目標標識100A,100B及び100Cが割り当てられている。
【0080】
各無人機1A等は、着陸プログラムによって、それぞれに割り当てられた目標標識100A等が示す目標位置に向かって降下するように構成されている。
【0081】
<第六の実施形態>
次に、図22を参照して、第六の実施形態について説明する。第五の実施形態と共通する事項の説明は省略し、異なる事項を中心に説明する。第六の実施形態においては、複数の無人機1A,1B及び1Cには、特定の目標標識が割り当てられているのであるが、無人機1A等の管理者によって変更可能に構成されている。
【0082】
例えば、図22に示すように、無人機1Aの記憶部には、複数の目標標識として、目標標識X1及びX2についてのデータが格納されている。無人機1Bの記憶部にも、無人機1Aと同様に、複数の目標標識として、目標標識X1及びX2についてのデータが格納されている。無人機1Aに当初割り当てられた目標標識が目標標識X1であり、無人機1Bに当初割り当てられた目標標識が目標標識X2であるとする。本実施形態においては、管理者によって、無人機1A等に当初割り当てられた目標標識を他の目標標識に変更することができる。これにより、例えば、無人機1Aが故障した場合において、無人機1Bの目標標識を目標標識X1に変更し、無人機1Aの任務を実施させるという運用が可能となる。
【0083】
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。また、上述の各実施形態は、適宜、組み合わせることができる。
【符号の説明】
【0084】
1,1A,1B,1C 無人機
2 筐体
6 モーター
14 カメラ
52 記憶部
56 衛星測位部
90 発着領域
100 目標標識
102,104 階層標識
102a,102b,102c,102d,102e,102f,102g,102h,102in,104a,104b,104c,104d,104e,104f,104g,104h,104i 要素標識
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25