特開 2023-121893 着陸システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023121893

(43)【公開日】2023-09-01

(54)【発明の名称】着陸システム

(51)【国際特許分類】

   G05D 1/10 20060101AFI20230825BHJP

   G08G 5/02 20060101ALI20230825BHJP

【ＦＩ】

G05D1/10

G08G5/02 A

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2022025228

(22)【出願日】2022-02-22

(71)【出願人】

【識別番号】000191353

【氏名又は名称】新明工業株式会社

(74)【代理人】

【識別番号】100074273

【弁理士】

【氏名又は名称】藤本 英夫

(74)【代理人】

【識別番号】100173222

【弁理士】

【氏名又は名称】藤本 英二

(74)【代理人】

【識別番号】100151149

【弁理士】

【氏名又は名称】西村 幸城

(72)【発明者】

【氏名】間瀬 基之

(72)【発明者】

【氏名】落合 浩之

【テーマコード（参考）】

5H181

5H301

【Ｆターム（参考）】

5H181AA26

5H181AA27

5H181BB04

5H181CC04

5H181CC24

5H181FF05

5H181FF13

5H181FF33

5H301AA06

5H301AA10

5H301CC04

5H301CC07

5H301CC10

5H301DD05

5H301DD15

5H301GG07

5H301GG09

(57)【要約】

【課題】高精度の撮像手段を用いることなく高精度の着陸制御の確実化を図れる着陸システムを提供すること。
【解決手段】飛行体１の着陸の誘導に所定の大きさのマーカー２を用いる着陸システムであって、前記飛行体に設けられ、該飛行体が水平姿勢のときに鉛直下方を撮像するカメラ３と、前記カメラで取得した画像を処理し、この処理結果に基づいて該飛行体の移動制御を実行するデータ処理部とを有し、前記データ処理部は、前記カメラで取得した前記マーカーの像に基づき、前記マーカーと前記飛行体との位置関係を演算し、この位置関係に基づき、前記飛行体の着陸を誘導するように構成してあり、前記マーカーは、二つの低明度の正方形と二つの高明度の正方形とを市松模様状に並べて構成してある。
【選択図】図１

【特許請求の範囲】

【請求項1】

飛行体の着陸の誘導に所定の大きさのマーカーを用いる着陸システムであって、
前記飛行体に設けられ、該飛行体が水平姿勢のときに鉛直下方を撮像するカメラと、前記カメラで取得した画像を処理し、この処理結果に基づいて該飛行体の移動制御を実行するデータ処理部とを有し、
前記データ処理部は、前記カメラで取得した前記マーカーの像に基づき、前記マーカーと前記飛行体との位置関係を演算し、この位置関係に基づき、前記飛行体の着陸を誘導するように構成してあり、
前記マーカーは、二つの低明度の正方形と二つの高明度の正方形とを市松模様状に並べて構成してある着陸システム。

【請求項2】

前記マーカーは、市松模様状に並べた計四つの前記正方形の外側に、各正方形の１辺の半分の幅を持ち、かつ、前記低明度の正方形と同一の明度を有する枠を連ねて設けて構成してある請求項１に記載の着陸システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、ドローン（飛行体）の自動着陸のために用いられる着陸システムに関する。

【背景技術】

【0002】

近年、ドローンの離陸、飛行や着陸といった制御の自動化が進んでいるが、特に所定の目標地点に着陸させる制御が困難である。その主たる原因は、着陸制御に利用するＧＰＳ位置情報の誤差にある。

【0003】

そこで、ＧＰＳ位置情報を利用してドローンを目標地点付近にまで移動させ、その後は、ドローンに搭載したカメラで目標地点にあるマーカーを撮影し、取得したマーカーの像に基づき、マーカーとドローンとの位置関係を演算し、この位置関係に基づき、ドローンの着陸を誘導するように構成する着陸システムが提案されている（特許文献１，２）。

【0004】

また、本出願人は、ドローンを用いたゴルフプレー支援システムを提案しており（特願２０２０－１５７３３０）、このシステムでは、プレーヤーが見失ったゴルフボールを発見するために、ゴルフカートの天面から離陸したドローンが、指令を受けた地点まで飛行して所定の撮影を行った後、元のゴルフカートの天面に帰還する。そして、この帰還（ゴルフカートの天面へのドローンの着陸）を誘導するために、ゴルフカートの天面に上記着陸システムのマーカーを設けることが考えられる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１３８６８１号公報

【特許文献2】特許第５６９０５３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、特許文献１記載の技術では、マーカーとして用いるＨマークの形状上、その中心位置を特定するデータ処理が複雑化し、着陸制御の際に大きな位置誤差が生じる恐れがある。また、ヘリポートの着陸帯とされるＨマークは、通常、縦４ｍ×横３ｍの大きさとされ、このように大きなＨマークをゴルフカートの天面に設けることは物理的に不可能であり、Ｈマークの小型化を図ると、その形状上、ドローンのカメラで認識しづらくなる恐れがある。

【0007】

特許文献２記載の技術では、相似形の図形を同心多重に配置したマーカーを用いるのであり、その中心位置を特定するデータ処理は行い易いものの、マーカーの形状が複雑であるため、高精度のカメラをドローンに搭載する必要があると考えられる。しかも、起伏のあるゴルフ場内で停車したゴルフカートの天面が水平ではなく幾らか傾いていることも多く、このとき、ドローンとゴルフカートとの位置関係によっては、ゴルフカートの天面に設けた特許文献２のマーカーは、その形状の複雑性にも起因して、ドローンに搭載したカメラでは認識できなくなる懸念もある。

【0008】

本発明は上述の事柄に留意してなされたもので、その目的は、高精度の撮像手段を用いることなく高精度の着陸制御の確実化を図れる着陸システムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明に係る着陸システムは、飛行体の着陸の誘導に所定の大きさのマーカーを用いる着陸システムであって、前記飛行体に設けられ、該飛行体が水平姿勢のときに鉛直下方を撮像するカメラと、前記カメラで取得した画像を処理し、この処理結果に基づいて該飛行体の移動制御を実行するデータ処理部とを有し、前記データ処理部は、前記カメラで取得した前記マーカーの像に基づき、前記マーカーと前記飛行体との位置関係を演算し、この位置関係に基づき、前記飛行体の着陸を誘導するように構成してあり、前記マーカーは、二つの低明度の正方形と二つの高明度の正方形とを市松模様状に並べて構成してある（請求項１）。

【0010】

上記着陸システムにおいて、前記マーカーは、市松模様状に並べた計四つの前記正方形の外側に、各正方形の１辺の半分の幅を持ち、かつ、前記低明度の正方形と同一の明度を有する枠を連ねて設けて構成してあってもよい（請求項２）。

【発明の効果】

【0011】

本願発明では、高精度の撮像手段を用いることなく高精度の着陸制御の確実化を図れる着陸システムが得られる。

【0012】

すなわち、本願の各請求項に係る発明の着陸システムでは、計四つの正方形の組み合わせ方に工夫を凝らし、その前後左右どの方向に離れた位置からも認識し易いマーカーを用いるのであり、各正方形を適宜の大きさとしておくことにより、例えば空間周波数フィルター等を用いた処理によりマーカーの中心位置を容易に特定することができるので、高精度の撮像手段を用いることなく高精度の着陸制御の確実化を図れる着陸システムが得られる。

【0013】

請求項２に係る発明の着陸システムでは、ドローンに搭載したカメラを用いたマーカーの認識性の向上を図ることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施の形態に係る着陸システムによるドローンの制御方法（動き）を概略的に示す説明図である。

【図2】（Ａ）は前記着陸システムに用いるマーカーの説明図、（Ｂ）は前記マーカーのＸ座標と輝度値との関係を示すグラフ、（Ｃ）は前記マーカーの変形例の説明図である。

【図3】前記着陸システムによる着陸制御方法の一部の工程（主に画像処理方法）を示す説明図である。

【図4】前記着陸システムの情報処理装置の構成例を示す説明図である。

【発明を実施するための形態】

【0015】

本発明の実施の形態について以下に説明する。

【0016】

本例の着陸システムは、図１に示すように、ドローン１（飛行体の一例）の着陸の誘導に所定の大きさのマーカー２を用いるものである。

【0017】

ドローン１は、例えばユーザー機器（例えばＰＣであるユーザー端末や基地局を構成するコンピューター等を含む）８（図４参照）との通信情報やＧＰＳ位置情報を利用して飛行した後、所定の目標位置に着陸する自律飛行型のドローンであり、上下方向及び水平方向に移動自在かつ旋回自在に飛行し、ホバリングも可能とする。

【0018】

図４に示すように、ドローン１は、カメラ３、データ処理部４、位置情報取得部５、通信部６及び記憶部（メモリ）７を有する。

【0019】

カメラ３は、例えば固定倍率で撮像するように構成されており、夜間でも良好な撮影が行えるように光源付きのものが好ましい。なお、カメラ３は、例えば２Ｋ（フルＨＤ）解像度（１９２０×１０８０ピクセル）の静止画を取得できるもので十分であり、例えば４Ｋ解像度（３８４０×２１６０ピクセル）以上の静止画を取得可能な高精度のものを用いる必要はない。

【0020】

データ処理部４は、ドローン１の飛行制御、カメラ３による撮影制御など、様々な処理を実行するのであり、例えば実行機能を有するＣＰＵ等のプロセッサを有し、記憶部７に格納されたプログラムに従って処理を実行するものである。

【0021】

位置情報取得部５は、例えば図外のＧＰＳ衛星との通信を実行し、ＧＰＳ衛星との通信情報に基づいて、ドローン１の現在位置（緯度、経度、高度）を解析し、解析情報をデータ処理部４に出力する。

【0022】

通信部６は、ユーザー機器８や外部サーバとの通信を実行する。

【0023】

記憶部（メモリ）７は、データ処理部４の実行するプログラムの格納領域、ワーク領域として利用され、処理に適用する様々なパラメータの記憶領域としても利用され、例えばＲＡＭ、ＲＯＭ等によって構成することができる。

【0024】

一方、ユーザー機器８は、データ処理部９、位置情報取得部１０、記憶部（メモリ）１１、通信部１２、表示部１３、入力部１４及び出力部１５を有する。

【0025】

データ処理部９は、ドローン１の飛行経路の算出、カメラ３による撮影画像の処理、この処理結果に基づくドローン１の移動制御など、様々な処理を実行するのであり、例えば実行機能を有するＣＰＵ等のプロセッサを有し、記憶部１１に格納されたプログラムに従って処理を実行するものである。

【0026】

位置情報取得部１０は、例えば図外のＧＰＳ衛星との通信を実行し、ＧＰＳ衛星との通信情報に基づいて、ドローン１の現在位置（緯度、経度、高度）を解析し、解析情報をデータ処理部４に出力する。

【0027】

記憶部（メモリ）１１は、データ処理部９の実行するプログラムの格納領域、ワーク領域として利用され、処理に適用する様々なパラメータの記憶領域としても利用され、例えばＲＡＭ、ＲＯＭ等によって構成することができる。

【0028】

通信部１２は、ドローン１や外部サーバとの通信を実行する。

【0029】

表示部１３は、カメラ撮影画像の表示、さらにデータ処理部９が生成したドローン１の飛行経路情報、その他の操作に必要な情報等を表示する。

【0030】

入力部１４は、ユーザーによる操作を可能とし、様々な処理、例えば画像撮影、経路表示の開始、終了等のユーザー要求の入力処理等に利用される。出力部１５は、音声出力部、画像出力部等を含む。なお、入力部１４をキーボード、出力部１５を液晶モニターとするなど、両者１４，１５を別々の装置で構成してあってもよいし、両者１４，１５を兼用するタッチパネル等を用いてもよい。

【0031】

ここで、本例の着陸システムは、ドローン１が目標位置（ドローン１を着陸させようとする位置）から離れた場所を飛行しているときに着陸シーケンスを開始し、このドローン１を目標位置に着陸させる際に、ＧＰＳ位置情報を利用してドローン１を目標位置付近にまで移動させ、その後は、ドローン１に搭載したカメラ３で目標位置にあるマーカー２を撮影し、取得したマーカー２の像に基づき、マーカー２とドローン１との位置関係を演算し、この位置関係に基づき、ドローンの着陸を誘導するものであるが、この着陸に係る制御等の大部分は、公知技術を採用可能であり、以下では、説明の冗長化を避けるため、主に本発明の特徴部分の説明を中心に説明し、それ以外の部分の説明は適宜省略する。

【0032】

なお、ドローン１の飛行（移動）の制御ないし操作は、例えば、ユーザー機器８側からドローン１に目標位置座標（データ）が送信され、ドローン１に搭載されたデータ処理部４等が、ドローン１自身の位置座標（データ）と目標位置座標とに基づいてドローン１が目標位置に向かう制御（操作）を自動的に行うものであってもよいし、ユーザー機器８がドローン１からドローン１の位置座標（データ）をリアルタイムで受信し、ドローン１自身の位置座標と目標位置座標とに基づいてドローン１を目標位置に向かわせるための操作信号を逐一ドローン１に送信することによって行うものでもよく、これら以外のものでもよい。

【0033】

マーカー２は、図２（Ａ）に示すように、二つの黒い正方形（低明度の正方形の一例）と二つの白い正方形（高明度の正方形の一例）とを市松模様状に並べて構成してある。これら四つの正方形の各々の１辺は、５０ｍｍ～３００ｍｍとすることが考えられ、本例では１００ｍｍである。なお、マーカー２は、例えば、布状あるいは板状の部材に印刷等によって設けてあってもよいし、ゴルフカートの天面等に塗装して設けてあってもよい。また、二つの黒い正方形どうし、二つの白い正方形どうしで、明度は同一としてある。

【0034】

本例の着陸システムは、以下の工程（１）～（６）を含む着陸制御方法を実行するように構成してある。

【0035】

（１）着陸シーケンスを開始し、目標位置のＧＰＳ位置情報に基づいて移動し、目標位置付近に到達したドローン１は、ホバリングにより地面から所定高さＨ１（本例では約１０ｍ）を維持しながら水平姿勢をとり、搭載したカメラ３で鉛直下方を撮像（撮影）する（図１（Ａ）参照）。このとき、図３に示すように、撮像画像１６が取得される。なお、本例のドローン１の離着陸は同一地点（例えば停止したゴルフカートの天面）で行うのであり、その地点から離陸したドローン１は所定高さＨ１まで上昇した後、その高さＨ１を維持したまま飛行する。ただし、ドローン１の離着陸を異なる地点で行わせるようにしてもよく、必要に応じて、ドローン１の高さＨ１を適宜の手段により計測するようにしてもよい。

【0036】

（２）データ処理部４は、撮像画像１６を画像処理し、マーカー２の中心位置を算出する。

【0037】

本例では、以下のような画像処理を行う。すなわち、まず、図３に示すように、撮像画像１６に色フィルター１７を用いた処理を施して特定の色以外の色の濃淡を減衰させ（例えばグレースケースに輝度保存変換し）、さらに例えば適宜のトーンカーブを用いたコントラスト補正を行ってコントラストの高い画像１８を得る。

【0038】

続いて、画像１８に空間周波数フィルター１９を用いた処理（２次元処理）を施して、設定した大きさの形状を抽出した画像２０を得る。すなわち、任意の方向に指定した空間周波数があるとその場所を選ぶ設定にしてあり、波長はマーカー２の一つの正方形の幅が半波長となるように幅を持たせて設定してある。図２（Ｂ）の左図に示すように、殆どの場合、マーカー２の周囲は白い正方形と黒い正方形の間の輝度値をとると考えられることから、同右図に示すような矩形波（輝度値の変化）として検出される。なお、図２（Ｂ）の例では、マーカー２の各正方形の各辺と平行ないし直交するＸ方向で矩形波を検出しているが、マーカー２を斜めに通る直線上でも、白い正方形のそれぞれ黒い正方形によって斜めに挟まれる部分には矩形波が出てくるので、マーカー２は問題なく検出される。但し、マーカー２以外の領域についても、矩形波は全ての周波数を含むため、選択される場合がある。

【0039】

その後、画像２０に形状特徴フィルター２１を用いた処理を施して、所定の形状特徴（面積、真円度、外挿円径）を有する領域を抽出した画像２２を得る。なお、外挿円径とは、対象の形状に外接する最小の円の直径である。図３に示す画像２２では、その中央下部で隣接する二つの丸と右上部で隣接する二つの丸の計４か所（計２組）の領域が抽出されている。すなわち、画像２２では、上記計４か所の丸の領域のそれぞれが上記面積、真円度、外挿円径の条件を満たしているとして抽出されている。

【0040】

続いて、形状面積差フィルター２３を用いた処理を施して、画像２２で抽出された複数の丸の領域のうち、相互に隣接している二つの丸の領域が一組の領域を構成していると判断し、複数組の領域が存在する場合、各組の領域に係る二つの丸の面積差を計算し、その面積差が閾値以下であり最も小さい組の領域をマーカー領域２５として抽出した画像２４を得る。上記画像２２では、その中央下部と右上部の二か所の領域が抽出されていたが、画像２４では右上部の領域のみが抽出され、これがマーカー領域２５となる。なお、一組の領域のみが存在する場合、形状面積差フィルター２３を用いた処理を施して、その領域に係る二つの丸の面積差を計算し、その面積差が閾値以下であれば、その領域をマーカー領域２５として抽出した画像２４を得る。いずれの領域の面積差も閾値以下でなければ、例えばエラー処理をし、上記工程（１）からやり直すようにすることが考えられ、この際、ドローン１を現在の位置から前後左右に適宜移動させるようにしてもよい。

【0041】

その後、抽出したマーカー領域２５にあるマーカー２の中心位置を算出する。例えば、画像２４と撮像画像１６とを用いて、撮像画像（元画像）１６においてマーカー領域２５（とその付近）のみを処理対象にした画像２６を得るようにし、この画像２６上にあるマーカー２の画像を画像処理し、マーカー２の白い正方形と黒い正方形の境界を特定し、この特定に基づきマーカー２の中心位置を特定する、といったことが考えられる。

【0042】

（３）データ処理部４は、カメラ位置（撮像画像１６の中心）と上記工程（２）で得られたマーカー２の中心（領域中心）とから目標位置を計算し、目標位置に移動するようにドローン１を制御する（図１（Ｂ）参照）。なお、ドローン１が既に目標位置にあればその場に留まる。

【0043】

（４）データ処理部４は、ドローン１が地面から所定高さ（例えばＨ１の半分程度）Ｈ２となるまでその場で降下し、ホバリングにより地面からその高さ（本例では約５ｍ）を維持しながら水平姿勢をとり、搭載したカメラ３で鉛直下方を撮像（撮影）するように制御する（図１（Ｃ）参照）。

【0044】

（５）データ処理部４は、上記工程（２）、（３）と同一内容の処理を行う。

【0045】

（６）データ処理部４は、ドローン１をその場で降下するように制御し、これにより、ドローン１はマーカー２のある目標位置に着陸する。

【0046】

以上のように構成した本例の着陸システムでは、計四つの正方形の組み合わせ方に工夫を凝らし、その前後左右どの方向に離れた位置からも認識し易いマーカー２を用いるのであり、各正方形を適宜の大きさとしておくことにより、例えば空間周波数フィルター等を用いた処理によりマーカー２の中心位置を容易に特定することができるので、高精度の撮像手段を用いることなく高精度の着陸制御の確実化を図れる。

【0047】

なお、本発明は、上記の実施の形態に何ら限定されず、本発明の要旨を逸脱しない範囲において種々に変形して実施し得ることは勿論である。例えば、以下のような変形例を挙げることができる。

【0048】

上記実施の形態において、ドローン１側（データ処理部４等）で行う処理をユーザー機器８側（データ処理部９等）で行うようにしてもよく、逆に、ユーザー機器８側で行う処理をドローン１側で行うようにしてもよい。また、図４に示すドローン１及びユーザー機器８の構成はあくまでも一例であり、それぞれに担わせる機能等に応じてその構成を適宜変更してもよいことはいうまでもない。

【0049】

上記工程（４）及び（５）をセットにして複数回繰り返すようにしてもよい。この場合、後にくる工程（４）ほど、ドローン１を降下させる所定高さＨ２を低くすればよい。

【0050】

図２（Ｃ）に示すマーカー２７は、図２（Ａ）に示すマーカー２、つまり、市松模様状に並べた計四つの前記正方形の外側に、各正方形の１辺（ａ）の半分の幅（ａ／２）を持つ黒枠（マーカー２を構成する低明度の正方形と同一の明度を有する枠の一例）を連ねて設けて構成したものであり、このマーカー２７を上記マーカー２に代えて用いるようにしてもよく、この場合、ドローン１に搭載したカメラ３を用いたマーカーの認識性の向上を図ることができる。

【0051】

なお、上記変形例どうしを適宜組み合わせてもよいことはいうまでもない。

【符号の説明】

【0052】

１ ドローン
２ マーカー
３ カメラ
４ データ処理部
５ 位置情報取得部
６ 通信部
７ 記憶部
８ ユーザー機器
９ データ処理部
１０ 位置情報取得部
１１ 記憶部
１２ 通信部
１３ 表示部
１４ 入力部
１５ 出力部
１６ 撮像画像
１７ 色フィルター
１８ 画像
１９ 空間周波数フィルター
２０ 画像
２１ 形状特徴フィルター
２２ 画像
２３ 形状面積差フィルター
２４ 画像
２５ マーカー領域
２６ 画像
２７ マーカー
Ｈ１ 所定高さ
Ｈ２ 所定高さ

【図1】

【図2】

【図3】

【図4】