(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035720
(43)【公開日】2024-03-14
(54)【発明の名称】航空機の機種情報に基づく地上支援機材の制御装置、地上支援機材、及び制御方法
(51)【国際特許分類】
B64F 1/32 20060101AFI20240307BHJP
【FI】
B64F1/32
【審査請求】未請求
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2022140362
(22)【出願日】2022-09-02
(71)【出願人】
【識別番号】316002154
【氏名又は名称】全日本空輸株式会社
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100111567
【弁理士】
【氏名又は名称】坂本 寛
(72)【発明者】
【氏名】一瀬 誠
(72)【発明者】
【氏名】森 真希子
(72)【発明者】
【氏名】深尾 隆則
(72)【発明者】
【氏名】豊島 洸太
(57)【要約】
【課題】地上支援機材が、センサデータの利用が困難である位置に停車していても、センサデータを利用して、航空機に到達できるようにする。
【解決手段】開示の制御装置は、航空機の地上支援機材の制御装置であって、前記航空機の機種情報を取得し、前記機種情報に基づいて、前記航空機地上支援機材の機材待機区域から出発して前記航空機に到達までに経由する経由地点を決定し、前記機材待機区域から、決定された前記経由地点までの第1走行を制御し、前記経由地点から前記航空機に到達するまでの第2走行を、前記地上支援機材に搭載されたセンサによって前記航空機を計測したセンサデータに基づいて制御することを実行するよう構成されている。
【選択図】
図3
【特許請求の範囲】
【請求項1】
航空機の地上支援機材の制御装置であって、
前記航空機の機種情報を取得し、
前記機種情報に基づいて、前記地上支援機材の機材待機区域から出発して前記航空機に到達までに経由する経由地点を決定し、
前記機材待機区域から、決定された前記経由地点までの第1走行を制御し、
前記経由地点から前記航空機に到達するまでの第2走行を、前記地上支援機材に搭載されたセンサによって前記航空機を計測したセンサデータに基づいて制御する
ことを実行するよう構成されている、
制御装置。
【請求項2】
前記第1走行は、少なくとも一部の走行が、経路誘導による自動走行である
請求項1に記載の制御装置。
【請求項3】
前記第1走行は、前記地上支援機材が前記経由地点まで後退する走行であり、
前記第2走行は、前記地上支援機材が前記経由地点から前進する走行である
請求項1に記載の制御装置。
【請求項4】
前記経由地点は、前記地上支援機材が前記第1走行によって前記経由地点に至ったときに、前記航空機における前記地上支援機材の目標到達部位が前記センサの検出範囲内になる地点である
請求項1に記載の制御装置。
【請求項5】
前記第1走行は、前記目標到達部位が前記センサの検出範囲内になるように、前記経由地点まで後退する走行である
請求項4に記載の制御装置。
【請求項6】
前記機種情報を取得することは、カメラによって前記航空機を撮像した画像から、前記航空機に表示された機体記号を読み取ることを備える
請求項1に記載の制御装置。
【請求項7】
前記機種情報を取得することは、フライトスケジュールデータに含まれる機種情報を取得することを備える
請求項1に記載の制御装置。
【請求項8】
前記経由地点を決定することは、前記機種情報と前記経由地点とが対応付けられたデータを参照して行われる
請求項1に記載の制御装置。
【請求項9】
前記経由地点は、前記地上支援機材が前記第1走行の開始前において停車している位置に基づいて決定される
請求項1に記載の制御装置。
【請求項10】
前記経由地点は、前記航空機における前記地上支援機材の目標到達部位の種別に基づいて決定される
請求項9に記載の制御装置。
【請求項11】
前記第2走行は、前記航空機の貨物搬入口に到達するための走行である
請求項1に記載の制御装置。
【請求項12】
請求項1から請求項11のいずれか1項に記載の制御装置を備える地上支援機材。
【請求項13】
航空機の地上支援機材の制御方法であって、
前記航空機の機種情報を取得し、
前記機種情報に基づいて、前記地上支援機材の機材待機区域から出発して前記航空機に到達までに経由する経由地点を決定し、
前記機材待機区域から、決定された前記経由地点までの第1走行を制御し、
前記経由地点から前記航空機に到達するまでの第2走行を、前記地上支援機材に搭載されたセンサによって前記航空機を計測したセンサデータに基づいて制御する
ことを備える制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、航空機の機種情報に基づく地上支援機材の制御装置、地上支援機材、及び制御方法に関する。
【背景技術】
【0002】
特許文献1は、航空機に対する地上支援作業を行う複数の地上支援装置の走行経路を設定する走行経路設定システムを開示している。この走行経路設定システムは、航空機の機種情報等に基づいて、各地上支援装置の作業位置を決定し、地上支援装置の現在位置から作業位置に至るまでの走行経路を設定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
特許文献1の開示の技術では、航空機の機種情報に基づいて地上支援装置の作業位置が決定される。しかし、機種情報では、大まかな位置は決定できるとしても、正確な位置を決定するのは困難である。
【0005】
地上支援機材が、到達すべき位置を正確に把握するには、地上支援機材に搭載されたセンサを用いて航空機を計測したセンサデータを活用することが考えられる。しかし、地上支援機材は、航空機から離れて停車していることが多いため、地上支援機材が停車している位置から、航空機における必要な到達目標部位を計測できるとは限らない。
【0006】
したがって、地上支援機材が、センサデータの利用が困難である位置に停車していても、センサデータを利用して、航空機に到達できるようにすることが望まれる。
【0007】
本開示のある側面は、制御装置である。開示の制御装置は、航空機の地上支援機材の制御装置である。開示の制御装置は、前記航空機の機種情報を取得し、前記機種情報に基づいて、前記地上支援機材の機材待機区域から出発して前記航空機に到達までに経由する経由地点を決定し、前記機材待機区域から、決定された前記経由地点までの第1走行を制御し、前記経由地点から前記航空機に到達するまでの第2走行を、前記地上支援機材に搭載されたセンサによって前記航空機を計測したセンサデータに基づいて制御することを実行するよう構成されている。
【0008】
本開示の他の側面は、地上支援機材である。開示の地上支援機材は、制御装置を備える。
【0009】
本開示のさらに他の側面は、制御方法である。開示の制御方法は、航空機の地上支援機材の制御方法である。開示の方法は、前記航空機の機種情報を取得し、前記機種情報に基づいて、前記地上支援機材の機材待機区域から出発して前記航空機に到達までに経由する経由地点を決定し、前記機材待機区域から、決定された前記経由地点までの第1走行を制御し、前記経由地点から前記航空機に到達するまでの第2走行を、前記地上支援機材に搭載されたセンサによって前記航空機を計測したセンサデータに基づいて制御することを備える。
【0010】
更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【0011】
【
図1】
図1は、センサ装置及び制御装置の構成図である。
【
図3】
図3は、自動走行制御のフローチャートである。
【
図4】
図4は、経由地点決定処理のフローチャートである。
【
図5】
図5は、経由地点及び誘導線の説明図である。
【
図6】
図6は、センサ装置の検知範囲の説明図である。
【
図9】
図9は、センサデータに基づく制御のフローチャートである。
【
図10】
図10は、第1ロジックで車体位置・角度を認識する処理のフローチャートである。
【
図11】
図11は、カメラ視野とLiDAR基準座標との関係を示す図である。
【
図12】
図12は、貨物搬入口が識別されたカメラ画像を示す図である。
【
図17】
図17は、貨物搬入口高認識のフローチャートである。
【
図18】
図18は、カメラ画像座標系とカメラ座標との関係を示す図である。
【
図19】
図19は、カメラ座標系とHL座標系との関係を示す図である。
【
図20】
図20は、第2ロジックで車体位置・角度を認識する処理のフローチャートである。
【
図21】
図21は、搬入口範囲が識別されたカメラ画像を示す図である。
【発明を実施するための形態】
【0012】
<1.航空機の地上支援機材の制御装置、地上支援機材、及び制御方法>
【0013】
(1)実施形態に係る制御装置は、航空機の地上支援機材の制御装置であって、前記航空機の機種情報を取得し、前記機種情報に基づいて、前記地上支援機材の機材待機区域から出発して前記航空機に到達までに経由する経由地点を決定し、前記機材待機区域から、決定された前記経由地点までの第1走行を制御し、前記経由地点から前記航空機に到達するまでの第2走行を、前記地上支援機材に搭載されたセンサによって前記航空機を計測したセンサデータに基づいて制御することを実行するよう構成されている。経由地点は、機種情報によって決定できるため、制御装置は、センサデータを利用しなくても、経由地点までの第1走行を制御できる。また、地上支援機材が経由地点まで移動することで、移動前に比べると、センサデータの利用が容易になることが期待できるため、センサデータを利用して、航空機に到達することが容易になる。
【0014】
(2)前記第1走行は、少なくとも一部の走行が、経路誘導による自動走行であるのが好ましい。
【0015】
(3)前記第1走行は、前記地上支援機材が前記経由地点まで後退する走行であり、前記第2走行は、前記地上支援機材が前記経由地点から前進する走行であるのが好ましい。
【0016】
(4)前記経由地点は、前記地上支援機材が前記第1走行によって前記経由地点に至ったときに、前記航空機における前記地上支援機材の目標到達部位が前記センサの検出範囲内になる地点であるのが好ましい。
【0017】
(5)前記第1走行は、前記目標到達部位が前記センサの検出範囲内になるように、前記経由地点まで後退する走行であるのが好ましい。
【0018】
(6)前記機種情報を取得することは、カメラによって前記航空機を撮像した画像から、前記航空機に表示された機体記号を読み取ることを備えるのが好ましい。
【0019】
(7)前記機種情報を取得することは、フライトスケジュールデータに含まれる機種情報を取得することを備えるのが好ましい。
【0020】
(8)前記経由地点を決定することは、前記機種情報と前記経由地点とが対応付けられたデータを参照して行われるのが好ましい。
【0021】
(9)前記経由地点は、前記地上支援機材が前記第1走行の開始前において停車している位置に基づいて決定されるのが好ましい。
【0022】
(10)前記経由地点は、前記航空機における前記地上支援機材の目標到達部位の種別に基づいて決定されるのが好ましい。
【0023】
(11)前記第2走行は、前記航空機の貨物搬入口に到達するための走行であるのが好ましい。
【0024】
(12)実施形態に係る地上支援機材は、前記制御装置を備えるのが好ましい。
【0025】
(13)実施形態に係る制御方法は、航空機の地上支援機材の制御方法であって、前記航空機の機種情報を取得し、前記機種情報に基づいて、前記地上支援機材の機材待機区域から出発して前記航空機に到達までに経由する経由地点を決定し、前記機材待機区域から、決定された前記経由地点までの第1走行を制御し、前記経由地点から前記航空機に到達するまでの第2走行を、前記地上支援機材に搭載されたセンサによって前記航空機を計測したセンサデータに基づいて制御することを備えるのが好ましい。
【0026】
<2.航空機の地上支援機材の制御装置、地上支援機材、及び制御方法の例>
【0027】
以下、航空機の地上支援機材の制御装置、地上支援機材、及び制御方法の例を、図面を参照しつつ、説明する。
【0028】
図1は、航空機100の地上支援機材10の制御装置60を示している。制御装置60は、例えば、地上支援機材10に搭載され、地上支援機材10の走行を制御する。制御装置60は、地上支援機材10の外部に設けられ、地上支援機材10を遠隔で制御する装置であってもよい。制御装置60は、地上支援機材10に搭載された装置及び地上支援機材10の外部に設けられた装置の双方を含んでもよい。
【0029】
制御装置60は、例えば、コンピュータプログラムを実行するコンピュータによって構成され得る。コンピュータは、プロセッサと、プロセッサに接続された記憶装置とを備え得る。記憶装置は、例えば、一次記憶装置及び二次記憶装置を備える。一次記憶装置は、例えば、RAMである。二次記憶装置は、例えば、ハードディスクドライブ(HDD)又はソリッドステートドライブ(SSD)である。メモリは、プロセッサによって実行されるコンピュータプログラムを備える。プロセッサは、メモリに格納されたコンピュータプログラムを読み出して実行する。コンピュータプログラムは、地上支援機材10の制御61,62のための処理をコンピュータに実行させるためのプログラムコードを有する。制御装置60の機能の一部又は全部は、ハードウェアロジック回路によって構成されてもよい。
【0030】
制御装置60は、一例として、初期走行制御61を実行し得る。また、制御装置60は、一例として、寄り付き及び高さ調整制御62を実行し得る。制御62は、ドア開状態制御62A(第1制御)と、ドア閉状態制御62B(第2制御)と、を含む。これらの制御については後述される。
【0031】
制御装置60によって制御される地上支援機材(グランド・サポート・イクイップメント)10は、航空機100のグランドハンドリング作業のための装置である。地上支援機材10としては、作業内容に応じて様々な種類の装置が存在する。地上支援機材10としては、例えば、カーゴローダ、ケータリングカー、タラップカー、カーゴトラックコンベヤ車などがある。カーゴローダは、航空機の貨物室に貨物と搭降載するために用いられるケータリングカーは、飲み物、食べ物、及び機内用品等を飛行機に搭載する車である。ケータリングカーは、旅客の搭乗口に寄り付く。ケータリングカーは、搭乗口に対して高さ合わせされる昇降部を備える。なお、ケータリングカーが寄り付く搭乗口は、旅客の出入りに通常用いられる機体左側の搭乗口ではなく、機体右側の搭乗口である。なお、搭乗口は旅客ドアによって閉じられる。タラップカーは、飛行機へ乗客が乗り降りするための車である。タラップカーは、搭乗口に寄り付く。タラップカーは、搭乗口に対して高さ合わせされる。なお、タラップカーが寄り付く搭乗口は、機体左側の搭乗口である。カーゴトラックコンベアは、バラ積み機体貨物室(バルク室)に寄り付くために用いられ得る。カーゴトラックコンベヤ車は、作業者が立つための昇降部(リフト)を備え、その昇降部(リフト)の高さが調整される。高さは、作業者が貨物室に貨物を積み付け易い高さへ調整される。以下では、搬入口にアプローチし高さ調整される地上支援機材10の一例として、航空機の貨物室に貨物を搭降載するためのカーゴローダ(Cargo Loader)を挙げて説明する。また、カーゴローダとしては、ハイリフトローダ、メインデッキローダ、ベルトローダ、及びトランスポータなどがある。ハイリフトローダは、航空機100のロアデッキ貨物室又はメインデッキ貨物室へのコンテナの搭降載に使用される車両である。
【0032】
なお、ハイリフトローダによって積み下ろしされるコンテナは、Unit Load Device(ULD)とも呼ばれる。ULDは、航空機専用の収納機材である。コンテナが搭載される貨物室は、コンテナ室とも呼ばれる。なお、航空機100の貨物室には、荷物がバラ積みされるバルク室もある。バルク室には、ベルトローダによって貨物が搭降載される。
【0033】
航空機100は、一例として、前方貨物室(フォワード・カーゴ・コンパートメント)と、後方貨物室(アフター・カーゴ・コンパートメント)と、を備え得る。後方貨物室は、前方貨物室よりも後方にある。貨物室は、機体の胴体内部に設けられている。前方貨物室に貨物を搬入するための搬入口は、前方貨物搬入口と呼ぶことができる。前方貨物搬入口は、例えば、主翼よりも前方にある。後方貨物室に貨物を搬入するための搬入口は、後方貨物搬入口と呼ぶことができる。後方貨物搬入口は、例えば、主翼よりも後方にある。搬入口は、貨物の搬出にも用いられ得る。航空機100に設けられている貨物搬入口は、1つでもよいし、複数でもよい。
【0034】
前方貨物搬入口及び後方貨物搬入口は、航空機100の機体の側面下側に設けられ得る。前方貨物搬入口及び後方貨物搬入口は、一般に、機体の右側面の下側に設けられている。なお、機体の右側面とは、航空機100の背面から前方に向いて見た場合に、機体の右にある面である。
【0035】
図2に示すように、航空機100の機体101の貨物搬入口102には、カーゴドア103と呼ばれる扉が設けられる。カーゴドア103によって貨物搬入口102が開閉される。カーゴドア103は、例えば、電動モータなどによって開閉動作が駆動される。機体101の側面に設けられたカーゴドア103は、サイドカーゴドアと呼ばれる。
図2示すように、サイドカーゴドア103は、機体101の外側上方に開く。なお、
図2は、航空機100の正面から後方に向いて見た図であるため、機体101の右側面に設けられたサイドカーゴドア103が、
図2では機体101の左側に位置している。なお、カーゴドアは、機体101の先頭の機首部分からなるノーズカーゴドアであってもよい。ノーズカーゴドアは、機首部分が、上方に押し上げられて開く。ノーズカーゴドアによって開閉される貨物搬入口は、機首貨物搬入口と呼ぶことができる。
【0036】
ハイリフトローダ10は、
図2に示すようにサイドカーゴドア103が開かれた状態で、コンテナCの搭載又は取り降ろしを行うために用いられる。ハイリフトローダ10は、貨物の搭降載のため、貨物搬入口に正対した状態で、貨物搬入口にアプローチする。
【0037】
ハイリフトローダ10は、車両前部20と、車両後部30と、を備える。車両前部20は、貨物搬入口102に接続される昇降部21を備える。昇降部31は、高さ調整可能である。昇降部21は、昇降式プラットフォーム21とも呼ばれる。昇降式プラットフォーム21は、貨物室105の床面106に合わせて高さ調整される。
【0038】
車両前部20は、昇降部21ととともに昇降する運転台22を備える。運転台22は、作業者がハイリフトローダ10を手動運転するために用いられる。手動運転のための操作は、例えば、操舵、及び前進後退切り替えを含む。運転台22にいる作業者は、カーゴドア103近傍に設けられた操作盤(図示省略)を操作して、カーゴドア103を手動で開閉操作することもできる。
【0039】
車両前部20は、センサ装置50を備える。センサ装置50は、一例として、運転台22の前側に配置され得る。センサ装置50は、昇降部21の昇降にしたがって昇降し得る。なお、地上支援機材10におけるセンサ装置50の配置は、特に限定されない。
【0040】
車両後部30は、車両前部20の後方に設けられた昇降式デッキ31を備える。昇降式デッキ31は、コンテナC等の貨物の荷上げ・荷下ろしに用いられる。
図2に示すように、昇降式デッキ31は、車両前部20の昇降式プラットフォーム21と同じ高さに、高さ調整され得る。車両後部30は、昇降式デッキ31の後方に設けられた作業プラットフォーム32を備える。作業プラットフォーム32は、例えば、図示しないドーリーとの貨物の積み替え作業に利用される。
【0041】
図1に戻り、センサ装置50について説明する。センサ装置50は、地上支援機材10が到達すべき航空機100に関するセンサデータを取得する。センサ装置50によって取得されたセンサデータは、例えば、地上支援機材10の自動走行の制御に用いられる。
図1に示すセンサ装置50は、一例として、画像の撮像のためのカメラ51,52,53,54と、LiDARセンサ55と、を備える。センサ装置50は、一例として、複数のカメラ51,52,53,54を備える。複数のカメラは、一例として、第1カメラ51,第2カメラ,第3カメラ,及び第4カメラを備える。
【0042】
LiDARセンサ55は、計測対象へレーザ光を照射して、計測対象までの距離等を計測する。LiDARセンサ55によって、計測対象の表面における多数の点の3次元座標を示す点群データ(ポイントクラウド)が取得される。なお、点群データを取得するためのセンサの形式は特に限定されない。
【0043】
センサ装置50によって取得された画像及び点群データは、センサデータとして、制御装置60に与えられる。制御装置60は、取得したセンサデータを用いて、例えば、地上支援機材10の走行装置80及び昇降部21を制御する。走行装置80は、地上支援機材10の走行を担う装置であり、走行のための駆動部、操舵機構、及び車輪などを備える。走行装置80による自動走行は、制御装置60によって制御される。制御装置60による制御は、地上支援機材10の操舵及び前進・後進切替を含む。制御装置60による制御は、速度調整を含んでもよい。
【0044】
例えば、制御装置60は、センサデータを用いて、地上支援機材10が到達すべき目標(目標到達部位)を検出し、目標到達部位に到達するように、地上支援機材10を自動走行させる。なお、ここでは、目標到達部位となる機体101の部位は、一例として、機体101の側面に設けられた貨物搬入口である。この場合、制御装置60は、地上支援機材10が到達すべき貨物搬入口の位置を求め、その貨物搬入口に到達するように、地上支援機材10の走行を制御する。また、制御装置60は、貨物搬入口の高さを検出し、貨物搬入口の高さに合わせて、昇降部21の高さを調整する。制御装置60は、昇降部21の高さに応じて、昇降式デッキ31の高さも調整することができる。
【0045】
制御装置60は、地上支援機材10の制御のため、必要に応じて、センサデータ以外のデータ又は信号を取得することもできる。
図2に示すように、制御装置60が取得し得る他のデータは、例えば、地上支援機材10の現在位置、データベース70に格納されたデータ、誘導線検出器91によって検出されたデータ、機体記号読取カメラ92によって取得されたデータ、地上支援機材10が到達すべき貨物搬入口の種別、及びフライトスケジュールデータから選択される少なくとも一つ以上のデータである。これらのデータについては、後述される。
【0046】
図3は、制御装置60による地上支援機材10の自動走行制御の手順を示している。
図3に示す手順は、地上支援機材10が、空港の待機位置において停車している状態から、航空機100に到達するまでの手順を示している。ここでは、地上支援機材10は、一例として、航空機100に到達するまでに、経由地点を経由してから、航空機へ到達する。このため、
図3の手順では、経由地点が決定される(ステップS33)。経由地点を決定するため、経由地点の決定に先立って、必要なデータが取得される(ステップS31,S32)。
【0047】
経由地点を決定するために必要なデータは、例えば、航空機の機種情報である。航空機100における貨物搬入口の位置は、機種によって異なり得るため、様々な機種に対応して適切に自動走行するためには、機種情報は有用である。このため、ステップS31では、機種情報(機体型式情報)が取得される。なお、機種情報がなくても、貨物搬入口の位置を識別できる場合には、ステップS31は省略されてもよい。
【0048】
機種情報は、例えば、制御装置60が、フライトスケジュールデータを有するデータベースにアクセスすることによって取得される(
図1参照)。フライトスケジュールデータは、例えば、フライトスケジュールを管理するためのデータベースサーバに保存されている。フライトスケジュールデータは、地上支援機材10が到達すべき航空機100の機種情報を含む。機種情報は、地上支援機材10に設けられたカメラ92又は地上支援機材10外に設けられたカメラ92によって、地上支援機材10が到達すべき航空機100に付された機体記号を読み取ることによって取得されてもよい(
図1参照)。
【0049】
機体記号は、航空機100を個体として識別するための記号である。機体記号が機種を直接的に示す数字又は記号を含む場合には、機体記号から機種を識別することが可能である。また、機体記号が機種を直接的には示さない場合には、機体記号と機種とを対応付けたテーブルを参照することにより、機体記号から機種を識別することが可能である。なお、機体記号は、その記号又は数字を一部省略した形で、機体に付されていることがある。
【0050】
機体記号は、航空機の主翼、機体胴体、ノーズギアカバーなど、機体101の様々な部位に表示され得る。カメラ92によって読み取られる機体記号は、いずれの部位のものでもよい。例えば、ノーズギアカバーに付された機体記号をカメラ92によって認識することで、機種情報を取得することができる。
【0051】
また、経由地点を決定するため、制御装置60は、地上支援機材10(ハイリフトローダ10)が到達すべき貨物搬入口の種別を取得し得る(ステップS32)。ここで、貨物搬入口の種別とは、航空機100が備える複数の貨物搬入口のうちのいずれであるかを示すデータである。貨物搬入口の種別は、例えば、前方貨物室(FWD)及び後方貨物室(AFT)である。例えば、前方貨物室に到達すべきハイリフトローダ10は、貨物搬入口の種別として、「前方貨物室(FWD)」を示すデータを取得する。また、後方貨物室に到達すべきハイリフトローダ10は、貨物搬入口の種別として、「後方貨物室(AFT)」を示すデータを取得する。どのハイリフトローダ10が、どの貨物搬入口に到達すべきかのデータは、予め管理コンピュータ(図示省略)に設定されているか、作業管理者によって管理コンピュータに適宜設定され得る。制御装置60は、管理コンピュータにアクセスすることによって、地上支援機材10が到達すべき貨物搬入口の種別を取得し得る。なお、制御装置60にとって、到達すべき貨物搬入口の種別が既知である場合には、ステップは省略されてもよい。
【0052】
制御装置60は、ステップS33において、経由地点を決定する。
図4は、ステップS33に相当する経由地点決定処理の手順を示している。まず、制御装置60は、地上支援機材10の現在位置を取得する(ステップS41)。ここでの現在位置は、地上支援機材10が、航空機100へ向けて走行する前の待機位置である。現在位置は、例えば、地上支援機材10に搭載されたGNSS(全球測位衛星システム)受信機によって取得された位置である。地上支援機材10が所定の待機位置に停車している場合には、待機位置を示すデータが、現在位置として取得されてもよい。なお、待機位置が制御装置60にとって既知、又は待機位置(現在位置)がなくても経由地点を決定できる場合、ステップS41は省略されてもよい。
【0053】
制御装置60は、一例として、データベース70に格納された機種情報テーブル71を参照して、経由地点を決定する(ステップS42)。テーブル71は、例えば、複数の機種情報それぞれに経由地点P
FWD1,P
FWD2,P
AFTが対応付けられたデータである。
図5に示すように、経由地点は、貨物搬入口の種別(貨物搬入口の位置)に応じて設定され得る。例えば、経由地点としては、前方貨物搬入口102A用の経由地点P
FWD1,P
FWD2と、後方貨物搬入口102B用の経由地点P
AFTとが設定され得る。貨物搬入口の位置に応じて、経由地点を選択することで、制御装置60は、貨物搬入口に到達するのに適切な経由地点を決定することができる。
【0054】
また、経由地点は、地上支援機材10の現在位置(待機位置)に応じて設定され得る。例えば、前方貨物搬入口102A用の経由地点としては、第1経由地点PFWD1と第2経由地点PFWD2とが設定され得る。地上支援機材10の現在位置(待機位置)に応じて、経由地点を選択することで、制御装置60は、現在位置(待機位置)に応じた適切な経由地点を決定することができる。
【0055】
図5に示すように、地上支援機材10の待機位置としては、例えば、
図5に示す10C,10D,10E,10Fの位置があり得る。ここで、地上支援機材10の待機位置は、空港における機材待機区域((Equipment Staging Area:ESA)302,302内にある。機材待機区域は、機材制限区域(Equipment Restraint Area:ERA)301の外側に設定され、スポットに駐機された航空機100のグランドハンドリング作業に利用される機材の待機場所として使用される。なお、スポットは、航空機100が駐機する位置である。機材待機区域302には、ハイリフトローダ10以外に、ドーリー、ケータリング車両、給油車など他の機材が駐車されていることもある。機材制限区域301は、機材待機区域の内側に設定され、スポットに航空機100が出入りする際には、機材の進入が禁止される。
【0056】
図5において、待機状態の地上支援機材10C,10D,10E,10Fは、機材待機域302内にあり、駐機した航空機100の貨物搬入口102A,102Bよりも機体前方に位置する。また、待機状態の地上支援機材10C,10D,10E,10Fは、駐機した航空機100と同じ向きに向いている。したがって、待機状態の地上支援機材10からみると、駐機した航空機100の貨物搬入口102A,102Bは、地上支援機材10の後方に位置している。このため、地上支援機材10の前部に設けられたセンサ装置50では、貨物搬入口102A,102Bを検知し難いことがある。また、待機状態の地上支援機材10C,10D,10E,10Fから貨物搬入口102A,102Bまでの距離は比較的大きい(数十メートル以上ある)ため、待機状態の地上支援機材10に設けられたセンサ装置50では、大きく離れており、さほど大きくはない貨物搬入口102A,102Bの位置を正確に検出し難いことがある。
【0057】
そこで、制御装置60は、一例として、センサ装置50によって取得したセンサデータに基づく自動走行を、地上支援機材10の待機位置から開始するのではなく、一旦、経由地点から開始する。経由地点は、地上支援機材10が到達すべき貨物搬入口102A,102Bが、地上支援機材10に搭載されたセンサ装置50の検知範囲内となる位置に設定される。地上支援機材10は、センサ装置50の検知範囲内に、貨物搬入口102A,102Bが入るように、経由地点へ移動する。
【0058】
例えば、
図6に示すように、センサ装置50の検知範囲Dが、地上支援機材10の前方から左方を指向するように設定されている場合、
図6の地上支援機材10Aのように、機体101の右側方の位置において、貨物搬入口102に対してほぼ正対することで、センサ装置50の検知範囲D内に、貨物搬入口102が位置する。また、
図6の地上支援機材10Bのように、貨物搬入口102の右斜め後方の位置において、機体101と並んで、機体前方を向くことで、センサ装置50の検知範囲内に、貨物搬入口102が位置する。本実施形態では、経由地点は、到達すべき貨物搬入口102に対して
図6に示す地上支援機材10A又は10Bの位置になるように設定される。なお、経由地点は、機材待機区域302内に設定されてもよいし、機材制限区域301内に設定されてもよい。
【0059】
図5に戻り、前方貨物搬入口102A用の第1経由地点P
FWD1は、
図6の10Aに相当する位置である。前方貨物搬入口102A用の第2経由地点P
FWD2及び後方貨物搬入口102B用の経由地点P
AFTは、
図6の10Bに相当する位置である。一例として、第1経由地点P
FWD1は、
図5の10Cの位置で待機している地上支援機材のための経由地点として設けられており、第2経由地点P
FWD2は、
図5の10Eの位置で待機している地上支援機材のための経由地点として設けられている。後方貨物搬入口102B用の経由地点P
AFTは、
図5の10D及び10Eの位置で待機している地上支援機材のための経由地点として設けられている。なお、経由地点は、機材待機区域内に設定されてもよいし、機材制限区域内に設定されてもよい。
【0060】
制御装置60は、取得した機種情報(ステップS31)に基づいて、機種情報テーブル71を参照することで、経由地点の候補PFWD1,PFWD2,PAFTを取得する。また、取得された「貨物搬入口の種別」が「前方貨物搬入口(FWD)」であれば、候補は、地点PFWD1,PFWD2に絞られる。また、待機状態の地上支援機材の現在位置(ステップS41)が、10Cの位置であれば、経由地点PFWD1に決定され、10Eの位置であれば、経由地点PFWD2に決定される(ステップS42)。取得された「貨物搬入口の種別」が「後方貨物搬入口(AFT)」であれば、経由地点PAFTに決定される(ステップS42)。なお、本実施形態では、「経由地点」を「切り返し位置」ともいう。地上支援機材10は、一例として、待機位置から切り返し位置まで、後退により到達し、切り返し位置から貨物搬入口102まで前進により到達する。後退してから前進して航空機100に寄り付くことで、待機位置から航空機100に寄り付くまでの切り返し回数を少なくすることができる。
【0061】
図4の経由地点決定処理S33が完了すると、制御装置60は、決定した経由地点まで、地上支援機材10を移動させる自動走行(初期走行;第1走行)を実行する(
図3のステップS34)。経由地点までの走行は、一例として、後退である。制御装置60は、経由地点に到達すると、センサ装置50によって取得したセンサデータに基づいて、地上支援機材10が貨物搬入口に到達するよう地上支援機材10を制御する(ステップS35)。
【0062】
図5に示すように、機材制限区域301及び機材待機区域302には、経由地点まで地上支援機材10を誘導するための誘導線200が設けられている。誘導線200は、空港の地面に塗装されたマーカ、地面に埋設された電磁誘導線、又はその他の経路誘導用マーカである。地上支援機材10は、誘導線200に沿って移動することが可能である。誘導線200は、地上支援機材10に設けられた誘導線検出器91によって検出される。誘導線検出器91は、例えば、誘導線200を撮像するカメラ、又は、電磁誘導線を検出するセンサである。
【0063】
図5に示す誘導線200は、一例として、第1誘導線201と、第1誘導線から分岐して延びる第2誘導線202及び第4誘導線204と、第2誘導線202から分岐した第3誘導線203と、第4誘導線204から分岐した第5誘導線205と、を備える。第1誘導線201は、機材制限区域301内に設けられており、その経路上に、経由地点P
AFTが存在する。第2誘導線202は、機材制限区域301から機材待機区域302にわたっており、第1誘導線201から10Cの位置に至るように設けられている。第3誘導線203は、機材制限区域301から機材待機区域302にわたっており、第2誘導線202から10Dの位置に至るように設けられている。第4誘導線204は、機材制限区域301から機材待機区域302にわたっており、第1誘導線201から10Eの位置に至るように設けられている。第5誘導線205は、機材待機区域302内に設けられており、第4誘導線204から10Fの位置に至るように設けられている。
【0064】
図7は、
図5の10C及び10Dの位置で、地上支援機材10が待機している場合における、走行経路の一例を示している。
図7の地上支援機材10Cが、前方貨物搬入口102Aに向かう場合、経路地点は、P
FWD1に決定される。この場合、地上支援機材10Cは、経由地点P
FWD1まで後退する第1走行15(初期走行15)を行い、10C-1で示される地上支援機材のように、貨物搬入口102Aにほぼ正対する向きになる。この地上支援機材10C-1は、経由地点P
FWD1から前進して前方貨物搬入口102Aに寄り付く第2走行16を行う。地上支援機材10Cの第1走行15では、一例として、最初の一部の走行が、第2誘導線202に経路誘導された走行となり、その後は、地上支援機材10Cが受信したGNSS信号によって経由地点P
FWD1まで誘導される走行となる。
【0065】
図7の地上支援機材10Dが、後方貨物搬入口102Bに向かう場合、経由地点は、P
AFTに決定される。この場合、地上支援機材10Dは、経由地点P
AFTまで後退する第1走行15を行い、10D-1で示される地上支援機材のように、左斜め前方に貨物搬入口102Bが位置するように、機体101とほぼ平行で、機体前方を向く向きになる。この地上支援機材10D-1は、経由地点P
AFTから前進して後方貨物搬入口102Bに寄り付く第2走行16を行う。地上支援機材10Dの第1走行15は、一例として、第3誘導線203、第2誘導線202、及び第1誘導線201に経路誘導された走行である。
【0066】
図8は、
図5の10E及び10Fの位置で、地上支援機材10が待機している場合における、走行経路の一例を示している。
図8の地上支援機材10Eが、前方貨物搬入口102Aに向かう場合、機種情報テーブル経路地点は、P
FWD2に決定される。この場合、地上支援機材10Eは、経由地点P
FWD2まで後退する第1走行15を行い、10E-1で示される地上支援機材のように、左斜め前前方に貨物搬入口102Aが位置するように、機体101とほぼ平行で、機体前方を向く向きになる。この地上支援機材10E-1は、経由地点P
FWD2から前進して前方貨物搬入口102Aに寄り付く第2走行16を行う。地上支援機材10Eの第1走行15は、一例として、第4誘導線及び第1誘導線201に経路誘導された走行である。
【0067】
図8の地上支援機材10Fが、後方貨物搬入口102Bに向かう場合、経由地点は、P
AFTに決定される。この場合、地上支援機材10Fは、経由地点P
AFTまで後退する第1走行15を行い、10F-1で示される地上支援機材のように、左斜め前方に貨物搬入口102Bが位置するように、機体101とほぼ平行で、機体前方を向く向きになる。この地上支援機材10F-1は、経由地点P
AFTから前進して後方貨物搬入口102Bに寄り付く第2走行16を行う。地上支援機材10Fの第1走行15は、一例として、第5誘導線205、及び第1誘導線201に経路誘導された走行である。
【0068】
地上支援機材は、
図7,8に示す10C-1,10D-1,10E-1,10F-1の位置に到達すると、仮に、待機位置では貨物搬入口が、センサ装置60の検知範囲D外であったとしても、貨物搬入口102A,102Bを、検知範囲D内位置させることができる。そこで、制御装置60は、経由地点以降では、航空機100を計測したセンサデータに基づいて、第2走行等を制御する(
図3のステップS35)。なお、第1走行15においても、必要に応じて、センサデータを活用してもよい。
【0069】
図9は、センサデータに基づく制御装置60による制御(ステップS35)の手順を示している。
図9に示す手順では、一例として、まず、地上支援機材10が到達しようとする貨物搬入口102A,102Bのカーゴドアが開いているか閉じているかが判定される(ステップS91)。地上支援機材10が貨物搬入口102A,102Bに寄り付こうとする際に、カーゴドアが予め開いているか、閉じているかはケースバイケースである。開いているか閉じているかは、例えば、航空機100の機種によって異なる。例えば、ある機種では、駐機後、地上支援機材10が貨物搬入口102A,102Bに寄り付こうとする前に、予めカーゴドアが開かれていることがある。また、他の機種では、駐機後においてカーゴドアが閉じたままの状態であり、地上支援機材10に乗った作業者が、カーゴドア近傍の機体に設けられたカーゴドア操作盤(図示省略)を操作して、カーゴドアを開く操作をする必要がある。このため、本実施形態では、一例として、制御装置60は、カーゴドアが開いているか閉じているかによって、異なる制御を実行する。
【0070】
ステップS91のドア開閉判定では、一例として、
図3のステップS31にて取得された機種情報に基づいて、カーゴドアが開いているか閉じているかが判定される。ドア開閉判定のため、機種情報テーブル71は、機種情報に対応付けられたドア開閉情報(図示省略)を有しているのが好ましい。機種情報に対応付けられたドア開閉情報は、カーゴドアが開いているか閉じているかを機種ごとに示す。制御装置60は、ドア開閉情報を有する機種情報テーブル71を参照し、地上支援機材10が到達すべき航空機100の貨物搬入口が閉じているか開いているかを判定する。開いていると判定された場合、第1制御(ドア開状態制御)が実行され、閉じていると判定された場合、第2制御(ドア閉状態制御)が実行される。なお、第2制御を実行した場合、第2制御の後には、カーゴドアが開いているため、第1制御が実行され得る。
【0071】
第1制御では、ステップS911において、貨物搬入口に対する地上支援機材10の位置及び角度を認識する処理が実行される。なお、第2制御でも同様の認識が行われるが、第1制御では、第1ロジックによって認識が行われ、第2制御では、第1ロジックとは異なる第2ロジックによって認識が行われる。第1ロジックと第2ロジックとの違いは、カーゴドアが開いているか閉じているかに起因する。
【0072】
図10は、第1ロジックによる認識の処理(ステップS911)を示している。ここでは、センサ装置50の第1カメラ51,第2カメラ52及び第3カメラ53の3つのカメラ(第2センサ)で取得したカメラ画像と、LiDARセンサ55(第1センサ)で取得した点群データと、が用いられる。
【0073】
図10に示すステップS101では、カメラ画像から貨物搬入口が検出される。カメラ画像からの貨物搬入口の検出には、例えば、制御装置60に構築された搬入口識別器が用いられる。搬入口識別器は、例えば、航空機の画像が入力されると、画像中の貨物搬入口を識別するよう機械学習された機械学習モデルである。なお、ここでの搬入口識別器は、一例として、様々な機種の航空機について、カーゴドアが開いている画像及びカーゴドアが閉じている画像の双方を用いて機械学習がされており、カーゴドアが開いていても閉じていても貨物搬入口を検出することができる。したがって、実施形態にかかる搬入口識別器は、第2制御にも利用でき、有利である。
【0074】
なお、搬入口識別器としては、第1制御用と第2制御用とが別々に設けられていてもよい。この場合、第1制御のための搬入口識別器は、カーゴドアが開いている貨物搬入口を識別するよう機械学習され、第2制御のための搬入口識別器は、カーゴドアが閉じている貨物搬入口を識別するよう機械学習され得る。
【0075】
図11及び
図12は、カメラ画像から貨物搬入口の座標を求める方法を説明する図である。
図11は、カメラ座標とLiDAR中心極座標との位置関係を示している。なお、3つのカメラ51,52,53は、高さが同じで、それぞれの視野の方位が異なるようにセンサ装置50に設けられている。また、
図11において、x方向(
図11の上方)は、地上支援機材10の前方向に相当し、y方向は、地上支援機材10の左方向に相当する。第1カメラ51は、x方向(前方)を向くように設けられており、第3カメラ53は、y方向(左方向)を向くように設けられている。第2カメラ52は、第1カメラ51と第3カメラ53の中間の方向(左斜め前方)を向くように設けられている。なお、3つのカメラの視野は互いに一部重複している。これらの3つのカメラ51,52,53の視野を合わせた範囲が、全体のカメラ視野となる。また、LiDARセンサ55は、全体のカメラ視野を含む範囲において対象物までの距離を測定するよう設けられている。対象物までの距離は、全体のカメラ視野とLiDARセンサ55の検知範囲とが重複する範囲において適切に求められ得る。したがって、ここでは、3つのカメラ全体のカメラ視野が、センサ装置50の検知範囲Dに相当する。
【0076】
搬入口識別器は、3つの各画像から、貨物搬入口を検出する。貨物搬入口の検出は、例えば、各画像において、貨物搬入口が含まれる矩形範囲の座標を求めることによって行われる。貨物搬入口が含まれる矩形範囲は、例えば、搬入口識別器が識別した貨物搬入口を示すバウンディングボックスである。バウンディングボックスは、搬入口識別器による識別の結果に基づき、バウンディングボックスアノテーションによって得られる。
【0077】
図12では、一例として、カーゴドアが開いた貨物搬入口が、第1カメラ画像と第2カメラ画像とに分かれて写っている。搬入口識別器は、
図12に示すように、第1カメラ画像及び第2カメラ画像それぞれにおいて、貨物搬入口が含まれる矩形範囲を抽出する。矩形範囲の座標は、カメラ画像座標(u,v)として求められるため、制御装置60は、矩形範囲のカメラ画像座標を、LiDAR中心極座標(θ,φ)に変換する。この変換のための係数は、カメラ及びLiDARの相対的位置関係から決定される。カメラ及びLiDARの位置関係は既知である。
【0078】
なお、
図12に示すように、貨物搬入口が、2つのカメラ画像にまたがる場合、制御装置60は、2つの画像の矩形範囲を示す極座標範囲を足し合わせて、貨物搬入口が含まれる範囲を算出する。例えば、第1カメラ画像における矩形範囲の極座標θの範囲が、20°から35°であり、第2カメラ画像における矩形範囲の極座標θの範囲が30°から40°である場合、貨物搬入口全体が含まれる範囲の極座標θの範囲は20°から40°となる。極座標φも同様に足し合わせて算出される。これらの処理によって、貨物搬入口のほぼ全体が含まれる範囲が、LiDARセンサ55を基準とした座標値として抽出される。すなわち、LiDARセンサを基準とした、貨物搬入口全体の方位角範囲(θの範囲)及び仰俯角範囲(φの範囲)が抽出される(ステップS101)。
【0079】
なお、貨物搬入口が、2つの画像それぞれで検出され、かつ、それらの貨物搬入口を示すバウンディングボックスの範囲が重ならない場合、別の貨物搬入口が誤検出されたものと判断され得る。誤検出があった場合、経由地点との位置関係から、より確からしい貨物搬入口の位置を採用することができる。また、誤検知があった場合、経由地点から試行的に地上支援機材10を航空機100に接近させることで、画像中に別の貨物搬入口が写らなくなるため、その時点で貨物搬入口を再検出してもよい。
【0080】
貨物搬入口の方位角範囲(θの範囲)及び仰俯角範囲(φの範囲)が抽出されると、ステップS112及びステップS113では、貨物搬入口における所定の基準位置の推定が行われる。ここでの基準位置は、カーゴドアが開いている貨物搬入口の右端(右側縁)である。右端は、貨物搬入口の周縁のうち、機体の外から貨物搬入口を正対して見たときに右側にある端部である。なお、基準位置は、貨物搬入口の左端でもよい。すなわち、基準位置は、貨物搬入口の幅方向両端部のうちのいずれか一方の端部であるのが好ましい。
【0081】
ステップS101で検出された貨物搬入口の位置は、バウンディングボックスの頂点座標で表される大まかなものであるため、地上支援機材10を正確に貨物搬入口102に接続するには、貨物搬入口102のより正確な位置の検出が望まれる。また、ドアが開いている貨物搬入口は、開口であるため、開口である貨物搬入口までの距離を直接測定することはできないため、貨物搬入口の周縁を基準位置とするのが好適である。そこで、ステップS112及びステップS113では、ステップS101で検出された貨物搬入口の位置と、LiDARセンサ55で測定された距離情報と、を用いて、貨物搬入口における基準位置である右端の位置が推定される。
【0082】
貨物搬入口の基準位置(右端)の推定のため、制御装置60は、LiDARセンサ55で取得されたすべての点群データのうち、貨物搬入口の基準位置(右端)の推定に必要となる領域(第1部分領域)内における点群データ(第1部分点群データ)を取得する。第1部分領域は、基準位置となる右端が含まれる領域である。また、第1部分領域は、左端を含まない領域である。第1部分領域が、貨物搬入口の幅方向両端部のうち、いずれか一方の端部しか含まないことで、他方の端部を誤検知しないようにする処理を行う必要がなく、処理が容易になる。
【0083】
第1部分領域は、
図10のステップS101で検出された貨物搬入口全体の範囲(以下、単に「搬入口範囲」という)を利用して求められる。なお、
図13に示すカメラ画像では、第1部分領域は、「SIDE点群データ領域」として、実線で示されている。また、
図13に示すカメラ画像においては、ステップS101で検出された搬入口範囲が点線の矩形で示されている。
【0084】
制御装置60は、第1部分領域(SIDE点群データ領域)を、例えば、搬入口範囲を、搬入口範囲の幅方向右側へ、搬入口範囲の0.5幅分、シフトさせることで求める。搬入口全体をとらえた搬入口範囲では、基準位置となる右端は、搬入口範囲の境界付近にあるため、右端検出の際に、右端周辺の情報を活用するのが困難である。これに対して、第1部分領域では、右端が第1部分領域の幅方向中央に位置するため、右端周辺の情報を活用することができる。また、第1部分領域では、幅方向のシフトにより、左端を含まないものとなっている。このように、第1部分領域は、右端について、その上部から下部までのほぼ全体を含む領域である。
【0085】
制御装置60は、点群データのうち、第1部分領域内おける点群データ(第1部分点群データ)を抽出すると(ステップS112)、その第1部分点群データに基づいて、貨物搬入口の右端を検出する(ステップS113)。点群データ全体ではなく、第1部分点群データに基づいて右端を検出することで、処理負荷を軽減できる。また、第1部分領域を活用せずに、貨物搬入口以外の他の部位の情報も含む点群データの全体から、貨物搬入口を識別するのは必ずしも容易ではない。しかし、貨物搬入口を容易に識別できる画像データから貨物搬入口の右端(基準位置)を含む第1部分領域を求めておき、その第1部分領域内の点群データに含まれる距離情報を用いることで、精度よく右端の位置を求めることができる。なお、画像データは、貨物搬入口を識別するのには好適であるが、距離情報を有していないため、精度よく右端の位置を求めるには、距離情報有する点群データを利用するのが好適である。
【0086】
貨物搬入口の基準である右端は、LiDARセンサ55から貨物搬入口の周辺の機体表面(特に、右端よりも右側の機体表面)までの距離と、カーゴドアが開いている貨物搬入口の周縁よりも内側領域(特に、右端よりも左側の範囲)について測定された距離と、の間に、比較的大きな距離差が生じ得ることを利用して検出され得る。カーゴドアが開いている場合、LiDARセンサ55は、貨物室内部までの距離を測定することになり、貨物室内部までの距離と、機体表面までの距離とは、比較的大きな距離差が出やすい。したがって、基準位置(右端)を容易に検出できる。なお、これに対してカーゴドアが閉じている場合、航空機から離れたLiDARセンサ55によって、貨物搬入口及びその付近までの距離を計測しても、貨物搬入口までの距離とその付近との距離の差が小さいため、基準位置(右端)を検出するのが困難になる。このため、第2ロジックでは、別の方法で、貨物搬入口の位置が検出される。
【0087】
なお、第1部分領域内で、貨物搬入口の右端を検出することは、第1部分領域内で、機体表面の左端を検出することであるともいえる。
【0088】
以下、第1部分領域内の第1部分点群データから右端位置を求める方法の一例を説明する。
図13の「点群データが重畳されたカメラ画像」に示されるように、点群データは、高さ方向(垂直方向)に所定の間隔をおいて複数の層を有する。例えば、
図13の第1部分領域(SIDE点群データ領域)内には、4つの層が含まれている。各層には、幅方向(水平方向)に所定の間隔をおいて複数の計測点(以下、単に「点」という)が並んでいる。なお、層の垂直方向の間隔及び点の水平方向の間隔は、LiDARセンサ55の計測性能によって規定される。
【0089】
図13は、第1部分点群データを用いて、右端の位置を検出する方法を示している。なお、
図13では、第1部分点群データは、「SIDE点群データ」として示されている。制御装置60は、第1部分領域内の各層の点群データを左から並べ、それぞれの層の各点について、同じ層の左右の点までの距離を算出する。制御装置60は、各層において、左隣の点までの距離よりも右隣の点までの距離が有意に長い点(例えば、左右隣の点までの距離差が閾値以上の点)から、左隣の点までの距離よりも右隣の点までの距離が有意に短い点(例えば、左右隣の点までの距離差が閾値未満の点)までの複数の点を抽出する。そして、制御装置60は、当該複数の点の1つ右隣の点が、その層における、右端候補として検出する。検出された右端候補の点のうち、最も右にある2つの点の平均位置が、その層における右端位置として推定される。なお、各層の右端位置は、平均化されて、最終的な貨物搬入口右端と用いられてもよいし、いずれか一つの層の右端位置が、最終的な貨物搬入口右端として用いられてもよい。
【0090】
このようにして、右端位置を求めると、貨物室内の様々な状況に対応して、右端を求めることができる。貨物室内の状況としては、代表的には、
図13の「CASE.1」のように、貨物室内にコンテナ(貨物)がない場合がある。また、「CASE.2」及び「CASE.3」のように、貨物室内にコンテナC1,C2,C3,C4,C5が存在する場合がある。
【0091】
図13の「CASE.1」では、第1部分領域内の第1部分点群データは、右端よりも右側の機体表面B1までの距離を計測したものと、右端よりも左側において、貨物搬入口からみて貨物室の奥にある貨物室内壁B2までの距離を計測したものとなる。
【0092】
図13の「CASE.2」では、第1部分領域内の第1部分点群データは、右端よりも右側の機体表面B1までの距離を計測したものと、右端よりも左側において、貨物搬入口に面したコンテナC2の側壁までの距離を計測したものとなる。この側壁は、貨物室の奥側の内壁B2と平行であるが、内壁B2よりの手前に位置する。
【0093】
図13の「CASE.3」では、第1部分領域内の第1部分点群データは、右端よりも右側の機体表面B1までの距離を計測したものと、右端よりも左側においてはコンテナC2の側壁及び貨物室の奥の内壁B2までの距離を計測したものとなる。
【0094】
CASE.1及びCASE.2の場合、例えば、点P2については、左隣の点P1までの距離と右隣の点P3までの距離は、ほぼ同じである。点P3,P4,P5についても同様である。これに対して、点P6については、左隣の点P5までの距離よりも右隣の点P7までの距離のほうが有意に長くなる。また、点P7については、左隣の点P6までの距離よりも右隣の点P8までの距離が有意に短くなる。したがって、点P6,P7が抽出され、それらの点P6,P7それぞれの一つ右隣の点P7,P8が、右端候補として検出される。ここでは、検出された点は、P7,P8の2つであるため、これらの点P7,P8が右端位置として確定する。点P7,P8の平均位置が、この層における右端位置として推定される。
【0095】
CASE.3の場合、P12,P13,P17,P18の4つが、右端候補として検出される。そして、4つの点P12,P13,P17,P18のうち、最も右にある2つの点P17,P18が右端位置として確定する。点P17,P18の平均位置が、この層における右端位置として推定される。
【0096】
なお、検出され複数の点のうち、最も右にある「2つ」の平均をとることで、いずれか一方の点は目的とする点であることが期待でき、実際の右端位置を精度よく求めることができる。また、各層の右端位置の平均をとることで、右端位置をより精度よく求めることができる。なお、検出された点が1点である場合には、その一つの点を右端位置として確定すればよい。
【0097】
図10に戻り、ステップS122及びステップS123では、貨物搬入口の角度(θ)が推定される。ここでは、LiDARを基準としたxy座標系(
図11参照)において、x方向に対する貨物搬入口に正対する方向の角度が、貨物搬入口の角度(θ)として推定される。
【0098】
ドアが開いている貨物搬入口は、開口であるため、開口である貨物搬入口自体の面を検出するのは困難である。そこで、制御装置60は、開いている貨物搬入口を通じて測定される貨物室内部のなんらかの壁を検出する。制御装置60は、貨物室内部の壁の法線を算出し、算出された法線(第1法線)が、貨物搬入口近傍の機体表面の法線(第2法線)から所定角度以内(例えば、30°以内)であれば、その第1法線を、貨物搬入口の角度(貨物搬入口に正対する方向)として選定する(ステップS123)。なお、ここでの法線は、点群データからなる面に対する法線を、水平面(
図11のxy平面)投影した線とする。すなわち、ここでの法線は、水平面における方向を示す。したがって、貨物搬入口の角度は、水平面における角度として推定される。
【0099】
なお、機体表面は曲面であるため、第2法線自体を、貨物搬入口の角度として求めると精度が低下する。貨物室は、機体前後方向に対して平行又は垂直な平面が比較的多く存在するため、貨物室に正対する方向を、水平面において機体前後方向に垂直である機体横方向として求めるのに有利である。
【0100】
貨物搬入口の角度を求めるため、制御装置60は、LiDARセンサ55で取得されたすべての点群データのうち、貨物搬入口の角度の推定に必要となる第2部分点群データと、第3部分点群データと、を取得する(ステップS122)。第2部分点群データは、LiDARセンサ55で取得されたすべての点群データのうち第2部分領域内における点群データである。第3部分点群データは、LiDARセンサ55で取得されたすべての点群データのうち第3部分領域内における点群データである。
【0101】
第2部分領域は、貨物搬入口全体を含む領域であり、
図10のステップS101で検出された搬入口範囲がそのまま用いられる。
図14に示すカメラ画像では、第2部分領域は、「in点群データ領域」として示されている。
【0102】
第3部分領域は、貨物搬入口付近の機体表面を含む領域であり、貨物搬入口を含まない。
図10のステップS101で検出された搬入口範囲を基準にして求められる。なお、
図14に示すカメラ画像では、第3部分領域は、「out点群データ領域」として示されている。第3部分領域は、ステップS101で検出された搬入口範囲から所定距離(例えば、搬入口の幅×0.2)ほど、搬入口幅方向(例えば、右方向)に離れた位置に設定される。第3部分領域の幅は、例えば、搬入口範囲×0.4に設定される。第3部分領域の幅を搬入口範囲の幅よりも小さくすることで、推定される角度の精度低下を防止できる。
【0103】
制御装置60は、搬入口範囲を示す第2部分領域内の第2部分点群データを用いて、開いている貨物搬入口を通じて測定される貨物室内部の壁を検出し、機体表面を示す第3部分領域内の第3部分点群データを用いて、機体表面を検出する(ステップS123)。貨物室内部の壁及び機体表面といった平面の検出は、例えば、点群データに基づいて、RANSAC(Random Sample Consensus)などのアルゴリズムを用いて行われる。
【0104】
第2部分点群データを用いて検出される貨物室内部の壁のバリエーションとしては、
図14に示す「CASE.1」[CASE.2]及び[CASE.3]があり得る。CASE.1では、貨物室内部の壁としてコンテナC2の正面が検出され、第1法線N11が算出される。CASE.2では、貨物室内部の壁として貨物室奥の内壁B2が検出され、第1法線N12が算出される。CASE.3では、コンテナC4の側壁及び貨物室奥の内壁B2が検出され、コンテナC4の側壁の第1法線N13と、内壁B2の第1法線N14と、が算出される。地上支援機材10の向きによっては、CASE.3のように、コンテナC4の側壁が捉えられることもある。なお、「CASE.1」[CASE.2]及び[CASE.3]のいずれにおいても、第3部分点群データを用いて機体表面の第2法線N2が算出される。
【0105】
CASE.1においては、第1法線N11は、第2法線N2にほぼ平行(30°以内)であるため、第1法線N11が貨物室角度として選定される(ステップS123)。CASE.2においては、第1法線N12は、第2法線N2にほぼ平行であるため、第1法線N12が貨物室角度として選定される(ステップS123)。
【0106】
CASE.3に関し、地上支援機材10の向きによっては、第1法線N14が検出されず、第1法線N13だけが検出されることもある。このような場合に備えて、第2法線N2に垂直な第1法線N13(例えば、第2法線N2から90°±30°の法線)も選定され得る。第2法線N2に垂直な第1法線N13が選定された場合、90°マイナスした角度が貨物室角度として推定される。
【0107】
CASE.3のように、第2法線N2に平行な法線と垂直な法線の両方が得られた場合、法線に対応する面に含まれる点群が多い方の法線が、貨物室角度として選定され得る(ステップS123)。
【0108】
以上のように、貨物室角度(貨物搬入口に正対する方向)は、貨物搬入口の開口と概ね平行である第1面に対して垂直な第1法線N11,N12,N14として検出される場合と、貨物搬入口の開口に対して概ね直交する第2面に対して平行な方向(第1法線N13の方向を90°マイナスした方向)として検出される場合と、がある。ここでの第1面は、貨物搬入口からみて貨物室の奥にある貨物室内壁B2、及び、貨物室に搭載されたコンテナC2の側壁のうち内壁B2に対して平行な第1側壁のうちの少なくともいずれか一方である。また、ここでの第2面は、貨物室に搭載されたコンテナC4の側壁のうち内壁B2に対して垂直な面である。
【0109】
図10に戻り、ステップS113で求められたLiDAR基準の搬入口位置(x,y)と、ステップS123で求められたLiDAR基準の搬入口角度(θ)と、が、座標変換される(ステップS104)。座標変換によって、LiDAR基準の位置(x,y)及び角度(θ)が、貨物搬入口(貨物搬入口の右端)を基準とした車体位置(X,Y)及び角度(yaw)に変換される。ここでの角度θ,yawは、地上支援機材10の姿勢を示す。
【0110】
図15は、LiDARを基準としたxy座標、すなわち、地上支援機材10のを基準としたxy座標と、貨物搬入口の右端を基準としたXY座標と、を示している。ステップS104の座標変換では、
図15に示す式(1)から(4)に従って、LiDAR基準の位置(x,y)及び角度(θ)が、貨物搬入口(貨物搬入口の右端)を基準とした世界座標系における車体位置(X,Y)及び角度(yaw)に変換される。世界座標系におけるX軸方向は、機体前方方向であり、Y軸方向は、機体の左方である。角度(yaw)は、X軸からみたx軸の角度である。
【0111】
図9に戻り、以上のようにして、貨物搬入口に対する地上支援機材10の位置・角度が求まると(ステップS911)、制御装置60は、自動走行によって貨物搬入口に寄り付くための経路を生成する(ステップS912)。制御装置60は、生成された経路に沿って、地上支援機材10を移動させる指示を走行装置80へ出力する(ステップS913)。制御装置60は、貨物搬入口に正対した状態で貨物搬入口に到達するよう走行装置80を制御する。したがって、地上支援機材10は、貨物の搭降載に適した姿勢で、貨物搬入口に到達することができる。なお、移動中にセンサデータを再取得して、ステップS911からステップS913を繰り返し実行することで、精度よく貨物搬入口に到達することができる。
【0112】
地上支援機材10が貨物搬入口に到達すると、制御装置60は、貨物搬入口の高さを検出する(ステップS914)。なお、ここでは、貨物室の底面高さが、貨物搬入口の高さとして検出される。貨物搬入口の高さ検出のためのセンサとして、例えば、センサ装置50における第4カメラ54が用いられる。制御装置60は、検出された貨物搬入口の高さに応じて、昇降部21(及び必要であれば昇降式デッキ31)の高さを制御する(ステップS915)。なお、貨物搬入口の高さ検出は、地上支援機材10が貨物搬入口に到達するための移動中から行われてもよい。また、貨物の搭降載を担う作業者は、地上支援機材10が貨物搬入口に寄り付いた後に、地上支援機材10に乗り込めばよい。作業者の乗り込みは昇降部21の高さ調整の前でも後でもよい。
【0113】
本実施形態では、一例として、貨物搬入口の高さ検出のため、貨物室内において、相対位置関係が既知である複数の部位(基準部位)が利用される。制御装置60は、相対位置関係が既知である複数の部位をカメラ54で撮像した画像における当該複数の部位の位置と、当該相対位置関係と、を利用して、貨物搬入口の高さを求める。
【0114】
ここでは、基準部位の一例として、貨物室105内の底面106(
図1参照)に設けられ、貨物搬入口下端付近にある部位107が用いられる。当該部位107としては、例えば、
図17の搬入口画像に示すように、貨物搬入口近傍に設けられた貨物搬入口ロックである。かかるロックは、例えば、カーゴドアを閉じるためのロック、又は、コンテナ固定のためのロックである。このようなロックは、貨物室内において貨物搬入口近傍において、貨物搬入口の幅方向に一直線上に、複数(一般的に、4つまたは2つ)並んでおり、それらの間隔は、機種によって異なるものの、既知である。これらを利用して、貨物搬入口の高さが検出される。
【0115】
より具体的には、制御装置60は、カメラ54で貨物搬入口の付近を撮像した画像から、ロック識別器65(基準部位識別器)によって、ロック(基準部位)を識別する。ロック識別器65は、例えば、貨物搬入口付近の画像が入力されると、画像中のロック(基準部位)を識別するよう機械学習された機械学習モデルである。ロック識別器65は、様々な機種のロックを識別するよう学習されている。ロック識別器65によって、画像中の複数のロックそれぞれの位置座標が求められる。複数のロックそれぞれの相対位置関係は既知であるため、制御装置60は、カメラ54を基準としたロックの高さを、貨物搬入口の高さとして求めることができる。
【0116】
図17は、貨物搬入口の高さを検出する処理(ステップS914)の手順の一例を示している。まず、制御装置60は、
図3のステップS31にて取得された機種情報にも基づいて、ロックデータ(基準部位データ)を取得する(ステップS171)。前述の機種情報テーブル71は、機種情報に対応付けられたロックデータ(図示省略)を有しているのが好ましい。機種情報に対応付けられたロックデータは、機種ごとのロック間隔など、複数のロック間の相対位置関係を示すデータを有している。制御装置60は、機種情報に基づいて、機種情報テーブル71を参照し、ロックデータを取得する。
【0117】
そして、制御装置60は、ロックを撮像したカメラ画像から、ロック識別器65によって、ロックの位置を検出する(ステップS172:
図16参照)。
図16におけるロック識別結果の画像中において、白色矩形の4つのバウンディングボックスは、識別された4つの貨物搬入口ロックの位置を示している。
【0118】
制御装置60は、識別された貨物搬入口ロックそれぞれの中心点座標(矩形のバウンディングボックスの中心点)を算出し、それらの中心点座標についての近似直線を生成する。制御装置60は、
図18に示すように、近似直線上の両端点を、貨物搬入口両端ロック位置(u1, V1,)(u2, v2)とする(ステップS173)。識別された両端ロックの位置そのものを利用するのではなく、近似直線上の両端点利用することで、ロック位置の精度を向上させることができる。
【0119】
制御装置60は、両端ロック位置(u1, V1,)(u2, v2)に基づいて、両端ロック間の距離(ロック間隔)がロックデータによって既知であることを利用して、カメラ画像座標系における両端ロック位置から、両端ロック高さを算出する。なお、
図18は、カメラ画像座標とカメラ座標との関係を示している。
図18の式(5)(6)において、f,Cx,Cyはカメラ特性による固定値である。カメラ画像座標系(u,v)の値である両端ロック位置(u1, V1,)(u2, v2)は、式(5)(6)を用いることで、カメラ座標系(x,y,z)におけるロック位置として字表現される。ロック位置x,y,zは、zのみで表現可能である。
【0120】
図19は、カメラ座標とHL座標(
図15のXY座標)との関係を示している。
図19の式(7)において、R,tは、カメラ特性・設置位置によって決定され既知である。HL座標系におけるロック位置X,Y,Zは、zのみで表現可能である。制御装置60は、式(5)(6)(7)の関係性を用いて、
図19のロック位置P
1(X
1,Y
1,Z
1)及びロック位置P
2(X
2,Y
2,Z
2)を、(u1, v1),(u2, v2),zを用いて表現する。
【0121】
ここで、地上支援機材10は、貨物搬入口に正対しているので、X1=X2であり、ロック間距離Lは自明であるため、Y1-Y2=Lである。制御装置60は、これらの条件を用いて、ロック高さZl,Z2を求める(ステップS174)。ロック高さZl,Z2は、地上支援機材10(ハイリフトローダ:HL)からみたロック高であるため、制御装置60は、Zl,Z2の符号を反転計算し、ロック中心からの地上支援機材10(ハイリフトローダ:HL)の高さ(HLの傾きを含む)を推定する(ステップS175)。
【0122】
図9に戻り、
図9のステップS91において、カーゴドアが閉じていると判定された場合、第2制御(ドア閉状態制御)が実行される。
【0123】
第2制御では、ステップS921において、
図10に示す第1ロジックとは異なる第2ロジックによって、貨物搬入口に対する地上支援機材10の位置及び角度を認識する処理が実行される。
図20は、第2ロジックによる認識の処理(ステップS921)を示している。第2ロジックでも、カメラ51,52,53(第2センサ)で取得した画像と、LiDARセンサ55(第1センサ)で取得した点群データと、が用いられる。
【0124】
制御装置60が備える搬入口識別器は、カメラ51,52,53によって取得された画像から、閉じている貨物搬入口を検出する(ステップS201)。これにより、貨物搬入口が含まれる矩形範囲(搬入口範囲)としてバウンディングボックスが得られる(
図21参照)。この貨物搬入口の検出に関しては、第1制御における第1ロジックと同様である。
【0125】
制御装置60は、閉じた搬入口範囲内における部分点群データ(第4部分点群データ。第4部分点群データは、前述の第2部分点群データと同様。)を抽出し(ステップS202)、その第4部分点群データに基づいて、貨物搬入口の位置と角度とを算出する(ステップS213,S223)。カーゴドアが閉じている場合、第4部分点群データは、貨物搬入口までの距離を測定したものであるため、搬入口範囲の重心位置を、搬入口の位置として求める(ステップS213)。また、第4部分点群データによって閉じたカーゴドアの平面を検出し、その平面の法線(水平面における方向)を貨物搬入口の角度として求める(ステップS223)。
【0126】
制御装置60は、ステップS213で求められた搬入口位置とステップS223で求められた搬入口角度とが、座標変換される(ステップS204)。ステップS204の座標変換の方法は、
図10のステップ104の座標変換と同様である。なお、第2制御での搬入口位置は、高さを含むのが好ましい。
【0127】
図9に戻り、貨物搬入口に対する地上支援機材10の位置・角度が求まると(ステップS921)、制御装置60は、自動走行によって貨物搬入口に寄り付くための経路を生成する(ステップS922)。制御装置60は、生成された経路に沿って、地上支援機材10を移動させる指示を走行装置80へ出力する(ステップS923)。制御装置60は、貨物搬入口におおむね正対した状態で貨物搬入口に到達するよう走行装置80を制御する。なお、移動中にセンサデータを再取得して、ステップS921からステップS923を繰り返し実行することで、精度よく貨物搬入口に到達することができる。
【0128】
さらに、制御装置60は、高さを含む搬入口位置に基づいて、昇降部21の高さを制御し、昇降部21を搬入口位置の高さに概ね合わせる。作業者は、地上支援機材10の運転台22に乗り込み、貨物搬入口の近傍の機体に設けられた操作盤を操作して、カーゴドア103を開く操作をする。
【0129】
ステップS921で求められる位置・角度は、ステップS911で求められる位置・角度よりも精度が低いが、第2制御では、地上支援機材10に乗り込んだ作業者が、カーゴドアの操作盤を操作できる位置に、地上支援機材10が到達すればよい。このため、第2制御では、地上支援機材10が到達すべき位置の精度は、第1制御よりも低くてよい。したがって、第2制御では、検出される貨物搬入口の位置・角度は精度が低くてもよい。
【0130】
第2制御で貨物搬入口に到達した地上支援機材10に乗り込んだ作業者は、カーゴドアの開操作が完了すると、制御装置60へ移動指示(後退指示)を与える操作を行う。すると、制御装置60は、経由地点から貨物搬入口に至った経路にそって後退する自動走行を行わせる位置制御を行う(ステップS925)。これにより、地上支援機材10は、経由地点に戻る。地上支援機材10が経由地点に戻ると、制御装置60は、第1制御(ステップS911からステップ915)を実行する。このように、カーゴドアが閉じていても、第2制御を経て、カーゴドアを開けることで、カーゴドアが開いているときのための第1制御が実行可能である。
【0131】
<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0132】
10 地上支援機材
10A 地上支援機材
10B 地上支援機材
10C 地上支援機材)
10C-1 地上支援機材
10D 地上支援機材
10D-1 地上支援機材
10E 地上支援機材
10E-1 地上支援機材
10F 地上支援機材
10F-1 地上支援機材
15 第1走行
16 第2走行
20 前部
21 昇降式プラットフォーム
22 運転台
30 後部
31 昇降式デッキ
32 作業プラットフォーム
50 センサ装置
51 第1カメラ
52 第2カメラ
53 第3カメラ
54 第4カメラ
55 LiDARセンサ
60 制御装置
61 初期走行制御
62 寄り付き及び高さ調整制御
62A ドア開状態制御(第1制御)
62B ドア閉状態制御(第2制御)
65 ロック識別器
70 データベース
80 走行装置
91 誘導線検出器
92 機体記号読取カメラ
100 航空機
101 機体(胴体)
102 貨物搬入口
102A 前方貨物搬入口
102B 後方貨物搬入口
103 カーゴドア
105 貨物室
106 貨物室床面
107 ロック
110 主翼
200 誘導線
201 第1誘導線
202 第2誘導線
203 第3誘導線
204 第4誘導線
205 第5誘導線
301 機材制限区域
302 機材待機区域
C コンテナ
D 検出範囲
【手続補正書】
【提出日】2022-10-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
明細書に記載の装置。