特開 2024-35719 航空機の搬入口位置に基づく地上支援機材の制御装置、地上支援機材、及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024035719

(43)【公開日】2024-03-14

(54)【発明の名称】航空機の搬入口位置に基づく地上支援機材の制御装置、地上支援機材、及び制御方法

(51)【国際特許分類】

   B64F 1/32 20060101AFI20240307BHJP

   G01S 17/89 20200101ALN20240307BHJP

【ＦＩ】

B64F1/32

G01S17/89

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022140361

(22)【出願日】2022-09-02

(71)【出願人】

【識別番号】316002154

【氏名又は名称】全日本空輸株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】一瀬 誠

(72)【発明者】

【氏名】森 真希子

(72)【発明者】

【氏名】深尾 隆則

(72)【発明者】

【氏名】豊島 洸太

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084BA03

(57)【要約】

【課題】地上支援機材の自動走行のため、航空機の搬入口をできるだけ正確に把握する。
【解決手段】開示の制御装置は、航空機の地上支援機材が前記航空機へ到達するための自動走行を制御するための制御装置であって、前記地上支援機材に搭載された第１センサによって前記航空機を計測した点群データに基づいて、前記航空機の機体に形成された搬入口を閉じるためのドアが開いている状態における前記搬入口の端部の位置を検出し、検出された前記端部の位置を用いて、前記搬入口までの前記地上支援機材の走行を制御することを備える第１制御を実行するよう構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

航空機の地上支援機材が前記航空機へ到達するための自動走行を制御するための制御装置であって、
前記地上支援機材に搭載された第１センサによって前記航空機を計測した点群データに基づいて、前記航空機の機体に形成された搬入口を閉じるためのカーゴドアが開いている状態における前記搬入口の端部の位置を検出し、
検出された前記端部の位置を用いて、前記搬入口までの前記地上支援機材の走行を制御する
ことを備える第１制御を実行するよう構成されている、
制御装置。

【請求項2】

前記端部の位置を検出することは、前記点群データのうち、前記端部が含まれる部分領域内における部分点群データに基づいて行われる
請求項１に記載の制御装置。

【請求項3】

前記部分領域は、前記搬入口の幅方向両端部のうちのいずれか一方の端部を含み、他方の端部を含まない領域である
請求項２に記載の制御装置。

【請求項4】

前記部分領域は、前記搬入口全体の範囲を検出し、前記範囲を前記搬入口の幅方向へシフトさせることで求められる
請求項３に記載の制御装置。

【請求項5】

前記搬入口全体の前記範囲は、前記第１センサとの位置関係が既知である第２センサによって前記航空機を撮像した画像データにおいて、前記搬入口を求めることによって検出される
請求項４に記載の制御装置。

【請求項6】

前記画像データにおける前記搬入口は、前記画像データから前記搬入口を識別するよう機械学習された機械学習モデルを用いて求められる
請求項５に記載の制御装置。

【請求項7】

前記第１制御は、前記点群データに基づいて、前記搬入口に正対する方向を検出することを更に備え、
前記搬入口までの前記地上支援機材の走行を制御することは、前記方向を更に用いて行われる
請求項１に記載の制御装置。

【請求項8】

前記搬入口までの前記地上支援機材の走行を制御することは、前記搬入口に正対した状態で前記搬入口に到達するよう前記地上支援機材の走行を制御することである
請求項７に記載の制御装置。

【請求項9】

前記搬入口に正対する前記方向を検出することは、
前記点群データに基づいて、第１面に対して垂直な第１方向を検出すること、及び
前記点群データに基づいて、第２面に対して平行な第２方向を検出すること、
のうちの少なくともいずれか一方を備え、
前記第１面は、
前記搬入口からみて貨物室の奥にある貨物室内壁、及び
貨物室に搭載されたコンテナの側壁のうち貨物室内壁に対して平行な第１側壁
のうちの少なくともいずれか一方であり、
前記第２面は、前記貨物室に搭載されたコンテナの側壁のうち前記貨物室内壁に対して垂直な面である
請求項７に記載の制御装置。

【請求項10】

前記地上支援機材は、高さ調整可能な昇降部を備え、
前記第１制御は、
前記搬入口の高さを検出し、
検出された貨物搬入口の高さに応じて、前記昇降部の高さを制御することを更に備える
請求項１に記載の制御装置。

【請求項11】

前記搬入口の前記高さを検出することは、
前記搬入口近傍に設けられた複数の部位であって、相対位置関係が既知である前記複数の部位を検出し、
検出された前記複数の部位の位置と、前記相対位置関係と、に基づいて、前記搬入口の高さを算出する
ことを備える
請求項１０に記載の制御装置。

【請求項12】

前記相対位置関係は、前記航空機の機種情報に基づいて決定される
請求項１１に記載の制御装置。

【請求項13】

前記ドアが閉じている場合には、前記第１制御とは異なる第２制御を実行するよう構成され、
前記第２制御は、
前記第１センサによって前記航空機を計測した点群データに基づいて、前記搬入口の位置を検出し、
検出された前記搬入口の前記位置を用いて、前記搬入口までの前記地上支援機材の走行を制御する
ことを備え、
前記搬入口の前記位置を検出することは、前記点群データのうち、前記カーゴドアが閉じた前記搬入口が含まれる部分領域内における部分点群データに基づいて行われ、
前記部分領域は、前記第１センサとの位置関係が既知である第２センサによって前記カーゴドアが閉じた前記航空機を撮像した画像データにおいて検出された前記貨物搬入口の範囲を含む
請求項１に記載の制御装置。

【請求項14】

請求項１から請求項１３のいずれか１項に記載の制御装置を備える地上支援機材。

【請求項15】

航空機の地上支援機材が前記航空機へ到達するための自動走行の制御方法であって、
前記地上支援機材に搭載された第１センサによって前記航空機を計測した点群データに基づいて、前記航空機の機体に形成された搬入口を閉じるためのドアが開いている状態における前記搬入口の端部を検出し、
検出された前記端部位置を用いて、前記搬入口までの前記地上支援機材の走行を制御する
ことを備える制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、航空機の搬入口位置に基づく地上支援機材の制御装置、地上支援機材、及び制御方法に関する。

【背景技術】

【0002】

特許文献１は、航空機に対する地上支援作業を行う複数の地上支援装置の走行経路を設定する走行経路設定システムを開示している。この走行経路設定システムは、航空機の機種情報等に基づいて、各地上支援装置の作業位置を決定し、地上支援装置の現在位置から作業位置に至るまでの走行経路を設定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１７８５３３号公報

【発明の概要】

【0004】

特許文献１において、地上支援装置の作業位置は、航空機の機種情報等に基づいて決定される。機種情報を用いた場合、航空機の大まかな位置は把握できるが、正確な位置は把握できない。貨物等の搭降載のためには、航空機の地上支援機材は、航空機の搬入口に正確に位置合された状態で搬入口に到達する必要がある。

【0005】

したがって、地上支援機材の自動走行のためには、航空機の搬入口をできるだけ正確に把握することが望まれる。

【0006】

本開示のある側面は、制御装置である。開示の制御装置は、航空機の地上支援機材が前記航空機へ到達するための自動走行を制御するための制御装置である。開示の制御装置は、前記地上支援機材に搭載された第１センサによって前記航空機を計測した点群データに基づいて、前記航空機の機体に形成された搬入口を閉じるためのカーゴドアが開いている状態における前記搬入口の端部の位置を検出し、検出された前記端部の位置を用いて、前記搬入口までの前記地上支援機材の走行を制御することを備える第１制御を実行するよう構成されている。

【0007】

本開示の他の側面は、地上支援機材である。開示の地上支援機材は、制御装置を備える。

【0008】

本開示のさらに他の側面は、制御方法である。開示の制御方法は、航空機の地上支援機材が前記航空機へ到達するための自動走行の制御方法である。開示の方法は、前記地上支援機材に搭載された第１センサによって前記航空機を計測した点群データに基づいて、前記航空機の機体に形成された搬入口を閉じるためのドアが開いている状態における前記搬入口の端部の位置を検出し、検出された前記端部の位置を用いて、前記搬入口までの前記地上支援機材の走行を制御することを備える。

【0009】

更なる詳細は、後述の実施形態として説明される。

【図面の簡単な説明】

【0010】

【図1】図１は、センサ装置及び制御装置の構成図である。

【図2】図２は、地上支援機材の側面図である。

【図3】図３は、自動走行制御のフローチャートである。

【図4】図４は、経由地点決定処理のフローチャートである。

【図5】図５は、経由地点及び誘導線の説明図である。

【図6】図６は、センサ装置の検知範囲の説明図である。

【図7】図７は、自動走行の経路の説明図である。

【図8】図８は、自動走行の経路の説明図である。

【図9】図９は、センサデータに基づく制御のフローチャートである。

【図10】図１０は、第１ロジックで車体位置・角度を認識する処理のフローチャートである。

【図11】図１１は、カメラ視野とＬｉＤＡＲ基準座標との関係を示す図である。

【図12】図１２は、貨物搬入口が識別されたカメラ画像を示す図である。

【図13】図１３は、搬入口右端の求め方の説明図である。

【図14】図１４は、法線の求め方の説明図である。

【図15】図１５は、座標系の説明図である。

【図16】図１６は、ロック識別の説明図である。

【図17】図１７は、貨物搬入口高認識のフローチャートである。

【図18】図１８は、カメラ画像座標系とカメラ座標との関係を示す図である。

【図19】図１９は、カメラ座標系とＨＬ座標系との関係を示す図である。

【図20】図２０は、第２ロジックで車体位置・角度を認識する処理のフローチャートである。

【図21】図２１は、搬入口範囲が識別されたカメラ画像を示す図である。

【発明を実施するための形態】

【0011】

＜１．航空機の地上支援機材の制御装置、地上支援機材、及び制御方法＞

【0012】

（１）実施形態に係る制御装置は、航空機の地上支援機材が前記航空機へ到達するための自動走行を制御するための制御装置であって、前記地上支援機材に搭載された第１センサによって前記航空機を計測した点群データに基づいて、前記航空機の機体に形成された搬入口を閉じるためのドアが開いている状態における前記搬入口の端部の位置を検出し、検出された前記端部の位置を用いて、前記搬入口までの前記地上支援機材の走行を制御することを備える第１制御を実行するよう構成されている。ドアが開いている搬入口の端部位置は、ドアが閉じている場合に比べて形状の特徴が明瞭であるため、精度よく位置を検出することできる。この結果、搬入口を正確に把握して、地上支援機材の走行の精度を向上することができる。なお、搬入口は、例えば、貨物搬入口である。貨物搬入口は、貨物の搬出にも用いられ得る。搬入口は、旅客などの人が出入りするための搭乗口を含む。

【0013】

（２）前記端部の位置を検出することは、前記点群データのうち、前記端部が含まれる部分領域内における部分点群データに基づいて行われるのが好ましい。この場合、部分領域内における部分点群データによって、効率的に端部が検出される。

【0014】

（３）前記部分領域は、前記搬入口の幅方向両端部のうちのいずれか一方の端部を含み、他方の端部を含まない領域であるのが好ましい。

【0015】

（４）前記部分領域は、前記搬入口全体の範囲を検出し、前記範囲を前記搬入口の幅方向へシフトさせることで求められるのが好ましい。なお、搬入口全体とは、ほぼ全体であればよく、完全に全体である必要はない。また、シフトの方法は、ほぼ幅方向であればよく、厳密に幅方向である必要はない。例えば、画像の横方向にシフトさせれば、ほぼ幅方向にシフトすることになる。

【0016】

（５）前記搬入口全体の前記範囲は、前記第１センサとの位置関係が既知である第２センサによって前記航空機を撮像した画像データにおいて、前記搬入口を求めることによって検出されるのが好ましい。搬入口は、例えば、後述の機械学習モデルによって求められるほか、パターンマッチングなど画像認識処理によって求められてもよい。

【0017】

（６）前記画像データにおける前記搬入口は、前記画像データから前記搬入口を識別するよう機械学習された機械学習モデルを用いて求められるのが好ましい。

【0018】

（７）前記第１制御は、前記点群データに基づいて、前記搬入口に正対する方向を検出することを更に備えるのが好ましい。前記搬入口までの前記地上支援機材の走行を制御することは、前記方向を更に用いて行われるのが好ましい。

【0019】

（８）前記搬入口までの前記地上支援機材の走行を制御することは、前記搬入口に正対した状態で前記搬入口に到達するよう前記地上支援機材の走行を制御することであるのが好ましい。

【0020】

（９）前記搬入口に正対する方向を検出することは、前記点群データに基づいて、第１面に対して垂直な第１方向を検出すること、及び前記点群データに基づいて、第２面に対して平行な第２方向を検出すること、のうちの少なくともいずれか一方を備え、前記第１面は、前記搬入口からみて貨物室の奥にある貨物室内壁、及び貨物室に搭載されたコンテナの側壁のうち前記貨物室内壁に対して平行な第１側壁のうちの少なくともいずれか一方であり、前記第２面は、前記貨物室に搭載されたコンテナの側壁のうち貨物室内壁に対して垂直な面であるのが好ましい。

【0021】

（１０）前記地上支援機材は、高さ調整可能な昇降部を備え、前記第１制御は、前記搬入口の高さを検出し、検出された前記搬入口の高さに応じて、前記昇降部の高さを制御することを更に備えるのが好ましい。高さ制御は、前記地上支援機材が前記搬入口に到達した後に行われるのが好ましい。

【0022】

（１１）前記搬入口の前記高さを検出することは、前記搬入口近傍に設けられた複数の部位であって、相対位置関係が既知である前記複数の部位を検出し、検出された前記複数の部位の位置と、前記相対位置関係と、に基づいて、前記搬入口の高さを算出することを備えるのが好ましい。前記複数の部位は、前記貨物室の床面に設けられた部位であるのが好ましい。前記複数の部位は、貨物室に設けられているのが好ましい。

【0023】

（１２）前記相対位置関係は、前記航空機の機種情報に基づいて決定されるのが好ましい。

【0024】

（１３）前記ドアが閉じている場合には、前記第１制御とは異なる第２制御を実行するよう構成され、前記第２制御は、前記第１センサによって前記航空機を計測した点群データに基づいて、前記搬入口の位置を検出し、検出された前記搬入口の前記位置を用いて、前記搬入口までの前記地上支援機材の走行を制御することを備え、前記搬入口の前記位置を検出することは、前記点群データのうち、前記ドアが閉じた前記搬入口が含まれる部分領域内における部分点群データに基づいて行われ、前記部分領域は、前記第１センサとの位置関係が既知である第２センサによって前記ドアが閉じた前記航空機を撮像した画像データにおいて検出された前記搬入口の範囲を含むのが好ましい。

【0025】

（１４）実施形態に係る地上支援機材は、前記制御装置を備えるのが好ましい。

【0026】

（１５）実施形態に係る制御方法は、航空機の地上支援機材が前記航空機へ到達するための自動走行の制御方法であって、前記地上支援機材に搭載された第１センサによって前記航空機を計測した点群データに基づいて、前記航空機の機体に形成された搬入口を閉じるためのドアが開いている状態における前記搬入口の端部の位置を検出し、検出された前記端部の位置を用いて、前記貨物搬入口までの前記地上支援機材の走行を制御することを備える。

【0027】

＜２．航空機の地上支援機材の制御装置、地上支援機材、及び制御方法の例＞

【0028】

以下、航空機の地上支援機材の制御装置、地上支援機材、及び制御方法の例を、図面を参照しつつ、説明する。

【0029】

図１は、航空機１００の地上支援機材１０の制御装置６０を示している。制御装置６０は、例えば、地上支援機材１０に搭載され、地上支援機材１０の走行を制御する。制御装置６０は、地上支援機材１０の外部に設けられ、地上支援機材１０を遠隔で制御する装置であってもよい。制御装置６０は、地上支援機材１０に搭載された装置及び地上支援機材１０の外部に設けられた装置の双方を含んでもよい。

【0030】

制御装置６０は、例えば、コンピュータプログラムを実行するコンピュータによって構成され得る。コンピュータは、プロセッサと、プロセッサに接続された記憶装置とを備え得る。記憶装置は、例えば、一次記憶装置及び二次記憶装置を備える。一次記憶装置は、例えば、ＲＡＭである。二次記憶装置は、例えば、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）である。メモリは、プロセッサによって実行されるコンピュータプログラムを備える。プロセッサは、メモリに格納されたコンピュータプログラムを読み出して実行する。コンピュータプログラムは、地上支援機材１０の制御６１，６２のための処理をコンピュータに実行させるためのプログラムコードを有する。制御装置６０の機能の一部又は全部は、ハードウェアロジック回路によって構成されてもよい。

【0031】

制御装置６０は、一例として、初期走行制御６１を実行し得る。また、制御装置６０は、一例として、寄り付き及び高さ調整制御６２を実行し得る。制御６２は、ドア開状態制御６２Ａ（第１制御）と、ドア閉状態制御６２Ｂ（第２制御）と、を含む。これらの制御については後述される。

【0032】

制御装置６０によって制御される地上支援機材（グランド・サポート・イクイップメント）１０は、航空機１００のグランドハンドリング作業のための装置である。地上支援機材１０としては、作業内容に応じて様々な種類の装置が存在する。地上支援機材１０としては、例えば、カーゴローダ、ケータリングカー、タラップカー、カーゴトラックコンベヤ車などがある。カーゴローダは、航空機の貨物室に貨物と搭降載するために用いられるケータリングカーは、飲み物、食べ物、及び機内用品等を飛行機に搭載する車である。ケータリングカーは、旅客の搭乗口に寄り付く。ケータリングカーは、搭乗口に対して高さ合わせされる昇降部を備える。なお、ケータリングカーが寄り付く搭乗口は、旅客の出入りに通常用いられる機体左側の搭乗口ではなく、機体右側の搭乗口である。なお、搭乗口は旅客ドアによって閉じられる。タラップカーは、飛行機へ乗客が乗り降りするための車である。タラップカーは、搭乗口に寄り付く。タラップカーは、搭乗口に対して高さ合わせされる。なお、タラップカーが寄り付く搭乗口は、機体左側の搭乗口である。カーゴトラックコンベアは、バラ積み機体貨物室（バルク室）に寄り付くために用いられ得る。カーゴトラックコンベヤ車は、作業者が立つための昇降部（リフト）を備え、その昇降部（リフト）の高さが調整される。高さは、作業者が貨物室に貨物を積み付け易い高さへ調整される。以下では、搬入口にアプローチし高さ調整される地上支援機材１０の一例として、航空機の貨物室に貨物を搭降載するためのカーゴローダ（Cargo Loader）を挙げて説明する。また、カーゴローダとしては、ハイリフトローダ、メインデッキローダ、ベルトローダ、及びトランスポータなどがある。ハイリフトローダは、航空機１００のロアデッキ貨物室又はメインデッキ貨物室へのコンテナの搭降載に使用される車両である。

【0033】

なお、ハイリフトローダによって積み下ろしされるコンテナは、Ｕｎｉｔ Ｌｏａｄ Ｄｅｖｉｃｅ（ＵＬＤ）とも呼ばれる。ＵＬＤは、航空機専用の収納機材である。コンテナが搭載される貨物室は、コンテナ室とも呼ばれる。なお、航空機１００の貨物室には、荷物がバラ積みされるバルク室もある。バルク室には、ベルトローダによって貨物が搭降載される。

【0034】

航空機１００は、一例として、前方貨物室（フォワード・カーゴ・コンパートメント）と、後方貨物室（アフター・カーゴ・コンパートメント）と、を備え得る。後方貨物室は、前方貨物室よりも後方にある。貨物室は、機体の胴体内部に設けられている。前方貨物室に貨物を搬入するための搬入口は、前方貨物搬入口と呼ぶことができる。前方貨物搬入口は、例えば、主翼よりも前方にある。後方貨物室に貨物を搬入するための搬入口は、後方貨物搬入口と呼ぶことができる。後方貨物搬入口は、例えば、主翼よりも後方にある。搬入口は、貨物の搬出にも用いられ得る。航空機１００に設けられている貨物搬入口は、１つでもよいし、複数でもよい。

【0035】

前方貨物搬入口及び後方貨物搬入口は、航空機１００の機体の側面下側に設けられ得る。前方貨物搬入口及び後方貨物搬入口は、一般に、機体の右側面の下側に設けられている。なお、機体の右側面とは、航空機１００の背面から前方に向いて見た場合に、機体の右にある面である。

【0036】

図２に示すように、航空機１００の機体１０１の貨物搬入口１０２には、カーゴドア１０３と呼ばれる扉が設けられる。カーゴドア１０３によって貨物搬入口１０２が開閉される。カーゴドア１０３は、例えば、電動モータなどによって開閉動作が駆動される。機体１０１の側面に設けられたカーゴドア１０３は、サイドカーゴドアと呼ばれる。図２示すように、サイドカーゴドア１０３は、機体１０１の外側上方に開く。なお、図２は、航空機１００の正面から後方に向いて見た図であるため、機体１０１の右側面に設けられたサイドカーゴドア１０３が、図２では機体１０１の左側に位置している。なお、カーゴドアは、機体１０１の先頭の機首部分からなるノーズカーゴドアであってもよい。ノーズカーゴドアは、機首部分が、上方に押し上げられて開く。ノーズカーゴドアによって開閉される貨物搬入口は、機首貨物搬入口と呼ぶことができる。

【0037】

ハイリフトローダ１０は、図２に示すようにサイドカーゴドア１０３が開かれた状態で、コンテナＣの搭載又は取り降ろしを行うために用いられる。ハイリフトローダ１０は、貨物の搭降載のため、貨物搬入口に正対した状態で、貨物搬入口にアプローチする。

【0038】

ハイリフトローダ１０は、車両前部２０と、車両後部３０と、を備える。車両前部２０は、貨物搬入口１０２に接続される昇降部２１を備える。昇降部３１は、高さ調整可能である。昇降部２１は、昇降式プラットフォーム２１とも呼ばれる。昇降式プラットフォーム２１は、貨物室１０５の床面１０６に合わせて高さ調整される。

【0039】

車両前部２０は、昇降部２１ととともに昇降する運転台２２を備える。運転台２２は、作業者がハイリフトローダ１０を手動運転するために用いられる。手動運転のための操作は、例えば、操舵、及び前進後退切り替えを含む。運転台２２にいる作業者は、カーゴドア１０３近傍に設けられた操作盤（図示省略）を操作して、カーゴドア１０３を手動で開閉操作することもできる。

【0040】

車両前部２０は、センサ装置５０を備える。センサ装置５０は、一例として、運転台２２の前側に配置され得る。センサ装置５０は、昇降部２１の昇降にしたがって昇降し得る。なお、地上支援機材１０におけるセンサ装置５０の配置は、特に限定されない。

【0041】

車両後部３０は、車両前部２０の後方に設けられた昇降式デッキ３１を備える。昇降式デッキ３１は、コンテナＣ等の貨物の荷上げ・荷下ろしに用いられる。図２に示すように、昇降式デッキ３１は、車両前部２０の昇降式プラットフォーム２１と同じ高さに、高さ調整され得る。車両後部３０は、昇降式デッキ３１の後方に設けられた作業プラットフォーム３２を備える。作業プラットフォーム３２は、例えば、図示しないドーリーとの貨物の積み替え作業に利用される。

【0042】

図１に戻り、センサ装置５０について説明する。センサ装置５０は、地上支援機材１０が到達すべき航空機１００に関するセンサデータを取得する。センサ装置５０によって取得されたセンサデータは、例えば、地上支援機材１０の自動走行の制御に用いられる。図１に示すセンサ装置５０は、一例として、画像の撮像のためのカメラ５１，５２，５３，５４と、ＬｉＤＡＲセンサ５５と、を備える。センサ装置５０は、一例として、複数のカメラ５１，５２，５３，５４を備える。複数のカメラは、一例として、第１カメラ５１，第２カメラ，第３カメラ，及び第４カメラを備える。

【0043】

ＬｉＤＡＲセンサ５５は、計測対象へレーザ光を照射して、計測対象までの距離等を計測する。ＬｉＤＡＲセンサ５５によって、計測対象の表面における多数の点の３次元座標を示す点群データ（ポイントクラウド）が取得される。なお、点群データを取得するためのセンサの形式は特に限定されない。

【0044】

センサ装置５０によって取得された画像及び点群データは、センサデータとして、制御装置６０に与えられる。制御装置６０は、取得したセンサデータを用いて、例えば、地上支援機材１０の走行装置８０及び昇降部２１を制御する。走行装置８０は、地上支援機材１０の走行を担う装置であり、走行のための駆動部、操舵機構、及び車輪などを備える。走行装置８０による自動走行は、制御装置６０によって制御される。制御装置６０による制御は、地上支援機材１０の操舵及び前進・後進切替を含む。制御装置６０による制御は、速度調整を含んでもよい。

【0045】

例えば、制御装置６０は、センサデータを用いて、地上支援機材１０が到達すべき目標（目標到達部位）を検出し、目標到達部位に到達するように、地上支援機材１０を自動走行させる。なお、ここでは、目標到達部位となる機体１０１の部位は、一例として、機体１０１の側面に設けられた貨物搬入口である。この場合、制御装置６０は、地上支援機材１０が到達すべき貨物搬入口の位置を求め、その貨物搬入口に到達するように、地上支援機材１０の走行を制御する。また、制御装置６０は、貨物搬入口の高さを検出し、貨物搬入口の高さに合わせて、昇降部２１の高さを調整する。制御装置６０は、昇降部２１の高さに応じて、昇降式デッキ３１の高さも調整することができる。

【0046】

制御装置６０は、地上支援機材１０の制御のため、必要に応じて、センサデータ以外のデータ又は信号を取得することもできる。図２に示すように、制御装置６０が取得し得る他のデータは、例えば、地上支援機材１０の現在位置、データベース７０に格納されたデータ、誘導線検出器９１によって検出されたデータ、機体記号読取カメラ９２によって取得されたデータ、地上支援機材１０が到達すべき貨物搬入口の種別、及びフライトスケジュールデータから選択される少なくとも一つ以上のデータである。これらのデータについては、後述される。

【0047】

図３は、制御装置６０による地上支援機材１０の自動走行制御の手順を示している。図３に示す手順は、地上支援機材１０が、空港の待機位置において停車している状態から、航空機１００に到達するまでの手順を示している。ここでは、地上支援機材１０は、一例として、航空機１００に到達するまでに、経由地点を経由してから、航空機へ到達する。このため、図３の手順では、経由地点が決定される（ステップＳ３３）。経由地点を決定するため、経由地点の決定に先立って、必要なデータが取得される（ステップＳ３１，Ｓ３２）。

【0048】

経由地点を決定するために必要なデータは、例えば、航空機の機種情報である。航空機１００における貨物搬入口の位置は、機種によって異なり得るため、様々な機種に対応して適切に自動走行するためには、機種情報は有用である。このため、ステップＳ３１では、機種情報（機体型式情報）が取得される。なお、機種情報がなくても、貨物搬入口の位置を識別できる場合には、ステップＳ３１は省略されてもよい。

【0049】

機種情報は、例えば、制御装置６０が、フライトスケジュールデータを有するデータベースにアクセスすることによって取得される（図１参照）。フライトスケジュールデータは、例えば、フライトスケジュールを管理するためのデータベースサーバに保存されている。フライトスケジュールデータは、地上支援機材１０が到達すべき航空機１００の機種情報を含む。機種情報は、地上支援機材１０に設けられたカメラ９２又は地上支援機材１０外に設けられたカメラ９２によって、地上支援機材１０が到達すべき航空機１００に付された機体記号を読み取ることによって取得されてもよい（図１参照）。

【0050】

機体記号は、航空機１００を個体として識別するための記号である。機体記号が機種を直接的に示す数字又は記号を含む場合には、機体記号から機種を識別することが可能である。また、機体記号が機種を直接的には示さない場合には、機体記号と機種とを対応付けたテーブルを参照することにより、機体記号から機種を識別することが可能である。なお、機体記号は、その記号又は数字を一部省略した形で、機体に付されていることがある。

【0051】

機体記号は、航空機の主翼、機体胴体、ノーズギアカバーなど、機体１０１の様々な部位に表示され得る。カメラ９２によって読み取られる機体記号は、いずれの部位のものでもよい。例えば、ノーズギアカバーに付された機体記号をカメラ９２によって認識することで、機種情報を取得することができる。

【0052】

また、経由地点を決定するため、制御装置６０は、地上支援機材１０（ハイリフトローダ１０）が到達すべき貨物搬入口の種別を取得し得る（ステップＳ３２）。ここで、貨物搬入口の種別とは、航空機１００が備える複数の貨物搬入口のうちのいずれであるかを示すデータである。貨物搬入口の種別は、例えば、前方貨物室（ＦＷＤ）及び後方貨物室（ＡＦＴ）である。例えば、前方貨物室に到達すべきハイリフトローダ１０は、貨物搬入口の種別として、「前方貨物室（ＦＷＤ）」を示すデータを取得する。また、後方貨物室に到達すべきハイリフトローダ１０は、貨物搬入口の種別として、「後方貨物室（ＡＦＴ）」を示すデータを取得する。どのハイリフトローダ１０が、どの貨物搬入口に到達すべきかのデータは、予め管理コンピュータ（図示省略）に設定されているか、作業管理者によって管理コンピュータに適宜設定され得る。制御装置６０は、管理コンピュータにアクセスすることによって、地上支援機材１０が到達すべき貨物搬入口の種別を取得し得る。なお、制御装置６０にとって、到達すべき貨物搬入口の種別が既知である場合には、ステップは省略されてもよい。

【0053】

制御装置６０は、ステップＳ３３において、経由地点を決定する。図４は、ステップＳ３３に相当する経由地点決定処理の手順を示している。まず、制御装置６０は、地上支援機材１０の現在位置を取得する（ステップＳ４１）。ここでの現在位置は、地上支援機材１０が、航空機１００へ向けて走行する前の待機位置である。現在位置は、例えば、地上支援機材１０に搭載されたＧＮＳＳ（全球測位衛星システム）受信機によって取得された位置である。地上支援機材１０が所定の待機位置に停車している場合には、待機位置を示すデータが、現在位置として取得されてもよい。なお、待機位置が制御装置６０にとって既知、又は待機位置（現在位置）がなくても経由地点を決定できる場合、ステップＳ４１は省略されてもよい。

【0054】

制御装置６０は、一例として、データベース７０に格納された機種情報テーブル７１を参照して、経由地点を決定する（ステップＳ４２）。テーブル７１は、例えば、複数の機種情報それぞれに経由地点Ｐ_ＦＷＤ１，Ｐ_ＦＷＤ２，Ｐ_ＡＦＴが対応付けられたデータである。図５に示すように、経由地点は、貨物搬入口の種別（貨物搬入口の位置）に応じて設定され得る。例えば、経由地点としては、前方貨物搬入口１０２Ａ用の経由地点Ｐ_ＦＷＤ１，Ｐ_ＦＷＤ２と、後方貨物搬入口１０２Ｂ用の経由地点Ｐ_ＡＦＴとが設定され得る。貨物搬入口の位置に応じて、経由地点を選択することで、制御装置６０は、貨物搬入口に到達するのに適切な経由地点を決定することができる。

【0055】

また、経由地点は、地上支援機材１０の現在位置（待機位置）に応じて設定され得る。例えば、前方貨物搬入口１０２Ａ用の経由地点としては、第１経由地点Ｐ_ＦＷＤ１と第２経由地点Ｐ_ＦＷＤ２とが設定され得る。地上支援機材１０の現在位置（待機位置）に応じて、経由地点を選択することで、制御装置６０は、現在位置（待機位置）に応じた適切な経由地点を決定することができる。

【0056】

図５に示すように、地上支援機材１０の待機位置としては、例えば、図５に示す１０Ｃ，１０Ｄ，１０Ｅ，１０Ｆの位置があり得る。ここで、地上支援機材１０の待機位置は、空港における機材待機区域（(Equipment Staging Area:ESA）３０２，３０２内にある。機材待機区域は、機材制限区域（Equipment Restraint Area:ERA）３０１の外側に設定され、スポットに駐機された航空機１００のグランドハンドリング作業に利用される機材の待機場所として使用される。なお、スポットは、航空機１００が駐機する位置である。機材待機区域３０２には、ハイリフトローダ１０以外に、ドーリー、ケータリング車両、給油車など他の機材が駐車されていることもある。機材制限区域３０１は、機材待機区域の内側に設定され、スポットに航空機１００が出入りする際には、機材の進入が禁止される。

【0057】

図５において、待機状態の地上支援機材１０Ｃ，１０Ｄ，１０Ｅ，１０Ｆは、機材待機域３０２内にあり、駐機した航空機１００の貨物搬入口１０２Ａ，１０２Ｂよりも機体前方に位置する。また、待機状態の地上支援機材１０Ｃ，１０Ｄ，１０Ｅ，１０Ｆは、駐機した航空機１００と同じ向きに向いている。したがって、待機状態の地上支援機材１０からみると、駐機した航空機１００の貨物搬入口１０２Ａ，１０２Ｂは、地上支援機材１０の後方に位置している。このため、地上支援機材１０の前部に設けられたセンサ装置５０では、貨物搬入口１０２Ａ，１０２Ｂを検知し難いことがある。また、待機状態の地上支援機材１０Ｃ，１０Ｄ，１０Ｅ，１０Ｆから貨物搬入口１０２Ａ，１０２Ｂまでの距離は比較的大きい（数十メートル以上ある）ため、待機状態の地上支援機材１０に設けられたセンサ装置５０では、大きく離れており、さほど大きくはない貨物搬入口１０２Ａ，１０２Ｂの位置を正確に検出し難いことがある。

【0058】

そこで、制御装置６０は、一例として、センサ装置５０によって取得したセンサデータに基づく自動走行を、地上支援機材１０の待機位置から開始するのではなく、一旦、経由地点から開始する。経由地点は、地上支援機材１０が到達すべき貨物搬入口１０２Ａ，１０２Ｂが、地上支援機材１０に搭載されたセンサ装置５０の検知範囲内となる位置に設定される。地上支援機材１０は、センサ装置５０の検知範囲内に、貨物搬入口１０２Ａ，１０２Ｂが入るように、経由地点へ移動する。

【0059】

例えば、図６に示すように、センサ装置５０の検知範囲Ｄが、地上支援機材１０の前方から左方を指向するように設定されている場合、図６の地上支援機材１０Ａのように、機体１０１の右側方の位置において、貨物搬入口１０２に対してほぼ正対することで、センサ装置５０の検知範囲Ｄ内に、貨物搬入口１０２が位置する。また、図６の地上支援機材１０Ｂのように、貨物搬入口１０２の右斜め後方の位置において、機体１０１と並んで、機体前方を向くことで、センサ装置５０の検知範囲内に、貨物搬入口１０２が位置する。本実施形態では、経由地点は、到達すべき貨物搬入口１０２に対して図６に示す地上支援機材１０Ａ又は１０Ｂの位置になるように設定される。なお、経由地点は、機材待機区域３０２内に設定されてもよいし、機材制限区域３０１内に設定されてもよい。

【0060】

図５に戻り、前方貨物搬入口１０２Ａ用の第１経由地点Ｐ_ＦＷＤ１は、図６の１０Ａに相当する位置である。前方貨物搬入口１０２Ａ用の第２経由地点Ｐ_ＦＷＤ２及び後方貨物搬入口１０２Ｂ用の経由地点Ｐ_ＡＦＴは、図６の１０Ｂに相当する位置である。一例として、第１経由地点Ｐ_ＦＷＤ１は、図５の１０Ｃの位置で待機している地上支援機材のための経由地点として設けられており、第２経由地点Ｐ_ＦＷＤ２は、図５の１０Ｅの位置で待機している地上支援機材のための経由地点として設けられている。後方貨物搬入口１０２Ｂ用の経由地点Ｐ_ＡＦＴは、図５の１０Ｄ及び１０Ｅの位置で待機している地上支援機材のための経由地点として設けられている。なお、経由地点は、機材待機区域内に設定されてもよいし、機材制限区域内に設定されてもよい。

【0061】

制御装置６０は、取得した機種情報（ステップＳ３１）に基づいて、機種情報テーブル７１を参照することで、経由地点の候補Ｐ_ＦＷＤ１，Ｐ_ＦＷＤ２，Ｐ_ＡＦＴを取得する。また、取得された「貨物搬入口の種別」が「前方貨物搬入口（ＦＷＤ）」であれば、候補は、地点Ｐ_ＦＷＤ１，Ｐ_ＦＷＤ２に絞られる。また、待機状態の地上支援機材の現在位置（ステップＳ４１）が、１０Ｃの位置であれば、経由地点Ｐ_ＦＷＤ１に決定され、１０Ｅの位置であれば、経由地点Ｐ_ＦＷＤ２に決定される（ステップＳ４２）。取得された「貨物搬入口の種別」が「後方貨物搬入口（ＡＦＴ）」であれば、経由地点Ｐ_ＡＦＴに決定される（ステップＳ４２）。なお、本実施形態では、「経由地点」を「切り返し位置」ともいう。地上支援機材１０は、一例として、待機位置から切り返し位置まで、後退により到達し、切り返し位置から貨物搬入口１０２まで前進により到達する。後退してから前進して航空機１００に寄り付くことで、待機位置から航空機１００に寄り付くまでの切り返し回数を少なくすることができる。

【0062】

図４の経由地点決定処理Ｓ３３が完了すると、制御装置６０は、決定した経由地点まで、地上支援機材１０を移動させる自動走行（初期走行；第１走行）を実行する（図３のステップＳ３４）。経由地点までの走行は、一例として、後退である。制御装置６０は、経由地点に到達すると、センサ装置５０によって取得したセンサデータに基づいて、地上支援機材１０が貨物搬入口に到達するよう地上支援機材１０を制御する（ステップＳ３５）。

【0063】

図５に示すように、機材制限区域３０１及び機材待機区域３０２には、経由地点まで地上支援機材１０を誘導するための誘導線２００が設けられている。誘導線２００は、空港の地面に塗装されたマーカ、地面に埋設された電磁誘導線、又はその他の経路誘導用マーカである。地上支援機材１０は、誘導線２００に沿って移動することが可能である。誘導線２００は、地上支援機材１０に設けられた誘導線検出器９１によって検出される。誘導線検出器９１は、例えば、誘導線２００を撮像するカメラ、又は、電磁誘導線を検出するセンサである。

【0064】

図５に示す誘導線２００は、一例として、第１誘導線２０１と、第１誘導線から分岐して延びる第２誘導線２０２及び第４誘導線２０４と、第２誘導線２０２から分岐した第３誘導線２０３と、第４誘導線２０４から分岐した第５誘導線２０５と、を備える。第１誘導線２０１は、機材制限区域３０１内に設けられており、その経路上に、経由地点Ｐ_ＡＦＴが存在する。第２誘導線２０２は、機材制限区域３０１から機材待機区域３０２にわたっており、第１誘導線２０１から１０Ｃの位置に至るように設けられている。第３誘導線２０３は、機材制限区域３０１から機材待機区域３０２にわたっており、第２誘導線２０２から１０Ｄの位置に至るように設けられている。第４誘導線２０４は、機材制限区域３０１から機材待機区域３０２にわたっており、第１誘導線２０１から１０Ｅの位置に至るように設けられている。第５誘導線２０５は、機材待機区域３０２内に設けられており、第４誘導線２０４から１０Ｆの位置に至るように設けられている。

【0065】

図７は、図５の１０Ｃ及び１０Ｄの位置で、地上支援機材１０が待機している場合における、走行経路の一例を示している。図７の地上支援機材１０Ｃが、前方貨物搬入口１０２Ａに向かう場合、経路地点は、Ｐ_ＦＷＤ１に決定される。この場合、地上支援機材１０Ｃは、経由地点Ｐ_ＦＷＤ１まで後退する第１走行１５（初期走行１５）を行い、１０Ｃ－１で示される地上支援機材のように、貨物搬入口１０２Ａにほぼ正対する向きになる。この地上支援機材１０Ｃ－１は、経由地点Ｐ_ＦＷＤ１から前進して前方貨物搬入口１０２Ａに寄り付く第２走行１６を行う。地上支援機材１０Ｃの第１走行１５では、一例として、最初の一部の走行が、第２誘導線２０２に経路誘導された走行となり、その後は、地上支援機材１０Ｃが受信したＧＮＳＳ信号によって経由地点Ｐ_ＦＷＤ１まで誘導される走行となる。

【0066】

図７の地上支援機材１０Ｄが、後方貨物搬入口１０２Ｂに向かう場合、経由地点は、Ｐ_ＡＦＴに決定される。この場合、地上支援機材１０Ｄは、経由地点Ｐ_ＡＦＴまで後退する第１走行１５を行い、１０Ｄ－１で示される地上支援機材のように、左斜め前方に貨物搬入口１０２Ｂが位置するように、機体１０１とほぼ平行で、機体前方を向く向きになる。この地上支援機材１０Ｄ－１は、経由地点Ｐ_ＡＦＴから前進して後方貨物搬入口１０２Ｂに寄り付く第２走行１６を行う。地上支援機材１０Ｄの第１走行１５は、一例として、第３誘導線２０３、第２誘導線２０２、及び第１誘導線２０１に経路誘導された走行である。

【0067】

図８は、図５の１０Ｅ及び１０Ｆの位置で、地上支援機材１０が待機している場合における、走行経路の一例を示している。図８の地上支援機材１０Ｅが、前方貨物搬入口１０２Ａに向かう場合、機種情報テーブル経路地点は、Ｐ_ＦＷＤ２に決定される。この場合、地上支援機材１０Ｅは、経由地点Ｐ_ＦＷＤ２まで後退する第１走行１５を行い、１０Ｅ－１で示される地上支援機材のように、左斜め前前方に貨物搬入口１０２Ａが位置するように、機体１０１とほぼ平行で、機体前方を向く向きになる。この地上支援機材１０Ｅ－１は、経由地点Ｐ_ＦＷＤ２から前進して前方貨物搬入口１０２Ａに寄り付く第２走行１６を行う。地上支援機材１０Ｅの第１走行１５は、一例として、第４誘導線及び第１誘導線２０１に経路誘導された走行である。

【0068】

図８の地上支援機材１０Ｆが、後方貨物搬入口１０２Ｂに向かう場合、経由地点は、Ｐ_ＡＦＴに決定される。この場合、地上支援機材１０Ｆは、経由地点Ｐ_ＡＦＴまで後退する第１走行１５を行い、１０Ｆ－１で示される地上支援機材のように、左斜め前方に貨物搬入口１０２Ｂが位置するように、機体１０１とほぼ平行で、機体前方を向く向きになる。この地上支援機材１０Ｆ－１は、経由地点Ｐ_ＡＦＴから前進して後方貨物搬入口１０２Ｂに寄り付く第２走行１６を行う。地上支援機材１０Ｆの第１走行１５は、一例として、第５誘導線２０５、及び第１誘導線２０１に経路誘導された走行である。

【0069】

地上支援機材は、図７，８に示す１０Ｃ－１，１０Ｄ－１，１０Ｅ－１，１０Ｆ－１の位置に到達すると、仮に、待機位置では貨物搬入口が、センサ装置６０の検知範囲Ｄ外であったとしても、貨物搬入口１０２Ａ，１０２Ｂを、検知範囲Ｄ内位置させることができる。そこで、制御装置６０は、経由地点以降では、航空機１００を計測したセンサデータに基づいて、第２走行等を制御する（図３のステップＳ３５）。なお、第１走行１５においても、必要に応じて、センサデータを活用してもよい。

【0070】

図９は、センサデータに基づく制御装置６０による制御（ステップＳ３５）の手順を示している。図９に示す手順では、一例として、まず、地上支援機材１０が到達しようとする貨物搬入口１０２Ａ，１０２Ｂのカーゴドアが開いているか閉じているかが判定される（ステップＳ９１）。地上支援機材１０が貨物搬入口１０２Ａ，１０２Ｂに寄り付こうとする際に、カーゴドアが予め開いているか、閉じているかはケースバイケースである。開いているか閉じているかは、例えば、航空機１００の機種によって異なる。例えば、ある機種では、駐機後、地上支援機材１０が貨物搬入口１０２Ａ，１０２Ｂに寄り付こうとする前に、予めカーゴドアが開かれていることがある。また、他の機種では、駐機後においてカーゴドアが閉じたままの状態であり、地上支援機材１０に乗った作業者が、カーゴドア近傍の機体に設けられたカーゴドア操作盤（図示省略）を操作して、カーゴドアを開く操作をする必要がある。このため、本実施形態では、一例として、制御装置６０は、カーゴドアが開いているか閉じているかによって、異なる制御を実行する。

【0071】

ステップＳ９１のドア開閉判定では、一例として、図３のステップＳ３１にて取得された機種情報に基づいて、カーゴドアが開いているか閉じているかが判定される。ドア開閉判定のため、機種情報テーブル７１は、機種情報に対応付けられたドア開閉情報（図示省略）を有しているのが好ましい。機種情報に対応付けられたドア開閉情報は、カーゴドアが開いているか閉じているかを機種ごとに示す。制御装置６０は、ドア開閉情報を有する機種情報テーブル７１を参照し、地上支援機材１０が到達すべき航空機１００の貨物搬入口が閉じているか開いているかを判定する。開いていると判定された場合、第１制御（ドア開状態制御）が実行され、閉じていると判定された場合、第２制御（ドア閉状態制御）が実行される。なお、第２制御を実行した場合、第２制御の後には、カーゴドアが開いているため、第１制御が実行され得る。

【0072】

第１制御では、ステップＳ９１１において、貨物搬入口に対する地上支援機材１０の位置及び角度を認識する処理が実行される。なお、第２制御でも同様の認識が行われるが、第１制御では、第１ロジックによって認識が行われ、第２制御では、第１ロジックとは異なる第２ロジックによって認識が行われる。第１ロジックと第２ロジックとの違いは、カーゴドアが開いているか閉じているかに起因する。

【0073】

図１０は、第１ロジックによる認識の処理（ステップＳ９１１）を示している。ここでは、センサ装置５０の第１カメラ５１，第２カメラ５２及び第３カメラ５３の３つのカメラ（第２センサ）で取得したカメラ画像と、ＬｉＤＡＲセンサ５５（第１センサ）で取得した点群データと、が用いられる。

【0074】

図１０に示すステップＳ１０１では、カメラ画像から貨物搬入口が検出される。カメラ画像からの貨物搬入口の検出には、例えば、制御装置６０に構築された搬入口識別器が用いられる。搬入口識別器は、例えば、航空機の画像が入力されると、画像中の貨物搬入口を識別するよう機械学習された機械学習モデルである。なお、ここでの搬入口識別器は、一例として、様々な機種の航空機について、カーゴドアが開いている画像及びカーゴドアが閉じている画像の双方を用いて機械学習がされており、カーゴドアが開いていても閉じていても貨物搬入口を検出することができる。したがって、実施形態にかかる搬入口識別器は、第２制御にも利用でき、有利である。

【0075】

なお、搬入口識別器としては、第１制御用と第２制御用とが別々に設けられていてもよい。この場合、第１制御のための搬入口識別器は、カーゴドアが開いている貨物搬入口を識別するよう機械学習され、第２制御のための搬入口識別器は、カーゴドアが閉じている貨物搬入口を識別するよう機械学習され得る。

【0076】

図１１及び図１２は、カメラ画像から貨物搬入口の座標を求める方法を説明する図である。図１１は、カメラ座標とＬｉＤＡＲ中心極座標との位置関係を示している。なお、３つのカメラ５１，５２，５３は、高さが同じで、それぞれの視野の方位が異なるようにセンサ装置５０に設けられている。また、図１１において、ｘ方向（図１１の上方）は、地上支援機材１０の前方向に相当し、ｙ方向は、地上支援機材１０の左方向に相当する。第１カメラ５１は、ｘ方向（前方）を向くように設けられており、第３カメラ５３は、ｙ方向（左方向）を向くように設けられている。第２カメラ５２は、第１カメラ５１と第３カメラ５３の中間の方向（左斜め前方）を向くように設けられている。なお、３つのカメラの視野は互いに一部重複している。これらの３つのカメラ５１，５２，５３の視野を合わせた範囲が、全体のカメラ視野となる。また、ＬｉＤＡＲセンサ５５は、全体のカメラ視野を含む範囲において対象物までの距離を測定するよう設けられている。対象物までの距離は、全体のカメラ視野とＬｉＤＡＲセンサ５５の検知範囲とが重複する範囲において適切に求められ得る。したがって、ここでは、３つのカメラ全体のカメラ視野が、センサ装置５０の検知範囲Ｄに相当する。

【0077】

搬入口識別器は、３つの各画像から、貨物搬入口を検出する。貨物搬入口の検出は、例えば、各画像において、貨物搬入口が含まれる矩形範囲の座標を求めることによって行われる。貨物搬入口が含まれる矩形範囲は、例えば、搬入口識別器が識別した貨物搬入口を示すバウンディングボックスである。バウンディングボックスは、搬入口識別器による識別の結果に基づき、バウンディングボックスアノテーションによって得られる。

【0078】

図１２では、一例として、カーゴドアが開いた貨物搬入口が、第１カメラ画像と第２カメラ画像とに分かれて写っている。搬入口識別器は、図１２に示すように、第１カメラ画像及び第２カメラ画像それぞれにおいて、貨物搬入口が含まれる矩形範囲を抽出する。矩形範囲の座標は、カメラ画像座標（u,v）として求められるため、制御装置６０は、矩形範囲のカメラ画像座標を、ＬｉＤＡＲ中心極座標（θ,φ）に変換する。この変換のための係数は、カメラ及びＬｉＤＡＲの相対的位置関係から決定される。カメラ及びＬｉＤＡＲの位置関係は既知である。

【0079】

なお、図１２に示すように、貨物搬入口が、２つのカメラ画像にまたがる場合、制御装置６０は、２つの画像の矩形範囲を示す極座標範囲を足し合わせて、貨物搬入口が含まれる範囲を算出する。例えば、第１カメラ画像における矩形範囲の極座標θの範囲が、２０°から３５°であり、第２カメラ画像における矩形範囲の極座標θの範囲が３０°から４０°である場合、貨物搬入口全体が含まれる範囲の極座標θの範囲は２０°から４０°となる。極座標φも同様に足し合わせて算出される。これらの処理によって、貨物搬入口のほぼ全体が含まれる範囲が、ＬｉＤＡＲセンサ５５を基準とした座標値として抽出される。すなわち、ＬｉＤＡＲセンサを基準とした、貨物搬入口全体の方位角範囲（θの範囲）及び仰俯角範囲（φの範囲）が抽出される（ステップＳ１０１）。

【0080】

なお、貨物搬入口が、２つの画像それぞれで検出され、かつ、それらの貨物搬入口を示すバウンディングボックスの範囲が重ならない場合、別の貨物搬入口が誤検出されたものと判断され得る。誤検出があった場合、経由地点との位置関係から、より確からしい貨物搬入口の位置を採用することができる。また、誤検知があった場合、経由地点から試行的に地上支援機材１０を航空機１００に接近させることで、画像中に別の貨物搬入口が写らなくなるため、その時点で貨物搬入口を再検出してもよい。

【0081】

貨物搬入口の方位角範囲（θの範囲）及び仰俯角範囲（φの範囲）が抽出されると、ステップＳ１１２及びステップＳ１１３では、貨物搬入口における所定の基準位置の推定が行われる。ここでの基準位置は、カーゴドアが開いている貨物搬入口の右端（右側縁）である。右端は、貨物搬入口の周縁のうち、機体の外から貨物搬入口を正対して見たときに右側にある端部である。なお、基準位置は、貨物搬入口の左端でもよい。すなわち、基準位置は、貨物搬入口の幅方向両端部のうちのいずれか一方の端部であるのが好ましい。

【0082】

ステップＳ１０１で検出された貨物搬入口の位置は、バウンディングボックスの頂点座標で表される大まかなものであるため、地上支援機材１０を正確に貨物搬入口１０２に接続するには、貨物搬入口１０２のより正確な位置の検出が望まれる。また、ドアが開いている貨物搬入口は、開口であるため、開口である貨物搬入口までの距離を直接測定することはできないため、貨物搬入口の周縁を基準位置とするのが好適である。そこで、ステップＳ１１２及びステップＳ１１３では、ステップＳ１０１で検出された貨物搬入口の位置と、ＬｉＤＡＲセンサ５５で測定された距離情報と、を用いて、貨物搬入口における基準位置である右端の位置が推定される。

【0083】

貨物搬入口の基準位置（右端）の推定のため、制御装置６０は、ＬｉＤＡＲセンサ５５で取得されたすべての点群データのうち、貨物搬入口の基準位置（右端）の推定に必要となる領域（第１部分領域）内における点群データ（第１部分点群データ）を取得する。第１部分領域は、基準位置となる右端が含まれる領域である。また、第１部分領域は、左端を含まない領域である。第１部分領域が、貨物搬入口の幅方向両端部のうち、いずれか一方の端部しか含まないことで、他方の端部を誤検知しないようにする処理を行う必要がなく、処理が容易になる。

【0084】

第１部分領域は、図１０のステップＳ１０１で検出された貨物搬入口全体の範囲（以下、単に「搬入口範囲」という）を利用して求められる。なお、図１３に示すカメラ画像では、第１部分領域は、「ＳＩＤＥ点群データ領域」として、実線で示されている。また、図１３に示すカメラ画像においては、ステップＳ１０１で検出された搬入口範囲が点線の矩形で示されている。

【0085】

制御装置６０は、第１部分領域（ＳＩＤＥ点群データ領域）を、例えば、搬入口範囲を、搬入口範囲の幅方向右側へ、搬入口範囲の０．５幅分、シフトさせることで求める。搬入口全体をとらえた搬入口範囲では、基準位置となる右端は、搬入口範囲の境界付近にあるため、右端検出の際に、右端周辺の情報を活用するのが困難である。これに対して、第１部分領域では、右端が第１部分領域の幅方向中央に位置するため、右端周辺の情報を活用することができる。また、第１部分領域では、幅方向のシフトにより、左端を含まないものとなっている。このように、第１部分領域は、右端について、その上部から下部までのほぼ全体を含む領域である。

【0086】

制御装置６０は、点群データのうち、第１部分領域内おける点群データ（第１部分点群データ）を抽出すると（ステップＳ１１２）、その第１部分点群データに基づいて、貨物搬入口の右端を検出する（ステップＳ１１３）。点群データ全体ではなく、第１部分点群データに基づいて右端を検出することで、処理負荷を軽減できる。また、第１部分領域を活用せずに、貨物搬入口以外の他の部位の情報も含む点群データの全体から、貨物搬入口を識別するのは必ずしも容易ではない。しかし、貨物搬入口を容易に識別できる画像データから貨物搬入口の右端（基準位置）を含む第１部分領域を求めておき、その第１部分領域内の点群データに含まれる距離情報を用いることで、精度よく右端の位置を求めることができる。なお、画像データは、貨物搬入口を識別するのには好適であるが、距離情報を有していないため、精度よく右端の位置を求めるには、距離情報有する点群データを利用するのが好適である。

【0087】

貨物搬入口の基準である右端は、ＬｉＤＡＲセンサ５５から貨物搬入口の周辺の機体表面（特に、右端よりも右側の機体表面）までの距離と、カーゴドアが開いている貨物搬入口の周縁よりも内側領域（特に、右端よりも左側の範囲）について測定された距離と、の間に、比較的大きな距離差が生じ得ることを利用して検出され得る。カーゴドアが開いている場合、ＬｉＤＡＲセンサ５５は、貨物室内部までの距離を測定することになり、貨物室内部までの距離と、機体表面までの距離とは、比較的大きな距離差が出やすい。したがって、基準位置（右端）を容易に検出できる。なお、これに対してカーゴドアが閉じている場合、航空機から離れたＬｉＤＡＲセンサ５５によって、貨物搬入口及びその付近までの距離を計測しても、貨物搬入口までの距離とその付近との距離の差が小さいため、基準位置（右端）を検出するのが困難になる。このため、第２ロジックでは、別の方法で、貨物搬入口の位置が検出される。

【0088】

なお、第１部分領域内で、貨物搬入口の右端を検出することは、第１部分領域内で、機体表面の左端を検出することであるともいえる。

【0089】

以下、第１部分領域内の第１部分点群データから右端位置を求める方法の一例を説明する。図１３の「点群データが重畳されたカメラ画像」に示されるように、点群データは、高さ方向（垂直方向）に所定の間隔をおいて複数の層を有する。例えば、図１３の第１部分領域（ＳＩＤＥ点群データ領域）内には、４つの層が含まれている。各層には、幅方向（水平方向）に所定の間隔をおいて複数の計測点（以下、単に「点」という）が並んでいる。なお、層の垂直方向の間隔及び点の水平方向の間隔は、ＬｉＤＡＲセンサ５５の計測性能によって規定される。

【0090】

図１３は、第１部分点群データを用いて、右端の位置を検出する方法を示している。なお、図１３では、第１部分点群データは、「ＳＩＤＥ点群データ」として示されている。制御装置６０は、第１部分領域内の各層の点群データを左から並べ、それぞれの層の各点について、同じ層の左右の点までの距離を算出する。制御装置６０は、各層において、左隣の点までの距離よりも右隣の点までの距離が有意に長い点（例えば、左右隣の点までの距離差が閾値以上の点）から、左隣の点までの距離よりも右隣の点までの距離が有意に短い点（例えば、左右隣の点までの距離差が閾値未満の点）までの複数の点を抽出する。そして、制御装置６０は、当該複数の点の１つ右隣の点が、その層における、右端候補として検出する。検出された右端候補の点のうち、最も右にある２つの点の平均位置が、その層における右端位置として推定される。なお、各層の右端位置は、平均化されて、最終的な貨物搬入口右端と用いられてもよいし、いずれか一つの層の右端位置が、最終的な貨物搬入口右端として用いられてもよい。

【0091】

このようにして、右端位置を求めると、貨物室内の様々な状況に対応して、右端を求めることができる。貨物室内の状況としては、代表的には、図１３の「ＣＡＳＥ．１」のように、貨物室内にコンテナ（貨物）がない場合がある。また、「ＣＡＳＥ．２」及び「ＣＡＳＥ．３」のように、貨物室内にコンテナＣ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５が存在する場合がある。

【0092】

図１３の「ＣＡＳＥ．１」では、第１部分領域内の第１部分点群データは、右端よりも右側の機体表面Ｂ１までの距離を計測したものと、右端よりも左側において、貨物搬入口からみて貨物室の奥にある貨物室内壁Ｂ２までの距離を計測したものとなる。

【0093】

図１３の「ＣＡＳＥ．２」では、第１部分領域内の第１部分点群データは、右端よりも右側の機体表面Ｂ１までの距離を計測したものと、右端よりも左側において、貨物搬入口に面したコンテナＣ２の側壁までの距離を計測したものとなる。この側壁は、貨物室の奥側の内壁Ｂ２と平行であるが、内壁Ｂ２よりの手前に位置する。

【0094】

図１３の「ＣＡＳＥ．３」では、第１部分領域内の第１部分点群データは、右端よりも右側の機体表面Ｂ１までの距離を計測したものと、右端よりも左側においてはコンテナＣ２の側壁及び貨物室の奥の内壁Ｂ２までの距離を計測したものとなる。

【0095】

ＣＡＳＥ．１及びＣＡＳＥ．２の場合、例えば、点Ｐ２については、左隣の点Ｐ１までの距離と右隣の点Ｐ３までの距離は、ほぼ同じである。点Ｐ３，Ｐ４，Ｐ５についても同様である。これに対して、点Ｐ６については、左隣の点Ｐ５までの距離よりも右隣の点Ｐ７までの距離のほうが有意に長くなる。また、点Ｐ７については、左隣の点Ｐ６までの距離よりも右隣の点Ｐ８までの距離が有意に短くなる。したがって、点Ｐ６，Ｐ７が抽出され、それらの点Ｐ６，Ｐ７それぞれの一つ右隣の点Ｐ７，Ｐ８が、右端候補として検出される。ここでは、検出された点は、Ｐ７，Ｐ８の２つであるため、これらの点Ｐ７，Ｐ８が右端位置として確定する。点Ｐ７，Ｐ８の平均位置が、この層における右端位置として推定される。

【0096】

ＣＡＳＥ．３の場合、Ｐ１２，Ｐ１３，Ｐ１７，Ｐ１８の４つが、右端候補として検出される。そして、４つの点Ｐ１２，Ｐ１３，Ｐ１７，Ｐ１８のうち、最も右にある２つの点Ｐ１７，Ｐ１８が右端位置として確定する。点Ｐ１７，Ｐ１８の平均位置が、この層における右端位置として推定される。

【0097】

なお、検出され複数の点のうち、最も右にある「２つ」の平均をとることで、いずれか一方の点は目的とする点であることが期待でき、実際の右端位置を精度よく求めることができる。また、各層の右端位置の平均をとることで、右端位置をより精度よく求めることができる。なお、検出された点が１点である場合には、その一つの点を右端位置として確定すればよい。

【0098】

図１０に戻り、ステップＳ１２２及びステップＳ１２３では、貨物搬入口の角度（θ）が推定される。ここでは、ＬｉＤＡＲを基準としたｘｙ座標系（図１１参照）において、ｘ方向に対する貨物搬入口に正対する方向の角度が、貨物搬入口の角度（θ）として推定される。

【0099】

ドアが開いている貨物搬入口は、開口であるため、開口である貨物搬入口自体の面を検出するのは困難である。そこで、制御装置６０は、開いている貨物搬入口を通じて測定される貨物室内部のなんらかの壁を検出する。制御装置６０は、貨物室内部の壁の法線を算出し、算出された法線（第１法線）が、貨物搬入口近傍の機体表面の法線（第２法線）から所定角度以内（例えば、３０°以内）であれば、その第１法線を、貨物搬入口の角度（貨物搬入口に正対する方向）として選定する（ステップＳ１２３）。なお、ここでの法線は、点群データからなる面に対する法線を、水平面（図１１のｘｙ平面）投影した線とする。すなわち、ここでの法線は、水平面における方向を示す。したがって、貨物搬入口の角度は、水平面における角度として推定される。

【0100】

なお、機体表面は曲面であるため、第２法線自体を、貨物搬入口の角度として求めると精度が低下する。貨物室は、機体前後方向に対して平行又は垂直な平面が比較的多く存在するため、貨物室に正対する方向を、水平面において機体前後方向に垂直である機体横方向として求めるのに有利である。

【0101】

貨物搬入口の角度を求めるため、制御装置６０は、ＬｉＤＡＲセンサ５５で取得されたすべての点群データのうち、貨物搬入口の角度の推定に必要となる第２部分点群データと、第３部分点群データと、を取得する（ステップＳ１２２）。第２部分点群データは、ＬｉＤＡＲセンサ５５で取得されたすべての点群データのうち第２部分領域内における点群データである。第３部分点群データは、ＬｉＤＡＲセンサ５５で取得されたすべての点群データのうち第３部分領域内における点群データである。

【0102】

第２部分領域は、貨物搬入口全体を含む領域であり、図１０のステップＳ１０１で検出された搬入口範囲がそのまま用いられる。図１４に示すカメラ画像では、第２部分領域は、「ｉｎ点群データ領域」として示されている。

【0103】

第３部分領域は、貨物搬入口付近の機体表面を含む領域であり、貨物搬入口を含まない。図１０のステップＳ１０１で検出された搬入口範囲を基準にして求められる。なお、図１４に示すカメラ画像では、第３部分領域は、「ｏｕｔ点群データ領域」として示されている。第３部分領域は、ステップＳ１０１で検出された搬入口範囲から所定距離（例えば、搬入口の幅×０．２）ほど、搬入口幅方向（例えば、右方向）に離れた位置に設定される。第３部分領域の幅は、例えば、搬入口範囲×０．４に設定される。第３部分領域の幅を搬入口範囲の幅よりも小さくすることで、推定される角度の精度低下を防止できる。

【0104】

制御装置６０は、搬入口範囲を示す第２部分領域内の第２部分点群データを用いて、開いている貨物搬入口を通じて測定される貨物室内部の壁を検出し、機体表面を示す第３部分領域内の第３部分点群データを用いて、機体表面を検出する（ステップＳ１２３）。貨物室内部の壁及び機体表面といった平面の検出は、例えば、点群データに基づいて、ＲＡＮＳＡＣ（Random Sample Consensus）などのアルゴリズムを用いて行われる。

【0105】

第２部分点群データを用いて検出される貨物室内部の壁のバリエーションとしては、図１４に示す「ＣＡＳＥ．１」［ＣＡＳＥ．２］及び［ＣＡＳＥ．３］があり得る。ＣＡＳＥ．１では、貨物室内部の壁としてコンテナＣ２の正面が検出され、第１法線Ｎ１１が算出される。ＣＡＳＥ．２では、貨物室内部の壁として貨物室奥の内壁Ｂ２が検出され、第１法線Ｎ１２が算出される。ＣＡＳＥ．３では、コンテナＣ４の側壁及び貨物室奥の内壁Ｂ２が検出され、コンテナＣ４の側壁の第１法線Ｎ１３と、内壁Ｂ２の第１法線Ｎ１４と、が算出される。地上支援機材１０の向きによっては、ＣＡＳＥ．３のように、コンテナＣ４の側壁が捉えられることもある。なお、「ＣＡＳＥ．１」［ＣＡＳＥ．２］及び［ＣＡＳＥ．３］のいずれにおいても、第３部分点群データを用いて機体表面の第２法線Ｎ２が算出される。

【0106】

ＣＡＳＥ．１においては、第１法線Ｎ１１は、第２法線Ｎ２にほぼ平行（３０°以内）であるため、第１法線Ｎ１１が貨物室角度として選定される（ステップＳ１２３）。ＣＡＳＥ．２においては、第１法線Ｎ１２は、第２法線Ｎ２にほぼ平行であるため、第１法線Ｎ１２が貨物室角度として選定される（ステップＳ１２３）。

【0107】

ＣＡＳＥ．３に関し、地上支援機材１０の向きによっては、第１法線Ｎ１４が検出されず、第１法線Ｎ１３だけが検出されることもある。このような場合に備えて、第２法線Ｎ２に垂直な第１法線Ｎ１３（例えば、第２法線Ｎ２から９０°±３０°の法線）も選定され得る。第２法線Ｎ２に垂直な第１法線Ｎ１３が選定された場合、９０°マイナスした角度が貨物室角度として推定される。

【0108】

ＣＡＳＥ．３のように、第２法線Ｎ２に平行な法線と垂直な法線の両方が得られた場合、法線に対応する面に含まれる点群が多い方の法線が、貨物室角度として選定され得る（ステップＳ１２３）。

【0109】

以上のように、貨物室角度（貨物搬入口に正対する方向）は、貨物搬入口の開口と概ね平行である第１面に対して垂直な第１法線Ｎ１１，Ｎ１２，Ｎ１４として検出される場合と、貨物搬入口の開口に対して概ね直交する第２面に対して平行な方向（第１法線Ｎ１３の方向を９０°マイナスした方向）として検出される場合と、がある。ここでの第１面は、貨物搬入口からみて貨物室の奥にある貨物室内壁Ｂ２、及び、貨物室に搭載されたコンテナＣ２の側壁のうち内壁Ｂ２に対して平行な第１側壁のうちの少なくともいずれか一方である。また、ここでの第２面は、貨物室に搭載されたコンテナＣ４の側壁のうち内壁Ｂ２に対して垂直な面である。

【0110】

図１０に戻り、ステップＳ１１３で求められたＬｉＤＡＲ基準の搬入口位置（ｘ，ｙ）と、ステップＳ１２３で求められたＬｉＤＡＲ基準の搬入口角度（θ）と、が、座標変換される（ステップＳ１０４）。座標変換によって、ＬｉＤＡＲ基準の位置（ｘ，ｙ）及び角度（θ）が、貨物搬入口（貨物搬入口の右端）を基準とした車体位置（Ｘ，Ｙ）及び角度（ｙａｗ）に変換される。ここでの角度θ，ｙａｗは、地上支援機材１０の姿勢を示す。

【0111】

図１５は、ＬｉＤＡＲを基準としたｘｙ座標、すなわち、地上支援機材１０のを基準としたｘｙ座標と、貨物搬入口の右端を基準としたＸＹ座標と、を示している。ステップＳ１０４の座標変換では、図１５に示す式（１）から（４）に従って、ＬｉＤＡＲ基準の位置（ｘ，ｙ）及び角度（θ）が、貨物搬入口（貨物搬入口の右端）を基準とした世界座標系における車体位置（Ｘ，Ｙ）及び角度（ｙａｗ）に変換される。世界座標系におけるＸ軸方向は、機体前方方向であり、Ｙ軸方向は、機体の左方である。角度（ｙａｗ）は、Ｘ軸からみたｘ軸の角度である。

【0112】

図９に戻り、以上のようにして、貨物搬入口に対する地上支援機材１０の位置・角度が求まると（ステップＳ９１１）、制御装置６０は、自動走行によって貨物搬入口に寄り付くための経路を生成する（ステップＳ９１２）。制御装置６０は、生成された経路に沿って、地上支援機材１０を移動させる指示を走行装置８０へ出力する（ステップＳ９１３）。制御装置６０は、貨物搬入口に正対した状態で貨物搬入口に到達するよう走行装置８０を制御する。したがって、地上支援機材１０は、貨物の搭降載に適した姿勢で、貨物搬入口に到達することができる。なお、移動中にセンサデータを再取得して、ステップＳ９１１からステップＳ９１３を繰り返し実行することで、精度よく貨物搬入口に到達することができる。

【0113】

地上支援機材１０が貨物搬入口に到達すると、制御装置６０は、貨物搬入口の高さを検出する（ステップＳ９１４）。なお、ここでは、貨物室の底面高さが、貨物搬入口の高さとして検出される。貨物搬入口の高さ検出のためのセンサとして、例えば、センサ装置５０における第４カメラ５４が用いられる。制御装置６０は、検出された貨物搬入口の高さに応じて、昇降部２１（及び必要であれば昇降式デッキ３１）の高さを制御する（ステップＳ９１５）。なお、貨物搬入口の高さ検出は、地上支援機材１０が貨物搬入口に到達するための移動中から行われてもよい。また、貨物の搭降載を担う作業者は、地上支援機材１０が貨物搬入口に寄り付いた後に、地上支援機材１０に乗り込めばよい。作業者の乗り込みは昇降部２１の高さ調整の前でも後でもよい。

【0114】

本実施形態では、一例として、貨物搬入口の高さ検出のため、貨物室内において、相対位置関係が既知である複数の部位（基準部位）が利用される。制御装置６０は、相対位置関係が既知である複数の部位をカメラ５４で撮像した画像における当該複数の部位の位置と、当該相対位置関係と、を利用して、貨物搬入口の高さを求める。

【0115】

ここでは、基準部位の一例として、貨物室１０５内の底面１０６（図１参照）に設けられ、貨物搬入口下端付近にある部位１０７が用いられる。当該部位１０７としては、例えば、図１７の搬入口画像に示すように、貨物搬入口近傍に設けられた貨物搬入口ロックである。かかるロックは、例えば、カーゴドアを閉じるためのロック、又は、コンテナ固定のためのロックである。このようなロックは、貨物室内において貨物搬入口近傍において、貨物搬入口の幅方向に一直線上に、複数（一般的に、４つまたは２つ）並んでおり、それらの間隔は、機種によって異なるものの、既知である。これらを利用して、貨物搬入口の高さが検出される。

【0116】

より具体的には、制御装置６０は、カメラ５４で貨物搬入口の付近を撮像した画像から、ロック識別器６５（基準部位識別器）によって、ロック（基準部位）を識別する。ロック識別器６５は、例えば、貨物搬入口付近の画像が入力されると、画像中のロック（基準部位）を識別するよう機械学習された機械学習モデルである。ロック識別器６５は、様々な機種のロックを識別するよう学習されている。ロック識別器６５によって、画像中の複数のロックそれぞれの位置座標が求められる。複数のロックそれぞれの相対位置関係は既知であるため、制御装置６０は、カメラ５４を基準としたロックの高さを、貨物搬入口の高さとして求めることができる。

【0117】

図１７は、貨物搬入口の高さを検出する処理（ステップＳ９１４）の手順の一例を示している。まず、制御装置６０は、図３のステップＳ３１にて取得された機種情報にも基づいて、ロックデータ（基準部位データ）を取得する（ステップＳ１７１）。前述の機種情報テーブル７１は、機種情報に対応付けられたロックデータ（図示省略）を有しているのが好ましい。機種情報に対応付けられたロックデータは、機種ごとのロック間隔など、複数のロック間の相対位置関係を示すデータを有している。制御装置６０は、機種情報に基づいて、機種情報テーブル７１を参照し、ロックデータを取得する。

【0118】

そして、制御装置６０は、ロックを撮像したカメラ画像から、ロック識別器６５によって、ロックの位置を検出する（ステップＳ１７２：図１６参照）。図１６におけるロック識別結果の画像中において、白色矩形の４つのバウンディングボックスは、識別された４つの貨物搬入口ロックの位置を示している。

【0119】

制御装置６０は、識別された貨物搬入口ロックそれぞれの中心点座標（矩形のバウンディングボックスの中心点）を算出し、それらの中心点座標についての近似直線を生成する。制御装置６０は、図１８に示すように、近似直線上の両端点を、貨物搬入口両端ロック位置（u1, V1,）(u2, v2)とする（ステップＳ１７３）。識別された両端ロックの位置そのものを利用するのではなく、近似直線上の両端点利用することで、ロック位置の精度を向上させることができる。

【0120】

制御装置６０は、両端ロック位置（u1, V1,）(u2, v2)に基づいて、両端ロック間の距離（ロック間隔）がロックデータによって既知であることを利用して、カメラ画像座標系における両端ロック位置から、両端ロック高さを算出する。なお、図１８は、カメラ画像座標とカメラ座標との関係を示している。図１８の式（５）（６）において、ｆ，Ｃｘ，Ｃｙはカメラ特性による固定値である。カメラ画像座標系(u,v)の値である両端ロック位置（u1, V1,）(u2, v2)は、式（５）（６）を用いることで、カメラ座標系（ｘ，ｙ，ｚ）におけるロック位置として字表現される。ロック位置ｘ，ｙ，ｚは、ｚのみで表現可能である。

【0121】

図１９は、カメラ座標とＨＬ座標（図１５のＸＹ座標）との関係を示している。図１９の式（７）において、Ｒ，ｔは、カメラ特性・設置位置によって決定され既知である。ＨＬ座標系におけるロック位置Ｘ，Ｙ，Ｚは、ｚのみで表現可能である。制御装置６０は、式（５）（６）（７）の関係性を用いて、図１９のロック位置Ｐ_１（Ｘ_１，Ｙ_１，Ｚ_１）及びロック位置Ｐ_２（Ｘ_２，Ｙ_２，Ｚ_２）を、（u1, v1），（u2, v2），ｚを用いて表現する。

【0122】

ここで、地上支援機材１０は、貨物搬入口に正対しているので、Ｘ_１＝Ｘ_２であり、ロック間距離Ｌは自明であるため、Ｙ_１－Ｙ_２＝Ｌである。制御装置６０は、これらの条件を用いて、ロック高さＺ_ｌ，Ｚ_２を求める（ステップＳ１７４）。ロック高さＺ_ｌ，Ｚ_２は、地上支援機材１０（ハイリフトローダ：ＨＬ）からみたロック高であるため、制御装置６０は、Ｚ_ｌ，Ｚ_２の符号を反転計算し、ロック中心からの地上支援機材１０（ハイリフトローダ：ＨＬ）の高さ（ＨＬの傾きを含む）を推定する（ステップＳ１７５）。

【0123】

図９に戻り、図９のステップＳ９１において、カーゴドアが閉じていると判定された場合、第２制御（ドア閉状態制御）が実行される。

【0124】

第２制御では、ステップＳ９２１において、図１０に示す第１ロジックとは異なる第２ロジックによって、貨物搬入口に対する地上支援機材１０の位置及び角度を認識する処理が実行される。図２０は、第２ロジックによる認識の処理（ステップＳ９２１）を示している。第２ロジックでも、カメラ５１，５２，５３（第２センサ）で取得した画像と、ＬｉＤＡＲセンサ５５（第１センサ）で取得した点群データと、が用いられる。

【0125】

制御装置６０が備える搬入口識別器は、カメラ５１，５２，５３によって取得された画像から、閉じている貨物搬入口を検出する（ステップＳ２０１）。これにより、貨物搬入口が含まれる矩形範囲（搬入口範囲）としてバウンディングボックスが得られる（図２１参照）。この貨物搬入口の検出に関しては、第１制御における第１ロジックと同様である。

【0126】

制御装置６０は、閉じた搬入口範囲内における部分点群データ（第４部分点群データ。第４部分点群データは、前述の第２部分点群データと同様。）を抽出し（ステップＳ２０２）、その第４部分点群データに基づいて、貨物搬入口の位置と角度とを算出する（ステップＳ２１３，Ｓ２２３）。カーゴドアが閉じている場合、第４部分点群データは、貨物搬入口までの距離を測定したものであるため、搬入口範囲の重心位置を、搬入口の位置として求める（ステップＳ２１３）。また、第４部分点群データによって閉じたカーゴドアの平面を検出し、その平面の法線（水平面における方向）を貨物搬入口の角度として求める（ステップＳ２２３）。

【0127】

制御装置６０は、ステップＳ２１３で求められた搬入口位置とステップＳ２２３で求められた搬入口角度とが、座標変換される（ステップＳ２０４）。ステップＳ２０４の座標変換の方法は、図１０のステップ１０４の座標変換と同様である。なお、第２制御での搬入口位置は、高さを含むのが好ましい。

【0128】

図９に戻り、貨物搬入口に対する地上支援機材１０の位置・角度が求まると（ステップＳ９２１）、制御装置６０は、自動走行によって貨物搬入口に寄り付くための経路を生成する（ステップＳ９２２）。制御装置６０は、生成された経路に沿って、地上支援機材１０を移動させる指示を走行装置８０へ出力する（ステップＳ９２３）。制御装置６０は、貨物搬入口におおむね正対した状態で貨物搬入口に到達するよう走行装置８０を制御する。なお、移動中にセンサデータを再取得して、ステップＳ９２１からステップＳ９２３を繰り返し実行することで、精度よく貨物搬入口に到達することができる。

【0129】

さらに、制御装置６０は、高さを含む搬入口位置に基づいて、昇降部２１の高さを制御し、昇降部２１を搬入口位置の高さに概ね合わせる。作業者は、地上支援機材１０の運転台２２に乗り込み、貨物搬入口の近傍の機体に設けられた操作盤を操作して、カーゴドア１０３を開く操作をする。

【0130】

ステップＳ９２１で求められる位置・角度は、ステップＳ９１１で求められる位置・角度よりも精度が低いが、第２制御では、地上支援機材１０に乗り込んだ作業者が、カーゴドアの操作盤を操作できる位置に、地上支援機材１０が到達すればよい。このため、第２制御では、地上支援機材１０が到達すべき位置の精度は、第１制御よりも低くてよい。したがって、第２制御では、検出される貨物搬入口の位置・角度は精度が低くてもよい。

【0131】

第２制御で貨物搬入口に到達した地上支援機材１０に乗り込んだ作業者は、カーゴドアの開操作が完了すると、制御装置６０へ移動指示（後退指示）を与える操作を行う。すると、制御装置６０は、経由地点から貨物搬入口に至った経路にそって後退する自動走行を行わせる位置制御を行う（ステップＳ９２５）。これにより、地上支援機材１０は、経由地点に戻る。地上支援機材１０が経由地点に戻ると、制御装置６０は、第１制御（ステップＳ９１１からステップ９１５）を実行する。このように、カーゴドアが閉じていても、第２制御を経て、カーゴドアを開けることで、カーゴドアが開いているときのための第１制御が実行可能である。

【0132】

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0133】

１０ 地上支援機材
１０Ａ 地上支援機材
１０Ｂ 地上支援機材
１０Ｃ 地上支援機材
１０Ｃ－１ 地上支援機材
１０Ｄ 地上支援機材
１０Ｄ－１ 地上支援機材
１０Ｅ 地上支援機材
１０Ｅ－１ 地上支援機材
１０Ｆ 地上支援機材
１０Ｆ－１ 地上支援機材
１５ 第１走行
１６ 第２走行
２０ 前部
２１ 昇降式プラットフォーム
２２ 運転台
３０ 後部
３１ 昇降式デッキ
３２ 作業プラットフォーム
５０ センサ装置
５１ 第１カメラ
５２ 第２カメラ
５３ 第３カメラ
５４ 第４カメラ
５５ ＬｉＤＡＲセンサ
６０ 制御装置
６１ 初期走行制御
６２ 寄り付き及び高さ調整制御
６２Ａ ドア開状態制御（第１制御）
６２Ｂ ドア閉状態制御（第２制御）
６５ ロック識別器
７０ データベース
８０ 走行装置
９１ 誘導線検出器
９２ 機体記号読取カメラ
１００ 航空機
１０１ 機体（胴体）
１０２ 貨物搬入口
１０２Ａ 前方貨物搬入口
１０２Ｂ 後方貨物搬入口
１０３ カーゴドア
１０５ 貨物室
１０６ 貨物室床面
１０７ ロック
１１０ 主翼
２００ 誘導線
２０１ 第１誘導線
２０２ 第２誘導線
２０３ 第３誘導線
２０４ 第４誘導線
２０５ 第５誘導線
３０１ 機材制限区域
３０２ 機材待機区域
Ｃ コンテナ
Ｄ 検出範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【手続補正書】

【提出日】2022-10-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

明細書に記載の装置。