(58)【調査した分野】(Int.Cl.,DB名)
前記表示部は、前記撮像部から得られる撮像データに基づく撮像画像と、前記データ処理部で生成される前記障害物状況表示画像とを、同一画面上で並行表示可能とすることを特徴とする、
請求項4に記載の航空機ホバリング作業支援システム。
前記検出部、前記撮像部、前記表示部、および前記データ処理部の少なくともいずれかは、前記航空機の機体に取り付け可能な独立した機器として構成されていることを特徴とする、
請求項5から9のいずれか1項に記載の航空機ホバリング作業支援システム。
【発明を実施するための形態】
【0033】
以下、本開示の代表的な実施の形態を、図面を参照しながら説明する。なお、以下では全ての図を通じて同一又は相当する要素には同一の参照符号を付して、その重複する説明を省略する。
【0034】
[航空機ホバリング作業支援システムの構成]
本開示に係る航空機ホバリング作業支援システムの構成の一例について、
図1および
図2を参照して具体的に説明する。
図1に示すように、本実施の形態に係る航空機ホバリング作業支援システム10Aは、データ処理部11、検出部12、表示部13、撮像部14および通信部15を備えており、
図2に示すように、ホバリング可能な航空機であるヘリコプタ30に搭載されている。なお、以下の説明では、便宜上、「航空機ホバリング作業支援システム」を単に「支援システム」と略す。
【0035】
データ処理部11は、ヘリコプタ30の機体31に搭載されるアビオニクスシステム21に接続され、アビオニクスシステム21との間で双方向にデータの入出力が可能となっている。したがって、支援システム10Aは、ヘリコプタ30にも接続されていることになる。アビオニクスシステム21は、機体31に設けられる複数のアビオニクス機器により構成されているシステムであり、ヘリコプタ30(もしくはホバリング可能な航空機)の種類に応じて機体31に設けられる公知のシステムであればよい。
【0036】
なお、
図1および
図2では、説明の便宜上、アビオニクスシステム21を単一のブロックで便宜的に図示している。また、アビオニクスシステム21には、
図1に示すように、慣性航法装置(INS)22および全地球航法装置(GPS)23等の航法システムが含まれているとともに、報知装置24が含まれてもよい。説明の便宜上、
図1では、INS22、GPS23、および報知装置24をアビオニクスシステム21から独立したブロックとして図示している。
【0037】
データ処理部11は、検出部12、表示部13、撮像部14、およびアビオニクスシステム21の少なくともいずれかから取得したデータを処理するものである。説明の便宜上、データ処理部11が取得したデータ(取得データ)を処理して得られるデータを「処理データ」と称すれば、データ処理部11は、後述するように、処理データとして、表示部13の表示に用いられる各種表示データを生成して表示部13に出力するよう構成されている。
【0038】
特に、本開示においては、データ処理部11は、検出部12から取得される検出データだけでなく、アビオニクスシステム21から取得されるアビオニクスデータも用いて、処理データとしての表示データを生成する。なお、データ処理部11は、もちろん表示データ以外の処理データを生成してもよい。他の処理データとしては、例えば、後述する警告データが挙げられる。データ処理部11は、生成した警告データをヘリコプタ30が備える報知装置24に出力する。データ処理部11の具体的な構成は特に限定されず、公知の演算装置、例えばマイクロコンピュータまたはマイクロコントローラ等を挙げることができる。
【0039】
検出部12は、ヘリコプタ30の機体31の外部に設けられ、ヘリコプタ30のホバリング時に障害物となり得る対象物を検出し、検出データを生成してデータ処理部11に出力する。検出部12の具体的な構成は特に限定されず、対象物を検出可能な公知のセンサ類であればよいが、検出データには、好ましくは対象物までの距離データが含まれ、より好ましくは距離データとともに対象物の位置データが含まれればよい。
【0040】
距離データおよび位置データを検出可能とする検出部12としては、代表的には、電磁波を照射してその反射波を受信する構成のものを挙げることができる。具体的には、例えば、公知のレーダまたはLIDAR(Light Detection and Ranging)等を挙げることができ、特にLIDARが好ましく用いられる。LIDARは、レーダよりも短波長の電磁波である光(可視光、紫外線、赤外線等)をパルスレーザとして対象物に照射して反射波を受信する。LIDARでは、受信した反射波の方向および距離を三次元情報として取得するため、レーダよりも高い解像度で対象物の特徴を得ることができる。
【0041】
図2に示す例では、検出部12は、機体31の外部のうちテール部33の上面に設けられている。しかしながら、検出部12の設置位置は機体31の外部であって、ホバリング時に障害物となり得る対象物を検出可能な位置であれば特に限定されない。代表的には、機体31の周囲の障害物を検出可能な位置であることが好ましく、パイロット20の死角となる方向における障害物を検出可能な位置であることがより好ましく、あるいは、メインロータ35の周囲の障害物を検出可能な位置であることがより好ましい。
【0042】
表示部13は、データ処理部11から出力される表示データに基づいて画像を表示するものであればよい。表示部13の具体的な構成は特に限定されないが、本実施の形態では、
図1または
図2に示すように、パッド型携帯端末(携帯端末)13Aおよびヘッドマウントディスプレイ(HMD)13Bを用いている。なお、ヘリコプタ30の操縦席34に操縦用の表示システムが設けられていれば、このような操縦用の表示システムも、支援システム10Aの表示部13として用いることができる。この場合、アビオニクスシステム21を介してデータ処理部11から表示データが出力されればよい。
【0043】
撮像部14は、ヘリコプタ30の機体31の外部に設けられ、ヘリコプタ30の周囲の一部を撮像して撮像データ(映像データ)として出力するものである。撮像部14の具体的な構成は特に限定されず、公知のビデオカメラを好適に用いることができる。また、本実施の形態では、撮像部14として、
図1または
図2に示すように、後方撮像部14Aおよび下方撮像部14Bを備えている。後方撮像部14Aは、ヘリコプタ30の後方(後側)を撮像し、下方撮像部14Bは、ヘリコプタ30の下方(下側)を撮像する。後方および下方はいずれも操縦席34のパイロット20から見て死角となり得る方向である。
【0044】
機体31の前方はパイロット20の視界に入るため、パイロット20は、障害物となり得る対象物の接近を目視で確認できるが、機体31の後方は死角となるため、パイロット20は対象物の接近を目視で確認できない。また、
図2に示すように、ヘリコプタ30の機体31後部はテール部33として後方に伸びており、テール部33の最後端にはテールロータ36が設けられている。そのため、例えば、機体31の後方においてメインロータ35またはテールロータ36(もしくはテール部33)への対象物の接近を確認できるようにする観点から、後方撮像部14Aが設けられることが好ましい。
【0045】
また、
図2に示す例では、ヘリコプタ30は降着装置としてスキッド37を備えているが、スキッド37は、機体31の下面に設けられるため、ホバリング作業時に架線または樹木等に引っかかる可能性がある。また、ヘリコプタ30のホバリング作業時には、救助要員が降下したり救助用ウィンチ(ホイスト)により要救助者を引き上げたりすることがある。そのため、パイロット20はホバリング時に機体31の下方を確認できるようにする観点から、下方撮像部14Bが設けられることが好ましい。
【0046】
図2に示す例では、後方撮像部14Aは、機体31の外部のうち胴体部32の後面の下部となる位置に設けられ、下方撮像部14Bは、胴体部32の下面に設けられている。しかしながら、撮像部14の設置位置はこれに限定されず、パイロット20から見て死角となりやすい方向、もしくは死角でなくてもホバリング時にパイロット20が目視で確認しにくい方向等を撮像可能とする位置であればよい。また、本実施の形態では、後方撮像部14Aおよび下方撮像部14Bはいずれも通常の光学ビデオカメラであればよいが、ヘリコプタ30のホバリング作業の種類によっては、赤外線ビデオカメラ等の特殊な撮像装置であってもよい。
【0047】
前記の通り、本実施の形態では、表示部13として、携帯端末13AおよびHMD13Bを用いており、これらはヘリコプタ30に固定して搭載されていない独立した機器である。それゆえ、本実施の形態では、支援システム10Aはデータ処理部11から出力される表示データを携帯端末13AまたはHMD13Bに無線通信により送信する通信部15を備えている。通信部15の具体的な構成は特に限定されず、Wi−Fi(登録商標)、Bluetooth(登録商標)あるいは無線イーサネット(登録商標)等の公知の無線LANを用いることができる。また、データ処理部11と表示部13とは無線接続でなく有線接続されてもよい。
【0048】
支援システム10Aでは、データ処理部11は、検出部12からの検出データ、および、撮像部14からの撮像データを取得して表示データを生成し、通信部15を介して表示部13に出力する。ここで、データ処理部11は、
図1および
図2に示すように、アビオニクスシステム21等を介してヘリコプタ30の機体31に接続されているので、生成した表示データ(あるいは他の処理データ)をヘリコプタ30に出力可能であるとともに、ヘリコプタ30からもデータを取得して表示データ等の生成に用いることができる。
【0049】
例えば、ヘリコプタ30には、警報灯、音声警報装置、操縦用の表示システムで表示される各種メッセージ等といった報知装置24が搭載されている。データ処理部11は、他の処理データとして、対象物の接近を警告するための警告データを生成することができる。この警告データをアビオニクスシステム21に出力して、この警告データに基づいて報知装置24が動作してもよい。また、アビオニクスシステム21には、前記の通りINS22およびGPS23等の航法システムが含まれるが、これら航法システムからの航法データを、アビオニクスデータとしてデータ処理部11に出力してもよい。データ処理部11は、表示データもしくは警告データ等の処理データを生成するに当たって、これら航法データを用いることができる。
【0050】
[表示部による障害物状況表示画像]
本実施の形態に係る支援システム10Aにおいては、表示部13は、データ処理部11により生成される表示データに基づいて、障害物となり得る対象物の模式的な表示を含む画像を表示する。このように表示部13により表示される画像の一例について、
図1および
図2に加えて、
図3(A),(B)および
図4(A),(B)を参照して具体的に説明する。
【0051】
支援システム10Aにおいては、データ処理部11は、取得データ(検出部12からの検出データ、撮像部14からの撮像データ、およびアビオニクスシステム21からのアビオニクスデータ)をまとめて記憶することで共有化しており、これら取得データのうち、少なくとも検出データおよびアビオニクスデータから、対象物のヘリコプタ30への接近または接近可能性を示す対象物模式表示データを生成して、表示部13に出力する。また、データ処理部11は、取得データから、機体31を中心としてその周囲の状況を示す状況表示データを生成して表示部13に出力する。このとき、対象物模式表示データは、ヘリコプタ30と対象物との距離に応じた複数段階の表示データとして生成されている。
【0052】
表示部13は、データ処理部11からの対象物模式表示データに基づいて、ヘリコプタ30の周囲における障害物の状況を模式的に示す障害物状況表示画像を表示する。
【0053】
障害物状況表示画像の具体的な構成は特に限定されないが、代表的には、
図3(A),(B)および
図4(A),(B)に示すように、状況表示データに基づく、機体31を中心として当該機体31の前後左右方向を対応させる円形状表示40を表示するとともに、
図3(B)〜
図4(B)に示すように、当該円形状表示40の円周部であり、かつ、対象物の存在方向に対応する方向に、前記対象物模式表示データに基づく対象物模式表示42と、を表示する構成が挙げられる。
【0054】
特に、対象物模式表示42は、
図4(A),(B)に示すように、対象物が機体31に接近した場合には、対象物模式表示データの段階に応じて、円形状表示40の円周部から中心部に向かって突出するように表示される。
【0055】
より具体的には、
図3(A)〜
図4(B)には、表示部13の表示画面の一例である障害物表示画面50を示しており、この障害物表示画面50には、障害物状況表示画像が含まれる。障害物表示画面50の表示構成は、機体31の前後左右方向を対応させた円形状表示40と、円形状表示40の円周部に表示される対象物模式表示42と、を含む構成となっている。
【0056】
図3(A)〜
図4(B)に示すように、円形状表示40の中心の機体模式表示41から、機体31すなわちヘリコプタ30の機首が
図3(A)における図中上側であることがわかる。それゆえ、図中上側がヘリコプタ30の前方向に対応し、図中下側がヘリコプタ30の後方向に対応し、図中向かって左側がヘリコプタ30の左側方に対応し、図中向かって右側がヘリコプタ30の右方向に対応する。なお、
図3(A)における紙面(画面)手前側がヘリコプタ30の上方向に対応し、紙面奥側がヘリコプタ30の下方向に対応する。この対応関係は
図3(B)〜
図4(B)も同様である。
【0057】
円形状表示40は、同心円状であり、
図3(A)〜
図4(B)に示す例では、円周の最外部に位置する円環領域40aと、その内側に隣接して位置する五重の円環領域40bとが表示されている。これら円環領域40a,40bは、対象物模式表示42が表示される領域であり、ヘリコプタ30と検出された対象物との距離を示している。最外部の円環領域40aは注意領域であり、その内側の円環領域40bは警告領域であるので、説明の便宜上、最外部の円環領域40aを「注意円環領域40a」と称し、その内側の円環領域40bを「警告円環領域40b」と称する。また、警告円環領域40bは等間隔の合計5つの円環で構成されており、外側から第一環、第二環、第三環、第四環、第五環とすると、第一環から第五環の順で警告の程度が高くなる。したがって、円環領域40bは5段階の警告を表示可能となっている。
【0058】
まず、
図3(A)に示す障害物表示画面50では、円形状表示40および機体模式表示41、のみが表示され、対象物模式表示42は表示されていない。そのため、
図3(A)に示す状況では、ヘリコプタ30の周囲には、障害物の可能性がある対象物は存在しないことがわかる。
【0059】
次に、
図3(B)に示す障害物表示画面50では、機体模式表示41から見て後方斜め右方向において、円形状表示40の注意円環領域40aに対象物模式表示42が表示されている。本実施の形態では、円環領域40a,40bにおいては、10°の角度範囲で対象物模式表示42を段階的に表示可能である。このうち黒で塗りつぶされた10°の範囲の表示が第一段階表示42aであり、この第一段階表示42aの両側において、それぞれ10°の範囲で格子線のハッチングがなされた表示が第二段階表示42bである。
【0060】
第一段階表示42aは、ヘリコプタ30から見てより近い位置にある対象物を示し、第二段階表示42bは、第一段階表示42aよりも離れた位置にある対象物を示す。また、後述する第三段階表示42cは、第二段階表示42bよりも離れた位置にある対象物を示す。したがって、第三段階表示42cから第一段階表示42aの順で注意の程度が高くなる。これら第一段階表示42a〜第三段階表示42cの各段階は、データ処理部11で生成された対象物模式表示データの段階に応じて表示される。
【0061】
図3(B)〜
図4(B)では、前記の通り、第一段階表示42aは、模式的に黒く塗りつぶして図示しているが、実際には例えば赤色で表示されればよい。また、第二段階表示42bは、模式的に格子線のハッチングで図示しているが、実際には例えば黄色で表示されればよい。
図4(A),(B)では、第三段階表示42cは、模式的に横線のハッチングで図示しているが、実際には例えば緑色で表示されればよい。このように、対象物模式表示42は、対象物模式表示データの段階に応じて異なる色彩で表示すればよい。
図3(B)に示す状況では、ヘリコプタ30の周囲には、後方斜め右の位置において、注意領域となる距離範囲の比較的近い位置に障害物の可能性がある対象物が存在することがわかる。
【0062】
次に、
図4(A)に示す障害物表示画面50では、機体模式表示41から見て右方向から後方に亘って100°の範囲に亘って対象物模式表示42が表示されるとともに、後方斜め左方向にも10°の範囲で対象物模式表示42が表示されている。このうち、後方斜め右方向に表示される第一段階表示42aは、円形状表示40の注意円環領域40aから警告円環領域40bの第二環まで突出するように40°の範囲で表示されている。
【0063】
また、第一段階表示42aの両側部となる注意円環領域40aには、第二段階表示42bが20°の範囲で表示され、第二段階表示42bから見て外側となる注意円環領域40aには、第三段階表示42cが20°の範囲で表示されている。また、後方斜め左方向では10°の範囲で第三段階表示42cが表示されている。
図4(A)に示す状況では、ヘリコプタ30の右側方から後方にかけて、注意領域となる距離範囲に大きな対象物が存在しており、この対象物の一部がヘリコプタ30の右後方において警告領域の第二段階となる距離範囲に接近していることがわかる。
【0064】
次に、
図4(B)に示す障害物表示画面50では、機体模式表示41から見て右方向から後方斜め左方向の130°の範囲に亘って対象物模式表示42が表示されている。このうち、後方斜め右方向に70°の範囲で表示される第一段階表示42aは、最大で警告円環領域40bの第五環まで突出しており、この最大突出位置から見て右側では、突出位置は、第四環、第三環、第二環、および第一環のように段階的になっている。一方、最大突出位置から見て左側では、突出位置は第四環および第一環であるため、左側は急激に突出していることがわかる。
【0065】
また、第一段階表示42aの両側部となる注意円環領域40aには、右側20°の範囲で第二段階表示42bが表示され、左側10°の範囲で第二段階表示42bが表示されている。また、左側の第二段階表示42bの外側(さらに左側、ヘリコプタ30から見て後方)には、第三段階表示42cが20°の範囲で表示され、この第三段階表示42cのさらに外側(さらに左側、ヘリコプタ30から見て後方斜め左方向)には、第二段階表示42bが10°の範囲で表示されている。
【0066】
図4(B)に示す状況では、ヘリコプタ30の右側方から後方にかけて、注意領域となる距離範囲に大きな対象物が存在しており、この対象物の一部がヘリコプタ30の右後方において警告領域の第五段階となる距離範囲に非常に接近していることがわかる。また、この大きな対象物は、右側がなだらかに変化しているものの、左側は急激に変化しており、ヘリコプタ30から見て後方の一部(第三段階表示42cの位置)が凹んでいることがわかる。
【0067】
このように、障害物表示画面50における円形状表示40は、注意円環領域40aと警告円環領域40bとに区分されており、最外部に位置する注意円環領域40aでは、表示の種類により注意の程度の違いを示しており、注意円環領域40aの内部に位置する警告円環領域40bでは、中心部方向への表示の高さ(第一環から見て第五環までのいずれの円環まで達するか)により警告の程度の違いを示している。
【0068】
注意円環領域40aにおける注意の程度と警告円環領域40bにおける警告の程度を、障害物表示画面50の目視者(パイロット20)に対する、一つの連続した「障害物情報重要度」の変化と位置づければ、注意円環領域40aにおける第三段階表示42c、第二段階表示42b、および第一段階表示42a、並びに、警告円環領域40bにおける第一段階表示42aの第一環への到達、第二環への到達、第三環への到達、第四環への到達、および第五環への到達の順で、「障害物情報重要度」が高くなることになる。
【0069】
[データ処理部による検出データの判定]
次に、データ処理部11における検出データの判定について、
図1〜
図4(B)に加えて、
図5および
図6(A)〜(C)を参照して具体的に説明する。
【0070】
本実施の形態に係る支援システム10Aにおいては、前記の通り、検出部12として、距離データおよび位置データを検出可能とするものを好適に用いることができ、検出部12の具体的な一例としてLIDARが挙げられる。
【0071】
前述した通り、LIDARでは、レーダよりも短波長の電磁波である光を用いるため、レーダよりも微小な物体の検出が可能である。それゆえ、LIDARは、水蒸気、エアロゾル、風雨、雲等といった気象分野の測定に好適に用いられるが、その反面、本開示のように、ヘリコプタ30の周囲に存在するより大きな物体(障害物となり得る対象物)を検出する場合には、例えば、降雨または降雪状態では、雨または雪を検出してしまい、対象物を適切に検出できない可能性がある。
【0072】
例えば、支援システム10Aが、
図4(A)に示す障害物表示画面50の状況、すなわち、機体模式表示41から見て右方向から後方斜め左方向の130°の範囲に亘って存在する対象物を検出する状況で、雪が降っているとする。検出部12は、周囲の雪を検出してしまうため、対象物が本来存在しない領域において強く対象物の存在が検知され、例えば、
図5に示す障害物表示画面50のように、全体的に第一段階表示42aがノイズとして表示される可能性がある。
【0073】
図5に示す例では、白抜きの対象物模式表示42が、本来検出されるべき対象物を示している(
図4(A)に示す対象物模式表示42と同じ)である。しかしながら、検出部12が周囲の雪を検出すると、例えば、機体模式表示41から見て右方向から後方斜め左方向の100°の範囲と、後方斜め左方向にも10°の範囲とにおいて、第一段階表示42aが第五環まで突出して表示されるとともに、対象物が検出されない後方左側20°の範囲でも、第一段階表示42aが第一環に突出して表示される。
【0074】
また、図示しないが、山岳地帯等では、ヘリコプタ30がホバリング作業中に地上の枯葉等を巻き上げる可能性がある。検出部12がLIDARであれば、このような枯葉等も検出する可能性があり、その結果、表示部13では、巻き上げられた枯葉等を対象物模式表示42として表示するおそれがある。
【0075】
検出部12が同一領域または同一対象の検出を複数回試みたときに、障害物となり得る対象物であれば、理想的には、全ての検出回数のいずれにおいても対象物を検出することができる。これに対して、雨、雪、枯葉等のように、ヘリコプタ30の周囲に一時的に存在する微小物体であれば、全ての検出回数のうち一部の回数しか微小物体を検出できないことになる。それゆえ、一時的に存在する微小物体の検出回数は、障害物となり得る対象物の検出回数に比べて少なくなると判断される。
【0076】
そこで、本実施の形態では、データ処理部11は、検出部12で検出される、同一領域または同一対象についての検出データの検出回数が、予め設定される判定閾値以上であるか否かを判定する。検出部12がLIDARであれば、パルスレーザを照射してその反射波を取得することにより、距離データおよび位置データを測定するので、例えば、
図6(A)のフローチャートに示すように、データ処理部11は、検出部12から同じ距離および同じ位置の検出データを所定時間内に複数回取得することになる(ステップS11)。そこで、データ処理部11は、複数回得られた検出データの検出回数が判定閾値以上であるか否かを判定する(ステップS12)。
【0077】
検出回数が判定閾値未満であれば(ステップS12でNO)、検出部12は、雨または雪、あるいは、風で巻き上げられる枯葉等のように、ヘリコプタ30の周囲に一時的に存在する微小物体を検出していると判断される。そこで、データ処理部11は、この検出データを無視し(ステップS13)、対象物模式表示データを生成しなければよい。
【0078】
これに対して、検出回数が判定閾値以上であれば(ステップS12でYES)、検出部12は、ヘリコプタ30の周囲に一時的に存在する微小物体ではなく、障害物となり得る対象物を検出していると判断される。そこで、データ処理部11は、この検出データおよびアビオニクスデータを用いて(必要に応じて撮像データ等の他の取得データも用いて)対象物模式表示データを生成して表示部13に出力する(ステップS14)。これにより、表示部13では、
図5に示すようなノイズとしての全体的な第一段階表示42aが表示されるような障害物表示画面50を表示することがなく、
図4(A)に示すようにノイズを除去または軽減した障害物表示画面50を表示することが可能となる。
【0079】
ここで、判定閾値は、予め設定される回数として固定されてもよいが、ヘリコプタ30のホバリングの状況に応じて、判定閾値を適宜設定してもよい。これにより、検出データの適切性をより効率的または良好に判断することが可能になる。例えば、
図6(B)に示すフローチャートでは、検出データに含まれる距離データが所定範囲内にあるか否かを判定した上で、判定閾値を設定しており、
図6(C)に示すフローチャートでは、ヘリコプタ30の移動速度データに応じて判定閾値を設定している。
【0080】
例えば、ヘリコプタ30から見てかなり近接した位置から得られる検出データは、障害物となり得る対象物ではなく一時的に存在する微小物体の検出結果であると判断される。また、ヘリコプタ30から見てかなり遠方の位置から得られる検出データは、一時的に存在する微小な物体でなくても、障害物となり得る対象物としては無視することができる。そこで、例えば、
図6(B)のフローチャートに示すように、データ処理部11は、検出部12から所定時間内に複数回の検出データを取得した(ステップS21)後に、その検出データに含まれる距離データが所定範囲内であるか否かを判定する(ステップS22)。
【0081】
距離データが所定範囲外であれば(ステップS22でNO)、その検出データは、かなり近接または遠方の位置から得られるものであると判断される。それゆえ、データ処理部11は、この検出データを無視し(ステップS23)、対象物模式表示データを生成しない。一方、距離データが所定範囲内であれば(ステップS22でYES)、データ処理部11は、距離データの値に応じて判定閾値を設定する(ステップS24)。
【0082】
例えば、距離データの値が相対的にヘリコプタ30に近い位置であれば、この距離データを含む検出データは、一時的に存在する微小な物体の可能性があるが、距離が近いために、一時的な微小物体であっても検出回数が相対的に多くなる可能性がある。そこで、距離が近ければ判定閾値を高めに設定することができる。また、距離データの値がヘリコプタ30から遠くなれば、一時的な微小物体の検出回数は相対的に少なくなる傾向にある。そこで、距離データが大きくなるに伴って判定閾値を徐々に低く設定することができる。
【0083】
その後、データ処理部11は、設定された判定閾値に基づいて、検出データの検出回数が判定閾値以上であるか否かを判定する(ステップS25)。判定閾値未満であれば(ステップS25でNO)、この検出データを無視し(ステップS23)、対象物模式表示データを生成しない。一方、判定閾値以上であれば(ステップS25でYES)、この検出データおよびアビオニクスデータを用いて(必要に応じて撮像データ等の他の取得データも用いて)対象物模式表示データを生成して表示部13に出力する(ステップS26)。
【0084】
あるいは、例えば、ヘリコプタ30がホバリングしている状態であっても、ホバリング作業の状況によっては所定方向に横すべりする可能性がある。このとき、例えば、地球座標系に基づく所定領域に対して、検出部12(LIDAR)からパルスレーザが照射されることを想定すると、ヘリコプタ30の姿勢(検出部12の姿勢)が変動するため、所定領域にパルスレーザが照射される確率は減少する。そこで、ヘリコプタ30の移動速度に応じて、パルスレーザの所定領域への照射確率を考慮して判定閾値を設定することで、検出データの判定精度を向上することができる。
【0085】
例えば、
図6(C)のフローチャートに示すように、データ処理部11は、検出部12から所定時間内に複数回の検出データを取得した(ステップS31)後に、ヘリコプタ30の移動速度データに基づいて判定閾値を設定し(ステップS32)、設定された判定閾値に基づいて、検出データの検出回数が判定閾値以上であるか否かを判定する(ステップS33)。移動速度データは、検出データに含まれてもよいし、検出データ等に基づいてデータ処理部11で移動速度を演算してもよいし、データ処理部11の取得データに含まれるもの、例えばアビオニクスデータである航法データを利用してもよい。
【0086】
検出データの検出回数が判定閾値未満であれば(ステップS33でNO)、データ処理部11は、この検出データを無視し(ステップS34)、対象物模式表示データを生成しない。一方、判定閾値以上であれば(ステップS33でYES)、データ処理部11は、この検出データおよびアビオニクスデータを用いて(必要に応じて撮像データ等の他の取得データも用いて)対象物模式表示データを生成して表示部13に出力する(ステップS35)。
【0087】
なお、
図6(B)または
図6(C)に示すフローチャートでは、距離データまたは移動速度データに基づいて判定閾値を設定するステップを含んでいるが、ここでいう判定閾値の設定は、具体的な数値(回数)を設定することだけでなく、予め複数種類設定されている判定閾値の中から、距離データの値または移動速度データの値に応じて選択することも含むものとする。また、
図6(B)に示すフローチャートの判定処理と、
図6(C)に示すフローチャートの判定処理とは、組み合わせて用いることができる。例えば、取得した検出データについて、距離データが所定範囲内にあるか判定した後に、移動速度データの値を判定して、判定閾値を設定してもよい。
【0088】
[表示部の表示画面の具体例]
次に、表示部13で表示される障害物表示画面50およびこれを含む全体的な表示画面の一例について、
図7および
図8を参照して具体的に説明する。
【0089】
本実施の形態では、表示部13としては、
図1または
図2に示すように、パッド型携帯端末(携帯端末)13Aおよびヘッドマウントディスプレイ(HMD)13Bが用いられる。携帯端末13Aは、ヘリコプタ30の操縦席34に固定した状態で搭載されているものではなく、
図2に模式的に示すように、パイロット20の視界に入るような位置に取外し可能に設けられていればよい。また、HMD13Bは、パイロット20の頭部に装着されるものであればよい。
【0090】
携帯端末13AもHMD13Bも、パイロット20が常時目視するものではなく、ホバリング時に障害物の状況を確認するための参考用に、必要に応じて一見する程度に目視するものである。それゆえ、これら表示部13の表示画面には、
図3(A)〜
図5に示すような、障害物状況表示画像(円形状表示40および対象物模式表示42等を含む画像)が表示されていればよい。さらに、表示部13の表示画面には、パイロット20にとってホバリング時に参考になる他の情報を、障害物状況表示画像とともに併せて表示してもよい。
【0091】
代表的には、携帯端末13AおよびHMD13Bのいずれも、
図7に示すように、障害物状況表示画像(円形状表示40および対象物模式表示42等)の周囲に種々の計器データを表示する、障害物表示画面51を表示する構成を挙げることができる。計器データとしては、特に限定されないが、代表的には、対地速度、気圧高度、昇降率、および横すべり角度を挙げることができる。このような計器データは、データ処理部11により生成される計器データ表示データに基づいて表示部13に表示されればよい。データ処理部11は、アビオニクスデータ(特に航法データ)および/または検出データに基づいて計器データ表示データを生成すればよい。
【0092】
図7に示す例では、表示画面の中央左寄りに円形状表示40(並びに、機体模式表示41および対象物模式表示42)が表示されるとともに、計器データ表示として、対地速度ベクトル表示43、対地速度数値表示44、気圧高度数値表示45、昇降率数値表示46、昇降率バー表示47が併せて表示されている。
【0093】
対地速度ベクトル表示43は、円形状表示40の中心の機体模式表示41に重ねた位置に表示され、円形状表示40の中心から外側に向かって延伸するベクトル状の表示である。ベクトルの角度が横すべり角を示し、ベクトルの長さが対地速度の大きさを示している。
図7に示す例では、ヘリコプタ30は、前方斜め左方向に横すべりしている状態にあることがわかる。対地速度ベクトル表示43の長さは特に限定されず、目視者(パイロット20)が対地速度の大きさを把握できるような長さであればよい。
図7に示す例では、対地速度ベクトル表示43の先端は、円環状表示40のうち円環領域40bの内周に重なる位置となっているが、円環状表示40に重なってもよい。
【0094】
対地速度数値表示44は、
図7に示す例では、円形状表示40の左上の点線で囲んだ部位に位置し、対地速度ベクトル表示43の長さに対応する対地速度(略記G/S)を数値で表示する(
図7では「
G/S10」と表示)。気圧高度数値表示45は、
図7に示す例では、円形状表示40の右横に位置し、気圧高度(略記ALT)を数値で表示する(
図7では「
ALT199」と表示)。昇降率数値表示46は、
図7に示す例では、円形状表示40の右上の点線で囲んだ部位に位置し、昇降率(略記V/S)を数値で表示する(
図7では「
V/S280」と表示)。
図7では、対地速度数値表示44および昇降率数値表示46は、細点線で囲んだ領域として図示しているが、この細点線で囲んだ領域は図示の便宜上であり、実際の表示では、対地速度数値表示44および昇降率数値表示46は、略記および数値のみ表示される。
【0095】
昇降率バー表示47は、
図7に示す例では、円形状表示40の右横において、気圧高度数値表示45に重なって表示される白線を基準として、上側または下側に向かって伸縮可能なバー状(帯状)に表示される。つまり、昇降率バー表示47は、昇降率を数値ではなくバー(帯)の長さで示す。上側に伸張するバーが正(プラス)の昇降率を示し、下側に伸張するバーが負(マイナス)の昇降率を示す。
図7では、上側および下側の破線の領域がバーの最大表示可能領域に相当する。
【0096】
このように、障害物表示画面51において、障害物状況表示画像とともに前述した計器データを表示することで、パイロット20は、ホバリング時の操縦の参考とすることができる。なお、障害物表示画面51に表示される計器データは、対地速度、気圧高度、昇降率、および横すべり角度に限定されず、他の計器データが表示されてもよいし、一部の計器データを非表示としてもよい。また、
図7に示す例では、対地速度、気圧高度、昇降率はいずれも数値で表示しているが、対地速度、横すべり角度および昇降率については、ベクトルまたはバーのように画像で表示している。それゆえ、他の計器データについても数値ではなく、画像で表示してもよい。
【0097】
また、携帯端末13Aは、その表示画面が縦長の状態となるように(携帯端末13Aの長手方向が垂直方向に沿うように)操縦席34に取り付けられていれば、
図8に示す携帯端末表示画面53のように、表示画面の上側に
図7と同様の障害物表示画面51を表示し、表示画面の下側には、例えば、撮像部14で撮像された撮像部表示画面52を表示してもよい。
図8に示す例では、撮像部表示画面52には、後方撮像部14Aで撮像した後方撮像画像52aが表示されている。この撮像部表示画面52は、例えば、パイロット20の操作により、
図8に示す後方撮像画像52aから下方撮像部14Bで撮像した下方撮像画像に切り替え可能となっていてもよい。
【0098】
データ処理部11は、撮像部14から取得される撮像データに基づいて撮像画像表示データを生成して表示部13に出力してもよいし、撮像データの種類によっては、当該撮像データを実質的に処理することなく表示部13に出力してもよい。表示部13は、撮像データ(または撮像画像表示データ)に基づく撮像画像と障害物状況表示画像とを、同一画面上で並行表示可能とすればよい。それゆえ、携帯端末表示画面53の構成は、
図8に示すような上下で2分割される構成に限定されない。
【0099】
なお、
図8に示すように、例えば、撮像部表示画面52の左上側には、撮像方向模式表示48が表示されてもよい。撮像方向模式表示48は、例えば、小さな円形表示の中に、機体模式表示41と同様に機体31を模した画像を表示し、さらに、斜線で示すように撮像方向を示す表示を重ねて表示する構成を挙げることができる。
図8に示す例では、撮像部表示画面52に表示される画像が後方撮像画像52aであるので、表示撮像方向模式表示48は、機体31の後方を撮像していることを表示している。
【0100】
本実施の形態では、支援システム10Aは、後方撮像部14Aおよび下方撮像部14B等の複数の撮像部14を備えている。この場合、前記の通り、携帯端末表示画面53の下側の撮像部表示画面52では、それぞれの撮像部14からの撮像画像を切り換えることができる。そのため現在表示されている撮像画像が、いずれの撮像部14からのものであるのかを明確にするために、撮像画像の一部に撮像方向模式表示48を表示してもよい。また、撮像方向模式表示48ではなく、単に撮像方向もしくは撮像部14の種類を表記する文字表示であってもよい(
図8に示す例では「下方撮像部」等の文字を表示すればよい)。
【0101】
あるいは、HMD13Bの表示画面においても、
図8に示すように、障害物状況表示画像と撮像画像とを並行表示してもよい。ただし、HMD13Bは、パイロット20の頭部に装着されてパイロット20の眼前に画面を表示する。そのため、携帯端末13Aの表示画面に比べて表示される情報量を限定してもよい。例えば、HMD13Bの表示画面としては、
図7に示すような障害物表示画面51のみを表示し、パイロット20の操作等により障害物表示画面51を撮像部14の撮像画像に切り替えてもよい。
【0102】
さらに、支援システム10Aは、撮像部表示画面52に表示されている撮像画像に対して、注釈表示を重ねて表示できるように構成されてもよい。具体的には、例えば、データ処理部11は、前記の通り、取得データのうち少なくとも検出データおよびアビオニクスデータから対象物模式表示データを生成して、表示部13に出力するが、対象物模式表示データの生成とともに、撮像画像に重ねて表示する注釈表示用データを生成して、対象物模式表示データとともに表示部13に出力してもよい。これにより、表示部13は、注釈表示用データに基づく注釈表示を撮像画像に重ねて表示することになる。
【0103】
注釈表示の具体的な種類は特に限定されず、撮像部表示画面52の目視者(パイロット20)にとって参考となったり注意喚起できたりするような表示であればよい。注釈表示としては、例えば、図形または記号であってもよいし、文字表示であってもよいし、撮像画像の一部の画像処理であってもよいし、これらの組合せであってもよい。前記の通り、撮像部表示画面52は、障害物表示画面51とともに並行表示することができるので、例えば、
図9に示すように、注釈表示の一例として、対象物模式表示42に対応させたマーキング画像54a,54bを挙げることができる。
【0104】
図9に示す撮像部表示画面52には、
図8と同様に、後方撮像画像52aが表示されている。そして、撮像部表示画面52の上側には障害物表示画面51が図示されており、第一段階表示42aにより、障害物となり得る対象物が機体31の後方斜め右に存在していることが表示されている。そこで、後方撮像画像52aに表示されている障害物となり得る対象物を強調するように、第一段階マーキング画像54aを表示すればよい。
図9に示す例では、第一段階マーキング画像54aは、対象物の最も接近する位置に、数字を矩形枠で囲んだ画像として表示されている。
【0105】
本実施の形態では、第一段階表示42aは、例えば赤色で表示され、
図9(並びに、
図3(B)〜
図5、
図7および
図8)では模式的に黒の塗りつぶしで図示している。そこで、第一段階表示42aに対応する第一段階マーキング画像54a(矩形枠および数字)も、赤色(図中では黒の塗りつぶし)で表示すればよい。また、矩形枠中の数字は、例えば、機体31からの距離を示すものであればよい。
図9に示す例では、機体31の後方斜め右に約30mの位置に対象物が存在することを表示している。
【0106】
同様に、
図9に示す撮像部表示画面52には、障害物表示画面51の第二段階表示42bに対応する第二段階マーキング画像54bが表示されている。本実施の形態では、第二段階表示42bは、例えば黄色で表示され、
図9等では模式的に格子線のハッチングで図示している。そこで、第二段階マーキング画像54b(矩形枠および数字)も、黄色(図中では格子線のハッチング)で表示すればよい。
図9に示す例では、機体31の後方斜め左に約60mの位置に対象物が存在することを表示している。
【0107】
[変形例等]
このように、本開示に係る支援システム10Aでは、データ処理部11は、少なくとも検出部12およびアビオニクスシステム21から取得されるデータを用いて対象物模式表示データを生成する。表示部13は、この対象物模式表示データに基づいて、障害物となり得る対象物の模式的な表示を含む障害物状況表示画像を表示する。生成される対象物模式表示データは、検出部12から得られる検出データだけでなくヘリコプタ30のアビオニクスデータを用いて生成されるので、より良好な精度の表示データとなっている。これにより、パイロット20は、ホバリング時に表示部13を一時的に確認するだけでも、航空機の周囲における障害物の有無または障害物の接近を状況が容易に把握することができる。それゆえ、ホバリング可能な航空機において、ホバリング作業時にパイロット20が障害物の存在を良好に把握することができる。
【0108】
また、本開示に係る支援システム10Aでは、データ処理部11は、少なくとも検出部12および/またはアビオニクスシステム21から取得したデータから、状況表示データおよび対象物模式表示データを生成し、表示部13は、これら表示データに基づいて、航空機の周囲の状況を示す円形状表示40と複数段階の対象物模式表示42とを表示する。特に、対象物模式表示42は、対象物の接近に伴って、対象物の存在する方向に対応する方向から機体31に向かって突出するように表示される。これにより、パイロット20は、ホバリング時に表示部13を一時的に確認するだけでも、航空機の周囲における障害物の有無または障害物の接近を状況が容易に把握することができる。それゆえ、ホバリング可能な航空機において、ホバリング作業時にパイロット20が障害物の存在を良好に把握することができる。
【0109】
ここで、本開示は、前述した構成の支援システム10Aに限定されない。前述した本実施の形態では、支援システム10Aは、
図2に模式的に示すように、ヘリコプタ30に後付けで搭載することができるものである。それゆえ、前記構成の支援システム10Aでは、検出部12、表示部13、撮像部14、およびデータ処理部11は、ヘリコプタ30(ホバリング可能な航空機)の機体31に取り付け可能な独立した機器として構成されていればよい。しかしながら、支援システム10Aのうち、検出部12、表示部13、撮像部14、およびデータ処理部11のいずれのみが独立した機器として構成され、他の構成はヘリコプタ30に予め搭載されるものであってもよい。
【0110】
例えば、表示部13は、携帯端末13AまたはHMD13Bではなく、操縦席34の操縦パネルに設けられる操縦用の表示システムであってもよい。また、データ処理部11は、独立した演算装置ではなく、ヘリコプタ30のアビオニクスシステム21に含まれる演算器であってもよい。この場合、データ処理部11を実現するプログラムをアビオニクスシステム21の演算器に読み込ませることで、データ処理部11をソフトウェアとして実現してもよい。
【0111】
また、
図1および
図2に示す例では、支援システム10Aは、撮像部14として、機体31の後部に設けられる後方撮像部14Aと、機体31の下部に設けられる下方撮像部14Bとを備えているが、撮像部14の位置または種類はこれに限定されない。例えば、本開示には、
図10に示すように、撮像部14として後方撮像部14Aのみを備える支援システム10Bが含まれてもよいし、
図11に示すように、撮像部14として、後方撮像部14A、下方撮像部14B、および側方撮像部14Cを備える支援システム10Cが含まれてもよい。
【0112】
ここで、
図1または
図11に示すように、ヘリコプタ30が複数の撮像部14を備えており、それぞれの撮像部14が機体31の周囲の異なる方向を撮像することが可能であれば、表示部13は、障害物となる対象物の撮像画像を自動的に表示するように構成されてもよい。具体的には、複数の撮像部14のうち、対象物を撮像しているものを、便宜上「特定撮像部」としたときに、表示部13は、障害物状況表示画像(円形状表示40および対象物模式表示42)とともに、特定撮像部で撮像された撮像データに基づく撮像画像を、同一画面上で並行表示すればよい。
【0113】
例えば、
図11に示す支援システム10Cであれば、複数の撮像部14として、前記の通り、後方撮像部14A、下方撮像部14B、および側方撮像部14Cを備えている。
図11のブロック図では、側方撮像部14Cのブロックは一つのみ図示しているが、側方撮像部14Cとして、機体31の右側を撮像するもの(右側方撮像部)と機体31の左側を撮像するもの(左側方撮像部)との2台を備えていれば、支援システム10Cは合計4台の撮像部14を備えていることになる。
【0114】
そして、例えば、左側方撮像部が機体31の左側方を撮像しているときに、機体31の後方斜め右に障害物となり得る対象物の接近が発生したとする。このとき、当初は、
図12における左側に示すように、携帯端末表示画面53の上側に表示される障害物表示画面51には、
図7または
図8(あるいは
図9)と同様の表示がなされるが、携帯端末表示画面53の下側に表示される撮像部表示画面52には、左側方撮像部が撮像した側方撮像画像52bが表示される。撮像部表示画面52の左上には、
図8(あるいは
図9)と同様に、撮像方向模式表示48が表示されているが、その撮像方向は機体31の左側となっている。
【0115】
データ処理部11は、機体31の斜め右に対象物が接近していることを表示するための対象物模式表示データを生成する。そこで、例えばデータ処理部11は、この対象物模式表示データの生成に伴って、複数の撮像部14の中から、対象物を撮像している(可能性がある)後方撮像部14Aを選択し、左側方撮像部の撮像データから後方撮像部14Aの撮像データに表示を切り換えるための指令(撮像データ切換指令)を生成し、表示部13(携帯端末13A)に出力すればよい。
【0116】
携帯端末13Aに表示される携帯端末表示画面53では、前記の通り、当初は、下側の撮像部表示画面52において側方撮像画像52bが表示されている(
図12における左側参照)。携帯端末13Aがデータ処理部11から撮像データ切換指令が出力されれば、
図12における右側に示すように、下側の撮像部表示画面52においては、側方撮像画像52bから後方撮像画像52a(
図8または
図9と同じ)に表示が切り換えられる。
【0117】
なお、表示部13は、障害物状況表示画像とともに特定撮像部で撮像された撮像データに基づく撮像画像を、同一画面上で並行表示するように構成されていればよい。それゆえ、本開示においては、撮像部表示画面52で表示される撮像画像が切り換えられる構成に限定されない。例えば、携帯端末表示画面53には、当初は撮像部表示画面52が表示されておらず、障害物表示画面51のみが表示され(
図7参照)、その後、障害物となり得る対象物が接近して、障害物表示画面51において第一段階表示42aが表示されれば、障害物表示画面51の下側に撮像部表示画面52を表示するようにしてもよい。
【0118】
また、本実施の形態では、支援システム10Aは、検出部12を1つのみ備えているが、複数の検出部12を備えていてもよい。例えば、
図10に示す支援システム10Bに示すように、検出部12とは別に第二検出部16を備えていてもよい。この第二検出部16は、検出部12と同じ種類のセンサ(例えばLIDAR)であってもよいが、他の種類のセンサ(例えばレーダ等)であってもよい。また、検出部12および第二検出部16等のような複数の検出部12は、種類が異なる場合には、同様の位置に設けられてもよいが、互いに異なる位置に設けられてもよい。例えば、検出部12が前記の通りテール部33の上面に設けられていれば(
図2参照)、第二検出部16は図示しないが胴体部32に設けられてもよい。
【0119】
また、本実施の形態では、前述したように、データ処理部11は、取得データから表示データとともに警告データ生成することができ、この警告データに基づいて、ヘリコプタ30に搭載される報知装置24が動作することができる。この報知装置24としては、例えば、警報灯、音声警報装置、操縦用の表示システムを例示したが、これらに限定されない。例えば、報知装置24としては、操縦桿に設けられる振動装置を挙げることができる。
【0120】
対象物が接近したことが検出部12により検出され、データ処理部11が表示データとともに警告データを生成してアビオニクスシステム21に出力すれば、報知装置24である振動装置が動作して操縦桿を振動させる。これによりパイロット20は、表示部13の警告表示、警報灯の発光報知、音声警報装置の音声報知に加えて、操縦桿の振動によっても対象物の接近を把握することができる。また、音声警報装置は、単に警報音または警報メッセージ音声を報知するだけでなく、立体音響(3D音場)により、対象物の接近方向から警報音を発する構成となっていてもよい。
【0121】
また、本実施の形態では、データ処理部11は、検出部12から取得される検出データおよびアビオニクスシステム21から取得されるアビオニクスデータを用いて、対象物模式表示データを生成しているが、対象物模式表示データの生成はこれに限定されず、検出データおよびアビオニクスデータを少なくとも用いて生成されればよい。例えば、データ処理部11は、検出データおよびアビオニクスデータに加えて、撮像部14から得られた撮像データを用いて対象物模式表示データを生成してもよいし、検出データ、アビオニクスデータおよび撮像データ以外のデータを取得して、対象物模式表示データの生成に用いてもよい。
【0122】
また、本実施の形態では、本開示に係る支援システム10A〜10Cを備える航空機としてヘリコプタ30を例示しているが、航空機はこれに限定されず、ホバリング可能なものであればよい。また、ヘリコプタ30の具体的構成の一例として、
図2に模式的に示すものを挙げているが、もちろんヘリコプタ30の具体的構成も
図2に示す構成に限定されず、公知の種々の構成を有するヘリコプタ30であればよい。
【0123】
なお、本発明は前記実施の形態の記載に限定されるものではなく、特許請求の範囲に示した範囲内で種々の変更が可能であり、異なる実施の形態や複数の変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。