特許 7367922 操縦支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-16

(45)【発行日】2023-10-24

(54)【発明の名称】操縦支援システム

(51)【国際特許分類】

   B64D 45/00 20060101AFI20231017BHJP

   G01C 21/26 20060101ALI20231017BHJP

   B64D 47/08 20060101ALI20231017BHJP

【ＦＩ】

B64D45/00 A

G01C21/26 B

B64D47/08

【請求項の数】 5

(21)【出願番号】P 2019151023

(22)【出願日】2019-08-21

(65)【公開番号】P2021030806

(43)【公開日】2021-03-01

【審査請求日】2022-02-04

(73)【特許権者】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(73)【特許権者】

【識別番号】503361400

【氏名又は名称】国立研究開発法人宇宙航空研究開発機構

(74)【代理人】

【識別番号】110001069

【氏名又は名称】弁理士法人京都国際特許事務所

(72)【発明者】

【氏名】松原 行信

(72)【発明者】

【氏名】小村 康次

(72)【発明者】

【氏名】▲高▼山 修

(72)【発明者】

【氏名】津田 宏果

(72)【発明者】

【氏名】舩引 浩平

【審査官】林 政道

(56)【参考文献】

【文献】特開２００１－３４４５９７（ＪＰ，Ａ）

【文献】特開２００１－０３９３９８（ＪＰ，Ａ）

【文献】国際公開第２０１６／１５２５７２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６４Ｄ ４５／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｂ６４Ｄ ４７／０８

(57)【特許請求の範囲】

【請求項1】

移動体中の利用者が視認している視野範囲を特定する視野範囲特定部と、
前記移動体から見える外界の実画像を取得する実画像取得部と、
前記移動体の現在位置付近における３次元地図情報に基づいて、前記移動体から見えると想定される外界の仮想画像を作成する３次元地図画像作成部と、
前記実画像と前記仮想画像とにおいて少なくとも前記視野範囲に対応する部分を、前記実画像と前記仮想画像に含まれる共通の特徴部位が対応する位置にくるようにマッチングさせた状態で、そのマッチング後の画像を前記利用者の視界に重畳して表示する表示処理部と、
を備える操縦支援システム。

【請求項2】

前記視野範囲特定部は、前記利用者が頭部に装着する装着物又は該利用者が居る移動体内空間に設けられ、該利用者の頭部の静的な及び／又は動的な状態を検知する状態検知部を含み、該状態検知部により得られた情報に基づいて前記利用者の視野範囲を特定する、請求項１に記載の操縦支援システム。

【請求項3】

前記視野範囲特定部は、利用者の視線を計測する視線計測部を含み、該視線計測部により得られた情報に基づいて前記利用者の視野範囲を特定する、請求項１に記載の操縦支援システム。

【請求項4】

前記視野範囲特定部は、前記利用者が装着している表示装置の表示可能範囲に基づいて該利用者の視野範囲を決定する、請求項１～３のいずれか１項に記載の操縦支援システム。

【請求項5】

前記利用者が頭部に装着する装着物に設けられた撮像部を前記実画像取得部を構成する構成部品として使用し、該撮像部による画像情報をマッチング処理に優先的に使用して処理の高速化を実現する、請求項１～４のいずれか１項に記載の操縦支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、航空機、車両、船舶を含む移動体の操縦を支援する操縦支援システムに関する。

【背景技術】

【0002】

ヘリコプタや飛行機などの航空機では、夜間や天候等により視程が低下して操縦者が肉眼で機外の状況を視認するのが困難である場合に、操縦を支援するためのシステムを用いた飛行が行われる。

【0003】

こうした操縦支援システムとしては、赤外線カメラ等によって機外を撮影した画像を、ヘッドアップディスプレイ（Head Up Display：ＨＵＤ）やヘッド（又はヘルメット）マウントディスプレイ（Head Mount Display, Helmet Mount Display：ＨＭＤ）等の表示装置に表示するものがある（特許文献１など参照）。また、こうした撮影画像に代えて、ＧＰＳや慣性航法システム（ＩＮＳ : Inertial Navigation System）よる自機位置情報と予め記憶してある地形データとを元に３次元地形画像を生成し、これを表示装置に表示することも行われている。操縦者が肉眼で外界の状況を視認することが難しい場合であっても、上述したように表示装置に表示される様々な情報を利用することで、操縦者は外界の状況を把握して操縦を行うことができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－２２４２１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

操縦者が外界の状況を肉眼で確認することが難しい場合、外界の状況把握には赤外線カメラ等による画像が用いられる。しかしながら、外界の状況によっては、赤外線カメラによる画像であっても、周囲の建築物や山などの障害物が不鮮明で認識しにくい、或いは、それらの一部分しか見えないといった場合がある。

【0006】

例えば、赤外線カメラによる画像を見ながら操縦している最中に天候が急変し、視界がより一層不良である状況になると、一時的に外界の状況を把握できなくなるため、飛行の安全性が低下する。そのため、操縦者はできるだけ早く、そのエリアを離脱・回避する行動をとる必要がある。
なお、航空機に限らず、自動車等の車両を操縦（運転）する場合や、船舶を操縦する場合においても、同様の問題が生じることがある。

【0007】

本発明は上記課題を解決するために成されたものであり、その主たる目的は、夜間や低視程の状況下における操縦者による外界の状況認識能力を向上させ、それによって飛行や運行、走行等の安全性を向上させることができる操縦支援システムを提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決するために成された本発明の一態様に係る操縦支援システムは、
移動体中の利用者が視認している視野範囲を特定する視野範囲特定部と、
前記移動体から見える外界の実画像を取得する実画像取得部と、
前記移動体の現在位置付近における３次元地図情報に基づいて、前記移動体から見えると想定される外界の仮想画像を作成する３次元地図画像作成部と、
前記実画像と前記仮想画像とにおいて少なくとも前記視野範囲に対応する部分をマッチングさせた状態で、そのマッチング後の画像を前記利用者の視界に重畳して表示する表示処理部と、
を備えるものである。

【0009】

上記態様に係る操縦支援システムにおいて「移動体」は、航空機、船舶、車輌などを含む。また、「移動体中の利用者」は、移動体を操縦する操縦者のほか、操縦を補助する又は補佐する副操縦士等の操縦補助者、操縦への直接的な関与の有無に拘わらず移動体から外界の状況等を監視したり探索を行ったりする業務や作業を実施する搭乗者も含む。

【発明の効果】

【0010】

本発明の一態様に係る操縦支援システムにおいて実画像取得部は、移動体から見える或る程度の広い範囲の外界の実画像を取得する。但し、天候などの移動体外部の状況によっては、実画像の一部又は全部が不鮮明になる可能性がある。一方、３次元地図画像作成部は、その時点での移動体の現在位置付近における３次元地図情報に基づいて、移動体から見えると想定される外界の仮想画像を作成する。また、視野範囲特定部は、移動体中の利用者例えば操縦者が、視認している視野範囲を特定し、表示処理部は、実画像と仮想画像とにおいて少なくとも特定された視野範囲に対応する部分をマッチングさせた状態で、そのマッチング後の画像をその利用者の視界に重畳して表示する。

【0011】

したがって 本発明の一態様に係る操縦支援システムによれば、夜間や悪天候等による低視程の状況下であって、実際の外界の撮影画像の全体又はその一部が不鮮明である状況であっても、３次元地図情報を利用して利用者が見ている視野範囲における撮影画像の全部又は一部を補って、視認性の高い画像を表示画面上に表示することができる。それにより、利用者による外界の状況認識能力を向上させることができ、利用者による移動体の飛行や走行、運行の安全性を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態である操縦支援システムの概略ブロック構成図。

【図2】本実施形態である操縦支援システムにおける制御・処理部の詳細なブロック構成図。

【図3】本実施形態の操縦支援システムにおいて主操縦士用の表示画像を作成する際の処理を説明するための模式図。

【図4】本実施形態の操縦支援システムにおいて副操縦士用の表示画像を作成する際の処理を説明するための模式図。

【図5】本実施形態の操縦支援システムにおける、３次元地図情報による仮想画像と実画像とのマッチング処理を説明するための模式図。

【発明を実施するための形態】

【0013】

本発明に係る操縦支援システムの一実施形態について、添付図面を参照して説明する。この実施形態の操縦支援システムは、ヘリコプタに搭乗している主操縦士及び副操縦士が該ヘリコプタを操縦する際の操縦を支援するものである。即ち、ここでは「移動体」はヘリコプタ、「移動体中の利用者」は主操縦士及び副操縦士である。

【0014】

［本実施形態の操縦支援システムの全体構成］
図１は、本実施形態の操縦支援システムの概略ブロック構成図である。
この操縦支援システムは、制御・処理部１と、二つの頭部装着型表示装置２Ａ、２Ｂと、センサポッド３と、飛行情報収集部４と、ＧＮＳＳ／ＩＮＳ装置５と、を含む。また、操縦支援システムは、本システムには含まれない外部のデジタル地図データベース６に接続可能であるか、或いは、該デジタル地図データベース６に収録されている地図データの一部が格納された記憶装置を含む。前者の場合、本システムは、外部のデジタル地図データベース６にアクセスして必要なデータのみを受信する送受信部を含む。

【0015】

センサポッド３は、操縦対象であるヘリコプタ１００の機外（通常は機体下方）に設けられている。また、頭部装着型表示装置２Ａは主操縦士の頭部に、頭部装着型表示装置２Ｂは副操縦士の頭部に、それぞれ装着されている。この例では、頭部装着型表示装置の数は２であるが、その数はこれに限らず、１又は３以上であってもよい。

【0016】

［センサポットの詳細構成］
センサポッド３は、マルチセンサ部３０とセンサポッド制御部３５とを含む。マルチセンサ部３０は、赤外線カメラ３１、可視カメラ３２、測距センサ３３、及び照明部３４を含む。

【0017】

赤外線カメラ３１は外界の赤外画像を取得するものであり、近赤外、中赤外、又は遠赤外のいずれか、又はそれら複数の異なる波長帯を検出可能なセンサを含む構成とすることができる。可視カメラ３２は、低照度下においても高い感度で以て画像を取得可能なビデオカメラである。測距センサ３３はＬｉＤＡＲ（Light Detection And Ranging）又はミリ波レーダ等による測距装置であり、周囲の地形、障害物等が位置する方向及び距離を求め、それに基づいて距離画像を作成するものである。これらはいずれも、ヘリコプタ１００から見た外界の画像を撮影するものであり、それぞれが本発明の上記態様における「実画像取得部」の一例である。

【0018】

照明部３４は、照明が必要とされる低視程時等において、可視光又は赤外光を機外の対象物に照射し、赤外線カメラ３１及び可視カメラ３２による撮像条件を向上させ、より視認性の高い画像の取得を可能とするものである。なお、照明部３４は、レーザレンジファインダ用途等を兼ねるものでもよい。

【0019】

センサポッド制御部３５は、ヘリコプタ１００の機体の振動の影響を低減するスタビライザ機能を有しており、制御・処理部１からの制御信号に応じて、センサポッド３のアジマス（ＡＺ）方向及びエレベーション（ＥＬ）方向の姿勢を調整するものである。本実施形態の操縦支援システムでは、制御・処理部１からの制御信号を受けたセンサポッド制御部３５の制御の下でセンサポッド３は、主操縦士が見ていると推測される方向に指向するように動作する頭部方向追従モード、指定された特定の方向を指向するように動作する特定方向固定モード、及び、所定の範囲に亘りその指向する方向が繰り返し変化するように動作するスキャンモード、のいずれかのモードで使用される。但し、後述する特徴的な処理動作の際には、センサポッド３のモードは頭部方向追従モードとなる。

【0020】

なお、マルチセンサ部３０に含まれるカメラ及びセンサは上記のものに限らず、一部のカメラ及びセンサを削除したり別の種類のカメラ及びセンサを付加したりしてもよい。また、同じ種類のカメラ及びセンサを複数搭載することにより、センサポッド３の指向方向が一定であっても広い範囲を一度に撮影することが可能である構成としてもよい。

【0021】

［頭部装着型表示装置の詳細構成］
頭部装着型表示装置２Ａ、２Ｂは例えば、主操縦士及び副操縦士が頭部に装着するヘルメットと一体化された装置であり、コネクタ９を介して制御・処理部１と電気的に接続されている。頭部装着型表示装置２Ａ、２Ｂは、頭部角度／位置／角速度及び視線方向検出部２０と、高感度センサ部２１と、表示部２２と、画像選択／合成部２３と、バッテリ２４と、を含む。

【0022】

頭部装着型表示装置２Ａの頭部角度／位置／角速度及び視線方向検出部２０は例えば、周囲を撮影する複数のカメラと、６軸ジャイロセンサと、その複数のカメラ及びジャイロセンサで得られた信号を処理する信号処理部と、を含む。複数のカメラはそれぞれ主操縦士の周囲の風景又は機体（操縦室）内の所定のマーカー等を撮影し、信号処理部は撮影された画像に基づいて、主操縦士の頭部の位置及び傾き角度を計算する。

【0023】

頭部の位置とは例えば、所定の機体内３次元基準座標ＸＹＺ上の位置情報である。また、頭部の傾き角度とは例えば、機体内３次元基準座標ＸＹＺ各軸と頭部の中心軸線との成す角度である。一方、６軸ジャイロセンサは、主操縦士の頭部の移動に伴う該頭部の角速度を検出する。そして、頭部角度／位置／角速度及び視線方向検出部２０は、上述したようにして得られた主操縦士の頭部の位置、角度、及び角速度の情報を制御・処理部１に送信する。これら情報は、主操縦士がそのときに見ている視野範囲を特定するために使用される。したがって、本実施形態において、頭部角度／位置／角速度及び視線方向検出部２０は、本発明の上記態様における「視野範囲特定部」を構成する要素である。

【0024】

頭部装着型表示装置２Ａの高感度センサ部２１は、主操縦士が顔を向けている方向を中心として所定の範囲の実際の画像を低照度状態で取得可能なカメラである。したがって、高感度センサ部２１も本発明の上記態様における「実画像取得部」の一例である。画像選択／合成部２３は、制御・処理部１から送られて来た表示画像と高感度センサ部２１により得られる高感度センサ画像との一方を選択したり又は合成したりして表示部２２に入力する。

【0025】

頭部装着型表示装置２Ａの表示部２２は、例えば透過型液晶表示素子などの表示素子、主操縦士の眼前に配置されるバイザ（又はコンバイナ）、表示素子から前記バイザまでの間に配置された照射光学系と、を含む。画像選択／合成部２３から入力された画像は例えば透過型液晶表示素子に表示される。そして、表示素子から発した画像光は照射光学系を経て、バイザで反射され、平行な光として主操縦士の眼に到達する。バイザは主操縦士が顔を向けている方向の外界から到来する外光を透過させる。そのため、主操縦士の眼前には、概ね平行光であるその外光による背景画像とバイザでの反射光による表示画像とが重畳されて表示される。後述の説明から明らかであるが、本実施形態のシステムでは、上記画像選択／合成部２３及び表示部２２が制御・処理部１の一部とともに、本発明の上記態様における「表示処理部」を構成する要素である。

【0026】

副操縦士が使用する頭部装着型表示装置２Ｂも上述した頭部装着型表示装置２Ａと同じ構成要素を有する。これら頭部装着型表示装置２Ａ、２Ｂにはコネクタ９を介して制御・処理部１から駆動電力が供給されているが、例えば緊急事態の発生等で操縦士が機体から離れる際に、コネクタ９が離脱して頭部装着型表示装置２Ａ、２Ｂが制御・処理部１と分離された状態になった場合でも、内蔵されたバッテリ２４から供給される電力を利用して、高感度センサ部２１による高感度センサ画像を表示部２２に表示することが可能である。

【0027】

［制御・処理部の詳細構成］
図２は、本実施形態のシステムにおける制御・処理部１の詳細なブロック構成図である。
図２に示すように、制御・処理部１は、シンボル画像作成部１０、３Ｄ（３次元）地図画像作成部１１、画像マッチング部１２、視野範囲特定処理部１３、特徴部位抽出部１４、視認性指標算出部１５、視差補正部１６、スケーリング部１７、及び、表示画像作成処理部１８、を含む。表示画像作成処理部１８は、画像選択部１８０、画像補完部１８１、視野範囲画像抽出部１８２、画像重畳部１８３などの機能ブロックを含む。

【0028】

制御・処理部１には、飛行情報収集部４から飛行情報データが入力されるとともに、ＧＮＳＳ／ＩＮＳ装置５からＧＮＳＳ／ＩＮＳデータが入力される。飛行情報データは、操縦中である航空機（この例ではヘリコプタ１００）の飛行諸元を示すデータであり、例えば飛行速度、飛行高度、機体の姿勢（ピッチ角、バンク角）、方位、エンジントルク、燃料残量などを含むデータである。これらデータは航空機に一般に搭載されている様々な機器に基づいて得られる情報であり、航空機の種類等に応じてその情報の内容は異なる。また、ＧＮＳＳ／ＩＮＳデータは、高い精度で以て飛行位置をリアルタイムで示すデータである。

【0029】

また、制御・処理部１には、頭部装着型表示装置２Ａから頭部角度／位置／角速度及び視線方向データＡ及び高感度センサ画像データＡが入力され、頭部装着型表示装置２Ｂから頭部角度／位置／角速度及び視線方向データＢ及び高感度センサ画像データＢが入力される。さらにまた、制御・処理部１には、センサポッド３のマルチセンサ部３０から、赤外画像データ、可視画像データ、距離画像データが入力される。さらに、制御・処理部１には、デジタル地図データベース６又は事前に地図データが記録された記録装置からデジタル地図データが入力される。

【0030】

制御・処理部１は、上述したように入力される様々なデータを用いたデータ処理を実行することで、頭部装着型表示装置２Ａ、２Ｂにおいて表示に利用される表示画像Ａ、表示画像Ｂをそれぞれ作成して頭部装着型表示装置２Ａ、２Ｂに出力する。

【0031】

［制御・処理部における処理動作］
飛行時における制御・処理部１でのデータ処理動作を説明する。
シンボル画像作成部１０は、上記飛行情報データ、主操縦士の頭部角度／位置／角速度及び視線方向データＡ、及び副操縦士の頭部角度／位置／角速度及び視線方向データＢを用い、主操縦士用のシンボル画像Ａと、副操縦士用のシンボル画像Ｂとを作成する。シンボル画像は、例えば飛行速度などの数値や文字などのテキスト情報、図形、記号などが中心の画像であり、他の画像と重畳された状態でも高い視認性が確保されるように、標準的に例えば緑色で表示され、特に操縦者の注目を引く必要がある場合（緊急を要する場合等）には赤色などで表示される。

【0032】

飛行速度や飛行高度などの飛行諸元に関連する情報は、シンボル画像Ａとシンボル画像Ｂとで共通であるが、必ずしも得られる情報の全てを表示するとは限らず、表示する情報を主操縦士と副操縦士とで変えることも可能である。また、飛行諸元に関する情報ではなく、そのときに操縦士が見ている方角などの、主操縦士と副操縦士とで異なる項目の情報もシンボル画像に表示させるようにすることができる。そのため、主操縦士用のシンボル画像Ａと副操縦士用のシンボル画像Ｂとは、通常、異なるものである。

【0033】

視差補正部１６は、マルチセンサ部３０で得られた赤外画像、可視画像、及び距離画像を構成するデータを受け、それら各画像において、センサポッド３における赤外線カメラ３１、可視カメラ３２、及び測距センサ３３の取付位置と主操縦士及び副操縦士の視点位置（操縦室の位置）との差により生じる視差（画角）を補正する。また、スケーリング部１７は、上記各画像について、レンズやセンサのサイズ等による画角の相違を補正するためにスケーリング（拡大・縮小）処理を行う。視差補正及びスケーリング処理後の赤外画像及び可視画像は、表示画像作成処理部１８とともに特徴部位抽出部１４及び視認性指標算出部１５に入力される。また、視差補正及びスケーリング処理後の距離画像も、表示画像作成処理部１８に入力される。

【0034】

なお、高感度センサ画像データＡ、Ｂは主操縦士及び副操縦士がそれぞれ装着している頭部装着型表示装置２Ａ、２Ｂから得られる画像データであるため、センサポッド３で得られる画像データとは異なり画角の修正の必要がない。そのため、高感度センサ画像データＡ、Ｂは視差補正及びスケーリング処理を経ることなく、特徴部位抽出部１４や表示画像作成処理部１８に導入される。視差補正やスケーリング処理を実施した場合でも視差や画角を完全に補正することは難しい場合があるし、そうした処理のために画質が劣化する場合もある。こうしたことから、一般的には、これら処理を経ることがない、高感度センサ画像データＡ、Ｂを利用したほうが良好な実画像が得られ易い。

【0035】

特徴部位抽出部１４は、主操縦士、副操縦士それぞれの頭部装着型表示装置２Ａ、２Ｂから送られて来る高感度センサ画像データＡ、高感度センサ画像データＢ、並びに、視差補正及びスケーリング処理後の赤外画像データ、可視画像データ、距離画像データから、物体の輪郭や特徴部位を抽出する。特徴部位とは例えば、特徴的な地形、標識物、地表と河川、湖沼、海岸等との境界、或いは植生差異等による特徴的な境界、模様等が現れる場所などである。一方、視認性指標算出部１５は、上記画像毎に、例えば画像全体のコントラストなどの予め決められた、画像の視認性の程度を判断するための指標となる視認性指標値を計算する。この視認性指標値は画像単位に限らず、一枚の画像を複数の領域に区分した小領域毎に視認性指標値を求めるとともに、その複数の各小領域の視認性指標値を用いて一枚の画像全体の視認性指標値を算出してもよい。

【0036】

３Ｄ地図画像作成部１１は、ＧＮＳＳ／ＩＮＳデータ等によりその時点で航空機が飛行している位置や進行方向を把握し、その位置付近で進行方向の所定の範囲に亘るデジタル地図データをデジタル地図データベース６から収集して３Ｄ地図画像を作成する。上述した高感度センサ画像データＡ、Ｂや赤外画像データ、可視画像データに基づく画像は、ヘリコプタ１００から実際に見える外界の実画像である。これに対し、３Ｄ地図画像は、ヘリコプタ１００から見えると推定される外界の仮想的な画像である。

【0037】

ＧＮＳＳ／ＩＮＳデータの精度の限界や時間的な遅延等によって、或いは、そのヘリコプタ１００の機動性や飛行速度等のために、３Ｄ地図画像と外界の実画像との間では位置等のずれが生じる。そこで、画像マッチング部１２は、二つの高感度センサ画像、赤外画像、又は可視画像のいずれか一つ又は複数から得られた特徴部位の情報を用いて、その時点での外界の実画像と３Ｄ地図画像とをマッチングさせる。ここでいうマッチングとは、外界の或る対象物が画像上で対応する位置に来るように３Ｄ地図画像全体を移動させたり、回転させたり、或いは、その全体又は一部を拡大若しくは縮小させたりする処理である。

【0038】

一方、視野範囲特定処理部１３は、頭部角度／位置／角速度及び視線方向データＡ、頭部角度／位置／角速度及び視線方向データＢと、当該表示装置の表示部における表示可能範囲から、主操縦士及び副操縦士からそれぞれ見えている視野範囲を決定する。即ち、頭部角度／位置／角速度及び視線方向データＡから、主操縦士が顔を向けている方向や角度さらにはその時間的な変化の度合いが求まるから、それにより決定される視線の中心線を中心とした表示装置の表示可能範囲をそのときに主操縦士が見ている視野範囲と決定する。

【0039】

また、実際には、人間は顔を向けている方向の正面を見ているとは限らず、顔は正面を向きながら瞳を動かして視線を斜め方向に向けることができる。こうした視線の方向を正確に捉えることが可能な装置としてアイトラッカが知られている。頭部角度／位置／角速度及び視線方向検出部２０に代えて、又は頭部角度／位置／角速度及び視線方向検出部２０に加えてアイトラッカを用いることで、主操縦士が視線を向けている方向をより的確に検出し、主操縦士が見ている視野範囲をより精度良く決定することができる。副操縦士から見えている視野範囲も同様である。なお、アイトラッカはヘルメット又はバイザに組み込むことができる。

【0040】

表示画像作成処理部１８には、外界の実画像として、視差補正及びスケーリングされた赤外画像、可視画像、及び距離画像と、各操縦士の頭部装着型表示装置２Ａ、２Ｂで得られた高感度センサ画像Ａ、Ｂが入力される。また、実画像ではなく地図データに基づく仮想的な画像として、実画像とマッチングされた３Ｄ地図画像が入力される。さらに、上記シンボル画像Ａ、Ｂも入力される。なお、距離画像は一般に、当該ヘリコプタ１００からの距離に応じて機外の各物体（障害物等）を異なる色で以て表示したものであり、その方向は画像上の表示位置に対応している。測距センサ３３による測距データが点群データ、つまりは方向及び距離を示すデータである場合には、このデータを画像形態に変換して、つまりは画像化して使用すればよい。

【0041】

また表示画像作成処理部１８には、主操縦士及び副操縦士それぞれの視野範囲を示す情報が入力されている。視野範囲画像抽出部１８２は、実画像である赤外画像、可視画像、距離画像、及び高感度センサ画像Ａについて、主操縦士の視野範囲に含まれる画像のみを抽出する。また同様に、視野範囲画像抽出部１８２は、実画像である赤外画像、可視画像、距離画像、及び高感度センサ画像Ｂについて、副操縦士の視野範囲に含まれる画像のみを抽出する。また、視野範囲画像抽出部１８２は、実画像とマッチングされている３Ｄ地図画像についても、主操縦士の視野範囲に含まれる画像と副操縦士の視野範囲に含まれる画像とを抽出する。

【0042】

また表示画像作成処理部１８には、各実画像それぞれの視認性指標値がほぼリアルタイムで入力されている。例えば可視画像全体の視認性指標値が低い場合には、そのときの可視画像はその全体が不明瞭であることを示している。また、可視画像の中の一部の小領域に対する視認性指標値が低い場合には、その小領域のみの部分的な画像が不鮮明であることを示している。そこで、表示画像作成処理部１８において画像選択部１８０は、赤外画像、可視画像、距離画像、二つの高感度センサ画像Ａの全体の視認性指標値を比較し、その中で視認性指標値が最も高い画像の視認性指標値の値が所定値以上である場合には、該画像を選択する。

【0043】

また、可視画像の一部の領域の視認性指標値が低く、赤外画像、距離画像、又は高感度センサ画像Ａ、Ｂにおいて対応する領域の視認性指標値が高い場合、画像補完部１８１は可視画像のうちの視認性指標値が低い領域の画像を赤外画像、距離画像、又は高感度センサ画像Ａ、Ｂにおける画像で置き換える補完処理を行う。さらにまた、可視画像、赤外画像、距離画像、及び高感度センサ画像Ａの全てについて視認性指標値が所定値未満である場合、画像選択部１８０は、これら実画像に代えて３Ｄ地図画像Ａを選択する。また、可視画像、赤外画像、距離画像、及び高感度センサ画像Ａの全てについて一部の領域のみの視認性指標値が低い場合には、その領域についてのみ実画像に代えて３Ｄ地図画像Ａで補完してもよい。こうして主操縦士の視野範囲の画像として、いずれかの実画像、複数の異なる種類の実画像を繋ぎ合わせた画像、実画像と仮想的な画像とを繋ぎ合わせた画像、又は仮想的な画像（３Ｄ地図画像）が得られる。また副操縦士の視野範囲の画像についても同様である。

【0044】

画像重畳部１８３は、上述したように選択された又は補完されたあとの、主操縦士、副操縦士それぞれに対する画像に、シンボル画像Ａ、Ｂを重畳して表示画像Ａ、Ｂを作成する。なお、こうした画像を重畳するか否かは操縦者が選択できるようにしておくとよい。

【0045】

また、上述したように距離画像はヘリコプタ１００からの距離に応じて機外の各物体（障害物等）を異なる色で以て表示したものであるため、距離画像上の色を見ると各物体までの距離を把握し易い。そこで、距離画像は実画像として扱わず、画像重畳部１８３は、シンボル画像Ａ、Ｂとともに距離画像を、上述したように選択された又は補完されたあとの画像に重畳することにより表示画像Ａ、Ｂを生成してもよい。

【0046】

制御・処理部１では上述したようなデータ処理により、主操縦士用の頭部装着型表示装置２Ａの表示部２２に表示される表示画像Ａと、副操縦士用の頭部装着型表示装置２Ｂの表示部２２に表示される表示画像Ｂとが作成される。こうして作成された表示画像が頭部装着型表示装置２Ａ、２Ｂにそれぞれ送られて表示部２２により表示される。したがって、仮に外界が可視画像、赤外画像で殆ど見えない状況であっても、主操縦士及び副操縦士の眼前には、３Ｄ地図画像が外界から到来する外光による画像に重畳して表示される。

【0047】

［表示画像作成処理の具体例］
図３は、主操縦士用の表示画像の作成処理の信号の流れの一例を示す図である。これは、主操縦士の頭部の方向にセンサポッド３が追従している場合である。
上述したように、３Ｄ地図画像作成部１１はＧＮＳＳ／ＩＮＳデータによる航空機の位置情報等に基づいて３Ｄ地図画像を作成するが、ＧＮＳＳ／ＩＮＳデータの精度や遅延、機体の機動、速度等によって、生成された３Ｄ地図画像と実外界間とでずれが生じる可能性がある。そこで、画像マッチング部１２は、高感度センサ画像Ａ、赤外画像、可視画像、又は距離画像のいずれか一つ又は複数から得られた特徴情報を用い、その時点での外界の実画像とマッチングしている３Ｄ地図画像を生成する。外界の実画像と３Ｄ地図画像とのマッチングの具体例については後述する。

【0048】

表示画像作成処理部１８は上述したように各画像から主操縦士の視野範囲に対応する領域の画像を抽出する。そして視認性指標値を参照し、可視画像、赤外画像、距離画像、高感度センサ画像Ａの中で視認性指標値が最も高い画像を選択するとともに、その画像の中の不明瞭部分を３Ｄ地図画像Ａで補完する。或いは、画像全体の視認性が低い場合には、該画像に代えて３Ｄ地図画像Ａを選択する。その補完後の又は選択後の画像に、シンボル画像Ａを重畳して表示画像Ａとして出力する。

【0049】

図４は、副操縦士用の表示画像の生成処理の信号の流れの一例を示す図である。
この場合、図３に示したように実画像に対してマッチングされた３Ｄ地図画像が得られているので、表示画像作成処理部１８は、可視画像、赤外画像、距離画像、高感度センサ画像Ｂの中で視認性指標値が最も高い画像を選択するとともに、その画像の中の不明瞭部分を副操縦士の視野範囲に対応する３Ｄ地図画像Ｂで補完する。或いは、画像全体の視認性が低い場合には、該画像に代えて３Ｄ地図画像Ｂを選択する。その補完後の又は選択後の画像にシンボル画像Ｂを重畳して表示画像Ｂとして出力する。

【0050】

［実外界と３Ｄ地図画像とのマッチングの具体例］
図５は、３Ｄ地図画像と実外界とのマッチング方法の一具体例を示す概念図である。
いま、図５（ａ）に示すように、センサポッド３のマルチセンサ部３０に含まれるカメラで所定の範囲の実画像が取得されているものとする。この画像から抽出した物体の輪郭や特徴部位等を利用して、３Ｄ地図画像と実外界とのマッチングを行う。ここでは、実画像に現れている山の稜線の形状（図中に太線で示している部分）などの複数の特徴部位を抽出することができる。

【0051】

３Ｄ地図画像作成部１１はデジタル地図データに基づいて、広い範囲の周囲外界（以下、３Ｄ地図画像空間という）の地図画像を生成する。画像マッチング部１２は、３Ｄ地図画像空間全体の中で、実画像から得られた特徴部位に合致する部分を探索する。そして、合致する部分が見つかったならば、それに合わせて３Ｄ地図画像空間の地図画像を拡大・縮小するとともに位置を合わせる（図５（ｂ））。そうして、そのマッチング後の３Ｄ地図画像空間の地図画像から、図５（ｃ）に示すように、主操縦士及び副操縦士それぞれの視野範囲に対応した各画像（部分３Ｄ地図画像）を切り出して表示画像Ａ、Ｂに代替したり補完したりするために使用する。このように、広範囲の３Ｄ地図画像空間の地図画像を作成しておくことで、主操縦士や副操縦士が急に視野範囲を変えた場合でも、速やかにその変化に追従した部分３Ｄ地図画像を取得することができる。

【0052】

以上のように本実施形態の操縦支援システムでは、主操縦士及び副操縦士がそれぞれ装着している頭部装着型表示装置２Ａ、２Ｂのバイザを介して、カメラにより撮影された赤外画像や可視画像を外界による背景画像に重畳して表示することができ、その赤外画像や可視画像の全体又は一部の視認性が低下した場合には、それに代えて又は一部を補完して仮想的な３Ｄ地図画像を表示することができる。そして、そうした背景画像に重畳される表示画像を、主操縦士や副操縦士の頭部の動きに迅速に追従させることができる。その結果、肉眼による外界の視認性が低下する場合であっても、操縦者による外界の状況認識能力を向上させることができ、ヘリコプタ１００の飛行の安全性を向上させることができる。

【0053】

もちろん、こうした操縦士や副操縦士に限らず、ヘリコプタ１００等の移動体に搭乗している人が外界の状況を確認する必要がある状況はしばしばある。したがって、こうしたシステムを利用可能あるのは実際に操縦を行う者やそれを補佐・補助する者に限らない。

【0054】

また、上記実施形態のシステムでは、実画像と仮想画像（３Ｄ地図画像）とをマッチングさせたあとに主操縦士及び副操縦士それぞれの視野範囲の画像を抽出していたが、逆に、先に実画像と仮想画像（３Ｄ地図画像）とで視野範囲の画像を抽出したあとに、それら抽出された画像のマッチングを行うようにしてもよい。

【0055】

さらにまた、上記実施形態は本発明の一例にすぎず、上記記載の変形例にとどまらず、本発明の趣旨の範囲で適宜、変更や修正、追加を行っても本願特許請求の範囲に包含されることは当然である。

【0056】

［種々の態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。

【0057】

（第１項）本発明の一態様に係る操縦支援システムは、
移動体中の利用者が視認している視野範囲を特定する視野範囲特定部と、
前記移動体から見える外界の実画像を取得する実画像取得部と、
前記移動体の現在位置付近における３次元地図情報に基づいて、前記移動体から見えると想定される外界の仮想画像を作成する３次元地図画像作成部と、
前記実画像と前記仮想画像とにおいて少なくとも前記視野範囲に対応する部分をマッチングさせた状態で、そのマッチング後の画像を前記利用者の視界に重畳して表示する表示処理部と、
を備えるものである。

【0058】

第１項に記載の操縦支援システムによれば、夜間や悪天候等による低視程の状況下であって、実際の外界の撮影画像の全体又はその一部が不鮮明である状況であっても、３次元地図情報を利用して利用者が見ている視野範囲における撮影画像の全部又は一部を補って、視認性の高い画像を利用者の眼前に表示することができる。それにより、利用者による外界の状況認識能力を向上させることができ、利用者による移動体の飛行や走行、運行の安全性を向上させることができる。

【0059】

（第２項）第１項に記載の操縦支援システムにおいて、前記視野範囲特定部は、前記利用者が頭部に装着する装着物又は該利用者が居る移動体内空間に設けられ、該利用者の頭部の静的な及び／又は動的な状態を検知する状態検知部を含み、該状態検知部により得られた情報に基づいて前記利用者の視野範囲を特定するものとすることができる。

【0060】

ここで、利用者が頭部に装着する装着物とは典型的にはヘルメット又はゴーグルなどである。また、利用者が居る移動体内空間とは典型的には操縦室（コックピット）である。
第２項に記載の操縦支援システムによれば、利用者の頭部の位置や傾き角度、方向、角速度などを正確に且つ遅滞なく把握することができ、その頭部の動きに応じた適切な画像を利用者の眼前に表示することができる。

【0061】

（第３項）第１項又は第２項に記載の操縦支援システムにおいて、前記視野範囲特定部は、利用者の視線を計測する視線計測部を含み、該視線計測部により得られた情報に基づいて前記利用者の視野範囲を特定するものとすることができる。

【0062】

第３項に記載の操縦支援システムによれば、利用者の実際の視線の方向を計測しているので、例えば顔が正面を向きながら視線を斜め左方又は右方に向けているような場合でも、利用者に実際に見えている外界の実画像とそれにマッチングした仮想画像とを利用者に見せることができる。

【0063】

（第４項）第１項～第３項のいずれか一つに記載の操縦支援システムにおいて、前記視野範囲特定部は、前記利用者が装着している表示装置の表示可能範囲に基づいて該利用者の視野範囲を決定するものとすることができる。

【0064】

第４項に記載の操縦支援システムによれば、バイザ等で制約を受ける表示装置の表示可能範囲に応じた適切な視野範囲の画像を取得することができる。

【0065】

（第５項）第１項～第４項のいずれか一つに記載の操縦支援システムにおいて、前記利用者が頭部に装着する装着物に設けられた撮像部を前記実画像取得部を構成する構成部品として使用し、該撮像部による画像情報をマッチング処理に優先的に使用して処理の高速化を実現するものとすることができる。

【0066】

利用者の頭部に装着する装着物（例えば上記表示装置）に設けられた撮像部は、その利用者の頭部方向と一致しており、他のセンサとは異なり画角修正等が不要である。したがって、第５項に記載の操縦支援システムによれば、この撮像部による画像情報をマッチング処理に使用することで、外界との高精度な重畳性の確保と共に処理の高速化を図ることができる。

【符号の説明】

【0067】

１…制御・処理部
１０…シンボル画像作成部
１１…３Ｄ地図画像作成部
１２…画像マッチング部
１３…視野範囲特定処理部
１４…特徴部位抽出部
１５…視認性指標算出部
１６…視差補正部
１７…スケーリング部
１８…表示画像作成処理部
１８０…画像選択部
１８１…画像補完部
１８２…視野範囲画像抽出部
１８３…画像重畳部
２Ａ、２Ｂ…頭部装着型表示装置
２０…頭部角度／位置／角速度及び視線方向検出部
２１…高感度センサ部
２２…表示部
２３…画像選択／合成部
２４…バッテリ
３…センサポッド
３０…マルチセンサ部
３１…赤外線カメラ
３２…可視カメラ
３３…測距センサ
３４…照明部
３５…センサポッド制御部
４…飛行情報収集部
５…ＧＮＳＳ／ＩＮＳ装置
６…デジタル地図データベース
９…コネクタ
１００…ヘリコプタ

【図1】

【図2】

【図3】

【図4】

【図5】