特開 2024-71414 移動体用操縦支援方法及び移動体用操縦支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071414

(43)【公開日】2024-05-24

(54)【発明の名称】移動体用操縦支援方法及び移動体用操縦支援システム

(51)【国際特許分類】

   B64D 45/00 20060101AFI20240517BHJP

   B64D 47/08 20060101ALI20240517BHJP

   H04N 7/18 20060101ALI20240517BHJP

【ＦＩ】

B64D45/00 A

B64D47/08

H04N7/18 U

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2024037882

(22)【出願日】2024-03-12

(62)【分割の表示】P 2019222374の分割

【原出願日】2019-12-09

(71)【出願人】

【識別番号】000001993

【氏名又は名称】株式会社島津製作所

(71)【出願人】

【識別番号】503361400

【氏名又は名称】国立研究開発法人宇宙航空研究開発機構

(74)【代理人】

【識別番号】110001069

【氏名又は名称】弁理士法人京都国際特許事務所

(72)【発明者】

【氏名】多和田 一穂

(72)【発明者】

【氏名】舩引 浩平

(72)【発明者】

【氏名】大賀 宏司

(72)【発明者】

【氏名】杉原 有理花

(57)【要約】

【課題】操縦士が視線を大きく動かすことなく、操縦に必要な飛行諸元等の参照情報を確認できるようにする。
【解決手段】本発明の一態様による操縦支援システムは、移動体を操縦する使用者の眼前に画像情報を表示する表示部（６）と、前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部（４０，５３）と、移動中である前記移動体の操縦に関連する参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成部（５２）と、前記使用者の状況、前記移動体の状況、又は該移動体の周囲の状況を検知する状況検知部（１，２，７）と、前記外界画像に前記シンボル情報を重畳して前記表示部に表示する画像情報を形成するものであって、前記状況検知部による検知結果に基づいて前記表示部の画面上又は表示可能範囲内で前記使用者が視線を向ける部位を推定し、該推定された部位に前記画像情報若しくは前記シンボル情報のいずれか一方、又はその両方を表示するように前記画像情報を形成する表示画像形成部（５４）と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

移動体を操縦する使用者の眼前に画像情報を表示する表示部に、操縦のための情報を表示する移動体用操縦支援方法であって、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成ステップと、
移動中である前記移動体の操縦に関連する参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成ステップと、
前記使用者の状況、前記移動体の状況、又は該移動体の周囲の状況を検知する状況検知ステップと、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する際に、前記状況検知ステップの検知結果に基づいて前記表示部の画面上又は表示可能範囲内で前記使用者が視線を向ける部位を推定し、該推定された部位に前記画像情報若しくは前記シンボル情報のいずれか一方、又はその両方を表示する表示実行ステップと、
を備える移動体用操縦支援方法。

【請求項2】

移動体を操縦する使用者の眼前に画像情報を表示する表示部と、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
移動中である前記移動体の操縦に関連する参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成部と、
前記使用者の状況、前記移動体の状況、又は該移動体の周囲の状況を検知する状況検知部と、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する画像情報を形成するものであって、前記状況検知部による検知結果に基づいて前記表示部の画面上又は表示可能範囲内で前記使用者が視線を向ける部位を推定し、該推定された部位に前記画像情報若しくは前記シンボル情報のいずれか一方、又はその両方を表示するように前記画像情報を形成する表示画像形成部と、
を備える移動体用操縦支援システム。

【請求項3】

前記状況検知部は、前記移動体が左又は右方向に旋回しているときに旋回率、又は旋回に伴う該移動体の傾きを検知するものであり、前記表示画像形成部は、該状況検知部により検知された旋回率又は移動体の傾きに応じて使用者が視線を向けると推定される部位を変更する、請求項２に記載の移動体用操縦支援システム。

【請求項4】

前記表示部は使用者が頭部に装着するヘッドマウントディスプレイ又はヘルメットマウンドディスプレイであり、前記表示画像形成部は、前記画像作成部に含まれる撮像部による撮影範囲を前記使用者の頭部の位置、角度、及び加速度に応じて変化させる制御部を含み、該制御部は、前記状況検知部により検知された旋回率又は移動体の傾きに応じて、前記撮像部による撮影範囲の変化を補正する、請求項３に記載の移動体用操縦支援システム。

【請求項5】

前記移動体は飛行体であり、
前記表示画像形成部が、さらに、前記表示部の画面上又は表示可能範囲内に表示される、前記飛行体から前方に所定距離離れた位置に対応する地上の地点に、前記シンボル情報を表示するように前記画像情報を形成する機能を備える、請求項２～４のいずれかに記載の移動体用操縦支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、航空機等の各種の移動体のための操縦支援方法及び操縦支援システムに関する。

【背景技術】

【0002】

ヘリコプタや飛行機などの多くの航空機では、操縦士が操縦を行うために、ヘッドアップディスプレイ（Head Up Display：ＨＵＤ）、ヘッド（又はヘルメット）マウントディスプレイ（Head Mount Display, Helmet Mount Display：ＨＭＤ）、ヘッドダウンディスプレイ（Head Down Display：ＨＤＤ）などの画像表示装置が利用されている。

【0003】

こうした航空機用の画像表示装置では、可視光カメラ、赤外線カメラ、暗視カメラなどのカメラ、撮像センサ、側距センサ等の各種のセンサによって得られた外界の画像に、飛行諸元等の各種の飛行情報を示すシンボルが重畳されて表示されるようになっている。例えば赤外線カメラ等により得られる外界の画像を画像表示装置に表示することによって、夜間であったり悪気象条件下であったりして操縦士の肉眼での視界が不良である場合であっても、操縦士による操縦を支援することができる。また、こうした画像表示装置は、災害時や事故発生時などの際に、異常である地点や、遭難者、遺留物などを探索する際にも威力を発揮する。

【0004】

従来、航空機用の画像表示装置として、カメラ等で撮影された外界画像に重ねて、自機の現在位置や自機の進行方向を示すシンボル（マーク）を表示するものが知られている（特許文献１、２等参照）。前者は、例えばＷ字状又はＶ字状のマークであり、自機の現時点での機首の向きを示すのに使用される。また、後者は、フライトパスベクタ（Flight Path Vector＝ＦＰＶ、フライトパスマーカやベロシティベクタなどとも呼ばれる）であり、航空機がそのまま飛行したときに所定時間経過後に到達する位置を模式的に示す記号である。

【0005】

通常、ＨＵＤやＨＭＤでは、操縦士が視線をあまり動かさずに、つまりは正面前方（顔を向けた方の前方）を注視した状態で操縦に必要な情報を取得できるように、ほぼ同じ高度を飛行しているときにＦＰＶは表示画面の中央付近に表示される。また、ＨＭＤでは、カメラやセンサにより得られた画像情報も表示可能範囲の中央付近に表示される。しかしながら、操縦士は常に表示画面の中央付近を注視しているとは限らず、状況によっては表示画面上の又は表示可能範囲内の中央付近から離れた位置を注視する場合もある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００３－１３０６７７号公報

【特許文献2】特開２０１２－１０４１０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

例えば、窓外視界や表示画面に表示されたカメラ又はセンサによる画像における視程が悪い場合、操縦士は地上の状況を把握しようとして、視線を表示画面内の下方に向ける。そうなると、表示画面の中央付近に表示されるＦＰＶや、その近くに表示される速度、高度などの情報が目に入りにくくなり、こうした情報の把握がおろそかになりがちである。また、ＨＭＤを使用している場合には、操縦士が地上の状況を把握しようとして頭部を下げる（前方に傾ける）と、それに連動してカメラの撮影範囲が手前側に移動する。その結果、ＦＰＶが表示画面から消えてしまい、操縦士は自機の針路を直感的に把握するのが困難になる。

【0008】

また、航空機を左又は右に大きく旋回させるとき、操縦士は表示画面上でその旋回方向のさらに前方、つまりは横方向の離れた位置に視線を向けることが多い。ＨＭＤを使用している場合、操縦士の視野範囲の中央付近にカメラによる撮影画像や主要なシンボル情報が表示されるが、操縦士の視線は旋回方向のさらに先に向いている。そのため、撮影画像や主要なシンボル情報を確認するには、視線を意図的に動かすか或いは頭部を回転させる必要がある。そのため、操縦に必要な情報を把握するための操縦士の負担が大きく、情報の把握が遅れがちである。

【0009】

また、同様の課題は、搭乗している操縦士が操縦する航空機に限らず、遠隔操縦される無人飛行機などの飛行体（いわゆるドローンなど）でも同様である。また、飛行体や飛翔体以外でも、例えば海底を探索するための潜水艇や潜水艦など、様々な移動体においても同様である。

【0010】

本発明はこうした課題を解決するために成されたものであり、その目的とするところは、操縦士が無理に視線を動かしたり頭部を回したりすることなく、移動体の外部の撮影画像や操縦に必要な情報を視覚的に容易に取得することができる移動体用操縦支援方法及び移動体用操縦支援システムを提供することである。

【課題を解決するための手段】

【0011】

上記課題を解決するために成された本発明に係る移動体用操縦支援方法の一態様は、移動体を操縦する使用者の眼前に配置された画像情報を表示可能な表示部に、操縦のための情報を表示する移動体用操縦支援方法であって、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成ステップと、
移動中である前記移動体の操縦に関連した参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成ステップと、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する際に、該表示部の画面上又は表示可能範囲内で前記使用者が視線を向けると想定される部位に、前記外界画像と前記シンボル情報とのいずれか一方、又は両方が位置するようにそれら情報を表示する表示実行ステップと、
を有するものである。

【0012】

ここで、「表示部の画面上又は表示可能範囲内で前記使用者が視線を向けると想定される部位」とは、標準的に画像情報やシンボル情報が表示される部位つまりは表示部の画面上又は表示可能範囲内の中央付近の部位、を除いた部位である。

【0013】

また、ここでいう「使用者が視線を向けると想定される部位」とは、そのときの使用者の動き、移動体の状況、周囲（環境）の状況などを検知した又は把握した結果に応じて使用者が視線を向けると予測される部位であってもよいし、或いは、事前に（例えばシステムの設計段階、又はシステムを使用する前の各種の設定段階等において）使用者が視線を向けるであろうと推測される所定の部位であってもよい。

【0014】

前者の場合には、上述したような事象や状況を検知した又は把握した結果に応じて「使用者が視線を向けると想定される部位」の位置が変化するが、後者の場合には「使用者が視線を向けると想定される部位」の位置は事前に決まっているので変化しない。

【0015】

また、ここでいう「移動体」とは、有人の航空機や無人の航空機を含む飛行体や飛翔体、海中や水中を移動する潜水艇や潜水艦、などを含む。

【0016】

上記課題を解決するために成された本発明に係る移動体用操縦支援システムの一態様は、
移動体を操縦する使用者の眼前に画像情報を表示する表示部と、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
移動中である前記移動体の操縦に関連する参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成部と、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する画像情報を形成するものであって、前記表示部の画面上又は表示可能範囲内に表示される前記外界画像内で前記使用者が視線を向けると想定される部位に、前記シンボル情報を表示するように前記画像情報を形成する表示画像形成部と、
を備えるものである。

【0017】

上記課題を解決するために成された本発明に係る移動体用操縦支援システムの他の態様は、
移動体を操縦する使用者の眼前に画像情報を表示する表示部と、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
移動中である前記移動体の操縦に関連する参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成部と、
前記使用者の状況、前記移動体の状況、又は該移動体の周囲の状況を検知する状況検知部と、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する画像情報を形成するものであって、前記状況検知部による検知結果に基づいて前記表示部の画面上又は表示可能範囲内で前記使用者が視線を向ける部位を推定し、該推定された部位に前記画像情報若しくは前記シンボル情報のいずれか一方、又はその両方を表示するように前記画像情報を形成する表示画像形成部と、
を備えるものである。

【発明の効果】

【0018】

従来の一般的な航空機用の操縦支援システムでは、操縦時に操縦士（使用者）は表示画面の中央付近を凝視するという前提の下に、表示画面の中央付近に各種のシンボル情報を集約的に配置している。これに対し、本発明の一態様である移動体用操縦支援方法及び移動体用操縦支援システムでは、表示画面や表示可能範囲の中央以外で、使用者が視線を向けると想定される部位に、シンボル情報を表示させることができる。例えば、航空機が高度を保ちつつ飛行しているときであっても、操縦士が進行方向前方ではなく手前側の地上に視線を向けている場合に、外界画像において地上の対応する部位にシンボル情報が重畳して表示される。また、航空機を大きく旋回させているとき、表示部の表示可能範囲内で操縦士が顔を向けている方向よりもさらに旋回方向前方にシンボル情報を外界画像とともに表示することができる。即ち、安全な操縦を行うために操縦士が視線を向ける方向に、操縦のために参照されるシンボル情報が表示される。

【0019】

このように本発明の一態様である移動体用操縦支援方法及び移動体用操縦支援システムによれば、操縦士等の使用者が無理に視線を動かしたり頭部を回したりせずに、移動体の外部の撮影画像や操縦に必要な情報を視覚的に容易に取得することができる。したがって、操縦時の操縦士の負担を軽減できるとともに、操縦士による操縦に必要な情報の把握の遅れを回避して安全な操縦に資することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施形態である航空機用操縦支援システムの概略ブロック構成図。

【図2】ヘリコプタの飛行状況の概略説明図。

【図3】表示画面上のＦＰＶの表示状態の模式図。

【図4】第１の実施形態である航空機用操縦支援システムを用いたヘリコプタが高度一定で飛行する際の飛行経路の説明図、及び、そのときの表示画面上のＧＰＶの表示状態の模式図。

【図5】本発明の第２の実施形態である航空機用操縦支援システムの概略ブロック構成図。

【図6】従来及び本発明の第２の実施形態である航空機用操縦支援システムの表示画面の模式図、及び操縦士とカメラの指向方向の説明図。

【図7】第２の実施形態である航空機用操縦支援システムにおけるバンク角補正方法の説明図。

【発明を実施するための形態】

【0021】

［第１の実施形態］
本発明の一実施形態である航空機用操縦支援システムについて、添付図面を参照して説明する。第１の実施形態の航空機用操縦支援システムは、主として、ヘリコプタに搭乗している操縦士が該ヘリコプタを操縦する際にその操縦を支援したり、或いは、地上にいる人や特定の物体などを探索する際にその探索を支援したりするものである。即ち、ここでは「移動体」はヘリコプタである。

【0022】

図１は、本実施形態の航空機用操縦支援システムの概略ブロック構成図である。図２は、ヘリコプタの飛行状況の模式図である。
図１に示すように、この操縦支援システムは、航法センサ１、機体姿勢センサ２、地形データベース３、カメラ４０を含むセンサポッド４、データ処理部５、表示部６、などの機能ブロックを備える。データ処理部５は、針路計算部５０、予測高度計算部５１、ＧＰＶシンボル生成部５２、画像作成部５３、表示処理部５４、などの下位の機能ブロックを含む。

【0023】

表示部６は、操縦士が頭部に装着するヘルメットと一体化されたＨＭＤであり、例えば透過型液晶表示素子などの表示素子、操縦士の眼前に配置されるバイザ、表示素子からバイザまでの間に配置された照射光学系と、を含む。表示部６に入力された画像は透過型液晶表示素子に表示され、該表示素子から発した画像光は照射光学系を経て、バイザで反射され、平行な光として操縦士の眼に到達する。バイザは操縦士が顔を向けている方向の外界から到来する外光を透過させる。そのため、操縦士の眼前には、概ね平行光であるその外光による背景画像とバイザでの反射光による表示画像とが重畳されて表示される。このＨＭＤにおける表示可能範囲は横方向に広いが、通常、反射光による表示画像は表示可能範囲の中央付近の所定の範囲にのみ表示され、その範囲の外側では背景画像のみが見えている。なお、表示部６はＨＭＤに限らず、ＨＵＤやＨＤＤでもよい。

【0024】

図２に示すように、センサポッド４はヘリコプタ１０の機体の底部に設けられ、そのセンサポッド４内にカメラ４０が設置されている。カメラ４０は例えば、近赤外、中赤外、又は遠赤外のいずれか、又はそれら複数の異なる波長帯を検出可能なセンサを含む赤外線カメラであり、ヘリコプタ１０の機外（外界）の赤外線画像を取得する。センサポッド４は、アジマス（ＡＺ）方向及びエレベーション（ＥＬ）方向の姿勢を調整する機能を有している。なお、赤外線カメラに代えて、高感度な可視光カメラ、暗視カメラ、或いは、外界画像を取得することが可能な、様々なセンサ（例えば測距センサ）を用いることができる。

【0025】

本実施形態の操縦支援システムでは、センサポッド４は、操縦士が見ていると推測される方向にカメラ４０が指向するように操縦士の頭部の位置、角度、及び加速度に応じて動作する頭部方向追従モード、指定された特定の方向を指向するように動作する特定方向固定モード、及び、所定の範囲に亘りその指向する方向が繰り返し変化するように動作するスキャンモード、のいずれかのモードで使用される。頭部方向追従モードについては、第２の実施形態で詳しく説明する。

【0026】

地形データベース３は、少なくともそのときに飛行している地域周囲の所定範囲の地形情報を含むものであり、外部のデジタル地図データベースにアクセスして必要なデータのみを受信する送受信部、又は、そうしたデジタル地図データベースに収録されているデータの一部が格納された記憶装置を含む。前者の場合には、データベース自体はそのヘリコプタ１０の外部の例えばホストコンピュータに設けられ、送受信部と該ホストコンピュータとの間で相互に通信を行うことで送受信部は必要な情報を収集する。一方、後者の場合には、ヘリコプタ１０の内部に設けられた記憶装置に予め必要な情報が全て格納されており、飛行中に外部との通信は不要である。

【0027】

航法センサ１及び機体姿勢センサ２は、航空機に一般的に搭載されているＧＮＳＳ／ＩＮＳ装置やジャイロセンサなどであり、飛行中のヘリコプタ１０の現在位置である緯度・経度、高度、進行方向（方位）、左右方向の傾き角度（バンク角）などの情報を収集して出力する。

【0028】

ここで、本実施形態の操縦支援システムにおける画像表示について説明する前に、従来の航空機用の操縦支援システムにおいてＨＭＤに表示されるフライトパスベクタ（ＦＰＶ）について説明する。図３は、ＦＰＶの表示状態の模式図である。
図２に示すように、地面１１から高さＨである地点を飛行しているヘリコプタ１０が、所定時間経過後に位置１０Ａと位置１０Ｂにある場合を想定する。位置１０Ａはヘリコプタ１０が現在位置よりも上昇した場合であり、位置Ｂはヘリコプタ１０が現在位置よりも下降した場合である。ヘリコプタ１０が水平に、つまりは等高度で飛行したときの経路を２点鎖線で示している。

【0029】

図３に示すように、ＨＭＤの表示画面の略中央には、ヘリコプタ１０の進行方向（針路）を示すＦＰＶ１０２とＶ字形状の機首マーク１００とが表示される。機首マーク１００の左右に点線で描画されている線１０１はヘリコプタ１０の現時点の左右方向の姿勢を示しており、図３に示すようにこれが水平である場合には、ヘリコプタ１０は左右方向に水平な姿勢となっている。ＦＰＶ１０２は、現在の飛行状態を続け所定時間が経過した後に、そのヘリコプタ１０が位置する場所を示している。したがって、図３（ａ）に示すように、上昇時にはＦＰＶ１０２は線１０１よりも上に、図３（ｂ）に示すように、下降時にはＦＰＶ１０２は線１０１よりも下に位置している。図３（ａ）中のＸfは、現在位置と目的位置との水平方向の偏差、Ｙfは現在位置と目的位置との垂直方向の偏差を示している。
例えば高度を維持したまま直進したい場合には、操縦士はＦＰＶ１０２が機首マーク１００に概ね重なるようにしながら操縦を行えばよい。

【0030】

例えば、天候状況によって窓外の視界の視程が悪いような場合、操縦士は進行方向前方よりもむしろ、手前側の地上の状況、つまり建築物や田畑、河川等の位置を視認するために表示画面内の下方に視線を向ける傾向にある。また、より下方に注意を向ける際には、顔を前方に向けたまま視線を下方に落とすのではなく、頭部を前方に傾けるような動作をとるのが一般的である。上述したようにＦＰＶ１０２は自機の針路を示しており、等高度飛行を行っている場合には表示画面の中央付近に表示される。そのため、操縦士が表示画面に表示されている外界画像の中の地上を注視しようとして視線を落とすと、ＦＰＶ１０２が見えにくくなり、ＦＰＶ１０２を確認するには視線を上げる必要がある。また、上述したように操縦士が頭部を前方に傾けた場合、その頭部の動きにカメラ４０が連動するため、外界画像はほぼ地上を撮影した状態となる。そのため、針路を示すＦＰＶ１０２は画面上に表示されなくなり、操縦士がＦＰＶ１０２を確認するには頭部自体を上げる動作が必要になる。

【0031】

これに対し本実施形態の操縦支援システムでは、ＦＰＶに代えて、グランドパスベクタ（Ground Path Vector＝ＧＰＶ）と名付けた新たなマークを表示画面上に表示できるようにしている。図４は、ヘリコプタ１０が高度一定で飛行する際の飛行経路の説明図、及び、そのときの表示画面上のＧＰＶの表示状態の模式図であり、（ａ）は目標対地高度一定飛行の場合、（ｂ）は海抜高度一定飛行の場合である。図３右に示すように、ＧＰＶ１０３は略台形状のマークであり、水平方向の動きや位置についてはＦＰＶと同じ定義である。一方、垂直方向の動きや位置についてはＦＰＶと全く異なる。ＧＰＶ１０３は、そのときに表示されている外界画像上で、自機の現在位置から直線前方に所定距離Ｌ[ｍ]だけ離れた位置の地上に対応する位置に貼り付くように表示される。

【0032】

そのため、カメラ４０が概ね水平前方を指向している場合には、ヘリコプタ１０の対地高度が高くなるとＧＰＶ１０３は画面上で下方に移動し、対地高度が低くなるとＧＰＶ１０３は画面上で上方に移動する。いずれにしても、ＧＰＶ１０３は外界画像の中の地面上で、ヘリコプタ１０からの距離に対応する位置に表示される。したがって、ＧＰＶはＦＰＶとは定義は異なるものの、操縦士は、機首マーク１００や線１０１とＧＰＶ１０３との位置関係から、地表面又は地形と自機との相対的な位置関係や針路の方向を容易に把握することができる。但し、ＧＰＶそれ自体は速度や高度に関する情報を持たない。そこで、ＧＰＶ１０３の近傍に速度偏差及び高度偏差などをそれぞれ数値で示している。対地高度一定飛行時と海抜高度一定飛行時とでは、操縦士が確認したい数値情報が相違するから、それぞれの飛行モードに合わせて適切な数字情報を表示するとよい。

【0033】

上述したように、ＧＰＶ１０３は地上の所定位置に貼り付いたように表示されるため、例えば外界の視界不良のために操縦士が表示画面上の地上付近の画像を注視する際に必ず目に入る。したがって、従来のように操縦士はＦＰＶを見るために視線を上げたり頭部を上げたりする必要がなく、操縦士の負担を軽減するとともに情報の見落としを軽減することができる。
なお、上記距離Ｌは固定値にしておいてもよいが、飛行速度や飛行高度、或いは飛行目的などに応じて変えることが望ましい場合もある。したがって、操縦士が適宜に設定できるようにしておいてもよい。

【0034】

次に、本実施形態の操縦支援システムにおける飛行時の画像表示動作について詳しく説明する。
ヘリコプタ１０の飛行中に、カメラ４０は外界の所定範囲の画像データを取得し、画像作成部５３は得られた画像データに基づいて外界画像を作成する。なお、カメラ４０の画角は予め決められているか、或いは、操縦士により調整可能である。また、頭部追従モードでは、カメラ４０により撮影される範囲は操縦士の頭部の位置等に応じて変化する。

【0035】

航法センサ１及び機体姿勢センサ２は、飛行中にヘリコプタ１０の位置（緯度、経度）、高度、方角、速度、角度などの情報を時々刻々と取得し出力する。針路計算部５０は航法センサ１及び機体姿勢センサ２からの出力に基づいて、自機から前方に距離Ｌだけ離れた位置（緯度、経度）を特定する。そして、地形データベース３から自機が飛行している周辺の地形データを取得し、上記特定された位置に対応する画像上の地上の位置を特定する。一方、予測高度計算部５１は地形データに基づいて、上記特定された位置における地上の高度から、上記位置にヘリコプタ１０が達したときの自機の予測高度を算出する。但し、これは海抜高度一定での飛行の場合であって、対地高度一定の場合にはヘリコプタ１０の進行に伴い上方向又は下方向に移動することで対地高度を一定に維持するので、予測高度は必ずしも必要でない。

【0036】

ＧＰＶシンボル生成部５２は、予め決められた形状のマークを針路計算部５０で計算された画像上の位置に配置する。また、その表示の近傍の所定位置に、予測高度計算部５１で算出された予測高度や、航法センサ１等で得られた対気速度などに基づく情報、さらには高度偏差や速度偏差などの飛行諸元の数値を表示する。そして、表示処理部５４は外界画像にＧＰＶ１０３を含む参照情報を重畳し、表示部６に表示させる。このＧＰＶ１０３は、操縦士から直進前方にＬ[ｍ]の位置の地上に常に表示されるから、操縦士から見ると所定距離離れた地上に貼り付いて移動するように見え、上述したような利点がある。

【0037】

なお、視界が良好である等の理由でＧＰＶよりもＦＰＶを表示したほうが適切である場合もあるから、ＧＰＶとＦＰＶのいずれを表示させるかを操縦士がマニュアルで選択できるようにするとよい。或いは、例えば可視光カメラによる画像の処理結果等に応じて、或いはヘルメットに内蔵したアイトラッカにより検出した操縦士の視線の動きなどに応じて、またヘルメットや操縦士の頭部の動きを検出した結果に基づいて、ＧＰＶとＦＰＶとのいずれが適当かを自動的に判定して表示を切り替えるようにしてもよい。

【0038】

［第２の実施形態］
次に、本発明の第２の実施形態である航空機用操縦支援システムについて、添付図面を参照して説明する。
図５は、第２の実施形態の航空機用操縦支援システムの概略ブロック構成図である。図６は、従来及び本実施形態である航空機用操縦支援システムの表示画面の模式図及び操縦士とカメラの指向方向の説明図である。また図７は、第２の実施形態である航空機用操縦支援システムにおけるバンク角補正方法の説明図である。

【0039】

図５に示すように、この操縦支援システムは、航法センサ１、機体姿勢センサ２、カメラ４０を含むセンサポッド４、センサポッド駆動部８、頭部位置／角度／加速度検出部７、データ処理部５Ａ、表示部６、などの機能ブロックを備える。データ処理部５Ａは、画像作成部５３、表示処理部５４のほか、センサポッド制御部５５を機能ブロックとして含み、センサポッド制御部５５は特徴的な機能ブロックとしてバンク角補正部５５０を含む。なお、図１に示した上記実施形態の操縦支援システムと同じ構成要素には同じ符号を付している。

【0040】

カメラ４０を含むセンサポッド４は、センサポッド駆動部８により機械的に駆動され、これにより、カメラ４０による撮影範囲が上下方向及び左右方向に所定の範囲で移動する。頭部位置／角度／加速度検出部７は、操縦士が装着するヘルメットに内蔵されている複数の構成要素、具体的には例えば、周囲を撮影する複数のカメラと、６軸ジャイロセンサと、を含む。その複数のカメラはそれぞれ操縦士の周囲の風景又は機体（操縦室）内の所定のマーカー等を撮影し、図示しない信号処理部は撮影された画像に基づいて、操縦士の頭部の位置及び傾き角度を計算する。頭部の位置とは例えば、機体内３次元基準座標ＸＹＺ上の位置情報である。また、頭部の傾き角度とは例えば、機体内３次元基準座標ＸＹＺ各軸と頭部の中心軸線との成す角度である。一方、６軸ジャイロセンサは、操縦士の頭部の移動に伴う該頭部の角速度を検出する。こうした、頭部の位置、傾き角度、及び角速度の情報に基づいて、操縦士がそのときに見ている視野範囲を特定することができる。

【0041】

頭部方向追従モードでは、一般に、センサポッド制御部５５は頭部位置／角度／加速度検出部７からの上述したような情報を受け、操縦士の視野範囲に追従するように、センサポッド駆動部８を介してセンサポッド４の向きを変更する。それにより、操縦士の視野範囲に追従するようにカメラ４０の向きが調整され、常に操縦士が顔を向けている方向の中央にカメラ４０による撮影画像（外界画像）が表示される。

【0042】

図６（ａ）は操縦士が正面を向いているときの状態を示しており、このとき操縦士の頭部３００の動きに追従するカメラ４０も正面を指向している。表示部６であるＨＭＤの表示画面２００は左右方向に幅広く、その表示画面２００の中心位置２０２の周りの所定の撮像表示範囲２０１にカメラ４０による撮影画像が表示される。この撮像表示範囲２０１では、ヘルメットのバイザを通して見える外界の画像にカメラ４０による撮影画像が重畳して表示される。一方、表示画面２００内で撮像表示範囲２０１の外側では、バイザを通して見える外界の画像のみが見えることになる。
操縦士が前方を向いているときには、上述したように外側の視界が極端に悪い場合を除き、操縦士は前方を凝視していることが多いので、上記のような表示で何ら問題はない。

【0043】

図６（ｂ）は、左方向に大きく旋回しているときの状態を示している。図６（ｂ）右に一点鎖線で示した線は旋回軌道であり、或る時点で操縦士の頭部３００はその旋回方向の正面を向いている。従来の操縦支援システムでは、上述したようにカメラ４０は操縦士の頭部３００の動きに連動するため操縦士の頭部３００と同方向を指向する。そして、図６（ａ）の場合と同様に、ＭＨＤの表示画面２００の中心位置２０２の周りの所定の撮像表示範囲２０１にカメラ４０による撮影画像が表示される。

【0044】

旋回時に操縦士が顔が向いている正面を注視しているのであれば、図６（ｂ）に示したような表示状態で何ら問題はないが、大きく旋回しているとき、操縦士は飛行の安全性を確保するために旋回方向のさらに前方に視線を向けることが非常に多い。つまり、旋回軌道３０２に沿って実際に操縦士が顔を向けている点（＋印で示した点）よりもさらに進んだ位置３０３に視線を向けているのが一般的である。そのため、図６（ｂ）において、操縦士はＭＨＤの表示画面２００上の撮像表示範囲２０１の中央付近ではなく、撮像表示範囲２０１の端部付近の範囲２０４を中心に見ていることになる。

【0045】

この操縦支援システムでは、撮像表示範囲２０１の中央付近を操縦士が見ていることを前提として、その部分に、高度、速度等の飛行諸元の情報を表示する。しかしながら、実際には操縦士は撮像表示範囲２０１の中央付近を見ていないため、飛行諸元等を確認するには、視線を左右方向に動かす必要があり、操縦士にとって負担であるとともに情報の見落としや把握の遅れに繋がる。

【0046】

そこで本実施形態の操縦支援システムでは、センサポッド制御部５５におけるバンク角補正部５５０は、航法センサ１及び機体姿勢センサ２で時々刻々と得られるヘリコプタ１０の左右方向の傾き角度つまりバンク角の情報に基づいてカメラ４０（つまりはセンサポッド４）を向ける方向を補正する。詳しくは後述するが、図６（ｃ）に示すように、旋回率が大きくバンク角が或る程度以上大きい場合には、操縦士の頭部３００が回転したよりも大きく、カメラ４０を旋回方向に回転させる。それによって、カメラ４０は操縦士の顔が向いている方向ではなく、操縦士の視線が向いている方向、つまりは旋回軌道３０２上の位置３０３の方向に向く。このとき、ＭＨＤの表示画面２００の中心位置２０２はあくまでも操縦士が顔を向けている方向の略中央であるから、撮像表示範囲２０１は表示画面２００の中央ではなく、左方に片寄った位置になる。即ち、操縦士が実際に見ている位置付近に、撮像表示範囲２０１が位置する。

【0047】

高度、速度等の飛行諸元の情報は撮像表示範囲２０１の中央付近に集約して表示されるので、操縦士が実際に見ている位置にそうした飛行諸元等の情報が表示され、操縦士は視線を大きく動かすことなくそうした飛行諸元等を確認することができる。また、操縦士はカメラ４０による撮影画像全体も容易に把握することができる。

【0048】

具体的には、図７（ａ）に示したように、操縦士の頭部３００の角度をψh（正面方向がψh＝０）、カメラ４０の角度をψc（正面方向がψc＝０）としたときに、次の(1)式によりカメラ４０の角度を補正するとよい。
ψc＝ｆ（φ）＋ψh …(1)
ｆ（φ）はバンク角φの関数であり、図７（ｂ）に示す関係とすればよい。即ち、バンク角が－５[deg]≦φ≦５[deg]の範囲では、ｆ（φ）＝０であり、５[deg]＜φ≦１５[deg]及び－１５[deg]≦φ＜－５[deg]の範囲ではそれぞれ直線的に、０[deg]＜ｆ（φ）≦１５[deg]及び－１５[deg]≦ｆ（φ）＜－０[deg]の値を与えるものとする。もちろん、それぞれの値や図７（ｂ）の関係、或いは(1)式も一例であり、バンク角が大きくなるに従って、操縦士の頭部３００が向いている方向よりもさらに旋回方向前方に大きくカメラ４０が向くようにすればよい。なお、バンク角のほかに、旋回率（Rate of Turn）などの旋回に関連した他のパラメータを用いて補正を行うこともできる。

【0049】

上述のようにして本実施形態の操縦支援システムでは、操縦士がヘリコプタ１０を大きく旋回させるように操縦を行っている際に、該操縦士が実際に視線を向けている旋回方向の前方の表示画面上にカメラ４０による撮影画像や飛行諸元などの飛行中に確認したい情報を集約的に表示することができる。もちろん、従来の操縦支援システムの画像表示に習熟している操縦士にとっては、上記のようなバンク角に基づく補正がなされた画像表示は却って違和感を感じる場合もある。したがって、操縦士の選択により、上記のような補正を行うか否かを切り替えることができるようにしておいてもよい。

【0050】

上記第１及び第２の実施形態は、本発明に係る移動体用操縦支援システムを、操縦士が操縦する航空機（具体的にはヘリコプタ）に適用したものであるが、他の形態の移動体に適用することもできる。
例えば、無人航空機のように遠隔で飛行するように操作（操縦）される航空機にも本発明を適用することができる。また飛行するものではなく、例えば海底の資源探索など行う潜水艇や潜水艦等に対しても本発明を適用することができる。

【0051】

また、上記実施形態や変形例は本発明の一例にすぎず、本発明の趣旨の範囲で適宜、変更や修正、追加を行っても本願特許請求の範囲に包含されることは当然である。

【0052】

［種々の態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。

【0053】

（第１項）本発明に係る移動体用操縦支援方法の一態様は、移動体を操縦する使用者の眼前に配置された画像情報を表示可能な表示部に、操縦のための情報を表示する移動体用操縦支援方法であって、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成ステップと、
移動中である前記移動体の操縦に関連した参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成ステップと、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する際に、該表示部の画面上又は表示可能範囲内で前記使用者が視線を向けると想定される部位に、前記外界画像と前記シンボル情報とのいずれか一方、又は両方が位置するようにそれら情報を表示する表示実行ステップと、
を有するものである。

【0054】

（第２項）本発明に係る移動体用操縦支援システムの一態様は、第１項に記載の移動体用操縦方法を具現化する一つのシステムであり、
移動体を操縦する使用者の眼前に画像情報を表示する表示部と、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
移動中である前記移動体の操縦に関連する参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成部と、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する画像情報を形成するものであって、前記表示部の画面上又は表示可能範囲内に表示される前記外界画像内で前記使用者が視線を向けると想定される部位に、前記シンボル情報を表示するように前記画像情報を形成する表示画像形成部と、
を備えるものである。

【0055】

（第５項）本発明に係る移動体用操縦支援システムの他の態様は、第１項に記載の移動体用操縦方法を具現化する、第２項に記載のシステムとは異なる一つのシステムであり、
移動体を操縦する使用者の眼前に画像情報を表示する表示部と、
前記移動体の外界の画像情報を収集し、該情報に基づいて外界画像を作成する画像作成部と、
移動中である前記移動体の操縦に関連する参照情報を簡略化又は模式化したシンボル情報を生成するシンボル情報生成部と、
前記使用者の状況、前記移動体の状況、又は該移動体の周囲の状況を検知する状況検知部と、
前記外界画像に前記シンボル情報を重畳して前記表示部に表示する画像情報を形成するものであって、前記状況検知部による検知結果に基づいて前記表示部の画面上又は表示可能範囲内で前記使用者が視線を向ける部位を推定し、該推定された部位に前記画像情報若しくは前記シンボル情報のいずれか一方、又はその両方を表示するように前記画像情報を形成する表示画像形成部と、
を備えるものである。

【0056】

第１項、第２項、及び第５項において、「移動体」とは、有人の航空機や無人の航空機を含む飛行体や飛翔体、海中や水中を移動する潜水艇や潜水艦、などを含む。

【0057】

第１項に記載の移動体用操縦支援方法、並びに第２項及び第５項に記載の移動体用操縦支援システムでは、表示画面や表示可能範囲の中央以外で、使用者が視線を向けると想定される部位に、操縦の際に参照される又は重要である飛行諸元等を含むシンボル情報を表示させることができる。そのため、第１項に記載の移動体用操縦支援方法、並びに第２項及び第５項に記載の移動体用操縦支援システムによれば、操縦士等の使用者が無理に視線を動かしたり頭部を回したりすることなく、移動体の外部の撮影画像や操縦に必要な各種情報を視覚的に容易に取得することができる。それによって、操縦時の操縦士の負担を軽減できるとともに、操縦士による操縦に必要な情報の把握の遅れや見落としを回避して安全な移動が可能となる。

【0058】

（第３項）第２項に記載の移動体用操縦支援システムでは、前記移動体は飛行体であり、前記外界画像内で前記使用者が視線を向けると想定される部位は該外界画像の地上の範囲内であるものとすることができる。

【0059】

第３項に記載の移動体用操縦支援システムによれば、例えば外界の視界不良等の要因によって使用者（操縦士）が地上を注視しがちである場合に、表示部の画面上で使用者が視線を向ける可能性が高い部位に、操縦する際に確認すべき参照情報を表示することができる。それによって、操縦士による操縦に必要な情報の把握の遅れや見落としを回避して安全な移動が可能となる。

【0060】

（第４項）また第３項に記載の移動体用操縦支援システムでは、前記外界画像内で前記使用者が視線を向けると想定される部位は、前記飛行体から前方に所定距離離れた位置に対応する地上の地点であるものとすることができる。

【0061】

第４項に記載の移動体用操縦支援システムによれば、ほぼ一定の速度で高度一定飛行を行っているような場合に、表示画面上のほぼ同じ位置に参照情報が表示され続ける。そのため、使用者は参照情報を確認するために視線を殆ど動かす必要がなく、操縦士による操縦に必要な情報の把握の遅れや見落としをより確認回避することができる。

【0062】

（第６項）また第５項に記載の移動体用操縦支援システムにおいて、前記状況検知部は、前記移動体が左又は右方向に旋回しているときに旋回率又は旋回に伴う該移動体の傾きを検知するものであり、前記表示画像形成部は、該状況検知部により検知された旋回率又は移動体の傾きに応じて使用者が視線を向けると推定される部位を変更するものとすることができる。

【0063】

上述したように、例えば操縦士が航空機を大きく旋回させるように操縦する際には、操縦士はその航空機の進行方向前方の状況を確認するために旋回方向前方に視線を向けるのが一般的である。これに対し第５項に記載の移動体用操縦支援システムでは、旋回率が大きいほど、又は旋回に伴う該移動体の傾きが大きいほど、旋回方向のより前方に使用者が視線を向けると推定して参照情報等の表示位置を変更する。それによって、旋回の大きさに依らず、表示画面上で操縦士が視線を向ける部位の近傍に参照情報を表示することができ、操縦士は参照情報を確認するために視線を大きく動かす必要がない。

【0064】

（第７項）また第６項に記載の移動体用操縦支援システムにおいて、前記表示部は使用者が頭部に装着するヘッドマウントディスプレイ又はヘルメットマウンドディスプレイであり、前記表示画像形成部は、前記画像作成部に含まれる撮像部による撮影範囲を前記使用者の頭部の位置、角度、及び加速度に応じて変化させる制御部を含み、該制御部は、前記状況検知部により検知された旋回率又は移動体の傾きに応じて、前記撮像部による撮影範囲の変化を補正するものとすることができる。

【0065】

第７項に記載の移動体用操縦支援システムによれば、旋回中に操縦士が正面を向いている状態で視線のみを旋回方向前方に向けたときに、ヘッドマウントディスプレイ又はヘルメットマウンドディスプレイの表示画面上でその視線を向けた部位の近傍に、撮影部により得られた外界画像と参照情報とを共に表示することができる。それにより、操縦士は例えば赤外線画像等の撮影画像と参照情報との両方を、視線を殆ど動かさずに確認することができる。

【符号の説明】

【0066】

１…航法センサ
２…機体姿勢センサ
３…地形データベース
４…センサポッド
４０…カメラ
５、５Ａ…データ処理部
５０…針路計算部
５１…予測高度計算部
５２…ＧＰＶシンボル生成部
５３…画像作成部
５４…表示処理部
５５…センサポッド制御部
５５０…バンク角補正部
６…表示部
７…頭部位置／角度／加速度検出部
８…センサポッド駆動部
１０…ヘリコプタ
１００…機首マーク
１０１…線
１０３…ＧＰＶ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】