(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-19
(45)【発行日】2023-12-27
(54)【発明の名称】画像表示システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20231220BHJP
B64D 47/08 20060101ALI20231220BHJP
G03B 15/00 20210101ALI20231220BHJP
G03B 17/18 20210101ALI20231220BHJP
H04N 5/222 20060101ALI20231220BHJP
H04N 23/63 20230101ALI20231220BHJP
H04N 23/66 20230101ALI20231220BHJP
H04N 23/695 20230101ALI20231220BHJP
【FI】
H04N7/18 U
B64D47/08
G03B15/00 U
G03B17/18
H04N5/222 100
H04N23/63 330
H04N23/66
H04N23/695
(21)【出願番号】P 2019220890
(22)【出願日】2019-12-06
【審査請求日】2022-09-16
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社SUBARU
(74)【代理人】
【識別番号】100090033
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】小林 航
(72)【発明者】
【氏名】岡本 達雄
(72)【発明者】
【氏名】足立 憲彦
(72)【発明者】
【氏名】渡邉 歩
【審査官】吉川 康男
(56)【参考文献】
【文献】特表2016-540949(JP,A)
【文献】特開2002-308195(JP,A)
【文献】特開2019-195144(JP,A)
【文献】米国特許第09121669(US,B1)
【文献】国際公開第2016/017367(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B64D 47/08
G03B 15/00
G03B 17/18
H04N 5/222
H04N 23/63
H04N 23/66
H04N 23/695
(57)【特許請求の範囲】
【請求項1】
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え
、
前記制御部は、前記画面上に、前記他機を表すシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記自機に対する前記他機の相対的な方位角に基づいて回転させた方向を向く姿勢で表示するとともに、前記カメラの視野を表すシンボルを、前記他機のシンボルの中心を回転中心として前記他機のシンボルの真上の位置から前記他機に対する前記カメラのパン角度と前記自機に対する前記他機の相対的な方位角とに基づいて回転させた位置に表示することを特徴とする画像表示システム。
【請求項2】
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は、所定の操作に応じて前記他機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる他機ヘディング基準の表示に切り替えることを特徴とする
画像表示システム。
【請求項3】
前記制御部は、前記他機ヘディング基準によって表示する場合は、前記画面上に、前記他機のシンボルを機首が上を向く姿勢で表示するとともに、前記カメラの視野を表すシンボルを、前記他機のシンボルの中心を回転中心として前記他機のシンボルの真上の位置から前記他機に対する前記カメラのパン角度に基づいて回転させた位置に表示することを特徴とする
請求項2に記載の画像表示システム。
【請求項4】
前記制御部は、所定の操作に応じて前記カメラが撮影した画像をそのまま表示させるカメラヘディング基準の表示に切り替えることを特徴とする請求項1から
請求項3のいずれか一項に記載の画像表示システム。
【請求項5】
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は
、
所定の操作に応じて前記カメラが撮影した画像をそのまま表示させるカメラヘディング基準の表示に切り替え、
前記カメラヘディング基準による表示の仕方が選択された場合は、前記画面上に、前記カメラの視野を表すシンボルを前記他機のシンボルの真上の位置に表示するとともに、前記他機のシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記他機に対する前記カメラのパン角度に基づいて回転させた方向を向く姿勢で表示することを特徴とする
画像表示システム。
【請求項6】
前記制御部は、前記自機ヘディング基準によって表示する場合は、前記カメラが撮影した画像を、前記他機に対する前記カメラのパン角度と前記自機に対する前記他機の相対的な方位角とに基づいて回転させて表示させることを特徴とする
請求項1から請求項5のいずれか一項に記載の画像表示システム。
【請求項7】
前記カメラが撮影する画像は動画であることを特徴とする請求項1から
請求項6のいずれか一項に記載の画像表示システム。
【請求項8】
前記他機は、無人航空機であることを特徴とする請求項1から
請求項7のいずれか一項に記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示システムに係り、他機に搭載されたカメラで撮影された画像を自機の画像表示装置に表示する画像表示システムに関する。
【背景技術】
【0002】
無人ヘリコプタ等の無人航空機(Unmanned Aerial Vehicle:UAV)に搭載されたカメラで撮影された画像を地上局に送信し、地上局に配置された画像表示装置の画面上に表示する画像表示システムが種々開発されている。
例えば、特許文献1に記載の画像表示システムでは、例えば
図10に示すように、画像表示装置の画面100上に、カメラが撮影した画像101を表示するようになっている。
【0003】
また、この画像表示システムでは、画像101のほか、無人航空機の機体位置や機首方向が矢印状のシンボル102で表示するとともに、無人航空機の機体の高度や方位、カメラのパン角度やチルト角度からカメラの視点103を算出して表示し、その他、カメラの視界範囲104や無人航空機の軌跡105等を表示するようになっている。
そして、この場合、画像表示装置の画面は、例えば、画面の縦方向が南北方向、横方向が東西方向になるように設定される。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、例えば、飛行中の航空機(以下、自機という。)に搭載された画像表示装置で、別の航空機(例えば無人航空機。以下、他機という。)に搭載したカメラによって遠隔地点の観測対象を画像観測する際に上記の画像表示システムを用いる場合について考える。
なお、ここでは、自機と他機はいずれも軍用機であり、画像表示装置は自機に搭載されており、自機の搭乗員が、他機に搭載されたカメラで撮影された動画の画像101(
図10参照)を画像表示装置の画面100上に表示させて見ているものとする。
【0006】
この場合、画像表示装置の画面100上に、例えば
図10に示したような敵の軍用トラックが撮影された画像101が表示された場合、この軍用トラックが自機の方を向いているのであれば、攻撃される可能性があるため、自機は攻撃を避ける行動をとる必要がある。
また、画像101に表示された軍用トラックが自機の方を向いていないのであれば、自機は攻撃を避ける行動をとる必要はないと判断できる。
【0007】
しかし、上記の場合、画像表示装置は、他機のカメラで撮影された動画の画像101のデータが送信されてくるたびに無人航空機の機体の高度や方位、カメラのパン角度やチルト角度からカメラの視点103やカメラの視界範囲104を算出して画面100上に表示するため、カメラが撮影してからこれらの情報を画面100上に表示するまでに時間がかかる可能性がある。
【0008】
また、自機の搭乗員は、画像表示装置の画面100上の例えば
図10に示したような表示を見て、カメラが北東の方向を撮影しており、軍用トラックが画像101中で右下方向に進んでいるため、軍用トラックは南の方向に進行していると判断する。
そして、例えば他機102に対して自機は南側を飛行している場合には、搭乗員は敵の軍用トラックは自機の方を向いていると判断することになるが、このように判断までに時間がかかると、その間に敵の軍用トラックから攻撃を受けてしまう可能性があり、自機が非常に危険な状況に陥り、最悪の場合、撃墜されてしまう等の問題が生じ得る。
【0009】
本発明は、上記の点を鑑みてなされたものであり、自機の搭載された画像表示装置で、他機に搭載されたカメラによって観測対象(上記の場合は敵の軍用トラック)を画像観測する際に、自機の搭乗員に、観測対象が自機や他機の方を向いているか否かを瞬時に判断させることが可能な画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
前記の問題を解決するために、本発明の一実施の形態は、画像表示システムにおいて、
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は、前記画面上に、前記他機を表すシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記自機に対する前記他機の相対的な方位角に基づいて回転させた方向を向く姿勢で表示するとともに、前記カメラの視野を表すシンボルを、前記他機のシンボルの中心を回転中心として前記他機のシンボルの真上の位置から前記他機に対する前記カメラのパン角度と前記自機に対する前記他機の相対的な方位角とに基づいて回転させた位置に表示することを特徴とする。
【0013】
本発明の一実施の形態は、画像表示システムにおいて、
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は、所定の操作に応じて前記他機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる他機ヘディング基準の表示に切り替えることを特徴とする。
【0016】
本発明の一実施の形態は、画像表示システムにおいて、
自機に搭載された画像表示装置と、
他機に搭載されたカメラと、
を備え、
前記画像表示装置は、前記自機の機首が向いている方向が基準になるように前記カメラが撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備え、
前記制御部は、
所定の操作に応じて前記カメラが撮影した画像をそのまま表示させるカメラヘディング基準の表示に切り替え、
前記カメラヘディング基準による表示の仕方が選択された場合は、前記画面上に、前記カメラの視野を表すシンボルを前記他機のシンボルの真上の位置に表示するとともに、前記他機のシンボルを、当該他機のシンボルの中心を回転中心として機首が上を向く姿勢から前記他機に対する前記カメラのパン角度に基づいて回転させた方向を向く姿勢で表示することを特徴とする。
【発明の効果】
【0019】
本発明によれば、自機の搭載された画像表示装置で、他機に搭載されたカメラによって観測対象を画像観測する際に、自機の搭乗員に、観測対象が自機や他機の方を向いているか否かを瞬時に判断させることが可能となる。
【図面の簡単な説明】
【0020】
【
図1】本実施形態に係る画像表示システムの構成を説明するための図である。
【
図2】画像表示装置の画面に表示される表示の例を表す図である。
【
図3】カメラをパンさせた場合に画像表示装置の画面に表示される表示の例を表す図である。
【
図4】
図2の画像Pを他機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。
【
図5】(A)画像表示装置の画面に表示される表示の、
図2とは別の例を表す図であり、(B)(A)の画像Pを他機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。
【
図6】
図2の画像Pを自機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。
【
図7】
図5(A)の画像Pを自機ヘディング基準による表示の仕方で表示させた場合に画像表示装置の画面に表示される表示の例を表す図である。
【
図8】
図6の状態から自機を右旋回させた場合に画像表示装置の画面に表示される表示の例を表す図である。
【
図9】
図5(A)に示した状況を従来の画像表示システムを用いて表示した場合に画像表示装置の画面に表示される表示の例を表す図である。
【
図10】従来の画像表示システムにおいて画像表示装置の画面に表示される表示の例を表す図である。
【発明を実施するための形態】
【0021】
以下、本発明に係る画像表示システムの実施の形態について、図面を参照して説明する。
なお、以下でも、自機と他機がいずれも軍用機であり、飛行中の自機に搭載された画像表示装置を用い、他機に搭載したカメラによって遠隔地点の観測対象を画像観測する場合であり、観測対象が敵の軍用車両であることを前提として説明するが、本発明に係る画像表示システムはそれに限定されず、民間の日常業務に用いたり災害時等に用いることも可能である。
また、以下では、カメラが撮影した画像が動画である場合について説明するが、静止画を撮影してもよい。
【0022】
図1は、本実施形態に係る画像表示システムの構成を説明するための図である。なお、
図1では、他機Bが自機Aに近い位置に記載されているが、実際には他機Bは自機Aから離れた位置を飛行している。
本実施形態に係る画像表示システム1は、自機Aに搭載された画像表示装置2と、他機Bに搭載されたカメラ3とを備えて構成されている。
【0023】
自機Aは、搭乗員が搭乗する有人の航空機(以下、有人機という。)である。
他機Bは、有人機であってもよく、無人航空機(Unmanned Aerial Vehicle:UAV。以下、無人機という。)であってもよい。
【0024】
カメラ3は、他機Bに搭載されており、少なくともパン機能を有している。チルト機能を有していてもよい。
そして、カメラ3は、自機Aの搭乗員等や図示しない地上局等の操作者が遠隔操作するように構成することが可能であり、他機Bが有人機である場合には他機Bの搭乗員がカメラ3を操作するように構成することも可能である。
【0025】
本実施形態では、カメラ3は上記のように動画を撮影するようになっており、画像を撮影するごとに画像を自機Aの画像表示装置2に送信するようになっている。
なお、カメラ3が撮影した画像を例えば地上局等を経由して自機Aの画像表示装置2に送信するように構成することも可能である。
【0026】
また、カメラを自機Aの搭乗員が遠隔操作する場合は、他機Bに対するカメラ3のパン角度θの情報を自機Aが有しているが、カメラを他機Bの搭乗員が操作したり地上局等の操作者が遠隔操作する場合は、自機Aは、他機Bに対するカメラ3のパン角度θの情報を有していない。
そのため、後者の場合は、カメラ3や地上局等から他機Bに対するカメラ3のパン角度θの情報も送信させるように構成される。なお、他機Bに対するカメラ3のパン角度θは、他機Bの機首を基準として右回りにカメラ3の向く方向を測った水平角をいう。
【0027】
また、無人機である他機Bを自機Aの搭乗員の遠隔操作で飛行する場合は、自機Aは他機Bの方位角φbの情報を有しているが、無人機である他機Bを地上局等の操作者が遠隔操作する場合や他機Bが有人機である場合は、自機Aは、地上局等や他機Bから他機Bの方位角φbの情報を入手するように構成される。
なお、方位角とは、航空機を地図上に表した場合の北(真北)の方向から右回り(時計回り)に機首の方向を測った水平角をいう。
【0028】
画像表示装置2は、汎用のコンピュータで構成されていてもよく、専用装置として構成されていてもよい。
画像表示装置2は、自機Aの機首が向いている方向が基準になるようにカメラ3が撮影した画像を回転させて表示させる自機ヘディング基準によって画面上に表示する制御部を備えている。
以下、画像表示装置2の制御部における処理について説明する。
【0029】
画像表示装置2の制御部は、自機Aから自機Aの方位角φaの情報を入手する。そして、上記のように他機Bの方位角φbの情報を入手すると、
ψ=φb-φa …(1)
を計算して自機Aに対する他機Bの相対的な方位角ψを算出するようになっている。なお、自機Aに対する他機Bの相対的な方位角ψの算出を、常時行うように構成することも可能であるが、後述する自機ヘディング基準による表示の仕方が選択された場合にのみ行うように構成することも可能である。
【0030】
本実施形態では、画像表示装置2は、液晶ディスプレイ等で構成された画面を有しており、例えば
図2に示すように、画面21の右側に、カメラ3が撮影した画像Pを表示するスペースが設けられている。
また、本実施形態では、画面21の左側上部には、画像表示装置2での画像Pの表示の仕方を切り替えるためのアイコン22A~22Cが表示されるようになっており、自機Aの搭乗員はアイコン22A~22Cのいずれかにタッチすることでアイコンを選択することで画像表示装置2での画像Pの表示の仕方を選択することができるようになっている。
【0031】
なお、
図2では、アイコン22Aが選択された場合が示されており、本実施形態では、アイコンが選択されると、選択されたアイコンの横に三角形の印が表示されるようになっており、印が表示されたアイコンが選択されていることを表すようになっている。
また、選択されたアイコンの横に印を表示する代わりに、あるいはそれとともに、例えば選択されたアイコンを表示する色を変えたりアイコンを点滅させたりして当該アイコンが選択されていることを表すように表示することも可能である。
【0032】
また、本実施形態では、画像表示装置2の画面21の左側下部に、他機Bを表すシンボル23やカメラ3の視野を表すシンボル24を表示するようになっている。
これらのシンボル23、24の表示の仕方については、以下で説明する画像Pの表示の仕方についての説明の中で説明する。なお、後述するようにシンボル23、24は回転させて表示されるが、その際、それらの画面21上での大きさは変わらない。
【0033】
次に、本実施形態に係る画像表示システム1における画像表示装置2での画像Pの表示の仕方について説明する。
本実施形態では、画像表示装置2の制御部は、自機Aの搭乗員の選択に従って、画像表示装置2での画像Pの表示の仕方を、カメラヘディング基準による表示の仕方と、他機ヘディング基準による表示の仕方と、自機ヘディング基準による表示の仕方との少なくとも3つの表示の仕方の間で切り替えて表示させることができるように構成されている。
以下、具体的に説明する。
【0034】
[カメラヘディング基準による表示の仕方]
本実施形態では、自機Aの搭乗員は、画像表示装置2の画面21上に表示されている「カメラHDG」のアイコン22Aをタッチして選択することで、カメラヘディング基準による表示の仕方を選択することができるようになっている。
なお、「HDG」はヘディングの略記である(以下同様)。
【0035】
画像表示装置2の制御部は、自機Aの搭乗員によりアイコン22Aが選択されると、その選択に従って画像Pの表示の仕方をカメラヘディング基準による表示の仕方に切り替える。
カメラヘディング基準による表示の仕方では、制御部は、
図2に示すように、カメラ3が撮影した画像Pをそのまま(すなわち回転させずに)画面21上に表示させるようになっている。
【0036】
また、本実施形態では、制御部は、カメラヘディング基準による表示の仕方が選択された場合は、
図2に示すように、画面21上に、カメラ3の視野を表すシンボル24を他機Bのシンボル23の真上の位置に上向きに表示するようになっている。
また、制御部は、それとともに、他機Bのシンボル23を、シンボル23の中心を回転中心として機首が上を向く姿勢から前述した他機Bに対するカメラ3のパン角度θだけ左回り(反時計回り)に回転させた方向を向く姿勢で表示するようになっている。
【0037】
このように、カメラ3の視野を表すシンボル24を他機Bのシンボル23の真上の位置に上向きに表示することで、シンボル24を見た自機Aの搭乗員がカメラヘディング基準による表示の仕方が選択されていることを直感的に認識することが可能となる。
また、他機Bのシンボル23を機首が上を向く姿勢からカメラ3のパン角度θだけ回転させた方向を向く姿勢で表示することで、他機Bに対するカメラ3のパン角度θがどの程度かを示すとともに、選択されている画像の表示の仕方が、他機ヘディング基準による表示の仕方ではないこと(カメラヘディング基準による表示の仕方であること)を自機Aの搭乗員に直感的に認識させることが可能となる。
すなわち、画像表示装置2の画面21を見ている自機Aの搭乗員は、シンボル23、24の表示のされ方を見れば、即座にカメラヘディング基準による表示の仕方が選択されていることを認識することが可能となる。
【0038】
因みに、図示を省略するが、上記の状態で、他機Bが直進を続け、カメラ3をその状態からパンさせなければ、他機Bに対するカメラ3のパン角度θは変わらないため、シンボル23、24の表示は
図2に示した状態のまま変わらず、画像Pが他機Bの進行方向とは逆方向(この場合は図中右上の方向)に移動していく状態になる。
また、上記の状態でカメラ3をパンさせずに他機Bが旋回した場合も、シンボル23、24の表示は
図2に示した状態のまま変わらず、画像Pが他機Bの旋回方向とは逆方向にパンしていく状態になる。
【0039】
一方、例えば他機Bが直進している状態で、カメラ3を遠隔操作して他機Bの機首方向にパンさせると、画像表示装置2の画面21上に表示される画像Pがパンしていくとともに、他機Bのシンボル23が時計回りに回転していく。その間、カメラ3の視野を表すシンボル24は、他機Bのシンボル23の真上の位置で上向きに表示された状態が維持される。
そして、例えばカメラ3が他機Bの機首方向を向く状態になると、例えば
図3に示すように、画面21上には、他機Bの正面方向を撮影した画像Pが表示されるとともに、他機Bのシンボル23は機首が上を向く姿勢になる。
なお、以上の表示の仕方は、自機Aが旋回等をしても何ら影響を受けない。
【0040】
[他機ヘディング基準による表示の仕方]
また、本実施形態では、自機Aの搭乗員は、画像表示装置2の画面21上に表示されている「他機HDG」のアイコン22Bをタッチして選択することで、他機ヘディング基準による表示の仕方を選択することができるようになっている。
画像表示装置2の制御部は、自機Aの搭乗員によりアイコン22Bが選択されると、その選択に従って画像Pの表示の仕方を他機ヘディング基準による表示の仕方に切り替える。
【0041】
他機ヘディング基準による表示の仕方では、制御部は、他機Bの機首が向いている方向が基準になるようにカメラ3が撮影した画像Pを回転させて表示させるようになっている。
すなわち、本実施形態では、自機Aの搭乗員がアイコン22Bを選択して他機ヘディング基準による表示の仕方を選択すると、制御部は、画面21上で、カメラ3が撮影した画像Pを他機Bに対するカメラ3のパン角度θに基づいて回転させて表示させるようになっている。
【0042】
具体的に説明すると、例えば
図2に示した状態で、自機Aの搭乗員がアイコン22Bにタッチして選択すると、画像表示装置2の制御部は、
図4に示すように、アイコンの横の三角形の印をアイコン22Bの横に移動させる。
また、カメラ3が撮影した画像Pを、画面21上で、画像Pの中心を回転中心として他機Bに対するカメラ3のパン角度θだけ回転させて表示させる。その際、
図4に示すように、例えば画像Pが欠けた状態(この場合は画像Pの角隅部が欠けた状態)になる場合があるが、それを補正する画像処理等は行わず、そのまま表示する。
【0043】
このように構成すると、画像Pをカメラ3のパン角度θだけ回転させるだけであるため、回転させた画像Pが画面21上に瞬時に表示される。
そして、自機Aの搭乗員がその画像P(
図4参照)を見れば、画像P中に撮影されている車両αも車両βも他機Bの方を向いていないと瞬時に判断することができる。そのため、他機Bが攻撃を避ける行動をとる必要があるかないかを即座に判断することができる。そして、この場合は、他機Bが車両αや車両βから攻撃を受ける可能性が低いため他機Bが攻撃を避ける行動をとる必要はないと即座に判断できる。
【0044】
一方、カメラヘディング基準による表示の仕方で画面21上に例えば
図5(A)に示すような画像Pを表示された場合、画像Pに撮影されている車両αや車両βが他機Bの方を向いているか否かが分かりにくいが、上記と同様にして、画像表示装置2での画像Pの表示の仕方を他機ヘディング基準による表示の仕方に切り替えると、
図5(B)に示すように、車両βは他機Bの方を向いていないが、車両αが他機Bの方を向いていることが瞬時に判断できる。
【0045】
このように、本実施形態に係る画像表示システム1では、画像表示装置2での画像Pの表示の仕方を他機ヘディング基準による表示の仕方に切り替えることで、自機Aの搭乗員に、観測対象(この場合は車両α、β)が他機Bの方を向いているか否かを瞬時に判断させることが可能となる。
図5(B)に示した場合には、自機Aの搭乗員に、観測対象、特に車両αが他機Bの方を向いていると瞬時に判断させることが可能となる。
そして、自機Aの搭乗員に、他機Bが攻撃を避ける行動をとる必要があるか、あるいは他機Bが攻撃を避ける行動をとる必要はないが車両αの監視を続けるべきか否か等を即座に判断させることが可能となる。
【0046】
一方、本実施形態では、画像表示装置2の制御部は、他機ヘディング基準による表示の仕方が選択された場合は、
図4や
図5(B)に示すように、画面21上に、他機Bのシンボル23を機首が上を向く姿勢で表示するようになっている。
また、制御部は、それとともに、カメラ3の視野を表すシンボル24を、他機Bのシンボル23の中心を回転中心として他機Bのシンボル23の真上の位置から他機Bに対するカメラ3のパン角度θだけ右回り(時計回り)に回転させた位置に表示するようになっている。
【0047】
このように、他機Bのシンボル23を機首が上を向く姿勢で表示することで、シンボル23を見た自機Aの搭乗員が他機ヘディング基準による表示の仕方が選択されていることを直感的に認識することが可能となる。
また、カメラ3の視野を表すシンボル24を他機Bのシンボル23の真上の位置からカメラ3のパン角度θだけ回転させた位置に表示することで、他機Bに対するカメラ3のパン角度θがどの程度かを示すとともに、選択されている画像の表示の仕方が、カメラヘディング基準による表示の仕方ではないこと(他機ヘディング基準による表示の仕方であること)を自機Aの搭乗員に直感的に認識させることが可能となる。
すなわち、画像表示装置2の画面21を見ている自機Aの搭乗員は、シンボル23、24の表示のされ方を見れば、即座に他機ヘディング基準による表示の仕方が選択されていることを認識することが可能となる。
【0048】
なお、図示を省略するが、
図4に示した状態で、他機Bが直進を続け、カメラ3をパンさせなければ、他機Bに対するカメラ3のパン角度θは変わらないため、シンボル23、24の表示は
図4に示した状態のまま変わらず、画像Pが他機Bの進行方向とは逆方向(この場合は図中下向き)に移動していく状態になる。
また、上記の状態でカメラ3をパンさせずに他機Bが旋回した場合も、シンボル23、24の表示は
図2に示した状態のまま変わらず、画像Pが他機Bの旋回方向とは逆方向にパンしていく状態になる。
【0049】
一方、例えば他機Bが直進している状態で、カメラ3を遠隔操作して他機Bの機首方向にパンさせると、画像表示装置2の画面21上に表示される画像Pがパンしていくとともに、カメラ3の視野を表すシンボル24が反時計回りに回転していく。その間、他機Bのシンボル23は上向きに表示された状態が維持される。
そして、例えばカメラ3が他機Bの機首方向を向く状態になると、画面21上の表示が
図3に示した画面表示と同じ表示になる。
なお、以上の表示の仕方は、自機Aが旋回等をしても何ら影響を受けない。
【0050】
[自機ヘディング基準による表示の仕方]
また、本実施形態では、自機Aの搭乗員は、画像表示装置2の画面21上に表示されている「自機HDG」のアイコン22Cをタッチして選択することで、自機ヘディング基準による表示の仕方を選択することができるようになっている。
画像表示装置2の制御部は、自機Aの搭乗員によりアイコン22Cが選択されると、その選択に従って画像Pの表示の仕方を自機ヘディング基準による表示の仕方に切り替える。
【0051】
自機ヘディング基準による表示の仕方では、制御部は、自機Aの機首が向いている方向が基準になるようにカメラ3が撮影した画像Pを回転させて表示させるようになっている。
すなわち、本実施形態では、自機Aの搭乗員がアイコン22Cを選択して自機ヘディング基準による表示の仕方を選択すると、制御部は、画面21上で、カメラ3が撮影した画像Pを他機Bに対するカメラ3のパン角度θと自機Aに対する他機Bの相対的な方位角ψ(上記(1)式参照)とに基づいて回転させて表示させるようになっている。
【0052】
具体的に説明すると、例えば
図2に示した状態で、自機Aの搭乗員がアイコン22Cにタッチして選択すると、画像表示装置2の制御部は、
図6に示すように、アイコンの横の三角形の印をアイコン22Cの横に移動させる。
また、カメラ3が撮影した画像Pを、画面21上で、画像Pの中心を回転中心として、他機Bに対するカメラ3のパン角度θと自機Aに対する他機Bの相対的な方位角ψとの和の角度θ+ψだけ回転させて表示させる。その際、
図6に示すように、例えば画像Pが欠けた状態(この場合は画像Pの左右が欠けた状態)になる場合があるが、それを補正する画像処理等は行わず、そのまま表示する。
【0053】
このように構成すると、画像Pをθ+φだけ回転させるだけであるため、回転させた画像Pが画面21上に瞬時に表示される。
そして、自機Aの搭乗員がその画像P(
図6参照)を見れば、画像P中に撮影されている車両αも車両βも自機Aの方を向いていないと瞬時に判断することができる。そのため、自機Aが攻撃を避ける行動をとる必要があるかないかを即座に判断することができる。そして、この場合は、自機Aが車両αや車両βから攻撃を受ける可能性が低いため自機Aが攻撃を避ける行動をとる必要はないと即座に判断できる。
【0054】
一方、カメラヘディング基準による表示の仕方で画面21上に例えば
図5(A)に示したような画像Pを表示された場合、画像Pに撮影されている車両αや車両βが自機Aの方を向いているか否かが分かりにくいが、上記と同様にして、画像表示装置2での画像Pの表示の仕方を自機ヘディング基準による表示の仕方に切り替えると、
図7に示すように、車両βは自機Aの方を向いていないが、車両αが自機Aの方を向いている可能性があることが瞬時に判断できる。
【0055】
このように、本実施形態に係る画像表示システム1では、画像表示装置2での画像Pの表示の仕方を自機ヘディング基準による表示の仕方に切り替えることで、自機Aの搭乗員に、観測対象(この場合は車両α、β)が自機Aの方を向いているか否かを瞬時に判断させることが可能となる。
他機Bが自機Aの前方を飛行している場合、自機Aは
図7の画像Pにおける下側を飛行していることになるため、自機Aの搭乗員に車両αが自機Aの方を向いている可能性があると瞬時に判断させることが可能となる。また、他機Bが自機Aの後方を飛行している場合、自機Aは
図7の画像Pにおける上側を飛行していることになるため、自機Aの搭乗員に車両βが自機Aの方を向いている可能性があると瞬時に判断させることが可能となる。
【0056】
また、他機Bが自機Aの左側又は右側を飛行している場合、自機Aは
図7の画像Pにおける右側又は左側を飛行していることになるため、自機Aの搭乗員に車両αが自機Aの方を向いている可能性があると瞬時に判断させることが可能となる。
自機ヘディング基準による表示の仕方では、このように回転して表示された画像Pを見て、観測対象(この場合は車両α、β)が自機Aの方を向いているか否かを瞬時に判断させることが可能となるため、自機Aの搭乗員に、自機Aが攻撃を避ける行動をとる必要があるか、あるいは自機Aが攻撃を避ける行動をとる必要はないが車両αや車両βの監視を続けるべきか否か等を即座に判断させることが可能となる。
【0057】
一方、本実施形態では、画像表示装置2の制御部は、自機ヘディング基準による表示の仕方が選択された場合は、
図6や
図7に示すように、画面21上に、他機Bのシンボル23を、当該シンボル23の中心を回転中心として機首が上を向く姿勢から自機Aに対する他機Bの相対的な方位角ψ(上記(1)式参照)だけ右回り(時計回り)回転させた方向を向く姿勢で表示するようになっている。
また、制御部は、それとともに、カメラ3の視野を表すシンボル24を、他機Bのシンボル23の中心を回転中心として他機Bのシンボル23の真上の位置から他機Bに対するカメラ3のパン角度θと自機Aに対する他機Bの相対的な方位角ψとの和の角度θ+ψだけ右回り(時計回り)に回転させた位置に表示するようになっている。
【0058】
シンボル23、24をこのように表示することで、シンボル23、24を見た自機Aの搭乗員が、カメラヘディング基準や他機ヘディング基準による表示の仕方ではなく、自機ヘディング基準による表示の仕方が選択されていることを直感的に認識することが可能となる。
【0059】
なお、例えば
図6に示した状態で、自機Aが車両αを追跡することを決定した場合、自機Aの搭乗員(特に操縦者)は、
図6に示した画像Pから自機Aを右旋回させればよいことを即座に認識することができる。
そして、例えば、他機Bが直進を続け、カメラ3をその状態からパンさせない状態で自機Aを右旋回させると、他機Bの方位角φbや他機Bに対するカメラ3のパン角度θは変わらず、自機Aの方位角φaだけが変化していく。
【0060】
そのため、画像Pが、
図6に示した状態から自機Aの旋回方向とは逆方向(この場合は図中反時計回り)に移動していく状態になる。
また、この場合、自機Aが右旋回するため自機Aの方位角φaが大きくなっていき、ψ(=φb-φa)やθ+ψは逆に自機Aの方位角φaの分だけ小さくなっていく。そのため、シンボル23、24の表示は反時計回りに回転していく状態になる。
【0061】
そのため、画像表示装置2の画面21上に表示される画像Pやシンボル23、24の表示は
図8に示すような状態になる。
そして、このような表示、特に画像Pは、自機Aが車両αを追跡する状態と直感的に一致する状態になる。
【0062】
ここで、本発明と比較する例として、上記と同じ状況を、前述した特許文献1に記載された画像表示システムを用いて表示する場合について考える。
この場合、
図10に示した場合と同様に、画像表示装置の画面100は、前述したように画面100の縦方向が南北方向、横方向が東西方向になるように設定されるものとする。
【0063】
そして、特許文献1に記載された画像表示装置の画面100上には
図10に示したように他機bしか表示されないが(
図10では符号102参照)、上記の場合は自機aの表示も必要になる。
そのため、画像表示装置の画面100では例えば
図9に示すような表示がなされることになると考えられる。
【0064】
なお、
図9において、符号104はカメラの視界範囲を表す。また、他機bに搭載されたカメラで撮影した画像101は、
図5(A)等に示した画像Pと同じ画像である。
また、
図9では、カメラの視点103や無人航空機(他機b)の軌跡105(
図10参照)の図示が省略されている。さらに、
図9では、自機aと他機bの相対的な大きさや、自機aや他機bの大きさと距離との関係は、必ずしも現実を反映していない。
【0065】
この場合、画像表示装置の画面100上で
図9に示すような表示を行うためには、本発明と同様に自機aの方位角や他機bの方位角、他機bに対するカメラのパン角度の情報が必要となるが、そのほかに、自機aや他機bの位置情報や他機bの高度、カメラのチルト角度等の情報も必要になる。
そして、それらの情報に基づいて画面100上に自機aや他機bを所定の位置と向きで表示し、他機bの高度や方位角、カメラのパン角度やチルト角度からカメラの視界範囲104等を算出して表示する。そのため、カメラ等から送信された画像101を画像表示装置が受信してから画面100上に
図9に示したような表示を行うまでに時間がかかる可能性がある。
【0066】
また、自機aの搭乗員は、
図9の表示を見てカメラが南南西の方向を撮影していることを認識し、画像101中で車両αが右下方向に進んでいることを認識した上で、頭の中で画像101を上下が反転するように回転させて、車両αが実際には上方(北向き)に進んでいることを認識して、ようやく車両αが他機bや自機aの方を向いていることを認識する。
そのため、車両αが他機bや自機aの方を向いていることを認識するまでに時間がかかり、車両αが敵の軍用車両等である場合には、自機aの搭乗員が、車両αが他機bや自機aの方を向いていることを認識するまでの間に車両αから攻撃を受けてしまう可能性が生じる。そのため、この場合、他機bが撃墜されてしまったり、自機aが非常に危険な状況に陥ってしまう可能性がある。
【0067】
それに対して、本実施形態に係る画像表示システム1では、上記のように、画像表示装置2の画面21上に自機Aや他機Bの位置は表示せず、また、カメラ3が撮影した画像Pを、画像表示装置2の画面21上で、他機Bに対するカメラ3のパン角度θや自機Aに対する他機Bの相対的な方位角ψに基づいて回転させて表示させるだけである。
そのため、カメラ3等から送信された画像Pを画像表示装置2が受信するとほぼ同時に、画面21上に
図2~
図8に示したような表示を行うことができる。
【0068】
そして、自機Aの搭乗員が画像表示装置2の画像Pを見れば、画像P中に撮影されている観測対象(例えば車両αや車両β)が自機Aや他機Bの方を向いているか否かを瞬時に判断することができる。
そのため、自機Aや他機Bが攻撃を避ける行動をとる必要があるかないかを即座に判断することが可能となり、自機Aの搭乗員に必要な行動を迅速に行わせることが可能となる。
【0069】
以上のように、本実施形態に係る画像表示システム1によれば、自機Aの搭載された画像表示装置2の制御部は、自機Aの機首が向いている方向が基準になるようにカメラ3が撮影した画像Pを回転させて表示させる自機ヘディング基準によって画面21上に表示する。
【0070】
そのため、自機Aの搭乗員に、観測対象が自機Aや他機Bの方を向いているか否かを瞬時に判断させることが可能となる。
そして、観測対象が自機Aや他機Bの方を向いているか否かを瞬時に判断させることが可能となるため、自機Aの搭乗員に、観測対象が自機Aや他機Bの方を向いている場合に必要な行動を迅速に行わせることが可能となり、あるいは観測対象が自機Aや他機Bの方を向いていない場合に適切な行動を迅速に行わせることが可能となる。
【0071】
なお、本発明が上記の実施形態等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。
例えば、
図1等では、自機Aや他機Bが飛行機である場合を示したが、自機Aや他機Bがヘリコプタ等の他の形態の有人航空機であってもよく、また、他機Bがドローン等であってもよい。
【符号の説明】
【0072】
1 画像表示システム
2 画像表示装置
3 カメラ
23 他機を表すシンボル
24 カメラの視野を表すシンボル
A 自機
B 他機
P 画像
θ 他機に対するカメラのパン角度
ψ 自機に対する他機の相対的な方位角