(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-20
(45)【発行日】2023-01-30
(54)【発明の名称】映像生成装置及び映像生成方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230123BHJP
H04N 23/63 20230101ALI20230123BHJP
H04N 23/60 20230101ALI20230123BHJP
G08G 3/00 20060101ALI20230123BHJP
G08G 3/02 20060101ALI20230123BHJP
B63B 49/00 20060101ALI20230123BHJP
【FI】
H04N7/18 D
H04N5/232 930
H04N5/232 290
G08G3/00 A
G08G3/02 A
B63B49/00 Z
(21)【出願番号】P 2018161564
(22)【出願日】2018-08-30
【審査請求日】2021-06-23
(73)【特許権者】
【識別番号】000205535
【氏名又は名称】株式会社 商船三井
(73)【特許権者】
【識別番号】000166247
【氏名又は名称】古野電気株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】清家 康之
(72)【発明者】
【氏名】久嶋 隆紀
(72)【発明者】
【氏名】友野 徳之
(72)【発明者】
【氏名】長谷川 健
(72)【発明者】
【氏名】西山 浩二
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開平6-301897(JP,A)
【文献】特開2012-127947(JP,A)
【文献】特表2014-529322(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 5/222-5/257
G08G 1/00-99/00
B63B 49/00
(57)【特許請求の範囲】
【請求項1】
水上移動体に設けられる撮影手段と、
物標に関する物標情報を取得する物標情報取得手段と、
前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、
前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、
前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第1詳細情報を、前記拡張映像が表示される画面の
下部の予め決められた第1スペースに表示する第1詳細情報表示手段と
を備えることを特徴とする映像生成装置。
【請求項2】
前記マーカーと前記第1詳細情報との対応関係を示す対応線を表示する対応線表示手段
を備えることを特徴とする請求項1に記載の映像生成装置。
【請求項3】
前記物標情報取得手段により取得された前記物標情報のうち前記第1詳細情報とする項目を前記ユーザが選択するための第1詳細情報項目選択手段
を備えることを特徴とする請求項1に
記載の映像生成装置。
【請求項4】
前記第1詳細情報項目選択手段により選択された前記項目に基づいて、前記第1詳細情報を表示する第1表示欄の数を決定する第1表示欄数決定手段
を備えることを特徴とする請求項3に
記載の映像生成装置。
【請求項5】
前記第1詳細情報を表示する複数の第1表示欄の前記第1スペースにおける配置を決定する第1表示欄配置決定手段
を備えることを特徴とする請求項1に
記載の映像生成装置。
【請求項6】
前記第1詳細情報表示手段は、前記拡張映像における前記物標の表示箇所の移動に対応して、前記第1詳細情報の表示を異なる配置の前記第1表示欄に移動すること
を特徴とする請求項5に
記載の映像生成装置。
【請求項7】
前記第1詳細情報表示手段は、前記第1詳細情報の表示を視覚的に連続するように移動すること
を特徴とする請求項6に
記載の映像生成装置。
【請求項8】
複数の前記第1詳細情報のうち少なくとも1つを前記ユーザが選択するための第1詳細情報選択手段と、
前記物標情報取得手段により取得された前記物標情報に基づいて、前記第1詳細情報選択手段により選択された前記第1詳細情報と同一の前記物標の異なる情報である第2詳細情報を、前記第1スペースと異なる第2スペースに表示する第2詳細情報表示手段と
を備えることを特徴とする請求項1に記載の映像生成装置。
【請求項9】
危険な物標を検出する危険物標検出手段と、
前記危険物標検出手段により検出された前記危険な物標又は前記危険な物標に対応する前記物標情報を目立つように表示する危険物標表示手段と
を備えることを特徴とする請求項1に
記載の映像生成装置。
【請求項10】
前記第1詳細情報表示手段は、前記第1スペースに前記画面の横方向に並べて配置された複数の第1表示欄のいずれか1つに前記第1詳細情報を表示すること
を特徴とする請求項1に記載の映像生成装置。
【請求項11】
前記第1詳細情報表示手段は、前記複数の第1表示欄のうち、前記ユーザにより選択された前記マーカーに対応する前記物標が表示された箇所から最も近い前記第1表示欄に前記第1詳細情報を表示すること
を特徴とする請求項10に記載の映像生成装置。
【請求項12】
水上移動体に設けられる撮影手段により撮影し、
物標に関する物標情報を取得し、
前記撮影手段により撮影した撮影映像に、取得した前記物標情報が表示された拡張映像を生成し、
前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示し、
取得した前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第1詳細情報を、前記拡張映像が表示される画面の
下部の予め決められた第1スペースに表示すること
を含むことを特徴とする映像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物標を含む映像を生成する映像生成装置に関する。
【背景技術】
【0002】
一般に、カメラからの画像ストリームについてジオリファレンシングを行う映像生成装置が開示されている。例えば、船舶のカメラが撮影したストリーム画像データを受信し、当該船舶の周囲の物標(他船等)の位置を取得して、ディスプレイに映し出す映像を生成する映像生成装置がある(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2015/0350552号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、船舶が航行するには、船舶の周囲にある物標(例えば、水上移動体)について、様々な情報を取得する必要がある。このため、船舶のカメラが撮影した映像に、航行に必要な全ての情報を単純に重ね合わせてディスプレイに表示すると、表示された情報が分かり難くなる。したがって、このような映像では、利便性が低下する。
【0005】
本発明の目的は、船舶から撮影した映像に情報を表示させ、利便性を向上させた映像生成装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の観点に従った映像生成装置は、水上移動体に設けられる撮影手段と、物標に関する物標情報を取得する物標情報取得手段と、前記撮影手段により撮影される撮影映像に、前記物標情報取得手段により取得される前記物標情報が表示された拡張映像を生成する拡張映像生成手段と、前記物標をユーザが選択するためのマーカーを、前記拡張映像における前記物標の表示箇所に対応して移動するように表示するマーカー表示手段と、前記物標情報取得手段により取得された前記物標情報に基づいて、前記ユーザにより選択された前記マーカーに対応する前記物標の第1詳細情報を、前記拡張映像が表示される画面の下部の予め決められた第1スペースに表示する第1詳細情報表示手段とを備える。
【発明の効果】
【0007】
本発明によれば、船舶から撮影した映像に情報を表示させ、利便性を向上させた映像生成装置を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態に係る映像生成装置の構成を示すブロック図。
【
図3】実施形態に係る船舶の周囲の状況の例を示す概念図。
【
図4】実施形態に係る3次元仮想空間を示す概念図。
【
図5】実施形態に係るカメラによる撮影映像の例を示すイメージ図。
【
図6】実施形態に係るデータ合成部から出力されるAR映像を示すイメージ図。
【
図7】
図4の状態から船舶がピッチ方向及びロール方向に揺動した場合を示す概念図。
【
図9】本実施形態に係るAR映像に方位を示す目盛情報が表示されたイメージ図。
【
図10】本実施形態に係るAR映像に方位を示す目盛情報が船体の傾きに応じて表示されたイメージ図。
【
図11】本実施形態に係るAR映像に詳細情報が表示されたイメージ図。
【
図12】本実施形態に係るAR映像に詳細情報を表示する手順の概要を示すフロー図。
【
図13】本実施形態に係るAR映像におけるマーカーの基本的な表示方法を示す概念図。
【
図14】本実施形態に係る第1水上移動体のマーカーと接続された対応線の長さの変化の一例を示すグラフ図。
【
図15】本実施形態に係るAR映像にメイン情報を表示する手順を示すフロー図。
【
図16】本実施形態に係るAR映像にメイン情報を表示する4つの表示欄が配置されたイメージ図。
【
図17】
図11に示す状態から所定時間経過後のAR映像を示すイメージ図。
【発明を実施するための形態】
【0009】
(実施形態)
図1は、本発明の実施形態に係る映像生成装置1の構成を示すブロック図である。
図2は、本実施形態に係る船舶4の側面を示す側面図である。なお、図面における同一部分には同一符号を付し、重複する説明を適宜省略する。
映像生成装置1は、水上を移動する水上移動体である船舶4に搭載される。船舶4は、海、湖、又は河川等の水上を航行可能であれば、どのような水上移動体でもよい。映像生成装置1は、カメラ(撮影機器)3で撮影した映像に、詳細情報を表示することにより、船舶4の周囲の状況を拡張して表現する拡張現実(AR, augmented reality)映像を生成する。以降では、AR映像として説明するが、撮影された映像に情報が付加された映像であればどのような映像でもよい。
【0010】
ディスプレイ2は、映像生成装置1が生成したAR映像を表示する。例えば、ディスプレイ2は、船舶4を操船するオペレータが参照する操船支援装置として設けられる。なお、ディスプレイ2は、船舶4から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、船舶4の客室で乗客が鑑賞するためのディスプレイ、又は、乗船者が装着するウェアラブル端末のディスプレイなどでもよい。
【0011】
次に、映像生成装置1に接続される各種機器について説明する。
図2は、本実施形態に係る船舶4の各種機器が設けられた側面を示す側面図である。
カメラ3は、船舶4の周囲を撮影する広角型のビデオカメラである。カメラ3は、ライブ出力機能を有しており、撮影結果としての動画データ(映像データ又はストリームデータなど)をリアルタイムで生成して映像生成装置1に出力する。カメラ3は、撮影方向が船体に対して水平前方となるように船舶4に設置される。カメラ3は、パン又はチルトなどの回転動作をする回転機構を備える。カメラ3は、映像生成装置1から入力される回転動作を指示する信号に基づいて、船舶4の船体を基準として撮影方向を所定の角度範囲内で変更する。船舶4の高さ及び姿勢は波等の自然環境により様々に変化する。これに伴い、カメラ3の高さ及び姿勢(撮影方向)も3次元的に変化する。
【0012】
映像生成装置1は、カメラ3の他に、船舶機器として、GNSS(global navigation satellite system)コンパス5、角速度センサ6、GNSS受信機7、加速度センサ8、AIS(automatic identification system)受信機9、ECDIS(electronic chart display and information system)10、プロッタ11、レーダ12、及び、ソナー13と接続される。船舶機器は、詳細情報の情報源となる。GNSSコンパス5は、角速度センサ6、GNSS受信機7及び加速度センサ8を内蔵している。なお、角速度センサ6、GNSS受信機7及び加速度センサ8のうち全部又は一部は、GNSSコンパス5とは独立して設けられてもよい。また、船舶機器は、ここで説明するものに限らず、どのような機器でもよい。
【0013】
GNSSコンパス5は、方位センサ及び姿勢センサの機能を有する。GNSSコンパス5は、船舶4に固定された複数のGNSSアンテナ(測位用アンテナ)を備える。GNSSコンパス5は、それぞれのGNSSアンテナの位置関係を、測位衛星から受信した電波に基づいて算出する。特に、GNSSコンパス5は、各GNSSアンテナが受信した電波の搬送波位相の位相差に基づいて、GNSSアンテナの位置関係を求める。GNSSアンテナの位置関係の求め方については、既知の処理方法を適用することができる。これにより、GNSSコンパス5は、船舶4の船首方位を取得する。
【0014】
GNSSコンパス5は、船舶4の姿勢を3次元的に取得する。具体的には、GNSSコンパス5は、船首方位(即ち、船舶4のヨー角)だけでなく、船舶4のロール角及びピッチ角を検出する。GNSSコンパス5で取得された船舶4の姿勢情報は、姿勢取得部25及び他の船舶機器に出力される。
【0015】
角速度センサ6は、例えば、振動ジャイロセンサで構成される。角速度センサ6は、GNSSコンパス5が姿勢情報を検出する検出間隔(例えば、1秒)より短い周期で、船舶4のヨー角速度、ロール角速度及びピッチ角速度を検出する。GNSSコンパス5が検出した角度と、角速度センサ6が検出した角速度の積分値と、を併用することにより、GNSSコンパス5だけを用いる場合よりも短い時間間隔で船舶4の姿勢を取得することができる。また、GNSSの測位衛星からの電波が例えば橋等の障害物により遮られて、GNSSコンパス5による姿勢の検出が不能となっている場合、角速度センサ6は、姿勢情報を取得するための代替的な手段として機能する。
【0016】
GNSS受信機7は、GNSSアンテナが測位衛星から受信した電波に基づいて、船舶4の位置を求める。例えば、船舶4の位置は、GNSSアンテナの緯度、経度及び高さである。GNSS受信機7は、得られた位置情報を、位置取得部24及び他の船舶機器に出力する。
【0017】
加速度センサ8は、例えば、静電容量検出型のセンサである。GNSS受信機7が位置情報を検出する検出間隔(例えば、1秒)より短い周期で、船舶4のヨー軸、ロール軸及びピッチ軸における加速度を検出する。GNSS受信機7が検出した位置情報と、加速度センサ8が検出した加速度の二重積分値とを併用することにより、GNSS受信機7だけを用いる場合よりも短い時間間隔で船舶4の位置を取得することができる。また、GNSSの測位衛星からの電波が遮られてGNSS受信機7による位置の検出が不能となっている場合に、加速度センサ8は、位置情報を取得するための代替的な手段として機能する。
【0018】
AIS受信機9は、他船や陸上局等から送信されるAIS情報を受信するための機器である。AIS情報には、船舶4の周囲を航行している他の船舶(他船)の情報、ランドマークの位置及び識別情報などの様々な情報が含まれる。他船の情報は、例えば、位置(緯度・経度)、船体の長さ、船体の幅、船舶の種類、識別情報、船速、針路、及び、目的地などである。
【0019】
ECDIS10は、GNSS受信機7から船舶4の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、船舶4の周囲の情報を映像生成装置1に出力する。
プロッタ11は、GNSS受信機7から船舶4の位置を継続して取得することにより、船舶4の航行軌跡の情報を生成する。また、プロッタ11は、ユーザに複数のウェイポイント(船舶4が通過する予定の地点)を設定させることにより、これらのウェイポイントを順次に繋ぐようにして予定航路を生成する。
【0020】
レーダ12は、船舶4の周囲に存在する他船等の物標を探知する。また、レーダ12は、物標を捕捉及び追尾することが可能な目標追尾機能(TT)を有する。レーダ12は、このTTにより、物標の位置及び速度ベクトル(TT情報)を求める。レーダ12は、取得したTT情報を映像生成装置1に出力する。
【0021】
ソナー13は、超音波を水中に送信して、その超音波が魚群等の物標で反射した反射波を受信することにより、物標を探知する。ソナー13は、探知した探知情報を映像生成装置1に出力する。
映像生成装置1には、ユーザが情報を入力するための入力機器14が接続されている。入力機器14は、キーボード又はマウス等である。なお、入力機器14は、ディスプレイ2に触れて情報を入力するタッチパネル、又は、ジョイスティックでもよいし、その他に、情報を入力可能な機器であれば、どのような機器でもよい。
【0022】
ユーザは、入力機器14により、AR映像に関する各種指示を行う。例えば、ユーザは、カメラ3の姿勢を変える操作、各種情報の表示の有無の設定、又は、AR映像の視点の設定などについて指示を行う。
次に、映像生成装置1の構成について説明する。
【0023】
映像生成装置1は、AR映像生成部20、撮影映像入力部21、撮影位置設定部22、アンテナ位置設定部23、位置取得部24、姿勢取得部25、詳細情報取得部26、記憶部27、視点設定部28、及び、表示設定部29を備える。
映像生成装置1は、主にコンピュータで構成される。例えば、コンピュータは、演算処理部及び記憶部を備える。演算処理部は、CPU(central processing unit)又は3次元画像処理を高速で行うためのGPU(graphics processing unit)などである。記憶部は、各種メモリ又はHDD(hard disk drive)などである。なお、コンピュータはどのように構成されてもよい。映像生成装置1は、各種機能を実現するためのソフトウェア(プログラム等)を実行することにより動作する。
【0024】
撮影映像入力部21には、例えば30フレーム毎秒で、カメラ3から出力される映像データが入力される。撮影映像入力部21は、入力された映像データをAR映像生成部20に出力する。
撮影位置設定部22は、船舶4におけるカメラ3の位置(撮影位置)を設定する。例えば、撮影位置とは、船体の長さ方向の位置、船体の幅方向の位置、及び、上下方向の位置(高さ)である。カメラ3の高さは、例えば、船舶4において通常想定される喫水線からの高さであるが、船底からの高さとしてもよいし、その他を基準にしてもよい。また、カメラ3の位置をユーザが実際に計測した計測値を入力機器14により入力することにより、撮影位置設定部22に撮影位置が設定されてもよい。撮影位置設定部22は、設定された撮影位置をAR映像生成部20に出力する。
【0025】
アンテナ位置設定部23は、船舶4におけるGNSSアンテナの位置(アンテナ位置)を設定する。アンテナ位置は、例えば、
図2に示す船舶4の基準点4aを基準として、船体の長さ方向、幅方向及び上下方向で位置を表す。基準点4aは、制御の基準となる箇所である。本実施形態では、基準点4aは、船体の中央で、かつ、通常想定される喫水線と同じ高さとなる位置としているが、どのように決定してもよい。例えば、アンテナ位置の設定は、上述の撮影位置と同様に、実際の計測値をユーザが入力することで行われてもよい。アンテナ位置設定部23は、設定されたアンテナ位置をAR映像生成部20に出力する。
【0026】
位置取得部24は、GNSS受信機7及び加速度センサ8の検出結果に基づいて、船舶4の現在の位置をリアルタイムで取得する。位置取得部24は、取得した船舶4の現在の位置情報をAR映像生成部20に出力する。
姿勢取得部25は、GNSSコンパス5及び角速度センサ6の検出結果に基づいて、船舶4の現在の姿勢をリアルタイムで取得する。姿勢取得部25は、取得した船舶4の現在の姿勢情報をAR映像生成部20に出力する。
【0027】
詳細情報取得部26は、AIS受信機9、ECDIS10、プロッタ11、レーダ12、及び、ソナー13などから取得された情報に基づいて、カメラ3で撮影した映像に付加する詳細情報を取得する。詳細情報は、これらの船舶機器から映像生成装置1にリアルタイムで入力される。詳細情報取得部26は、取得した詳細情報をAR映像生成部20に出力する。詳細情報取得部26は、一意に特定して管理するための識別情報(例えば、識別番号)を各詳細情報に付与してもよい。
【0028】
記憶部27は、各種情報を記憶するメモリとして構成される。記憶部27は、例えば、各種の詳細情報を表現する仮想現実オブジェクトの3次元形状を、テンプレートとして記憶してもよい。記憶部27に記憶される3次元形状のテンプレートは、例えば、小型の船、大型の船、ブイ、又は、灯台等であるが、これに限定されない。記憶部27は、記憶した情報をAR映像生成部20に出力する。
【0029】
視点設定部28は、ユーザが入力機器14を用いて、AR映像生成部20により生成されるAR映像の視点に関する設定をする。視点設定部28は、AR映像の視点に関する設定情報をAR映像生成部20に出力する。
表示設定部29は、ユーザが入力機器14を用いて、AR映像生成部20により生成されるAR映像における詳細情報の表示に関する設定をする。表示設定部29は、詳細情報の表示に関する設定情報をAR映像生成部20に出力する。
【0030】
AR映像生成部20は、撮影映像入力部21に入力されたカメラ3の撮影映像に3次元コンピュータグラフィックスを合成することにより、拡張現実を表現するAR映像を生成する。
AR映像生成部20は、詳細情報生成部31、3次元シーン生成部32、画面情報生成部33、及び、データ合成部34を備える。
【0031】
詳細情報生成部31は、詳細情報取得部26から入力された詳細情報に基づいて、AR映像に表示するための詳細情報を生成する。詳細情報は、情報が文字で表される文字情報と情報が図形で表される図形情報などがある。詳細情報生成部31は、生成した詳細情報を3次元シーン生成部32又は画面情報生成部33に出力する。詳細情報は、ユーザが必要とする情報であれば、どのような情報でもよい。例えば、詳細情報は、映像生成装置1の目的又は機能に基づいて決定されてもよいし、船舶4の航行に必要な情報としてもよい。
【0032】
例えば、水上移動体等の物標についての詳細情報は、名称(船名)、位置(船位)、方位(船首方位)、針路、距離、速度、回頭角速度、目的地、国籍(船籍)、種類(船種)、サイズ(長さ、幅及び高さなど)、状態(航行状態)、識別符号、DCPA(最接近距離、distance of closest point of approach)、TCPA(最接近時間、time of closest point of approach)、BCT(bow crossing time)、又は、BCR(bow crossing range)などである。ここで、DCPAは、他船との距離が最小となるときのその距離である。TCPAは、他船との距離が最小となるまでの時間である。BCTは、他船が自船の船首を横切るまでの時間である。BCRは、他船が自船の船首を横切るときの距離である。
【0033】
この他に、AIS情報に基づいて、ブイ又は仮想ブイの位置等の情報を詳細情報としてもよい。仮想ブイは、設置が困難である等の事情により実際に海上に設けられていない仮想の(実体を持たない)ブイであるが、ナビゲーション装置の画面には標識として表示される。ECDIS10による電子海図に含まれる情報としては、危険海域、航海禁止領域、灯台又はブイなどを詳細情報としてもよい。プロッタ11に基づく情報としては、記録される船舶4の軌跡、予定航路、ウェイポイント、到着エリア又は立寄エリアなどを詳細情報としてもよい。レーダ12に基づく情報としては、探知された物標の位置又は速度などを詳細情報としてもよい。ソナー13に基づく情報としては、探知された魚群の位置などを詳細情報としてもよい。
【0034】
図3は、本実施形態に係る船舶4の周囲の状況の例を示す概念図である。
海面上(水面上)には、複数のウェイポイント41、及び、目的地までの予定航路を示す折れ線状のルート線42が示されている。ルート線42の近傍には、多角形状(矩形状)の立寄エリア43が示されている。ウェイポイント41、ルート線42、及び、立寄エリア43は、ユーザがプロッタ11を操作することにより、設定される。
【0035】
船舶4の前方のやや離れた地点で他船44が船舶4の右方へ向けて航行中である。船舶4の左斜め前の近くには仮想ブイ45がある。これらの情報は、AIS情報により検出される。
詳細情報には、その詳細情報の対象物が配置される海面(水面)における位置(緯度及び経度)を示す情報が含まる。例えば、ルート線42の詳細情報には、2つの変針点(折れ線の屈折点)の地点の位置情報が含まれる。ここでは、2つの変針点の位置は、2つのウェイポイント41の位置と一致する。立寄エリア43の詳細情報には、多角形の頂点となるそれぞれの地点の位置の情報が含まれる。
【0036】
図4は、本実施形態に係る3次元仮想空間40を示す概念図である。
図4は、
図3に示す船舶4の周囲の状況に対応する3次元仮想空間40を示している。また、
図3に示すウェイポイント41、ルート線42、立寄エリア43、他船44、及び、仮想ブイ45は、それぞれ
図4に示す仮想現実オブジェクト41v,42v,43v,44v,45vに対応する。
【0037】
3次元シーン生成部32は、
図4に示すように、3次元仮想空間40に仮想現実の3次元シーンデータ(3次元表示用データ)48を生成する。3次元シーン生成部32は、表示設定部29に設定された設定情報に基づいて、生成した3次元シーンに詳細情報生成部31により生成された詳細情報を表示するように、3次元シーンデータ48を更新する。詳細情報が図形情報である場合、3次元シーン生成部32は、詳細情報に対応する仮想現実オブジェクトを生成して、3次元シーンデータ48に加える。このとき、記憶部27に記憶された仮想現実オブジェクトのテンプレートを用いてもよい。
【0038】
仮想現実オブジェクトを生成する図形情報は、例えば、仮想ブイ、危険海域、航海禁止領域、船舶4の軌跡、予定航路、ウェイポイント、到着エリア、又は、立寄エリアなどのカメラ3の撮影映像には映らない物標である。また、3次元シーン生成部32は、他船等の視認可能な物標を図形情報として仮想現実オブジェクトを生成してもよい。この場合、生成した仮想現実オブジェクトは、カメラ3の撮影映像に映された実際のこの物標に重ねて表示してもよい。
【0039】
画面情報生成部33は、カメラ3の撮影映像及び3次元シーンデータ48の他に必要な画面情報を生成する。例えば、画面情報とは、ディスプレイ2に表示されるAR映像の画面において、映像生成装置1の各種設定若しくは操作に必要な情報、操作性若しくは視認性を向上させるための情報、又は、距離若しくは方位を示す表示をするための情報などである。また、画面情報生成部33は、他船等の状況をユーザが把握するために、船舶4を中心として周辺の状況を表すトップビューの画面(例えば、レーダ映像)を画面情報として生成してもよい。これにより、ユーザは、船舶4の周囲の状況をAR映像の範囲外(船舶4の横又は後方など)でも把握することができる。
【0040】
データ合成部34は、撮影映像入力部21から入力されたカメラ3の撮影映像に、3次元シーン生成部32が生成した3次元シーンデータ48を描画し、画面情報生成部33により生成された画面情報を付加して、AR映像を生成する。データ合成部34は、生成したAR映像をディスプレイ2に出力する。これにより、ディスプレイ2は、AR映像を表示する。
【0041】
次に、3次元仮想空間40の構築方法について説明する。
仮想現実オブジェクト41v~45vが配置される3次元仮想空間40は、
図4に示すように、船舶4の基準位置(例えば、上述の基準点4a)を原点とする直交座標系で構成され、水平な面であるxz平面が海面(水面)を模擬するように設定される。
図4の例では、座標軸は、+z方向が常に船首方位と一致し、+x方向が右方向、+y方向が上方向となるように定められる。3次元仮想空間40内の各地点(座標)は、船舶4の周囲の現実の位置に対応するように設定される。
【0042】
仮想現実オブジェクト41v~45vは、船首方位を基準として、船舶4との相対位置を反映させるように、xz平面に接するように配置される。仮想現実オブジェクト41v~45vの配置位置を決定するには、アンテナ位置設定部23で設定されたGNSSアンテナの位置を用いた計算が行われる。
【0043】
例えば、仮想現実オブジェクト41v~45vは、次のように生成される。
他船44を示す仮想現実オブジェクト44vは、大型の船をモデルとした船舶の形状のテンプレートを利用して表現される。仮想現実オブジェクト44vの向きは、AIS情報で取得した他船44の向きを示すように配置される。仮想ブイ45を示す仮想現実オブジェクト45vは、ブイをモデルとした形状のテンプレートを利用して表現される。
【0044】
ウェイポイント41の仮想現実オブジェクト41vは、薄い円板状の3次元形状で表現される。ルート線42の仮想現実オブジェクト42vは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた3次元形状で表現される。立寄エリア43の仮想現実オブジェクト43vは、立寄エリア43の輪郭を有する一定の厚みの板のような3次元形状で表現される。これらの仮想現実オブジェクト41v~45vは、テンプレートを使用せずに、その都度作成してもよい。
【0045】
図4では、仮想現実オブジェクト41v~45vが船舶4の位置を原点とした方位基準で配置される。このため、船舶4の位置が
図3の状態から東西方向又は南北方向に変化したり、船舶4の船首方位が回頭等により変化したりすると、3次元シーンデータ48は、仮想現実オブジェクト41v~45vが再配置された新しい3次元シーンになるように更新される。また、
図3の状態から他船44の移動などの詳細情報の内容が変更されると、最新の詳細情報を反映するように3次元シーンデータ48が更新される。
【0046】
データ合成部34は、カメラ3の撮影映像が映写される位置及び範囲を定める映写スクリーン51を3次元仮想空間40に配置する。映写スクリーン51と仮想現実オブジェクト41v~45vの両方が視野に含まれるように、視点カメラ55の位置及び向きが設定される。
【0047】
データ合成部34は、船舶4に搭載されるカメラ3の位置及び向きを3次元仮想空間40においてシミュレートし、映写スクリーン51をカメラ3に正対するように配置する。カメラ3の位置のシミュレートにおいて、船体を基準とするカメラ3の位置は、撮影位置設定部22に設定された撮影位置に基づいて決定される。
【0048】
カメラ3の位置及び向きのシミュレートでは、カメラ3のパン又はチルトなどの動作による向きの変化が考慮される。また、このシミュレートは、位置取得部24により取得された位置情報及び姿勢取得部25により取得された姿勢情報に基づいて、船舶4の姿勢及び高さの変化によるカメラ3の位置及び向きの変化が反映されるように行われる。データ合成部34は、カメラ3の位置及び向きの変化に対応するように、3次元仮想空間40に配置される映写スクリーン51の位置及び向きを変化させる。
【0049】
データ合成部34は、3次元シーンデータ48及び映写スクリーン51に対してレンダリング処理をすることにより、2次元の画像を生成する。具体的には、データ合成部34は、3次元仮想空間40に仮想カメラとしての視点カメラ55を配置し、レンダリング処理の対象となる範囲を定める視錐台56を設定する。視錐台56は、視点カメラ55を頂点として、視点カメラ55からの視線方向が中心軸となるように設定される。
【0050】
次に、データ合成部34は、仮想現実オブジェクト41v~45v及び映写スクリーン51を構成するポリゴンのうち、視錐台56の内部に位置するポリゴンの頂点座標を、透視投影により、2次元の仮想スクリーンの座標に変換する。この仮想スクリーンは、ディスプレイ2でのAR映像が表示される表示領域に相当する。データ合成部34は、仮想スクリーンに配置された頂点座標に基づいて、所定の解像度でピクセルの生成及び加工などの処理を行うことにより、2次元の画像を生成する。
【0051】
生成された2次元の画像には、3次元シーンデータ48の描画が行われることにより得られた図形(即ち、仮想現実オブジェクト41v~45vのレンダリング結果としての図形)が含まれる。この2次元の画像の生成過程において、映写スクリーン51に相当する位置には、カメラ3の撮影映像が貼り付けられるように配置される。これにより、データ合成部34による映像の合成が実現される。映写スクリーン51は、カメラ3を中心とする球殻に沿うように湾曲した形状とすることで、透視投影による撮影映像の歪みを防止する。
【0052】
視点カメラ55は、AR映像の視点を定める。通常時は、視点カメラ55の位置及び向きは、視点設定部28の設定により決定される。視点設定部28に特別な設定をすることで、データ合成部34は、AR映像を生成するときのモードとして、視点カメラ55の位置及び向きが、カメラ3の位置及び向きと常に一致するように自動的に変化するモードになる(視点追従モード)。この視点追従モードでは、視点カメラ55の視野全体が常に映写スクリーン51(即ち、カメラ3の撮影映像)で覆われることになるので、臨場感のあるAR映像が実現する。
【0053】
データ合成部34は、視点カメラ55の位置及び向きが、カメラ3の位置及び向きと無関係に、入力機器14の操作により視点設定部28に設定された視点に従うモードを設けてもよい(独立視点モード)。この独立視点モードでは、ユーザは、視点を自由に動かして、カメラ3の撮影視野から外れた位置にある詳細情報を確認することができる。
【0054】
図5及び
図6を参照して、カメラ3で撮影した映像とAR映像との関係を説明する。
図5は、カメラ3による撮影映像の例を示すイメージ図である。
図6は、データ合成部34から出力されるAR映像を示すイメージ図である。
図5には、
図3に示す状況において、船舶4のカメラ3が撮影した映像が示されている。この撮影映像には、海面に浮かぶ他船44rが写っている。また、撮影映像の下部中央には、船舶4の船首部分が写っている。
【0055】
仮想ブイ45は、仮想的なものであるので、撮影映像には写らない。ウェイポイント41、ルート線42及び立寄エリア43も、プロッタ11で作成されるものであるので、撮影映像には写らない。
図6に示すAR映像は、
図5に示す撮影映像に対して、
図4の3次元シーンデータ48のレンダリングによる2次元の画像を合成したものである。
図6のAR映像では、詳細情報を表現する図形41f,42f,43f,44f,45fが、
図5に示す撮影映像に重なるように配置されている。ここで、
図6では、カメラ3による撮影映像の部分は、それ以外の部分と区別するために破線で示されている(
図8~
図10も同様である)。図形41f~45fは、それぞれ仮想現実オブジェクト41v~45vに対応する。他船を表す図形44fは、撮影映像における他船44rの位置にほぼ重なるように配置される。
【0056】
図形41f~45fは、
図4に示す3次元シーンデータ48を構成する仮想現実オブジェクト41v~45vの3次元形状を、カメラ3と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ3による写実的な映像に、図形41f~45fを重ねた場合でも、見た目の違和感が殆ど生じない。
【0057】
図6に示すように、詳細情報を仮想現実的に表現する図形41f~45fは、撮影映像の水面に置かれるように、AR映像上に配置される。換言すれば、詳細情報を仮想現実的に表現する図形41f~45fは、撮影映像の水面に沿って配置される。
この配置は、次のように行われる。
図4に示す仮想現実オブジェクト41v~45vを、撮影位置設定部22で設定された高さに基づいて計算された距離だけカメラ3に対して下方に位置するxz平面に接するように配置する。さらに、映写スクリーン51の位置を、カメラ3の位置及び向きを考慮して正しく配置する。これにより、図形41f~45fの水面への配置が実現される。
【0058】
船舶4の航海に関する情報(自船航海情報)である物標については、その物標から上方に出る線の先にその物標の情報(名称又は位置など)を表示し、その他の物標については、その物標から下方に出る線の先にその物標の情報を表示してもよい。このように、表示することで、自船航海情報とその他の情報を区別し易くなる。例えば、自船航海情報は、ウェイポイント、ルート線及び立寄エリアなどである。
【0059】
次に、船舶4の揺れに伴うAR映像の変化について説明する。
図7は、
図4の状態から船舶4がピッチ方向及びロール方向に揺動した場合を示す概念図である。
図8は、
図7の状態のAR映像を示すイメージ図である。
カメラ3は、船舶4に取り付けられているので、その位置及び向きは、船舶4の姿勢が波等により傾いたり、船舶4が波に乗り上げたりすることに伴い変化する。データ合成部34は、船舶4に揺れ(ピッチング、ローリング及びヒービング)が生じた場合、姿勢取得部25が取得した船舶4の姿勢の変化、及び、位置取得部24が取得した船舶4の位置の上下方向の変化をシミュレートするように、3次元仮想空間40におけるカメラ3の位置及び向きを変更する。この変更に伴い、映写スクリーン51の位置を変更する。
【0060】
図7の例では、船舶4は前下がりかつ左下がりとなるように傾いており、この傾きを反映するように、カメラ3の位置及び向きが変化する。これに連動して、映写スクリーン51は、位置及び向きが変化したカメラ3に正対するように移動する。
この例では、視点追従モードにより、視点カメラ55の位置及び向きも、位置及び向きが変化したカメラ3に追従するように変化する。船舶4の揺れに伴ってカメラ3の位置及び向きが変化しても、それに連動して映写スクリーン51の位置及び向きが変化して、3次元シーンをレンダリングする視点カメラ55の位置及び向きが変化する。これにより、AR映像生成部20は、
図8に示すように、違和感のないAR映像を継続的に生成する。
【0061】
視点追従モードでは、船舶4の揺れによってピッチ角又はロール角が所定値以上変化する毎に、データ合成部34での3次元シーンデータ48の描画が更新され、最新の視点に基づく図形41f~45fが生成される。この描画の更新により、海面の傾きが船舶4の揺れにより変化するカメラ3の撮影映像に対し、図形41f~45fの表示は、海面に置かれた状態を維持するように変化する。
【0062】
これにより、仮想現実的に表現された図形が海面に浮かんでいるように見えるため、AR映像は、自然で現実感の高い映像になる。また、ユーザは、ディスプレイ2に映し出されたAR映像の海面を眺めることで、仮想現実オブジェクト41v~45vを表す図形41f~45fが網羅的に視界に入るので、取りこぼしなく必要な情報を得られる。
【0063】
図9及び
図10を参照して、AR映像生成部20により生成されるAR映像に方位を示す目盛情報91を表示する構成について説明する。なお、目盛情報91は、表示するか否かを選択できるようにしてもよいし、表示しなくてもよい。
詳細情報生成部31は、目盛情報91を表示するために、必要な情報を船舶機器等から収集する。詳細情報生成部31は、収集した情報を画面情報生成部33に出力する。
【0064】
画面情報生成部33は、詳細情報生成部31から受信した情報に基づいて、目盛情報91としてAR映像に表示するための画像等を生成する。画面情報生成部33は、生成した目盛情報91をデータ合成部34に出力する。
データ合成部34は、カメラ3の撮影映像に、3次元シーン生成部32により生成された3次元シーンデータ48を合成する際に、画面情報生成部33により生成された目盛情報91となる画像も合成する。
【0065】
目盛情報91は、例えば、
図9に示すように、AR映像の上部又は下部などの所定の位置に表示する。目盛情報91の位置は、
図10に示すように、図形41f~45f等の詳細情報と重ならないように、自動的に移動又は変更するようにしてもよい。また、目盛情報91は、
図10に示すように、船舶4の船体の傾きに応じて、水平線と常に平行を保つように、詳細情報91を傾けて表示してもよい。このように表示することで、目盛情報91は、常に正確な方位を示すことができる。
【0066】
図11及び
図12を参照して、AR映像内にある物標の詳細情報の表示方法について説明する。
図11は、詳細情報D1,D2,D20が表示されたAR映像を示すイメージ図である。
図12は、AR映像に詳細情報D1,D2,D20を表示する手順の概要を示すフロー図である。
【0067】
ここでは、AR映像内の船舶4の前方に、3つの水上移動体S1,S2,S3がいるものとして説明する。また、物標として水上移動体S1~S3を用いて、主に説明するが、水上移動体S1~S3以外のどのような物標(無体物を含む。)についても、同様に、詳細情報を表示してもよい。
【0068】
映像生成装置1が保有する詳細情報は、メイン情報(第1詳細情報に相当する。)、サブ情報(第2詳細情報に相当する。)、及び非表示情報の3種類に分けられる。メイン情報は、第1スペースSP1に表示される。サブ情報は、第2スペースSP2に表示される。非表示情報は、AR映像に表示されない。メイン情報、サブ情報及び非表示情報のそれぞれに該当する詳細情報(項目)は、ユーザが入力機器14により、任意に設定される。例えば、AR映像内に項目のリストを表示させ、メイン情報、サブ情報及び非表示情報のそれぞれに該当する項目をドロップダウン形式に選択する。
【0069】
AIS受信機9又はレーダ12などの船舶機器により、物標である水上移動体S1~S3を検出すると(ステップST101)、AR映像内の各水上移動体S1~S3に対応した選択するためのマーカーM1,M2,M3が表示される(ステップST102)。マーカーM1~M3は、それぞれ対応する水上移動体S1~S3から下方に延びる対応関係を示す対応線L1,L2,L3で接続される。
【0070】
マーカーM1~M3の形状は、検出した船舶機器の種類に応じて、異なるようにしてもよい。例えば、AIS受信機9で検出された物標については、マーカーの形状を菱形とし、レーダ12で検出された物標については、マーカーの形状を円形とする。また、物標は、ECDIS10又はソナー13などの船舶機器で検出されたものでもよい。さらに、1つの物標に対し、複数の船舶機器で検出された場合、1つの物標から検出した複数の船舶機器にそれぞれ対応するマーカーM1~M3が表示されてもよいし、選択された任意のマーカーのみが表示されるようにしてもよいし、1つにまとめられたマーカーが表示されてもよい。
【0071】
ユーザは、水上移動体S1~S3のより詳しい詳細情報を表示させる場合、表示させる詳細情報の水上移動体S1~S3に接続されたマーカーM1~M3を選択(例えば、クリック)する(ステップST103)。マーカーM1~M3は、選択されると、色が反転するなどの表示を変えてもよい。
【0072】
マーカーM1~M3が選択されると、選択されたマーカーM1~M3に対応する物標のメイン情報がAR映像の所定の箇所に表示される(ステップST104)。
図11では、2つの水上移動体S1,S2の各マーカーM1が選択され、所定の箇所としてAR映像の下部の第1スペースSP1に、各水上移動体S1,S2のメイン情報D1,D2が表示された状態を示している。例えば、メイン情報D1,D2は、自船(船舶4)との距離、速度、DCPA、及び、TCPAである。水上移動体S1,S2とメイン情報D1,D2との対応関係を分かり易く表示するために、対応線L1,L2を延長するような対応線L11,L12で、マーカーM1,M2とメイン情報D1,D2がそれぞれ接続される。
【0073】
水上移動体S1について、メイン情報D1の他に、さらにサブ情報を表示する場合、ユーザは、メイン情報D1が表示されている表示欄を選択する(ステップST105)。メイン情報D1の表示欄が選択されると、
図11に示すように、第1スペースSP1の下にある第2スペースSP2に、選択されたメイン情報D1に対応するサブ情報D20が表示される(ステップST106)。サブ情報D20は、第1スペースSP1にあるメイン情報D1と対応をしていることを示す対応線L20で接続される。
【0074】
ユーザは、サブ情報D20を表示させておくか、非表示にするか選択できる。サブ情報を非表示にすると、第2スペースSP2が無くなり、メイン情報D1,D2を表示する第1スペースSP1がAR映像の下側に移動する。サブ情報D20が必要ない場合、第2スペースSP2を無くすことで、AR映像におけるカメラ3の撮影映像部分を広げる。なお、第2スペースSP2は、常に確保されていてもよいし、メイン情報D1,D2の表示欄のいずれかが選択されたら、出現するようにしてもよい。
【0075】
なお、ここでは、1つのサブ情報D20を表示した場合について説明したが、2つ以上のサブ情報を表示してもよいし、サブ情報は無くてもよい。
図13を参照して、AR映像におけるマーカーM1,M2の基本的な表示方法について説明する。
ここでは、船舶4の前方で、横向きにほぼ停止状態の第1水上移動体S1の横を別の第2水上移動体S2が画面の右から左に通り過ぎる場合について説明する。
【0076】
各マーカーM1,M2の外側を囲む破線で示した一回り大きい四角形は、タッチ判定領域R1,R2を表す。タッチ判定領域R1,R2は、マーカーM1,M2がタッチされたか否かを判定するための領域である。
例えば、入力機器14がタッチパネルの場合、タッチ判定領域R1,R2内で指等が触れれば、マーカーM1,M2がタッチされた(即ち、選択された)と判定される。入力機器14がマウスの場合、タッチ判定領域R1,R2内にカーソルがある状態でクリック等の所定の操作がされれば、マーカーM1,M2がタッチされたと判定される。タッチ判定領域R1,R2は、マーカーM1,M2よりも一回り大きい形状とすることで、マーカーM1,M2から多少外れてタッチしても、マーカーM1,M2がタッチされたと判定される。これにより、ユーザの操作性が向上する。
【0077】
最初の位置にある第2水上移動体S2は、第1水上移動体S1から充分に離れている。このときの2つの水上移動体S1,S2に接続された対応線L1,L2aは、初期設定された最短の長さである。第1水上移動体S1の対応線L1の長さは、以降もこのまま変わらないものとする。なお、初期設定の長さは最短でなくてもよい。
【0078】
最初の位置からt秒後の第2水上移動体S2は、第1水上移動体S1と近接している。この状態の場合、2つの水上移動体S1,S2の対応線L1,L2bがともに初期設定の長さのままであれば、2つの水上移動体S1,S2のそれぞれのタッチ判定領域R1,R2の一部が重なる。そこで、第2水上移動体S2の対応線L2bは、タッチ判定領域R2が第1水上移動体S1のタッチ判定領域R1と重ならない位置になるまで、下方向に徐々に伸びるように表示する。このように、対応線L2bの長さを徐々に変化させることで、マーカーM2を視覚的に連続するように移動する。これにより、移動しているマーカーM2をユーザが視覚的に追い易くなる。第2水上移動体S2の対応線L2bの長さが変化している過程では、一時的に2つのタッチ判定領域R1,R2が重なってもよい。
【0079】
第1水上移動体S1と近接した状態からさらにt秒後の第2水上移動体S2は、再び第1水上移動体S1から充分に離れるため、対応線L2cの長さに関係なく、2つのタッチ判定領域R1,R2が重なることはない。そこで、第2水上移動体S2の対応線L2cは、最短の長さである初期設定の状態になるまで縮む。
【0080】
このようにして、2つのタッチ判定領域R1,R2が重ならないように、各水上移動体S1,S2のそれぞれの対応線L1,L2a~L2cの長さは、伸縮するように変化する。
ここでは、移動している第2水上移動体S2の対応線L2a~L2cの長さが変化する場合について説明したが、停止している第1水上移動体S1の対応線L1の長さが変化してもよい。
【0081】
図14を参照して、第1水上移動体S1とマーカーM1を接続する対応線L1の長さの変化の一例を説明する。
図14において、横軸は、経過時間を表し、縦軸は、AR映像における上下方向に変化する対応線L1の長さを表す。
時刻t0では、第1水上移動体S1の対応線L1の長さa1は、初期設定の最短の長さである。
【0082】
時刻t1において、第1水上移動体S1のタッチ判定領域R1が別の水上移動体(第2水上移動体)のタッチ判定領域に接触すると、画面情報生成部33は、2つのタッチ判定領域が重ならなくなる対応線L1の長さa2を演算する。2つのタッチ判定領域の間は、どの程度空けてもよい。
【0083】
なお、画面情報生成部33は、2つのタッチ判定領域が接触した後に限らず、接触する前に演算を開始してもよい。また、2つのタッチ判定領域が接触するか否かは、2つのタッチ判定領域のそれぞれの位置を直接検出する場合に限らず、水上移動体、マーカー又は対応線などの位置に基づいて、判定してもよい。
【0084】
画面情報生成部33は、対応線L1の長さa1が演算した長さa2に徐々になるように、対応線L1を変化させる(描画する)。これにより、第1水上移動体S1の対応線L1は、目標の長さa2になる。
例えば、画面情報生成部33は、
図14に示す曲線Crのように、対応線L1の長さを変化させる。曲線Crは、対応線L1の長さが目標の長さa2に近づくにつれて、徐々に変化の速度が遅くなることを示している。これにより、ユーザは、マーカーM1を視覚的に追い易くなる。なお、対応線L1の長さa1を徐々に変化させるように描画する方法については、グラフィックス又はアニメーションなどで用いられる既存の方法を適用してもよい。
【0085】
時刻t2において、第1水上移動体S1の対応線L1が伸びた長さa2のまま、第1水上移動体S1のタッチ判定領域R1は、さらに別の水上移動体(第3水上移動体)のタッチ判定領域と接触する。画面情報生成部33は、第1水上移動体S1のタッチ判定領域R1が新たに接触した第3水上移動体のタッチ判定領域と重ならなくなる長さa3を演算する。時刻t1のときと同様に、画面情報生成部33は、対応線L1を現在の長さa2から演算した長さa3に徐々に伸びるように変化させる。これにより、第1水上移動体S1の対応線L1は、目標の長さa3になる。
【0086】
時刻t3において、第1水上移動体S1の近傍に、第2水上移動体及び第3水上移動体がいなくなると、画面情報生成部33は、対応線L1の長さa3が初期設定の長さa4に徐々に縮む(戻る)ように、対応線L1の長さを変化させる。対応線L1の長さが縮むときも、伸びるときと同様に、曲線Crを描くように変化させることで、対応線L1の長さが徐々に変化する。これにより、第1水上移動体S1の対応線L1は、初期設定の長さa4に戻る。
【0087】
時刻t4において、第1水上移動体S1のタッチ判定領域R1が別の水上移動体(第4水上移動体)のタッチ判定領域に接触すると、時刻t1,t2のときと同様に、画面情報生成部33は、目標とする対応線L1の長さa5を演算する。これにより、第1水上移動体S1の対応線L1は、目標の長さa5になる。
【0088】
時刻t5において、第1水上移動体S1の近傍に、第4水上移動体がいなくなると、画面情報生成部33は、時刻t3のときと同様に、対応線L1を初期設定の長さに戻し始める。
時刻t6において、対応線L1が初期設定の長さになる前に、第1水上移動体S1のタッチ判定領域R1が別の水上移動体(第5水上移動体)のタッチ判定領域に接触する。画面情報生成部33は、目標とする対応線L1の長さa6を演算し、対応線L1が初期設定の長さに縮む途中の状態から、目標の長さa6に徐々に伸びるように変化させる。これにより、第1水上移動体S1の対応線L1は、目標の長さa6になる。
【0089】
時刻t7において、第1水上移動体S1の近傍に、第5水上移動体がいなくなると、画面情報生成部33は、時刻t3,t5のときと同様に、対応線L1を初期設定の長さに戻し始める。これにより、第1水上移動体S1の対応線L1は、初期設定の長さa7になる。
【0090】
このように、第1水上移動体S1のタッチ判定領域R1が他の水上移動体のタッチ判定領域と重ならないように、対応線L1の長さを変化させることで、ユーザが各水上移動体のマーカーを選択し易くなる。
ここでは、説明の便宜上、第1水上移動体S1に着目して、対応線L1を変化させたが、実際には、各水上移動体のそれぞれにおいて、第1水上移動体S1と同様に、各タッチ判定領域が重ならないように、マーカーに接続される対応線の長さを変化させる。
【0091】
複数の水上移動体のタッチ判定領域が重なる場合、各水上移動体又は各マーカーなどで決定される優先順位に従って、どの対応線の長さを変化させるかを決定する。優先順位は、各水上移動体又は各マーカーに予め付けられてもよい。優先順位は、マーカーの表示順(新しい順又は古い順)でもよいし、各水上移動体又は各マーカーの位置(画面の上下又は左右)で決定されてもよい。例えば、マーカーの位置が画面の下にある程、優先的に対応線の長さを変化させてもよい。位置が下にあるマーカーの対応線を伸ばす方が、位置が上にあるマーカーの対応線を伸ばすよりも、伸ばす長さは短くなる。その他に、各対応線の現在の長さ等に基づいて、変化させる対応線を決定してもよい。
【0092】
図11及び
図15を参照して、メイン情報D1,D2の表示方法について説明する。
図15は、AR映像にメイン情報D1,D2を表示する手順を示すフロー図である。
図11の第1スペースSP1には、メイン情報D1,D2が表示されている部分以外に、実際には何も表示されていない破線で示したメイン情報を表示するための表示欄Dhが確保される。表示欄Dhは、次のように決定される。
【0093】
ユーザは、入力機器14により、メイン情報D1,D2として表示する項目を選択する(ステップST201)。
図11では、自船との距離、速度、DCPA、及び、TCPAの項目がメイン情報D1,D2として表示されたAR映像の一例が示されている。
【0094】
画面情報生成部33は、メイン情報D1,D2として選択された項目に基づいて、表示欄Dhのサイズを決定する(ステップST202)。表示欄の高さは選択された項目の数に基づいて決定される。表示欄の幅は、選択された項目のそれぞれで確保されている文字数のうち最も多い文字数に基づいて、決定される。位置、距離、速さ、又は、時間などの数字と単位のみで表す項目は、確保されている文字数が基本的に少ない。固有名詞(船名又は地名など)、又は、文章を表示することがある項目は、確保されている文字数が基本的に多い。
【0095】
画面情報生成部33は、決定された表示欄Dhのサイズに基づいて、表示欄Dhの数を決定する(ステップST203)。例えば、第1スペースSP1の幅を表示欄Dhの幅で割れば、横に並べられる表示欄Dhの数が分かる。表示欄Dhのサイズと数との対応関係は、テーブルデータのように予め記憶されていてもよい。
図11では、表示欄Dhを、横一列に1段で表示した例を示しているが、横一列を1段として、上下に2段以上積み重ねて表示してもよい。この場合、第1スペースSP1の高さと表示欄Dhの高さに基づいて、横に並べられる表示欄Dhの数と同様に、表示欄Dhを上下に積み重ねる段数を決定してもよい。
【0096】
画面情報生成部33は、決定された表示欄Dhの数に基づいて、第1スペースSP1における各表示欄Dhの配置を決定する(ステップST204)。
図11では、表示欄Dhの数が6つの場合のAR映像を示している。表示欄Dhの数が4つの場合は、
図16に示すAR映像のようになる。
図16に示すAR映像では、メイン情報D1,D2の項目として船名が選択されているため、1つの表示欄Dhの幅が広い。このため、横に並べられる表示欄Dhの数が4つに減少する。
【0097】
ステップST202~ST204は、ステップST201において、メイン情報D1,D2の項目が変更される度に繰り返し実行される。
ユーザが水上移動体S1,S2のマーカーM1,M2を選択すると、画面情報生成部33は、水上移動体S1,S2のメイン情報D1,D2を表示させる表示欄Dhを決定する(ステップST205)。
【0098】
具体的には、水上移動体S1,S2の幅方向の真ん中から垂直方向に真下に下ろした線と第1スペースSP1が接触した箇所から最も近い表示欄Dhを、その水上移動体S1,S2のメイン情報D1,D2を表示する表示欄Dhとする。即ち、AR映像の画面において、横方向をx軸とすると、水上移動体S1,S2のx座標に最も近いx座標の表示欄Dhを、その水上移動体S1,S2の表示欄Dhとする。また、上述のように選択された表示欄Dhに、既に、別の水上移動体のメイン情報が表示されている場合、次に適切な表示欄Dh(例えば、次にx座標が近い表示欄Dh)が選択される。
【0099】
また、全ての表示欄Dhにメイン情報が表示されている場合、既に表示されているメイン情報の1つを非表示にして、新しいメイン情報を表示できる表示欄Dhを作る。例えば、非表示にするメイン情報は、最も早く(即ち、最も古く)表示されたメイン情報でもよいし、最も危険度の低い物標のメイン情報でもよいし、その他の方法で決定されたものでもよい。また、特定のメイン情報について、自動的に非表示にならないように、ユーザが表示を固定するピン止めのような操作ができるようにしてもよい。
【0100】
例えば、危険度は、DCPA、TCPA、BCT、又は、BCRの任意の組合せに基づいて決定する。これらの要素の中から予め決められた組合せの要素について、それぞれが共に予め設定された閾値よりも高ければ、危険度が高いと判断する。要素の組合せは、DCPAとTCPA、又は、BCTとBCRなどである。
【0101】
画面情報生成部33は、水上移動体S1,S2のメイン情報D1,D2を決定された表示欄Dhに表示する(ステップST206)。
危険度の高い水上移動体S1,S2がある場合、水上移動体S1,S2、マーカーM1,M2、又は、メイン情報D1,D2の表示欄Dhなどを、目立つような色にしたり、点滅などの表示形態を変えたりして、視覚的に目立たせるようにすることで、ユーザが危険度の高い物標を発見し易いようにしてもよい。
【0102】
図15に示すステップST205,ST206は、所定の時間間隔で、繰り返し実行(更新)される。
図17は、
図11に示すAR映像の状態から所定時間経過後のAR映像を示している。
図17に示す第1水上移動体S1は、
図11に示す第1水上移動体S1の位置からAR映像の画面左下方向に移動している。
図17に示す第2水上移動体S2は、
図11に示す第2水上移動体S2の位置からAR映像の画面右方向に移動している。
【0103】
第1水上移動体S1のメイン情報D1は、第1水上移動体S1が画面左下に移動したことより、画面左から2番目から1番左の表示欄Dhに移動している。第2水上移動体S2のメイン情報D2は、第2水上移動体S2が画面右に移動したことより、画面左から4番目から5番目の表示欄Dhに移動している途中である。
【0104】
メイン情報D1,D2の表示欄Dhが切り替わる場合、メイン情報D1,D2の表示が2つの表示欄Dhの間を徐々に移動する。この場合、
図17のメイン情報D2のように、表示欄Dhが切り替わる途中では、予め配置された表示欄Dhの位置に限らず、2つの表示欄Dhの間でも、メイン情報D2は表示される。
【0105】
このように、メイン情報D1,D2の表示を徐々に移動させることで、メイン情報D1,D2を視覚的に連続するように移動する。これにより、ユーザは、メイン情報D1,D2を目で追いながら、移動後の表示欄Dhの位置を確認することができる。したがって、表示欄Dhが切り替わることにより、ユーザが、メイン情報D1,D2の表示箇所を見失ったり、他の水上移動体S1,S2のメイン情報D1,D2と誤認したりすることを防止することができる。メイン情報D1,D2の表示が徐々に移動するように描画する方法については、対応線L1の長さを徐々に変化させるように描画する方法と同様にしてもよい。
【0106】
なお、本実施形態は、以下のように変形してもよい。
データ合成部34は、3次元シーンデータ48及び映写スクリーン51を同時にレンダリングしなくてもよい。即ち、データ合成部34は、3次元シーンデータ48のレンダリング結果である2次元の映像(図形41f~45fなどの映像)と、映写スクリーン51のレンダリング結果である2次元の映像(映写スクリーン51に貼り付けられたカメラ3の撮影映像)と、を別々に作成してもよい。その後に、別々に作成したこれらの2次元の映像を合成することで、AR映像が生成される。この場合、3次元シーンデータ48のレンダリング処理は、船舶4の移動等に応じて随時行い、映写スクリーン51のレンダリング処理は、カメラ3による映像のフレームレートに応じた短い時間間隔で行うようにしてもよい。
【0107】
カメラ3は、パン又はチルトなどの回転動作する機能を備えずに、撮影方向が固定されてもよい。この場合、撮影方向は、前方、後方又はその他の方向のいずれに固定されてもよい。また、カメラ3を、船舶4の周囲を360度の全方位にわたって同時撮影が可能な構成としてもよい。また、ユーザが視点カメラ55の向きを変更する操作をした場合、それに追従するように、カメラ3の回転動作が自動的に行われるようにしてもよい。
【0108】
3次元シーン生成部32による3次元シーンデータ48の生成は、
図4に示すように、仮想現実オブジェクト41v~45vが船舶4の位置を原点とした船首基準で配置される構成で説明したが、これに限らない。仮想現実オブジェクト41v~45vは、船首基準ではなく、+z方向が真北となる真北基準で配置されてもよい。この場合、船舶4の回頭等により船首方位が変化したときは、仮想現実オブジェクト41v~45vを再配置する代わりに、3次元仮想空間40での船舶4の向きをヨー方向に変化させる。このときのカメラ3の位置及び向きの変化を3次元仮想空間40においてシミュレートし、これに連動して視点カメラ55の位置及び向きを変更してレンダリングを行う。このようにして、船首基準の場合と同様に、レンダリング結果が得られる。
【0109】
3次元仮想空間40の座標系は、船舶4の位置を原点とする代わりに、任意に選択された地球上の固定点を原点にし、+z方向が真北、+x方向が真東のように、座標軸と方位の関係を固定してもよい。この場合、3次元仮想空間40の座標系は、地球上に固定され、船舶4が配置される位置及び向きは、位置情報及び姿勢情報に基づいて変化する。この変化に伴い、カメラ3の位置及び向きの変化は、3次元仮想空間40でシミュレートされる。
【0110】
映像生成装置1は、船舶4の揺れに伴うAR映像の揺れを軽減する処理を行ってもよい。このような処理として、例えば、3次元シーン生成部32は、船舶4が揺れても視点カメラ55の位置及び向きの変動を抑制するようにしてもよい。
本実施形態によれば、以下の作用効果を得ることができる。
【0111】
2つ以上のマーカーのタッチ判定領域が重ならないように、物標とマーカーを接続する対応線の長さを変化させることで、ユーザがマーカーを選択する操作性を向上することができる。
詳細情報を表示するためのマーカーを、水上移動体(物標)の垂直方向(上方向又は下方向)に表示することで、AR映像におけるマーカーを見易くすることができる。例えば、マーカーを水上移動体の水平方向(右方向又は左方向)に表示した場合、AR映像では、水平方向に水上移動体が密集し易いため、マーカー同士が重なったり、マーカーと別の水上移動体の表示が重なったりして、マーカーが見え難くなり易い。
【0112】
物標を認識した船舶機器(AIS受信機9又はレーダ12など)に応じて、マーカーの表示形態(例えば、形状)を異ならせることで、ユーザは、マーカーを見るだけで、メイン情報の情報源を知ることができる。
マーカーがタッチされたか否かを判定するためのタッチ判定領域を、マーカーを包含するマーカーよりも大きい面積にすることで、マーカーを選択するときのユーザの操作性を向上することができる。
【0113】
各物標のメイン情報を表示する箇所をAR映像の所定の箇所(例えば、画面下)に予め確保しておくことで、AR映像において、メイン情報を見易く配置することができる。また、AR映像における物標の位置の移動に応じて、対応するメイン情報の表示箇所を移動させることで、物標とメイン情報との対応関係を分かり易くすることができる。
【0114】
ある物標について危険度が高いと判断された場合は、その物標のメイン情報の表示を目立たせるようにすることで、ユーザに危険度の高い物標又はそのメイン情報を視覚的に知らせることができる。
マーカーの表示方法とメイン情報等の表示方法は、それぞれ別々に独立して実施することができ、いずれか一方を実施した場合でも、実施したその表示方法による作用効果を受けることができる。また、両方を実施した場合には、その組合せによる更なる作用効果を得ることができる。
【0115】
なお、本発明は上述した実施形態に限定されず、構成要素を削除、付加又は変更等をしてもよい。また、複数の実施形態について構成要素を組合せ又は交換等をすることで、新たな実施形態としてもよい。このような実施形態が上述した実施形態と直接的に異なるものであっても、本発明と同様の趣旨のものは、本発明の実施形態として説明したものとして、その説明を省略している。
【符号の説明】
【0116】
1…映像生成装置、2…ディスプレイ、3…カメラ、4…船舶、5…GNSSコンパス、6…角速度センサ、7…GNSS受信機、8…加速度センサ、9…AIS受信機、10…ECDIS、11…プロッタ、12…レーダ、13…ソナー、14…入力機器、20…AR映像生成部、21…撮影映像入力部、22…撮影位置設定部、23…アンテナ位置設定部、24…位置取得部、25…姿勢取得部、26…詳細情報取得部、27…記憶部、28…視点設定部、29…表示設定部、31…詳細情報生成部、32…3次元シーン生成部、33…画面情報生成部、34…データ合成部。