特許 7492059 周辺監視装置及び周辺監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-20

(45)【発行日】2024-05-28

(54)【発明の名称】周辺監視装置及び周辺監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240521BHJP

   G06T 7/70 20170101ALI20240521BHJP

   G01S 13/86 20060101ALI20240521BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 U

G06T7/70

G01S13/86

【請求項の数】 16

(21)【出願番号】P 2023071988

(22)【出願日】2023-04-26

(62)【分割の表示】P 2020550232の分割

【原出願日】2019-09-09

(65)【公開番号】P2023106401

(43)【公開日】2023-08-01

【審査請求日】2023-04-26

(31)【優先権主張番号】P 2018191014

(32)【優先日】2018-10-09

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】西山 浩二

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１８－０１９３５９（ＪＰ，Ａ）

【文献】特開２０１５－０８８８１６（ＪＰ，Ａ）

【文献】特開２０１４－０９９０５５（ＪＰ，Ａ）

【文献】特開平０３－２５１７８２（ＪＰ，Ａ）

【文献】特開平０３－２５２５８３（ＪＰ，Ａ）

【文献】特開平０４－２６８４７８（ＪＰ，Ａ）

【文献】特開昭６１－２３３３１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

Ｇ０１Ｓ １３／８６

(57)【特許請求の範囲】

【請求項1】

海図データを記憶する海図データ記憶部と、
カメラの撮影映像を入力する撮影映像入力部と、
前記海図データに基づいて、折れ線図形を用いて検出対象領域の内側と外側とを区切る境界を設定する領域設定部と、
前記撮影映像の画像における前記検出対象領域の内側に対する画像認識によって検出された物標の物標情報を取得する物標情報取得部と、
前記物標が検出された位置に対応する前記撮影映像の位置に、前記物標情報を合成した合成映像を生成する合成映像生成部と、
を備える、
ことを特徴とする周辺監視装置。

【請求項2】

請求項１に記載の周辺監視装置であって、
前記画像認識を行う前記検出対象領域の内側と外側とを区切る境界は、閉じた折れ線図形で表される、
ことを特徴とする周辺監視装置。

【請求項3】

請求項１または請求項２に記載の周辺監視装置であって、
前記領域設定部は、前記折れ線図形の複数の頂点の位置情報を記憶する、
ことを特徴とする周辺監視装置。

【請求項4】

請求項１から３までの何れか一項に記載の周辺監視装置であって、
前記領域設定部は、水面が現れている領域の少なくとも一部を含み陸上の部分を除外するように前記検出対象領域の内側を設定する、
ことを特徴とする周辺監視装置。

【請求項5】

請求項１から４までの何れか一項に記載の周辺監視装置であって、
前記合成映像生成部は、前記検出対象領域を表す図形を含んで前記合成映像を生成する、
周辺監視装置。

【請求項6】

請求項５に記載の周辺監視装置であって、
前記画像認識を行う前記検出対象領域は、ユーザからの操作によって変形してから指定可能である、
周辺監視装置。

【請求項7】

請求項１から６までの何れか一項に記載の周辺監視装置であって、
前記検出対象領域は、複数の位置情報によって表される境界線によって区切られた領域である、
ことを特徴とする周辺監視装置。

【請求項8】

請求項７に記載の周辺監視装置であって、
前記検出対象領域は、前記海図データに含まれる水陸境界線又は等深線で区切られた領域である、
ことを特徴とする周辺監視装置。

【請求項9】

請求項７に記載の周辺監視装置であって、
前記検出対象領域は、前記海図データに含まれる水陸境界線から所定距離水域側に離れた境界線で区切られた領域である、
ことを特徴とする周辺監視装置。

【請求項10】

請求項１から９までの何れか一項に記載の周辺監視装置であって、
前記撮影映像入力部は、地上に設置されたカメラが撮像した撮影映像を入力する、
ことを特徴とする周辺監視装置。

【請求項11】

請求項１から１０までの何れか一項に記載の周辺監視装置であって、
前記物標情報取得部は、前記検出対象領域においてレーダ装置が検出した物標の物標情報を取得する、
ことを特徴とする周辺監視装置。

【請求項12】

請求項１から１１までの何れか一項に記載の周辺監視装置であって、
前記物標情報は、物標の位置、物標の速度、物標の大きさのうち少なくとも何れかを表現している、
ことを特徴とする周辺監視装置。

【請求項13】

請求項１から１２までの何れか一項に記載の周辺監視装置であって、
前記物標情報取得部は、ＡＩＳ情報に基づいて前記物標情報を取得可能であり、
前記合成映像生成部は、前記ＡＩＳ情報に基づく前記物標情報と、前記ＡＩＳ情報以外の情報に基づく前記物標情報と、を同一の映像に合成可能である、
ことを特徴とする周辺監視装置。

【請求項14】

請求項１３に記載の周辺監視装置であって、
前記合成映像生成部は、同一の物標について、前記ＡＩＳ情報に基づく前記物標情報と、前記ＡＩＳ情報以外の情報に基づく前記物標情報と、の両方が得られた場合に、前記ＡＩＳ情報に基づく前記物標情報を優先して合成する、
ことを特徴とする周辺監視装置。

【請求項15】

請求項１から１４までの何れか一項に記載の周辺監視装置であって、
前記合成映像生成部は、前記撮影映像に対して、方位を示す方位目盛りを合成可能であり、
前記合成映像生成部は、前記方位目盛りが前記撮影映像に対して合成される上下方向の位置を自動的に変更可能である、
ことを特徴とする周辺監視装置。

【請求項16】

海図データを記憶し、
撮影装置が撮影した撮影映像を入力し、
前記海図データに基づいて、折れ線図形を用いて検出対象領域の内側と外側とを区切る境界を設定し、
前記撮影映像の画像における前記検出対象領域の内側に対する画像認識によって検出された物標の物標情報を取得し、
前記物標が検出された位置に対応する前記撮影映像の位置に、前記物標情報を合成した合成映像を生成する、
ことを特徴とする周辺監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、主として、カメラ映像を用いた周辺監視装置に関する。

【背景技術】

【0002】

特許文献１は、カメラ等の撮像装置を画像入力手段として用いた侵入物体監視システムを開示する。特許文献１には、洋上での侵入船検出を行う際に、洋上での光の反射等の誤検出を除去するマスク領域を自動的に設定することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－２７９４２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記特許文献１の構成は、画素値の変化に基づいてマスク領域を作成しているため、洋上での光の反射と船とが紛らわしい場合にマスク領域を正しく設定できず、誤検出又は検出漏れが生じてしまう点で改善の余地があった。

【0005】

本発明は以上の事情に鑑みてされたものであり、その目的は、高精度な物標検出が可能な物標対象領域を適切に設定することにある。

【課題を解決するための手段】

【0006】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

【0007】

この発明の周辺監視装置は、海図データを記憶する海図データ記憶部と、カメラの撮影映像を入力する撮影映像入力部と、前記海図データに基づいて検出対象領域を設定する領域設定部と、前記検出対象領域において検出された物標の物標情報を取得する物標情報取得部と、前記物標が検出された位置に対応する前記撮影映像の位置に、前記物標情報を合成した合成映像を生成する合成映像生成部と、を備える。

【0008】

前記物標情報取得部は、前記検出対象領域に対して画像認識することにより検出された物標の物標情報を取得し、前記画像認識を行う前記検出対象領域の内側と外側とを区切る境界は、閉じた折れ線図形で表され、前記領域設定部は、前記折れ線図形の複数の頂点の位置情報を記憶する。

【0009】

また、この発明の周辺監視装置では、前記合成映像生成部は、前記検出対象領域を表す図形を含んで前記合成映像を生成する。

【0010】

また、この発明の周辺監視装置では、前記画像認識を行う前記検出対象領域は、ユーザからの操作によって変形してから指定可能である。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る周辺監視装置の全体的な構成を示すブロック図。

【図2】港湾監視施設に備えられる各種の機器を示す側面図。

【図3】カメラから入力される撮影映像の例を示す図。

【図4】３次元仮想空間に仮想現実オブジェクトを配置して構築される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。

【図5】データ合成部が出力する合成映像を示す図。

【図6】３次元仮想空間に水陸境界線の仮想現実オブジェクトを配置する様子を示す概念図。

【図7】撮影映像に水陸境界線を合成した合成映像を示す図。

【図8】周辺監視装置において行われる処理を説明するフローチャート。

【発明を実施するための形態】

【0012】

次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る周辺監視装置１の全体的な構成を示すブロック図である。図２は、港湾監視施設４に備えられる各種の機器を示す側面図である。

【0013】

図１に示す周辺監視装置１は、例えば図２に示すような港湾監視施設４に設置される。周辺監視装置１は、カメラ（撮影装置）３で撮影した映像をベースとして、港湾の船舶（監視対象）の動静監視を支援する情報を重畳した映像を生成することができる。従って、周辺監視装置１は、映像生成装置として機能する。周辺監視装置１が生成した映像は、ディスプレイ２に表示される。

【0014】

ディスプレイ２は、例えば、港湾監視施設４でオペレータが 監視業務を行う監視デスクに配置されたディスプレイとして構成することができる。ただし、ディスプレイ２は上記に限定されず、例えば、港湾監視施設４から周囲の状況を監視する監視補助者が携帯する携帯型コンピュータのディスプレイ等とすることが可能である。

【0015】

周辺監視装置１は、港湾監視施設４に設置されたカメラ３によって撮影された周囲の映像と、当該周囲の付加表示情報（後に詳述）を仮想現実的に表現する図形と、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。

【0016】

次に、主に図１を参照して、周辺監視装置１に電気的に接続されるカメラ３及び各種の機器について説明する。

【0017】

カメラ３は、港湾監視施設４の周囲を撮影する可視光ビデオカメラとして構成されている。カメラ３は広角型のカメラとして構成されており、見通しの良い高い場所にやや下向きで取り付けられている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ（映像データ）をリアルタイムで生成して周辺監視装置１に出力することができる。

【0018】

カメラ３は、原則として定点撮影を行う。ただし、カメラ３は図略の回転機構を介して取り付けられており、パン／チルト動作を指示する信号が周辺監視装置１から入力されることにより、その撮影方向を変更することができる。

【0019】

本実施形態の周辺監視装置１は、上記のカメラ３のほか、各種の機器としてのＡＩＳ受信機９、レーダ装置（物標検出部）１２等と電気的に接続されている。

【0020】

ＡＩＳ受信機９は、船舶から送信されるＡＩＳ情報を受信する。ＡＩＳ情報には、監視対象の港湾を航行している船舶の位置（緯度・経度）、当該船舶の長さ及び幅、当該船舶の種類及び識別情報、当該船舶の船速、針路及び目的地等の、様々な情報が含まれる。

【0021】

レーダ装置１２は、監視対象の港湾に存在する船舶等の物標を探知することができる。また、このレーダ装置１２は物標を捕捉及び追尾することが可能な公知の目標追尾機能（Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル（ＴＴ情報）を求めることができる。

【0022】

周辺監視装置１は、ユーザが操作するキーボード３６及びマウス３７に接続されている。ユーザは、キーボード３６及びマウス３７を操作することで、映像の生成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作等が含まれる。

【0023】

次に、周辺監視装置１の構成について、主に図１を参照して詳細に説明する。

【0024】

図１に示すように、周辺監視装置１は、撮影映像入力部２１と、付加表示情報取得部（物標情報取得部）１７と、カメラ位置／向き設定部２５と、レーダ位置／向き設定部２６と、画像認識部（物標検出部）２８と、画像認識領域設定部（領域設定部）３１と、追尾対象領域設定部（領域設定部）３２と、海図データ記憶部３３と、合成映像生成部２０と、を備える。

【0025】

具体的には、周辺監視装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、周辺監視装置１は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の周辺監視方法を実行させるためのソフトウェアが記憶されている。このハードウェアとソフトウェアの協働により、周辺監視装置１を、撮影映像入力部２１、付加表示情報取得部１７、カメラ位置／向き設定部２５、レーダ位置／向き設定部２６、画像認識部２８、画像認識領域設定部３１、追尾対象領域設定部３２、海図データ記憶部３３、及び合成映像生成部２０等として機能させることができる。符号３５はプロセッシングサーキットリーである。

【0026】

撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、画像認識部２８及び合成映像生成部２０（後述のデータ合成部２３）に出力する。

【0027】

付加表示情報取得部１７は、ＡＩＳ受信機９及びレーダ装置１２から周辺監視装置１に入力した情報と、画像認識部２８が取得した情報と、に基づいて、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報、物標情報）を取得する。この付加表示情報としては様々なものが考えられるが、例えば、ＡＩＳ受信機９から得られる船舶の位置及び速度、レーダ装置１２から得られる物標の位置及び速度、画像認識部２８から得られる物標の位置及び速度等とすることができる。付加表示情報取得部１７は、取得した情報を合成映像生成部２０に出力する。なお、付加表示情報の詳細は後述する。

【0028】

カメラ位置／向き設定部２５は、港湾監視施設４におけるカメラ３の位置（撮影位置）及び向きを設定することができる。カメラ３の位置の情報は、具体的には、緯度、経度、及び高度を示す情報である。カメラ３の向きの情報は、具体的には、方位角及び俯角を示す情報である。これらの情報は、例えばカメラ３の設置作業時に測定を行うこと等により得ることができる。カメラ３の向きは上述のとおり所定の角度範囲で変更可能であるが、カメラ３のパン／チルト操作がされると、それに応じて、最新の向きの情報がカメラ位置／向き設定部２５に設定される。カメラ位置／向き設定部２５は、設定されている情報を、合成映像生成部２０、付加表示情報取得部１７及び画像認識領域設定部３１に出力する。

【0029】

レーダ位置／向き設定部２６は、レーダ装置１２のアンテナの位置及び向きを設定することができる。アンテナの位置の情報は、具体的には、緯度及び経度を示す情報である。アンテナの向きの情報は、具体的には、方位を示す情報である。アンテナは通常は水平面内で回転するが、ここでいうアンテナの向きは、レーダ装置１２の探知方向の基準となる方位（基準方位）を意味する。これらの情報は、当該アンテナの設置作業時に測定を行うこと等により得ることができる。

【0030】

周辺監視装置１のレーダ位置／向き設定部２６に設定されているアンテナの位置及び向きの情報は、レーダ装置１２にも同様に設定されている。レーダ位置／向き設定部２６は、設定されている情報を、付加表示情報取得部１７及び追尾対象領域設定部３２に出力する。

【0031】

画像認識部２８は、撮影映像入力部２１から取得した画像のうち船舶等と考えられる部分を切り出して、予め登録されている物標画像データベースと照合することにより、船舶、ダイバー、漂流物等の物標を認識する。具体的には、画像認識部２８は、移動する物体をフレーム間差分法等により検出し、差異が生じた領域を切り出して、画像データベースと照合する。照合の方法としては、テンプレートマッチング等、公知の適宜の方法を用いることができる。画像認識は、他の公知の方法、例えばニューラルネットワークを用いて実現することもできる。画像認識部２８は、認識された物標のそれぞれについて、画像上で認識された位置の情報を付加表示情報取得部１７に出力する。

【0032】

画像認識領域設定部３１は、画像認識部２８に撮影映像入力部２１から入力される映像のうち、画像認識部２８が画像認識を行う対象となる領域を設定する。本実施形態において画像認識部２８は水面に浮かぶものを認識することを想定しているので、画像認識領域設定部３１としては通常、水面が現れている一部の領域だけを画像認識の対象領域とする。

【0033】

画像認識の対象領域の内側と外側とを区切る境界は、例えば、閉じた折れ線図形で表すことができる。画像認識領域設定部３１は、折れ線図形の複数の頂点の位置情報（緯度及び経度）を記憶する。

【0034】

カメラ３は通常、水面を大きく写すように設置されるが、例えば図３の例に示すように、カメラ３の視野に水面と同時に陸上が入ることがある。この場合、画像認識領域設定部３１において陸上の部分を除外するように画像認識の対象領域を設定することで、例えば道路を走行する自動車等を画像認識部２８が物標として認識することを回避することができる。この結果、認識精度を高めることができ、また、処理の負荷を低減させることができる。

【0035】

図１の追尾対象領域設定部３２は、レーダ装置１２が上述の目標追尾機能で物標を追尾する対象となる領域を設定する。レーダ装置１２は水面に浮かぶものを探知することを想定しているので、追尾対象領域設定部３２においても画像認識領域設定部３１と同様に、陸上の部分を除外するように物標追尾対象が設定される。これにより、水面の物標だけを適切に探知することができる。

【0036】

レーダ装置１２による追尾の対象領域の内側と外側とを区切る境界は、画像認識の対象領域と同様に、閉じた折れ線図形で表すことができる。追尾対象領域設定部３２は、折れ線図形の複数の頂点の位置情報（緯度及び経度）を記憶する。

【0037】

海図データ記憶部３３は、海図データを記憶する。この海図データとしては、例えば航海用電子海図が用いられている。海図データには、水面と陸地との境界線（水陸境界線）のベクトルデータが含まれている。境界線の表現方法は任意であるが、例えば、陸域の輪郭を折れ線による閉じた図形で表現し、それぞれの頂点の位置情報（緯度及び経度）を順に記述することが考えられる。

【0038】

海図データ記憶部３３は、水陸境界線を示すベクトルデータを、画像認識領域設定部３１及び追尾対象領域設定部３２に出力する。これにより、画像認識領域設定部３１及び追尾対象領域設定部３２に対する領域の設定が容易になる。

【0039】

合成映像生成部２０は、ディスプレイ２に映し出す合成映像を生成するものである。当該合成映像生成部２０は、３次元シーン生成部（表示用データ生成部）２２と、データ合成部（表示出力部）２３と、を備える。

【0040】

３次元シーン生成部２２は、図４に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置することにより、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、３次元シーンの詳細は後述する。

【0041】

データ合成部２３は、３次元シーン生成部２２が生成した３次元シーンデータ４８を描画することで付加表示情報を３次元的に表現する図形を生成するとともに、図５に示す合成映像、即ち、当該図形４１ｆ，４２ｆ，・・・とカメラ３の撮影映像とを合成した映像を出力する処理を行う。図５に示すように、この合成映像では、カメラ３で撮影された映像に、付加表示情報を示す図形４１ｆ，４２ｆ，・・・が重ねられている。データ合成部２３は、生成された合成映像をディスプレイ２に出力する。なお、図形の生成処理及びデータ合成処理の詳細は後述する。

【0042】

次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、周辺監視装置１において表示の対象となる付加表示情報の例を説明する概念図である。

【0043】

付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、周辺監視装置１に接続される機器の目的及び機能に応じて様々なものが考えられる。例示すると、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、船舶の位置及び向き等）を付加表示情報とすることができる。レーダ装置１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。これらの情報は、それぞれの機器から周辺監視装置１にリアルタイムで入力される。

【0044】

また、本実施形態において、付加表示情報には、画像認識部２８が画像認識を行うことにより識別された物標の位置及び速度等が含まれる。

【0045】

レーダ装置１２から得られた情報に含まれる物標の位置及び速度ベクトルは、レーダ装置１２のアンテナの位置及び向きを基準とした相対的なものである。従って、付加表示情報取得部１７は、レーダ装置１２から得られた物標の位置及び速度ベクトルを、レーダ位置／向き設定部２６から得られた情報に基づいて、地球基準に変換する。

【0046】

同様に、画像認識部２８から得られた物標の位置及び速度ベクトルは、カメラ３の位置及び向きを基準とした相対的なものである。従って、付加表示情報取得部１７は、画像認識部２８から得られた物標の位置及び速度ベクトルを、カメラ位置／向き設定部２５から得られた情報に基づいて、地球基準に変換する。

【0047】

以下、付加表示情報の例を説明する。図３のカメラ映像で示す状況において、港湾内で大きな船舶４１ｒがカメラ映像の右側へ向かって航行中であることが、ＡＩＳ受信機９が取得したＡＩＳ情報により検出されている。小さな船舶４２ｒがカメラ映像の右側へ向かって高速で航行中であることが、レーダ装置１２により検出されている。更に、小さな船舶４３ｒが手前側に向かって高速で航行中であることが、画像認識部２８により検出されている。

【0048】

それぞれの付加表示情報には、少なくとも、それが配置される海面（水面）における地点の位置（緯度及び経度）を示す情報が含まれている。例えば、船舶４１ｒ，４２ｒ，４３ｒを示す付加表示情報には、当該船舶４１ｒ，４２ｒ，４３ｒの位置を示す情報が含まれている。

【0049】

次に、３次元シーン生成部２２による３次元シーンの構築、及び、データ合成部２３による映像の合成について、図４を参照して詳細に説明する。図４は、３次元仮想空間４０に仮想現実オブジェクト４１ｖ，４２ｖ，・・・を配置して生成される３次元シーンデータ４８と、当該３次元仮想空間４０に配置される映写スクリーン５１と、を説明する概念図である。

【0050】

３次元シーン生成部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される３次元仮想空間４０は、図４に示すように直交座標系で構成される。この直交座標系の原点は、カメラ３の設置位置の真下の高度ゼロの点に定められる。３次元仮想空間４０において、原点を含む水平な面であるｘｚ平面が海面（水面）を模擬するように設定される。図４の例では、座標軸は、＋ｚ方向が常にカメラ３の方位角と一致し、＋ｘ方向が右方向、＋ｙ方向が上方向となるように定められる。この３次元仮想空間４０内の各地点（座標）は、カメラ３の周囲の現実の位置に対応するように設定される。

【0051】

図４には、図３に示す港湾の状況に対応して、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖを３次元仮想空間４０内に配置した例が示されている。本実施形態において、仮想現実オブジェクト４１ｖ，４２ｖ，・・・は、認識された物標（即ち、船舶４１ｒ，４２ｒ，４３ｒ）の位置を示す下向きの円錐と、当該物標の速度ベクトルを示す矢印と、を含んでいる。円錐及び矢印は、何れも３次元形状である。下向きの円錐は、その真下に物標が位置することを表現している。矢印の向きは物標の速度の向きを表現し、矢印の長さは速度の大きさを表現している。

【0052】

各仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖは、カメラ３の方位角を基準として、それが表す付加表示情報のカメラ３に対する相対位置を反映させるように、ｘｚ平面又はそれより少し上に配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，・・・が配置される位置を決定するにあたっては、図１に示すカメラ位置／向き設定部２５で設定されたカメラ３の位置及び向きを用いた計算が行われる。

【0053】

３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成する。図４の例では、仮想現実オブジェクト４１ｖ，４２ｖ，・・・がカメラ３の真下を原点とした方位基準で配置されるので、図３の状態からカメラ３の方位角が変化すると、当該仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置した新しい３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例えば図３の状態から船舶４１ｒ，４２ｒ，４３ｒが移動する等して付加表示情報の内容が変更されると、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。

【0054】

更に、データ合成部２３は、３次元仮想空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。この映写スクリーン５１と仮想現実オブジェクト４１ｖ，４２ｖ，・・・の両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現することができる。

【0055】

データ合成部２３は、視点カメラ５５を、現実空間におけるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレートするように配置する。また、データ合成部２３は、映写スクリーン５１を、当該視点カメラ５５に正対するように配置する。カメラ３の位置のシミュレートに関し、カメラ３の位置は、図１に示すカメラ位置／向き設定部２５の設定値に基づいて得ることができる。

【0056】

３次元仮想空間４０における視点カメラ５５の方位角は、カメラ３のパン動作によって方位角が変化しても、変化することはない。その代わり、データ合成部２３は、カメラ３をパン動作させると、変化した方位角の分だけ、３次元仮想空間４０における仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、原点を中心に水平面内で回転させるように再配置する。

【0057】

視点カメラ５５の俯角は、カメラ３の俯角と常に等しくなるように制御される。データ合成部２３は、カメラ３のチルト動作による俯角の変化（視点カメラ５５の俯角の変化）に連動して、３次元仮想空間４０に配置される映写スクリーン５１の位置及び向きを、視点カメラ５５と正対する状態を常に保つように変化させる。

【0058】

そして、データ合成部２３は、３次元シーンデータ４８及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。より具体的には、データ合成部２３は、３次元仮想空間４０に視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当該視点カメラ５５を頂点とし、その視線方向が中心軸となるように定義する。続いて、データ合成部２３は、各オブジェクト（仮想現実オブジェクト４１ｖ，４２ｖ，・・・及び映写スクリーン５１）を構成するポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディスプレイ２での合成映像の表示領域に相当する２次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の解像度でピクセルの生成・加工処理を行うことにより、２次元の画像を生成する。

【0059】

このようにして生成された２次元の画像には、３次元シーンデータ４８の描画が行われることにより得られた図形（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，・・・のレンダリング結果としての図形）が含まれる。また、２次元の画像の生成過程において、映写スクリーン５１に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２３による映像の合成が実現される。

【0060】

映写スクリーン５１は、視点カメラ５５を中心とする球殻に沿うように湾曲した形状となっているので、透視投影による撮影映像の歪みを防止することができる。また、カメラ３は広角カメラであり、その撮影映像には図３に示すようにレンズ歪みが生じているが、当該レンズ歪みは、映写スクリーン５１に撮影映像が貼り付けられる時点で除去されている。レンズ歪みを除去する方法は任意であるが、例えば、補正前の画素の位置と補正後の画素の位置を対応付けたルックアップテーブルを用いることが考えられる。これにより、図４に示す３次元仮想空間４０と撮影映像を良好に整合させることができる。

【0061】

次に、カメラ３で撮影した映像と合成映像との関係を、例を参照して説明する。

【0062】

図５には、図３に示す撮影映像に対し、図４の３次元シーンデータ４８のレンダリングによる上記の２次元の画像を合成した結果が示されている。ただし、図５では、カメラ３による撮影映像が現れている部分が、それ以外の部分と区別し易くなるように便宜的に破線で示されている（これは、合成映像を表す他の図においても同様である）。図５の合成映像では、付加表示情報を表現する図形４１ｆ，４２ｆ，４３ｆが、撮影映像に重なるように配置されている。

【0063】

上記の図形４１ｆ，４２ｆ，・・・は、図４に示す３次元シーンデータ４８を構成する仮想現実オブジェクト４１ｖ，４２ｖ，・・・の３次元形状を、カメラ３と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像に対して図形４１ｆ，４２ｆ，・・・を重ねた場合でも、見た目の違和感が殆ど生じないようにすることができる。

【0064】

これにより、船舶を示すマーク及び速度を示す矢印があたかも水面上の空中に浮かんでいるように見える、自然で現実感の高い拡張現実の映像を得ることができる。また、ユーザは、ディスプレイ２に映し出された海面を眺めることで、仮想現実を表す図形４１ｆ，４２ｆ，・・・が網羅的に視界に入るので、取りこぼしなく必要な情報を得ることができる。

【0065】

上述したように、カメラ３から入力された撮影映像は、３次元仮想空間４０の映写スクリーン５１に映写される時点でレンズ歪みが除去されている。しかしながら、データ合成部２３は、レンダリング後の合成映像に対し、上述のルックアップテーブルを用いた逆変換により、レンズ歪みを再び付与する。これにより、図５と図３とを比較すれば分かるように、合成前のカメラ映像との関係で違和感が生じにくい合成映像を得ることができる。ただし、レンズ歪みの付与は省略しても良い。

【0066】

データ合成部２３は、図５に示すように、合成映像において図形４１ｆ，４２ｆ，４３ｆの近傍の位置に、監視のために有用な情報を記述した文字情報を更に合成している。文字情報の内容は任意であり、例えば、船舶を識別する情報、船舶の大きさを示す情報、どの装置から取得したかを示す情報等、様々な内容を表示することができる。船舶を識別する情報は、例えばＡＩＳ情報から得ることができる。船舶の大きさを示す情報は、ＡＩＳ情報から得ることができるが、画像認識部２８による画像認識時に検出された画像の大きさから、又は、レーダ装置１２において得られた追尾エコーの大きさから、計算により得ることもできる。これにより、情報が充実した監視画面を実現することができる。

【0067】

図５に示すように、本実施形態では、ＡＩＳ受信機９から得られたＡＩＳ情報に基づく付加表示情報を表す図形４１ｆと、画像認識部２８による画像認識結果に基づく付加表示情報を表す図形４２ｆと、レーダ装置１２のレーダ追尾結果に基づく付加表示情報を表す図形４３ｆと、が撮影映像に合成されている。これにより、統合された表示を実現でき、ユーザは、多様な情報源から得られる情報を１つの合成映像で分かり易く監視することができる。この結果、監視負担を良好に軽減することができる。

【0068】

図５では、船舶４１ｒについて、ＡＩＳ受信機９から得られたＡＩＳ情報に基づく付加表示情報が表示されている。同一の船舶４１ｒを、画像認識部２８が認識したり、レーダ装置１２が追尾したりすることも考えられるが、この場合でも、合成映像生成部２０は、船舶４１ｒの部分には、ＡＩＳ情報に基づく付加表示情報を優先して表示する。これにより、信頼度の高い情報を優先して表示することができる。

【0069】

図５の合成映像には、方位目盛り４６が表示されている。方位目盛り４６は、画面の左端と右端とを繋ぐように円弧状に形成されている。方位目盛り４６には、映像に対応した方位を示す数値が記載されている。これにより、ユーザは、カメラ３が見ている方位を直感的に把握することができる。

【0070】

例えばカメラ３がチルトして合成映像上で方位目盛り４６が他の図形４１ｆ，４２ｆ，４３ｆと重なったり、撮影映像の水面と重なってしまう場合には、データ合成部２３は、方位目盛り４６が合成される位置を映像の上下方向に自動的に移動させる。これにより、方位目盛り４６が他の表示の邪魔にならないようにすることができる。

【0071】

次に、海図データを用いた画像認識領域の設定について説明する。

【0072】

上述のとおり、画像認識領域設定部３１は、画像認識部２８が画像認識を行う対象となる領域を設定する。ユーザは、カメラ３の撮影映像をディスプレイ２に表示させた状態で、画像認識の対象領域をマウス３７等で指定することで、上述の領域を指定することができる。

【0073】

画像認識の対象領域をユーザに指定させるとき、海図データ記憶部３３は、記憶している海図データのうち、水陸境界線を表すベクトルデータを画像認識領域設定部３１に出力する。画像認識領域設定部３１は、この境界線ベクトルデータを合成映像生成部２０に出力する。

【0074】

合成映像生成部２０の３次元シーン生成部２２は、図６に示すように、水陸境界線を表す仮想現実オブジェクト４９ｖをｘｚ平面に配置した３次元シーンデータ４８を生成する。仮想現実オブジェクト４９ｖが配置される位置は、カメラ３の方位角を基準として、水陸境界線のカメラ３に対する相対位置を反映させるように配置される。そして、データ合成部２３は、上述と全く同様にレンダリング処理を行い、図７に示すような合成映像をディスプレイに出力する。

【0075】

図７の合成映像において、仮想現実オブジェクト４９ｖがレンダリングされた結果としての図形４９ｆは、カメラ３による撮影映像の水面にあたかも置かれるかのように合成映像上に配置されている。境界線ベクトルデータは現実の境界線と一致しているはずなので、カメラ３に映る水面の形状と図形４９ｆの形状は整合している。

【0076】

従って、ユーザは、図形４９ｆを参考にして、画像認識領域を容易かつ適切に設定することができる。ユーザは、例えば、図７に示される図形４９ｆに囲まれた領域をそのまま画像認識領域として指定することができる。また、ユーザは、撮影映像とのズレを修正するようにマウス操作等により領域を変形してから、画像認識領域として指定することもできる。

【0077】

なお、海図データ記憶部３３が記憶する境界線ベクトルデータは、追尾対象領域設定部３２において追尾対象領域を設定するのに用いることもできる。追尾対象領域は、レーダ位置／向き設定部２６に設定されているアンテナの位置／向きと、境界線ベクトルデータと、に基づいて、水域に限定するように計算して定めることができる。これにより、ユーザは、追尾対象領域を容易にかつ正確に設定することができる。

【0078】

画像認識の対象領域の境界、及び、レーダ追尾の対象領域の境界は、水陸境界線を用いず、他の境界線を用いて定義することもできる。例えば、海図データに含まれるデータのうち、所定の深さに相当する等深線を、認識の境界としても良い。また、水陸境界線から所定の距離だけ水域側にオフセットするようにして境界線を作り、当該境界線を認識の境界としても良い。これにより、例えば大型船だけを監視する場合は所定の水深以上の領域となるように対象領域を限定する等、目的に応じた監視を実現し易くなる。

【0079】

画像認識、或いは、レーダ追尾のパラメータを、海図データに含まれる情報に応じて変更しても良い。例えば、水深が浅い領域では大型船舶は航行できないので、海図データに基づいて取得した水深が小さい場合には、画像認識部２８が小型船舶の画像データベースとテンプレートマッチングしたり、レーダ装置１２が小さなレーダエコーだけを追尾対象としたりすること等が考えられる。これにより、適切な監視を実現することができる。

【0080】

図８には、周辺監視装置１において行われる一連の処理がフローチャートによって示されている。

【0081】

図８のフローがスタートすると、周辺監視装置１は、準備作業として、外部から入力された海図データを海図データ記憶部３３に記憶する（ステップＳ１０１）。次に、周辺監視装置１は、カメラ３が撮影した撮影映像を撮影映像入力部２１から入力する（ステップＳ１０２）。周辺監視装置１の合成映像生成部２０は、この撮影映像と、海図データ記憶部３３から取得した境界線ベクトルデータと、を合成した合成映像を生成してディスプレイ２に出力する（ステップＳ１０３）。

【0082】

ユーザは、ディスプレイ２の画面を見ながら、画像認識領域を適宜設定する（ステップＳ１０４）。ステップＳ１０３及びＳ１０４を省略して、画像認識領域の境界が境界線ベクトルデータと同一となるように周辺監視装置１側で自動的に設定しても良い。

【0083】

その後、通常の運用が開始される。具体的に説明すると、周辺監視装置１は、カメラ３が撮影した撮影映像を撮影映像入力部２１から入力する（ステップＳ１０５）。続いて、周辺監視装置１の画像認識部２８が、画像認識領域を対象とした画像認識を行い、これにより検出された物標の物標情報を取得する（ステップＳ１０６）。次に、合成映像生成部２０は、物標が検出された位置に対応する撮影映像の位置に、物標情報を合成した合成映像を生成してディスプレイ２に出力する（ステップＳ１０７）。その後、処理はステップＳ１０５に戻り、ステップＳ１０５～Ｓ１０７の処理が反復される。

【0084】

以上に説明したように、本実施形態の周辺監視装置１は、海図データ記憶部３３と、撮影映像入力部２１と、画像認識領域設定部３１と、付加表示情報取得部１７と、合成映像生成部２０と、を備える。海図データ記憶部３３は、海図データを記憶する。撮影映像入力部２１は、カメラ３の撮影映像を入力する。画像認識領域設定部３１は、海図データに基づいて検出対象領域を設定する。付加表示情報取得部１７は、検出対象領域において検出された物標の物標情報を取得する。合成映像生成部２０は、物標が検出された位置に対応する撮影映像の位置に、物標情報を合成した合成映像を生成する。

【0085】

これにより、画像認識を行う領域を、海図データの水陸境界線を用いて容易に設定することができる。

【0086】

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

【0087】

カメラ３において上記のパン／チルト機能を省略し、撮影方向を変更不能に構成してもよい。

【0088】

３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態では、図４で説明したように、仮想現実オブジェクト４１ｖ，４２ｖ，・・・がカメラ３の位置を原点としたカメラ方位基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を、カメラ方位基準ではなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、カメラ３のパン動作によって方位角が変化したときは、仮想現実オブジェクト４１ｖ，４２ｖ，・・・を再配置する代わりに、３次元仮想空間４０においてカメラ３の位置及び向きの変化をシミュレートするように視点カメラ５５の方位角を変更してレンダリングを行うことで、上述のカメラ方位基準の場合と全く同じレンダリング結果を得ることができる。

【0089】

また、３次元仮想空間４０の座標系は、カメラ３の真下の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。

【0090】

周辺監視装置１に接続される機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の機器が含まれていてもよい。そのような機器として、例えば、赤外線カメラ、音響センサ等を挙げることができる。

【0091】

画像認識領域設定部３１において設定される対象領域、及び、追尾対象領域設定部３２において設定される対象領域は、折れ線図形に代えて、他の図形、例えば滑らかな曲線で表すこともできる。また、ベクトルデータに代えてラスタデータ（マスク画像）の形で、対象領域を設定することもできる。

【0092】

付加表示情報を表す図形は、図５に示すものに限られない。例えば、船舶４１ｒ，４２ｒ，４３ｒが検出された位置に、船舶の３次元モデルをレンダリングした図形を表示することもできる。これにより、より臨場感のある表示を実現することができる。図４の３次元仮想空間４０において、船舶の３次元モデルは、ＡＩＳ情報等から得られる船舶の向きと一致する向きで配置される。３次元仮想空間４０に配置される船舶の３次元モデルの大きさを、ＡＩＳ情報等から得られる船舶の大きさに応じて変化させても良い。

【0093】

３次元シーン生成部２２を省略して、付加表示情報の図形４１ｆ，４２ｆ，４３ｆについて拡張現実による表示を行わないように構成することもできる。例えば、３次元円錐形状をレンダリングした図形の代わりに、単に下向きの平面的な三角形を表示することができる。３次元シーンを構築しなくても、撮影映像における各画素と、水面上の対応する場所と、の対応関係は、カメラ３が設置されている位置と向きに基づいて計算により求めることができる。従って、上記の三角形を、水面上での検出位置に対応する映像上の位置に表示することができる。同様に、３次元シーンを構築しなくても、境界線の図形を合成した図７のような合成映像を実現することができる。

【0094】

周辺監視装置１は、地上の施設に限定されず、船舶等の移動体に設けられても良い。

【符号の説明】

【0095】

１ 周辺監視装置
３ カメラ
１７ 付加表示情報取得部（物標情報取得部）
２０ 合成映像生成部
２１ 撮影映像入力部
２８ 画像認識部
３１ 画像認識領域設定部（領域設定部）
３２ 追尾対象領域設定部（領域設定部）
３３ 海図データ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】