(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-09
(45)【発行日】2022-01-12
(54)【発明の名称】船舶検出装置及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220104BHJP
G06T 1/00 20060101ALI20220104BHJP
G01S 13/90 20060101ALI20220104BHJP
【FI】
G06T7/00 640
G06T1/00 285
G01S13/90 191
(21)【出願番号】P 2018062665
(22)【出願日】2018-03-28
【審査請求日】2020-11-09
(73)【特許権者】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(73)【特許権者】
【識別番号】597001523
【氏名又は名称】株式会社IHIジェットサービス
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100175802
【氏名又は名称】寺本 光生
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100167553
【氏名又は名称】高橋 久典
(72)【発明者】
【氏名】渡辺 剛
(72)【発明者】
【氏名】堂之前 義文
(72)【発明者】
【氏名】水越 紀良
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2012-128558(JP,A)
【文献】特開2001-242245(JP,A)
【文献】特開2009-047516(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/42
G01S 13/00-13/95
G06T 1/00- 1/40
G06T 3/00- 9/40
(57)【特許請求の範囲】
【請求項1】
SAR画像を二値化処理することにより船舶候補を抽出する候補抽出部と、
前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記SAR画像とを画像合成することにより評価画像を生成する評価画像生成部と、
前記評価画像に基づいて船舶検出結果を精査する船舶検出精査部と
を備えることを特徴とする船舶検出装置。
【請求項2】
前記船舶検出精査部は、前記評価画像の機械学習によって船舶でない候補を排除することを特徴とする請求項1に記載の船舶検出装置。
【請求項3】
前記SAR画像に所定の前処理を施すことにより前処理済画像を生成する前処理部をさらに備え、
前記候補抽出部は、前処理済画像を二値化処理することを特徴とする請求項1または2に記載の船舶検出装置。
【請求項4】
前記船舶検出精査部は、陸地、波、SAR画像の接続部、信号ノイズを排除することを特徴とする請求項1~3のいずれか一項に記載の船舶検出装置。
【請求項5】
前記船舶検出精査部の検出結果を付加した前記評価画像を蓄積する画像記憶部をさらに備えることを特徴とする請求項1~4のいずれか一項に記載の船舶検出装置。
【請求項6】
SAR画像を二値化処理することにより船舶候補を抽出する第1処理と、
前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記SAR画像とを画像合成することにより評価画像を生成する第2処理と、
前記評価画像に基づいて船舶を検出する第3処理と
を有することを特徴とする船舶検出方法。
【請求項7】
前記第3処理では、前記評価画像の機械学習によって船舶を検出することを特徴とする請求項6に記載の船舶検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、船舶検出装置及び方法に関する。
【背景技術】
【0002】
下記特許文献1には、SAR画像等の衛星画像から船舶候補領域を抽出し、この船舶候補領域における船舶を判定する船舶画像処理システムが開示されている。この船舶画像処理システムは、船舶候補領域から抽出された船舶諸元を用いて船舶を判定することにより判定精度の向上を図るものであり、フレーム決定部と領域画素抽出部と被覆矩形切出処理部からなる領域抽出判定部により、画像データから船舶候補領域を抽出し、船舶判定処理部は、当該船舶候補領域から想定される船舶に関する船舶諸元(重心座標、全長方向、全長、全幅など)を算出し、当該船舶諸元に基づいて船舶候補領域が船舶の画像であるか否かを判定するものである。なお、上記SAR画像は、周知の合成開口レーダ(Synthetic Aperture Radar)によって得られるグレースケール画像である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術は検出精度が不十分なために実用化が難しいのが現状である。したがって、衛星画像を用いた船舶検出技術を実用化させるためには、船舶の検出精度を従来よりも向上させることが極めて重要である。なお、ここでいう検出精度とは、検出率と検出の確からしさを合わせた概念であり、検出の確からしさは誤検出の少なさと同義であるものとする。
【0005】
本発明は、上述した事情に鑑みてなされたものであり、SAR画像を用いた船舶検出における検出精度を従来よりも向上させることを目的とするものである。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明では、船舶検出装置に係る第1の解決手段として、SAR画像を二値化処理することにより船舶候補を抽出する候補抽出部と、前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記SAR画像とを画像合成することにより評価画像を生成する評価画像生成部と、前記評価画像に基づいて船舶検出結果を精査する船舶検出精査部とを備える、という手段を採用する。
【0007】
本発明では、船舶検出装置に係る第2の解決手段として、上記第1の解決手段において、前記船舶検出精査部は、前記評価画像の機械学習によって船舶でない候補を排除する、という手段を採用する。
【0008】
本発明では、船舶検出装置に係る第3の解決手段として、上記第1または第2の解決手段において、前記SAR画像に所定の前処理を施すことにより前処理済画像を生成する前処理部をさらに備え、前記候補抽出部は、前処理済画像を二値化処理する、という手段を採用する。
【0009】
本発明では、船舶検出装置に係る第4の解決手段として、上記第1~第3のいずれかの解決手段において、前記船舶検出精査部は、陸地、波、SAR画像の接続部、信号ノイズを排除する、という手段を採用する。
【0010】
本発明では、船舶検出装置に係る第5の解決手段として、上記第1~第4のいずれかの解決手段において、前記船舶検出部の検出結果を付加した前記評価画像を蓄積する画像記憶部をさらに備える、という手段を採用する。
【0011】
また、本発明では、船舶検出方法に係る第1の解決手段として、SAR画像を二値化処理することにより船舶候補を抽出する第1処理と、前記船舶候補を示す二値化画像と前記船舶候補の周囲を示す前記SAR画像とを画像合成することにより評価画像を生成する第2処理と、前記評価画像に基づいて船舶を検出する第3処理とを有する、という手段を採用する。
【0012】
また、本発明では、船舶検出方法に係る第2の解決手段として、上記第1の解決手段において、前記第3処理では、前記評価画像の機械学習によって船舶を検出する、という手段を採用する。
【発明の効果】
【0013】
本発明によれば、SAR画像を用いた船舶検出における検出精度を従来よりも向上させることが可能である。
【図面の簡単な説明】
【0014】
【
図1】本発明の一実施形態に係る船舶検出装置が設けられる海洋監視システムのシステム構成図である。
【
図2】本発明の一実施形態に係る船舶検出装置を用いた船舶検出方法を示すフローチャートである。
【
図3】本発明の一実施形態における船舶候補領域画像及び評価画像の一例である。
【発明を実施するための形態】
【0015】
以下、図面を参照して、本発明の一実施形態について説明する。
本実施形態における海洋監視システムは、所定海域における船舶の航行を監視するシステムであり、
図1に示すようにSAR衛星1、地上受信局2、画像サーバ3、船舶検出装置4、AISサーバ5、VPN(Virtual Private Network)6及びブラウザ端末7A~7Cを備える。
【0016】
SAR衛星1は、合成開口レーダ(SAR:Synthetic Aperture Radar)を備えた人工衛星であり、例えば周知の地球資源衛星1号、陸域観測技術衛星あるいは/及び陸域観測技術衛星2号である。SAR衛星1は、所定の時間間隔かつ所定期間に亘って所定波長のマイクロ波(送信波)を地上の監視対象領域(二次元領域)に向けて送信し、当該送信波が地表で反射して生成されるマイクロ波(反射波)を受信することによりSAR画像を取得する。
【0017】
このSAR画像は、上記監視対象領域(二次元領域)の状態、つまりSAR衛星1からの緯度経度情報を伴う距離を示す二次元のグレースケール画像である。SAR衛星1は、合成開口レーダにおける上記送信波及び反射波に基づいてSAR画像を生成し、当該SAR画像を地上受信局2に送信する。なお、合成開口レーダで一般的に使用されるマイクロ波の波長帯には、Lバンド、Cバンド及びXバンドが存在するが、本実施形態におけるSAR衛星1は、Lバンド、Cバンド、Xバンドのマイクロ波を用いて画像分解能が3m~100m程度のSAR画像を取得する。
【0018】
地上受信局2は、地上の所定場所に設けられ、上記SAR衛星1からSAR画像を受信する通信設備である。すなわち、この地上受信局2は、SAR衛星1と無線通信を行うための無線アンテナ及び無線通信機を少なくとも備え、SAR衛星1が間欠的に送信してくるSAR画像を受信して画像サーバ3に出力する。
【0019】
画像サーバ3は、上記地上受信局2から順次入力されるSAR画像を蓄積すると共に、船舶検出装置4の要求に応じてSAR画像を提供するデータサーバである。すなわち、この画像サーバ3は、多数のSAR画像を記憶する画像記憶装置を備え、船舶検出装置4の要求に応じて画像記憶装置を検索することにより、船舶検出装置4が要求するSAR画像を読み出して船舶検出装置4に出力する。
【0020】
船舶検出装置4は、この海洋監視システムにおいて最も特徴的な構成機器である。すなわち、この船舶検出装置4は、所定の検出アルゴリズムに基づいてSAR画像に所定の画像処理を施すことにより、地表の監視対象領域(二次元領域)に存在する船舶を検出する。上記検出アルゴリズムの詳細については船舶検出装置4の動作説明として後述するが、船舶検出装置4は、上記検出アルゴリズムに基づくソフトウエア的な機能構成要素として、
図1に示すように前処理部4a、候補抽出部4b、評価画像生成部4c、船舶検出精査部4d及び画像記憶部4eを備えている。
【0021】
前処理部4aは、SAR画像に所定の前処理を施すことにより前処理済画像を生成する機能構成要素である。すなわち、前処理部4aは、候補抽出部4bにおける画像処理の精度を向上させるための前処理として、SAR画像に写り込んでいる陸地のマスキング処理や輝度の補正処理等を施し、このような前処理の結果画像である前処理済画像を生成して候補抽出部4bに出力する。
【0022】
候補抽出部4bは、上記前処理済画像を二値化処理することにより船舶候補Nを抽出する機能構成要素である。すなわち、候補抽出部4bは、前処理済画像に所定の処理を施すことにより閾値を設定し、当該閾値を用いて前処理済画像に二値化処理することにより二値化画像を生成する。候補抽出部4bは、このように生成した二値化画像及び前処理済画像を評価画像生成部4cに出力する。
【0023】
評価画像生成部4cは、船舶候補Nを示す二値化画像とSAR画像において船舶候補Nの周囲を示す周囲画像Gとを画像合成することにより評価画像を生成する機能構成要素である。すなわち、評価画像生成部4cは、各船舶候補Nの周囲に境界線を設定し、上記境界線の内側領域に相当する前処理済画像の画像領域を切り取ることにより周囲画像Gを生成する。また、評価画像生成部4cは、このように生成した周囲画像Gと船舶候補Nを示す二値化画像とを論理積処理(AND処理)することにより評価画像を生成する。
【0024】
船舶検出精査部4dは、評価画像に基づいて船舶を検出する機能構成要素である。すなわち、船舶検出精査部4dは、評価画像における各船舶候補Nについて特徴量を算出し、当該特徴量と周囲画像Gに示されている各船舶候補Nの周囲の状況とに基づいて各船舶候補Nが実船舶であるか否かを判断する。
【0025】
ここで、船舶検出精査部4dにおける上記検出処理には、例えば機械学習が適用される。すなわち、船舶検出精査部4dは、機械学習に基づく船舶識別機能を備えている。この船舶識別機能は、教師画像を用いて実船舶の判定ルールを初期的に学習し、当該学習の結果として船舶検出精査部4dに組み込まれたものである。船舶検出精査部4dは、評価画像生成部4cから順次入力される評価画像について上記船舶識別機能に基づいて実船舶を判断する。なお、上記機械学習には人工知能の一種であり種々の実現手法が知られているが、例えば畳み込みニューラルネットワーク(Convolutional Neural Network)を用いる。
【0026】
画像記憶部4eは、船舶検出精査部4dの検出結果を付加した評価画像を蓄積する不揮発性記憶装置である。船舶検出装置4は、VPN6を介してブラウザ端末7A~7Cから受信する船舶検知情報の提供要求に対して、船舶検出精査部4dの検出結果を付加した評価画像を画像記憶部4eから読み出すことによりブラウザ端末7A~7Cに送信する。
【0027】
AISサーバ5は、既設のAIS情報センタから監視対象領域を航行する船舶のAIS情報を取得して蓄積するデータサーバである。AISサーバ5は、自らが蓄積したAIS情報を船舶検出装置4に提供する。なお、AIS情報は、船舶に搭載が国際的に義務付けられている自動船舶識別装置(AIS:Automatic Identification System)が外部に対して発信する船舶の識別符号、船名、位置、針路、速力、目的地等を含む船舶情報である。
【0028】
VPN6は、機密を保持することができる専用線であり、複数の有線通信網及び無線通信網の集合体であり、例えばインターネットを構成している。すなわち、このVPN6は、海洋監視システムの利用者が接続可能な通信回線である。
【0029】
ブラウザ端末7A~7Cは、上記VPN6に接続された通信端末であり、データセンターで船舶情報を処理された結果データをダウンロードする事ができ、ダウンロードした船舶情報を専用ソフトで閲覧することができる。これらブラウザ端末7A~7Cは、各々個別の利用者が管理する通信端末であり、VPN6を介して船舶検出装置4に船舶検知情報の提供を要求すると共に、当該提供要求に応じて船舶検出装置4が提供する船舶検知情報を表示、保存及び転送処理する。なお、この
図1では便宜的に3台のブラウザ端末7A~7Cを示しているが、ブラウザ端末の個数に制限はない。
【0030】
次に、本実施形態に係る海洋監視システムの時系列的な動作、特に船舶検出装置4による船舶の検出動作(船舶検出方法)について、
図2及び
図3を参照して詳しく説明する。
【0031】
SAR衛星1は、地球周回軌道を飛行する際し、監視対象領域の上空を飛行する度に監視対象領域のSAR画像を取得して地上受信局2に送信する。そして、地上受信局2は、SAR画像をSAR衛星1から受信する度に画像サーバ3に出力する。この結果、画像サーバ3には、監視対象領域に関し、時系列的な複数のSAR画像が蓄積される。
【0032】
そして、船舶検出装置4は、このような画像サーバ3から監視対象領域のSAR画像を順次取得しAISサーバ5から別途取得したAIS情報を加味して監視対象領域に実船舶が存在するか否かを判断する。そして、船舶検出装置4は、上記判断の結果をVPN6を介してブラウザ端末7A~7Cのいずれか1つあるいは複数に送信する。
【0033】
このような流れが海洋監視システムの全体的な動作であるが、船舶検出装置4は、以下のようにして監視対象領域における実船舶の存在を判断する。すなわち、船舶検出装置4の前処理部4aは、最初に画像サーバ3から取得したSAR画像を内部の不揮発性記憶装置に一旦記憶させ、その上でSAR画像に前処理を施す(ステップS1)。
【0034】
この前処理では、横方向及び縦方向に所定の画素数で構成された二次のグレースケール画像であるSAR画像について、陸地であることが明白な部分にマスキング処理を施して海域だけを明確化したり、またSAR画像に撮影状態等に起因する全体的な輝度むらが発生している場合に当該輝度むらの補正等が行われる。そして、前処理部4aは、このような前処理の結果得られた前処理済画像を候補抽出部4bに提供する。
【0035】
ここで、このような前処理を先行して行うことにより、実船舶の識別精度が高い評価画像をステップS5で生成することが可能である。すなわち、この前処理によれば、後述するステップS7の論理チェックの判定精度をより向上させ得る評価画像をステップS5で生成させることが可能である。ただし、このような前処理は必須の処理ではなく、SAR画像の状態によっては省略することが可能である。
【0036】
船舶検出装置4では、続いて候補抽出部4bによる船舶候補Nの抽出処理が行われる。この抽出処理では、前処理済画像を二値化処理するが、当該二値化処理に必要な閾値を最初に決定する(ステップS2)。そして、この閾値決定処理では、SAR画像における船舶領域の特徴に着目して閾値を決定する。すなわち、SAR画像において船舶は極端に輝度が高い領域として映し出されるので、前処理済画像を構成する各画素の輝度に関する平均値、標準偏差あるいはヒストグラムを計算し、船舶を他の物体から的確に区画し得る閾値を決定する。
【0037】
このようにして閾値を決定すると、候補抽出部4bは、前処理済画像を二値化する(ステップS3)。すなわち、候補抽出部4bは、前処理済画像を構成する各画素の輝度を閾値と比較することにより、輝度が閾値よりも大きい領域(白画像部)と輝度が閾値以下の領域(黒画像部)とからなる二値化画像を生成する。
【0038】
このような二値化画像は、
図3の左上段に示すように、船舶候補Nが白画像部として表され、船舶候補N以外の物体つまり海が黒画像部として表される。なお、この
図3では便宜的に黒画像部をクロスハッチング部として表している。また、船舶候補はあくまでも二値化閾値処理により分離されただけの対象であり、船舶ではないもの、例えば、波、陸、島、人工構造物、SAR画像の継ぎ目、電波的ノイズ、SAR画像特有のノイズなどを多数含んでいる。このようなステップS2,S3による二値化画像の生成処理は、本発明における第1処理に相当する。
【0039】
そして、候補抽出部4bは、このように生成した二値化画像について船舶候補Nに対するラべリング処理を行う(ステップS4)。このラべリング処理では、二値化画像に白画像部として表される船舶候補Nに、
図3の左上段の模式図に示されるようなユニークな番号(連番)がラベルとして付与される。
【0040】
続いて、評価画像生成部4cは、上記二値化画像と前処理済画像とに基づいて評価画像を生成する(ステップS5)。すなわち、評価画像生成部4cは、
図3の右上段に示すように、前処理済画像において二値化画像の船舶候補Nに相当する部位から所定距離(所定画素数)だけ離れた周囲に無端状の境界(無端状の画素の集合体)を設定し、上記境界線の内側領域に相当する前処理済画像の画像領域を前処理済画像から切り取ることにより各船舶候補Nに関する周囲画像Gを生成する。
【0041】
そして、評価画像生成部4cは、このように生成した各船舶候補Nの周囲画像Gを船舶候補Nを示す二値化画像と画像合成することにより、つまり周囲画像Gと二値化画像とを論理積処理(AND処理)することにより評価画像を生成する。このような評価画像は、
図3の下段に示すように、白画像部である船舶候補Nの周囲にグレースケール部である周囲画像Gが付加されたものである。ステップS5における評価画像の生成処理は、本発明における第2処理に相当する。
【0042】
続いて、船舶検出精査部4dは、上記評価画像における各船舶候補Nについて特徴量を計算する(ステップS6)。すなわち、船舶検出精査部4dは、評価画像における個々の各船舶候補N(白画像部)について幅、長さ及び角度等を計算し、幅、長さ及び角度を船幅、船長及び針路方向と認定する。このような特徴量算出処理では、各船舶候補N(白画像部)毎に特徴量が関連付けられる。
【0043】
そして、船舶検出精査部4dは、このような特徴量算出処理が終了すると、各船舶候補N(白画像部)について論理チェックを行う(ステップS7)。すなわち、船舶検出精査部4dは、この論理チェック処理における最初の処理として、各船舶候補Nについて特徴量とAIS情報とを比較照合することにより、AIS情報に合致する船舶候補Naと、AIS情報に合致しない船舶候補Nbとをグループ分けする。
【0044】
ここで、監視対象領域を航行する船舶の中には、国際協定に従ってAIS情報を外部に発信するものだけではなく、AIS情報を外部に発信しないものも存在し得る。このようなAIS情報を外部に発信しない船舶は、不審船と呼べるものであり、最も重要な監視対象である。
【0045】
そして、船舶検出精査部4dは、AIS情報に合致する船舶候補Naを実船舶と認定する。そして、船舶検出精査部4dは、AIS情報に合致しない船舶候補Nbについては、上述した特徴量に加え、評価画像における各船舶候補N(白画像部)及び当該船舶候補N(白画像部)の周囲画像G(グレースケール部)を機械学習を用いて評価する。すなわち、船舶検出精査部4dは、機械学習に基づく船舶識別機能に船舶候補Nbの特徴量及び評価画像を入力することにより船舶候補Nbが実船舶であるか否かを判定する。このようなステップS6、S7の処理は、本発明における第3処理に相当する。
【0046】
ここで、上記船舶候補Nbには、岸に隣接して停泊している接岸船舶が存在するが、この接岸船舶は、岸(陸地)に隣接しているために、陸地上の他の物体(桟橋やクレーン等)と識別することが困難であるため、例外的にAIS信号と合致しないものは全てノイズと判断し排除する。船舶検出精査部4dが備える機械学習に基づく船舶識別機能によれば、上記特殊事情がある接岸中の船を除けば、全ての外乱である波、陸、島、人工構造物、SAR画像の継ぎ目、電波的ノイズ、SAR画像特有のノイズを判定して船舶以外のものを高精度に識別排除することが可能である。
【0047】
本実施形態によれば、白画像部である船舶候補Nの周囲にグレースケール部である周囲画像Gが付加された評価画像を用いて船舶候補Nbから実船舶を判断するので、SAR画像を用いた船舶検出における検出精度を従来よりも向上させることが可能である。
【0048】
なお、本発明は上記実施形態に限定されるものではなく、例えば以下のような変形例が考えられる。
(1)上記実施形態では、船舶検出精査部4dが機械学習に基づく船舶識別機能を用いて評価画像等を用いて実船舶を検出したが、本発明はこれに限定されない。例えば、船舶検出装置4に評価画像を表示する表示部を備え、当該表示部に表示された評価画像等を評価者が目視評価してもよい。
【0049】
(2)上記実施形態では、AIS情報を用いることにより船舶候補Naと船舶候補Nbとをグループ分けしたが、本発明はこれに限定されない。必要に応じてAIS情報を用いないシステム構成も可能である。すなわち、
図1に示した構成要素のうち、AISサーバ5を削除した海洋監視システムが考えられる。
【0050】
(3)上記実施形態では、各船舶候補Nの特徴量と評価画像とを用いて実船舶を検出したが、本発明はこれに限定されない。本発明の最も重要な特徴は船舶候補Nと周囲画像Gとを備えた評価画像を用いて実船舶を検出することにあるので、必要に応じて評価画像のみを用いて実船舶を検出してもよい。
【符号の説明】
【0051】
N 船舶候補
G 周囲画像
1 SAR衛星
2 地上受信局
3 画像サーバ
4 船舶検出装置
4a 前処理部
4b 候補抽出部
4c 評価画像生成部
4d 船舶検出精査部
4e 画像記憶部
5 AISサーバ
6 VPN
7A~7C ブラウザ端末