知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-31
(45)【発行日】2025-02-10
(54)【発明の名称】船舶監視システム、方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250203BHJP
G06T 7/254 20170101ALI20250203BHJP
G08G 3/02 20060101ALI20250203BHJP
【ＦＩ】
G06T7/00 350B
G06T7/254 B
G08G3/02 A
【請求項の数】
15
(21)【出願番号】P 2021046040
(22)【出願日】2021-03-19
(65)【公開番号】P2022144853
(43)【公開日】2022-10-03
【審査請求日】2023-12-05
(73)【特許権者】
【識別番号】000217653
【氏名又は名称】電気興業株式会社
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【氏名又は名称】松島 鉄男
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】藤沼 肇
(72)【発明者】
【氏名】藤沼 亮太
(72)【発明者】
【氏名】福田 稔
【審査官】高野 美帆子
(56)【参考文献】
【文献】国際公開第２０１８／１０５１１２（ＷＯ，Ａ１）
【文献】特開２０１７－０３３４７９（ＪＰ，Ａ）
【文献】特開平１０－２８３４６６（ＪＰ，Ａ）
【文献】国際公開第２０２０／１８３７０５（ＷＯ，Ａ１）
【文献】特開２０１８－０８１４０４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２５４
Ｇ０８Ｇ ３／０２
(57)【特許請求の範囲】
【請求項1】
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでなる船舶監視システムであって、
前記輪郭抽出部は、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出し、
前記動体検出部は、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較したピクセル値の差分から、前記物体が動体であるかを検出し、
前記フィルタ処理部は、前記動体を含む映像についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出し、
前記ＡＩ判別部は、船舶の候補となりうる前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別する
ことを特徴とする、船舶監視システム。
【請求項2】
前記輪郭抽出部は、所定の閾値以上の温度差分から前記物体の輪郭を求めることをさらに含む、請求項１に記載の船舶監視システム。
【請求項3】
前記動体検出部は、さらに、背景差分法を使用して前記画像を処理する、請求項１に記載の船舶監視システム。
【請求項4】
前記フィルタ処理部は、前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、前記対象フレームと前記別フレームとのうち最小のピクセル値を有するフレームを解析対象として決定する時空間フィルタと、 前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の前記物体を解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が前記標準偏差の値未満の前記物体を解析対象外とする標準偏差フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む、請求項１に記載の船舶監視システム。
【請求項5】
前記ＡＩ判別部は、前記画像において、船舶を区別するためのマークを付ける処理を実行する、請求項１に記載の船舶監視システム。
【請求項6】
前記ＡＩ判別部は、中間層の数を変更したＶＧＧ１６モデル構造を使用したアルゴリズムを有するプログラムを含んでいる、請求項１に記載の船舶監視システム。
【請求項7】
前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返す、請求項６に記載の船舶監視システム。
【請求項8】
船舶監視システムにおける船舶監視方法であって、前記船舶監視システムは、
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでおり、
前記輪郭抽出部により、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出するステップと、
前記動体検出部により、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較したピクセル値の差分から、前記物体が動体であるかを検出するステップと、
前記フィルタ処理部により、前記動体を含む映像についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出するステップと、
前記ＡＩ判別部により、船舶の候補となりうる前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別するステップと
を含んでなる船舶監視方法。
【請求項9】
前記輪郭抽出部により、さらに、所定の閾値以上の温度差分から前記物体の輪郭を求める、請求項８に記載の船舶監視方法。
【請求項10】
前記動体検出部により、さらに、背景差分法を使用して前記画像を処理する、請求項８に記載の船舶監視方法。
【請求項11】
前記フィルタ処理部は、前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、前記対象フレームと前記別フレームとのうち最小のピクセル値を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の前記物体を解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の前記物体を解析対象外とする標準偏差フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む、請求項８に記載の船舶監視方法。
【請求項12】
前記ＡＩ判別部は、さらに、前記画像において、前記船舶を区別するためのマークを付ける処理を実行する、請求項８に記載の船舶監視方法。
【請求項13】
前記ＡＩ判別部は、中間層の数を変更したＶＧＧ１６モデル構造を使用したアルゴリズムを有するプログラムを含んでいる、請求項８に記載の船舶監視方法。
【請求項14】
前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返すことにより訓練されている、請求項１３に記載の船舶監視方法。
【請求項15】
前記記憶部に記憶することができ、請求項８～１４のいずれか一項に記載の船舶監視方法を前記中央演算部に対して実行させる、コンピュータに読み取り可能なプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、船舶監視装置、方法及び船舶監視プログラムに関し、特に、監視カメラによって取得された画像を解析して監視領域内の船舶を監視する、船舶監視システム、船舶監視方法及び船舶監視プログラムに関する。
【背景技術】
【0002】
監視領域内を航行する船舶を監視する装置や方法として、例えば、特許文献１及び特許文献２が知られている。特許文献１には、水位計からの信号を受けて水位の変動に応じて昇降する（超音波や電磁波を用いた）船舶センサによって、航行する船舶の有無を判別する装置等が記載されている。また、特許文献２には、加速度センサユニットと無線通信手段と自己完結電源とを備えたいくつかの浮遊体（ブイ）を監視領域内に設置し、加速度センサユニットから得られた加速度の値から、航行する船舶の有無を判別する装置等が記載されている。しかしながら、特許文献１及び特許文献２は、いずれも監視領域内に設置されるセンサを用いているため、監視領域が広範囲である場合や監視領域の数が多い場合には、多数のセンサを設置する必要がある。また、そのような多数のセンサをメンテナンスするコストも必要となる。そのため、特許文献１及び特許文献２では、監視領域が広範囲に及ぶ場合、安価に設置することが難しい。
【0003】
一方、上記のセンサを用いることなく、カメラから取得した画像を解析して監視領域内を監視する装置や方法として、例えば、特許文献３が知られている。特許文献３には、サーモグラフィ監視カメラで接近物の画像を採取し、その画像を、人物及び動物の各シルエットを記憶した人物／動物シルエットデータベース記憶と、データベース記憶を参照して遊漁承認者または密漁者を判定する手段とを含む密漁者自動認識システムが記載されている。しかしながら、特許文献３では、カメラから取得した接近物の画像と照合するために、人物や動物の各シルエットを予めデータベースに記憶しておく必要がある。そのようなデータベースに記憶されたデータと接近物の画像との照合を行うには、処理能力が比較的高いサーバまたはコンピュータを必要とする。また、人物や動物と比較すると船舶は様々な形状を有することから、そのような様々な船舶の形状の全てのシルエットについてのデータを特許文献３に記載されたデータベースに予め記憶しておくことは困難である。
【0004】
一般に、解析対象となる画像のサイズが大きくなると、データ処理に時間が必要となるため、接近物が船舶であるか否かをリアルタイムで判別することは難しい。特に、処理能力が比較的低いコンピュータにおいて船舶の判別に人工知能（ＡＩ）を用いた場合には、船舶であるか否かを判定するために、より多くの時間が必要となる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開平７－１０８９８７号公報
【文献】特開２００９－２１１５７０号公報
【文献】特開２００６－２６８４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
超音波センサや電磁波センサなどのセンサが不要であり、画像解析処理において対象物のシルエットデータ等を記憶しているデータベースとデータを照合することなく、処理能力が比較的低いコンピュータであっても船舶であるか否かをリアルタイムで判定することができる船舶監視システムや船舶監視方法が求められている。
【課題を解決するための手段】
【0007】
本発明によれば、以下の船舶監視システムを提供することができる。
すなわち、
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでなる船舶監視システムであって、
前記輪郭抽出部は、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出し、
前記動体検出部は、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出し、
前記フィルタ処理部は、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出し、
前記ＡＩ判別部は、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別する
ことを特徴とする、船舶監視システムを提供することができる。
すなわち、
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでなる船舶監視システムであって、
前記輪郭抽出部は、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出し、
前記動体検出部は、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出し、
前記フィルタ処理部は、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出し、
前記ＡＩ判別部は、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別する
ことを特徴とする、船舶監視システムを提供することができる。
【0008】
ここで、前記輪郭抽出部は、所定の閾値以上の温度差分から前記物体の輪郭を求めることをさらに含む態様であってもよい。また、前記動体検出部は、背景差分法を使用して前記画像を処理する態様であってもよい。
そして、前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記動体である前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とする、サイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記動体である前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む態様であってもよい。
そして、前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記動体である前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とする、サイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記動体である前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む態様であってもよい。
【0009】
また、前記ＡＩ判別部は、前記画像において、前記船舶を区別するためのマークを付ける処理を実行する態様であってもよい。ここで、前記ＡＩ判別部は、中間層の数を変更したＶＧＧ１６モデル構造を使用したアルゴリズムを有するプログラムを含んでいる態様であることや、前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返す態様であることが好ましい。
【0010】
加えて、本発明によれば、以下の船舶監視方法を提供することができる。
すなわち、
船舶監視システムにおける船舶監視方法であって、
前記船舶監視システムは、
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでおり、
前記輪郭抽出部により、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出するステップと、
前記動体検出部により、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出するステップと、
前記フィルタ処理部により、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出するステップと、
前記ＡＩ判別部により、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別するステップと
を含んでなる船舶監視方法を提供することができる。
すなわち、
船舶監視システムにおける船舶監視方法であって、
前記船舶監視システムは、
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでおり、
前記輪郭抽出部により、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出するステップと、
前記動体検出部により、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出するステップと、
前記フィルタ処理部により、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出するステップと、
前記ＡＩ判別部により、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別するステップと
を含んでなる船舶監視方法を提供することができる。
【0011】
ここで、前記輪郭抽出部により、さらに、所定の閾値以上の温度差分から前記物体の輪郭を求める態様であってもよい。また、前記動体検出部により、さらに、背景差分法を使用して前記画像を処理する態様であってもよい。
そして、前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む態様であってもよい。
そして、前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む態様であってもよい。
【0012】
また、前記ＡＩ判別部は、さらに、前記画像において、前記船舶を区別するためのマークを付ける処理を実行する態様であってもよく、前記ＡＩ判別部は、ＶＧＧ１６モデル構造から中間層の数を変更したモデル構造を使用したアルゴリズムを有するプログラムを含んでいる態様であってもよい。ここで、前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返すことにより訓練されている態様であることが好ましい。
【0013】
さらに、本発明によれば、前記記憶部に記憶することができ、上記のいずれかに記載の船舶監視方法を前記中央演算部に対して実行させる、コンピュータに読み取り可能なプログラムを提供することができる。
【発明の効果】
【0014】
人や波による誤検出が少なく、処理能力が比較的低いコンピュータであっても、船舶であるか否かをリアルタイムに判別する船舶監視システムを提供することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施態様である船舶監視システム１を示す図である。
【図2】船舶監視システム１で実行される処理の流れを示すフローチャートである。
【図3】船舶監視システム１の解析装置３で実行される各処理の内容を示すフローチャートである。
【図4】輪郭検出部３００において行われる輪郭抽出処理Ｓ３１の内容を示すフローチャートである。
【図5】動体検出部３０１において行われる動体検出処理Ｓ３２の内容を示すフローチャートである。
【図6】船舶監視システム１において動体領域を検出するために背景差分法を用いて得られた背景差分の画面を示す図である。
【図7】フィルタ処理部３１２において行われるフィルタ処理Ｓ３３のマスク機能を設定する各ステップを示すフローチャートである。
【図9】船舶監視システム１のＡＩ判別部３１３において画像解析処理に利用することができるＶＧＧ１６モデル構造を示す図である。
【図10】Ａは、本発明の一実施態様である船舶監視システム１を用いて、夏季に撮影した船舶検知時の画面を示す図である。Ｂは、本発明の一実施態様である船舶監視システム１を用いて、冬季に撮影した船舶検知時の画面を示す図である。
【図11】Ａは、ＡＩ判定部において船舶であるか否かを判定する再学習によって検出率を向上するサイクルを示す概念図である。Ｂは、Ａに示す再学習のサイクルを繰り返すことにより検出率が向上することを示す図である。
【図12】本発明の一実施態様である船舶監視システム１の表示装置４に表示される、船舶検知時の画面を示す図である。
【発明を実施するための形態】
【0016】
図１を参照して、本発明の一実施態様である船舶監視システム１を説明する。船舶監視システム１は、海や河川などの監視領域の画像を撮影するサーマルカメラ２と、サーマルカメラ２が撮影した画像を受信する解析装置３と、解析装置３で解析された結果を表示する表示装置４とを含む。ここで、解析装置３は、画像解析処理などの演算を行う中央演算部（ＣＰＵ）３０と、ＣＰＵ３０に接続され、解析用プログラムや解析用及び結果の各種データを記憶する記憶部３１とを含む。そして、ＣＰＵ３０は、輪郭抽出部３００と、動体検出部３０１と、フィルタ処理部３０２と、ＡＩ判別部３０３とを含む。輪郭抽出部３００と動体検出部３０１とフィルタ処理部３０２とＡＩ判別部３０３とは、サーマルカメラ２が撮影した画像をＣＰＵ３０と協働して解析するプログラムである。そして、解析された画像は、解析装置３に接続された表示装置４に表示される。ここで、サーマルカメラ２と解析装置３との間は、例えば、通信ケーブルなどによって有線で接続されているか、または、インターネット回線を介して無線で接続されていてもよい。同様に、解析装置３と表示装置４との間は、例えば、通信ケーブルなどによって有線で接続されているか、または、インターネット回線を介して無線で接続されていてもよい。
【0017】
図２のフローチャートを参照して、船舶監視システム１で実行される画像解析処理の処理フローについて説明する。ステップＳ１では、画像解析により物体の輪郭を抽出して動体を検知する。具体的には、輪郭抽出部３００が、サーマルカメラ２から受信した画像から温度差分を計算して、物体の輪郭を抽出する。次に、動体検出部３０１が、抽出した物体の輪郭を含む画像について背景差分法を適用して動きがあるかを検出する。ちなみに、先に動きを検出して、その後に輪郭を抽出することもできる。ステップＳ２では、検知した動体のうち、船舶候補を抽出する。具体的には、フィルタ処理部３０２が、ステップＳ１で検知した動体のうち、船舶候補となる動体を抽出する。そして、フィルタ処理部３０２は、船舶候補となる動体を含む小サイズの画像を作成する。ステップＳ３では、船舶候補の動体画像をＡＩで判別する。具体的には、ＡＩ判別部３０３が、ステップＳ２で作成した小サイズの画像を処理し、船舶候補となる動体が船舶であるか否かを判別する。ステップＳ４では、判別した船舶をリアルタイムで検出した時間とともにマークする。具体的には、ＡＩ判別部３０３が、ステップＳ３で得られた船舶である動体を、サーマルカメラ２から受信した画像中にマークする。例えば、ここでのマークすることは、丸や四角などで船舶である物体を囲むことを含む。また、ＡＩ判別部３０３は、ステップＳ３で得られた船舶である物体を実際に検出した時間を記憶することもできる。
【0018】
図３のフローチャートを参照して、船舶監視システム１の解析装置３で実行される各処理の内容をより詳細に説明する。ステップＳ３０では、サーマルカメラ２から取得した画像を解析装置３の記憶部３１に記憶する。ここで、ＣＰＵ３０は、サーマルカメラ２によって連続して撮影された、一連の画像などの映像（動画データ）を記憶部３１に記憶させておくこともできる。
ステップＳ３１では、輪郭抽出部３００が、一連の画像などの映像（動画データ）における温度差から物体の輪郭を抽出する。
ステップＳ３２では、動体検出部３０１が、映像中にある物体が動体であるか否かを判別する処理を実行する。ここで、映像中の物体が動体であると動体検出部３０１が判別した場合にはステップＳ３３に進む。一方、映像中の物体が動体ではないと動体検出部３０１が判別した場合（つまり、静止体のみを含む場合）にはステップＳ３４に進み、何もすることなくその映像についての処理を終了する。
ステップＳ３３では、フィルタ処理部３０２が、動体を含む映像についてフィルタ処理を実行する。ここで、動体が船舶候補であるとフィルタ処理部３０２が判別した場合にはステップＳ３５に進む。一方、動体が船舶候補ではないとフィルタ処理部３０２が判別した場合にはステップＳ３４に進み、何もすることなくその映像についての処理を終了する。次に、ステップＳ３５では、ＡＩ判別部３０３が、船舶候補を含む映像について、所定のモデル構造に従ってＡＩを用いた画像解析処理を実行する（なお、所定のモデル構造については図９を参照）。ここで、船舶候補が船舶であるとＡＩ判別部３０３が判別した場合にはステップＳ３６に進み、ＡＩ判別部３０３が、映像において船舶であると判断した部分にマークを付ける処理を実行する。一方、船舶候補が船舶以外であるとＡＩ判別部３０３が判別した場合にはステップＳ３４に進み、何もすることなくその映像についての処理を終了する。
ステップＳ３１では、輪郭抽出部３００が、一連の画像などの映像（動画データ）における温度差から物体の輪郭を抽出する。
ステップＳ３２では、動体検出部３０１が、映像中にある物体が動体であるか否かを判別する処理を実行する。ここで、映像中の物体が動体であると動体検出部３０１が判別した場合にはステップＳ３３に進む。一方、映像中の物体が動体ではないと動体検出部３０１が判別した場合（つまり、静止体のみを含む場合）にはステップＳ３４に進み、何もすることなくその映像についての処理を終了する。
ステップＳ３３では、フィルタ処理部３０２が、動体を含む映像についてフィルタ処理を実行する。ここで、動体が船舶候補であるとフィルタ処理部３０２が判別した場合にはステップＳ３５に進む。一方、動体が船舶候補ではないとフィルタ処理部３０２が判別した場合にはステップＳ３４に進み、何もすることなくその映像についての処理を終了する。次に、ステップＳ３５では、ＡＩ判別部３０３が、船舶候補を含む映像について、所定のモデル構造に従ってＡＩを用いた画像解析処理を実行する（なお、所定のモデル構造については図９を参照）。ここで、船舶候補が船舶であるとＡＩ判別部３０３が判別した場合にはステップＳ３６に進み、ＡＩ判別部３０３が、映像において船舶であると判断した部分にマークを付ける処理を実行する。一方、船舶候補が船舶以外であるとＡＩ判別部３０３が判別した場合にはステップＳ３４に進み、何もすることなくその映像についての処理を終了する。
【0019】
次に、図４のフローチャートを参照して、輪郭抽出部３００で実行される輪郭抽出処理Ｓ３１の内容を説明する。ステップＳ３１－１では、図４Ａに示すように、サーマルカメラ２から画像を取り込む。ステップＳ３１－２では、図４Ｂに示すように、ステップＳ３１－１でサーマルカメラ２から取り込まれた画像内の温度差分を計算する。そのような温度差分は、例えば、画像内の物体から放射された赤外線（波長：約７５０ｎｍ～約１ｍｍ）のエネルギー量の差分から求めることができる。また、表示装置４において、そのような温度差分に大きさに応じて異なる色を用いて画像における温度差分を表示することもできる。例えば、所定の温度差分に対応する閾値を設定しておき、その閾値以上となる領域を異なる色で表示することもできる。そして、ステップＳ３１－３では、図４Ｃに示すように、物体の輪郭を抽出する。
【0020】
次に、図５のフローチャートを参照して、動体検出部３０１で実行される動体検出処理Ｓ３２の内容を説明する。ステップＳ３２－１では、サーマルカメラからライブ映像を取り込む。具体的には、図５Ａに示すように、動体である物体の輪郭を含む、サーマルカメラ２からのライブ画像（一連の静止画を含みうる動画データ）を取り込む。なお、図５Ａでは一例として、動体である物体が車両である場合の画像を示している。ステップＳ３２－２では、背景画像を計算する。具体的には、図５Ｂに示すように、図５Ａから車両の画像を除いた背景画像を計算する。このような背景画像は、例えば図５Ａにおいて一連の画像のある画像の前後の画像を比較して、位置が変化していない領域（静止している領域）を特定することによって求めることができる。そして、ステップＳ３２－３では、ライブ映像と背景画像との差分から、動体を検出する。具体的には、図５Ｃに示すように、図５Ａのライブ画像と図５Ｂの背景画像とのピクセル値の差分を計算することによって、動体である物体（ここでは例として車両）の画像を求めることができる。そのような背景差分法は、https://algorithm.joho.info/image-processing/background-subtraction-method/に記載がある。
【0021】
図６を参照して、船舶監視システム１において動体である船舶を検出する場合に背景差分法を用いて得られた画面について説明する。ここで「背景差分法」とは、撮影した画像から、動体の存在しない背景画像を作成し、撮影した画像とその背景画像との（温度差分などの）差分を計算することによって、動体を高精度で検出する手法である。ステップＳ３１－３に示す物体の輪郭を抽出した図４Ｃと、ステップＳ３２－３のライブ画像と背景画像との差分に対応する図６とを比較すると、温度差分を計算することによって、岸壁や岩などの動きのない物体の輪郭と比較して、動体である船舶の輪郭が異なる色でより強調して表示されていることがわかる。そのため、動体検出において背景差分法を用いることによって、動体である船舶をより高精度で求めることができる。
【0022】
図７のフローチャートを参照して、フィルタ処理部３０２において行われるフィルタ処理Ｓ３３のマスク機能を設定する各ステップを説明する。ステップＳ３３－１では、船舶が通らない領域にマスク機能を設定する。ステップＳ３３－２では、マスク機能を設定する領域を設定画面で指定する。そのようなマスク機能を設定する領域については、例えば図８Ａに示すように、表示装置４の設定画面において、ユーザがマウス等を用いてマスク機能を設定する領域を指定することができる。そして、ステップＳ３３－３では、マスク機能を設定した領域内で動体を検知しても、以降のフローに進まずに処理を終了する。具体的には、図８Ｂに示すように、図８Ａにおいてマスク機能を設定した領域内で動体を検出した場合には、それ以降の処理を行うことなくその動体についての処理を終了する。
【0023】
ここで、フィルタ処理部３０２は、前記画像に対応する時刻ｔの対象フレームと、時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタを有していてもよい。
また、フィルタ処理部３０２は、サーマルカメラ２の設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタを有していてもよい。
さらに、フィルタ処理部３０２は、サーマルカメラ２の設置位置及び俯角から前記動体である前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタを有していてもよい。
加えて、フィルタ処理部３０２は、前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタを有していてもよい。
また、フィルタ処理部３０２は、前記動体である前記物体の進行方向を計算する進行方向フィルタを有していてもよい。
そして、フィルタ処理部３０２は、船舶が通行できない領域を解析対象外とするマスクフィルタを有していてもよい。
なお、フィルタ処理部３０２は、上記の少なくとも１つのフィルタを有していてもよい。
また、フィルタ処理部３０２は、サーマルカメラ２の設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタを有していてもよい。
さらに、フィルタ処理部３０２は、サーマルカメラ２の設置位置及び俯角から前記動体である前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタを有していてもよい。
加えて、フィルタ処理部３０２は、前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタを有していてもよい。
また、フィルタ処理部３０２は、前記動体である前記物体の進行方向を計算する進行方向フィルタを有していてもよい。
そして、フィルタ処理部３０２は、船舶が通行できない領域を解析対象外とするマスクフィルタを有していてもよい。
なお、フィルタ処理部３０２は、上記の少なくとも１つのフィルタを有していてもよい。
【0024】
次に、図９を参照して、船舶監視システム１のＡＩ判別部３０３において画像解析処理に利用することができるモデル構造の一例を説明する。ここで、図９には、オックスフォード大学の研究グループが提案したＶＧＧ１６モデル構造を示す。このＶＧＧ１６モデル構造は、転移学習などで使用される、畳み込み層１３層と全結合層３層との計１６層からなるニューラルネットワークである。そのようなＶＧＧ１６モデル構造は、例えば、https://newtechnologylifestyle.net/vgg16originalpicture/に記載がある。
なお、本願の一実施態様である船舶監視システム１のＡＩ判別部３０３は、図９に示すＶＧＧ１６モデル構造において中間層の数を変更した、表１に示すモデル構造のものを使用している。ここで、「中間層」とは、図９に示すＶＧＧ１６モデル構造のうち、「１×１×１０００」と表示されたｓｏｆｔｍａｘを除く全ての層を意味する。すなわち、中間層とは、「２２４×２２４×６４」と表示された「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」２層と、「１１２×１１２×１２８」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」２層と、「５６×５６×２５６」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」３層と、「２８×２８×５１２」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」３層と、「１４×１４×５１２」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」３層と、「７×７×５１２」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と、「１×１×４０９６」と表示された「ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ＋ＲｅＬＵ」２層と、「１×１×１０００」と表示された「ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ＋ＲｅＬＵ」１層とを含む。そして、ＡＩ判別部３０３では、表１に示すモデル構造について、船舶の画像を約８０００枚使用して学習を行っている。
なお、本願の一実施態様である船舶監視システム１のＡＩ判別部３０３は、図９に示すＶＧＧ１６モデル構造において中間層の数を変更した、表１に示すモデル構造のものを使用している。ここで、「中間層」とは、図９に示すＶＧＧ１６モデル構造のうち、「１×１×１０００」と表示されたｓｏｆｔｍａｘを除く全ての層を意味する。すなわち、中間層とは、「２２４×２２４×６４」と表示された「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」２層と、「１１２×１１２×１２８」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」２層と、「５６×５６×２５６」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」３層と、「２８×２８×５１２」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」３層と、「１４×１４×５１２」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と「ｃｏｎｖｏｌｕｔｉｏｎ＋ＲｅＬＵ」３層と、「７×７×５１２」と表示された「ｍａｘ ｐｏｏｌｉｎｇ」１層と、「１×１×４０９６」と表示された「ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ＋ＲｅＬＵ」２層と、「１×１×１０００」と表示された「ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ＋ＲｅＬＵ」１層とを含む。そして、ＡＩ判別部３０３では、表１に示すモデル構造について、船舶の画像を約８０００枚使用して学習を行っている。
【表1】
【0025】
図１０Ａは、本発明の一実施態様である船舶監視システム１を用いて、夏季（２０１９年７月２３日）に撮影した船舶検知時の画面を示す図である。図１０Ｂは、本発明の一実施態様である船舶監視システム１を用いて、冬季（２０１９年１２月５日）に撮影した船舶検知時の画面を示す図である。なお、図１０Ａと図１０Ｂとを比較すると、海面の状況は、天気や季節によって大きく異なっている。つまり、船舶監視システム１のＡＩ判別部３０３に対する学習において使用される船舶の画像について、天気や季節の偏りがある場合、実証実験時の船舶の画像認識精度が極端に下がることがある。そのため、例えば、天気や季節についての偏りがない船舶や波の画像を使用した学習を行うことが好ましい。
【0026】
そこで、図１１Ａを参照して、船舶監視システム１のＡＩ判別部３０３で行われる再学習について説明する。図１１Ａには、（ＶＧＧ１６モデル構造の中間層の数を変更した）表１に示すモデル構造において、天気や季節の偏りがない船舶や波の画像を８０００枚使用して繰り返し学習する仕方を示している。次に、表１に示すモデル構造を使用して図１１Ａの再学習をした場合における船舶の画像認識精度を図１１Ｂに示す。図１１Ｂには、８０００枚の船舶の画像について、横軸に対応する再学習した回数を５０回まで繰り返し学習した場合の船舶の画像認識精度を示す。図１１Ｂによれば、再学習をした回数が増加すると画像認識精度が向上する傾向にあることがわかる。
【0027】
次に、ＡＩ判別部３０３が表１に示すモデル構造を使用して図１１Ａの再学習をした場合における実際の船舶検出率の結果を以下に示す（ここで、ＡＩ判別部３０３は、船舶の画像を約８０００枚使用して繰り返し学習を５０回行っている（図１１Ｂの一番右側のグラフ対応））。実際の船舶の検知率及び正解率は、いずれも９０％以上の精度を達成している。
・全検知数（波などを船舶として検知した場合を含む）：６８回
船舶を正しく検知した数：６４回
波などを船舶として検知した数：４回
船舶を検知しなかった数：５回
・全検知数に対する正解率：６４／６８＝９４．１％
・全船舶数に対する検知率：６４／６９＝９２．８％
・全検知数（波などを船舶として検知した場合を含む）：６８回
船舶を正しく検知した数：６４回
波などを船舶として検知した数：４回
船舶を検知しなかった数：５回
・全検知数に対する正解率：６４／６８＝９４．１％
・全船舶数に対する検知率：６４／６９＝９２．８％
【0028】
図１２を参照して、本発明の一実施態様である船舶監視システム１の表示装置４に表示される、船舶検知時の画面について説明する。図１２は、サーマルカメラ２で監視領域を撮影した画像４１と、サーマルカメラ２で監視領域を撮影した画像をサーチするためのスライドバー４２と、スライドバー４２と連動して画像４１を撮影した日時を示すカラム４３とを含む。ここで、図１２では、ＣＰＵ３０及びＡＩ判別部３０３が船舶を検知したことを示す（四角で囲まれた）マークが付された船舶が表示されている。このように、本発明の一実施態様である船舶監視システム１では、所定のマークが付された船舶の画像を表示装置４に表示することができる。また、所定のマークが付された船舶の画像を検索することによって、その船舶の撮影日時（船舶の航行日時）を表示装置４において容易に確認することができる。
【0029】
本明細書において、特定の実施形態について本発明を具体的に説明してきたが、これらの実施形態は、本発明の原理及び用途の単なる例示にすぎない。したがって、例示の実施形態に対して多数の修正を実行することができることや、特許請求の範囲によって規定される本発明の趣旨及び範囲から逸脱することなく他の構成を採用することができることが当業者に理解されるであろう。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～１５の記載内容を以下に追加する。
（請求項１）
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでなる船舶監視システムであって、
前記輪郭抽出部は、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出し、
前記動体検出部は、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出し、
前記フィルタ処理部は、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出し、
前記ＡＩ判別部は、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別する
ことを特徴とする、船舶監視システム。
（請求項２）
前記輪郭抽出部は、所定の閾値以上の温度差分から前記物体の輪郭を求めることをさらに含む、請求項１に記載の船舶監視システム。
（請求項３）
前記動体検出部は、さらに、背景差分法を使用して前記画像を処理する、請求項１に記載の船舶監視システム。
（請求項４）
前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記動体である前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む、請求項１に記載の船舶監視システム。
（請求項５）
前記ＡＩ判別部は、前記画像において、船舶を区別するためのマークを付ける処理を実行する、請求項１に記載の船舶監視システム。
（請求項６）
前記ＡＩ判別部は、中間層の数を変更したＶＧＧ１６モデル構造を使用したアルゴリズムを有するプログラムを含んでいる、請求項１に記載の船舶監視システム。
（請求項７）
前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返す、請求項６に記載の船舶監視システム。
（請求項８）
船舶監視システムにおける船舶監視方法であって、
前記船舶監視システムは、
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでおり、
前記輪郭抽出部により、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出するステップと、
前記動体検出部により、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出するステップと、
前記フィルタ処理部により、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出するステップと、
前記ＡＩ判別部によりは、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別するステップと
を含んでなる船舶監視方法。
（請求項９）
前記輪郭抽出部により、さらに、所定の閾値以上の温度差分から前記物体の輪郭を求める、請求項８に記載の船舶監視方法。
（請求項１０）
前記動体検出部により、さらに、背景差分法を使用して前記画像を処理する、請求項８に記載の船舶監視方法。
（請求項１１）
前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む、請求項８に記載の船舶監視方法。
（請求項１２）
前記ＡＩ判別部は、さらに、前記画像において、前記船舶を区別するためのマークを付ける処理を実行する、請求項８に記載の船舶監視方法。
（請求項１３）
前記ＡＩ判別部は、中間層の数を変更したＶＧＧ１６モデル構造を使用したアルゴリズムを有するプログラムを含んでいる、請求項８に記載の船舶監視方法。
（請求項１４）
前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返すことにより訓練されている、請求項１３に記載の船舶監視方法。
（請求項１５）
前記記憶部に記憶することができ、請求項８～１４のいずれか一項に記載の船舶監視方法を前記中央演算部に対して実行させる、コンピュータに読み取り可能なプログラム。
なお、本願の出願当初の開示事項を維持するために、本願の出願当初の請求項１～１５の記載内容を以下に追加する。
（請求項１）
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでなる船舶監視システムであって、
前記輪郭抽出部は、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出し、
前記動体検出部は、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出し、
前記フィルタ処理部は、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出し、
前記ＡＩ判別部は、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別する
ことを特徴とする、船舶監視システム。
（請求項２）
前記輪郭抽出部は、所定の閾値以上の温度差分から前記物体の輪郭を求めることをさらに含む、請求項１に記載の船舶監視システム。
（請求項３）
前記動体検出部は、さらに、背景差分法を使用して前記画像を処理する、請求項１に記載の船舶監視システム。
（請求項４）
前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記動体である前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む、請求項１に記載の船舶監視システム。
（請求項５）
前記ＡＩ判別部は、前記画像において、船舶を区別するためのマークを付ける処理を実行する、請求項１に記載の船舶監視システム。
（請求項６）
前記ＡＩ判別部は、中間層の数を変更したＶＧＧ１６モデル構造を使用したアルゴリズムを有するプログラムを含んでいる、請求項１に記載の船舶監視システム。
（請求項７）
前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返す、請求項６に記載の船舶監視システム。
（請求項８）
船舶監視システムにおける船舶監視方法であって、
前記船舶監視システムは、
所定の時間間隔で監視領域の画像を取得するサーマルカメラと、
前記サーマルカメラから受信した前記画像を処理する中央演算部と、前記サーマルカメラから受信した前記画像を記憶する記憶部とを含む解析装置であって、該中央演算部は、前記画像を処理するための、輪郭抽出部と動体検出部とフィルタ処理部とＡＩ判別部とを含むものである、解析装置と
を含んでおり、
前記輪郭抽出部により、前記画像における温度差分を計算し、前記画像中にある物体の輪郭を抽出するステップと、
前記動体検出部により、前記画像を取得した時刻とは異なる時刻における別の画像との間で同じ位置にある各ピクセル値同士を比較し、動体である前記物体の輪郭を抽出するステップと、
前記フィルタ処理部により、前記物体についてフィルタ処理を実行し、船舶の候補となりうる前記物体を抽出するステップと、
前記ＡＩ判別部によりは、前記物体について人工知能（ＡＩ）を使用した画像解析処理を実行し、前記物体から船舶を判別するステップと
を含んでなる船舶監視方法。
（請求項９）
前記輪郭抽出部により、さらに、所定の閾値以上の温度差分から前記物体の輪郭を求める、請求項８に記載の船舶監視方法。
（請求項１０）
前記動体検出部により、さらに、背景差分法を使用して前記画像を処理する、請求項８に記載の船舶監視方法。
（請求項１１）
前記フィルタ処理部は、
前記画像に対応する時刻ｔの対象フレームと、該時刻ｔとはそれぞれ時刻が異なる時刻ｔ－１及び時刻ｔ－２の別フレームとについて、前記対象フレームと前記別フレームとの間で同じ位置にあるピクセル値を比較し、最小の輝度を有するフレームを解析対象として決定する時空間フィルタと、
前記サーマルカメラの設置位置及び俯角から水平線の位置を計算し、該水平線より上に位置する前記物体を解析対象外とする水平線フィルタと、
前記サーマルカメラの設置位置及び俯角から前記物体のサイズを計算し、該サイズが所定のサイズ未満の場合には解析対象外とするサイズフィルタと、
前記ピクセル値の標準偏差を計算し、該ピクセル値が所定の値未満の場合には解析対象外とする標準偏差フィルタと、
前記物体の進行方向を計算する進行方向フィルタと、
船舶が通行できない領域を解析対象外とするマスクフィルタと
のうちの少なくとも１つを含む、請求項８に記載の船舶監視方法。
（請求項１２）
前記ＡＩ判別部は、さらに、前記画像において、前記船舶を区別するためのマークを付ける処理を実行する、請求項８に記載の船舶監視方法。
（請求項１３）
前記ＡＩ判別部は、中間層の数を変更したＶＧＧ１６モデル構造を使用したアルゴリズムを有するプログラムを含んでいる、請求項８に記載の船舶監視方法。
（請求項１４）
前記ＡＩ判別部は、異なる天気または異なる季節に撮影された船舶を含む画像を使用した学習を繰り返すことにより訓練されている、請求項１３に記載の船舶監視方法。
（請求項１５）
前記記憶部に記憶することができ、請求項８～１４のいずれか一項に記載の船舶監視方法を前記中央演算部に対して実行させる、コンピュータに読み取り可能なプログラム。
【符号の説明】
【0030】
１ 船舶監視システム
２ サーマルカメラ
３ 解析装置（解析サーバ）
３０ 中央演算部（ＣＰＵ）
３１ 記憶部
３００ 輪郭抽出部
３０１ 動体検出部
３０２ フィルタ処理部
３０３ ＡＩ判別部
４ 表示装置
２ サーマルカメラ
３ 解析装置（解析サーバ）
３０ 中央演算部（ＣＰＵ）
３１ 記憶部
３００ 輪郭抽出部
３０１ 動体検出部
３０２ フィルタ処理部
３０３ ＡＩ判別部
４ 表示装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
