ホーム > 特許ランキング > Ａｒｉｔｈｍｅｒ株式会社
▶ Ａｒｉｔｈｍｅｒ株式会社の特許一覧 ▶ 一般財団法人日本気象協会の特許一覧
特許7547127波進入判定システム、波進入判定方法および波進入判定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-30
(45)【発行日】2024-09-09
(54)【発明の名称】波進入判定システム、波進入判定方法および波進入判定プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240902BHJP
G01V 8/10 20060101ALI20240902BHJP
【ＦＩ】
G06T7/00 650Z
G01V8/10 S
G06T7/00 350B
【請求項の数】
10
(21)【出願番号】P 2020152213
(22)【出願日】2020-09-10
(65)【公開番号】P2022046269
(43)【公開日】2022-03-23
【審査請求日】2023-08-10
(73)【特許権者】
【識別番号】517332845
【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社
(73)【特許権者】
【識別番号】397039919
【氏名又は名称】一般財団法人日本気象協会
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】田中 聡一朗
(72)【発明者】
【氏名】小島 弘行
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開平０５－０２８３８８（ＪＰ，Ａ）
【文献】特開２００６－０５２９７４（ＪＰ，Ａ）
【文献】特開２０１９－０４１２０７（ＪＰ，Ａ）
【文献】特開２０１９－０８７９２５（ＪＰ，Ａ）
【文献】特開２０１８－１３０７９３（ＪＰ，Ａ）
【文献】特開２０１８－１０７５７８（ＪＰ，Ａ）
【文献】特表平０７－５０８６３３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０１Ｖ ８／１０ － ８／２６
(57)【特許請求の範囲】
【請求項1】
基準画像から学習済みモデルを用いて予め設定された区域である区域領域を抽出する抽出部と、前記区域領域を含む領域を設定された時間差で撮像された複数画像の差分に基づいて、波領域の変化を示す差分領域を決定する決定部と、
前記区域領域と前記差分領域の共通領域の有無に基づいて波の進入を判定する判定部と、
を備え、
前記決定部は、前記複数画像のうち、第１画像と第２画像の差分である第１差分と、第３画像と第４画像の差分である第２差分とを算出し、前記第１差分から前記第２差分への変化に基づいて、前記差分領域を決定する波進入判定システム。
【請求項2】
前記抽出部は、予め設定された除外対象が占有する除外領域を前記複数画像の少なくともいずれかから抽出し、前記判定部は、前記区域領域から前記除外領域を除外して前記共通領域を決定する請求項１に記載の波進入判定システム。
【請求項3】
前記決定部は、所定の密度で差分が生じている領域を包含するように前記波領域を定める請求項１または２に記載の波進入判定システム。
【請求項4】
前記判定部は、前記共通領域が存在する場合には、前記共通領域の広さに関する判定を行う請求項１から３のいずれか１項に記載の波進入判定システム。
【請求項5】
前記決定部は、前記第１差分と前記第２差分に現れた差分の集合領域をそれぞれ１つ以上のブロックにまとめ、前記第１差分の前記ブロックと前記第２差分の前記ブロックの対応関係を推定することにより前記差分領域を決定する請求項１に記載の波進入判定システム。
【請求項6】
前記決定部は、前記ブロックの移動方向、移動距離、大きさおよび特徴量の少なくともいずれかに基づいて前記対応関係を推定する請求項５に記載の波進入判定システム。
【請求項7】
基準画像から学習済みモデルを用いて予め設定された区域である区域領域を抽出する抽出部と、前記区域領域を含む領域を設定された時間差で撮像された複数画像の差分に基づいて、波領域の変化を示す差分領域を決定する決定部と、
前記区域領域と前記差分領域の共通領域の有無に基づいて波の進入を判定する判定部と、
第１条件または第２条件へ切り替える切替部と、
を備え、
前記第１条件では、予め設定された除外対象が占有する除外領域を前記複数画像の少なくともいずれかから抽出し、前記区域領域から前記除外領域を除外して前記共通領域を決定し、
前記第２条件では、前記複数画像のうち、第１画像と第２画像の差分である第１差分と、第３画像と第４画像の差分である第２差分とを算出し、前記第１差分から前記第２差分への変化に基づいて前記差分領域を決定し、前記区域領域と前記差分領域に基づいて前記共通領域を決定する波進入判定システム。
【請求項8】
基準画像から学習済みモデルを用いて予め設定された区域である区域領域を抽出する抽出ステップと、前記区域領域を含む領域を設定された時間差で撮像された複数画像の差分に基づいて、波領域の変化を示す差分領域を決定する決定ステップと、
前記区域領域と前記差分領域の共通領域の有無に基づいて波の進入を判定する判定ステップと
を備え、
前記決定ステップは、前記複数画像のうち、第１画像と第２画像の差分である第１差分と、第３画像と第４画像の差分である第２差分とを算出し、前記第１差分から前記第２差分への変化に基づいて、前記差分領域を決定する波進入判定方法。
【請求項9】
基準画像から学習済みモデルを用いて予め設定された区域である区域領域を抽出する抽出ステップと、前記区域領域を含む領域を設定された時間差で撮像された複数画像の差分に基づいて、波領域の変化を示す差分領域を決定する決定ステップと、
前記区域領域と前記差分領域の共通領域の有無に基づいて波の進入を判定する判定ステップと、
第１条件または第２条件へ切り替える切替ステップと、
を備え、
前記第１条件では、予め設定された除外対象が占有する除外領域を前記複数画像の少なくともいずれかから抽出し、前記区域領域から前記除外領域を除外して前記共通領域を決定し、
前記第２条件では、前記複数画像のうち、第１画像と第２画像の差分である第１差分と、第３画像と第４画像の差分である第２差分とを算出し、前記第１差分から前記第２差分への変化に基づいて前記差分領域を決定し、前記区域領域と前記差分領域に基づいて前記共通領域を決定する波進入判定方法。
【請求項10】
請求項８または９に記載の波進入判定方法をコンピュータに実行させる波進入判定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、波進入判定システム、波進入判定方法および波進入判定プログラムに関する。
【背景技術】
【0002】
海岸近くの土地に敷設された施設や設備において、荒天時に波を被ると何らかの対応が必要となる場合がある。荒天時においては、そのような施設等を撮像する監視カメラの映像を継続的に監視する作業を、監視員が強いられることがある。監視員がこのような作業から解放されるべく、例えば、監視画像を利用して、予め決定された基準線と波の輪郭の位置状態を判定することにより、波の進入を検知する装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－５２９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
波の進入を監視すべき地点が一地点で足りることは稀であり、多くの場合は複数地点での監視が必要となる。例えば、海岸沿いの一般車両が走行する道路では、波の進入が生じ得る地点が多く存在する場合もある。このような状況では、従来技術の監視装置を導入するにあたり、一地点ごとにその地形に応じた初期設定の作業を強いられることになり、コスト高を招くなど、監視装置の導入に高い障壁があった。
【0005】
本発明は、このような問題を解決するためになされたものであり、複雑な初期設定を要することなく、導入後にいち早く運用を開始できる波進入判定システム等を提供するものである。
【課題を解決するための手段】
【0006】
本発明の第１の態様における波進入判定システムは、基準画像から学習済みモデルを用いて予め設定された区域である区域領域を抽出する抽出部と、区域領域を含む領域を設定された時間差で撮像された複数画像の差分に基づいて、波領域の変化を示す差分領域を決定する決定部と、区域領域と差分領域の共通領域の有無に基づいて波の進入を判定する判定部とを備える。
【0007】
本発明の第２の態様における波進入判定方法は、基準画像から学習済みモデルを用いて予め設定された区域である区域領域を抽出する抽出ステップと、区域領域を含む領域を設定された時間差で撮像された複数画像の差分に基づいて、波領域の変化を示す差分領域を決定する決定ステップと、区域領域と差分領域の共通領域の有無に基づいて波の進入を判定する判定ステップとを備える。
【0008】
本発明の第３の態様における波進入判定プログラムは、上記の波進入判定方法をコンピュータに実行させる。
【発明の効果】
【0009】
本発明により、複雑な初期設定を要することなく、導入後にいち早く運用を開始できる波進入判定システム等を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係る波進入判定システムの全体構成を示す概念図である。
【図2】現時点における観察対象の様子を示す現在画像の概略図である。
【図3】道路領域を抽出した結果を示す概略図である。
【図4】除外領域を抽出した結果を示す概略図である。
【図5】確定した比較領域を示す概略図である。
【図6】設定された過去時点における観察対象の様子を示す現在画像の概略図である。
【図7】波領域の差分を抽出した結果を示す概略図である。
【図8】確定した越波領域を示す概略図である。
【図9】波進入判定の一連の処理を示すフロー図である。
【図10】第２実施例に係る波進入判定の一連の処理を示すフロー図である。
【図11】第３実施例に係る画像処理を説明する図である。
【図12】ラベリング領域の対応関係を推定する推定処理を説明する図である。
【図13】波領域を推定するための演算処理の例を説明する図である。
【図14】共通領域の判定処理を説明する図である。
【図15】第３実施例に係る波進入判定の一連の処理を示すフロー図である。
【発明を実施するための形態】
【0011】
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
【0012】
図１は、本実施形態に係る波進入判定システムの全体構成を示す概念図である。波進入判定システムは、予め設定された区域に波が被ったかを判定する。波進入判定システムは、本実施形態においてはシステムサーバー１００によって実現される。システムサーバー１００は、制御とプログラムの実行処理を行うプロセッサ（ＣＰＵ、ＧＰＵまたはこれらの組み合わせによって構成される）である処理部１１０を備える。処理部１１０は、記憶部１２０に記憶された波進入判定プログラムを読み出して、波進入判定に関する様々な処理を実行する。
【0013】
処理部１１０が画像取得部１１１としての処理を実行する場合には、観察対象を撮像するカメラモジュールから、当該観察対象を撮像した撮像画像の画像データを、通信部１３０を介して取得する。処理部１１０が抽出部１１２としての処理を実行する場合には、予め設定された区域である区域領域を、画像取得部１１１が取得した基準画像データの画像である基準画像から抽出する。このとき、抽出部１１２は、記憶部１２０から読み出した学習済みモデルである領域抽出ＮＮ１２１を抽出処理に用いる。
【0014】
処理部１１０が決定部１１３としての処理を実行する場合には、上記の区域領域を含む領域を設定された時間差で撮像された複数画像の差分に基づいて、波領域の変化を示す差分領域を決定する。複数画像のそれぞれの画像データは、基準画像データと同様に、画像取得部１１１が取得する。処理部１１０が判定部１１４としての処理を実行する場合には、抽出部１１２が抽出した区域領域と、決定部１１３が決定した差分領域の共通領域の有無を判定する。
【0015】
処理部１１０が出力部１１５としての処理を実行する場合には、判定部１１４による判定結果を、通信部１３０を介して出力する。これら各機能部の具体的な処理については、図を用いて後に詳述する。
【0016】
記憶部１２０は、不揮発性の記憶媒体であり、例えば大容量のＨＤＤによって構成されている。記憶部１２０は、システムサーバー１００の制御や処理を実行するプログラムを格納するほか、波進入の検知に関する各種ルックアップテーブルや、画像取得部１１１がカメラモジュールから取得した画像データ等を蓄積する。本実施形態においては、記憶部１２０は、領域抽出ＮＮ１２１を記憶している。
【0017】
通信部１３０は、インターネットへの接続および外部機器とのデータ授受を担い、例えばＬＡＮによって構成されている。なお、本実施形態においては、システムサーバー１００が波進入判定システムの主要構成を備える構成を説明するが、例えば記憶部１２０がインターネットに直接的に接続されたネットワークＨＤＤで構成されていてもよい。そのような場合には、分散して構成された装置の全体によって波進入判定システムが構築される。
【0018】
次に、本実施形態に係る波進入判定システムが、どのように区域領域と波領域の共通領域の有無を判定するかについて、いくつかの実施例を説明する。以下の説明においては、予め設定される区域領域を「道路領域」とする。すなわち、一般車両が走行する海岸沿いの道路が、悪天候時に海から到来する波を被る場合を想定する。カメラモジュールは、波を被る可能性がある地点を俯瞰するように、道路に沿って複数設置されている。それぞれのカメラモジュールが周期的に撮像した撮像画像の画像データは、例えばインターネットを介して、システムサーバー１００へ送信される。以下の説明においては、ある一地点に設置されたカメラモジュールから送られてくる画像データに対して行う処理について説明する。
【0019】
第１実施例について説明する。図２は、画像取得部１１１が現時点で取得した画像データの画像（現在画像ＩＭｃ）の概略図であり、現時点における観察対象の様子を示している。観察対象は、海沿いを湾曲して伸延する道路３１０である。道路３１０には、複数の車両３２０がヘッドライトを照射しながら走行している。それぞれのヘッドライトは、図示するように道路３１０を照射している（ヘッドライト照射３３０）。
【0020】
道路３１０の片側には海岸３４０を挟んで海水３５０を湛えた海が存在する。荒天時には海岸３４０を超えて海水が道路３１０まで到達する場合がある。図は、海水３５０が波として海岸３４０を越えて（越波して）道路３１０の一部に到達している状況を示している。
【0021】
図３は、抽出部１１２が、現在画像ＩＭｃに対して道路３１０が占める領域である道路領域Ｒ１を抽出した結果を示す概略図である。第１実施例においては、現在画像ＩＭｃを基準画像として、区域領域としての道路領域Ｒ１を抽出する。
【0022】
領域抽出ＮＮ１２１は、道路領域を抽出する道路領域抽出ＮＮと、予め設定された除外対象が占有する除外領域を抽出する除外領域抽出ＮＮの２つの学習済みモデルから構成されている。抽出部１１２が道路領域抽出ＮＮに現在画像ＩＭｃを入力すると、道路領域抽出ＮＮは、道路領域Ｒ１を出力する。
【0023】
具体的には、道路領域抽出ＮＮは、出力層に現在画像ＩＭｃの各ピクセルに対応するノードを有し、それぞれのノードは、対応するピクセルが道路領域に属する確率を出力する。抽出部１１２は、閾値を超える確率を示すピクセルを集めて、その集合領域を道路領域Ｒ１と定める。なお、道路領域抽出ＮＮは、道路が写り込んだ画像の画像データと、その画像の中でどの領域が道路領域であるかを示す正解タグとを組み合わせた教師データを多く学習してニューロン間の結合の強度を調整した後に（学習段階の後に）、実用に供されたものである。
【0024】
なお、抽出部１１２は、図示するように、道路領域抽出ＮＮが閾値以上の確率を出力したピクセルを寄せ集めた領域の輪郭を滑らかに接続して道路領域Ｒ１と定める。また、抽出部１１２は、現在画像ＩＭｃを道路領域抽出ＮＮへ入力して抽出した道路領域Ｒ１と、同じカメラモジュールから取得した過去の画像を道路領域抽出ＮＮへ入力して抽出した道路領域Ｒ１’に平均化処理等を施して、現時点における道路領域Ｒ１を定めてもよい。
【0025】
図４は、抽出部１１２が、現在画像ＩＭｃに対して除外対象が占める領域である除外領域Ｒ２を抽出した結果を示す概略図である。抽出部１１２が除外領域抽出ＮＮに現在画像ＩＭｃを入力すると、除外領域抽出ＮＮは、除外領域Ｒ２を出力する。具体的には、除外領域抽出ＮＮは、出力層に現在画像ＩＭｃの各ピクセルに対応するノードを有し、それぞれのノードは、対応するピクセルが除外領域に属する確率を出力する。抽出部１１２は、閾値を超える確率を示すピクセルを集めて、その集合領域を除外領域Ｒ２と定める。
【0026】
除外対象は、道路上に現れ、越波領域の判定に邪魔となり得る対象である。本実施形態においては、除外対象として、車両３２０、ヘッドライト照射３３０、歩行者などが設定されている。道路領域抽出ＮＮと組み合わされて利用される除外領域抽出ＮＮは、入力画像から、このように設定された除外対象の領域を抽出するように学習された学習済みモデルである。
【0027】
具体的には、除外領域抽出ＮＮは、設定された除外対象物が写り込んだ画像の画像データと、その画像の中でどの領域が除外領域であるかを示す正解タグとを組み合わせた教師データを多く学習してニューロン間の結合の強度を調整した後に（学習段階の後に）、実用に供されたものである。なお、抽出部１１２は、除外領域抽出ＮＮが閾値以上の確率を出力したピクセルを寄せ集めた領域の輪郭を滑らかに接続して除外領域Ｒ２と定めることができる。この場合、図示するように、除外領域に包囲された領域（図の例では、車両３２０とヘッドライト照射３３０に囲まれた領域）も除外領域と定めてもよい。
【0028】
図５は、確定した比較領域Ｒ３を示す概略図である。比較領域Ｒ３は、判定部１１４が道路領域Ｒ１から除外領域Ｒ２を除外して確定させた判定対象となる領域である。すなわち、抽出部１１２が、道路領域抽出ＮＮを用いて道路領域Ｒ１を定め、また、除外領域抽出ＮＮを用いて除外領域Ｒ２を定めたら、判定部１１４は、道路領域Ｒ１から除外領域Ｒ２を除外して、比較領域Ｒ３を決定する。
【0029】
図６は、画像取得部１１１が過去のある時点で取得した画像データの画像（比較画像ＩＭｐ）の概略図であり、その時点における観察対象の様子を示している。具体的には、比較画像ＩＭｐは、現在画像ＩＭｃが撮像された時点より予め設定された経過時間Ｔｄだけ前の時点で撮像された画像であり、例えば３秒前に撮像された画像である。図示するようにこの時点では、海水３５０は、海岸３４０を越えていない。なお、経過時間Ｔｄは、道路３１０に進入する波がどのように変化するのかを継続的に観察したい場合には比較的短く（例えば、Ｔｄ＝１秒～５秒）、大きな変化を捉えて波の進入を確実に観察したい場合には比較的長く（例えば、Ｔｄ＝５秒～６０秒）設定すると良い。また、その時点の波の周期を観察してその周期に同期するように設定してもよい。波が引いた時の画像と打ち寄せた時の画像を比較すれば、その変化を大きく捉えることができる。
【0030】
図７は、決定部１１３が現在画像ＩＭｃと比較画像ＩＭｐを比較して波領域の変化を示す差分領域Ｒ４を決定した結果を示す概略図である。具体的には、決定部１１３は、現在画像ＩＭｃと比較画像ＩＭｐに対し、予め設定された輝度値を閾値として二値化処理を施す。波領域は比較的明るい白色であるので、二値化処理後には白色領域となる。そして、それぞれの対応するピクセルごとに引き算を行い、その値が１となるピクセル、すなわち新たに白色に変化したピクセルを差分領域Ｒ４の要素とする。決定部１１３は、決定した差分領域Ｒ４を判定部１１４へ引き渡す。なお、決定部１１３は、差分値＝１を出力したピクセルを寄せ集めた領域の輪郭を滑らかに接続して差分領域Ｒ４と定めることができる。
【0031】
また、波の変化は離散的であるので、差分値＝１となるピクセルが斑状に現れる場合がある。このような場合には、単位領域（例えば、３ピクセル×３ピクセルの領域）を占める差分値＝１のピクセルが閾値以上（例えば、半数以上）存在するのであれば、その単位領域を全て差分領域Ｒ４に含まれるとしてもよい。すなわち、差分値＝１のピクセルが所定の密度で生じている領域を包含するように差分領域Ｒ４を定めてもよい。また、モルフォロジー変換により斑状の領域を埋めるような処理をして差分領域Ｒ４を定めてもよい。このように差分領域Ｒ４を一纏まりとして扱うことにより、画像に生じ得るノイズや白波の陰影等に影響されずに差分領域を検知することができる。
【0032】
なお、このようなピクセル値の差分による画像処理に依らず、例えば現在画像ＩＭｃと比較画像ＩＭｐを入力すると、波の差分領域を出力する学習済みモデルを利用してもよい。学習済みモデルを利用するのであれば、波が写った画像を教師画像として学習させることができるので、より確からしく波の差分領域を抽出することができる。
【0033】
図８は、確定した越波領域Ｒ５を示す概略図である。判定部１１４は、比較領域Ｒ３と差分領域Ｒ４が確定すると、これらに共通領域が存在するか否かを判定し、共通領域が存在する場合は、その領域を越波領域Ｒ５と定める。判定部１１４は、共通領域が存在すると判定した場合には、その広さが予め設定された閾値を超えるか否かを判定する。具体的には、例えば、道路領域抽出ＮＮが抽出した道路領域Ｒ１の幅と奥行きに対応して設定される単位領域が、越波領域Ｒ５をどの程度含むかを判定する。すなわち、画像のうち実際の環境ではカメラモジュールから遠方である領域については単位領域を小さく、カメラモジュールの近傍である領域については単位領域を大きく設定する。そして、いずれかの単位領域が越波領域Ｒ５を所定の割合（例えば１０％）以上含む場合に、その旨を判定結果として出力する。
【0034】
判定部１１４は、判定結果を出力部１１５へ引き渡す。出力部１１５は、当該判定結果を、通信部を介して、予め設定された装置（例えば、道路を監視する管理組織の端末）へ出力する。波進入判定システム（システムサーバー１００）の利用者は、自身が利用する端末を通じて、対象の道路が海から到来する波を被ったか否かを知ることができる。
【0035】
次に、システムサーバー１００による波進入判定処理の流れについて説明する。図９は、波進入判定の一連の処理を示すフロー図である。システムサーバー１００は、複数のカメラモジュールのそれぞれから送られてくる画像データに対して並列的に処理を行うこともできるが、以下のフローにおいては、ある一地点に設置されたカメラモジュールから送られてくる画像データに対して行う処理について説明する。
【0036】
画像取得部１１１は、ステップＳ１０１で、カメラモジュールから画像データを取得し、抽出部１１２と決定部１１３へ引き渡す。また、ここで取得した画像データの画像を後に比較画像ＩＭｐとして利用できるように、そのコピーを記憶部１２０へ記憶する。
【0037】
抽出部１１２は、ステップＳ１０２で、記憶部１２０から読み出した領域抽出ＮＮ１２１のうち道路領域抽出ＮＮを用いて、取得した画像データの画像から道路領域Ｒ１を抽出する。続いてステップＳ１０３で、除外領域抽出ＮＮを用いて、取得した画像データの画像から除外領域Ｒ２を抽出する。
【0038】
抽出部１１２は、ステップＳ１０４で、除外領域Ｒ２の大きさが閾値以内であるか否かを判断する。除外領域Ｒ２が閾値より大きい場合には越波領域Ｒ５を正しく判定できなくなる可能性が高いとして、この場合は、ステップＳ１０１で取得した画像データで越波領域Ｒ５を判定することを断念し、再度画像データを取得すべくステップＳ１０１へ戻る。閾値以内の大きさであればステップＳ１０５へ進む。
【0039】
判定部１１４は、ステップＳ１０５へ進むと、道路領域Ｒ１から除外領域Ｒ２を除外して比較領域Ｒ３を確定させる。なお、道路領域Ｒ１を抽出する処理と除外領域Ｒ２を抽出する処理は、逆順であっても構わない。
【0040】
決定部１１３は、ステップＳ１０６で、経過時間Ｔｄだけ前の時点で撮像された比較画像ＩＭｐの画像データを記憶部１２０から読み出す。決定部１１３は、比較画像ＩＭｐの画像データを読み出したらステップＳ１０７へ進み、ステップＳ１０１で取得した画像データの画像を現在画像ＩＭｃとして、波領域の差分を検出する。決定部１１３は、検出した差分を差分領域Ｒ４とし、その情報を判定部１１４へ引き渡す。なお、比較領域Ｒ３を確定させる処理と差分領域Ｒ４を検出する処理は、逆順であっても構わない。
【0041】
判定部１１４は、ステップＳ１０８で、比較領域Ｒ３と差分領域Ｒ４に共通領域が存在するか否かを判定し、共通領域が存在する場合は、その領域を越波領域Ｒ５と定める。そして、ステップＳ１０９で、越波領域Ｒ５の大きさを演算し、その大きさが閾値以内であるか否かを判定する。その大きさが閾値以内であった場合、および、そもそもステップＳ１０８で越波領域Ｒ５が見出されなかった場合には、ステップＳ１０１へ戻る。越波領域Ｒ５の大きさが閾値より大きかった場合には、ステップＳ１１０へ進む。
【0042】
ステップＳ１１０へ進むと、出力部１１５は、判定部１１４から判定結果を受け取り、予め設定された装置へその判定結果を出力する。そして、処理部１１０は、ステップＳ１１１で波進入判定の終了指示を受けているか否かを確認し、受けていない場合にはステップＳ１０１へ戻り、受けている場合には一連の処理を終了する。なお、ステップＳ１０９でＹＥＳの場合は、越波領域が検知されなかった旨を出力部１１５が出力して、ステップＳ１１１へ進んでもよい。
【0043】
次に第２実施例について説明する。第１実施例においては、現在画像ＩＭｃから区域領域である道路領域Ｒ１を抽出したが、第２実施例においては、道路領域Ｒ１の抽出を、カメラモジュールの設置時、ユーザの指定時、あるいは一定期間ごとの更新時に実行する。図１０は、第２実施例に係る波進入判定の一連の処理を示すフロー図であり、そのうちの図１０（ａ）は、抽出部１１２が道路領域Ｒ１を抽出する処理フローを示す。
【0044】
図１０（ａ）のフローは、上述のようにカメラモジュールの設置時、ユーザの指定時、あるいは一定期間ごとの更新時などに実行される。画像取得部１１１は、ステップＳ２０１で、カメラモジュールから画像データを取得し、基準画像データとして抽出部１１２へ引き渡す。抽出部１１２は、ステップＳ２０２で、記憶部１２０から読み出した領域抽出ＮＮ１２１のうち道路領域抽出ＮＮを用いて、取得した基準画像データの基準画像から道路領域Ｒ１を抽出する。そして、道路領域Ｒ１の情報をデータ化して記憶部１２０へ記憶し、一連の処理を終了する。なお、複数の基準画像データを取得してそれぞれに対して道路領域を抽出し、それらの和集合や平均化処理した領域を道路領域Ｒ１としてもよい。複数の基準画像データから道路領域を求めることにより、抽出部１１２は、通行中の車の存在により道路領域の一部が隠れてしまった基準データが存在する場合等でも、正確に道路領域Ｒ１を抽出できる。図１０（ａ）のフローの繰返しにより複数の基準画像データを取得する場合は、繰返すか終了するかの判断を利用者が画像を確認して判断してもよいし、抽出部１１２が予め設定された基準条件に従って判断してもよい。また、抽出部１１２は、取得した画像に対してまず除外領域抽出ＮＮを用いて除外領域Ｒ２の有無を確認し、除外領域Ｒ２の存在しない画像を基準画像と定めてから道路領域Ｒ１を抽出してもよい。
【0045】
一旦設置されたカメラモジュールにおいては、当該カメラモジュールで撮像される画像中の道路領域Ｒ１は基本的に画像中に占める位置や形状が変わらないので、越波を検出する処理に先立って行っておけばよい。このように越波を検出する処理に先立って道路領域Ｒ１を抽出しておけば、越波を検出する処理も図９を用いて説明した処理フローに比較して簡易に行うことができる。図１０（ｂ）は、予め道路領域Ｒ１が抽出されている場合における、越波の検出処理の処理フローを示す。図９の処理とほぼ同じ処理については、図９の符番と同一の符番を付している。
【0046】
図９の処理フローと比較すると、図１０（ｂ）の処理フローは、道路領域Ｒ１を確定するステップＳ１０２が省略され、また、比較領域Ｒ３を確定するステップＳ１０５の処理が若干異なる他は、ほぼ同一である。図１０（ｂ）のステップＳ１０５’において判定部１１４は、記憶部１２０から道路領域Ｒ１の情報を読み出し、読み出した道路領域Ｒ１からステップＳ１０３で抽出した除外領域Ｒ２を除外して比較領域Ｒ３を確定させる。このように処理することにより、越波の検出のたびに道路領域Ｒ１を確定させる必要がないので、より高速に検出処理を実行することができる。また、現在画像ＩＭｃを基準画像としないので、現在画像ＩＭｃに道路領域Ｒ１の確定に邪魔となり得る対象が存在しても構わない。また、周囲が明るい昼の時間帯に道路領域Ｒ１を確定すれば、夜の時間帯に越波検出の処理を実行する場合にも、精度の高い当該道路領域Ｒ１を利用することができる。さらに、道路領域Ｒ１の確定処理を行う時間帯を、例えば昼の時間帯といった特定の時間帯に限定することにより、少ないデータで道路領域抽出ＮＮの学習が可能となる。
【0047】
次に第３実施例について説明する。第１実施例および第２実施例においては、除外領域抽出ＮＮを用いて除外領域を除去することにより、２つの画像の差分から波領域の変化を示す差分領域を推定した。しかし、夜など周囲が暗い環境では撮像した画像のコントラストが低くなり、車両のヘッドライト等の影響を考慮する必要性も増すため、上述した画像の差分から輪郭を推定する方法だけでは除外領域や波の変化を示す差分領域の抽出が困難な場合もある。そこで、周囲が暗い環境においても有効な実施例について説明する。第３実施例においては、第１画像と第２画像の差分である第１差分と、第２画像と第３画像の差分である第２差分を算出し、第１差分から第２差分への変化に基づいて、波が存在する波領域を決定する。
【0048】
図１１は、第３実施例に係る画像処理を説明する図である。図１１（ａ）は、取得画像の例を示し、上から順に、時刻Ｔ＝ｔ1に取得された第１画像Ｉｍ1、時刻Ｔ＝ｔ2に取得された第２画像Ｉｍ2、時刻Ｔ＝ｔ3に取得された第３画像Ｉｍ3を表す。ｔ1からｔ3へ時間が経過するにつれ、波が道路へ打ち寄せている様子がわかる。
【0049】
図１１（ｂ）は、算出された差分フレームの例を示し、上から順に、第１画像と第２画像の差分を表す第１差分フレームＤＦ1、第２画像と第３画像の差分を表す第２差分フレームＤＦ2を示す。差分フレームは、例えば、対象とする２つの取得画像のそれぞれをグレースケールに変換し、デノイズやヒストグラム平坦化の前処理を施したうえで、対応するピクセルごとに差分値を算出することにより生成する。本実施形態においては波領域の進行方向の変化を認識したいので、後の取得画像の画素値から先の取得画像の画素値を引いたときに正となる場合（すなわち暗から明に変化する場合）に限って差分値を算出し、その他の画素の画素値を０とする。
【0050】
図１１（ｃ）は、差分フレームに対してラベリング処理を施したラベリングフレームの例を示し、上から順に、第１差分フレームＤＦ1に対応する第１ラベリングフレームＬＦ1、第２差分フレームＤＦ2に対応する第２ラベリングフレームＬＦ2を示す。ラベリングフレームは、差分フレームを予め設定された閾値により二値化し、白色（＝１）となった集合領域に外接する矩形をラベリング領域とすることにより生成する。ラベリング領域は、このような集合領域を一つの集合として扱うためにまとめたブロックである。ラベリングフレーム内に白色となった画素の集合が複数存在する場合は、それぞれの集合に対してラベリング領域を定める。図示する例では、それぞれ波の変化領域に対応して１つずつのラベリング領域が定められている。
【0051】
図１２は、ラベリング領域の対応関係を推定する推定処理を説明する図である。具体的には、連続して生成された第１ラベリングフレームＬＦ1と第２ラベリングフレームＬＦ2の例を示す。第１ラベリングフレームＬＦ1は３つのラベリング領域Ｌ1～Ｌ3を含み、第２ラベリングフレームＬＦ2は同じく３つのラベリング領域Ｌ4～Ｌ6を含む。図１１の例においては、波領域の変化に着目してその変化から生成されるラベリング領域について説明したが、実際の取得画像は、図２を用いて説明したように車両３２０なども含み得るので、これらに対応するラベリング領域も生成される。すなわち、第１ラベリングフレームＬＦ1に含まれる３つのラベリング領域Ｌ1～Ｌ3のうちのいずれが波領域を表し、また、第２ラベリングフレームＬＦ2に含まれる３つのラベリング領域Ｌ4～Ｌ6のうちのいずれが波領域を表すかを推定する必要がある。
【0052】
決定部１１３は、図示するような第１ラベリングフレームＬＦ1と第２ラベリングフレームＬＦ2を生成した場合に、ラベリング領域の対応関係を推定する。具体的には、第１ラベリングフレームＬＦ1のラベリング領域Ｌ1、Ｌ2、Ｌ3のそれぞれが、第２ラベリングフレームＬＦ2のラベリング領域Ｌ4、Ｌ5、Ｌ6のいずれに推移したかを、それぞれの組み合わせに対する妥当性を評価することにより推定する。決定部１１３は、Ｌ1からＬ4へ推移した妥当性が、Ｌ1からＬ5へ推移した妥当性およびＬ1からＬ6へ推移した妥当性よりも高ければ、Ｌ1とＬ4は対応すると推定する。例えば、決定部１１３は、ラベリング領域の対応関係の推定を、ブロックの移動方向に基づいて行なう。ここでは、決定部１１３は、道路領域Ｒ１との位置関係を利用して、波領域に対応するラベリング領域を推定する。以下、図１３を用いて具体的に説明する。
【0053】
図１３（ａ）は、抽出部１１２が抽出した道路領域Ｒ１に対して道路曲線ＲＣを定めた様子を示す。決定部１１３は、道路領域Ｒ１に対して幅方向の中点を滑らかに接続して道路曲線ＲＣを定める。
【0054】
図１３（ｂ）は、検証対象となる２つのラベリング領域Ｌ（第１ラベリングフレームＬＦ1のラベリング領域）、Ｌ’（第２ラベリングフレームＬＦ2のラベリング領域）の移動ベクトルＶLを示す。移動ベクトルＶLは、ラベリング領域Ｌの中心からラベリング領域Ｌ’の中心へ向かうベクトルである。
【0055】
図１３（ｃ）は、道路曲線ＲＣと移動ベクトルＶLとの関係から移動方向を判定し、ラベリング領域ＬとＬ’が波領域の変化を表すラベリング領域であるかを推定する演算処理の概念を示す図である。決定部１１３は、まず、移動ベクトルＶLを延長して道路曲線ＲＣと交差する点である交点Ｘを算出する。そして、交点Ｘにおける道路曲線ＲＣの接線を算出し、当該接線と移動ベクトルＶLの交差角度を算出する。
【0056】
図１３（ａ）に示す例において波は、道路領域Ｒ１の伸延方向に対しておよそ直交方向から進入することが想定される。そこで、決定部１１３は、算出された交差角度が例えば９０度±３０度である場合にラベリング領域ＬとＬ’が波領域の変化を表すラベリング領域であると推定する（推定１）。
【0057】
また、決定部１１３は、ラベリング領域の対応関係を、それらの移動距離を参照して推定してもよい。例えば、波のラベリング領域は遅い速度で移動すると想定されるので、決定部１１３は、移動ベクトルＶLの長さ（移動距離）が閾値未満である場合に、それらのラベリング領域を波領域の変化を表すラベリング領域であると推定する（推定２）。
【0058】
また、決定部１１３は、ラベリング領域の対応関係を、それらの大きさを参照して推定してもよい。例えば、波のラベリング領域の大きさは急激には変化しないと想定されるので、決定部１１３は、ラベリング領域の大きさの変化が所定の割合以内に収まった場合に、それらのラベリング領域を波領域の変化を表すラベリング領域であると推定する（推定３）。
【0059】
また、決定部１１３は、ラベリング領域の対応関係を、ブロックの特徴量を考慮して推定してもよい。一般的に、ラベリング領域の特徴量は大きく変化しないと想定されるので、決定部１１３は、ラベリング領域内の特徴量の変化が小さい場合に、それらのラベリング領域を波領域の変化を表すラベリング領域であると推定する（推定４）。特徴量は、例えば、ラベリング領域のピクセルデータ（色情報）から輝度平均や輝度分散、ＣＮＮ（Convolution Neural Network）特徴量等を算出して求めたテクスチャの変化量である。ＣＮＮ特徴量は、例えば、予めＩｍａｇｅＮｅｔで学習済みのモデルを用いて算出する。
【0060】
波領域の変化であるか否かの決定は、上述した推定１～推定４の推定結果のうち１つで評価してもよいし、任意の組合せの推定結果を総合して評価してもよい。複数の組合せで評価することにより、特に夜の判定精度が向上する。
決定部１１３は、このような評価演算を経て、いずれのラベリング領域が波領域の変化を表すラベリング領域であるかを決定する。
決定部１１３は、このような評価演算を経て、いずれのラベリング領域が波領域の変化を表すラベリング領域であるかを決定する。
【0061】
図１４は、共通領域の判定処理を説明する図である。図１４（ａ）は、上述の評価演算の結果、波領域の変化を表すラベリング領域と決定されたラベリング領域Ｌ4を含む第２ラベリングフレームＬＦ2を示す。決定部１１３は、ラベリング領域Ｌ4を生成した集合領域Ｄ4（波領域の変化を示す差分領域）を第２差分フレームＤＦ2から抽出する。図１４（ｂ）は、第２ラベリングフレームＬＦ2の生成元となった第２差分フレームＤＦ2を示す。集合領域Ｄ4は、第２差分フレームＤＦ2において閾値以上の画素値を有するピクセルの集合を、滑らかに取り囲む輪郭によって定められた領域である。
【0062】
図１４（ｃ）は、抽出部１１２によって抽出された道路領域Ｒ１を示す。判定部１１４は、図１４（ｂ）で示される集合領域Ｄ4と図１４（ｃ）で示される道路領域Ｒ１の共通領域の有無を判定する。図１４（ｄ）は、その判定結果を示し、具体的には、共通領域である越波領域Ｒ５を示す。すなわち、海水が道路へ越波した領域を示している。判定部１１４が判定結果を出力部１１５へ引き渡すと、出力部１１５は、当該判定結果を、通信部を介して、予め設定された装置へ出力する。波進入判定システム（システムサーバー１００）の利用者は、自身が利用する端末を通じて、対象の道路が海から到来する波を被ったか否かを知ることができる。
【0063】
図１５は、第３実施例に係る波進入判定の一連の処理を示すフロー図である。図１５（ａ）は、抽出部１１２が道路領域Ｒ１を抽出する処理フローを示し、実質的に図１０（ａ）の処理フローと同様である。すなわち、図１５（ａ）のフローは、カメラモジュールの設置時、ユーザの指定時、あるいは一定期間ごとの更新時などに実行され、抽出部１１２は、道路領域抽出ＮＮを用いて、取得した基準画像データの基準画像から道路領域Ｒ１を抽出する。そして、道路領域Ｒ１の情報をデータ化して記憶部１２０へ記憶する。なお、周囲が明るい昼の時間帯に道路領域Ｒ１を確定することにより、夜の時間帯の越波検出処理においても、精度の高い当該道路領域Ｒ１を利用することができる。さらに、道路領域Ｒ１の確定処理を行う時間帯を、例えば昼の時間帯といった特定の時間帯に限定することにより、少ないデータで道路領域抽出ＮＮの学習が可能となる。
【0064】
図１５（ｂ）は、越波の検出処理の処理フローを示す。この処理フローは、予め設定された時間ごと、ユーザによって指示されたタイミング、荒天時などに実行される。画像取得部１１１は、ステップＳ３０１で、カメラモジュールから順次第１画像データ、第２画像データ、第３画像データを取得し、決定部１１３へ引き渡す。決定部１１３は、ステップＳ３０２で、図１１を用いて説明したように、第１画像データの第１画像と、第２画像データの第２画像の差分を算出することにより第１差分フレームＤＦ1を生成する。同様に、第２画像データの第２画像と、第３画像データの第３画像の差分を算出することにより第２差分フレームＤＦ2を生成する。
【0065】
決定部１１３は、ステップＳ３０３で、同じく図１１を用いて説明したように、第１差分フレームＤＦ1から第１ラベリングフレームＬＦ1を生成する。同様に、第２差分フレームＤＦ2から第２ラベリングフレームＬＦ2を生成する。続いてステップＳ３０４で、決定部１１３は、図１２を用いて説明したように、第１ラベリングフレームＬＦ1に現れたラベリング領域のそれぞれと、第２ラベリングフレームＬＦ2に現れたラベリング領域それぞれとが、互いにどのように対応するかを推定する。そのうち、波領域の変化を表すと推定されるラベリング領域（図１４（ａ）の例ではＬ4）と、それ以外の除外領域を表すと推定されるラベリング領域（図１４（ａ）の例ではＬ5、Ｌ6）とに分類する。波領域の変化を表すと推定されるラベリング領域については、第２差分フレームＤＦ2を参照して、図１４を用いて説明したように集合領域を定め、当該集合領域を波領域の変化を示す差分領域として確定する。また、除外領域を表すと推定されるラベリング領域については、同じく第２差分フレームＤＦ2を参照して、除外領域として確定する。なお、除外領域は波領域と同じ位置に現れることがあるが、それらは波領域の変化を示す差分領域ではないものと取り扱われる。
【0066】
判定部１１４は、決定部１１３から波領域の変化を示す差分領域と除外領域の情報を受け取ると、ステップＳ３０５で、越波領域の判定を行う。具体的には、抽出部１１２が抽出した道路領域Ｒ１の情報を記憶部１２０から読み出して、道路領域Ｒ１と差分領域に共通領域が存在するか否かを判定する。共通領域が存在する場合は、その領域を越波領域と定める。そして、ステップＳ３０６で、越波領域の大きさを演算し、その大きさが閾値以内であるか否かを判定する。その大きさが閾値以内であった場合、および、そもそもステップＳ３０５で越波領域が見出されなかった場合には、ステップＳ３０１へ戻る。越波領域の大きさが閾値より大きかった場合には、ステップＳ３０７へ進む。
【0067】
ステップＳ３０７へ進むと、出力部１１５は、判定部１１４から判定結果を受け取り、予め設定された装置へその判定結果を出力する。そして、処理部１１０は、ステップＳ３０８で波進入判定の終了指示を受けているか否かを確認し、受けていない場合にはステップＳ３０１へ戻り、受けている場合には一連の処理を終了する。なお、ステップＳ３０６でＹＥＳの場合は、越波領域が検知されなかった旨を出力部１１５が出力して、ステップＳ３０８へ進んでもよい。
【0068】
以上説明した第３実施例においては、第１差分フレームＤＦ1を第１画像と第２画像から生成し、第２差分フレームＤＦ2を第２画像と第３画像から生成した。すなわち、３つの画像から２つの差分フレームを生成した。しかし、第２画像を共通で利用せず、第１差分フレームＤＦ1を第１画像と第２画像から生成し、第２差分フレームＤＦ2を第３画像と第４画像から生成してもよい。換言すれば、上述の第３実施例は、第１差分フレームＤＦ1を生成するための２つ目の画像と、第２差分フレームＤＦ2を生成するための１つ目の画像に対して同一の画像を利用していると言える。
【0069】
次に第４実施例について説明する。本実施形態に係る波進入判定システムは、上述した各実施例を単独で利用してもよいし、組み合わせて利用してもよい。例えば、第４実施例に係る波進入判定システムは、第１条件又は第２条件を切り替える切替部をさらに有し、第１条件になったときは第２実施例の処理を実行し、第２条件になったときは第３実施例の処理を実行する。すなわち、波進入判定システムは、第１条件では、予め設定された除外対象が占有する除外領域を複数の画像の少なくともいずれかから抽出し、区域領域から当該除外領域を除外した領域と波領域の変化を示す差分領域とに基づいて、波進入の有無を判定する。また、波進入判定システムは、第２条件では、複数の画像のうち、第１画像と第２画像の差分である第１差分と、第３画像と第４画像の差分である第２差分とを算出し、第１差分から第２差分への変化に基づいて、波領域の変化を示す差分領域を決定し、区域領域と波領域の変化を示す差分領域とに基づいて、波進入の有無を判定する。
【0070】
このような構成により、例えば、周囲が明るい昼の時間帯は第２実施例に係るフローで波進入の判定を行い、周囲が暗い夜の時間帯は第３実施例に係るフローに切り替えて波進入の判定を行うことができる。第２実施例と第３実施例の切り替えは例えば、予め取得した日の出時刻と日の入り時刻のデータに基づいて行なう。ここで、切り替え時刻は必ずしも日の出時刻や日の入り時刻に設定する必要はない。例えば切り替え時刻を日の入り時刻の３０分前に設定し、第２実施例に係るフローの判定精度が高い時間帯で、早めに第３実施例へと切り替えるようにしてもよい。
【0071】
切り替えに関する他の処理方法としては、昼の時間帯の画像と夜の時間帯の画像を予め学習したモデルを用い、画像取得部１１１で取得した画像から昼か夜かを判定することもできる。具体的には、処理部１１０は、昼の時間帯だと判断された取得画像が所定の数だけ連続した場合に第３実施例から第２実施例へと切り替え、夜の時間帯だと判断された取得画像が所定の数だけ連続した場合に第２実施例から第３実施例へと切り替える。所定の数としては、例えば「１０」を選択することで、切り替えが頻繁に発生する状況を防止できる。また、学習済みモデルを利用することで、昼の時間帯だが夜のように暗いといった状況においても柔軟な切り替えが可能となる。
【0072】
以上、本実施形態に係る波進入判定システムを説明したが、採用し得る実施形態は以上のものに限らない。例えば、以上の本実施形態では走行中の車両などを除外すべく除外領域Ｒ２を道路領域Ｒ１から除外したが、除外領域Ｒ２を考慮しなくても、一定の精度であれば越波領域Ｒ５を評価できる。また、以上の本実施形態では越波領域Ｒ５の大きさが閾値以内の場合は判定結果を出力しなかったが、越波領域Ｒ５が存在するか否かと、越波領域Ｒ５が存在する場合にはその大きさとを出力するようにしてもよい。あるいは、越波領域Ｒ５の大きさを判定することなくその存否のみを判定結果として出力するようにしてもよい。この場合は、現在画像ＩＭｃの画像データも併せて出力すると良い。
【0073】
また、以上の本実施形態では、海岸沿いの道路が海水を被る場合について説明したが、波進入判定システムの適用事例はこの場合に限らない。海岸や湖岸に沿って敷設された線路を監視対象としてもよいし、そのような場所に建てられた建築物を監視対象としてもよい。その場合には、道路領域抽出ＮＮの代わりに対象となる線路や建築物を抽出する学習済みモデルを利用すれば良く、また、それぞれの監視対象に応じて設定される除外対象を学習した除外領域抽出ＮＮを利用すればよい。本実施形態による波進入判定システムであれば、複雑な初期設定を要することなく、導入後にいち早く運用を開始できる。
【符号の説明】
【0074】
１００ システムサーバー、１１０ 処理部、１１１ 画像取得部、１１２ 抽出部、１１３ 決定部、１１４ 判定部、１１５ 出力部、１２０ 記憶部、１２１ 領域抽出ＮＮ、１３０ 通信部、３１０ 道路、３２０ 車両、３３０ ヘッドライト照射、３４０ 海岸、３５０ 海水
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】