(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127606
(43)【公開日】2024-09-20
(54)【発明の名称】画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラム及び学習プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240912BHJP
G06V 10/82 20220101ALI20240912BHJP
【FI】
G06T7/00 300G
G06T7/00 350C
G06V10/82
G06T7/00 640
【審査請求】未請求
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2023036868
(22)【出願日】2023-03-09
(71)【出願人】
【識別番号】591102095
【氏名又は名称】三菱電機ソフトウエア株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】進藤 嘉邦
(72)【発明者】
【氏名】西村 健志
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096CA04
5L096DA02
5L096EA03
5L096FA32
5L096FA33
5L096FA35
5L096GA19
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】撮像画像から余剰要素を高速に検出する。
【解決手段】分割部102は、上空から水面を撮像した撮像画像を複数の部分画像に分割する。統計値算出部103は、部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する。判定部104は、部分画像ごとに、統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割部と、
部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する統計値算出部と、
部分画像ごとに、前記統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定部とを有する画像処理装置。
【請求項2】
前記判定部は、
前記統計値と閾値とを比較して、部分画像に前記余剰要素が含まれているか否かを判定する請求項1に記載の画像処理装置。
【請求項3】
前記判定部は、
水面のみの撮像画像の輝度分布から得られる前記統計値の理論値から決定された閾値と、前記統計値とを比較する請求項2に記載の画像処理装置。
【請求項4】
前記判定部は、
前記統計値を用いた機械学習により得られた判定基準と前記統計値とを比較して、部分画像に前記余剰要素が含まれているか否かを判定する請求項1に記載の画像処理装置。
【請求項5】
上空から水面を撮像した撮像画像に水面以外の要素である余剰要素が含まれているか否かの判定が活用フェーズにおいてオートエンコーダの出力値と比較することにより可能な、学習フェーズにおける前記オートエンコーダを用いた機械学習により得られた判定基準を記憶する記憶部と、
前記活用フェーズにおいて、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割部と、
前記活用フェーズにおいて、部分画像ごとに、部分画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、規格化ヒストグラムとして生成するヒストグラム生成部と、
前記活用フェーズにおいて、前記規格化ヒストグラムを前記オートエンコーダに入力して前記オートエンコーダの出力値を取得し、取得した前記オートエンコーダの出力値と前記判定基準とを比較して、部分画像ごとに、部分画像に前記余剰要素が含まれているか否かを判定する判定部とを有する画像処理装置。
【請求項6】
前記記憶部は、
前記学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像を用いた機械学習により前記オートエンコーダの内部パラメータが決定され、上空から撮像された水面に前記余剰要素が含まれる撮像画像である第2の学習画像と前記第1の学習画像とを前記内部パラメータが設定された前記オートエンコーダに適用して得られた前記オートエンコーダの出力値に基づき生成された基準を、前記判定基準として記憶し、
前記判定部は、
前記活用フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記規格化ヒストグラムを入力する請求項5に記載の画像処理装置。
【請求項7】
前記記憶部は、
規定の規格化ルールに従い規格化されて得られた前記第1の学習画像の画素の輝度値についてのヒストグラムである第1の規格化ヒストグラムを前記オートエンコーダに入力して行われた機械学習により前記内部パラメータが決定され、前記規格化ルールに従い規格化されて得られた前記第2の学習画像の画素の輝度値についてのヒストグラムである第2の規格化ヒストグラムと前記第1の規格化ヒストグラムとを前記内部パラメータが設定された前記オートエンコーダに入力して得られた前記オートエンコーダの出力値に基づき生成された基準を、前記判定基準として記憶する請求項6に記載の画像処理装置。
【請求項8】
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割部と、
部分画像ごとに、部分画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、規格化ヒストグラムとして生成するヒストグラム生成部と、
前記規格化ヒストグラムをニューラルネットワークに入力して、部分画像ごとに、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定部とを有する画像処理装置。
【請求項9】
前記判定部は、
上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムが前記規格化ルールに従い規格化されて得られた第1の規格化ヒストグラムと、上空から撮像された水面に前記余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムが前記規格化ルールに従い規格化されて得られた第2の規格化ヒストグラムとを用いた機械学習により決定された内部パラメータが設定された前記ニューラルネットワークに、前記規格化ヒストグラムを入力する請求項8に記載の画像処理装置。
【請求項10】
前記画像処理装置は、更に、
前記撮像画像の低分解能画像を生成する低分解能画像生成部を有し、
前記分割部は、
前記低分解能画像を前記複数の部分画像に分割する請求項1、5及び8のいずれか一項に記載の画像処理装置。
【請求項11】
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、第1の規格化ヒストグラムとして生成する第1のヒストグラム生成部と、
前記学習フェーズにおいて、前記第1の規格化ヒストグラムをオートエンコーダに入力して行われた機械学習により、前記オートエンコーダの内部パラメータを決定する内部パラメータ決定部と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についての、前記規格化ルールに従い規格化されたヒストグラムを、第2の規格化ヒストグラムとして生成する第2のヒストグラム生成部と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定を活用フェーズにおいて前記オートエンコーダの出力値と比較することにより可能にする判定基準を、前記学習フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを入力して得られた前記オートエンコーダの出力値に基づき生成する判定基準生成部とを有する学習装置。
【請求項12】
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、第1の規格化ヒストグラムとして生成する第1のヒストグラム生成部と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、第2の規格化ヒストグラムとして生成する第2のヒストグラム生成部と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定をニューラルネットワークが用いられる活用フェーズにおいて可能にする前記ニューラルネットワークの内部パラメータを、前記学習フェーズにおいて、前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを用いた機械学習により決定する内部パラメータ決定部とを有する学習装置。
【請求項13】
コンピュータが、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記コンピュータが、部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する統計値算出処理と、
前記コンピュータが、部分画像ごとに、前記統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とを有する画像処理方法。
【請求項14】
上空から水面を撮像した撮像画像に水面以外の要素である余剰要素が含まれているか否かの判定が活用フェーズにおいてオートエンコーダの出力値と比較することにより可能な、学習フェーズにおける前記オートエンコーダを用いた機械学習により得られた判定基準をコンピュータが記憶する記憶処理と、
前記コンピュータが、前記活用フェーズにおいて、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記コンピュータが、前記活用フェーズにおいて、部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記コンピュータが、前記活用フェーズにおいて、前記規格化ヒストグラムを前記オートエンコーダに入力して前記オートエンコーダの出力値を取得し、取得した前記オートエンコーダの出力値と前記判定基準とを比較して、部分画像ごとに、部分画像に前記余剰要素が含まれているか否かを判定する判定処理とを有する画像処理方法。
【請求項15】
コンピュータが、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記コンピュータが、部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記コンピュータが、前記規格化ヒストグラムをニューラルネットワークに入力して、部分画像ごとに、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とを有する画像処理方法。
【請求項16】
コンピュータが、学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記コンピュータが、前記学習フェーズにおいて、前記第1の規格化ヒストグラムをオートエンコーダに入力して行われた機械学習により、前記オートエンコーダの内部パラメータを決定する内部パラメータ決定処理と、
前記コンピュータが、前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定を活用フェーズにおいて前記オートエンコーダの出力値と比較することにより可能にする判定基準を、前記コンピュータが、前記学習フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを入力して得られた前記オートエンコーダの出力値に基づき生成する判定基準生成処理とを有する学習方法。
【請求項17】
コンピュータが、学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記コンピュータが、前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定をニューラルネットワークが用いられる活用フェーズにおいて可能にする前記ニューラルネットワークの内部パラメータを、前記コンピュータが、前記学習フェーズにおいて、前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを用いた機械学習により決定する内部パラメータ決定処理とを有する学習方法。
【請求項18】
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する統計値算出処理と、
部分画像ごとに、前記統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とをコンピュータに実行させる画像処理プログラム。
【請求項19】
上空から水面を撮像した撮像画像に水面以外の要素である余剰要素が含まれているか否かの判定が活用フェーズにおいてオートエンコーダの出力値と比較することにより可能な、学習フェーズにおける前記オートエンコーダを用いた機械学習により得られた判定基準を記憶する記憶処理と、
前記活用フェーズにおいて、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記活用フェーズにおいて、部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記活用フェーズにおいて、前記規格化ヒストグラムを前記オートエンコーダに入力して前記オートエンコーダの出力値を取得し、取得した前記オートエンコーダの出力値と前記判定基準とを比較して、部分画像ごとに、部分画像に前記余剰要素が含まれているか否かを判定する判定処理とをコンピュータに実行させる画像処理プログラム。
【請求項20】
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記規格化ヒストグラムをニューラルネットワークに入力して、部分画像ごとに、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とをコンピュータに実行させる画像処理プログラム。
【請求項21】
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記学習フェーズにおいて、前記第1の規格化ヒストグラムをオートエンコーダに入力して行われた機械学習により、前記オートエンコーダの内部パラメータを決定する内部パラメータ決定処理と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定を活用フェーズにおいて前記オートエンコーダの出力値と比較することにより可能にする判定基準を、前記学習フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを入力して得られた前記オートエンコーダの出力値に基づき生成する判定基準生成処理とをコンピュータに実行させる学習プログラム。
【請求項22】
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定をニューラルネットワークが用いられる活用フェーズにおいて可能にする前記ニューラルネットワークの内部パラメータを、前記学習フェーズにおいて、前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを用いた機械学習により決定する内部パラメータ決定処理とをコンピュータに実行させる学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、上空から水面を撮像した撮像画像に水面以外の要素である余剰要素が含まれているか否かを判定する技術に関する。
【背景技術】
【0002】
本開示に関連する技術として、例えば、特許文献1、非特許文献1及び非特許文献2に開示の技術がある。
特許文献1の技術では、標準偏差フィルタを用いて撮像画像から余剰要素を検出する。
また、非特許文献1及び非特許文献2の技術では、CFAR(Constant False Alarm Rate)を用いて撮像画像から余剰要素を検出する。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【非特許文献1】M.Sekine and Y. Mao,Weibull Radar Clutter,Peter Peregrinus,London,1990
【非特許文献2】S.Sayama and M.Sekine,”Weibull, log-Weibull and K-distributed ground clutter modeling analyzed by AIC”,IEEE Trans.Aerosp.Electron.Syst.,vol.37,pp.1108-1113,2001
【発明の概要】
【発明が解決しようとする課題】
【0005】
標準偏差フィルタ又はCFARを適用すると撮像画像から余剰要素を検出するのに時間がかかるという課題がある。
【0006】
本開示は、このような課題を解決することを主な目的の一つとしている。具体的には、本開示は、撮像画像から余剰要素を高速に検出することを主な目的とする。
【課題を解決するための手段】
【0007】
本開示に係る画像処理装置は、
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割部と、
部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する統計値算出部と、
部分画像ごとに、前記統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定部とを有する。
【発明の効果】
【0008】
本開示によれば、撮像画像から余剰要素を高速に検出することができる。
【図面の簡単な説明】
【0009】
【
図1】実施の形態1に係る画像処理装置の機能構成例を示す図。
【
図2】実施の形態1に係る画像処理装置のハードウェア構成例を示す図。
【
図3】実施の形態1に係る船舶追尾の手順を示すフローチャート。
【
図4】実施の形態1に係る画像処理装置の動作例を示すフローチャート。
【
図5】実施の形態1に係る狭帯域化信号によるレンジ圧縮の手順を示すフローチャート。
【
図6】実施の形態1に係る狭帯域化信号によるアジマス圧縮の手順を示すフローチャート。
【
図7】実施の形態1に係る指数分布の形状を示す図。
【
図8】実施の形態1に係る歪度と尖度を用いた場合の船舶有無の判定基準を示す図。
【
図9】実施の形態1に係る歪度と尖度を用いた場合の船舶有無の判定基準を示す図。
【
図10】実施の形態2に係るオートエンコーダの例を示す図。
【
図11】実施の形態2に係る学習装置の機能構成例を示す図。
【
図12】実施の形態2に係る学習装置のハードウェア構成例を示す図。
【
図13】実施の形態2に係る画像処理装置の機能構成例を示す図。
【
図14】実施の形態2に係る学習装置の動作例を示すフローチャート。
【
図15】実施の形態2に係る学習装置の動作例を示すフローチャート。
【
図16】実施の形態2に係る海面ヒストグラム、船舶ありヒストグラム等を示す図。
【
図17】実施の形態2に係る画像処理装置の動作例を示すフローチャート。
【
図18】実施の形態3に係る学習装置の機能構成例を示す図。
【
図19】実施の形態3に係る画像処理装置の機能構成例を示す図。
【
図20】実施の形態3に係る学習装置の動作例を示すフローチャート。
【
図21】実施の形態3に係る学習装置の動作例を示すフローチャート。
【
図22】実施の形態3に係る画像処理装置の動作例を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
【0011】
実施の形態1.
【0012】
***構成の説明***
図1は、本実施の形態に係る画像処理装置100の機能構成例を示す。
また、
図2は、本実施の形態に係る画像処理装置100のハードウェア構成例を示す。
【0013】
本実施の形態に係る画像処理装置100は、コンピュータである。
画像処理装置100の動作手順は、画像処理方法に相当する。また、画像処理装置100の動作を実現するプログラムは、画像処理プログラムに相当する。
【0014】
図2に示すように、画像処理装置100は、ハードウェアとして、プロセッサ911、主記憶装置912、補助記憶装置913及び通信装置914を備える。
また、画像処理装置100は、
図1に示すように、機能構成として、低分解能画像生成部101、分割部102、統計値算出部103及び判定部104を備える。低分解能画像生成部101、分割部102、統計値算出部103及び判定部104の機能は、例えば、プログラムにより実現される。
補助記憶装置913には、低分解能画像生成部101、分割部102、統計値算出部103及び判定部104の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置913から主記憶装置912にロードされる。そして、プロセッサ911がこれらプログラムを実行して、後述する低分解能画像生成部101、分割部102、統計値算出部103及び判定部104の動作を行う。
図2は、プロセッサ911が低分解能画像生成部101、分割部102、統計値算出部103及び判定部104の機能を実現するプログラムを実行している状態を模式的に表している。
【0015】
本実施の形態では、画像処理装置100は、人工衛星に搭載されているものとする。
そして、画像処理装置100は、人工衛星で撮像された撮像画像150を取得する。撮像画像150は人工衛星において上空から水面の一例である海面を撮像した画像である。撮像画像150は、例えば、合成開口レーダ画像(以下、SAR画像という)である。以下では、撮像画像150がSAR画像であるものとする。
撮像画像150には、海面以外の要素である余剰要素が含まれている場合がある。余剰要素には、例えば、船舶、海上プラント、島等が含まれる。
画像処理装置100は、撮像画像150を解析して、撮像画像150に余剰要素が含まれるか否かを判定する。本実施の形態では、画像処理装置100は、船舶追尾のために、撮像画像150に余剰要素として船舶が含まれているか否かを判定するものとする。
そして、画像処理装置100は判定結果160を出力する。判定結果160の出力先は例えば船舶追尾の後続処理行う人工衛星内の情報処理装置である。
【0016】
ここで、画像処理装置100による処理を含む、人工衛星で実施される船舶追尾の手順を説明する。
図3は、船舶追尾の手順を示す。
図3の(a)は、簡易な船舶追尾の手順を示す。
図3の(b)は、より複雑な船舶追尾の手順を示す。
【0017】
図3の(a)では、ステップS11において、人工衛星による海洋観測が行われる。人工衛星に設けられた撮像装置(例えば、合成開口レーダ撮像装置)が、上空から海面を撮像する。撮像された画像は撮像画像150である。
ステップS12では、画像処理装置100が、撮像画像150から低分解能画像を生成する。
ステップS13では、画像処理装置100が、低分解能画像に船舶が含まれているか否かを判定する。
ステップS14では、人工衛星内の情報処理装置が、ステップS13の判定結果を、他の人工衛星に送信する。また、情報処理装置は、他の人工衛星での判定結果(他の人工衛星で行われたステップS13に相当する判定の結果)を受信する。
ステップS15では、情報処理装置が次回の観測の立案を行う。
そして、処理がステップS11に戻る。
【0018】
図3の(b)において、ステップS11~S13及びS15は、
図3の(a)のものと同じである。
ステップS21では、ステップS13で船舶があると判定された領域のみ、情報処理装置において高分解能画像が生成される。
次に、ステップS22において、情報処理装置が、ステップS21で生成した高分解能画像をCFAR、標準偏差フィルタ等を用いて解析して船舶の詳細な諸元(船舶の大きさ等)を測定する。
ステップS23では、情報処理装置が、ステップS22の測定結果である船舶諸元を、他の人工衛星に送信する。また、情報処理装置は、他の人工衛星での船舶諸元(他の人工衛星で行われたステップS22に相当する測定の結果)を受信する。
【0019】
図1では、画像処理装置100は撮像装置から独立しているが、画像処理装置100と撮像装置とが一体となっていてもよい。また、
図1では、画像処理装置100は上述の情報処理装置から独立しているが、画像処理装置100と情報処理装置とが一体となっていてもよい。
以下の説明では、画像処理装置100が撮像装置と情報処理装置とから独立している例を説明する。
【0020】
図1において、低分解能画像生成部101は、撮像装置から、上空から海面を撮像して得られた撮像画像150を取得する。
そして、低分解能画像生成部101は、撮像画像150の分解能を劣化させて低分解能画像を生成する。
低分解能画像生成部101により行われる処理は低分解能画像生成処理に相当する。
【0021】
分割部102は、低分解能画像生成部101から低分解能画像を取得する。
そして、分割部102は、低分解能画像を複数の部分画像に分割する。
分割部102により行われる処理は分割処理に相当する。
【0022】
統計値算出部103は、分割部102から複数の部分画像を取得する。
そして、統計値算出部103は、部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度(skewness、以下sとも記す)及び尖度(kurtosis、以下kとも記す)の少なくともいずれかを統計値として算出する。
統計値算出部103により行われる処理は統計値算出処理に相当する。
【0023】
判定部104は、統計値算出部103から部分画像ごとに統計値を取得する。
そして、判定部104は、部分画像ごとに、統計値を用いて、部分画像に余剰要素である船舶が含まれているか否かを判定する。より具体的には、判定部104は、統計値と閾値とを比較して、部分画像に船舶が含まれているか否かを判定する。また、判定部104は、これに代えて、統計値を用いた機械学習により得られた判定基準と統計値とを比較して、部分画像に船舶が含まれているか否かを判定してもよい。
そして、判定部104は、判定結果160を情報処理装置に出力する。
判定部104により行われる処理は判定処理に相当する。
【0024】
***動作の説明***
次に、本実施の形態に係る画像処理装置100の動作例を
図4を参照して説明する。
図4は、画像処理装置100の動作例を示すフローチャートである。
【0025】
ステップS101において、低分解能画像生成部101は、撮像画像150を取得し、撮像画像150の分解能を劣化させて低分解能画像を生成する。
低分解能画像生成部101は、例えば、撮像画像150の狭帯域化によって低分解能画像を生成する。低分解能画像生成部101は、例えば狭帯域化を伴うレンジドップラー処理を行う。
【0026】
狭帯域化を伴うレンジドップラー処理では、低分解能画像生成部101は、「狭帯域化信号によるレンジ圧縮」、「レンジマイグレーション補正」、及び「狭帯域化信号によるアジマス圧縮」を行う。
レンジ方向は電波照射方向を指す。アジマス方向は人工衛星の進行方向を指す。レンジ圧縮はレンジ方向のパルス圧縮を指す。アジマス圧縮はアジマス方向のパルス圧縮を指す。
【0027】
「狭帯域化信号によるレンジ圧縮」では、低分解能画像生成部101は、
図5に示す順に観測開始時刻t=t
sから観測終了時刻t=t
eまで処理を実施する。
低分解能画像生成部101は、周波数領域で帯域を狭めた信号(レンジ参照関数)でレンジ圧縮を行うことで、レンジ方向に分解能が劣化した低分解能画像を生成する。
【0028】
また、「レンジマイグレーション補正」については、人工衛星がアジマス方向に進むと、人工衛星と観測対象の距離(スラントレンジ距離)も変化する。このスラントレンジ距離の変化をレンジマイグレーションという。レンジ圧縮後の低分解能画像に含まれる観測対象からの信号は、レンジマイグレーションのために2次関数のようにスラントレンジ距離が変化している。低分解能画像生成部101は、この距離を同一のスラントレンジ距離になるように低分解能画像に含まれる観測対象からの信号を並び替える。
【0029】
「狭帯域化信号によるアジマス圧縮」では、低分解能画像生成部101は、
図6に示す順にニアレンジ(スラントレンジ距離が最も近い観測対象)からファーレンジ(スラントレンジ距離が最も遠い観測対象)まで処理を実施する。
低分解能画像生成部101は、周波数領域で帯域を狭めた信号(アジマス参照関数)でアジマス圧縮を行うことで、アジマス方向に分解能が劣化した低分解能画像を生成する。
【0030】
図4に戻り、次に、ステップS102において、分割部102が低分解能画像生成部101から低分解能画像を取得し、低分解能画像を複数の部分画像に分割する。なお、部分画像間に重複があってもよい。
【0031】
次に、部分画像ごとに、ステップS103において、統計値算出部103が統計値を算出する。
前述のように、統計値は輝度値についての歪度及び尖度の少なくともいずれかである。後述する判定部104の判定方法に応じて、統計値算出部103は、統計値として、歪度のみ、尖度のみ、歪度及び尖度の両者のいずれかを算出する。
【0032】
ここで、歪度sは、以下の式(1)で定義される。
s=E[(x-μ)3]/σ3 式(1)
【0033】
また、尖度kは、以下の式(2)で定義される。
k=E[(x-μ)4]/σ4 式(2)
【0034】
式(1)及び式(2)において、xは部分画像内の各画素の輝度(正確にはレーダーの後方散乱の強度)を表す。μはxの平均値を表す。σはxの標準偏差を表す。E[t]は数量tの期待値を表す。
上記の尖度kの定義に従うと、正規分布の尖度はk=3となる。正規分布の尖度がゼロとなるように式(2)の定義から3を引いたものを尖度kの定義式とすることが多いが、本実施の形態では尖度kを上記のように定義する。
船舶の輝度は海面の輝度よりも高いので、船舶が混在する部分画像の歪度及び尖度は、海面のみ部分画像の歪度及び尖度よりも大きくなる。なぜならば、部分画像内に平均μよりも大きなデータ(x>μ)が混在するほど、分子のE[(x-μ)3]及びやE[(x-μ)4]の値が大きくなるからである。
【0035】
ここで、海面のSAR画像の輝度分布(強度分布)について概説する。
海面等のスペックルの強度の確率密度関数は、以下の式(3)で示す指数分布によく一致する。
【0036】
【0037】
式(3)の最も右の式ではλ=1/2σ
2とおいた。λ=1とした場合の指数分布の形状を
図7に示す。
指数分布の平均μは1/λである。標準偏差σも1/λである。歪度は2である。尖度は9である。なお、尖度9は、本実施の形態の定義の場合であり、正規分布の尖度をゼロとする定義の場合は尖度6である。このように、指数分布は単一のパラメータλによって形状が決まり、歪度や尖度は定数となる。
部分画像に船舶が混在すると確率密度関数は指数分布には従わなくなり、歪度及び尖度はそれぞれ2及び9よりも大きな値となる。
実際の海面のみの撮像画像の輝度分布は完全には指数分布にならないため、歪度及び尖度は厳密には2及び9にならない。しかし、海面のみの撮像画像の輝度分布から得られる理論値である歪度:2及び尖度:9は、後述のステップS104における船舶有無の判定の閾値の目安になる。
【0038】
図4に戻り、ステップS104において、判定部104が統計値算出部103から部分画像ごとの統計値を取得し、部分画像ごとに、統計値を用いて、部分画像に船舶が含まれているか否かを判定する。
判定部104は、以下の4つの判定方法のいずれかにより、部分画像での船舶の有無を判定する。
判定方法1:歪度のみを用いる
判定方法2:尖度のみを用いる
判定方法3:歪度と尖度を用いる(
図8)
判定方法4:歪度と尖度を用いる(
図9)
以下に、判定方法1~4のそれぞれを説明する。
【0039】
判定方法1では、判定部104は、歪度に対して閾値を設定する。前述したように、歪度:2(指数分布の歪度の理論値)は閾値の目安になる。このため、判定部104は、歪度:2に基づき、撮像画像を用いた検証によって閾値を決定する。判定部104は、ステップS104に先立ち、予め閾値を決定しておく。
ステップS103で算出された歪度が閾値未満であれば、判定部104は「船舶なし」と判定する。一方、ステップS103で算出された歪度が閾値以上であれば、判定部104は「船舶あり」と判定する。
【0040】
判定方法2では、判定部104は、尖度に対して閾値を設定する。前述したように、尖度:9(指数分布の歪度の理論値)は閾値の目安になる。このため、判定部104は、尖度:9に基づき、撮像画像を用いた検証によって閾値を決定する。判定部104は、ステップS104に先立ち、予め閾値を決定しておく。
ステップS103で算出された尖度が閾値未満であれば、判定部104は「船舶なし」と判定する。一方、ステップS103で算出された尖度が閾値以上であれば、判定部104は「船舶あり」と判定する。
【0041】
判定方法3では、判定部104は、歪度と尖度それぞれに対して閾値を設定する。閾値の設定方法は、判定方法1と判定方法2に示す通りである。
そして、判定部104は、
図8に示すように、歪度及び尖度がともに閾値以上であれば「船舶あり」と判定する。一方、歪度及び尖度のいずれか又は両方が閾値未満であれば、判定部104は「船舶なし」と判定する。なお、
図8では、閾値として、理論値よりも若干大きな値を用いている。
【0042】
判定方法1及び判定方法2に対する、判定方法3の利点はロバスト性である。
例えば、部分画像に海面よりも明らかに明るい物体が混在している場合(つまりx≫μが成立する場合)にも、より強い確信度を以て「船舶あり」と判定したい。この考えに立つと、判定方法1よりも判定方法2が優れていると言える(次数が高いので)。しかしながら、尖度は偶数べきなので、x≪μであるような暗い物体が混在している場合にも尖度の値が大きくなってしまい、誤判定の基となる。
他方、歪度は奇数べきなので、x≪μの場合に歪度は負の方向に大きくなり、x≫μと区別が可能である。
判定方法3は、歪度と尖度の両方を使用することで誤判定が発生する確率が下がることが期待できる。
【0043】
判定方法4では、判定部104は、歪度及び尖度を用いた機械学習により得られた判定基準と歪度及び尖度とを比較して、部分画像に船舶が含まれているか否かを判定する。
より具体的には、事前にSVM(サポートベクターマシーン)を用いて歪度及び尖度についての教師あり学習を行う。そして、判定部104は、学習済みのSVMを用いて「船舶なし」と「船舶あり」の境界(判定基準)を設定する。
図9に、判定方法4の実施イメージを示す。
図9の破線による斜線が境界(判定基準)である。
図9の数値は部分画像に付与した一連番号である。
図9の例の場合、丸で囲んだ部分画像1、2、4、5及び7は斜線の下にあり、判定部104は「船舶なし」と判定する。一方、矩形で囲んだ部分画像3、6及び8は斜線の上にあり、判定部104は「船舶あり」と判定する。
【0044】
図4に戻り、最後に、ステップS105において、判定部104は、ステップS104の判定結果が示される判定結果160を出力する。
【0045】
***実施の形態の効果の説明***
以上のように、本実施の形態では、CFAR、標準偏差フィルタを使用しないため、船舶有無を高速に判定することができる。
また、本実施の形態では、撮像画像を複数の部分画像に分割し、部分画像ごとに船舶有無を判定するため、船舶有無を高速に判定することができる。
更に、本実施の形態では、低分解能画像を用いて船舶有無を判定するため、船舶有無を高速に判定することができる。
【0046】
なお、船舶有無の判定を単純な2値化などの閾値処理で実施すると誤判定が多くなることが懸念される。しかし、本実施の形態では、統計値(歪度、尖度)を用いているため、誤判定を回避することができる。特に、本実施の形態では、海面のみの撮像画像の輝度分布から得られる統計値の理論値から決定された閾値との比較により、船舶有無の判定を行っているため、誤判定を回避することができる。更に、統計値として歪度と尖度を用いる場合は、誤判定の確率をより下げることができる。
【0047】
実施の形態2.
本実施の形態では、オートエンコーダを用いて船舶有無を判定する例を説明する。
本実施の形態では、主に実施の形態1との差異を説明する。
なお、以下で説明していない事項は、実施の形態1と同様である。
【0048】
まず、オートエンコーダについて説明する。
オートエンコーダとは、与えられた入力を隠れ層に渡し(encode部)、入力を再現する(decode部)ように重み関数を最適化するニューラルネットワークである。
オートエンコーダは、
図10のように、少なくとも3層のニューラルネットワークから構成される。入力層と出力層のノード数(
図10の円形の数)は同一であり、入力データと一致するデータを出力するように学習が実施される。隠れ層のノード数は、通常は入力層や出力層のノード数よりも小さくする。そのため、いわゆる「次元削減」が実現されることになる。
【0049】
本実施の形態では、オートエンコーダによる次元削減の効果を利用する。
具体的には、学習フェーズにおいて、オートエンコーダを学習し、活用フェーズにおいてオートエンコーダの出力値と比較することで船舶有無を判定可能な判定基準を決定する。また、活用フェーズにおいて、オートエンコーダの出力値を得て、オートエンコーダの出力値と判定基準とを比較して船舶有無の判定を行う。
なお、オートエンコーダのencode部が出力する数値の個数(=隠れ層のノード数)は、1個から数個とする。
【0050】
***構成の説明***
図11は、本実施の形態に係る学習装置200の機能構成例を示す。
また、
図12は、本実施の形態に係る学習装置200のハードウェア構成例を示す。
学習装置200は、学習フェーズにおいて、オートエンコーダを学習する。
【0051】
本実施の形態に係る学習装置200は、コンピュータである。
学習装置200の動作手順は、学習方法に相当する。また、学習装置200の動作を実現するプログラムは、学習プログラムに相当する。
【0052】
図12に示すように、学習装置200は、ハードウェアとして、プロセッサ921、主記憶装置922、補助記憶装置923及び通信装置924を備える。
また、学習装置200は、
図11に示すように、機能構成として、低分解能画像生成部201、分割部202、第1のヒストグラム生成部203、内部パラメータ決定部204、第2のヒストグラム生成部205及び判定基準生成部206を備える。低分解能画像生成部201、分割部202、第1のヒストグラム生成部203、内部パラメータ決定部204、第2のヒストグラム生成部205及び判定基準生成部206の機能は、例えば、プログラムにより実現される。
補助記憶装置923には、低分解能画像生成部201、分割部202、第1のヒストグラム生成部203、内部パラメータ決定部204、第2のヒストグラム生成部205及び判定基準生成部206の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置923から主記憶装置922にロードされる。そして、プロセッサ921がこれらプログラムを実行して、後述する低分解能画像生成部201、分割部202、第1のヒストグラム生成部203、内部パラメータ決定部204、第2のヒストグラム生成部205及び判定基準生成部206の動作を行う。
図12は、プロセッサ921が低分解能画像生成部201、分割部202、第1のヒストグラム生成部203、内部パラメータ決定部204、第2のヒストグラム生成部205及び判定基準生成部206の機能を実現するプログラムを実行している状態を模式的に表している。
【0053】
本実施の形態では、学習装置200は、人工衛星に搭載されているものとする。
そして、学習装置200は、学習画像250及び学習画像260を取得する。学習画像250及び学習画像260は人工衛星において上空から水面の一例である海面を撮像した画像である。学習画像250及び学習画像260は、例えば、SAR画像である。以下では、学習画像250及び学習画像260がSAR画像であるものとする。
学習画像250は、海面のみの撮像画像であり、余剰要素が含まれていない。つまり、学習画像250には船舶が含まれていない。
学習画像260は、余剰要素が含まれている撮像画像である。つまり、学習画像260には船舶が含まれている。
【0054】
学習装置200は、
図11では図示を省略しているが、オートエンコーダを有する。
学習装置200は、学習画像250の部分画像のヒストグラムを用いた機械学習により、オートエンコーダの内部パラメータを決定する。更に、学習装置200は、内部パラメータをオートエンコーダに設定し、学習画像250の部分画像のヒストグラムと学習画像260の部分画像のヒストグラムをオートエンコーダに入力して得られたオートエンコーダの出力値に基づき、判定基準を生成する。学習装置200が生成する判定基準は、活用フェーズにおいてオートエンコーダの出力値と比較することで船舶有無を判定可能な判定基準である。そして、学習装置200は、内部パラメータ270と判定基準280を画像処理装置100に出力する。
【0055】
図11において、低分解能画像生成部201は、学習画像250を取得する。
そして、低分解能画像生成部201は、学習画像250の分解能を劣化させて低分解能画像を生成する。
また、低分解能画像生成部201は、学習画像260を取得する。
そして、低分解能画像生成部201は、学習画像260の分解能を劣化させて低分解能画像を生成する。
低分解能画像生成部201により行われる処理は低分解能画像生成処理に相当する。
【0056】
分割部202は、低分解能画像生成部201から学習画像250の低分解能画像を取得する。
そして、低分解能画像生成部201は、学習画像250の低分解能画像を複数の部分画像に分割する。
学習画像250の低分解能画像の部分画像を、以下では、第1の部分画像という。第1の部分画像は第1の学習画像に相当する。
また、分割部202は、低分解能画像生成部201から学習画像260の低分解能画像を取得する。
そして、分割部202は、学習画像260の低分解能画像を複数の部分画像に分割する。
学習画像260の低分解能画像の部分画像を、以下では、第2の部分画像という。第2の部分画像は第2の学習画像に相当する。
また、分割部202により行われる処理は分割処理に相当する。
【0057】
第1のヒストグラム生成部203は、分割部202から複数の第1の部分画像を取得する。
そして、第1のヒストグラム生成部203は、第1の部分画像ごとに、第1の部分画像の画素の輝度値についての規格化されたヒストグラムを生成する。より具体的には、第1のヒストグラム生成部203は、第1の部分画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを生成する。第1のヒストグラム生成部203により生成されるヒストグラムを第1の規格化ヒストグラムという。
第1のヒストグラム生成部203により行われる処理は、第1のヒストグラム生成処理に相当する。
【0058】
内部パラメータ決定部204は、第1の規格化ヒストグラムをオートエンコーダに入力して機械学習を行う。そして、内部パラメータ決定部204は、機械学習の結果、オートエンコーダの内部パラメータを決定する。
内部パラメータ決定部204により行われる処理は、内部パラメータ決定処理に相当する。
【0059】
第2のヒストグラム生成部205は、分割部202から複数の第2の部分画像を取得する。
そして、第2のヒストグラム生成部205は、第2の部分画像ごとに、第2の部分画像の画素の輝度値についての規格化されたヒストグラムを生成する。より具体的には、第2のヒストグラム生成部205は、第2の部分画像の画素の輝度値についての、規格化ルールに従い規格化されたヒストグラムを生成する。規格化ルールは第1の規格化ヒストグラムの生成に用いられたものと同じである。第2のヒストグラム生成部205により生成されるヒストグラムを第2の規格化ヒストグラムという。
第2のヒストグラム生成部205により行われる処理は、第2のヒストグラム生成処理に相当する。
【0060】
図11では、説明の簡明化の観点から、第1のヒストグラム生成部203と第2のヒストグラム生成部205とを分けているが、1つのヒストグラム生成部が第1の規格化ヒストグラムと第2の規格化ヒストグラムの両者を生成してもよい。
【0061】
判定基準生成部206は、内部パラメータが設定されたオートエンコーダに第1の規格化ヒストグラムと第2の規格化ヒストグラムとを入力して得られたオートエンコーダの出力値に基づき判定基準を生成する。
前述したように、判定基準生成部206が生成する判定基準は、活用フェーズにおいてオートエンコーダの出力値と比較することで船舶有無を判定可能な判定基準である。
判定基準生成部206により行われる処理は、判定基準生成処理に相当する。
【0062】
内部パラメータ270及び判定基準280は、通信装置924を介して画像処理装置100に送信される。
【0063】
図13は、本実施の形態に係る画像処理装置100の機能構成例を示す。
本実施の形態でも、画像処理装置100のハードウェア構成は
図2に示す通りである。
画像処理装置100は、活用フェーズにおいて、オートエンコーダを用いて船舶有無を判定する。
図13では、図示を省略しているが、画像処理装置100は、学習装置200と同じオートエンコーダを有する。但し、decode部は画像処理装置100では使用しないので、画像処理装置100のオートエンコーダにはdecode部はなくてもよい。
【0064】
図13において、低分解能画像生成部101と分割部102は、
図1に示すものと同様である。
また、撮像画像150も
図1に示すものと同様である。つまり、撮像画像150には、船舶が含まれている可能性がある。
【0065】
記憶部105は、学習装置200で得られた内部パラメータ270と判定基準280を記憶する。記憶部105は、例えば主記憶装置912又は補助記憶装置913により実現される。
【0066】
ヒストグラム生成部106は、分割部102から撮像画像150の低分解能画像の複数の部分画像を取得する。
そして、ヒストグラム生成部106は、部分画像ごとに、部分画像の画素の輝度値についての規格化されたヒストグラムを生成する。より具体的には、ヒストグラム生成部106は、部分画像の画素の輝度値についての、規格化ルールに従い規格化されたヒストグラムを生成する。規格化ルールは学習装置200で用いられたものと同じである。ヒストグラム生成部106により生成されるヒストグラムを規格化ヒストグラムという。
ヒストグラム生成部106も低分解能画像生成部101等と同様にプログラムにより実現される。
なお、ヒストグラム生成部106により行われる処理は、ヒストグラム生成処理に相当する。
【0067】
本実施の形態では、判定部104は、内部パラメータ270が設定されたオートエンコーダにヒストグラム生成部106により生成された規格化ヒストグラムを入力する。そして、判定部104は、オートエンコーダの出力値を取得し、取得したオートエンコーダの出力値と判定基準280とを比較して、部分画像ごとに、部分画像に船舶が含まれているか否かを判定する。
そして、判定部104は、実施の形態1と同様に、判定結果160を出力する。
【0068】
***動作の説明***
次に、本実施の形態に係る学習装置200の動作例を
図14及び
図15を参照して説明する。
図14及び
図15は、学習装置200の動作例を示すフローチャートである。
【0069】
ステップS201において、低分解能画像生成部201は、学習画像250を取得し、学習画像250の分解能を劣化させて低分解能画像を生成する。
低分解能画像生成部201は、例えば、学習画像250の狭帯域化によって低分解能画像を生成する。低分解能画像生成部201は、例えば狭帯域化を伴うレンジドップラー処理を行う。
【0070】
次に、ステップS202において、分割部202が低分解能画像生成部201から学習画像250の低分解能画像を取得し、低分解能画像を複数の部分画像(第1の部分画像)に分割する。なお、第1の部分画像間に重複があってもよい。
【0071】
次に、第1の部分画像ごとに、ステップS203において、第1のヒストグラム生成部203が第1の規格化ヒストグラムを生成する。
以下にて、ステップS203の詳細を説明する。
【0072】
実施の形態1で説明したように、海面等のスペックルの強度の確率密度関数は、式(3)で示す指数分布によく一致する。
そして、指数分布は単一のパラメータλによって形状が決まり、歪度や尖度は定数となる。
上記を言い換えると、海面の強度の確率密度関数が指数分布に従うならば、海面のヒストグラムはどの部分画像(第1の部分画像)においても「相似」となる。
逆に、船舶等の余剰要素が混在すると強度の確率密度関数は指数分布ではなくなる。このため、ヒストグラム形状は海面のヒストグラムとは相似にならない。
第1のヒストグラム生成部203は、以下の規格化ルールに従って、第1の規格化ヒストグラムを生成する。
【0073】
ステップT1:第1のヒストグラム生成部203は、第1の部分画像内の強度の平均値μを求める。
ステップT2:第1のヒストグラム生成部203は、強度0から(α×μ)までをN分割する。αは5程度の値である。ここで、Δ=(αμ/N)とおく。
ステップT3:第1のヒストグラム生成部203は、強度が0≦x<Δとなる画素の個数をh(1)とする。また、第1のヒストグラム生成部203は、Δ≦x<2Δとなる画素の個数をh(2)とする。2Δ≦x<3Δ以降も同様である。つまり、(N-2)Δ≦x<(N-1)Δとなる画素の個数をh(N-1)とする。また、(N-1)Δ≦x≦NΔ(=αμ)となる画素の個数をh(N)とする。なお、(αμ)よりも大きな強度は無視してよい。
ステップT4:第1のヒストグラム生成部203は、h(i=1,...,N)の最大値h_maxを求める。指数分布の場合はh(1)がh_maxとなる。
ステップT5:第1のヒストグラム生成部203は、全てのh(i=1,...,N)をh_maxで割る(規格化)。
以上の手順により、最大が1となるようなヒストグラム(規格化ヒストグラム)が得られる。
【0074】
次に、海面のみの撮像画像の規格化ヒストグラム(以下、海面ヒストグラムという)の形状と、船舶(高輝度)が存在する撮像画像の規格化ヒストグラム(以下、船舶ありヒストグラムという)の形状の違いについて、以下に定性的に説明する。
なお、第1の規格化ヒストグラムは海面ヒストグラムである。また、船舶が存在する第2の部分画像の第2の規格化ヒストグラムは船舶ありヒストグラムである。
【0075】
図16の(a)において、実線は海面ヒストグラムを示す。
図16の(a)の細かい破線は、船舶ありヒストグラムを示す。また、
図16の(a)の太い破線は、海面ヒストグラムと船舶ありヒストグラムの重ね合わせである。なお、
図16の(a)太い破線に対しては規格化は行われていない。
図16の(a)の太い破線は、実線に対して以下が異なっている。
1)平均の位置が右側(高輝度側)へ移動する。
2)分布が右側(高輝度側)へ延びる。
【0076】
図16の(a)の太い破線を前述の規格化ルールに従って規格化すると、
図16の(b)のようになる。つまり、横軸が0~平均のα倍となるようにスケーリングするので、
図16の(a)の太い破線を横方向に圧縮したようなグラフになる。
図16の(b)の実線と太い破線を比較すると、強度が大きくなるに従って太い破線のほうが速やかに頻度が低下する。
海面ヒストグラムと、船舶ありヒストグラムをオートエンコーダに入力した場合に、この形状の差がオートエンコーダのencode部の出力に現れることになる。すなわち、海面ヒストグラムと、船舶ありヒストグラムに対して、学習済みのオートエンコーダのencode部は異なった値を出力する。
これを用いて、活用フェーズにおいて、画像処理装置100は、撮像画像150の低分解能画像の部分画像についての規格化ヒストグラムをオートエンコーダに入力することで撮像画像150における船舶の有無を判定することができる。
【0077】
図14に戻り、ステップS204において、内部パラメータ決定部204がオートエンコーダの内部パラメータを決定する。
より具体的には、内部パラメータ決定部204は、第1の規格化ヒストグラムをオートエンコーダに入力して機械学習行う。そして、内部パラメータ決定部204は、機械学習により、オートエンコーダの内部パラメータとして、重みとバイアスを決定する。
内部パラメータ決定部204は、決定した内部パラメータ(重みとバイアス)を判定基準生成部206に通知する。
更に、内部パラメータ決定部204は、決定した内部パラメータ(重みとバイアス)を内部パラメータ270として画像処理装置100に送信する。
なお、ここでは、内部パラメータ決定部204は、判定基準280とは独立して内部パラメータ270を送信することとしている。しかし、内部パラメータ決定部204は、判定基準生成部206が判定基準280を画像処理装置100に送信するタイミングにおいて、内部パラメータ270を画像処理装置100に送信してもよい。
【0078】
【0079】
先ず、ステップS205において、低分解能画像生成部201が、学習画像260を取得し、学習画像260の分解能を劣化させて低分解能画像を生成する。
低分解能画像生成部201は、例えば、学習画像260の狭帯域化によって低分解能画像を生成する。分割部202は、例えば狭帯域化を伴うレンジドップラー処理を行う。
【0080】
次に、ステップS206において、分割部202が低分解能画像生成部201から学習画像260の低分解能画像を取得し、低分解能画像を複数の部分画像(第2の部分画像)に分割する。なお、第2の部分画像間に重複があってもよい。
【0081】
次に、第2の部分画像ごとに、ステップS207において、第2のヒストグラム生成部205が第2の規格化ヒストグラムを生成する。
第2のヒストグラム生成部205は、ステップS203と同様の手順で第2の規格化ヒストグラムを生成する。
【0082】
次に、ステップS208において、判定基準生成部206が、第1の規格化ヒストグラムと第2の規格化ヒストグラムを、内部パラメータが設定されたオートエンコーダに入力して判定基準を生成する。
すなわち、判定基準生成部206は、内部パラメータ決定部204から通知された内部パラメータをオートエンコーダに設定する。
次に、判定基準生成部206は、第1の規格化ヒストグラム(船舶なし)と第2の規格化ヒストグラム(船舶あり)を内部パラメータが設定済みのオートエンコーダに入力する。そして、判定基準生成部206は、encode部の出力(1~数個の数値)を船舶有無のラベルとともに記録する。
例えば、出力値の例として、encode部の出力値の個数(=隠れ層のノード数)が1個の場合、「部分画像1(船舶なし)のencode出力値は3.2」、「部分画像1(船舶あり)のencode出力値は5.9」といった結果が得られる場合を考える。
また、encode部の出力値の個数が2個の場合は、「部分画像1(船舶なし)のencode出力値は(3.2、4.3)」、「部分画像1(船舶あり)のencode出力値は(5.9、8.7)」といった結果が得られる場合を考える。
encode部の出力値が1個の場合、判定基準生成部206は、「船舶なし」、「船舶あり」が最もよく分離できるように1つの閾値を決定する(検証を通じて決定する)。
encode部の出力値が複数個の場合は、SVMを用いて「船舶なし」、「船舶あり」をよく分離するような直線(encode部の結果が2個の場合)ないし平面(3個の場合)ないし超平面(4個以上の場合)を決定する。
SVMの学習には上述の「部分画像1(船舶なし)のencode出力値は(3.2、 4.3)」といったデータを使用する。
そして、判定基準生成部206は、決定した閾値、直線、平面及び超平面のいずれかを、判定基準280として画像処理装置100に送信する。
【0083】
次に、本実施の形態に係る画像処理装置100の動作例を
図17を参照して説明する。
図17は、画像処理装置100の動作例を示すフローチャートである。
【0084】
先ず、ステップS121において、画像処理装置100から送信された内部パラメータ270と判定基準280を記憶部105が記憶する。
【0085】
ステップS101とステップS102は、実施の形態1と同じであるため、説明を省略する。
【0086】
次に、部分画像ごとに、ステップS122において、ヒストグラム生成部106が規格化ヒストグラムを生成する。
ヒストグラム生成部106は、
図14のステップS203と同様の手順で規格化ヒストグラムを生成する。
【0087】
次に、部分画像ごとに、ステップS123において、判定部104が、規格化ヒストグラムを内部パラメータ270が設定されたオートエンコーダに入力し、船舶の有無を判定する。
すなわち、判定部104は、記憶部105に記憶されている内部パラメータ270をオートエンコーダに設定する。
次に、判定部104は、内部パラメータ270が設定済みのオートエンコーダに規格化ヒストグラムを入力する。そして、判定部104は、オートエンコーダのencode出力値と、判定基準280(閾値、直線、平面又は超平面面)とを比較し、部分画像に船舶が含まれているか否かを判定する。オートエンコーダのencode出力値が判定基準280よりも大きな値であれば、判定部104は部分画像に船舶が含まれていると判定する。
そして、判定部104は、実施の形態1と同様に、判定結果160を出力する。
【0088】
***実施の形態の効果の説明***
以上のように、本実施の形態でも、CFAR、標準偏差フィルタを使用しないため、船舶有無を高速に判定することができる。
また、本実施の形態でも、撮像画像を複数の部分画像に分割し、部分画像ごとに船舶有無を判定するため、船舶有無を高速に判定することができる。
更に、本実施の形態でも、低分解能画像を用いて船舶有無を判定するため、船舶有無を高速に判定することができる。
【0089】
更に、本実施の形態では、学習フェーズにおいて、第1の規格化ヒストグラムと第2の規格化ヒストグラムをオートエンコーダに入力し、オートエンコーダの出力値に基づき「船舶なし」と「船舶あり」を正確に分離できる判定基準を生成する。そして、活用フェーズにおいて、このようにして生成された判定基準と、規格化ヒストグラムをオートエンコーダに入力して得られた出力値とを比較する。このため、本実施の形態によれば、「船舶なし」と「船舶あり」を正確に判定することができる。
【0090】
実施の形態3.
本実施の形態では、ニューラルネットワークを用いて船舶有無を判定する例を説明する。
本実施の形態では、主に実施の形態2との差異を説明する。
なお、以下で説明していない事項は、実施の形態2と同様である。
【0091】
***構成の説明***
図18は、本実施の形態に係る学習装置200の機能構成例を示す。
本実施の形態でも、学習装置200のハードウェア構成は
図12に示す通りである。
【0092】
図18では図示を省略しているが、学習装置200は、ニューラルネットワークを有する。
図18において、低分解能画像生成部201、分割部202、第1のヒストグラム生成部203及び第2のヒストグラム生成部205は、
図11に示すものと同様である。このため、これらの説明は省略する。
【0093】
内部パラメータ決定部207は、活用フェーズにおいて船舶有無の判定を可能にするニューラルネットワークの内部パラメータを、第1の規格化ヒストグラムと第2の規格化ヒストグラムとを用いた機械学習により決定する。
そして、内部パラメータ決定部207は、決定した内部パラメータを内部パラメータ290として画像処理装置100に送信する。
内部パラメータ決定部207も、低分解能画像生成部201等と同様にプログラムにより実現される。
なお、内部パラメータ決定部207により行われる処理は内部パラメータ決定処理に相当する。
【0094】
図19は、本実施の形態に係る画像処理装置100の機能構成例を示す。
本実施の形態でも、画像処理装置100のハードウェア構成は
図2に示す通りである。
【0095】
図19では図示を省略しているが、画像処理装置100は、学習装置200と同じニューラルネットワークを有する。
図19において、低分解能画像生成部101、分割部102及びヒストグラム生成部106は、
図13に示すものと同様である。このため、これらの説明は省略する。
【0096】
本実施の形態では、記憶部105は、内部パラメータ290を記憶する。
【0097】
また、本実施の形態では、ヒストグラム生成部106は、規格化ヒストグラムを内部パラメータ270が設定されたニューラルネットワークに入力して、部分画像ごとに、部分画像に船舶が含まれているか否かを判定する。
【0098】
***動作の説明***
図20及び
図21は、本実施の形態に係る学習装置200の動作例を示す。
【0099】
図20において、ステップS201~S203は、
図14と同じである。
つまり、本実施の形態でも、低分解能画像生成部201が学習画像250から低分解能画像を生成する。また、分割部202が低分解能画像を複数の第1の部分画像に分割する。更に、第1のヒストグラム生成部203が、第1の部分画像ごとに、第1の規格化ヒストグラムを生成する。
【0100】
図21において、ステップS205~S207は、
図15と同じである。
つまり、本実施の形態においても、低分解能画像生成部201が学習画像260から低分解能画像を生成する。また、分割部202が低分解能画像を複数の第2の部分画像に分割する。更に、第2のヒストグラム生成部205が、第2の部分画像ごとに、第2の規格化ヒストグラムを生成する。
【0101】
ステップS221において、内部パラメータ決定部207は、第1の規格化ヒストグラムと第2の規格化ヒストグラムを用いた機械学習により、ニューラルネットワークの内部パラメータを生成する。
つまり、内部パラメータ決定部207は、第1の規格化ヒストグラム及び第2の規格化ヒストグラムと、ラベル(「船舶なし」と「船舶あり」)をニューラルネットワークに与えて機械学習を行う。内部パラメータ決定部207は、ニューラルネットワークの内部パラメータとして、重みとバイアスを決定する。
そして、内部パラメータ決定部207は、決定した内部パラメータを内部パラメータ290として画像処理装置100に送信する。
【0102】
図22は、本実施の形態に係る画像処理装置100の動作例を示す。
【0103】
ステップS131において、記憶部105は、内部パラメータ290を記憶する。
【0104】
ステップS101、S102及びS122は、
図17に示すものと同じである。
つまり、本実施の形態でも、低分解能画像生成部101が撮像画像150から低分解能画像を生成する。また、分割部102が低分解能画像を複数の部分画像に分割する。更に、ヒストグラム生成部106が、部分画像ごとに、規格化ヒストグラムを生成する。
【0105】
ステップS132では、判定部104が、部分画像ごとに、規格化ヒストグラムを内部パラメータ290が設定されたニューラルネットワークに入力し、船舶の有無を判定する。
すなわち、判定部104は、記憶部105に記憶されている内部パラメータ290をニューラルネットワークに設定する。
次に、判定部104は、内部パラメータ290が設定済みのニューラルネットワークに規格化ヒストグラムを入力して、船舶の有無を判定する
そして、判定部104は、実施の形態1と同様に、判定結果160を出力する。
【0106】
***実施の形態の効果の説明***
以上のように、本実施の形態でも、CFAR、標準偏差フィルタを使用しないため、船舶有無を高速に判定することができる。
また、本実施の形態でも、撮像画像を複数の部分画像に分割し、部分画像ごとに船舶有無を判定するため、船舶有無を高速に判定することができる。
更に、本実施の形態でも、低分解能画像を用いて船舶有無を判定するため、船舶有無を高速に判定することができる。
【0107】
更に、本実施の形態では、学習装置200において、第1の部分画像及び第2の部分画像ではなく、第1の規格化ヒストグラムと第2の規格化ヒストグラムをニューラルネットワークに入力している。つまり、本実施の形態では、画像そのものではなく、ヒストグラムという単純化したデータを入力とすることで、機械学習の説明可能性を高めることができる。説明可能性が高いほど、判定の成否に対する詳細な分析、手法の改良が実施しやすい。
画像そのものをニューラルネットワークに入力すると一般にパラメータが膨大となり、ほとんどブラックボックスと化すため、成否の分析も改良も難しくなる。
本実施の形態によれば、ヒストグラムをニューラルネットワークに入力することで、説明可能性を高め、判定の成否に対する詳細な分析、手法の改良を可能にする。
【0108】
以上、実施の形態1~3を説明したが、これらの実施の形態のうち、2つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
【0109】
実施の形態1~3では、画像処理装置100は人工衛星に搭載されていることとした。しかし、画像処理装置100は地上に配置されていてもよい。この場合は、低分解能画像生成部101は人工衛星から送信される撮像画像150を受信する。そして、判定部104は判定結果160を人工衛星に送信する。
同様に、学習装置200も地上に配置されていてもよい。
【0110】
また、実施の形態1~3では、海面の撮像画像を用いる例を説明した。海面の撮像画像の代わりに、湖面の撮像画像、川面の撮像画像、沼面の撮像画像等を用い、これらの撮像画像に余剰要素が含まれているか否かを判定するようにしてもよい。
【0111】
また、実施の形態1~3では、人工衛星で撮像された撮像画像を用いる例を説明した。これに代えて、航空機で撮像された撮像画像を用いるようにしてもよい。
【0112】
また、実施の形態1~3では、「船舶なし」と「船舶あり」を判定する例を説明した。これに代えて、「船舶なし」と「船舶あり」と「船舶以外あり」を判定するようにしてもよい。
この場合は、実施の形態1では、「船舶あり」と「船舶以外あり」とを判別するための統計値の閾値を設定しておく。
また、実施の形態2では、「船舶あり」と「船舶以外あり」とを判別するための判定基準を学習装置200が生成する。
また、実施の形態3では、「船舶あり」と「船舶以外あり」とを判別するための内部パラメータを学習装置200が生成する。
【0113】
***ハードウェア構成の補足説明***
ここで、ハードウェア構成の補足説明を行う。
プロセッサ911及びプロセッサ921は、プロセッシングを行うIC(Integrated Circuit)である。
プロセッサ911及びプロセッサ921は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等である。
主記憶装置912及び主記憶装置922は、RAM(Random Access Memory)である。
補助記憶装置913及び補助記憶装置923は、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等である。
通信装置914及び通信装置924は、データの通信処理を実行する電子回路である。
通信装置914及び通信装置924は、例えば、通信チップ又はNIC(Network Interface Card)である。
【0114】
また、補助記憶装置913及び補助記憶装置923には、OS(Operating System)も記憶されている。
そして、画像処理装置100では、OSの少なくとも一部がプロセッサ911により実行される。学習装置200では、OSの少なくとも一部がプロセッサ921により実行される。
また、画像処理装置100では、プロセッサ911はOSの少なくとも一部を実行しながら、低分解能画像生成部101、分割部102等の機能を実現するプログラムを実行する。
また、学習装置200では、プロセッサ921はOSの少なくとも一部を実行しながら、低分解能画像生成部201、分割部202等の機能を実現するプログラムを実行する。
OSの実行により、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
【0115】
また、画像処理装置100では、低分解能画像生成部101、分割部102等の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置912、補助記憶装置913、プロセッサ911内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、低分解能画像生成部101、分割部102等の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記録媒体に格納されていてもよい。そして、低分解能画像生成部101、分割部102等の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
【0116】
同様に、学習装置200では、低分解能画像生成部201、分割部202等の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置922、補助記憶装置923、プロセッサ921内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、低分解能画像生成部201、分割部202等の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD等の可搬記録媒体に格納されていてもよい。そして、低分解能画像生成部201、分割部202等の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
【0117】
また、低分解能画像生成部101、分割部102、低分解能画像生成部201、分割部202等の少なくともいずれかの「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
また、画像処理装置100と学習装置200は、処理回路により実現されてもよい。処理回路は、例えば、ロジックIC(Integrated Circuit)、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)である。
この場合は、低分解能画像生成部101、分割部102、低分解能画像生成部201、分割部202等は、それぞれ処理回路の一部として実現される。
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
【0118】
最後に、以下、本開示の諸態様を付記としてまとめて記載する。
(付記1)
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割部と、
部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する統計値算出部と、
部分画像ごとに、前記統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定部とを有する画像処理装置。
(付記2)
前記判定部は、
前記統計値と閾値とを比較して、部分画像に前記余剰要素が含まれているか否かを判定する付記1に記載の画像処理装置。
(付記3)
前記判定部は、
水面のみの撮像画像の輝度分布から得られる前記統計値の理論値から決定された閾値と、前記統計値とを比較する付記2に記載の画像処理装置。
(付記4)
前記判定部は、
前記統計値を用いた機械学習により得られた判定基準と前記統計値とを比較して、部分画像に前記余剰要素が含まれているか否かを判定する付記1~4のいずれかに記載の画像処理装置。
(付記5)
上空から水面を撮像した撮像画像に水面以外の要素である余剰要素が含まれているか否かの判定が活用フェーズにおいてオートエンコーダの出力値と比較することにより可能な、学習フェーズにおける前記オートエンコーダを用いた機械学習により得られた判定基準を記憶する記憶部と、
前記活用フェーズにおいて、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割部と、
前記活用フェーズにおいて、部分画像ごとに、部分画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、規格化ヒストグラムとして生成するヒストグラム生成部と、
前記活用フェーズにおいて、前記規格化ヒストグラムを前記オートエンコーダに入力して前記オートエンコーダの出力値を取得し、取得した前記オートエンコーダの出力値と前記判定基準とを比較して、部分画像ごとに、部分画像に前記余剰要素が含まれているか否かを判定する判定部とを有する画像処理装置。
(付記6)
前記記憶部は、
前記学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像を用いた機械学習により前記オートエンコーダの内部パラメータが決定され、上空から撮像された水面に前記余剰要素が含まれる撮像画像である第2の学習画像と前記第1の学習画像とを前記内部パラメータが設定された前記オートエンコーダに適用して得られた前記オートエンコーダの出力値に基づき生成された基準を、前記判定基準として記憶し、
前記判定部は、
前記活用フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記規格化ヒストグラムを入力する付記5に記載の画像処理装置。
(付記7)
前記記憶部は、
規定の規格化ルールに従い規格化されて得られた前記第1の学習画像の画素の輝度値についてのヒストグラムである第1の規格化ヒストグラムを前記オートエンコーダに入力して行われた機械学習により前記内部パラメータが決定され、前記規格化ルールに従い規格化されて得られた前記第2の学習画像の画素の輝度値についてのヒストグラムである第2の規格化ヒストグラムと前記第1の規格化ヒストグラムとを前記内部パラメータが設定された前記オートエンコーダに入力して得られた前記オートエンコーダの出力値に基づき生成された基準を、前記判定基準として記憶する付記6に記載の画像処理装置。
(付記8)
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割部と、
部分画像ごとに、部分画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、規格化ヒストグラムとして生成するヒストグラム生成部と、
前記規格化ヒストグラムをニューラルネットワークに入力して、部分画像ごとに、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定部とを有する画像処理装置。
(付記9)
前記判定部は、
上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムが前記規格化ルールに従い規格化されて得られた第1の規格化ヒストグラムと、上空から撮像された水面に前記余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムが前記規格化ルールに従い規格化されて得られた第2の規格化ヒストグラムとを用いた機械学習により決定された内部パラメータが設定された前記ニューラルネットワークに、前記規格化ヒストグラムを入力する付記8に記載の画像処理装置。
(付記10)
前記画像処理装置は、更に、
前記撮像画像の低分解能画像を生成する低分解能画像生成部を有し、
前記分割部は、
前記低分解能画像を前記複数の部分画像に分割する付記1、5及び8のいずれか一つに記載の画像処理装置。
(付記11)
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、第1の規格化ヒストグラムとして生成する第1のヒストグラム生成部と、
前記学習フェーズにおいて、前記第1の規格化ヒストグラムをオートエンコーダに入力して行われた機械学習により、前記オートエンコーダの内部パラメータを決定する内部パラメータ決定部と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についての、前記規格化ルールに従い規格化されたヒストグラムを、第2の規格化ヒストグラムとして生成する第2のヒストグラム生成部と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定を活用フェーズにおいて前記オートエンコーダの出力値と比較することにより可能にする判定基準を、前記学習フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを入力して得られた前記オートエンコーダの出力値に基づき生成する判定基準生成部とを有する学習装置。
(付記12)
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、第1の規格化ヒストグラムとして生成する第1のヒストグラム生成部と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についての、規定の規格化ルールに従い規格化されたヒストグラムを、第2の規格化ヒストグラムとして生成する第2のヒストグラム生成部と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定をニューラルネットワークが用いられる活用フェーズにおいて可能にする前記ニューラルネットワークの内部パラメータを、前記学習フェーズにおいて、前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを用いた機械学習により決定する内部パラメータ決定部とを有する学習装置。
(付記13)
コンピュータが、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記コンピュータが、部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する統計値算出処理と、
前記コンピュータが、部分画像ごとに、前記統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とを有する画像処理方法。
(付記14)
上空から水面を撮像した撮像画像に水面以外の要素である余剰要素が含まれているか否かの判定が活用フェーズにおいてオートエンコーダの出力値と比較することにより可能な、学習フェーズにおける前記オートエンコーダを用いた機械学習により得られた判定基準をコンピュータが記憶する記憶処理と、
前記コンピュータが、前記活用フェーズにおいて、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記コンピュータが、前記活用フェーズにおいて、部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記コンピュータが、前記活用フェーズにおいて、前記規格化ヒストグラムを前記オートエンコーダに入力して前記オートエンコーダの出力値を取得し、取得した前記オートエンコーダの出力値と前記判定基準とを比較して、部分画像ごとに、部分画像に前記余剰要素が含まれているか否かを判定する判定処理とを有する画像処理方法。
(付記15)
コンピュータが、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記コンピュータが、部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記コンピュータが、前記規格化ヒストグラムをニューラルネットワークに入力して、部分画像ごとに、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とを有する画像処理方法。
(付記16)
コンピュータが、学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記コンピュータが、前記学習フェーズにおいて、前記第1の規格化ヒストグラムをオートエンコーダに入力して行われた機械学習により、前記オートエンコーダの内部パラメータを決定する内部パラメータ決定処理と、
前記コンピュータが、前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定を活用フェーズにおいて前記オートエンコーダの出力値と比較することにより可能にする判定基準を、前記コンピュータが、前記学習フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを入力して得られた前記オートエンコーダの出力値に基づき生成する判定基準生成処理とを有する学習方法。
(付記17)
コンピュータが、学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記コンピュータが、前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定をニューラルネットワークが用いられる活用フェーズにおいて可能にする前記ニューラルネットワークの内部パラメータを、前記コンピュータが、前記学習フェーズにおいて、前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを用いた機械学習により決定する内部パラメータ決定処理とを有する学習方法。
(付記18)
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
部分画像ごとに、部分画像の画素の輝度値について統計処理を行い、部分画像ごとに輝度値についての歪度及び尖度の少なくともいずれかを統計値として算出する統計値算出処理と、
部分画像ごとに、前記統計値を用いて、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とをコンピュータに実行させる画像処理プログラム。
(付記19)
上空から水面を撮像した撮像画像に水面以外の要素である余剰要素が含まれているか否かの判定が活用フェーズにおいてオートエンコーダの出力値と比較することにより可能な、学習フェーズにおける前記オートエンコーダを用いた機械学習により得られた判定基準を記憶する記憶処理と、
前記活用フェーズにおいて、上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
前記活用フェーズにおいて、部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記活用フェーズにおいて、前記規格化ヒストグラムを前記オートエンコーダに入力して前記オートエンコーダの出力値を取得し、取得した前記オートエンコーダの出力値と前記判定基準とを比較して、部分画像ごとに、部分画像に前記余剰要素が含まれているか否かを判定する判定処理とをコンピュータに実行させる画像処理プログラム。
(付記20)
上空から水面を撮像した撮像画像を複数の部分画像に分割する分割処理と、
部分画像ごとに、部分画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して規格化ヒストグラムを生成するヒストグラム生成処理と、
前記規格化ヒストグラムをニューラルネットワークに入力して、部分画像ごとに、部分画像に水面以外の要素である余剰要素が含まれているか否かを判定する判定処理とをコンピュータに実行させる画像処理プログラム。
(付記21)
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記学習フェーズにおいて、前記第1の規格化ヒストグラムをオートエンコーダに入力して行われた機械学習により、前記オートエンコーダの内部パラメータを決定する内部パラメータ決定処理と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定を活用フェーズにおいて前記オートエンコーダの出力値と比較することにより可能にする判定基準を、前記学習フェーズにおいて、前記内部パラメータが設定された前記オートエンコーダに前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを入力して得られた前記オートエンコーダの出力値に基づき生成する判定基準生成処理とをコンピュータに実行させる学習プログラム。
(付記22)
学習フェーズにおいて、上空から撮像された水面のみの撮像画像である第1の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを規定の規格化ルールに従い規格化して第1の規格化ヒストグラムを生成する第1のヒストグラム生成処理と、
前記学習フェーズにおいて、上空から撮像された水面に水面以外の要素である余剰要素が含まれる撮像画像である第2の学習画像の画素の輝度値についてのヒストグラムを生成し、生成したヒストグラムを前記規格化ルールに従い規格化して第2の規格化ヒストグラムを生成する第2のヒストグラム生成処理と、
上空から水面を撮像した撮像画像に前記余剰要素が含まれているか否かの判定をニューラルネットワークが用いられる活用フェーズにおいて可能にする前記ニューラルネットワークの内部パラメータを、前記学習フェーズにおいて、前記第1の規格化ヒストグラムと前記第2の規格化ヒストグラムとを用いた機械学習により決定する内部パラメータ決定処理とをコンピュータに実行させる学習プログラム。
【符号の説明】
【0119】
100 画像処理装置、101 低分解能画像生成部、102 分割部、103 統計値算出部、104 判定部、105 記憶部、150 撮像画像、160 判定結果、200 学習装置、201 低分解能画像生成部、202 分割部、203 第1のヒストグラム生成部、204 内部パラメータ決定部、205 第2のヒストグラム生成部、206 判定基準生成部、207 内部パラメータ決定部、250 学習画像、260 学習画像、270 内部パラメータ、280 判定基準、290 内部パラメータ、911 プロセッサ、912 主記憶装置、913 補助記憶装置、914 通信装置、921 プロセッサ、922 主記憶装置、923 補助記憶装置、924 通信装置。