特開 2022-148303 監視カメラ、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022148303

(43)【公開日】2022-10-06

(54)【発明の名称】監視カメラ、画像処理方法、およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220929BHJP

   H04N 5/225 20060101ALI20220929BHJP

【ＦＩ】

H04N5/232

H04N5/225 400

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021049933

(22)【出願日】2021-03-24

(71)【出願人】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】古賀 雅士

(72)【発明者】

【氏名】池田 淳

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA11

5C122EA12

5C122FB16

5C122FB17

5C122FB20

5C122FC01

5C122FC02

5C122FG05

5C122FG06

5C122FH11

5C122FH14

5C122FK23

5C122GC07

5C122GC14

5C122GC53

5C122GE08

5C122HB01

5C122HB05

5C122HB07

(57)【要約】

【課題】撮像された被写体の画像の画質を劣化させる現象が発生した場合でも、被写体の画像の画質を改善して観察業務の効率化を図る。
【解決手段】監視カメラは、複数の画素を有して構成され、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを画素ごとに取得する撮像素子と、被写体と撮像素子との間に配置され、被写体からの光のうち特定波長以上の波長を有する特定波長光を通過する光学フィルタと、特定波長光に対応する画素ごとの青色成分信号、赤色成分信号および緑色成分信号と特定波長光に対応する画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するプロセッサと、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の画素を有して構成され、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得する撮像素子と、
前記被写体と前記撮像素子との間に配置され、前記被写体からの光のうち特定波長以上の波長を有する特定波長光を通過する光学フィルタと、
前記特定波長光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号と前記特定波長光に対応する前記画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するプロセッサと、を備える、
監視カメラ。

【請求項2】

複数の画素を有して構成され、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得する撮像素子と、
前記被写体からの光に対応する前記画素ごとの赤色成分信号に基づいて輝度信号を生成するとともに、前記被写体からの光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号に基づいて特定の色相に対応する色を着色した第１画素信号と前記特定の色相に対応する色が着色されない第２画素信号とを生成するプロセッサと、を備え、
前記プロセッサは、前記輝度信号と前記第１画素信号と前記第２画素信号とに基づいて、被写体の撮像画像を生成して出力する、
監視カメラ。

【請求項3】

前記撮像素子により撮像される画像の注目領域を特定する第２プロセッサ、をさらに備え、
前記プロセッサは、特定された前記注目領域で前記霧あるいは靄が発生していると判定した場合に、前記注目領域に発生している前記霧あるいは靄の程度に応じて、前記特定波長光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号と前記特定波長光に対応する前記画素ごとの青色成分信号とのうちいずれかを選択する、
請求項１に記載の監視カメラ。

【請求項4】

前記撮像素子により撮像される画像の注目領域を特定する第２プロセッサ、をさらに備え、
前記プロセッサは、特定された前記注目領域で前記霧あるいは靄が発生していると判定した場合に、前記輝度信号、前記第１画素信号および前記第２画素信号を生成する、
請求項２に記載の監視カメラ。

【請求項5】

前記プロセッサは、前記注目領域の画像部分の高域空間周波数の減少量が第１の閾値以上である場合に、前記注目領域に前記霧あるいは靄が発生していると判定する、
請求項３または４に記載の監視カメラ。

【請求項6】

前記第２プロセッサは、学習処理により形成された人工知能を用いた学習済みモデルに基づいて、前記注目領域を特定する、
請求項３または４に記載の監視カメラ。

【請求項7】

前記特定波長は、５６０±２０［ナノメートル］である、
請求項１に記載の監視カメラ。

【請求項8】

前記被写体からの光のうち近赤外光を遮断する第２光学フィルタ、をさらに備え、
前記プロセッサは、所定の条件を満たす場合に、前記第２光学フィルタを通過した光に基づいて、前記被写体の撮像画像を生成する、
請求項１または２に記載の監視カメラ。

【請求項9】

監視カメラにより実行される画像処理方法であって、
前記監視カメラが備える光学フィルタにより、霧あるいは靄を介して入射される被写体からの光のうち特定波長以上の波長を有する特定波長光を通過するステップと、
前記監視カメラが備える複数の画素を有して構成される撮像素子により、前記特定波長光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、
前記特定波長光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号と前記特定波長光に対応する前記画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するステップと、を有する、
画像処理方法。

【請求項10】

コンピュータである監視カメラに、
前記監視カメラが備える光学フィルタにより、霧あるいは靄を介して入射される被写体からの光のうち特定波長以上の波長を有する特定波長光を通過するステップと、
前記監視カメラが備える複数の画素を有して構成される撮像素子により、前記特定波長光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、
前記特定波長光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号と前記特定波長光に対応する前記画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するステップと、を実行させるための、
プログラム。

【請求項11】

監視カメラにより実行される画像処理方法であって、
前記監視カメラが備える複数の画素を有して構成される撮像素子により、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、
前記被写体からの光に対応する前記画素ごとの赤色成分信号に基づいて輝度信号を生成するとともに、前記被写体からの光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号に基づいて特定の色相に対応する色を着色した第１画素信号と前記特定の色相に対応する色が着色されない第２画素信号とを生成するステップと、
前記輝度信号と前記第１画素信号と前記第２画素信号とに基づいて、被写体の撮像画像を生成して出力するステップと、を有する、
画像処理方法。

【請求項12】

コンピュータである監視カメラに、
前記監視カメラが備える複数の画素を有して構成される撮像素子により、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、
前記被写体からの光に対応する前記画素ごとの赤色成分信号に基づいて輝度信号を生成するとともに、前記被写体からの光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号に基づいて特定の色相に対応する色を着色した第１画素信号と前記特定の色相に対応する色が着色されない第２画素信号とを生成するステップと、
前記輝度信号と前記第１画素信号と前記第２画素信号とに基づいて、被写体の撮像画像を生成して出力するステップと、を実行させるための、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視カメラ、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、被写体を撮像する撮像素子と、被写体と撮像素子との間に挿入される光学フィルタを赤外光を遮断する第１フィルタと可視光を遮断する第２フィルタとのいずれかに切替可能な切替装置と、撮像された被写体の画像に基づいて、被写体と撮像素子との間に密度の異なる大気が混在する空気層が存在することによって生じるゆらぎ現象（例えばかげろう現象）の有無を判断する判断部と、判断結果に応じて切替装置を制御して光学フィルタの切替を制御する制御部と、を備える撮像装置が開示されている。これにより、撮影画像に含まれるかげろう現象などのゆらぎ現象の影響が軽減される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－９０１５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の構成では、かげろう現象等のゆらぎ現象が生じていると判断された場合には撮像面全体に対して可視光を遮断する光学フィルタが一律に使用されるため、撮像される被写体の画像が暗くなってしまう。特に監視カメラから見て遠方の被写体（例えば、空港、長距離の橋梁の遠方部、港の地点）を監視する際には、可視光を一律に遮断する光学フィルタが使用されると被写体の部分が全体的に暗くなってしまうため、被写体の状況判別が難しくなる等、観察業務の効率が低下する可能性があった。このため、撮像された被写体の画像の画質を劣化させるような現象（例えば、上述したかげろう現象に限らず、霧あるいは靄等の気象現象も同様）が発生した場合に、撮像される被写体の画像の画質の劣化を抑制する観点において、従来技術に対して改善の余地があったと言える。

【0005】

本開示は、上述した従来の事情に鑑みて案出され、撮像された被写体の画像の画質を劣化させる現象が発生した場合でも、被写体の画像の画質を改善して観察業務の効率化を図る監視カメラ、画像処理方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示は、複数の画素を有して構成され、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得する撮像素子と、前記被写体と前記撮像素子との間に配置され、前記被写体からの光のうち特定波長以上の波長を有する特定波長光を通過する光学フィルタと、前記特定波長光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号と前記特定波長光に対応する前記画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するプロセッサと、を備える、監視カメラを提供する。

【0007】

また、本開示は、複数の画素を有して構成され、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得する撮像素子と、前記被写体からの光に対応する前記画素ごとの赤色成分信号に基づいて輝度信号を生成するとともに、前記被写体からの光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号に基づいて特定の色相に対応する色を着色した第１画素信号と前記特定の色相に対応する色が着色されない第２画素信号とを生成するプロセッサと、を備え、前記プロセッサは、前記輝度信号と前記第１画素信号と前記第２画素信号とに基づいて、被写体の撮像画像を生成して出力する、監視カメラを提供する。

【0008】

また、本開示は、監視カメラにより実行される画像処理方法であって、前記監視カメラが備える光学フィルタにより、霧あるいは靄を介して入射される被写体からの光のうち特定波長以上の波長を有する特定波長光を通過するステップと、前記監視カメラが備える複数の画素を有して構成される撮像素子により、前記特定波長光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、前記特定波長光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号と前記特定波長光に対応する前記画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するステップと、を有する、画像処理方法を提供する。

【0009】

また、本開示は、監視カメラにより実行される画像処理方法であって、前記監視カメラが備える複数の画素を有して構成される撮像素子により、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、前記被写体からの光に対応する前記画素ごとの赤色成分信号に基づいて輝度信号を生成するとともに、前記被写体からの光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号に基づいて特定の色相に対応する色を着色した第１画素信号と前記特定の色相に対応する色が着色されない第２画素信号とを生成するステップと、前記輝度信号と前記第１画素信号と前記第２画素信号とに基づいて、被写体の撮像画像を生成して出力するステップと、を有する、画像処理方法を提供する。

【0010】

また、本開示は、コンピュータである監視カメラに、前記監視カメラが備える光学フィルタにより、霧あるいは靄を介して入射される被写体からの光のうち特定波長以上の波長を有する特定波長光を通過するステップと、前記監視カメラが備える複数の画素を有して構成される撮像素子により、前記特定波長光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、前記特定波長光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号と前記特定波長光に対応する前記画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するステップと、を実行させるための、プログラムを提供する。

【0011】

また、本開示は、コンピュータである監視カメラに、前記監視カメラが備える複数の画素を有して構成される撮像素子により、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを前記画素ごとに取得するステップと、前記被写体からの光に対応する前記画素ごとの赤色成分信号に基づいて輝度信号を生成するとともに、前記被写体からの光に対応する前記画素ごとの青色成分信号、赤色成分信号および緑色成分信号に基づいて特定の色相に対応する色を着色した第１画素信号と前記特定の色相に対応する色が着色されない第２画素信号とを生成するステップと、前記輝度信号と前記第１画素信号と前記第２画素信号とに基づいて、被写体の撮像画像を生成して出力するステップと、を実行させるための、プログラムを提供する。

【0012】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0013】

本開示によれば、撮像された被写体の画像の画質を劣化させる現象が発生した場合でも、被写体の画像の画質を改善して観察業務の効率化を図ることができる。

【0014】

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

【図面の簡単な説明】

【0015】

【図1】実施の形態１，２に係る監視カメラシステムのシステム構成例を示す図

【図2】実施の形態１，２に係る監視カメラのハードウェア構成例を示すブロック図

【図3】実施の形態１に係る監視カメラの動作概要例を示す図

【図4A】画像中のほぼ全体エリアにおいて霧あるいは靄が発生している状況を示す図

【図4B】画像中の遠方の対象エリアにおいて霧あるいは靄が発生している状況を示す図

【図5】実施の形態１に係る監視カメラの動作状態の遷移例を示す図

【図6】空間周波数と第１の閾値Ａと第２の閾値Ｂとの関係例を模式的に示す図

【図7】実施の形態１に係る監視カメラの霧あるいは靄の発生有無の判定動作手順例を時系列に示すフローチャート

【図8】実施の形態１に係る監視カメラの霧あるいは靄が発生している間の画像処理動作手順例を時系列的に示すフローチャート

【図9】図８の画像処理動作手順により生成された画像の一例を示す図

【図10】実施の形態２に係る監視カメラの動作概要例を示す図

【図11】実施の形態２に係る監視カメラの霧あるいは靄が発生している間の画像処理動作手順例を時系列的に示すフローチャート

【発明を実施するための形態】

【0016】

以下、適宜図面を参照しながら、本開示に係る監視カメラ、画像処理方法、およびプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明あるいは実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0017】

（実施の形態１）
図１は、実施の形態１，２に係る監視カメラシステム１００のシステム構成例を示す図である。図１に示すように、監視カメラシステム１００は、監視カメラ１と、モニタＭＮ１および操作部ＭＨ１のそれぞれが接続されるサーバ５０と、を含む構成である。監視カメラ１とサーバ５０とは、ネットワークＮＷ１を介して互いにデータを送受信可能に接続される。

【0018】

ネットワークＮＷ１は、例えばＷｉ－Ｆｉ（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）およびＷｉＧｉｇ（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ）のいずれかに準じた無線ネットワークであるが、これらに限定されなくてよい。なお、ネットワークＮＷ１は、ＵＳＢ（Ｕｎｉｖｅｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル、あるいは有線ＬＡＮなどの有線ネットワークでもよい。以下の説明において、監視カメラ１により撮像された画像（以下「撮像画像」と称する）には、撮像画像のデータだけでなく、その撮像画像を撮像した監視カメラ１のカメラＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と撮像日時の情報とが含まれる。

【0019】

監視カメラ１は、被写体（例えば監視カメラ１の設置位置から見た遠方の監視領域の地点）を監視するために、例えば気象台、空港、橋梁、港等の見晴らしの良い屋外の場所に配置される。ただ、監視カメラ１の設置位置は前述した場所に限定されず、屋外であれば道路の路側に設置されたポール（図示略）もしくは駐車場でもよい。監視カメラ１は、既定画角内の被写体（例えば監視カメラ１の設置位置から見た遠方の監視領域）を撮像する。ここで、被写体は、例えば空港、長距離の橋梁の遠方部、港、山岳、街中であるが、これらに限定されなくてもよい。また、監視カメラ１は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を搭載しており、搭載された人工知能を用いて、被写体の撮像画像に霧（きり）あるいは靄（もや）等の画質を劣化させる要因となる気象現象が発生しているか否かを判定する（詳細は後述参照）。

【0020】

監視カメラ１には、学習済みモデルが学習モデルメモリ１５２に記憶されている（図２参照）。この学習済みモデルは、監視カメラ１に搭載されているＡＩの機能を特徴付けるパラメータ群である。すなわち、学習済みモデルは、監視カメラ１に搭載されているＡＩの判定対象である霧あるいは靄の有無を判定するためのパラメータ群である。学習済みモデルは、例えば、霧あるいは靄の有無を判定するためのセグメンテーション技術を使用するためのパラメータ群であってよい。この学習済みモデルは、外部端末（図示略）により生成されて監視カメラ１に予め記憶されている。

【0021】

監視カメラ１は、霧および靄のいずれも発生していない昼間の状態（後述する図５の状態ＣＯＮ１参照）、夜間の状態（後述する図５の状態ＣＯＮ２参照）、霧あるいは靄が発生している昼間の状態（後述する図５の状態ＣＯＮ３参照）のうちいずれかの状態に対応した動作モードで動作する。詳細は図５を参照して後述する。

【0022】

サーバ５０は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、あるいは高性能なスペックを有するサーバコンピュータマシン等の情報処理装置である。サーバ５０は、ネットワークＮＷ１を介して、監視カメラ１との間でデータ通信する。

【0023】

サーバ５０は、通信ＩＦ回路５１と、プロセッサ５２と、メモリ５３と、データベース５４とを含む構成である。なお、添付図面ではインターフェースを便宜的に「ＩＦ」と簡略して記載している。

【0024】

通信ＩＦ回路５１は、上述したネットワークＮＷ１を介して、監視カメラ１との間でデータ通信する。通信ＩＦ回路５１は、例えば監視カメラ１によって生成されて送信された撮像画像のデータを受信してプロセッサ５２に出力する。

【0025】

プロセッサ５２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。プロセッサ５２は、サーバ５０の全体的な動作を司るコントローラとして機能し、サーバ５０の各部の動作を統括するための制御処理、サーバ５０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ５２は、メモリ５３に記憶されたプログラムおよびデータに従って動作する。プロセッサ５２は、動作時にメモリ５３を使用し、プロセッサ５２が生成または取得したデータもしくは情報をメモリ５３に一時的に保存する。

【0026】

プロセッサ５２は、通信ＩＦ回路５１が受信した撮像画像のデータを受け取ると、その撮像画像に映る被写体の状態を観察するための各種の画像処理もしくは解析処理を実行する。なお、プロセッサ５２は、この画像処理もしくは解析処理を、それぞれの処理用に学習されて生成された学習済みモデル（図示略）あるいは後述するデータベース５４を用いて実行してもよい。これにより、プロセッサ５２は、被写体の状態を高精度に観察できる。なお、プロセッサ５２は、画像処理もしくは解析処理の結果を、ネットワークＮＷ１を介して接続された監視カメラ１あるいは他の外部装置（例えば観察の依頼者が所持する端末）に応答してもよいし、モニタＭＮ１に出力（表示）してもよい。

【0027】

メモリ５３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを用いて構成され、サーバ５０の動作の実行に必要なプログラム、更には、動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、サーバ５０の動作時に使用されるワークメモリである。ＲＯＭは、例えば、サーバ５０を制御するためのプログラムを予め記憶して保持する。

【0028】

データベース５４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いて構成される。データベース５４は、上述した観察のための画像処理もしくは解析処理の対象となる被写体またはオブジェクトの比較に用いられる各種の照合用データ（図示略）を格納する。

【0029】

モニタＭＮ１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）あるいは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成された表示デバイスである。モニタＭＮ１は、例えばサーバ５０で実行された画像処理もしくは解析処理の結果を表示する。なお、モニタＭＮ１は、サーバ５０に含まれてもよい。

【0030】

操作部ＭＨ１は、例えばマウス、キーボード、タッチパッド、タッチパネルなどのユーザの入力操作を受け付ける入力デバイスである。操作部ＭＨ１は、ユーザの入力操作に対応する信号をサーバ５０に送る。なお、操作部ＭＨ１は、サーバ５０に含まれてもよい。

【0031】

図２は、実施の形態１，２に係る監視カメラ１のハードウェア構成例を示すブロック図である。図２には、監視カメラ１の他に、監視カメラ１に挿抜される外部記憶媒体Ｍ１も示してある。外部記憶媒体Ｍ１は、例えばＳＤカード等の記憶媒体である。

【0032】

図２に示すように、監視カメラ１は、レンズ１１と、レンズ駆動部ＬＭ１と、可視光カットフィルタＣＦ１と、ＩＲカットフィルタＣＦ２と、フィルタ駆動部ＦＭ１と、撮像素子１２と、メモリ１３と、プロセッサ１４と、ＡＩプロセッサ１５と、通信ＩＦ回路１６と、ＩＲ照明部１７と、外部記憶媒体ＩＦ１８と、パンチルト駆動部ＰＴＭ１と、を含む構成である。

【0033】

撮像部の一例としてのレンズ１１は、例えばフォーカスレンズおよびズームレンズを含み、被写体により反射された光である入射光ＩＣＬ１を入射し、必要に応じて可視光カットフィルタＣＦ１およびＩＲカットフィルタＣＦ２のうち少なくとも１つを介して撮像素子１２の受光面（撮像面）に被写体の光学像を結像する。この入射光ＩＣＬ１は、例えば昼間の大気中に発生している霧あるいは靄を介して（透過して）入射する光、昼間において霧および靄のいずれも発生していない大気中を介して（透過して）入射する光、もしくは夜間の大気中を介して（透過して）入射する光である。レンズ１１には、監視カメラ１の設置場所または撮影用途等に応じて、様々な焦点距離または撮影範囲のレンズを用いることができる。

【0034】

撮像部の一例としてのレンズ駆動部ＬＭ１は、プロセッサ１４からの制御信号に基づいて、レンズ１１に関するカメラパラメータ（例えばフォーカスレンズの位置、ズーム倍率に対応するズームレンズの位置）を調整するようレンズ１１を駆動する。

【0035】

撮像部の一例としての可視光カットフィルタＣＦ１は、昼間の大気中に霧あるいは靄が発生していると判定（後述参照）された場合に有効（つまり使用する）となるようフィルタ駆動部ＦＭ１により駆動される。可視光カットフィルタＣＦ１は、レンズ１１を透過した入射光ＩＣＬ１（被写体からの光の一例）のうち特定波長（例えば５６０±２０［ｎｍ：ナノメートル］）以上の波長を有する光を通過する分光特性を有している（図３参照）。なお、昼間の大気中で霧および靄のいずれも発生していないと判定（後述参照）された場合、あるいは夜間では、可視光カットフィルタＣＦ１は、有効とならず開放される（つまり使用されない）ようにフィルタ駆動部ＦＭ１により駆動される。

【0036】

撮像部の一例としてのＩＲカットフィルタＣＦ２は、昼間の大気中で霧および靄のいずれも発生していないと判定（後述参照）された場合に有効（つまり使用する）となるようフィルタ駆動部ＦＭ１により駆動される。ＩＲカットフィルタＣＦ２は、可視光（例えば４００～７６０［ｎｍ］の波長を有する光）を通過させ、近赤外光（例えば７８０［ｎｍ］以上の波長を有する光）を遮断する分光特性を有している。なお、昼間の大気中で霧あるいは靄が発生していると判定（後述参照）された場合、あるいは夜間では、ＩＲカットフィルタＣＦ２は、有効とならず開放される（つまり使用されない）ようにフィルタ駆動部ＦＭ１により駆動される。

【0037】

撮像部の一例としてのフィルタ駆動部ＦＭ１は、プロセッサ１４からの制御信号に基づいて、可視光カットフィルタＣＦ１およびＩＲカットフィルタＣＦ２のそれぞれの有効の有無を制御（例えば、該当するフィルタを入射光ＩＣＬ１の光路上への配置）を調整するよう可視光カットフィルタＣＦ１およびＩＲカットフィルタＣＦ２のそれぞれを駆動する。

【0038】

撮像部の一例としての撮像素子１２は、複数の画素（例えばそれぞれの受光素子上にベイヤ配列のＲＧＢカラーフィルタが設けられた画素）を有して構成され、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサである。撮像素子１２は、上述した複数の画素により構成される受光面（撮像面）に受けた光を電気信号に変換するための光電変換を行う。これにより、撮像素子１２は、電気信号として、被写体からの光に対応する青色成分信号（Ｂ信号）、赤色成分信号（Ｒ信号）、緑色成分信号（Ｇ信号）のそれぞれを画素ごとに取得することができる。撮像素子１２は、受光面に受けた光に応じた電気信号（アナログ信号）をプロセッサ１４に出力する。このアナログ信号は、撮像部の一例としてのプロセッサ１４により、デジタル形式の撮像画像のデータに変換される。これにより、プロセッサ１４によって撮像画像のデータが生成される。

【0039】

メモリ１３は、例えばＲＡＭとＲＯＭとを用いて構成され、監視カメラ１の動作の実行に必要なプログラム、更には、動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、監視カメラ１の動作時に使用されるワークメモリである。ＲＯＭは、例えば、監視カメラ１を制御するための本開示に係るプログラムを予め記憶して保持する。言い換えると、プロセッサ１４は、ＲＯＭに記憶されているプログラムを実行することで、コンピュータである監視カメラ１に、本開示に係る画像処理に関する各種の処理を実行可能である。

【0040】

また、メモリ１３は、例えばＡＩプロセッサ１５が比較する時に使用する高域空間周波数（図６参照）の変化量の閾値（具体的には、第１の閾値Ａおよび第２の閾値Ｂ（＞第１の閾値Ａ））を保存している。また、メモリ１３は、通常時（すなわち霧および靄のいずれも発生していない状態）の観察対象となる被写体（対象エリア）に相当する画素および撮像画像の全域エリアのそれぞれに基づく空間周波数の算出結果のうち既定の高域空間周波数を基準値ｆ１として保存している。既定の高域空間周波数が基準値ｆ１であることは、撮像画像のエッジ部分（言い換えると、撮像画像の鮮明さ）が存在していることを示す。したがって、算出された空間周波数のうち高域空間周波数が基準値ｆ１未満となる場合には、例えば霧あるいは靄等の気象現象によって撮像画像のエッジが不鮮明になっていることを示している。

【0041】

プロセッサ１４は、例えばＣＰＵ、ＤＳＰ、ＧＰＵもしくはＦＰＧＡを用いて構成される。プロセッサ１４は、監視カメラ１の全体的な動作を司るコントローラとして機能し、監視カメラ１の各部の動作を統括するための制御処理、監視カメラ１の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ１４は、メモリ１３に記憶されたプログラムおよびデータに従って動作する。プロセッサ１４は、動作時にメモリ１３を使用し、プロセッサ１４が生成または取得したデータもしくは情報をメモリ１３に一時的に保存する。

【0042】

また、撮像部の一例としてのプロセッサ１４は、撮像素子１２から出力された電気信号に既定の信号処理を施すことで、デジタル形式の撮像画像のデータを生成してもよい。プロセッサ１４は、生成された撮像画像のデータをＡＩプロセッサ１５に送る。

【0043】

また、プロセッサ１４は、タイマＴＭ１を有し、タイマＴＭ１の出力に基づいて現在時刻を把握可能であり、夜間（言い換えると、日没付近～明け方付近）にはＩＲ光の照射を指示する制御信号をＩＲ照明部１７に出力する。タイマＴＭ１は、所定の基準時刻からの経過時間（つまり現在時刻）を計時する回路を備え、計時出力（カウント値）をプロセッサ１４に送る。これにより、プロセッサ１４は、現在時刻を特定できる。

【0044】

また、制御部の一例としてのプロセッサ１４は、タイマＴＭ１の出力とＡＩプロセッサ１５の処理結果（例えば、被写体（例えば監視カメラ１の設置位置から見た遠方の監視領域の地点）が見える大気中に霧あるいは靄が発生しているか否かの判定結果）とに基づいて、動作モード（図５参照）を切り替える。図５は、実施の形態１に係る監視カメラ１の動作状態の遷移例を示す図である。図５に示すように、監視カメラ１は、霧および靄のいずれも発生していない昼間の状態ＣＯＮ１、夜間の状態ＣＯＮ２、霧あるいは靄が発生している昼間の状態ＣＯＮ３のうちいずれかの状態に対応した動作モードで動作する。

【0045】

例えば、プロセッサ１４は、タイマＴＭ１の出力によって夜間（例えば１８：００～６：００までの時間帯）には状態ＣＯＮ２に対応した動作モードで動作することを決定する。つまり、プロセッサ１４は、夜間の被写体を撮像するために、可視光カットフィルタＣＦ１およびＩＲカットフィルタＣＦ２のそれぞれを開放（つまり使用しないこと）とし、ＩＲ照明部１７（例えばＩＲＬＥＤ）によるＩＲ光の照射下でのカラーＲ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）信号を用いた被写体の撮像を行う。なお、夜間の時間帯は季節によって異なってもよく、夜間の時間帯を示すデータは季節あるいは月ごとにメモリ１３に保存されてよい。撮像素子１２の各画素は近赤外光の波長領域でも感度を持っており、ＩＲ光を照射することで、プロセッサ１４は、暗闇環境でも被写体を撮像することができる。ただし、色を正しく再現することはできないため、プロセッサ１４は、被写体のモノクロの画像を生成する。なお、昼間と夜間の判断に関して、タイマＴＭ１を用いず、監視カメラ１が備える照度センサ（図示略）の出力値を用いて行ってもよい。

【0046】

例えば、プロセッサ１４は、タイマＴＭ１の出力によって夜間以外の時間帯（つまり昼間、例えば６：００～１８：００までの時間帯）には、ＡＩプロセッサ１５の処理結果（上述参照）に基づいて、状態ＣＯＮ１あるいは状態ＣＯＮ３を選択した動作モードで動作する。具体的には、プロセッサ１４は、被写体（例えば監視カメラ１の設置位置から見た遠方の監視領域の地点）が見える大気中に霧あるいは靄が発生していないとＡＩプロセッサ１５によって判定された場合、状態ＣＯＮ１に対応した動作モードで動作することを決定する。つまり、プロセッサ１４は、大気中に霧あるいは靄が発生していない昼間の被写体を撮像するために、ＩＲカットフィルタＣＦ２のみ有効（つまり使用）とし、上述したカラーＲＧＢ信号を用いた被写体の撮像を行う。これにより、プロセッサ１４は、色再現に影響を与える近赤外光の波長を除去した光を元にカラー画像のデータを得ることができる。

【0047】

また、プロセッサ１４は、被写体（例えば監視カメラ１の設置位置から見た遠方の監視領域の地点）が見える大気中に霧あるいは靄が発生しているとＡＩプロセッサ１５によって判定された場合、状態ＣＯＮ３に対応した動作モードで動作することを決定する。つまり、プロセッサ１４は、大気中に霧あるいは靄が発生している昼間の被写体を撮像するために、特定波長（上述参照）未満の波長を有する可視光を遮断する可視光カットフィルタＣＦ１のみ有効（つまり使用）とし、上述したカラーＲＧＢ信号あるいはＢ信号を用いた被写体の撮像（図３参照）を行う。これにより、プロセッサ１４は、状態ＣＯＮ１に比べて、可視光の光量が減少するものの霧あるいは靄の影響を軽減した高画質な撮像画像のデータを得ることができる。さらに、プロセッサ１４は、霧あるいは靄の程度が濃くなければ（例えば高域空間周波数の変化量が図６に示す第２の閾値Ｂ未満）、特許文献１で示されている可視光をすべてカットした状態に比べて、光量の減少量を抑えた状態で撮像画像のデータを得ることができる。

【0048】

なお、昼間において大気中の霧あるいは靄が晴れて無くなったとＡＩプロセッサ１５によって判定された場合には、プロセッサ１４は、状態ＣＯＮ３から状態ＣＯＮ１に遷移した動作モードで動作する。同様に、昼間において大気中の霧あるいは靄が発生してきたとＡＩプロセッサ１５によって判定された場合には、プロセッサ１４は、状態ＣＯＮ１から状態ＣＯＮ３に遷移した動作モードで動作する。

【0049】

第２プロセッサの一例としてのＡＩプロセッサ１５は、例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＦＰＧＡおよびメモリを用いて構成され、ＡＩ（人工知能）を用いて、撮像素子１２により撮像される被写体の撮像画像のデータの中から、遠方の観察対象となる被写体（対象エリア）に相当する画素を抽出する。ＡＩプロセッサ１５は、抽出された画素により構成されるエリアと撮像画像全体とで個々に空間周波数を算出する。ＡＩプロセッサ１５は、この空間周波数の算出結果とメモリ１３に保存されている閾値（上述参照）との比較に応じて、遠方の観察対象となる被写体（対象エリア）に霧あるいは靄が発生しているか否かを検知および判定する。ＡＩプロセッサ１５は、ＡＩ演算処理部１５１と学習モデルメモリ１５２とを有して構成される。なお、上述した抽出された画素により構成されるエリアと撮像画像全体とでの個々の空間周波数の算出、ならびに、遠方の観察対象となる被写体（対象エリア）に霧あるいは靄が発生しているか否かを検知および判定の各処理は、ＡＩプロセッサ１５ではなくプロセッサ１４によって実行されてもよく、以下の説明においても同様である。

【0050】

ＡＩ演算処理部１５１は、学習モデルメモリ１５２に記憶された学習済みモデル（図２参照）に基づいたＡＩ（人工知能）を形成する。例えば、ＡＩ演算処理部１５１は、セグメンテーション技術を使用するためのパラメータ群である学習済みモデルを用いて、撮像素子１２により撮像された被写体の撮像画像のデータを入力し、入力された撮像画像のデータの中から遠方の観察対象となる被写体（対象エリア）に相当する画素を検知して抽出する。ＡＩ演算処理部１５１もしくはプロセッサ１４は、抽出結果に基づいて、抽出された画素により構成されるエリアと撮像画像全体とで個々に空間周波数を算出するとともに、空間周波数の算出結果とメモリ１３に保存されている閾値（上述参照）との比較に応じて、遠方の観察対象となる被写体（対象エリア）に霧あるいは靄が発生しているか否かを判定し、その判定結果をプロセッサ１４に返す。

【0051】

ここで、ＡＩプロセッサ１５あるいはプロセッサ１４による霧あるいは靄の発生の有無、ならびに霧あるいは靄の強度（濃さ）の判定について、図４Ａ、図４Ｂおよび図６を参照して説明する。図４Ａは、画像ＰＩＣ１中のほぼ全体エリアＡＲ１において霧あるいは靄が発生している状況を示す図である。図４Ｂは、画像ＰＩＣ２中の遠方の対象エリアＡＲ２において霧あるいは靄が発生している状況を示す図である。図６は、空間周波数と第１の閾値Ａと第２の閾値Ｂとの関係例を模式的に示す図である。図６では、横軸が空間周波数である。つまり、空間周波数の特性Ｙ１，Ｙ２，Ｙ３のそれぞれに対し、既定となる高域空間周波数が算出され、その算出結果がｆ１（上述参照），ｆ２，ｆ３となっている。

【0052】

大気中に霧あるいは靄等の気象現象が発生している場合、画像ＰＩＣ１のほぼ全体エリアＡＲ１あるいは画像ＰＩＣ２の遠方の対象エリアＡＲ２の大気（空気）が霞んで映るため、画像ＰＩＣ１あるいは画像ＰＩＣ２の画質が劣化する。ＡＩ演算処理部１５１は、既存のセグメンテーション技術を用いた学習済みモデルに基づいて、ＡＩ演算処理部１５１に入力された画像ＰＩＣ１中の遠方となる観察対象となる被写体（対象エリア）に相当する画素（例えばほぼ全体エリアＡＲ１）を抽出する。同様に、ＡＩ演算処理部１５１は、既存のセグメンテーション技術を用いた学習済みモデルに基づいて、ＡＩ演算処理部１５１に入力された画像ＰＩＣ２中の遠方となる観察対象となる被写体（対象エリア）に相当する画素（例えば遠方の対象エリアＡＲ２）を抽出する。

【0053】

ＡＩ演算処理部１５１は、画像ＰＩＣ１のほぼ全体エリアＡＲ１および全域エリアのそれぞれについて個々に空間周波数を算出し、それぞれのエリアに対応する空間周波数の既定の高域部分（高域空間周波数）ｆ２とメモリ１３に保存されている対応するエリアの空間周波数の既定の高域部分（高域空間周波数）の基準値ｆ１との差分（変化量）が、メモリ１３に保存されている第１の閾値Ａ以上であるか否かを判定する。ＡＩ演算処理部１５１は、画像ＰＩＣ１のほぼ全体エリアＡＲ１あるいは全域エリアにおける高域空間周波数の変化量（上述参照）が第１の閾値Ａ以上であると判定した場合に、その画像ＰＩＣ１中に霧あるいは靄が発生していると判定する。

【0054】

同様に、ＡＩ演算処理部１５１は、画像ＰＩＣ２の遠方の対象エリアＡＲ２および全域エリアのそれぞれについて個々に空間周波数を算出し、それぞれのエリアに対応する空間周波数の既定の高域部分（高域空間周波数）ｆ２とメモリ１３に保存されている対応するエリアの空間周波数の既定の高域部分（高域空間周波数）の基準値ｆ１との差分（変化量）が、メモリ１３に保存されている第１の閾値Ａ以上であるか否かを判定する。ＡＩ演算処理部１５１は、画像ＰＩＣ２の遠方の対象エリアＡＲ２あるいは全域エリアにおける高域空間周波数の変化量（上述参照）が第１の閾値Ａ以上であると判定した場合に、その画像ＰＩＣ２中に霧あるいは靄が発生していると判定する。

【0055】

学習モデルメモリ１５２は、例えばＲＡＭ、ＲＯＭ、フラッシュメモリなどのメモリによって構成される。学習モデルメモリ１５２は、予め学習処理によって作成された霧あるいは靄の検知処理用の学習済みモデルを格納している。ＡＩ演算処理部１５１は、学習モデルメモリ１５２から学習済みモデルを読み出して、ＡＩ演算処理部１５１に入力された画像中の遠方の観察対象となる被写体（対象エリア）に相当する画素を抽出し、霧あるいは靄の有無を高精度に検知および判定できる。

【0056】

なお、プロセッサ１４は、ＡＩプロセッサ１５を用いた霧あるいは靄の有無の高精度な検知処理を行う代わりに、例えばタイマＴＭ１の出力（つまり現在時刻）に基づいて霧あるいは靄の有無を簡易的に判定してもよい。これは、例えば監視カメラ１の設置位置の周囲の地域特性に鑑みて霧あるいは靄が発生しやすい時間帯が予め特定可能であれば、現在時刻が霧あるいは靄が発生しやすい時間帯であるか否かでも、簡易的に霧あるいは靄の有無を判定可能となることに基づく。

【0057】

また、サーバ５０から撮像画像中の霧あるいは靄が発生すると想定される座標を指定する座標指定通知が監視カメラ１において受信された場合、プロセッサ１４またはＡＩプロセッサ１５は、その座標指定通知に含まれる指定座標（例えば撮像素子１２あるいはプロセッサ１４により生成される撮像画像のデータ上の座標）に限定して霧あるいは靄が発生しているか否かを判定してもよい。

【0058】

通信ＩＦ回路１６は、ネットワークＮＷ１を介して接続されたサーバ５０との間でデータ通信（送受信）を行う。通信ＩＦ回路１６は、例えばプロセッサ１４により生成された撮像画像のデータをサーバ５０に送信する。また、通信ＩＦ回路１６は、サーバ５０から霧あるいは靄の発生の有無の座標指定通知（上述参照）を受信した場合、その座標指定通知に含まれる指定座標（上述参照）をプロセッサ１４またはＡＩプロセッサ１５に送ってもよい。

【0059】

ＩＲ照明部１７は、プロセッサ１４からの制御信号（例えばＩＲ光の照射開始の指示）に基づいて、撮像エリアに向けて近赤外の波長帯域を有するＩＲ光ＲＤ１の照射を開始する。ＩＲ照明部１７は、プロセッサ１４からの制御信号（例えばＩＲ光ＲＤ１の照射終了の指示）に基づいて、撮像エリアへのＩＲ光ＲＤ１の照射を終了する。また、ＩＲ照明部１７は、プロセッサ１４からの制御信号（例えばＩＲ光ＲＤ１の強度の調整の指示）に基づいて、現在照射しているＩＲ光ＲＤ１の強度を強めたりもしくは弱めたりして照射する。

【0060】

外部記憶媒体ＩＦ１８には、ＳＤカードなどの外部記憶媒体Ｍ１が挿抜される。

【0061】

パンチルト駆動部ＰＴＭ１は、プロセッサ１４からの制御信号に基づいて、パン回転あるいはチルト回転に関するカメラパラメータ（例えばパン回転量、チルト回転量）を調整して監視カメラ１のパン回転あるいはチルト回転もしくはその両方を実行する。なお、監視カメラ１がパン回転、チルト回転をしない構成である場合には、パンチルト駆動部ＰＴＭ１は監視カメラ１の構成から省略されてよい。

【0062】

次に、実施の形態１に係る監視カメラ１のプロセッサ１４による霧あるいは靄が発生している状態ＣＯＮ３での撮像画像の生成に関する動作概要について、図３および図６を参照して説明する。図３は、実施の形態１に係る監視カメラ１の動作概要例を示す図である。図３に示すグラフＧＰＨ１では、横軸が波長［ｎｍ］、縦軸が感度を示す撮像素子１２の分光感度特性が示されている。グラフＧＰＨ１の下部には、色相レンジＣＬＢ１と、撮像画像のデータ生成に用いる各種の特性ＰＲＹ１とが示されている。

【0063】

グラフＧＰＨ１によれば、撮像素子１２により取得される画素ごとの青色成分信号（以下「Ｂ信号」と略記する場合がある）、赤色成分信号（以下「Ｒ信号」と略記する場合がある）、緑色成分信号（以下「Ｇ信号」と略記する場合がある））は、近赤外光の波長帯域（例えば８５０［ｎｍ］の波長帯域ａ１）においてそれぞれ同等の感度を有することが示されている。したがって、ＲＧＢのカラーフィルタが配列された撮像素子１２を用いた場合でも、近赤外光の撮像は可能となる。

【0064】

また、上述したように、可視光カットフィルタＣＦ１は、レンズ１１を透過した入射光ＩＣＬ１（被写体からの光の一例）のうち特定波長（例えば５６０±２０［ｎｍ：ナノメートル］）以上の波長を有する光を通過する。言い換えると、可視光カットフィルタＣＦ１は、特定波長未満の波長を有する光を遮断する。したがって、特性ＰＲＹ１に示されるように、可視光カットフィルタＣＦ１が有効である場合、色相レンジＣＬＢ１に示される波長帯の波長を有する光（例えばＵＶ光からＩＲ光）がすべて撮像素子１２に入射せず、特定波長以上の波長を有する光のみが撮像素子１２に入射する。

【0065】

ここで、特定波長は例えば５６０±２０［ｎｍ］であるが、霧あるいは靄等の気象現象が発生している場合、特定波長未満の波長を有する光は霧あるいは靄を構成する水蒸気で散乱されやすく、被写体の鮮明な画像を生成する上での障害となってしまう。そこで、実施の形態１では、特定波長以上の波長（例えば５６０±２０［ｎｍ］の波長）でかつ、光の波長が長いほど霧あるいは靄を構成する水蒸気で散乱されにくいという特性を利用することで、監視カメラ１は、特定波長以上の波長を有する光に基づいて撮像画像を生成する。これにより、監視カメラ１は、霧あるいは靄が発生している中でも鮮明な撮像画像を生成できる。

【0066】

ただ、特定波長は可視光の波長帯域（例えば４００～７６０［ｎｍ］）の波長であるため、特定波長以上の波長であって可視光の波長帯域（例えば黄色、オレンジ、赤色の色相に対応する波長帯域）の波長を有する光に基づくＲ信号、Ｇ信号、Ｂ信号（つまりＲＧＢ信号）を用いて撮像画像を生成することが可能である。

【0067】

このため、監視カメラ１のプロセッサ１４は、霧あるいは靄の程度がそれほど濃くなければ（図６参照）、特定波長以上の波長であって、近赤外光の波長帯域に加え、可視光の波長帯域（例えば黄色、オレンジ、赤色の色相に対応する波長帯域）の波長を有する光に基づくＲＧＢ信号を用いる分、近赤外光（ＩＲ光）だけで撮像するモノクロの撮像画像よりも撮像素子１２に届く光量が多くかつ霧あるいは靄が発生していても被写体の様子が鮮明となる撮像画像を生成できる。例えば、プロセッサ１４は、画像ＰＩＣ１のほぼ全体エリアＡＲ１あるいは全域エリアにおける高域空間周波数の変化量（上述参照）が第２の閾値Ｂ未満であると判定した場合に、霧あるいは靄の程度がそれほど濃くないとして、特定波長以上の波長であって、近赤外光の波長帯域に加えて可視光の波長帯域（例えば黄色、オレンジ、赤色の色相に対応する波長帯域）の波長を有する光に基づくＲＧＢ信号を用いて霧あるいは靄が発生していても被写体の様子が鮮明となるモノクロの撮像画像を生成する。なお、ここでは画像ＰＩＣ１を例示して撮像画像の生成方法を説明したが、画像ＰＩＣ２を例示しても同様であるため説明を省略する。

【0068】

一方で、霧あるいは靄の程度が濃い場合（図６参照）には、監視カメラ１は、近赤外光（例えば７８０［ｎｍ］以上の波長帯域）に高い感度を有するが特定波長以上の可視光の波長帯域には殆ど感度を有さないＢ信号（波長帯域ａ１参照）のみを用いることで、霧あるいは靄の程度が濃い場合でも被写体の様子が鮮明となる撮像画像を生成できる。例えば、プロセッサ１４は、画像ＰＩＣ１のほぼ全体エリアＡＲ１あるいは全域エリアにおける高域空間周波数の変化量（上述参照）が第２の閾値Ｂ以上であると判定した場合に、霧あるいは靄の程度が濃いとして、近赤外光（例えば７８０［ｎｍ］以上の波長帯域）に高い感度を有するが特定波長以上の可視光の波長帯域には殆ど感度を有さないＢ信号（符号ａ１参照）のみを用いて霧あるいは靄が発生していても被写体の様子が鮮明となるモノクロの撮像画像を生成する。なお、ここでは画像ＰＩＣ１を例示して撮像画像の生成方法を説明したが、画像ＰＩＣ２を例示しても同様であるため説明を省略する。

【0069】

つまり、監視カメラ１のプロセッサ１４は、画像ＰＩＣ１のほぼ全体エリアＡＲ１あるいは全域エリアにおける高域空間周波数の変化量（上述参照）と第２の閾値Ｂとの大小に応じて、撮像画像の生成方式を使い分ける。これにより、監視カメラ１は、例えばＡＩプロセッサ１５によって検知される霧あるいは靄の程度（例えば濃さ）の状況に応じて、適応的に霧あるいは靄の影響を軽減した高画質な撮像画像を生成できる。

【0070】

次に、実施の形態１に係る監視カメラ１の動作手順例について、図７および図８を参照して説明する。図７は、実施の形態１に係る監視カメラ１の霧あるいは靄の発生有無の判定動作手順例を時系列に示すフローチャートである。図８は、実施の形態１に係る監視カメラ１の霧あるいは靄が発生している間の画像処理動作手順例を時系列的に示すフローチャートである。なお、図７および図８では、霧あるいは靄を便宜的に「霧・もや」と図示している。

【0071】

図７において、ＡＩプロセッサ１５は、撮像素子１２により撮像された撮像画像のデータを入力する（Ｓｔ１）。ＡＩプロセッサ１５は、学習モデルメモリ１５２から読み出した学習済みモデルを用いて、ステップＳｔ１で入力された被写体の撮像画像のデータの中から、遠方の観察対象となる被写体（対象エリア）に相当する画素を抽出する（Ｓｔ２）。ＡＩプロセッサ１５は、ステップＳｔ２で抽出された画素により構成されるエリアとステップＳｔ１で入力された撮像画像全体とでそれぞれ空間周波数を算出する（Ｓｔ３）。つまり、ステップＳｔ３により、例えば遠方の観察対象となる被写体（対象エリア）に相当する画素（例えば図４Ａのほぼ全体エリアＡＲ１参照）における空間周波数と、画像ＰＩＣ１全体における空間周波数とがそれぞれ算出される。

【0072】

ここで、監視カメラ１の現在の画角内の撮像画像中の遠方の観察対象となる被写体（対象エリア）およびその撮像画像全体のそれぞれの通常時（つまり霧あるいは靄が発生していない時）の空間周波数の算出結果が登録されていない場合（Ｓｔ４、ＹＥＳ）、ＡＩプロセッサ１５は、ステップＳｔ３での算出結果（つまり、遠方の観察対象となる被写体（対象エリア）に相当する画素（例えば図４Ａのほぼ全体エリアＡＲ１参照）における空間周波数、画像ＰＩＣ１全体における空間周波数の各算出結果）と、ステップＳｔ２で抽出された画素の座標位置を示すエリア情報と、を対応付けてメモリ１３に保存する（Ｓｔ５）。ステップＳｔ５の後、ＡＩプロセッサ１５の処理はステップＳｔ１に戻る。

【0073】

一方、監視カメラ１の現在の画角内の撮像画像中の遠方の観察対象となる被写体（対象エリア）およびその撮像画像全体のそれぞれの通常時（つまり霧あるいは靄が発生していない時）の空間周波数の算出結果がメモリ１３に登録されている場合（Ｓｔ４、ＮＯ）、ＡＩプロセッサ１５は、既にメモリ１３に登録された初期登録時と現時点とでの対象エリアあるいは撮像画像全体の空間周波数の特定の高域空間周波数の変化量（減少量）がメモリ１３に保存されている第１の閾値Ａ（図６参照）以上であるか否かを判定する（Ｓｔ６）。高域空間周波数の変化量（減少量）が第１の閾値Ａ未満であるとＡＩプロセッサ１５により判定された場合（Ｓｔ６、ＮＯ）、プロセッサ１４は、ステップＳｔ１で入力された撮像画像のデータをそのまま出力する（Ｓｔ７）。

【0074】

一方、ＡＩプロセッサ１５は、高域空間周波数の変化量（減少量）が第１の閾値Ａ以上であると判定した場合（Ｓｔ６、ＹＥＳ）、ステップＳｔ１で入力された撮像画像中に霧あるいは靄が発生していると判定する（Ｓｔ８）。ＡＩプロセッサ１５は、ステップＳｔ８での判定結果をプロセッサ１４に返す。なお、ステップＳｔ３～ステップＳｔ８はプロセッサ１４で実施されてもよい。

【0075】

図８において、プロセッサ１４は、ステップＳｔ８での判定結果に基づいて、可視光カットフィルタＣＦ１を有効としてＩＲカットフィルタＣＦ２を開放するための制御信号を生成してフィルタ駆動部ＦＭ１に送る（Ｓｔ１１）。

【0076】

プロセッサ１４は、ステップＳｔ１１の後、既にメモリ１３に登録された初期登録時と現時点（例えばステップＳｔ１で撮像画像のデータが入力された時）とでの対象エリアあるいは撮像画像全体の空間周波数の特定の高域空間周波数の変化量（減少量）がメモリ１３に保存されている第２の閾値Ｂ（図６参照）以上であるか否かを判定する（Ｓｔ１２）。

【0077】

プロセッサ１４は、高域空間周波数の変化量（減少量）が第２の閾値Ｂ以上であると判定した場合には（Ｓｔ１２、ＹＥＳ）、撮像画像のサイズ全体について、撮像素子１２により取得される、近赤外光の波長帯域の光に対応するＢ信号の画素値のみを用いてモノクロの撮像画像のデータを生成する（Ｓｔ１３）。

【0078】

一方、プロセッサ１４は、高域空間周波数の変化量（減少量）が第２の閾値Ｂ未満であると判定した場合には（Ｓｔ１２、ＮＯ）、撮像画像のサイズ全体について、撮像素子１２により取得される、特定波長以上の波長を有する光に対応するＲＧＢ信号の画素値を用いてモノクロの撮像画像のデータを生成する（Ｓｔ１４）。

【0079】

図９は、図８の画像処理動作手順により生成された画像ＰＩＣ３の一例を示す図である。図９に示す画像ＰＩＣ３は、例えば近赤外光の波長帯域の光に対応するＢ信号の画素値のみ、あるいは特定波長以上の波長を有する光に対応するＲＧＢ信号の画素値を用いて生成されている。つまり、いずれにしても霧あるいは靄が発生している状況下で水蒸気で散乱され易い波長帯（例えば特定波長未満の波長）の光は撮像素子１２での撮像に使用されないので、遠方の監視領域（例えば対象エリアＡＲ２）が鮮明となる画像ＰＩＣ３が得られる。

【0080】

以上により、実施の形態１に係る監視カメラ１は、複数の画素を有して構成され、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを画素ごとに取得する撮像素子１２と、被写体と撮像素子１２との間に配置され、被写体からの光のうち特定波長以上の波長を有する特定波長光（例えば５６０±２０［ｎｍ］以上の波長を有する光）を通過する光学フィルタ（例えば可視光カットフィルタＣＦ１）と、特定波長光に対応する画素ごとの青色成分信号、赤色成分信号および緑色成分信号と特定波長光に対応する画素ごとの青色成分信号とのうちいずれかに基づいて、被写体の撮像画像を生成して出力するプロセッサ１４と、を備える。

【0081】

これにより、監視カメラ１は、撮像された被写体の画像の画質を劣化させる現象（例えば霧あるいは靄等の気象現象）が発生した場合でも、霧あるいは靄を構成する水蒸気で散乱されやすい波長帯の光（つまり特定波長未満の波長を有する光）を遮断するので、被写体の画像の画質を改善して観察業務（例えば監視カメラ１の設置場所からリモート（遠隔）で遠方の被写体を監視すること）の効率化を図ることができる。

【0082】

また、監視カメラ１は、撮像素子１２により撮像される画像の注目領域（例えば遠方の監視エリア）を特定する第２プロセッサ（例えばＡＩプロセッサ１５）をさらに備える。プロセッサ１４は、特定された注目領域で霧あるいは靄が発生しているか否かを判定した場合に、注目領域に発生している霧あるいは靄の程度に応じて、特定波長光に対応する画素ごとの青色成分信号、赤色成分信号および緑色成分信号と特定波長光に対応する画素ごとの青色成分信号とのうちいずれかを選択する。これにより、監視カメラ１は、例えばＡＩ演算処理部１５１によって検知される霧あるいは靄の程度（例えば濃さ）の状況に応じて、適応的に霧あるいは靄の影響を軽減した高画質な撮像画像を生成できる。

【0083】

また、プロセッサ１４もしくは第２プロセッサ（例えばＡＩプロセッサ１５）は、注目領域の画像部分の高域空間周波数の減少量（変化量）が第１の閾値Ａ以上である場合に、注目領域に霧あるいは靄が発生していると判定する。これにより、監視カメラ１は、入力された撮像画像における既定の高域空間周波数の減少量と第１の閾値Ａとの比較に応じて、観察対象となる注目領域に霧あるいは靄の発生の有無を簡易に判定できる。

【0084】

また、第２プロセッサ（例えばＡＩプロセッサ１５）は、学習処理により形成された人工知能を用いた学習済みモデルに基づいて、注目領域に霧あるいは靄が発生しているか否かを判定する。これにより、監視カメラ１は、既存のＡＩ技術（例えばセグメンテーション技術）を用いて観察対象となる注目領域に霧あるいは靄の発生の有無を高精度かつ簡易に判定できる。

【0085】

また、実施の形態１において、特定波長は例えば５６０±２０［ナノメートル］である。これにより、例えば５６０±２０［ｎｍ］未満の波長を有する光が霧あるいは靄を構成する水蒸気で散乱され易いという特性を利用して、監視カメラ１は、霧あるいは靄の影響を軽減した鮮明度の高い撮像画像を生成できる。

【0086】

また、監視カメラ１は、被写体からの光のうち近赤外光を通過する第２光学フィルタ（例えばＩＲカットフィルタＣＦ２）をさらに備える。プロセッサ１４は、所定の条件（例えば昼間において霧および靄のいずれも発生していない状態）を満たす場合に、第２光学フィルタを通過した光に基づいて、被写体の撮像画像を生成する。これにより、監視カメラ１は、昼間に霧および靄のいずれも発生していない状態では、ＩＲ光をカットして撮像できるので高精度なカラーＲＧＢ信号を用いた撮像画像を生成できる。

【0087】

（実施の形態２）
実施の形態１では、可視光カットフィルタＣＦ１を通過する特定波長（例えば５６０［ｎｍ］）以上の波長を有する光のみを用いて霧あるいは靄の影響を軽減可能な撮像画像を生成する例を説明した。実施の形態２では、可視光カットフィルタＣＦ１を使用せず、主に信号処理によって霧あるいは靄の影響を軽減可能な撮像画像を生成する例を説明する。実施の形態２に係る監視カメラ１は、図２に示すハードウェア構成例において可視光カットフィルタＣＦ１が省略された構成を有する。このため、実施の形態２に係る監視カメラ１のハードウェア構成の説明について、実施の形態１と同一の内容の説明は簡略化あるいは省略し、異なる内容について説明する。

【0088】

次に、実施の形態２に係る監視カメラ１のプロセッサ１４による霧あるいは靄が発生している状態ＣＯＮ３での撮像画像の生成に関する動作概要について、図１０および図６を参照して説明する。図１０は、実施の形態２に係る監視カメラ１の動作概要例を示す図である。図１０に示すグラフＧＰＨ１では、横軸が波長［ｎｍ］、縦軸が感度を示す撮像素子１２の分光感度特性が示されている。グラフＧＰＨ１の下部には、色相レンジＣＬＢ１と、撮像画像のデータ生成に用いる各種の特性ＰＲＹ２とが示されている。なお、図１０の説明において、図３と同一の要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

【0089】

実施の形態２では、プロセッサ１４は、撮像画像のデータを生成する際、霧あるいは靄の影響を軽減した撮像画像の輝度信号を構成するために、実施の形態１で参照して説明した特定波長（例えば５６０±２０［ｎｍ］）以上の波長を有する光に対応するＲ信号を選択する。また、プロセッサ１４は、撮像画像のデータを生成する際、ＲＧＢ信号で撮像された撮像画像中の赤色部分にオレンジあるいは赤に着色し、かつ同じ撮像画像中の空、海、山等の青色あるいは緑色の背景部分にはモノクロ（白黒）とすることで、オレンジあるいは赤等の注目色部分にのみ着色した撮像画像を生成する。

【0090】

つまり、実施の形態２では可視光カットフィルタＣＦ１は省略されているため、色相レンジＣＬＢ１に示される波長帯の波長を有する光（例えばＵＶ光からＩＲ光）が撮像素子１２に入射する。ただ特定波長（例えば５６０±２０［ｎｍ］）未満の波長を有する光は霧あるいは靄を構成する水蒸気で散乱され易いため、実施の形態２では可視光カットフィルタＣＦ１は使用しないが、プロセッサ１４は、撮像画像の輝度信号を構成するために、撮像素子１２に入射する光の波長帯のうち特定波長（上述参照）以上の波長を有する光を選択して使用する。具体的には、特定波長（上述参照）以上に高い感度を有するＲ信号が使用される。

【0091】

また、プロセッサ１４は、撮像素子１２に入射する光（つまり、色相レンジＣＬＢ１に示される波長帯の波長を有する光（例えばＵＶ光からＩＲ光））に対応する信号の色相を確認し、赤色部分にはオレンジあるいは赤で着色し、赤色ではない他の色部分（例えば上述した空、海、山等の青色部分もしくは緑色部分）にはモノクロとする着色処理を施す。これにより、プロセッサ１４は、カラーのＲＧＢ信号のうち赤色部分等の注目領域（例えば画角内にいる人物が着用しているライフジャケット）に赤色あるいはオレンジ色の着色を付与できて目立たせたり注意喚起を促したりすることが可能な撮像画像を生成できる。

【0092】

次に、実施の形態２に係る監視カメラ１の動作手順例について、図７および図１１を参照して説明する。図１１は、実施の形態２に係る監視カメラ１の霧あるいは靄が発生している間の画像処理動作手順例を時系列的に示すフローチャートである。なお、監視カメラ１の霧あるいは靄の発生有無の判定動作手順は図７と同一であるため、ここでは説明を省略する。

【0093】

図１１において、プロセッサ１４は、ステップＳｔ８での判定結果に基づいて、ＩＲカットフィルタＣＦ２を開放するための制御信号を生成してフィルタ駆動部ＦＭ１に送る（Ｓｔ２１）。プロセッサ１４は、撮像素子１２により取得された画素ごとのＲＧＢ信号のうちＲ信号（Ｒ画素）のみを抽出して撮像画像の輝度信号（輝度レベル）を生成する（Ｓｔ２２）。また、プロセッサ１４は、撮像素子１２により取得された画素ごとのＲＧＢ信号の画素値（ＲＧＢ画素値）をＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｂｒｉｇｈｔｎｅｓｓ）空間の各値（つまり色相値、彩度値、明度値）に変換する（Ｓｔ２３）。

【0094】

プロセッサ１４は、ステップＳｔ２３において変換された画素ごとの色相値がオレンジあるいは赤の領域であるか否かを判定する（Ｓｔ２４）。プロセッサ１４は、その画素における色相値がオレンジあるいは赤の領域であると判定した場合には（Ｓｔ２４、ＹＥＳ）、その画素について赤色を着色した画素の画像を生成する（Ｓｔ２５）。一方、プロセッサ１４は、その画素における色相値がオレンジおよび赤のいずれの領域でもないと判定した場合には（Ｓｔ２４、ＮＯ）、その画素には着色せずにモノクロ（白黒）とした画素の画像を生成する（Ｓｔ２６）。

【0095】

プロセッサ１４は、ステップＳｔ２５あるいはステップＳｔ２６の後、全ての画素についてステップＳｔ２５あるいはステップＳｔ２６の処理を施したか否かを判定する（Ｓｔ２７）。全ての画素についてステップＳｔ２５あるいはステップＳｔ２６の処理を施していないと判定された場合には（Ｓｔ２７、ＮＯ）、プロセッサ１４の処理はステップＳｔ２４に戻る。つまり、全ての画素についてステップＳｔ２５あるいはステップＳｔ２６の処理を施すまで、プロセッサ１４は、各画素についてステップＳｔ２５あるいはステップＳｔ２６の処理を繰り返して実行する。

【0096】

一方、プロセッサ１４は、全ての画素についてステップＳｔ２５あるいはステップＳｔ２６の処理を施したと判定した場合（Ｓｔ２７、ＹＥＳ）、全ての画素のそれぞれごとにステップＳｔ２５あるいはステップＳｔ２６の処理後の画像を合成することで撮像画像のデータ（図９参照）を生成する（Ｓｔ２８）。

【0097】

以上により、実施の形態２に係る監視カメラ１は、複数の画素を有して構成され、霧あるいは靄を介して入射される被写体からの光に対応する青色成分信号、赤色成分信号および緑色成分信号のそれぞれを画素ごとに取得する撮像素子１２と、被写体からの光に対応する画素ごとの赤色成分信号（Ｒ信号）に基づいて輝度信号を生成するとともに、被写体からの光に対応する画素ごとの青色成分信号、赤色成分信号および緑色成分信号に基づいて特定の色相（例えばオレンジあるいは赤）に対応する色（例えば赤色）を着色した第１画素信号（赤色が着色された画素の画像）と特定の色相（例えばオレンジあるいは赤）に対応する色（例えば赤色）が着色されない第２画素信号（例えばモノクロの画素の画像）とを生成するプロセッサ１４とを備える。プロセッサ１４は、輝度信号と第１画素信号と第２画素信号とに基づいて、被写体の撮像画像を生成して出力する。

【0098】

これにより、監視カメラ１は、撮像された被写体の画像の画質を劣化させる現象（例えば霧あるいは靄等の気象現象）が発生した場合でも、実施の形態１と違って可視光カットフィルタＣＦ１を有さずとも霧あるいは靄を構成する水蒸気で散乱されやすい波長帯の光（つまり特定波長未満の波長を有する光）を遮断するので、被写体の画像の画質を改善して観察業務の効率化を図ることができる。

【0099】

また、監視カメラ１は、撮像素子１２により撮像される画像の注目領域（例えば遠方の監視エリア）を特定する第２プロセッサ（例えばＡＩプロセッサ１５）をさらに備える。プロセッサ１４は、特定された注目領域で霧あるいは靄が発生している場合に、輝度信号、第１画素信号および第２画素信号を生成する。これにより、監視カメラ１は、例えばＡＩ演算処理部１５１によって検知される霧あるいは靄が検知された場合に、霧あるいは靄の影響を軽減した高画質な撮像画像を生成できる。

【0100】

また、プロセッサ１４もしくは第２プロセッサ（例えばＡＩプロセッサ１５）は、注目領域の画像部分の高域空間周波数の減少量が第１の閾値Ａ以上である場合に、注目領域に霧あるいは靄が発生していると判定する。これにより、監視カメラ１は、入力された撮像画像における既定の高域空間周波数の減少量と第１の閾値Ａとの比較に応じて、観察対象となる注目領域に霧あるいは靄の発生の有無を簡易に判定できる。

【0101】

また、第２プロセッサ（例えばＡＩプロセッサ１５）は、学習処理により形成された人工知能を用いた学習済みモデルに基づいて、注目領域に前記霧あるいは靄が発生しているか否かを判定する。これにより、監視カメラ１は、既存のＡＩ技術（例えばセグメンテーション技術）を用いて観察対象となる注目領域に霧あるいは靄の発生の有無を高精度かつ簡易に判定できる。

【0102】

また、監視カメラ１は、被写体からの光のうち近赤外光を通過する第２光学フィルタ（例えばＩＲカットフィルタＣＦ２）をさらに備える。プロセッサ１４は、所定の条件（例えば昼間において霧および靄のいずれも発生していない状態）を満たす場合に、第２光学フィルタを通過した光に基づいて、被写体の撮像画像を生成する。これにより、監視カメラ１は、昼間に霧および靄のいずれも発生していない状態では、ＩＲ光をカットして撮像できるので高精度なカラーＲＧＢ信号を用いた撮像画像を生成できる。

【0103】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0104】

本開示は、撮像された被写体の画像の画質を劣化させる現象が発生した場合でも、被写体の画像の画質を改善して観察業務の効率化を図る監視カメラ、画像処理方法、およびプログラムとして有用である。

【符号の説明】

【0105】

１ 監視カメラ
１１ レンズ
１２ 撮像素子
１３、５３ メモリ
１４、５２ プロセッサ
１５ ＡＩプロセッサ
１５１ ＡＩ演算処理部
１５２ 学習モデルメモリ
１６、５１ 通信ＩＦ回路
１７ ＩＲ照明部
１８ 外部記憶媒体ＩＦ
５０ サーバ
５４ データベース
１００ 監視カメラシステム
ＦＭ１ フィルタ駆動部
ＬＭ１ レンズ駆動部
Ｍ１ 外部記憶媒体
ＰＴＭ１ パンチルト駆動部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】