特許 6862905 画像処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6862905

(24)【登録日】2021年4月5日

(45)【発行日】2021年4月21日

(54)【発明の名称】画像処理装置およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210412BHJP

   G09G 5/36 20060101ALI20210412BHJP

   G09G 5/00 20060101ALI20210412BHJP

   H04N 7/18 20060101ALI20210412BHJP

【ＦＩ】

   G06T7/20 300Z

   G09G5/36 510M

   G09G5/00 550H

   G09G5/00 550B

   G09G5/00 510H

   H04N7/18 D

   H04N7/18 K

【請求項の数】15

【全頁数】34

(21)【出願番号】特願2017-32855(P2017-32855)

(22)【出願日】2017年2月24日

(65)【公開番号】特開2018-136895(P2018-136895A)

(43)【公開日】2018年8月30日

【審査請求日】2019年11月15日

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】塚本 明利

(72)【発明者】

【氏名】渡辺 孝弘

(72)【発明者】

【氏名】渡邉 孝光

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００２−３１２７６９（ＪＰ，Ａ）

【文献】 特開２００６−１６３６１４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０９Ｇ ５／００−５／４０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、
を備え、
前記パラメータ特定部は、
前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定する、
画像処理装置。

【請求項2】

前記パラメータ特定部は、
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定する、
請求項１に記載の画像処理装置。

【請求項3】

先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、
を備え、
前記パラメータ特定部は、
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定する、
画像処理装置。

【請求項4】

前記画像処理装置は、
前記判定用パラメータを用いて、前記撮像動画像に前記事象が生じているか否かを判定する状態判定部を備える、
請求項１〜３のいずれか一項に記載の画像処理装置。

【請求項5】

前記画像処理装置は、
前記撮像動画像に前記事象が生じていると判定された場合、前記事象の検知結果の表示を制御する検知結果表示制御部を備える、
請求項１〜４のいずれか一項に記載の画像処理装置。

【請求項6】

前記パラメータ特定部は、
前記入力動画像に基づいて、第１の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第１の平均特徴量として算出するとともに前記第１の時間範囲よりも短い第２の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第２の平均特徴量として算出し、前記第１の平均特徴量と前記第２の平均特徴量とに応じた所定の演算結果と閾値との関係に基づいて、前記入力動画像に前記事象が生じているか否かを判定する、
請求項１〜５のいずれか一項に記載の画像処理装置。

【請求項7】

前記判定用パラメータは、前記第１の時間範囲、前記第２の時間範囲、および、前記閾値の少なくともいずれか一つを含む、
請求項６に記載の画像処理装置。

【請求項8】

前記判定用パラメータは、前記オプティカルフローが算出される時間的な密度、および、前記オプティカルフローが算出される空間的な密度の少なくともいずれか一つを含む、
請求項６に記載の画像処理装置。

【請求項9】

前記画像処理装置は、
前記撮像動画像に基づいて検出されたオプティカルフローに応じた表示を制御するオプティカルフロー表示制御部と、
前記判定用パラメータの変更操作が入力された場合、前記判定用パラメータを変更するパラメータ変更部と、
を備える、請求項１〜８のいずれか一項に記載の画像処理装置。

【請求項10】

前記パラメータ特定部は、
過去に使用されたパラメータが記録されている場合、前記過去に使用されたパラメータを用いて、前記入力動画像に前記過去に使用されたパラメータに対応する事象が生じているか否かを判定し、
前記画像処理装置は、
前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていないと判定された場合、または、
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていると判定された場合、
前記過去に使用されたパラメータおよび前記過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御するパラメータ情報表示制御部を備える、
請求項１〜９のいずれか一項に記載の画像処理装置。

【請求項11】

前記過去に使用されたパラメータに関連する情報は、前記過去に使用されたパラメータを用いて判定がなされた事象の種類、前記判定に使用された動画像を撮像した撮像装置による撮像距離、および、前記撮像装置の画角の少なくともいずれか一つを含む、
請求項１０に記載の画像処理装置。

【請求項12】

前記パラメータ特定部は、
前記過去に使用されたパラメータの選択操作が入力された場合、前記過去に使用されたパラメータを前記判定用パラメータとして特定する、
請求項１０または１１に記載の画像処理装置。

【請求項13】

前記パラメータ特定部は、
前記入力動画像上に設けた領域ごとの前記事象に基づいて、前記領域ごとに前記判定用パラメータを特定する、
請求項１〜１２のいずれか一項に記載の画像処理装置。

【請求項14】

コンピュータを、
先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、
を備え、
前記パラメータ特定部は、
前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定する、
画像処理装置として機能させるためのプログラム。

【請求項15】

コンピュータを、
先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、
を備え、
前記パラメータ特定部は、
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定する、
画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置およびプログラムに関する。

【背景技術】

【0002】

従来、撮像装置によって撮像された動画像に基づいて、撮像された動画像（撮像動画像）に所定の事象が生じているか否かを判定する技術が知られている。例えば、撮像動画像に写る被写体の動きを検出し、被写体の動きと所定のパラメータとを比較することによって、撮像動画像に所定の事象が生じているか否かを判定する技術が知られている（例えば、特許文献１参照）。かかる技術においては、撮像装置の設置場所、および、１秒あたりの撮像フレーム数に従って、パラメータが選択される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−２４８０９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮像装置によって撮像された動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術が提供されることが望まれる。例えば、パラメータの特定をより適切に行うことによって、より適切に特定したパラメータに基づいて、動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術が提供されることが望まれる。

【課題を解決するための手段】

【0005】

上記問題を解決するために、本発明のある観点によれば、先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、を備える、画像処理装置が提供される。

【0006】

前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定し、前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定してよい。

【0007】

前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定してよい。

【0008】

前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータを、前記判定用パラメータとして特定してよい。

【0009】

前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定してよい。

【0010】

前記画像処理装置は、前記判定用パラメータを用いて、前記撮像動画像に前記事象が生じているか否かを判定する状態判定部を備えてよい。

【0011】

前記画像処理装置は、前記撮像動画像に前記事象が生じていると判定された場合、前記事象の検知結果の表示を制御する検知結果表示制御部を備えてよい。

【0012】

前記パラメータ特定部は、前記入力動画像に基づいて、第１の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第１の平均特徴量として算出するとともに前記第１の時間範囲よりも短い第２の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第２の平均特徴量として算出し、前記第１の平均特徴量と前記第２の平均特徴量とに応じた所定の演算結果と閾値との関係に基づいて、前記入力動画像に前記事象が生じているか否かを判定してよい。

【0013】

前記判定用パラメータは、前記第１の時間範囲、前記第２の時間範囲、および、前記閾値の少なくともいずれか一つを含んでよい。

【0014】

前記判定用パラメータは、前記オプティカルフローが算出される時間的な密度、および、前記オプティカルフローが算出される空間的な密度の少なくともいずれか一つを含んでよい。

【0015】

前記画像処理装置は、前記撮像動画像に基づいて検出されたオプティカルフローに応じた表示を制御するオプティカルフロー表示制御部と、前記判定用パラメータの変更操作が入力された場合、前記判定用パラメータを変更するパラメータ変更部と、を備えてよい。

【0016】

前記パラメータ特定部は、過去に使用されたパラメータが記録されている場合、前記過去に使用されたパラメータを用いて、前記入力動画像に前記過去に使用されたパラメータに対応する事象が生じているか否かを判定し、前記画像処理装置は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていないと判定された場合、または、前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていると判定された場合、前記過去に使用されたパラメータおよび前記過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御するパラメータ情報表示制御部を備えてよい。

【0017】

前記過去に使用されたパラメータに関連する情報は、前記過去に使用されたパラメータを用いて判定がなされた事象の種類、前記判定に使用された動画像を撮像した撮像装置による撮像距離、および、前記撮像装置の画角の少なくともいずれか一つを含んでよい。

【0018】

前記パラメータ特定部は、前記過去に使用されたパラメータの選択操作が入力された場合、前記過去に使用されたパラメータを前記判定用パラメータとして特定してよい。

【0019】

前記パラメータ特定部は、前記入力動画像上に設けた領域ごとの前記事象に基づいて、前記領域ごとに前記判定用パラメータを特定してよい。

【0020】

また、本発明の別の観点によれば、コンピュータを、先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、を備える、画像処理装置として機能させるためのプログラムが提供される。

【発明の効果】

【0021】

以上説明したように本発明によれば、撮像装置によって撮像された動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術が提供される。

【図面の簡単な説明】

【0022】

【図1】第１の実施形態に係る画像処理システムの構成例を示す図である。

【図2】第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図3】車両走行ルートの変化が時系列に沿って撮像装置によって撮像された複数の画像の例を示す図である。

【図4】状態判定部の機能を説明するための図である。

【図5】判定用パラメータの例を示す図である。

【図6】判定用パラメータを特定する手法の第１の例を説明するための図である。

【図7】判定用パラメータを特定する手法の第２の例を説明するための図である。

【図8】判定用パラメータを特定する手法の第３の例を説明するための図である。

【図9】判定用パラメータを特定する手法の第４の例を説明するための図である。

【図10】第１の実施形態に係る画像処理システムにおける判定用パラメータ特定の動作例を示すフローチャートである。

【図11】異常検知領域の表示例を示す図である。

【図12】第１の実施形態に係る画像処理システムにおける状態判定の動作例を示すフローチャートである。

【図13】第２の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図14】オプティカルフローの表示例を示す図である。

【図15】第２の実施形態に係る画像処理システムにおける判定用パラメータ変更の動作例を示すフローチャートである。

【図16】第３の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図17】過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報の例を示す図である。

【図18】過去に使用されたパラメータを用いた判定結果の例を示す図である。

【図19】過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報の表示例を示す図である。

【図20】第４の実施形態に係る画像処理装置の機能構成例を示すブロック図である。

【図21】領域ごとの座標と事象の種類との対応関係の例を示す図である。

【図22】第４の実施形態に係る画像処理システムにおける判定用パラメータ特定の動作例を示すフローチャートである。

【図23】本発明の実施形態に係る画像処理装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0023】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0024】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

【0025】

（０．概要）
まず、本実施形態の概要について説明する。一般的に、撮像装置によって撮像された動画像に基づいて、撮像された動画像（撮像動画像）に所定の事象が生じているか否かを判定する技術が知られている。例えば、撮像動画像に写る被写体の動きを検出し、被写体の動きと所定のパラメータとを比較することによって、撮像動画像に所定の事象が生じているか否かを判定する技術が知られている（例えば、特許文献１参照）。かかる技術においては、撮像装置の設置場所、および、１秒あたりの撮像フレーム数に従って、パラメータが選択される。

【0026】

しかし、本明細書においては、撮像装置によって撮像された動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術について主に説明する。例えば、特許文献１に記載された技術においては、試行錯誤しながらパラメータを特定する必要があるため、パラメータの特定に手間が掛かってしまう。本明細書においては、パラメータの特定をより適切に行うことによって、より適切に特定したパラメータに基づいて、動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術について主に説明する。

【0027】

以上、本実施形態の背景について説明した。

【0028】

（１．第１の実施形態）
続いて、第１の実施形態について説明する。

【0029】

［１−１．システムの概要］
まず、第１の実施形態に係る画像処理システムの構成例について説明する。

【0030】

図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。図１に示すように、第１の実施形態に係る画像処理システム１Ａは、画像処理装置１０Ａと、撮像装置３０とを備える。なお、後に説明する第２の実施形態に係る画像処理システム１Ｂは、画像処理装置１０Ａの代わりに画像処理装置１０Ｂを備え、第３の実施形態に係る画像処理システム１Ｃは、画像処理装置１０Ａの代わりに画像処理装置１０Ｃを備え、第４の実施形態に係る画像処理システム１Ｄは、画像処理装置１０Ａの代わりに画像処理装置１０Ｄを備える。

【0031】

図１に示すように、画像処理装置１０Ａおよび撮像装置３０は、有線または無線により通信を行うことが可能である。例えば、画像処理装置１０Ａおよび撮像装置３０は、直接接続されていてもよいし、ネットワークを介して接続されていてもよい。画像処理装置１０Ａおよび撮像装置３０がネットワークを介して接続されている場合、かかるネットワークの種類は特に限定されない。例えば、かかるネットワークは、インターネットを含んでいてよい。あるいは、撮像装置３０は、画像処理装置１０Ａと別体ではなく、一体化されていてもよい。

【0032】

撮像装置３０は、検出対象領域を含んだ撮像範囲を連続的に撮像して動画像を得る。ここで、撮像装置３０が設置される位置は限定されない。また、検出対象領域は、撮像範囲の全体であってもよいし、一部であってもよい。なお、本明細書においては、撮像装置３０が固定カメラである場合を主に想定する。しかし、撮像装置３０は可動カメラであってもよい。例えば、撮像装置３０は、ＰＴＺ（パン・チルト・ズーム）カメラであってもよい。撮像装置３０によって撮像された動画像は、画像処理装置１０Ａに提供される。

【0033】

画像処理装置１０Ａは、撮像装置３０から提供された動画像を取得する。そして、画像処理装置１０Ａは、撮像装置３０から提供された動画像に基づいて、動画像に所定の事象が生じているか否かを判定する。所定の事象は特に限定されない。本明細書においては、所定の事象の例として、車両走行ルートの変化（例えば、避走など）を主に想定する。しかし、所定の事象は、他の車両走行ルートの変化（例えば、逆走など）であってもよい。

【0034】

あるいは、所定の事象は、車両走行ルートの変化以外の何らかの変化（例えば、正常時に規則的な動きを示すものが、異常時に示す規則に反した動きなど）であってもよい。例えば、車両走行ルートの変化は、ベルトコンベア上を搬送される物品の動きの変化に置き換えられてもよいし、人々の流れ（例えば、初詣に参拝する人々の流れなど）の変化に置き換えられてもよい。あるいは、所定の事象は、何らかの自然現象（例えば、土石流、落下物、がけ崩れ、津波、噴火など）であってもよい。なお、以下の説明においては、動画像に所定の事象が生じている状態を「動画像に異常が生じている」や「動画像が異常である」などとも言い、所定の事象が生じている状態の動画像を「異常が生じている動画像」などとも言う。また動画像に所定の事象が生じていない状態を「動画像に異常が生じていない」や「動画像が正常である」などとも言い、所定の事象が生じていない状態の動画像を「異常が生じていない動画像（正常な動画像）」などとも言う。

【0035】

このとき、画像処理装置１０Ａは、動画像に所定の事象が生じているか否かを判定するための判定用パラメータを特定する。画像処理装置１０Ａは、判定用パラメータを用いて、動画像に所定の事象が生じているか否かを判定する。また、画像処理装置１０Ａは、所定の事象が生じている領域を検知結果として出力することが可能である。なお、画像処理装置１０Ａによる判定の詳細については、後に詳細に説明する。

【0036】

なお、図１に示した例では、画像処理装置１０Ａおよび撮像装置３０がそれぞれ一つずつ存在する。しかし、画像処理装置１０Ａおよび撮像装置３０は、それらのいずれか一方が複数存在してもよいし、それらの双方それぞれが複数ずつ存在してもよい。すなわち、画像処理装置１０Ａおよび撮像装置３０それぞれの数は特に限定されない。

【0037】

以上、第１の実施形態に係る画像処理システム１Ａの構成例について説明した。

【0038】

［１−２．画像処理装置の機能構成例］
続いて、第１の実施形態に係る画像処理装置１０Ａの機能構成例について説明する。図２は、第１の実施形態に係る画像処理装置１０Ａの機能構成例を示すブロック図である。図２に示すように、第１の実施形態に係る画像処理装置１０Ａは、制御部１１０Ａ、操作部１２０、通信部１３０、記憶部１４０および表示部１５０を備える。

【0039】

制御部１１０Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、記憶部１４０により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部１１０Ａは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

【0040】

操作部１２０は、ユーザから入力される操作を受け付ける。また、操作部１２０は、ユーザから受け付けた操作を制御部１１０Ａに提供することが可能である。本明細書においては、操作部１２０がタッチパネルである場合を主に想定するが、操作部１２０はタッチパネル以外の入力装置（例えば、ボタンなど）であってもよい。

【0041】

通信部１３０は、撮像装置３０との間で通信を行うための通信インタフェースである。上記したように、本明細書においては、通信部１３０が有線による通信を行う場合を主に想定するが、通信部１３０は、無線による通信を行ってもよい。

【0042】

記憶部１４０は、制御部１１０Ａを動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部１４０は、制御部１１０Ａの動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。

【0043】

表示部１５０は、制御部１１０Ａによる制御に従って出力を行う機能を有する。例えば、表示部１５０は、制御部１１０Ａによる検知結果を出力することが可能である。ここで、表示部１５０の形態は特に限定されない。例えば、表示部１５０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの表示装置であってよい。

【0044】

なお、図２に示した例では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０が、画像処理装置１０Ａの内部に設けられている。しかし、これらの機能部の一部または全部は、画像処理装置１０Ａの外部に設けられていてもよい。ここで、制御部１１０Ａは、データ取得部１１１、パラメータ特定部１１２Ａ、状態判定部１１３および検知結果表示制御部１１４を備える。制御部１１０Ａが備えるこれらの各機能部の詳細については、後に説明する。

【0045】

以上、第１の実施形態に係る画像処理装置１０Ａの機能構成例について説明した。

【0046】

［１−３．機能詳細］
続いて、画像処理システム１Ａの機能詳細について説明する。まず、撮像装置３０によって撮像された動画像（撮像動画像）に所定の事象が生じているか否かを判定する手法の例として、動画像に車両走行ルートの変化（例えば、避走など）が発生したか否かを判定する例を説明する。しかし、上記したように、動画像に所定の事象が生じているか否かの判定は、動画像に車両走行ルートの変化（例えば、避走など）が発生したか否かの判定に限定されない。

【0047】

図３は、車両走行ルートの変化が時系列に沿って撮像装置３０によって撮像された複数の画像の例を示す図である。図３を参照すると、撮像装置３０によって時系列に沿って撮像された複数の画像の例が示されている。より具体的には、時刻の古いほうから順に、時刻Ｔ２１において画像Ｇ２１が撮像され、時刻Ｔ２２において画像Ｇ２２が撮像され、時刻Ｔ２３において画像Ｇ２３が撮像され、時刻Ｔ２４において画像Ｇ２４が撮像されている。

【0048】

ここでは、検出対象領域が画像の全体領域である場合を例として主に説明する。しかし、検出対象領域は、画像の全体領域に限定されない。例えば、検出対象領域は、画像の一部の領域であってもよい。図３を参照すると、画像Ｇ２１には、規則的な動きを示す車両が写っている。一方、画像Ｇ２２には、土砂Ｋ２によって道路の一部が塞がれてしまったために、その土砂Ｋ２を避けるように走行する車両の動きが不規則になっている様子が写っている。画像Ｇ２３および画像Ｇ２４にも、不規則な動きを示す車両が写っている。

【0049】

なお、図３に示した画像Ｇ２１〜Ｇ２４は、撮像装置３０によって撮像された動画像の一部に過ぎない。したがって、画像Ｇ２１〜Ｇ２４の間（具体的には、画像Ｇ２１と画像Ｇ２２との間、画像Ｇ２２と画像Ｇ２３との間、画像Ｇ２３と画像Ｇ２４との間）には、撮像装置３０によって撮像された他の画像が存在する。撮像装置３０によって動画像が撮像されると、撮像装置３０によって撮像された動画像は、撮像動画像として画像処理装置１０Ａに提供される。

【0050】

画像処理装置１０Ａにおいては、通信部１３０が撮像動画像を受信すると、データ取得部１１１が撮像動画像を取得する。状態判定部１１３は、データ取得部１１１によって取得された撮像動画像に異常が生じているか否かを判定する。なお、本明細書においては、状態判定部１１３が、パラメータ特定部１１２Ａによって特定された判定用パラメータを用いて、撮像動画像に異常が生じているか否かを判定する場合を想定する。パラメータ特定部１１２Ａによる判定用パラメータの特定については、後に詳細に説明する。

【0051】

図４は、状態判定部１１３の機能を説明するための図である。図４を参照すると、通信部１３０によって受信された撮像動画像Ｇ２の例が示されている。撮像動画像Ｇ２には、図３に示した画像Ｇ２１〜Ｇ２４も含まれている。図４に示した例においては、撮像動画像Ｇ２に含まれる複数の画像のうち、撮像時刻が新しい画像ほど右側に示されている。状態判定部１１３は、図４に示すように、撮像動画像Ｇ２のうち、隣接する２つの画像間の動きベクトルをそれぞれ画素ごとに算出することによって、オプティカルフローを検出する。図４には、画素ごとの動きベクトル（オプティカルフロー）の時系列に沿った集合が、動き情報群Ｍ２として示されている。

【0052】

画像処理装置１０Ａにおいて、状態判定部１１３は、第１の時間範囲ｔ２１における動きベクトル（オプティカルフロー）の対応位置ごとの平均値を第１の平均特徴量として算出する。以下では、第１の平均特徴量を「長時間動き平均ベクトル」とも言う。なお、動き平均ベクトルは、動きベクトル（数式１）を用いて、以下の（数式２）のように表現され得る。

【0053】

【数1】

【0054】

【数2】

【0055】

図４を参照すると、長時間動き平均ベクトルＶ２１が示されている。ここで、図面の簡便さのため、図４には、長時間動き平均ベクトルＶ２１として、一部の画素における動き平均ベクトルしか示されていない。しかし、本明細書においては、長時間動き平均ベクトルＶ２１が、第１の時間範囲ｔ２１において対応する画素ごとに算出された動きベクトルの平均値である場合を想定する。

【0056】

一方、状態判定部１１３は、第１の時間範囲ｔ２１よりも短い第２の時間範囲ｔ２３における動きベクトル（オプティカルフロー）の対応位置ごとの平均値を第２の平均特徴量として算出する。以下では、第２の平均特徴量を「短時間動き平均ベクトル」とも言う。

【0057】

図４を参照すると、短時間動き平均ベクトルＶ２３が示されている。ここで、図面の簡便さのため、図４には、短時間動き平均ベクトルＶ２３として、一部の画素における動き平均ベクトルしか示されていない。しかし、本明細書においては、短時間動き平均ベクトルＶ２３が、第２の時間範囲ｔ２３において対応する画素ごとに算出された動きベクトルの平均値である場合を想定する。

【0058】

図４を参照すると、第１の時間範囲ｔ２１と第２の時間範囲ｔ２３とが異なるため、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間には、差分が生じている。さらに、画像に何らかのノイズが含まれていたとしても、そのノイズの大部分は平均化によって相殺されてしまう。そのため、短時間動き平均ベクトルＶ２３にはノイズがほとんど含まれなくなり、撮像動画像Ｇ２に異常が生じているか否かがより高精度に判定される。

【0059】

なお、図４には、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３の終了時点が現在（すなわち、最新の画像が撮像された時点）である例が示されている。しかし、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３の終了時点は、厳密に現在でなくてもよい（すなわち、最新の画像よりも前の画像が撮像された時点）であってもよい。また、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３は、厳密に一致していなくてもよい。すなわち、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３の終了時点は、ずれていてもよい。

【0060】

状態判定部１１３は、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３とに応じた所定の演算結果と閾値との関係に基づいて、撮像動画像Ｇ２に異常が生じているか否かを判定する。例えば、状態判定部１１３は、所定の演算結果が閾値を超える画素が存在する場合に、撮像動画像Ｇ２に異常が生じていると判定する。一方、状態判定部１１３は、所定の演算結果が閾値を超える画素が存在しない場合に、撮像動画像Ｇ２に異常が生じていないと判定する。

【0061】

ここで、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３とに応じた所定の演算は特に限定されない。例えば、所定の演算は、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度（以下、「両ベクトルの間の角度」とも言う。）に応じた量、および、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との差分（以下、「差分ベクトル」とも言う。）の大きさに応じた量のうち、少なくともいずれか一つの演算を含んでもよい。

【0062】

ここで、両ベクトルの間の角度に応じた量は、角度の平均値であってもよいし、角度の分散であってもよい。また、差分ベクトルの大きさに応じた量は、差分ベクトルの大きさの平均値（または合計値）であってもよいし、差分ベクトルの大きさの変化量（例えば、差分ベクトルの大きさの時間による一階微分など）の平均値（または合計値）であってもよいし、差分ベクトルの大きさが所定の大きさを上回る領域（以下、「動き領域」とも言う。）の面積であってもよい。

【0063】

上記したように、本例では、車両走行ルートの変化が異常として判定される場合を想定している。ここで、車両走行ルートの変化などといった規則に反した動きが発生した場合には、動きの方向が変化することが想定される。そこで、規則に反した動きの発生が異常として判定される場合、状態判定部１１３による所定の演算は、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度に応じた量の演算であるのがよい。

【0064】

本例では、状態判定部１１３による所定の演算が、両ベクトルの間の角度の分散の演算である場合を例として主に説明する。ここで、動きベクトルは、（数３）のように表現され、動き平均ベクトル（長時間動き平均ベクトルＶ２１および短時間動き平均ベクトルＶ２３それぞれ）は、（数４）のように表現され、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度の平均値は、（数５）のように表現され、両ベクトルの間の角度の分散は、（数式６）のように表現される。

【0065】

【数3】

【0066】

【数4】

【0067】

【数5】

【0068】

【数6】

【0069】

状態判定部１１３は、所定の演算に基づいて得られた結果（この例では、両ベクトルの間の角度の分散）が閾値を超える画素が存在する場合に、撮像動画像Ｇ２に異常が生じていると判定する。一方、状態判定部１１３は、所定の演算に基づいて得られた結果（この例では、両ベクトルの間の角度の分散）が閾値を超える画素が存在しない場合に、撮像動画像Ｇ２に異常が生じていないと判定する。

【0070】

以上においては、状態判定部１１３による所定の演算が、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度に応じた量の演算である場合を主に説明した。しかし、上記したように、土石流の発生が異常として判定される場合も想定される。ここで、土石流などといった自然現象が発生した場合には、撮像動画像Ｇ２における動きの大きさが変化することが想定される。そこで、自然現象の発生が異常として判定される場合、状態判定部１１３による所定の演算は、差分ベクトルの大きさに応じた量の演算であるのがよい。

【0071】

ここでは、差分ベクトルの大きさに応じた量の演算として、差分ベクトルの大きさの平均値の演算である場合を例として主に説明する。ここで、長時間動き平均ベクトルＶ２１、短時間動き平均ベクトルＶ２３および差分ベクトルの大きさの平均値は、（数式７）のように表現される。

【0072】

【数7】

【0073】

以上において、状態判定部１１３が、撮像動画像に異常が生じているか否かを判定する例を説明した。上記したように、状態判定部１１３は、パラメータ特定部１１２Ａによって特定された判定用パラメータを用いて、撮像動画像に異常が生じているか否かを判定する。ここで、判定用パラメータとしては、様々なパラメータが想定される。以下では、判定用パラメータの例について説明する。

【0074】

図５は、判定用パラメータの例を示す図である。図５に示すように、判定用パラメータの種類としては、上記した第１の時間範囲ｔ２１、上記した第２の時間範囲ｔ２３、（上記した演算結果と比較される）閾値などが想定される。また、図５に示すように、判定用パラメータの種類としては、密度などが想定される。密度は、オプティカルフローが算出される時間的な密度（例えば、１フレームごと、３フレームごとなど）であってもよいし、オプティカルフローが算出される空間的な密度（例えば、１画素ごと、３画素ごとなど）であってもよい。

【0075】

かかる判定用パラメータの値が変化した場合、異常が生じているという判定のされやすさは変化することが想定される。以下では、異常が生じているという判定がされやすいことを「異常判定の条件」が「緩い」とも言う。一方、異常が生じているという判定がされにくいことを「異常判定の条件」が「厳しい」とも言う。

【0076】

例えば、図５に示すように、判定用パラメータが第１の時間範囲ｔ２１である場合、判定用パラメータの値が大きいほど、（第１の時間範囲ｔ２１と第２の時間範囲ｔ２３との差が大きくなりやすくなり、上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。一方、図５に示すように、判定用パラメータが第２の時間範囲ｔ２３である場合、判定用パラメータの値が小さいほど、（第１の時間範囲ｔ２１と第２の時間範囲ｔ２３との差が大きくなりやすくなり、上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。

【0077】

また、図５に示すように、判定用パラメータが閾値である場合、判定用パラメータの値が小さいほど、（上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。一方、図５に示すように、判定用パラメータが密度である場合、判定用パラメータの値が大きいほど、（上記の長時間動き平均ベクトルと上記の短時間動き平均ベクトルとの差が大きくなりやすくなり、上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。

【0078】

以下では、パラメータ特定部１１２Ａが、これらの判定用パラメータの一つを特定する例を説明する。しかし、パラメータ特定部１１２Ａは、これらの判定用パラメータのいずれか二つ以上を特定してもよい。かかる場合には、パラメータ特定部１１２Ａは、これらの判定用パラメータのいずれか二つ以上のそれぞれをどのようにして特定してもよい。一例として、パラメータ特定部１１２Ａは、これらの判定用パラメータのいずれか二つ以上のそれぞれを独立的に特定してもよい。

【0079】

図６は、判定用パラメータを特定する手法の第１の例を説明するための図である。まず、記憶部１４０によって、先頭から末尾まで異常判定の条件が厳しい順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が厳しい順とは、第１の時間範囲ｔ２１および密度であれば、大きい順（すなわち、降順）に相当し、第２の時間範囲ｔ２３および閾値であれば、小さい順（すなわち、昇順）に相当する。候補パラメータは、判定用パラメータの候補に相当する。また、ここでは、複数通りの候補パラメータの例として、異常判定の条件が厳しい順に並べられた候補パラメータＰ１〜Ｐ４が用いられる場合を想定する。しかし、候補パラメータの数は４つに限定されず、複数であればよい。

【0080】

データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ１〜Ｐ４を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。なお、本明細書においては、判定用パラメータを特定するための入力動画像と、状態判定部１１３によって異常が生じているか否かが判定される撮像動画像とにおいて、撮像対象領域が同じである場合を主に想定する。すなわち、判定用パラメータを特定するための入力動画像も、撮像装置３０によって撮像されて画像処理装置１０Ａに提供される場合を主に想定する。しかし、判定用パラメータを特定するための入力動画像と、状態判定部１１３によって異常が生じているか否かが判定される撮像動画像とにおいて、撮像対象領域は異なっていてもよい。このとき、判定用パラメータを特定するための入力動画像は、あらかじめ記憶部１４０によって記憶されていてもよい。

【0081】

図６に示した例では、入力動画像に異常が生じていないこと（正常であること）が確認されている。入力動画像に異常が生じていないことは、どのように確認されてもよい。例えば、入力動画像に異常が生じていないことは入力動画像が撮像されるときに人によって確認されてもよい。あるいは、入力動画像に異常が生じていないことは、あらかじめ記憶部１４０によって記憶された入力動画像が再生されて表示されたときに人によって確認されてもよい。

【0082】

パラメータ特定部１１２Ａは、候補パラメータＰ１〜Ｐ４の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。

【0083】

図６に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ１を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ２を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ２においては、判定結果が「変化なし」である。

【0084】

続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ３に基づいて、判定用パラメータを特定する。

【0085】

図６に示した例では、データ取得部１１１によって異常が生じていない入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定しなくなった候補パラメータ）Ｐ３を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。

【0086】

さらに、異常が生じている入力動画像をあらかじめ用意するのが困難な場合も想定される。しかし、図６に示した例のように、異常が生じていない入力動画像を用いて判定用パラメータが特定されれば、異常が生じている入力動画像をあらかじめ用意する必要がなくなる。また、図６に示した例のように、異常判定の条件が厳しい順に候補パラメータを用いた判定を行うことによって、異常が生じている画素が検出された時点で次の候補パラメータを用いた判定に処理が移行されるため、処理時間が低減される。

【0087】

図７は、判定用パラメータを特定する手法の第２の例を説明するための図である。ここでは、記憶部１４０によって、先頭から末尾まで異常判定の条件が緩い順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が緩い順とは、第１の時間範囲ｔ２１および密度であれば、小さい順（すなわち、昇順）に相当し、第２の時間範囲ｔ２３および閾値であれば、大きい順（すなわち、降順）に相当する。ここでは、複数通りの候補パラメータの例として、異常判定の条件が緩い順に並べられた候補パラメータＰ４〜Ｐ１が用いられる場合を想定する。

【0088】

データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ４〜Ｐ１を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。図７に示した例では、入力動画像に異常が生じていないこと（正常であること）が確認されている。

【0089】

パラメータ特定部１１２Ａは、候補パラメータＰ４〜Ｐ１の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。

【0090】

図７に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ４を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化なし」である。

【0091】

続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ２を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ２においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ２に基づいて、判定用パラメータを特定する。

【0092】

図７に示した例では、データ取得部１１１によって異常が生じていない入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定し始めた候補パラメータ）Ｐ２の一つ前の候補パラメータＰ３を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。

【0093】

さらに、異常が生じている入力動画像をあらかじめ用意するのが困難な場合も想定される。しかし、図７に示した例のように、異常が生じていない入力動画像を用いて判定用パラメータが特定されれば、異常が生じている入力動画像をあらかじめ用意する必要がなくなる。

【0094】

図８は、判定用パラメータを特定する手法の第３の例を説明するための図である。まず、記憶部１４０によって、先頭から末尾まで異常判定の条件が厳しい順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が厳しい順とは、第１の時間範囲ｔ２１および密度であれば、大きい順（すなわち、降順）に相当し、第２の時間範囲ｔ２３および閾値であれば、小さい順（すなわち、昇順）に相当する。ここでは、複数通りの候補パラメータの例として、異常判定の条件が厳しい順に並べられた候補パラメータＰ１〜Ｐ４が用いられる場合を想定する。しかし、候補パラメータの数は４つに限定されず、複数であればよい。

【0095】

データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ１〜Ｐ４を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。

【0096】

図８に示した例では、入力動画像に異常が生じていることが確認されている。入力動画像に異常が生じていることは、どのように確認されてもよい。例えば、入力動画像に異常が生じていることは入力動画像が撮像されるときに人によって確認されてもよい。あるいは、入力動画像に異常が生じていることは、あらかじめ記憶部１４０によって記憶された入力動画像が再生されて表示されたときに人によって確認されてもよい。

【0097】

パラメータ特定部１１２Ａは、候補パラメータＰ１〜Ｐ４の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。

【0098】

図８に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ１を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ２を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ２においては、判定結果が「変化なし」である。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化なし」である。

【0099】

続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ４を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。したがって、候補パラメータＰ４においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ４に基づいて、判定用パラメータを特定する。

【0100】

図８に示した例では、データ取得部１１１によって異常が生じている入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定しなくなった候補パラメータ）Ｐ４の一つ前の候補パラメータＰ４を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。

【0101】

さらに、図８に示した例のように、異常判定の条件が厳しい順に候補パラメータを用いた判定を行うことによって、異常が生じている画素が検出された時点で次の候補パラメータを用いた判定に処理が移行されるため、処理時間が低減される。

【0102】

図９は、判定用パラメータを特定する手法の第４の例を説明するための図である。ここでは、記憶部１４０によって、先頭から末尾まで異常判定の条件が緩い順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が緩い順とは、第１の時間範囲ｔ２１および密度であれば、小さい順（すなわち、昇順）に相当し、第２の時間範囲ｔ２３および閾値であれば、大きい順（すなわち、降順）に相当する。ここでは、複数通りの候補パラメータの例として、異常判定の条件が緩い順に並べられた候補パラメータＰ４〜Ｐ１が用いられる場合を想定する。

【0103】

データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ４〜Ｐ１を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。図９に示した例では、入力動画像に異常が生じていることが確認されている。

【0104】

パラメータ特定部１１２Ａは、候補パラメータＰ４〜Ｐ１の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。

【0105】

図９に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ４を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ３に基づいて、判定用パラメータを特定する。

【0106】

図９に示した例では、データ取得部１１１によって異常が生じている入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定し始めた候補パラメータ）Ｐ３を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。

【0107】

続いて、第１の実施形態に係る画像処理システム１Ａにおける判定用パラメータ特定の動作例について説明する。図１０は、第１の実施形態に係る画像処理システム１Ａにおける判定用パラメータ特定の動作例を示すフローチャートである。なお、以下に説明する判定用パラメータ特定の動作例は、画像処理システム１Ａにおける判定用パラメータ特定の動作の一例に過ぎない。したがって、画像処理システム１Ａにおける判定用パラメータ特定の動作は、以下に説明する判定用パラメータ特定の動作例に限定されない。

【0108】

まず、画像処理装置１０Ａにおいては、データ取得部１１１によって入力動画像が取得される（Ｓ１１）。続いて、パラメータ特定部１１２Ａは、記憶部１４０から最初の候補パラメータを取得する（Ｓ１２）。パラメータ特定部１１２Ａは、取得した候補パラメータを用いて入力動画像に異常が生じているか否かを判定することによって、判定結果を得る。

【0109】

続いて、パラメータ特定部１１２Ａは、判定結果が変化しない限り（Ｓ１３において「Ｎｏ」）、次の候補パラメータを取得し（Ｓ１４）、取得した候補パラメータを用いて入力動画像に異常が生じているか否かを判定することによって、判定結果を得て、Ｓ１３に動作を移行させる。一方、パラメータ特定部１１２Ａは、判定結果が変化した場合（Ｓ１３において「Ｙｅｓ」）、判定結果が変化した際の候補パラメータに基づいて、判定用パラメータを特定し（Ｓ１５）、判定用パラメータ特定の動作を終了させる。

【0110】

このようにして特定された判定用パラメータを用いて、状態判定部１１３によって、撮像動画像に異常が生じているか否かが判定される。検知結果表示制御部１１４は、状態判定部１１３によって、撮像動画像に異常が生じていると判定された場合、異常の検知結果の表示を制御する。一例として、検知結果表示制御部１１４は、状態判定部１１３によって、撮像動画像に異常が生じていると判定された場合、異常が生じている領域（異常検知領域）が検知結果の例として表示されるように表示部１５０を制御する。

【0111】

図１１は、異常検知領域の表示例を示す図である。図１１を参照すると、検知結果表示制御部１１４は、撮像動画像Ｇ２５が表示部１５０によって表示されるように、表示部１５０を制御している。また、検知結果表示制御部１１４は、撮像動画像Ｇ２５における異常検知領域Ｄ２５（例えば、車両の避走が検知された領域）が他の領域と異なる態様によって表示されるように表示部１５０を制御している。例えば、図１１に示した例のように、検知結果表示制御部１１４は、撮像動画像Ｇ２５における異常検知領域Ｄ２５に対して所定の表示オブジェクト（例えば、網掛けなど）が表示されるように表示部１５０を制御してもよい。

【0112】

続いて、第１の実施形態に係る画像処理システム１Ａにおける状態判定の動作例について説明する。図１２は、第１の実施形態に係る画像処理システム１Ａにおける状態判定の動作例を示すフローチャートである。なお、以下に説明する状態判定の動作例は、画像処理システム１Ａにおける状態判定の動作の一例に過ぎない。したがって、画像処理システム１Ａにおける状態判定の動作は、以下に説明する状態判定の動作例に限定されない。

【0113】

まず、画像処理装置１０Ａにおいて、状態判定部１１３は、パラメータ特定部１１２Ａによって特定された判定用パラメータを取得する（Ｓ２１）。続いて、撮像装置３０は、動画像を撮像し、撮像した動画像を画像処理装置１０Ａに提供する。撮像装置３０によって提供された動画像は、データ取得部１１１によって撮像動画像として取得される（Ｓ２２）。続いて、状態判定部１１３は、判定用パラメータと撮像動画像とに基づいて、状態判定（撮像動画像に異常が生じているか否かの判定）を行って判定結果を得る（Ｓ２３）。

【0114】

検知結果表示制御部１１４は、判定結果が異常である場合（Ｓ２４において「Ｙｅｓ」）、異常が生じている領域（異常検知領域）が検知結果の例として表示されるように表示部１５０を制御し（Ｓ２５）、処理をＳ２６に移行させる。一方、状態判定部１１３は、判定結果が正常である場合（Ｓ２４において「Ｎｏ」）、動作をＳ２６に移行させる。データ取得部１１１は、動作を継続する場合には（Ｓ２６において「Ｎｏ」）、動作をＳ２２に移行させる。一方、データ取得部１１１は、動作を終了させる場合には（Ｓ２６において「Ｙｅｓ」）、動作を終了させる。

【0115】

以上、第１の実施形態について説明した。

【0116】

（２．第２の実施形態）
続いて、第２の実施形態について説明する。図１に示したように、第２の実施形態に係る画像処理システム１Ｂは、第１の実施形態に係る画像処理システム１Ａと比較して、画像処理装置１０Ａの代わりに画像処理装置１０Ｂを備える。したがって、以下では、撮像装置３０についての説明は省略し、画像処理装置１０Ｂについて主に説明する。

【0117】

［２−１．画像処理装置の機能構成例］
まず、第２の実施形態に係る画像処理装置１０Ｂの機能構成例について説明する。図１３は、第２の実施形態に係る画像処理装置１０Ｂの機能構成例を示すブロック図である。図１３に示すように、第２の実施形態に係る画像処理装置１０Ｂは、第１の実施形態に係る画像処理装置１０Ａと比較して、制御部１１０Ａの代わりに制御部１１０Ｂを備える。したがって、以下では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０についての説明は省略し、制御部１１０Ｂのうち制御部１１０Ａとの差分について主に説明する。

【0118】

図１３に示すように、制御部１１０Ｂは、制御部１１０Ａと同様に、データ取得部１１１、パラメータ特定部１１２Ａ、状態判定部１１３および検知結果表示制御部１１４を備える。また、制御部１１０Ｂは、オプティカルフロー検出部１１５、オプティカルフロー表示制御部１１６およびパラメータ変更部１１７を備える。制御部１１０Ｂが備えるこれらの各機能部の詳細について、後に説明する。

【0119】

［２−２．機能詳細］
続いて、画像処理システム１Ｂの機能詳細について説明する。第２の実施形態においても、第１の実施形態と同様に、データ取得部１１１が、撮像動画像を取得する。そして、第２の実施形態においては、オプティカルフロー検出部１１５が、データ取得部１１１によって取得された撮像動画像に基づいて、オプティカルフローを検出する。オプティカルフロー表示制御部１１６は、オプティカルフローに応じた表示を制御する。

【0120】

図１４は、オプティカルフローの表示例を示す図である。図１４を参照すると、オプティカルフロー表示制御部１１６は、画素ごとの動きベクトル（オプティカルフロー）の時系列に沿った集合（動き情報群Ｍ２）が表示部１５０によって表示されるように、表示部１５０を制御している。なお、図１４に示した例においては、矢印の向きによって、動きベクトルの向きが示され、矢印の大きさによって動きベクトルの大きさが示されている。しかし、動きベクトルの向きおよび大きさは、他の態様によって示されてもよい。例えば、動きベクトルの向きは、色の種類（例えば、黄色、赤色など）の違いによって示されてもよいし、動きベクトルの大きさは、色の濃淡によって示されてもよい。

【0121】

また、図１４に示すように、オプティカルフロー表示制御部１１６は、判定用パラメータを変更するための表示オブジェクト（例えば、スライダ）の表示を制御する。ユーザは、かかる表示オブジェクトを操作することによって、判定用パラメータの変更操作を入力することが可能である。なお、表示オブジェクトは、スライダに限定されない。例えば、表示オブジェクトは、判定用パラメータを直接入力するための入力欄などであってもよい。また、図１４に示された例では、判定用パラメータとして、第１の時間範囲ｔ２１、第２の時間範囲ｔ２３、閾値および密度が表示されている。

【0122】

第２の実施形態において、ユーザは、このようにして表示されたオプティカルフローを見ながら、判定用パラメータの変更操作によって、判定用パラメータを変更することが可能である。第２の実施形態は、ユーザが、パラメータ特定部１１２Ａによって特定された判定用パラメータを変更（調整）する場合に有用である。判定用パラメータの変更操作がユーザによって入力された場合、パラメータ変更部１１７は、変更操作に基づいて、判定用パラメータを変更する。例えば、図１４に示したように、オプティカルフロー表示制御部１１６によって、ＯＫボタン１５１の表示が制御される場合、判定用パラメータの変更操作は、ＯＫボタン１５１を選択する操作によって確定されてもよい。

【0123】

状態判定部１１３は、判定用パラメータが変更されない場合、パラメータ特定部１１２Ａによって特定された判定用パラメータを用いて、状態判定（撮像動画像に異常が生じているか否かの判定）を行えばよい。一方、状態判定部１１３は、パラメータ変更部１１７によって判定用パラメータが変更された場合、変更後の判定用パラメータを用いて、状態判定（撮像動画像に異常が生じているか否かの判定）を行えばよい。

【0124】

なお、オプティカルフロー検出部１１５によって検出されたオプティカルフローは、記憶部１４０に記録されて、後に使用されてもよい。ここで、記憶部１４０に記録されたオプティカルフローはどのように使用されてもよい。一例として、状態判定部１１３によって誤判定がされた場合、パラメータ特定部１１２Ａは、記憶部１４０に記録されている過去のオプティカルフローを取得し、過去のオプティカルフローに基づいて、判定用パラメータを再度特定してもよい。

【0125】

続いて、第２の実施形態に係る画像処理システム１Ｂにおける判定用パラメータ変更の動作例について説明する。図１５は、第２の実施形態に係る画像処理システム１Ｂにおける判定用パラメータ変更の動作例を示すフローチャートである。なお、以下に説明する状態判定の動作例は、画像処理システム１Ｂにおける判定用パラメータ変更の動作の一例に過ぎない。したがって、画像処理システム１Ｂにおける判定用パラメータ変更の動作は、以下に説明する判定用パラメータ変更の動作例に限定されない。

【0126】

まず、画像処理装置１０Ｂにおいて、オプティカルフロー表示制御部１１６は、パラメータ特定部１１２Ａによって特定された判定用パラメータを取得する（Ｓ３１）。続いて、撮像装置３０は、動画像を撮像し、撮像した動画像を画像処理装置１０Ｂに提供する。撮像装置３０によって提供された動画像は、データ取得部１１１によって撮像動画像として取得される（Ｓ３２）。続いて、オプティカルフロー検出部１１５は、撮像動画像からオプティカルフローを検出する（Ｓ３３）。

【0127】

オプティカルフロー表示制御部１１６は、オプティカルフローの表示を制御する（Ｓ３４）。このとき、オプティカルフロー表示制御部１１６は、パラメータ特定部１１２Ａによって特定された判定用パラメータの表示を制御してよい。そうすれば、現在の判定用パラメータをユーザに把握させることが可能である。パラメータ変更部１１７は、操作部１２０によって判定用パラメータの変更操作が検出された場合、変更操作に基づいて、判定用パラメータを変更する（Ｓ３６）。

【0128】

データ取得部１１１は、動作を継続する場合には（Ｓ３７において「Ｎｏ」）、動作をＳ３２に移行させる。一方、データ取得部１１１は、動作を終了させる場合には（Ｓ３７において「Ｙｅｓ」）、動作を終了させる。

【0129】

以上、第２の実施形態について説明した。

【0130】

（３．第３の実施形態）
続いて、第３の実施形態について説明する。図１に示したように、第３の実施形態に係る画像処理システム１Ｃは、第１の実施形態に係る画像処理システム１Ａと比較して、画像処理装置１０Ａの代わりに画像処理装置１０Ｃを備える。したがって、以下では、撮像装置３０についての説明は省略し、画像処理装置１０Ｃについて主に説明する。

【0131】

［３−１．画像処理装置の機能構成例］
まず、第３の実施形態に係る画像処理装置１０Ｃの機能構成例について説明する。図１６は、第３の実施形態に係る画像処理装置１０Ｃの機能構成例を示すブロック図である。図１６に示すように、第３の実施形態に係る画像処理装置１０Ｃは、第１の実施形態に係る画像処理装置１０Ａと比較して、制御部１１０Ａの代わりに制御部１１０Ｃを備える。したがって、以下では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０についての説明は省略し、制御部１１０Ｃのうち制御部１１０Ａとの差分について主に説明する。

【0132】

図１６に示すように、制御部１１０Ｃは、制御部１１０Ａと同様に、データ取得部１１１、状態判定部１１３および検知結果表示制御部１１４を備える。また、制御部１１０Ｃは、パラメータ特定部１１２Ｂ、パラメータ情報記録制御部１１８およびパラメータ情報表示制御部１１９を備える。制御部１１０Ｃが備えるこれらの各機能部の詳細について、後に説明する。

【0133】

［３−２．機能詳細］
続いて、画像処理システム１Ｃの機能詳細について説明する。第３の実施形態においても、第１の実施形態と同様に、データ取得部１１１が、入力動画像を取得する。そして、第３の実施形態においては、パラメータ特定部１１２Ｂは、過去に使用されたパラメータが記憶部１４０に記録されていない場合、第１の実施形態と同様に、入力動画像に基づいて、判定用パラメータを特定する。パラメータ特定部１１２Ｂによって特定された判定用パラメータが状態判定部１１３によって使用されると、パラメータ情報記録制御部１１８は、状態判定部１１３によって使用された判定用パラメータが、過去に使用されたパラメータとして記憶部１４０に記録されるように制御する。

【0134】

また、パラメータ情報記録制御部１１８は、状態判定部１１３によって使用された判定用パラメータに関連する情報も、過去に使用されたパラメータに関連する情報として、記憶部１４０に記録されるように制御してよい。

【0135】

図１７は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報の例を示す図である。図１７に示すように、過去に使用されたパラメータに関連する情報は、過去に使用されたパラメータを用いて判定がなされた事象の種類を含んでもよい。事象の種類は、状態判定部１１３によって判定可能であるとして上記した各種の事象であってよい。図１７に示した例では、事象の種類として、避走、逆走、落下物、がけ崩れが示されている。

【0136】

また、図１７に示したように、過去に使用されたパラメータに関連する情報は、状態判定部１１３による判定に使用された撮像動画像を撮像した撮像装置３０の画角を含んでもよい。また、図１７に示したように、過去に使用されたパラメータに関連する情報は、撮像装置３０による撮像距離（例えば、撮像装置３０から道路までの最短距離など）を含んでもよい。

【0137】

ここで、過去に使用されたパラメータに関連する情報は、どのようにして設定されてもよい。例えば、事象の種類は、ユーザによって設定されてもよいし、状態判定部１１３によって撮像動画像から自動的に決定されてもよい。また、撮像距離は、ユーザによって設定されてもよいし、状態判定部１１３によって撮像動画像から自動的に測定されてもよい。また、画角は、撮像装置３０から取得されてよい。

【0138】

パラメータ特定部１１２Ｂは、過去に使用されたパラメータが記憶部１４０に記録されている場合、過去に使用されたパラメータを用いて、入力動画像に過去に使用されたパラメータに対応する事象が生じているか否かを判定する。

【0139】

そして、データ取得部１１１によって、かかる事象が生じていないことが確認された入力動画像（正常な入力動画像）が取得された場合、かつ、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータを用いて、入力動画像に事象が生じていない（入力動画像が正常である）と判定された場合、過去に使用されたパラメータは、誤判定されないパラメータであると考えられる。そこで、かかる場合、パラメータ情報表示制御部１１９は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御してよい。これにより第３の実施形態に係る画像処理システム１Ｃは、データ取得部１１１によって取得された入力動画像に対して過去に使用されたパラメータを用いても、適切にかかる事象の発生を判定できることを、ユーザに提示することができる。

【0140】

図１８は、過去に使用されたパラメータを用いた判定結果の例を示す図である。図１８に示した例では、データ取得部１１１によって取得された入力動画像に各事象が生じていない（入力動画像が正常である）ことが確認されている。また、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ５を用いて、入力動画像に事象「避走」が生じていない（入力動画像が正常である）と判定されている。また、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ６を用いて、入力動画像に事象「逆走」が生じていない（入力動画像が正常である）と判定されている。

【0141】

一方、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ７を用いて、入力動画像に事象「落下物」が生じている（入力動画像が異常である）と判定されている。また、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ８を用いて、入力動画像に事象「がけ崩れ」が生じている（入力動画像が異常である）と判定されている。

【0142】

かかる例においては、過去に使用されたパラメータＰ５、過去に使用されたパラメータＰ６が、誤判定されないパラメータであると考えられる。そこで、かかる場合、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ５および過去に使用されたパラメータＰ５に関連する情報のうち、少なくともいずれか一方の表示を制御してよい。また、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ６および過去に使用されたパラメータＰ６に関連する情報のうち、少なくともいずれか一方の表示を制御してよい。これにより第３の実施形態に係る画像処理システム１Ｃは、データ取得部１１１によって取得された入力動画像に対して過去に使用されたパラメータＰ５またはＰ６を用いても、適切にかかる事象（避走または逆走）の発生を判定できることを、ユーザに提示することができる。

【0143】

図１９は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報の表示例を示す図である。図１９に示したように、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ５および過去に使用されたパラメータＰ５に関連する情報（事象の種類、撮像距離、画角）の表示を制御してよい。また、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ６および過去に使用されたパラメータＰ６に関連する情報（事象の種類、撮像距離、画角）の表示を制御してよい。

【0144】

パラメータ特定部１１２Ｂは、過去に使用されたパラメータの選択操作が入力された場合、過去に使用されたパラメータを判定用パラメータとして特定する。例えば、図１９に示したように、パラメータ情報表示制御部１１９によって、ＯＫボタン１５１の表示が制御される場合、過去に使用されたパラメータの選択操作は、ＯＫボタン１５１を選択する操作によって確定されてもよい。また、パラメータ情報表示制御部１１９によって、取消ボタン１５２の表示が制御される場合、過去に使用されたパラメータの選択操作は、取消ボタン１５２を選択する操作によって取り消されてもよい。

【0145】

なお、データ取得部１１１によって事象が生じている（入力動画像が異常である）ことが確認された入力動画像が取得された場合、かつ、パラメータ特定部１１２Ｂによって入力動画像に事象が生じている（入力動画像が異常である）と判定された場合、過去に使用されたパラメータは、誤判定されないパラメータであると考えられる。そこで、かかる場合、パラメータ情報表示制御部１１９は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御してよい。これにより第３の実施形態に係る画像処理システム１Ｃは、データ取得部１１１によって取得された入力動画像に対して過去に使用されたパラメータを用いても、適切にかかる事象の発生を判定できることを、ユーザに提示することができる。そして、パラメータ特定部１１２Ｂは、過去に使用されたパラメータの選択操作が入力された場合、過去に使用されたパラメータを判定用パラメータとして特定すればよい。

【0146】

以上、第３の実施形態について説明した。

【0147】

（４．第４の実施形態）
続いて、第４の実施形態について説明する。図１に示したように、第４の実施形態に係る画像処理システム１Ｄは、第１の実施形態に係る画像処理システム１Ａと比較して、画像処理装置１０Ａの代わりに画像処理装置１０Ｄを備える。したがって、以下では、撮像装置３０についての説明は省略し、画像処理装置１０Ｄについて主に説明する。

【0148】

［４−１．画像処理装置の機能構成例］
まず、第４の実施形態に係る画像処理装置１０Ｄの機能構成例について説明する。図２０は、第４の実施形態に係る画像処理装置１０Ｄの機能構成例を示すブロック図である。図２０に示すように、第４の実施形態に係る画像処理装置１０Ｄは、第１の実施形態に係る画像処理装置１０Ａと比較して、制御部１１０Ａの代わりに制御部１１０Ｄを備える。したがって、以下では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０についての説明は省略し、制御部１１０Ｄのうち制御部１１０Ａとの差分について主に説明する。

【0149】

図２０に示すように、制御部１１０Ｄは、制御部１１０Ａと同様に、データ取得部１１１、状態判定部１１３および検知結果表示制御部１１４を備える。また、制御部１１０Ｄは、パラメータ特定部１１２Ｃ、領域情報取得部１２１を備える。制御部１１０Ｄが備えるこれらの各機能部の詳細について、後に説明する。

【0150】

［４−２．機能詳細］
続いて、画像処理システム１Ｄの機能詳細について説明する。第４の実施形態においては、状態判定部１１３が、入力動画像における複数の検出対象領域ごとに異なる状態判定を行う（複数の検出対象領域ごとに異なる事象が生じているか否かを判定する）。なお以降の説明において、複数の検出対象領域のそれぞれを単に「領域」と言う。記憶部１４０には、領域ごとに座標と事象の種類との対応関係が記録されている。したがって、領域情報取得部１２１は、領域ごとの座標と事象の種類との対応関係（領域情報）を取得し、パラメータ特定部１１２Ｃは、記憶部１４０に記録されている対応関係に基づいて、領域ごとに異なる判定用パラメータを特定する。

【0151】

図２１は、領域ごとの座標と事象の種類との対応関係の例を示す図である。図２１に示すように、領域Ｒ１に生じているか否かが判定される事象の種類「逆走」と領域Ｒ１の座標「ｒ１」とが対応付けられている。また、領域Ｒ２に生じているか否かが判定される事象の種類「避走」と領域Ｒ２の座標「ｒ２」とが対応付けられている。第４の実施形態においては、かかる対応関係が、記憶部１４０にあらかじめ記録されている。なお、図２１に示した例では、領域Ｒ１と領域Ｒ２とが隣接しているが、領域Ｒ１と領域Ｒ２とは、離れていてもよいし、一部が重複していてもよい。

【0152】

第１の実施形態と同様に、データ取得部１１１は、入力動画像を取得する。そして、第４の実施形態においては、パラメータ特定部１１２Ｃは、領域ごとの座標と事象の種類との対応関係を取得する。パラメータ特定部１１２Ｃは、領域ごとの座標と事象の種類とに基づいて、領域ごとに判定用パラメータを特定する。１つの領域あたりの判定用パラメータの特定は、第１の実施形態に係る判定用パラメータの特定と同様になされてよい。かかる構成によれば、領域ごとに異なる事象に対応する判定用パラメータが特定されるため、領域ごとに異なった事象が生じているか否かの判定をより高精度に行うことが可能となる。

【0153】

続いて、第４の実施形態に係る画像処理システム１Ｄにおける判定用パラメータ特定の動作例について説明する。図２２は、第４の実施形態に係る画像処理システム１Ｄにおける判定用パラメータ特定の動作例を示すフローチャートである。なお、以下に説明する判定用パラメータ特定の動作例は、画像処理システム１Ｄにおける判定用パラメータ特定の動作の一例に過ぎない。したがって、画像処理システム１Ｄにおける判定用パラメータ特定の動作は、以下に説明する判定用パラメータ特定の動作例に限定されない。

【0154】

まず、画像処理装置１０Ｄにおいては、データ取得部１１１によって入力動画像が取得される（Ｓ１１）。続いて、パラメータ特定部１１２Ｃは、最初の領域の座標を取得する（Ｓ１６）。そして、パラメータ特定部１１２Ｃは、記憶部１４０から最初の候補パラメータを取得する（Ｓ１２）。パラメータ特定部１１２Ｃは、取得した候補パラメータを用いて入力動画像にその領域の事象が生じているか否かを判定することによって、判定結果を得る。

【0155】

続いて、パラメータ特定部１１２Ｃは、判定結果が変化しない限り（Ｓ１３において「Ｎｏ」）、次の候補パラメータを取得し（Ｓ１４）、取得した候補パラメータを用いて入力動画像にその領域の事象が生じているか否かを判定することによって、判定結果を得て、Ｓ１３に動作を移行させる。一方、パラメータ特定部１１２Ｃは、判定結果が変化した場合（Ｓ１３において「Ｙｅｓ」）、判定結果が変化した際の候補パラメータに基づいて、その領域の判定用パラメータを特定する（Ｓ１７）。

【0156】

パラメータ特定部１１２Ｃは、全領域の判定用パラメータを特定しない限り（Ｓ１８において「Ｎｏ」）、次の領域の座標を取得し（Ｓ１９）、取得した候補パラメータを用いて入力動画像にその領域の事象が生じているか否かを判定することによって、判定結果を得て、Ｓ１３に動作を移行させる。一方、パラメータ特定部１１２Ｃは、全領域の判定用パラメータを特定した場合（Ｓ１８において「Ｙｅｓ」）、判定用パラメータ特定の動作を終了させる。

【0157】

以上、第４の実施形態について説明した。

【0158】

（５．ハードウェア構成例）
続いて、本発明の実施形態に係る画像処理装置１０のハードウェア構成例について説明する。

【0159】

図２３は、本発明の実施形態に係る画像処理装置１０のハードウェア構成を示す図である。画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

【0160】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

【0161】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0162】

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。画像処理装置１０を操作するユーザは、この入力装置９０８を操作することにより、画像処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0163】

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

【0164】

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

【0165】

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

【0166】

以上において、本発明の実施形態の詳細について説明した。

【0167】

（５．本実施形態の効果）
以上に説明したように、本実施形態によれば、先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部１１１と、複数通りの候補パラメータの先頭から順に用いて、入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、判定結果が変化する候補パラメータに基づいて、撮像動画像に事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部１１２Ａと、を備える、画像処理装置１０Ａが提供される。

【0168】

かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。

【0169】

（６．変形例の説明）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0170】

例えば、上記では、撮像装置３０がＰＴＺ（パン・チルト・ズーム）カメラであってもよい旨を説明した。しかし、撮像装置３０の撮像範囲がＰＴＺによって変化してしまうと、意図しないタイミングで検出対象領域に異常状態が発生したと判定されてしまう可能性がある。そこで、ＰＴＺが実行されるときには、状態判定部１１３による判定が実行されないようにするとよい。あるいは、ＰＴＺが実行されるときには、検知結果表示制御部１１４による表示制御がなされないようにするとよい。

【符号の説明】

【0171】

１（１Ａ、１Ｂ、１Ｃ、１Ｄ） 画像処理システム
１０（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ） 画像処理装置
３０ 撮像装置
１１０（１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ） 制御部
１１１ データ取得部
１１２（１１２Ａ、１１２Ｂ、１１２Ｃ） パラメータ特定部
１１３ 状態判定部
１１４ 検知結果表示制御部
１１５ オプティカルフロー検出部
１１６ オプティカルフロー表示制御部
１１７ パラメータ変更部
１１８ パラメータ情報記録制御部
１１９ パラメータ情報表示制御部
１２１ 領域情報取得部
１２０ 操作部
１３０ 通信部
１４０ 記憶部
１５０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】