特許 7130488 画像処理装置、画像処理方法、および、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-26

(45)【発行日】2022-09-05

(54)【発明の名称】画像処理装置、画像処理方法、および、画像処理プログラム

(51)【国際特許分類】

   G06T 7/215 20170101AFI20220829BHJP

【ＦＩ】

G06T7/215

【請求項の数】 12

(21)【出願番号】P 2018143925

(22)【出願日】2018-07-31

(65)【公開番号】P2020021243

(43)【公開日】2020-02-06

【審査請求日】2021-04-30

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】神瀬 陽二郎

(72)【発明者】

【氏名】大西 弘之

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１８－０９３２６６（ＪＰ，Ａ）

【文献】特開２００２－２６９５６９（ＪＰ，Ａ）

【文献】特開２００５－３２１９０２（ＪＰ，Ａ）

【文献】国際公開第２０１０／０７９５５６（ＷＯ，Ａ１）

【文献】特開２００４－２０６６６５（ＪＰ，Ａ）

【文献】特開２０１５－１９７８１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

画像を複数の分割領域に分割する分割部と、
前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識部と
を備え、
前記認識部は、前記複数の分割領域のうち、前記時系列情報が変化したと判定した分割領域の比率が所定値以上であるときには、画像の撮影環境が変動したと認識し、画像の撮影環境が変動したと認識した場合には、基準フレームを更新する
画像処理装置。

【請求項2】

画像を複数の分割領域に分割する分割部と、
前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識部と
を備え、
前記分割領域の属性は、前記分割領域に含まれる背景の属性、および、前記分割領域に含まれる被写体の属性を含み、
前記認識部は、前記分割領域の属性として前記分割領域の背景を認識した場合、当該分割領域の時系列情報に加えて、前記分割領域の背景に基づき、前記分割領域に含まれる被写体の属性を認識する
画像処理装置。

【請求項3】

前記認識部は、前記複数の分割領域の時系列情報の組み合わせに基づき、当該複数の分割領域の各々の属性を認識する
請求項１または２に記載の画像処理装置。

【請求項4】

前記複数の分割領域は、互いに隣接する分割領域を含む
請求項３に記載の画像処理装置。

【請求項5】

前記特徴量は、輝度、色、移動速度、移動方向、および、基準フレームとの類似度の少なくとも１つを含む
請求項１～４のいずれか一項に記載の画像処理装置。

【請求項6】

前記分割領域の属性は、前記分割領域に含まれる被写体の属性を含み、
前記認識部は、前記分割領域における所定の時間内の時系列情報に変化がないと判定した場合には、前記分割領域に含まれる被写体の属性が固定物であると認識する
請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

前記分割領域の属性は、前記分割領域に含まれる被写体の属性を含み、
前記認識部は、前記分割領域における所定の時間内の時系列情報が変化したと判定した場合には、前記分割領域に含まれる被写体の属性が動体であると認識する
請求項１～６のいずれか一項に記載の画像処理装置。

【請求項8】

前記分割部は、前記認識部が認識した前記分割領域の属性に基づき、前記分割領域を変更する
請求項１～７のいずれか一項に記載の画像処理装置。

【請求項9】

画像を複数の分割領域に分割する分割処理と、
前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識処理と
を含み、
前記認識処理は、前記複数の分割領域のうち、前記時系列情報が変化したと判定した分割領域の比率が所定値以上であるときには、画像の撮影環境が変動したと認識し、画像の撮影環境が変動したと認識した場合には、基準フレームを更新する
画像処理方法。

【請求項10】

画像を複数の分割領域に分割する分割処理と、
前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識処理と
を含み、
前記分割領域の属性は、前記分割領域に含まれる背景の属性、および、前記分割領域に含まれる被写体の属性を含み、
前記認識処理は、前記分割領域の属性として前記分割領域の背景を認識した場合、当該分割領域の時系列情報に加えて、前記分割領域の背景に基づき、前記分割領域に含まれる被写体の属性を認識する
画像処理方法。

【請求項11】

コンピュータに、
画像を複数の分割領域に分割する分割処理と、
前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識処理と
を実行させ、
前記認識処理は、前記複数の分割領域のうち、前記時系列情報が変化したと判定した分割領域の比率が所定値以上であるときには、画像の撮影環境が変動したと認識し、画像の撮影環境が変動したと認識した場合には、基準フレームを更新する
画像処理プログラム。

【請求項12】

コンピュータに、
画像を複数の分割領域に分割する分割処理と、
前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識処理と
を実行させ、
前記分割領域の属性は、前記分割領域に含まれる背景の属性、および、前記分割領域に含まれる被写体の属性を含み、
前記認識処理は、前記分割領域の属性として前記分割領域の背景を認識した場合、当該分割領域の時系列情報に加えて、前記分割領域の背景に基づき、前記分割領域に含まれる被写体の属性を認識する
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、および、画像処理プログラムに関する。

【背景技術】

【0002】

近年、画像を複数の領域に分割し、各領域で発生している事象をクラスとして分類する技術が提案されている。例えば特許文献１に記載の装置では、学習画像の各画素に対して意味的な領域のクラスラベルを割り振る。また、この装置では、学習画像を小領域に分割し、小領域に占める画素数が最も多いクラスラベルを、小領域のクラスラベルとして付与する。また、小領域に占める画素に二つのクラスラベルが混在しているときには、小領域を混在領域として判定する。また、小領域に付与されたクラスラベルに基づき、小領域のクラスを識別する小領域識別器を学習する。また、混在領域として判定された小領域に含まれる画素の情報に基づき、小領域を混在領域として判別する混在領域識別器を学習する。そして、未知の入力画像を小領域に分割した上で、小領域識別器及び混在領域識別器を適用することにより、小領域のクラスを分類したり、小領域を混在領域として判定したりする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１１７０１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の装置では、いわゆるパターン認識の手法を用いて各領域のクラス分類を行っているため、処理負荷が大きくなってしまうという問題があった。

【0005】

本発明は、このような実情に鑑みてなされたものであり、その目的は、処理負荷を抑えつつ、画像の分割領域の属性を認識することのできる画像処理装置、画像処理方法、および、画像処理プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決する画像処理装置は、画像を複数の分割領域に分割する分割部と、前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識部とを備える。

【0007】

上記課題を解決する画像処理方法は、画像を複数の分割領域に分割する分割処理と、前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識処理とを含む。

【0008】

上記課題を解決する画像処理プログラムは、コンピュータに、画像を複数の分割領域に分割する分割処理と、前記分割領域の特徴量の時系列情報に基づき、前記分割領域の属性を認識する認識処理とを実行させる。

【0009】

上記構成によれば、分割領域の特徴量の時系列情報を用いているため、１つの画像フレームから画像の解析処理により分割領域に含まれる被写体の輪郭を抽出する等の処理が不要となる。そのため、処理負荷を抑えつつ、分割領域の属性を認識することができる。

【0010】

上記画像処理装置において、前記認識部は、前記複数の分割領域の時系列情報の組み合わせに基づき、当該複数の分割領域の各々の属性を認識することが好ましい。

【0011】

上記構成によれば、複数の分割領域の時系列情報を組み合わせることにより、分割領域の属性を高い精度をもって認識することができる。

【0012】

上記画像処理装置において、前記複数の分割領域は、互いに隣接する分割領域を含むことが好ましい。

【0013】

上記構成によれば、分割領域の属性の認識精度を更に高めることができる。

【0014】

上記画像処理装置において、前記特徴量は、輝度、色、移動速度、移動方向、および、基準フレームとの類似度の少なくとも１つを含むことが好ましい。

【0015】

上記構成によれば、分割領域の特徴量の時系列情報に基づき、分割領域の属性を認識することができる。

【0016】

上記画像処理装置において、前記認識部は、前記複数の分割領域のうち、前記時系列情報が変化したと判定した分割領域の比率が所定値以上であるときには、画像の撮影環境が変動したと認識することが好ましい。

【0017】

上記構成によれば、例えば、屋外を撮影しているときに、天気が晴れから曇りに変化した場合には、画像全体に影響が生じる。これにより、画像の撮影環境が変動したものと認識できる。

【0018】

上記画像処理装置において、前記認識部は、画像の撮影環境が変動したと認識した場合には、基準フレームを更新することが好ましい。

【0019】

上記構成によれば、画像の撮影環境が変動したときには、基準フレームを更新することにより、画像と基準フレームとの比較を通じて分割領域の属性を認識することができる。

【0020】

上記画像処理装置において、前記分割領域の属性は、前記分割領域に含まれる被写体の属性を含み、前記認識部は、前記分割領域における所定の時間内の時系列情報に変化がないと判定した場合には、前記分割領域に含まれる被写体の属性が固定物であると認識することが好ましい。

【0021】

上記構成によれば、分割領域の時系列情報の変化パターンに基づき、分割領域に含まれる被写体の属性を認識することができる。

【0022】

上記画像処理装置において、前記分割領域の属性は、前記分割領域に含まれる被写体の属性を含み、前記認識部は、前記分割領域における所定の時間内の時系列情報が変化したと判定した場合には、前記分割領域に含まれる被写体の属性が動体であると認識することが好ましい。

【0023】

上記構成によれば、分割領域の時系列情報の変化パターンに基づき、分割領域に含まれる被写体の属性を認識することができる。

【0024】

上記画像処理装置において、前記分割領域の属性は、前記分割領域に含まれる背景の属性、および、前記分割領域に含まれる被写体の属性を含み、前記認識部は、前記分割領域の属性として前記分割領域の背景を認識した場合、当該分割領域の時系列情報に加えて、前記分割領域の背景に基づき、前記分割領域に含まれる被写体の属性を認識することが好ましい。

【0025】

上記構成によれば、分割領域に含まれる背景の属性を考慮して、分割領域に含まれる被写体の属性を認識するため、被写体の認識精度を高めることができる。

【0026】

上記画像処理装置において、前記分割部は、前記認識部が認識した前記分割領域の属性に基づき、前記分割領域を変更することが好ましい。

【0027】

上記構成によれば、認識の対象となる被写体に応じて分割領域の大きさを変更することにより、より一層処理負荷を抑えつつ、分割領域に含まれる被写体の属性を認識することができる。

【図面の簡単な説明】

【0028】

【図1】画像処理装置の第１の実施の形態の概略構成を示すブロック図。

【図2】撮影画像の画像内容の一例を示す模式図。

【図3】撮影画像の画像内容の一例を示す模式図。

【図4】（ａ）～（ｃ）は、分割領域の属性に対応する相関係数の時間推移の一例を示すグラフ。

【図5】同実施の形態の画像処理装置が実行する分割領域の属性の認識処理を示すフローチャート。

【図6】撮影画像の画像内容の一例を示す模式図。

【図7】（ａ）～（ｃ）は、分割領域の属性に対応する相関係数の時間推移の一例を示すグラフ。

【図8】画像処理装置の第２の実施の形態が実行する分割領域の属性の認識処理を示すフローチャート。

【図9】撮影環境の検出時における基準フレームの設定変更の一例を示す模式図。

【図10】分割領域の輝度の時間推移の一例を示すグラフ。

【図11】画像処理装置の第３の実施の形態が実行する分割領域の属性の認識処理を示すフローチャート。

【図12】撮影画像の画像内容の一例を示す模式図。

【図13】画像処理装置の第４の実施の形態が実行する分割領域の属性の認識処理を示すフローチャート。

【図14】（ａ）は、変更前のメッシュの分割態様の一例を示す模式図、（ｂ）は、変更後のメッシュの分割態様の一例を示す模式図。

【図15】画像処理装置の第５の実施の形態が実行する分割領域の属性の認識処理を示すフローチャート。

【図16】分割領域の撮影範囲の大きさを推定するときの処理の流れを説明するための模式図。

【図17】分割領域の撮影範囲の大きさを推定するときの処理の流れを説明するための模式図。

【発明を実施するための形態】

【0029】

（第１の実施の形態）
以下、画像処理装置の第１の実施の形態について図面を参照して説明する。

【0030】

本実施の形態の画像処理装置は、屋外または屋内に設置されたカメラの動画像を画像フレーム毎に複数のメッシュ（分割領域）に分割し、各メッシュで発生している事象をメッシュの属性として認識する。メッシュの属性は、例えば、建物、道路、木などを含む。この装置では、各メッシュの特徴量を、画像フレームを取得する毎に抽出する。本実施の形態では、時系列情報の一例として相関係数を用いる。所定のタイミングで撮影された画像フレームを基準フレームとしたとき、新たに取得された画像フレームと基準フレームとの特徴量の相関係数を、画像フレームを取得する毎に算出する。そして、相関係数の時系列情報に基づき、メッシュの属性を認識し、その認識結果を外部に出力する。

【0031】

図１に示すように、画像処理装置１００は、メッシュの属性の認識処理を制御する制御部１１０と、制御部１１０がメッシュの属性の認識処理を実行する画像処理プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部１１０が読み書きする各種のデータを保存する記憶部１２０とを有するコンピュータである。記憶部１２０は、不揮発性のメモリであってもよいし、揮発性のメモリであってもよい。そして、制御部１１０は、記憶部１２０に保存された画像処理プログラムを実行することにより、画像取得部１１１、分割部１１２、特徴量抽出部１１３、時系列情報算出部１１４、認識部１１５、及び、出力部１１６として機能する。

【0032】

画像取得部１１１は、カメラ１０により撮影された動画像から画像フレームを取得する。

【0033】

分割部１１２は、画像取得部１１１により取得された画像フレームを複数のメッシュに分割する。また、分割部１１２は、記憶部１２０から読み出した基準フレーム１２１を複数のメッシュに分割する。基準フレーム１２１は、動画像を構成する画像フレームのうち、所定のタイミングで記憶部１２０に保存された画像フレームである。所定のタイミングとは、例えば、動体を検知しなかったフレームが連続で複数存在する場合の、いずれかのフレームである。本実施の形態では、分割部１１２は、画像フレームまたは基準フレーム１２１を同一のサイズの格子状のメッシュに分割する。

【0034】

特徴量抽出部１１３は、画像フレームまたは基準フレーム１２１の各メッシュから特徴量を抽出する。本実施の形態では、特徴量抽出部１１３は、各メッシュに含まれる各画素の画素値を特徴量の一例として抽出する。

【0035】

時系列情報算出部１１４は、画像フレームの各メッシュの特徴量と基準フレーム１２１の各メッシュの特徴量とを対応するメッシュ毎に比較し、メッシュ同士の特徴量の相関係数を時系列情報として算出する。この場合、メッシュ同士の特徴量の相関係数が高いほど、基準フレーム１２１のメッシュと画像フレームのメッシュとの類似度が高いことを示す。時系列情報算出部１１４は、新たな画像フレームの特徴量が入力される毎に、メッシュ同士の特徴量の相関係数を算出し、相関係数の算出結果を時系列的に連続させた時系列情報１２２を記憶部１２０に保存する。

【0036】

認識部１１５は、記憶部１２０に保存された各メッシュの時系列情報１２２に基づき、各メッシュの属性を認識する。そして、認識部１１５は、各メッシュの属性の認識結果を出力部１１６を通じて外部に出力する。

【0037】

次に、画像フレームの各メッシュの属性を認識するときの処理の流れを、具体例を交えつつ説明する。

【0038】

図２は、処理の対象となる画像フレームの画像内容の一例を示している。同図に示す例では、画像フレーム１３０は、屋外に設置されたカメラ１０が撮影した動画像の画像フレームであって、建物Ａ１、木Ａ２、道路Ａ３、空Ａ４などの被写体を含む。

【0039】

次いで、図３に示すように、画像フレームを時系列的に連続して撮影したとき、所定のタイミングで撮影された画像フレームを基準フレーム１２１として設定し、その後のタイミングで撮影された画像フレーム１３０を基準フレーム１２１と比較する。そして、画像フレーム１３０と基準フレーム１２１とのメッシュ毎の類似度を相関係数として算出する。

【0040】

この場合、図４（ａ）に示すように、画像フレーム１３０のうち、建物Ａ１の位置に対応するメッシュの相関係数は、高い値が維持される。これは、画像フレーム１３０のうち、建物Ａ１の位置に対応する画素値は、時間の経過に伴う変化が小さく、画像フレーム１３０と基準フレーム１２１との類似度が高くなる傾向にあるためである。そのため、認識部１１５は、メッシュにおける所定の時間内の時系列情報１２２に変化がないと判定した場合には、メッシュに含まれる被写体の属性が固定物の一例である建物であると認識する。

【0041】

また、図４（ｂ）に示すように、画像フレーム１３０のうち、道路Ａ３の位置に対応するメッシュの相関係数は、通常は高い値が維持されるものの、一時的に低い値を示すことがある。これは、画像フレーム１３０のうち、道路Ａ３の位置に対応する画素値は、車両の通行が無いときには時間の経過に伴う変化が小さいものの、車両が通過するときには時間の経過に伴う変化が一時的に大きくなるためである。

【0042】

また、図４（ｃ）に示すように、画像フレーム１３０のうち、木Ａ２の位置に対応するメッシュの相関係数は、周期的に増加および減少を繰り返す。これは、画像フレーム１３０のうち、木Ａ２の位置に対応する画素値は、木の葉や枝が風により揺れたときには、時間の経過に伴って周期的な変化を示すためである。

【0043】

次に、本実施の形態の画像処理装置１００が実行する画像フレームのメッシュの属性の認識処理について、その具体的な処理内容を説明する。

【0044】

図５に示すように、この画像フレームのメッシュの属性の認識処理ではまず、分割部１１２は、記憶部１２０に保存された基準フレーム１２１を複数のメッシュに分割する（ステップＳ１０）。そして、特徴量抽出部１１３は、先のステップＳ１０において分割した基準フレーム１２１の各メッシュから特徴量を抽出する（ステップＳ１１）。続いて、画像取得部１１１は、カメラ１０により撮影された撮影画像を取得する（ステップＳ１２）。そして、分割部１１２は、先のステップＳ１２において取得された撮影画像を複数のメッシュに分割する（ステップＳ１３）。また、特徴量抽出部１１３は、先のステップＳ１３において分割した撮影画像の各メッシュから特徴量を抽出する（ステップＳ１４）。そして次に、時系列情報算出部１１４は、基準フレーム１２１の各メッシュの特徴量と撮影画像の各メッシュの特徴量とを対応するメッシュ毎に比較し、メッシュ同士の相関係数を算出する（ステップＳ１５）。また、時系列情報算出部１１４は、先のステップＳ１５において算出した相関係数を時系列的に連続した時系列情報１２２として取得し、当該取得した時系列情報１２２を記憶部１２０に保存する（ステップＳ１６）。また、認識部１１５は、記憶部１２０に保存された相関係数の時系列情報１２２に基づき、各メッシュの属性を認識する（ステップＳ１７）。そして、認識部１１５は、先のステップＳ１７において認識した各メッシュの属性を出力部１１６を通じて外部に出力する（ステップＳ１８）。

【0045】

次に、本実施の形態の画像処理装置１００の作用について説明する。

【0046】

従来、画像フレームを複数のメッシュに分割して各メッシュの属性を認識する際には、一つの画像フレームから分割した各メッシュと予め用意したテンプレートとの比較によりパターンマッチングを行い、各メッシュで発生している事象をメッシュの属性として認識していた。ただし、この方法では、１つの画像フレームからメッシュに含まれる被写体の輪郭を抽出する等の処理が必要となり、処理負荷が増大してしまうという問題があった。

【0047】

この点、本実施の形態では、時系列的に連続した複数の画像フレームからメッシュを分割し、各メッシュの特徴量の時系列情報に基づき、各メッシュで発生している事象をメッシュの属性として認識する。これにより、上述した従来の方法と比較して、処理負荷を抑えつつ、メッシュの属性を認識することができる。

【0048】

以上説明したように、上記第１の実施の形態によれば、以下に列挙する効果を得ることができる。

【0049】

（１）メッシュの特徴量の時系列情報１２２を用いているため、１つの画像フレームから画像の解析処理によりメッシュに含まれる被写体の輪郭を抽出する等の処理が不要となる。そのため、処理負荷を抑えつつ、メッシュの属性を認識することができる。

【0050】

（２）特徴量は、画像フレームと基準フレーム１２１との類似度を含む。これにより、メッシュの特徴量の時系列情報１２２に基づき、メッシュの属性を認識することができる。

【0051】

（３）メッシュの属性は、メッシュに含まれる被写体の属性を含み、認識部１１５は、メッシュにおける所定の時間内の時系列情報１２２に変化がないと判定した場合には、メッシュに含まれる被写体の属性が人工構造物であると認識する。これにより、メッシュの時系列情報１２２の変化パターンに基づき、メッシュに含まれる被写体の属性を認識することができる。

【0052】

（４）メッシュの属性は、メッシュに含まれる被写体の属性を含み、認識部１１５は、メッシュにおける所定の時間内の時系列情報１２２が変化したと判定した場合には、メッシュに含まれる被写体の属性が動体の一例である車両を含む道路である認識する。これにより、メッシュの時系列情報１２２の変化パターンに基づき、メッシュに含まれる被写体の属性を認識することができる。

【0053】

（第２の実施の形態）
次に、画像処理装置の第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、複数のメッシュの時系列情報１２２の組み合わせに基づき、当該複数のメッシュの各々の属性を認識する点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

【0054】

本実施の形態の画像処理装置では、画像フレームから分割したメッシュの属性を認識する際には、認識の対象となるメッシュに加え、当該メッシュに隣り合うメッシュも含めた複数のメッシュの時系列情報に基づき、複数のメッシュの各々の属性を認識する。

【0055】

以下、本実施の形態の画像処理装置において、画像フレームの各メッシュの属性を認識するときの処理の流れを、具体例を交えつつ説明する。

【0056】

図６は、処理の対象となる画像フレームの画像内容の一例を示している。同図に示す例では、画像フレーム１３０は、屋外に設置されたカメラ１０が撮影した動画像の画像フレームであって、建物Ａ１、木Ａ２、道路Ａ３、空Ａ４などの被写体を含む。また、同図に示す例では、画像フレームのうち、被写体として木を含む複数のメッシュＭ１，Ｍ２，Ｍ３（縦に並んだ３つのメッシュ）が処理の対象となっている。

【0057】

この場合、図７（ａ）に示すように、第１のメッシュＭ１の相関係数は、周期的に増加および減少を繰り返す。また、図７（ｂ）に示すように、第２のメッシュＭ２の相関係数は、第１のメッシュＭ１の相関係数と比較して、変化のパターンに若干の相違があるものの、周期的に増加および減少を繰り返す。また、図７（ｃ）に示すように、第３のメッシュＭ３の相関係数は、第１のメッシュＭ１の相関係数及び第２のメッシュＭ２の相関係数と比較して、変化のパターンに若干の相違があるものの、周期的に増加および減少を繰り返す。これは、第１～第３のメッシュＭ１～Ｍ３の何れにおいても、各メッシュＭ１～Ｍ３に対応する木Ａ２の位置に対応する画素値は、木の葉や枝が風により揺れたときには、時間の経過に伴って周期的な変化を示すためである。

【0058】

次に、本実施の形態の画像処理装置１００が実行する画像フレームのメッシュの属性の認識処理について、その具体的な処理内容を説明する。

【0059】

図８に示すように、この画像フレームのメッシュの属性の認識処理ではまず、分割部１１２は、記憶部１２０に保存された基準フレーム１２１を複数のメッシュに分割する（ステップＳ２０）。そして、特徴量抽出部１１３は、先のステップＳ２０において分割した基準フレーム１２１の各メッシュから特徴量を抽出する（ステップＳ２１）。続いて、画像取得部１１１は、カメラ１０により撮影された撮影画像を取得する（ステップＳ２２）。そして、分割部１１２は、先のステップＳ２２において取得された撮影画像を複数のメッシュに分割する（ステップＳ２３）。また、特徴量抽出部１１３は、先のステップＳ２３において分割した撮影画像の各メッシュから特徴量を抽出する（ステップＳ２４）。そして次に、時系列情報算出部１１４は、複数の隣接するメッシュの組み合わせについて、基準フレーム１２１の各メッシュの特徴量と撮影画像の各メッシュの特徴量との相関係数を算出する（ステップＳ２５）。そして、時系列情報算出部１１４は、隣接するメッシュの組み合わせごとに、先のステップＳ２５において算出した相関係数を時系列的に連続した時系列情報１２２として取得し、当該取得した時系列情報１２２を記憶部１２０に保存する（ステップＳ２６）。また、認識部１１５は、隣接するメッシュの組み合わせごとに記憶部１２０に保存された相関係数の時系列情報１２２に基づき、各メッシュの属性を認識する（ステップＳ２７）。そして、認識部１１５は、複数のメッシュの組み合わせについて、メッシュの属性の認識結果が一致するときには（ステップＳ２８＝ＹＥＳ）、先のステップＳ２８において一致した認識結果である、隣接するメッシュの組み合わせの属性の認識結果を出力部１１６を通じて出力する（ステップＳ２９）。一方、認識部１１５は、複数のメッシュの組み合わせについて、メッシュの属性の認識結果が一致しないときには（ステップＳ２８＝ＮＯ）、先のステップＳ２５において算出した各メッシュの特徴量と基準フレーム１２１の各メッシュの特徴量との相関係数に基づき、各メッシュの属性の認識結果を出力部１１６を通じて出力する（ステップＳ３０）。

【0060】

以上説明したように、上記第２の実施の形態によれば、上記第１の実施の形態の効果（１）～（４）に加え、以下に列挙する効果を得ることができる。
（５）認識部１１５は、複数のメッシュの時系列情報１２２を組み合わせることにより、メッシュの属性を高い精度をもって認識することができる。

【0061】

（第３の実施の形態）
次に、画像処理装置の第３の実施の形態について図面を参照して説明する。なお、第３の実施の形態は、複数のメッシュの時系列情報に基づき、画像の撮影環境が変動したか否かを検出する点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

【0062】

本実施の形態の画像処理装置では、メッシュの時系列情報１２２の変化量が所定の閾値以上であるときには、メッシュの時系列情報１２２が変化したと判定する。また、複数のメッシュのうち、時系列情報１２２が変化したと判定したメッシュの比率が所定値以上であるときには、画像の撮影環境が変動したと判定する。そして、画像の撮影環境が変動したと判定したときには、変動後の撮影環境で撮影した画像フレームを基準フレームとして更新する。

【0063】

以下、本実施の形態の画像処理装置において、画像フレームの各メッシュの属性を認識するときの処理の流れを、具体例を交えつつ説明する。

【0064】

図９は、処理の対象となる画像フレームの画像内容の一例を示している。同図に示す例では、画像フレーム１３０は、屋外に設置されたカメラ１０が撮影した動画像の画像フレームであって、建物Ａ１、木Ａ２、道路Ａ３、空Ａ４などの被写体を含む。また、同図に示す例では、動画像の撮影途中で、画像フレームの撮影環境として、天気が「晴れ」から「曇り」に切り替わっている。この場合、画像フレームの撮影環境が切り替わった後には、天気が「曇り」に切り替わった後に撮影した画像フレームを基準フレームとして更新する。

【0065】

図１０に示すように、本実施の形態では、特徴量抽出部１１３は、画像フレームのメッシュの特徴量の一例として輝度を抽出し、当該抽出した輝度を時系列的に連続した時系列情報１２２として取得する。そして、認識部１１５は、時系列情報１２２に基づき、輝度の変化量ΔＸが所定の閾値を上回るときには、画像フレームの撮影環境の一例として天気が変動したと判定する。

【0066】

次に、本実施の形態の画像処理装置１００が実行する画像フレームのメッシュの属性の認識処理について、その具体的な処理内容を説明する。

【0067】

図１１に示すように、この画像フレームのメッシュの属性の認識処理ではまず、分割部１１２は、記憶部１２０に保存された基準フレーム１２１を複数のメッシュに分割する（ステップＳ３１）。そして、特徴量抽出部１１３は、先のステップＳ３１において分割した基準フレーム１２１の各メッシュから特徴量を抽出する（ステップＳ３２）。続いて、画像取得部１１１は、カメラ１０により撮影された撮影画像を取得する（ステップＳ３３）。そして、分割部１１２は、先のステップＳ３３において取得された撮影画像を複数のメッシュに分割する（ステップＳ３４）。また、特徴量抽出部１１３は、先のステップＳ３４において分割した撮影画像の各メッシュから特徴量を抽出する（ステップＳ３５）。そして次に、時系列情報算出部１１４は、基準フレーム１２１の各メッシュの特徴量と撮影画像の各メッシュの特徴量とを対応するメッシュ毎に比較し、メッシュ同士の相関係数を算出する（ステップＳ３６）。また、時系列情報算出部１１４は、先のステップＳ３６において算出した相関係数を時系列的に連続した時系列情報１２２として取得し、当該取得した時系列情報１２２を記憶部１２０に保存する（ステップＳ３７）。この場合、認識部１１５は、先のステップＳ３７において取得した時系列情報１２２に基づき、相関係数の変化量が所定の閾値以上であると判定したときには（ステップＳ３８＝ＹＥＳ）、撮影画像の撮影環境が変動したと検出する（ステップＳ３９）。そして、認識部１１５は、基準フレーム１２１を更新した上で（ステップＳ４０）、その処理をステップＳ３６に戻す。一方、認識部１１５は、先のステップＳ３７において取得した時系列情報１２２に基づき、相関係数の変化量が所定の閾値未満であると判定したときには（ステップＳ３８＝ＮＯ）、相関係数の時系列情報１２２に基づき、各メッシュの属性を認識する（ステップＳ４１）。そして、認識部１１５は、先のステップＳ４１における各メッシュの属性の認識結果を出力部１１６を通じて外部に出力する（ステップＳ４２）。

【0068】

以上説明したように、上記第３の実施の形態によれば、上記第１の実施の形態の効果（１）～（４）に加え、以下に列挙する効果を得ることができる。

【0069】

（６）例えば、屋外を撮影しているときに、天気が晴れから曇りに変化した場合には、画像全体に影響が生じる。そのため、認識部１１５は、複数のメッシュのうち、時系列情報１２２が変化したと判定したメッシュの比率が所定値以上であるときには、画像の撮影環境が変動したものと認識できる。

【0070】

（７）画像の撮影環境が変動したときには、基準フレーム１２１を更新することにより、画像と基準フレーム１２１との比較を通じてメッシュの属性を認識することができる。

【0071】

（第４の実施の形態）
次に、画像処理装置の第４の実施の形態について図面を参照して説明する。なお、第４の実施の形態は、メッシュの属性としてメッシュの背景を認識した場合、当該メッシュの時系列情報に加えて、メッシュの背景に基づき、メッシュに含まれる被写体の属性を認識する点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

【0072】

本実施の形態の画像処理装置では、メッシュの属性は、メッシュに含まれる背景の属性、および、メッシュに含まれる被写体の属性を含む。そして、認識部１１５は、メッシュの属性としてメッシュの背景を認識した場合、当該メッシュの時系列情報１２２に加えて、メッシュの背景に基づき、メッシュに含まれる被写体の属性を認識する。

【0073】

以下、本実施の形態の画像処理装置において、画像フレームの各メッシュの属性を認識するときの処理の流れを、具体例を交えつつ説明する。

【0074】

図１２は、処理の対象となる画像フレームの画像内容の一例を示している。同図に示す例では、画像フレーム１３０は、屋外に設置されたカメラ１０が撮影した動画像の画像フレームであって、建物Ａ１、木Ａ２、道路Ａ３、空Ａ４、飛行機Ａ５などの被写体を含む。また、同図に示す例では、空Ａ４がメッシュの背景に相当し、飛行機Ａ５が空Ａ４のエリアに含まれている。

【0075】

次に、本実施の形態の画像処理装置１００が実行する画像フレームのメッシュの属性の認識処理について、その具体的な処理内容を説明する。

【0076】

図１３に示すように、この画像フレームのメッシュの属性の認識処理ではまず、分割部１１２は、記憶部１２０に保存された基準フレーム１２１を複数のメッシュに分割する（ステップＳ５０）。そして、特徴量抽出部１１３は、先のステップＳ５０において分割した基準フレーム１２１の各メッシュから特徴量を抽出する（ステップＳ５１）。続いて、画像取得部１１１は、カメラ１０により撮影された撮影画像を取得する（ステップＳ５２）。そして、分割部１１２は、先のステップＳ５２において取得された撮影画像を複数のメッシュに分割する（ステップＳ５３）。また、特徴量抽出部１１３は、先のステップＳ５３において分割した撮影画像の各メッシュから特徴量を抽出する（ステップＳ５４）。そして次に、時系列情報算出部１１４は、基準フレーム１２１の各メッシュの特徴量と撮影画像の各メッシュの特徴量とを対応するメッシュ毎に比較し、メッシュ同士の相関係数を算出する（ステップＳ５５）。また、時系列情報算出部１１４は、先のステップＳ５５において算出した相関係数を時系列的に連続した時系列情報１２２として取得し、当該取得した時系列情報１２２を記憶部１２０に保存する（ステップＳ５６）。また、認識部１１５は、記憶部１２０に保存された相関係数の時系列情報１２２に基づき、各メッシュの属性を認識する（ステップＳ５７）。また、認識部１１５は、先のステップＳ５７において認識した各メッシュの属性の中に背景の属性を有するメッシュを含むか否かを判定する（ステップＳ５８）。認識部１１５は、背景の属性を有するメッシュを含むと判定したときには（ステップＳ５８＝ＹＥＳ）、背景の属性を有するメッシュのエリアの中に動体を含むか否かを判定する（ステップＳ５９）。図１２に示す例では、認識部１１５は、背景の属性として、空Ａ４の属性を認識する。この場合、認識部１１５は、例えば、背景の属性を有するメッシュの特徴量の一例として画素値を抽出し、当該抽出した画素値に基づき、動体の有無を判定する。そして、認識部１１５は、動体を含むと判定したときには（ステップＳ５９＝ＹＥＳ）、メッシュの時系列情報１２２及びメッシュの背景の属性に基づき、動体の属性を認識する（ステップＳ６０）。この場合、特徴量抽出部１１３は、例えばメッシュの時系列情報１２２に基づき、メッシュの特徴量として動体の移動方向、移動速度、サイズ、形状等を抽出する。また、認識部１１５は、特徴量抽出部１１３により抽出した特徴量に基づき、動体の属性を認識する（ステップＳ６０）。図１２に示す例では、認識部１１５は、動体の属性として、飛行機Ａ５の属性を認識する。そして、認識部１１５は、先のステップＳ５７又はステップＳ６０における各メッシュの属性の認識結果を出力部１１６を通じて外部に出力する（ステップＳ６１）。また、認識部１１５は、背景の属性を有するメッシュを含まないとき（ステップＳ５８＝ＮＯ）、又は、背景の属性を有するメッシュのエリアの中に動体を含まないときには（ステップＳ５９＝ＮＯ）、ステップＳ６０の処理を経ることなく、先のステップＳ５７における各メッシュの属性の認識結果を出力部１１６を通じて外部に出力する（ステップＳ６１）。

【0077】

以上説明したように、上記第４の実施の形態によれば、上記第１の実施の形態の効果（１）～（４）に加え、以下に列挙する効果を得ることができる。

【0078】

（８）認識部１１５は、メッシュに含まれる背景の属性を考慮して、メッシュに含まれる被写体の属性を認識するため、被写体の認識精度を高めることができる。

【0079】

（第５の実施の形態）
次に、画像処理装置の第５の実施の形態について図面を参照して説明する。なお、第５の実施の形態は、メッシュの属性の認識結果に基づき、メッシュを変更する点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

【0080】

本実施の形態の画像処理装置では、画像フレームの各メッシュの属性を認識し、同一の属性として認識された複数のメッシュを含むときには、それら複数のメッシュを新たなメッシュとして統合する。そして以降、統合したメッシュ毎に、メッシュの特徴量を抽出し、当該抽出した特徴量の時系列情報に基づき、統合したメッシュの属性を認識する。

【0081】

以下、本実施の形態の画像処理装置において、画像フレームの各メッシュの属性を認識するときの処理の流れを、具体例を交えつつ説明する。

【0082】

図１４（ａ）は、処理の対象となる画像フレームの画像内容の一例を示している。同図に示す例では、画像フレーム１３０は、屋外に設置されたカメラ１０が撮影した動画像の画像フレームであって、建物Ａ１、木Ａ２、道路Ａ３、空Ａ４などの被写体を含む。また、同図に示す例では、画像フレーム１３０が格子状のメッシュに分割されている。そして、本実施の形態では、図１４（ｂ）に示すように、建物Ａ１、木Ａ２、道路Ａ３、空Ａ４などの同一の属性を有する複数のメッシュが新たなメッシュとして統合される。

【0083】

次に、本実施の形態の画像処理装置１００が実行する画像フレームのメッシュの属性の認識処理について、その具体的な処理内容を説明する。

【0084】

図１５に示すように、この画像フレームのメッシュの属性の認識処理ではまず、分割部１１２は、記憶部１２０に保存された基準フレーム１２１を複数のメッシュに分割する（ステップＳ７０）。そして、特徴量抽出部１１３は、先のステップＳ７０において分割した基準フレーム１２１の各メッシュから特徴量を抽出する（ステップＳ７１）。続いて、画像取得部１１１は、カメラ１０により撮影された撮影画像を取得する（ステップＳ７２）。そして、分割部１１２は、先のステップＳ７２において取得された撮影画像を複数のメッシュに分割する（ステップＳ７３）。また、特徴量抽出部１１３は、先のステップＳ７３において分割した撮影画像の各メッシュから特徴量を抽出する（ステップＳ７４）。そして次に、時系列情報算出部１１４は、基準フレーム１２１の各メッシュの特徴量と撮影画像の各メッシュの特徴量とを対応するメッシュ毎に比較し、メッシュ同士の相関係数を算出する（ステップＳ７５）。また、時系列情報算出部１１４は、先のステップＳ７５において算出した相関係数を時系列的に連続した時系列情報１２２として取得し、当該取得した時系列情報１２２を記憶部１２０に保存する（ステップＳ７６）。また、認識部１１５は、記憶部１２０に保存された相関係数の時系列情報１２２に基づき、各メッシュの属性を認識する（ステップＳ７７）。また、認識部１１５は、先のステップＳ７７において同一の属性として認識された複数のメッシュを新たなメッシュとして統合する（ステップＳ７８）。そして、認識部１１５は、先のステップＳ７８における各メッシュの属性の認識結果を出力部１１６を通じて出力する（ステップＳ７９）。

【0085】

以上説明したように、上記第５の実施の形態によれば、上記第１の実施の形態の効果（１）～（４）に加え、以下に列挙する効果を得ることができる。

【0086】

（９）認識の対象となる被写体に応じてメッシュの大きさを変更することにより、より一層処理負荷を抑えつつ、メッシュに含まれる被写体の属性を認識することができる。

【0087】

（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記各実施の形態において、特徴量は、色であってもよい。また、特徴量は、輝度、色、移動速度、移動方向、および、基準フレームとの類似度のうち、複数の要素を含んでもよい。

【0088】

・上記第２の実施の形態において、複数のメッシュの組み合わせは、必ずしも隣接するメッシュである必要はなく、組み合わせの少なくとも一部が他のメッシュから離間していてもよい。

【0089】

・上記各実施の形態において、動画像を構成する画像フレームのうち、メッシュの属性が人であると判定されたメッシュの画像内での移動量に基づいて、メッシュの撮影範囲の大きさを推定するようにしてもよい。より詳細には、図１６に示すように、人が画像内を左右方向に移動するときには、まず、動画像の撮影時におけるフレームレートに基づいて、単位時間当たり（同図に示す例では「１秒」）のメッシュの画像内での移動量（同図に示す例では「３メッシュ分」）を算出する。この場合、メッシュの撮影範囲の大きさは、該当する地点までのカメラからの距離を反映していることから、左右方向に並ぶ複数のメッシュの撮影範囲の大きさは同一となる。そのため、メッシュの画像内での移動量を用いて人の平均歩行速度を除算することにより、メッシュの撮影範囲の大きさ（同図に示す例では「０．５ｍ」）が算出される。また、図１７に示すように、人が画像内を上下方向に移動するときには、まず、動画像の撮影時におけるフレームレートに基づいて、単位時間当たり（同図に示す例では「１秒」）のメッシュの画像内での移動量（同図に示す例では「３メッシュ分」）を算出する。この場合、メッシュの撮影範囲の大きさは、該当する地点までのカメラからの距離を反映していることから、上下方向に並ぶ複数のメッシュの撮影範囲の大きさは、メッシュが上方に位置するに従って大きくなる傾向にある。そのため、上下に隣り合うメッシュの画像内での移動時間を人の平均歩行速度に積算することにより、メッシュの撮影範囲の大きさ（同図に示す例では、最下方のメッシュから順に、「１．５ｍ」、「２．２５ｍ」、「３ｍ」）が算出される。

【符号の説明】

【0090】

１０…カメラ、１００…画像処理装置、１１０…制御部、１１１…画像取得部、１１２…分割部、１１３…特徴量抽出部、１１４…時系列情報算出部、１１５…認識部、１１６…出力部、１２０…記憶部、１２１…基準フレーム、１２２…時系列情報。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】