特開2022-169307フィルタマップを用いてアテンションマップを更新する画像分析装置、プログラム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022169307
(43)【公開日】2022-11-09
(54)【発明の名称】フィルタマップを用いてアテンションマップを更新する画像分析装置、プログラム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221101BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021075260
(22)【出願日】2021-04-27
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】美嶋 勇太朗
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA01
5L096EA39
5L096FA02
5L096FA62
5L096FA64
5L096FA66
5L096GA55
5L096HA11
(57)【要約】
【課題】実空間における物理的制約に応じたアテンションマップを生成することによって、特徴量マップを更新することができる画像分析装置等を提供する。
【解決手段】画像分析装置は、画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、画像から局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段とを有する。
【選択図】図２
【解決手段】画像分析装置は、画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、画像から局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段とを有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
ニューラルネットワークを用いて画像を分析する画像分析装置において、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
を有することを特徴とする画像分析装置。
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
を有することを特徴とする画像分析装置。
【請求項2】
画像は、時系列の画像であり、
ニューラルネットワークは、局所領域内の局所画像の空間的且つ時間的な変化を表す特徴量マップを時系列に出力し、
アテンションマップ生成手段は、時系列の特徴量マップ毎に、アテンションマップを生成し、
アテンションマップ更新手段は、時系列のアテンションマップ毎に、フィルタマップを重み付ける
ことを特徴とする請求項１に記載の画像分析装置。
ニューラルネットワークは、局所領域内の局所画像の空間的且つ時間的な変化を表す特徴量マップを時系列に出力し、
アテンションマップ生成手段は、時系列の特徴量マップ毎に、アテンションマップを生成し、
アテンションマップ更新手段は、時系列のアテンションマップ毎に、フィルタマップを重み付ける
ことを特徴とする請求項１に記載の画像分析装置。
【請求項3】
画像は、地図に基づくものであり、
画像の局所領域は、地図の矩形メッシュに対応する
ことを特徴とする請求項１又は２に記載の画像分析装置。
画像の局所領域は、地図の矩形メッシュに対応する
ことを特徴とする請求項１又は２に記載の画像分析装置。
【請求項4】
フィルタマップは、予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す重みが小さくなるものである
ことを特徴とする請求項１から３のいずれか１項に記載の画像分析装置。
ことを特徴とする請求項１から３のいずれか１項に記載の画像分析装置。
【請求項5】
フィルタマップは、
予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す重みが小さくなる第１のマップと、
予測対象の局所領域を中心として、主要影響対象の局所領域から他の局所領域への距離及び／又は高さが長くなるほど、当該主要影響対象の局所領域から受ける時間的影響を表す重みが小さくなる第２のマップと
について、局所領域毎に重みを乗算したものである
ことを特徴とする請求項１から３のいずれか１項に記載の画像分析装置。
予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す重みが小さくなる第１のマップと、
予測対象の局所領域を中心として、主要影響対象の局所領域から他の局所領域への距離及び／又は高さが長くなるほど、当該主要影響対象の局所領域から受ける時間的影響を表す重みが小さくなる第２のマップと
について、局所領域毎に重みを乗算したものである
ことを特徴とする請求項１から３のいずれか１項に記載の画像分析装置。
【請求項6】
第２のマップについて、局所領域毎の重みは、主要影響対象の局所領域からの気体又は流体の流れに基づく物理的影響を表すものである
ことを特徴とする請求項５に記載の画像分析装置。
ことを特徴とする請求項５に記載の画像分析装置。
【請求項7】
ニューラルネットワークを用いて画像を分析する装置に搭載されたコンピュータを機能させるプログラムにおいて、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
してコンピュータを機能させることを特徴とするプログラム。
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項8】
ニューラルネットワークを用いて画像を分析する装置の画像分析方法において、
装置は、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、ニューラルネットワークを用いて局所領域毎の特徴量を表す特徴量マップを出力する第１のステップと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成する第２のステップと、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新する第３のステップと、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する第４のステップと
を実行することを特徴とする画像分析方法。
装置は、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、ニューラルネットワークを用いて局所領域毎の特徴量を表す特徴量マップを出力する第１のステップと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成する第２のステップと、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新する第３のステップと、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する第４のステップと
を実行することを特徴とする画像分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークにおけるアテンション(Attention)機構の技術に関する。
【背景技術】
【0002】
時系列の画像に対するアテンション機構は、視覚的注意(visual attention)を惹くと予測される領域を検出することができる（例えば非特許文献１参照）。
アテンション機構には、モデルベースと学習ベースとがある。ここで、学習ベースとは、大量の教師データを用いて、注目領域を判定すべき画像特徴を訓練するものである。学習ベースの場合、モデルや仮説を必要としないが、教師データに対する依存度が高いため、教師データが適切でないと検出精度が低下する。また、適切な学習データを用いて訓練した場合であっても、時間の経過に応じて状況や観察対象、環境などが変化し、訓練した知識が適切でなくなっていく。その場合は、現在の状況等に則した新たな学習データを用意して再訓練する必要があり、メンテナンスが面倒となる。
アテンション機構には、モデルベースと学習ベースとがある。ここで、学習ベースとは、大量の教師データを用いて、注目領域を判定すべき画像特徴を訓練するものである。学習ベースの場合、モデルや仮説を必要としないが、教師データに対する依存度が高いため、教師データが適切でないと検出精度が低下する。また、適切な学習データを用いて訓練した場合であっても、時間の経過に応じて状況や観察対象、環境などが変化し、訓練した知識が適切でなくなっていく。その場合は、現在の状況等に則した新たな学習データを用意して再訓練する必要があり、メンテナンスが面倒となる。
【0003】
従来、時空間データに対する空間方向のアテンション機構の技術がある（例えば非特許文献２及び３参照）。この技術によれば、畳み込み層から出力された特徴量マップに対して、畳み込みや活性化等の処理を実行してアテンションマップを生成する。具体的には、特徴量マップを、チャネル方向にMax Pooling及びAverage Poolingした上で畳み込み、活性化によって空間方向のアテンションマップを出力する。そして、特徴量マップとアテンションマップとを、point-wiseに乗算し、更新した特徴量マップを生成する。基本的に、元の空間データの値が大きい位置ほど、アテンションマップにおけるスコアは高くなり、最終的に着目すべき値としてネットワーク内で特徴付けられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６５６５６００号公報
【非特許文献】
【0005】
【非特許文献1】深層学習入門：画像分類（5）Attention 機構、 [online]、［令和３年４月８日検索］、インターネット＜URL:https://www.softbanktech.co.jp/special/blog/cloud_blog/2019/0063/＞
【非特許文献2】Woo, Sanghyun and Park, Jongchan and Lee, Joon-Young and So Kweon, "CBAM: Convolutional Block Attention Module", in ECCV2018. 、[online]、［令和３年４月８日検索］、インターネット＜URL:https://arxiv.org/pdf/1807.06521.pdf＞
【非特許文献3】Jiahao Su, Wonmin Byeon, Furong Huang, Jan Kautz, and Animashree Anandkumar. Convolutional tensor-train lstm for spatio-temporal learning. arXiv preprint arXiv:2002.09131, 2020. 、[online]、［令和３年４月８日検索］、インターネット＜https://arxiv.org/pdf/2002.09131.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、時系列の画像が時系列の実空間に基づくものである場合、既存のアテンション機構を適用したとしても、画像領域における変化にしか注目せず、実空間の物理的制約をモデリングすることはできない。
具体的に、時系列の時空間の画像として、将来の大気汚染濃度を予測する例を想定する。実空間を表す画像を、所定サイズの矩形（メッシュ）状の局所領域に区切り、局所領域毎の大気汚染濃度をデータとして用いるとする。このような時系列の実空間の画像に、既存のアテンション機構を適用した場合、例えば距離や風向の観点から、本来、物理的に全く関係し得ない局所領域からの影響を受けているとして、誤って注目領域を判断する場合がある。
具体的に、時系列の時空間の画像として、将来の大気汚染濃度を予測する例を想定する。実空間を表す画像を、所定サイズの矩形（メッシュ）状の局所領域に区切り、局所領域毎の大気汚染濃度をデータとして用いるとする。このような時系列の実空間の画像に、既存のアテンション機構を適用した場合、例えば距離や風向の観点から、本来、物理的に全く関係し得ない局所領域からの影響を受けているとして、誤って注目領域を判断する場合がある。
【0007】
これを解決するべく、畳み込み層への入力範囲を小さくすることもできる。しかしながら、時系列の実空間の画像に対する予測には、空間方向だけでなく、時間方向も考慮する必要がある。大気汚染濃度の例によれば、一般的に、実空間における物質の伝搬範囲は、時間に比例して拡大する。そのために、畳み込み層への入力範囲を小さくした場合、長期間の空間的且つ時間的な依存関係を捉えられないという課題も生じる。
【0008】
そこで、本発明は、実空間における物理的制約に応じたアテンションマップを生成することによって、特徴量マップを更新する画像分析装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明によれば、ニューラルネットワークを用いて画像を分析する画像分析装置において、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
を有することを特徴とする。
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
を有することを特徴とする。
【0010】
本発明の画像分析装置における他の実施形態によれば、
画像は、時系列の画像であり、
ニューラルネットワークは、局所領域内の局所画像の空間的且つ時間的な変化を表す特徴量マップを時系列に出力し、
アテンションマップ生成手段は、時系列の特徴量マップ毎に、アテンションマップを生成し、
アテンションマップ更新手段は、時系列のアテンションマップ毎に、フィルタマップを重み付ける
ことも好ましい。
画像は、時系列の画像であり、
ニューラルネットワークは、局所領域内の局所画像の空間的且つ時間的な変化を表す特徴量マップを時系列に出力し、
アテンションマップ生成手段は、時系列の特徴量マップ毎に、アテンションマップを生成し、
アテンションマップ更新手段は、時系列のアテンションマップ毎に、フィルタマップを重み付ける
ことも好ましい。
【0011】
本発明の画像分析装置における他の実施形態によれば、
画像は、地図に基づくものであり、
画像の局所領域は、地図の矩形メッシュに対応する
ことも好ましい。
画像は、地図に基づくものであり、
画像の局所領域は、地図の矩形メッシュに対応する
ことも好ましい。
【0012】
本発明の画像分析装置における他の実施形態によれば、
フィルタマップは、予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す重みが小さくなるものである
ことも好ましい。
フィルタマップは、予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す重みが小さくなるものである
ことも好ましい。
【0013】
本発明の画像分析装置における他の実施形態によれば、
フィルタマップは、
予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す重みが小さくなる第１のマップと、
予測対象の局所領域を中心として、主要影響対象の局所領域から他の局所領域への距離及び／又は高さが長くなるほど、当該主要影響対象の局所領域から受ける時間的影響を表す重みが小さくなる第２のマップと
について、局所領域毎に重みを乗算したものである
ことも好ましい。
フィルタマップは、
予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す重みが小さくなる第１のマップと、
予測対象の局所領域を中心として、主要影響対象の局所領域から他の局所領域への距離及び／又は高さが長くなるほど、当該主要影響対象の局所領域から受ける時間的影響を表す重みが小さくなる第２のマップと
について、局所領域毎に重みを乗算したものである
ことも好ましい。
【0014】
本発明の画像分析装置における他の実施形態によれば、
第２のマップについて、局所領域毎の重みは、主要影響対象の局所領域からの気体又は流体の流れに基づく物理的影響を表すものである
ことも好ましい。
第２のマップについて、局所領域毎の重みは、主要影響対象の局所領域からの気体又は流体の流れに基づく物理的影響を表すものである
ことも好ましい。
【0015】
本発明によれば、ニューラルネットワークを用いて画像を分析する装置に搭載されたコンピュータを機能させるプログラムにおいて、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
してコンピュータを機能させることを特徴とする。
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、局所領域毎の特徴量を表す特徴量マップを出力するニューラルネットワークと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成するアテンションマップ生成手段と、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新するアテンションマップ更新手段と、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する特徴量マップ更新手段と
してコンピュータを機能させることを特徴とする。
【0016】
本発明によれば、ニューラルネットワークを用いて画像を分析する装置の画像分析方法において、
装置は、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、ニューラルネットワークを用いて局所領域毎の特徴量を表す特徴量マップを出力する第１のステップと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成する第２のステップと、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新する第３のステップと、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する第４のステップと
を実行することを特徴とする。
装置は、
画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される重みを付与したフィルタマップを設定し、
画像から、ニューラルネットワークを用いて局所領域毎の特徴量を表す特徴量マップを出力する第１のステップと、
特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成する第２のステップと、
アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みを乗算して、アテンションマップを更新する第３のステップと、
ニューラルネットワークから出力された特徴量マップに、更新後アテンションマップを乗算して、特徴量マップを更新する第４のステップと
を実行することを特徴とする。
【発明の効果】
【0017】
本発明の画像分析装置、プログラム及び方法によれば、実空間における物理的制約に応じたアテンションマップを生成することによって、特徴量マップを更新することができる。
【図面の簡単な説明】
【0018】
【図1】本発明における画像分析装置の機能構成図である。
【図2】ニューラルネットワーク及びアテンションマップ生成部の説明図である。
【図3】本発明におけるアテンションマップ更新部及び特徴量マップ更新部の説明図である。
【図4】本発明におけるフィルタマップの説明図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0020】
図１は、本発明における画像分析装置の機能構成図である。
【0021】
図１によれば、画像分析装置１は、ニューラルネットワークを用いて画像を分析するものである。画像分析装置１は、ニューラルネットワーク１０と、アテンションマップ生成部１１と、フィルタマップ１２０と、アテンションマップ更新部１２と、特徴量マップ更新部１３とを有する。これら機能構成部は、画像分析装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、画像分析方法としても理解できる。
【0022】
図２は、ニューラルネットワーク及びアテンションマップ生成部の説明図である。
【0023】
［ニューラルネットワーク１０］
ニューラルネットワーク１０には、時系列の画像が入力される。画像は、動画であってよいし、時系列に離散的なフレームであってもよい。
画像は、例えば地図に基づくものであってもよい。実施形態としては、空間的な地図上を、大気汚染物質が時間的に伝播するような時系列の画像を想定する。
ニューラルネットワーク１０は、時系列の画像を、空間方向（x,y）と時間方向（t）とに分割する。画像は、地図のメッシュに対応した局所領域（空間方向）に分割される。これによって、同一の局所領域について、時間方向に複数の局所画像を切り出すことができる。これは「時空間画像(spatio temporal image)」と称される。
ニューラルネットワーク１０には、時系列の画像が入力される。画像は、動画であってよいし、時系列に離散的なフレームであってもよい。
画像は、例えば地図に基づくものであってもよい。実施形態としては、空間的な地図上を、大気汚染物質が時間的に伝播するような時系列の画像を想定する。
ニューラルネットワーク１０は、時系列の画像を、空間方向（x,y）と時間方向（t）とに分割する。画像は、地図のメッシュに対応した局所領域（空間方向）に分割される。これによって、同一の局所領域について、時間方向に複数の局所画像を切り出すことができる。これは「時空間画像(spatio temporal image)」と称される。
【0024】
ニューラルネットワーク１０は、画像から、局所領域毎の特徴量を表す特徴量マップを出力する。特徴量マップは、局所領域内の画像の空間的且つ時間的な変化を表す時空間特徴量マップを、時系列に出力する。
「特徴量」とは、時系列の画像について動き及び変化を数値化した画像特徴をいい、「特徴量マップ」とは、それら特徴量を空間的にマップ化したものである。
「時空間特徴量」とは、時系列の画像について空間的な変化と時間的な変化との両方を数値化した画像特徴をいう。時空間特徴量としては、例えばＨＯＦ(Histogram of Optical Flow)に基づくものであってもよい。
「特徴量」とは、時系列の画像について動き及び変化を数値化した画像特徴をいい、「特徴量マップ」とは、それら特徴量を空間的にマップ化したものである。
「時空間特徴量」とは、時系列の画像について空間的な変化と時間的な変化との両方を数値化した画像特徴をいう。時空間特徴量としては、例えばＨＯＦ(Histogram of Optical Flow)に基づくものであってもよい。
【0025】
［アテンションマップ生成部１１］
アテンションマップ生成部１１は、ニューラルネットワーク１０によって出力された特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成する。アテンションマップ生成部１１は、時系列の特徴量マップが入力されると、その特徴量マップ毎に、時系列のアテンションマップが出力される。
アテンションマップ生成部１１は、ニューラルネットワーク１０によって出力された特徴量マップから、局所領域毎に、視覚的注意を惹くと予測されるスコアを付与したアテンションマップを生成する。アテンションマップ生成部１１は、時系列の特徴量マップが入力されると、その特徴量マップ毎に、時系列のアテンションマップが出力される。
【0026】
図２によれば、特徴量マップの局所領域毎に、スコアが付与されている。色が濃い領域ほどスコアが高く、色が薄い領域ほどスコアが低い。図２によれば、中央の局所領域について予測する際に、左上の局所領域のスコアが高くなっている。これは、時系列の画像の変化からみて、中央の局所領域が、左上の局所領域から受ける影響が高い、ことを意味する。中央の局所領域からみて異常（非正常）の影響を及ぼす局所領域は、人の視覚的注意を惹きやすい傾向にあるとして、アテンションマップの中でその局所領域のスコアは高くなる。
【0027】
図３は、本発明におけるアテンションマップ更新部及び特徴量マップ更新部の説明図である。
【0028】
［フィルタマップ１２０］
フィルタマップ１２０は、画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される「重み」を付与したものである。フィルタマップ１２０は、実空間における物理的制約条件をモデリングしたものである。
フィルタマップ１２０は、画像内の局所領域毎に、予測対象となる局所領域に対して、他の局所領域から影響すると予測される「重み」を付与したものである。フィルタマップ１２０は、実空間における物理的制約条件をモデリングしたものである。
【0029】
図３によれば、フィルタマップ１２０は、予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す「重み」が小さくなるものである。
ここで、フィルタマップの重みは、予測対象の局所領域を中心とした正規分布で表される。正規分布としては、距離に基づく２次元（緯度・経度）平面的であってもよいし、距離及び高さに基づく３次元（緯度・経度・高度）空間的なものであってもよい。
ここで、フィルタマップの重みは、予測対象の局所領域を中心とした正規分布で表される。正規分布としては、距離に基づく２次元（緯度・経度）平面的であってもよいし、距離及び高さに基づく３次元（緯度・経度・高度）空間的なものであってもよい。
【0030】
前述と同様に、例えば、大気汚染物質の濃度を予測する場合を想定する。定性的に考えて、予測対象の地点（局所領域）における濃度は、予測対象の地点周辺の他の地点からの影響を受ける。特に、予測対象の地点からの距離が近ければ近いほど、その地点からの影響を強く受ける。フィルタマップ１２０は、予測対象の局所領域を中心として、他の局所領域から受ける物理的影響を「重み」としてマップ状に表現したものである。
【0031】
２次元正規分布の場合、時刻tにおけるフィルタマップの各局所特徴（ｘ，ｙ）のスコアＳは、以下のように表される。
Ｓ(x,y,t)＝Ｎ（[ｐx,ｐy]，Σｐ(t)）
Ｎ：２次元正規分布
ｐx,ｐy：予測対象の局所領域（地点）の位置
（常に予測対象の局所領域を表し、時刻tによって変化しない）
Σｐ(t)：分散共分散行列
（概念的には距離（影響度の減衰度合の逆数）を表す）
ここで、Σｐ(t)は、ハイパーパラメータとして任意に設定するものであってもよいし、距離に基づく物理的影響から推定するものであってもよい。
尚、フィルタマップは、時刻t毎に、異なるΣｐ(t)を設定するものであってもよい。
Ｓ(x,y,t)＝Ｎ（[ｐx,ｐy]，Σｐ(t)）
Ｎ：２次元正規分布
ｐx,ｐy：予測対象の局所領域（地点）の位置
（常に予測対象の局所領域を表し、時刻tによって変化しない）
Σｐ(t)：分散共分散行列
（概念的には距離（影響度の減衰度合の逆数）を表す）
ここで、Σｐ(t)は、ハイパーパラメータとして任意に設定するものであってもよいし、距離に基づく物理的影響から推定するものであってもよい。
尚、フィルタマップは、時刻t毎に、異なるΣｐ(t)を設定するものであってもよい。
【0032】
［アテンションマップ更新部１２］
アテンションマップ更新部１２は、アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みをpoint-wiseで乗算して、アテンションマップを更新する。また、アテンションマップ更新部１２は、時系列のアテンションマップを入力し、それらアテンションマップ毎に、フィルタマップを重み付ける。これによって、実空間方向の物理的影響（例えば距離）に基づく依存関係を、アテンションマップに反映させることができる。
更新後アテンションマップは、特徴量マップ更新部１３へ出力される。
アテンションマップ更新部１２は、アテンションマップの局所領域のスコア毎に、フィルタマップにおける同一の局所領域の重みをpoint-wiseで乗算して、アテンションマップを更新する。また、アテンションマップ更新部１２は、時系列のアテンションマップを入力し、それらアテンションマップ毎に、フィルタマップを重み付ける。これによって、実空間方向の物理的影響（例えば距離）に基づく依存関係を、アテンションマップに反映させることができる。
更新後アテンションマップは、特徴量マップ更新部１３へ出力される。
【0033】
［特徴量マップ更新部１３］
特徴量マップ更新部１３は、ニューラルネットワーク１０から出力された特徴量マップに、更新後アテンションマップをpoint-wiseで乗算して、特徴量マップを更新する。
これによって、実空間方向の物理的影響（例えば距離）に基づく依存関係を、特徴量マップに反映させることができる。
特徴量マップ更新部１３は、ニューラルネットワーク１０から出力された特徴量マップに、更新後アテンションマップをpoint-wiseで乗算して、特徴量マップを更新する。
これによって、実空間方向の物理的影響（例えば距離）に基づく依存関係を、特徴量マップに反映させることができる。
【0034】
図４は、本発明におけるフィルタマップの説明図である。
【0035】
図４によれば、同一の局所領域に区分された第１のマップ及び第２のマップが表されている。
第１のマップは、予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す「重み」が小さくなるものである。即ち、第１のマップは、位置における物理的影響に基づくものである。第１のマップは、前述した図３に基づくフィルタマップ１２０と同じものである。
第２のマップは、予測対象の局所領域を中心として、主要影響対象の局所領域から他の局所領域への距離及び／又は高さが長くなるほど、当該主要影響対象の局所領域から受ける時間的影響を表す「重み」が小さくなるものである。即ち、第２のマップは、時間的影響に基づくものである。第２のマップについて、局所領域毎の重みは、主要影響対象の局所領域からの気体又は流体の流れに基づく時間的影響を表すものである。図４によれば、主要影響対象の局所領域は、右下（南東）に位置している。
勿論、第１のマップ及び第２のマップは、時刻t毎に生成されるものであってもよい。
第１のマップは、予測対象の局所領域を中心として、他の局所領域までの距離及び／又は高さが長くなるほど、当該他の局所領域から受ける物理的影響を表す「重み」が小さくなるものである。即ち、第１のマップは、位置における物理的影響に基づくものである。第１のマップは、前述した図３に基づくフィルタマップ１２０と同じものである。
第２のマップは、予測対象の局所領域を中心として、主要影響対象の局所領域から他の局所領域への距離及び／又は高さが長くなるほど、当該主要影響対象の局所領域から受ける時間的影響を表す「重み」が小さくなるものである。即ち、第２のマップは、時間的影響に基づくものである。第２のマップについて、局所領域毎の重みは、主要影響対象の局所領域からの気体又は流体の流れに基づく時間的影響を表すものである。図４によれば、主要影響対象の局所領域は、右下（南東）に位置している。
勿論、第１のマップ及び第２のマップは、時刻t毎に生成されるものであってもよい。
【0036】
図４のフィルタマップ１２０は、第１のマップ及び第２のマップを、局所領域毎にpoint-wiseで「重み」を乗算したものである。フィルタマップ１２０は、第１のマップ及び第２のマップを乗算した後、局所領域の重みの最大値が「１」になるように正規化されたものである。
【0037】
前述と同様に、例えば、大気汚染物質の濃度を予測する場合を想定する。時空間における大気中の物質は、同心円状に広がるほど単純ではなく、時々刻々と異なる風向き（指向性）及び風速（速度）で伝搬する。そのために、予測対象の局所領域からみて遠方の距離の局所領域から受ける影響が強い場合もある。例えば大気汚染物質の発生地点からの風向き及び風速によっては、予測対象の局所領域はその影響を強く受ける場合もある。
例えば南東の方角から風が吹いている場合、大気汚染物質の伝搬について、風下である北西の近傍地点よりも、風上である南東の中距離地点の方が、影響度が大きいことが予想される。第２のマップは、このような時間的且つ空間的な制約をモデリングしたものである。
例えば南東の方角から風が吹いている場合、大気汚染物質の伝搬について、風下である北西の近傍地点よりも、風上である南東の中距離地点の方が、影響度が大きいことが予想される。第２のマップは、このような時間的且つ空間的な制約をモデリングしたものである。
【0038】
第２のマップは、例えば１時間前、２時間前及び３時間前の風向及び風速に基づいて、予測対象の局所領域に、予測時刻tに、他の局所領域からの大気が伝搬されてきた累積値を「重み」として付与したものである。
【0039】
２次元正規分布の場合、時刻tにおけるフィルタマップの各局所特徴（ｘ，ｙ）のスコアＳは、以下のように表される。
Ｓ(x,y,t)＝Ｎ（[ｐx(t),ｐy(t)]，Σｐ(t)）
Ｎ：２次元正規分布
ｐx(t),ｐy(t)：時刻tにおける予測対象の局所領域（地点）の位置
Σｐ(t)：分散共分散行列
（概念的には伝搬速度（影響度の減衰度合の逆数）を表す）
Ｓ(x,y,t)＝Ｎ（[ｐx(t),ｐy(t)]，Σｐ(t)）
Ｎ：２次元正規分布
ｐx(t),ｐy(t)：時刻tにおける予測対象の局所領域（地点）の位置
Σｐ(t)：分散共分散行列
（概念的には伝搬速度（影響度の減衰度合の逆数）を表す）
【0040】
Σｐ(t)の分散及び共分散が大きければ、伝搬速度は速く、予測対象地点から遠くの地点であっても影響度は相対的に高くなる。
Σｐ(t)の分散及び共分散が小さければ、伝搬速度は遅く、予測対象地点から遠くの地点の影響度は小さくなる。
例えば、風速が速ければ分散が大きくなり、風速が遅ければ分散が小さくなるように、風速から自動的に分散を設定するものであってもよい。
ｐx(t),ｐy(t)は、時刻t毎に異なるものであって、それ以外は、図３で前述したフィルタマップ１２０と同様のものである。
Σｐ(t)の分散及び共分散が小さければ、伝搬速度は遅く、予測対象地点から遠くの地点の影響度は小さくなる。
例えば、風速が速ければ分散が大きくなり、風速が遅ければ分散が小さくなるように、風速から自動的に分散を設定するものであってもよい。
ｐx(t),ｐy(t)は、時刻t毎に異なるものであって、それ以外は、図３で前述したフィルタマップ１２０と同様のものである。
【0041】
図４によって生成されたフィルタマップ１２０は、予測対象の局所領域を中心として、当該他の局所領域から受ける物理的影響と時間的影響とを反映したものとなる。
【0042】
図５は、図４のフィルタマップに対するアテンションマップ更新部の説明図である。
図５によれば、アテンションマップ更新部１２は、空間方向の物理的影響と時間方向の時間的影響とを、更新後アテンションマップに反映させることができる。
図５によれば、アテンションマップ更新部１２は、空間方向の物理的影響と時間方向の時間的影響とを、更新後アテンションマップに反映させることができる。
【0043】
以上、詳細に説明したように、本発明の画像分析装置、プログラム及び方法によれば、実空間における物理的制約に応じたアテンションマップを生成することによって、特徴量マップを更新することができる。また、アテンションマップに更に実空間における時間的制約も反映させることによって、特徴量マップを更新することもできる。
従来技術によれば、既存のアテンション機構を採用しても、時系列の画像領域における変化にしか注目しないのに対して、本発明によれば、実空間の物理的制約及び時間的制約を反映して画像領域に注目し、それに基づく特徴量マップを生成することができる。
従来技術によれば、既存のアテンション機構を採用しても、時系列の画像領域における変化にしか注目しないのに対して、本発明によれば、実空間の物理的制約及び時間的制約を反映して画像領域に注目し、それに基づく特徴量マップを生成することができる。
【0044】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0045】
１ 画像分析装置
１０ ニューラルネットワーク
１１ アテンションマップ生成部
１２０ フィルタマップ
１２ アテンションマップ更新部
１３ 特徴量マップ更新部
１０ ニューラルネットワーク
１１ アテンションマップ生成部
１２０ フィルタマップ
１２ アテンションマップ更新部
１３ 特徴量マップ更新部
【図1】
【図2】
【図3】
【図4】
【図5】