特許 6222703 ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6222703

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム

(51)【国際特許分類】

   G06T 7/254 20170101AFI20171023BHJP

   H04N 7/18 20060101ALI20171023BHJP

【ＦＩ】

   G06T7/254 B

   H04N7/18 D

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2014-247190(P2014-247190)

(22)【出願日】2014年12月5日

(65)【公開番号】特開2016-110385(P2016-110385A)

(43)【公開日】2016年6月20日

【審査請求日】2015年7月1日

【前置審査】

(73)【特許権者】

【識別番号】514203731

【氏名又は名称】株式会社チャオ

(74)【代理人】

【識別番号】100099508

【弁理士】

【氏名又は名称】加藤 久

(74)【代理人】

【識別番号】100182567

【弁理士】

【氏名又は名称】遠坂 啓太

(74)【代理人】

【識別番号】100197642

【弁理士】

【氏名又は名称】南瀬 透

(72)【発明者】

【氏名】新田 智昭

【審査官】 松浦 功

(56)【参考文献】

【文献】 米国特許出願公開第２００９／０２１７３１５（ＵＳ，Ａ１）

【文献】 特開２０１０−２８８２３０（ＪＰ，Ａ）

【文献】 特開２００６−０１３７５４（ＪＰ，Ａ）

【文献】 特開２００６−０５９２５２（ＪＰ，Ａ）

【文献】 特開平０６−１３３３０３（ＪＰ，Ａ）

【文献】 特開平１０−３３６６７０（ＪＰ，Ａ）

【文献】 特開平１０−２４０９４７（ＪＰ，Ａ）

【文献】 特開２０１５−１８６２０２（ＪＰ，Ａ）

【文献】 特開２０１０−０６２７９２（ＪＰ，Ａ）

【文献】 特開２００６−２６００４９（ＪＰ，Ａ）

【文献】 竹内啓五，画像処理による群衆の特徴評価に関する研究，日本建築学会計画系論文集 [online]，一般社団法人日本建築学会，１９９６年 ８月，第４８６号，ｐｐ．１０９−１１６，［検索日 2016.06.28］，ＣｉＮｉｉ，ＵＲＬ：http://ci.nii.ac.jp/naid/110004654401/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０ − ７／２９２

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １９／００ −１９／９８

Ｈ０４Ｎ ２１／００ −２１／８５８

(57)【特許請求の範囲】

【請求項1】

撮像装置により所定の時間間隔で順次取得される連続した複数フレームの画像を平均化することにより背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差分を取り、予め区分した前記フレーム内の領域ごとに所定の時間内に差が発生している回数をカウントするカウント手段と、
前記カウント手段により前記領域ごとにカウントした回数に応じて前記領域ごとに表現を変えた画像を生成するヒートマップ画像生成手段と
を有するヒートマップ画像生成装置。

【請求項2】

撮像拠点に設置され、前記撮像装置が接続される拠点サーバであり、前記カウント手段を有する拠点サーバと、
前記拠点サーバと電気通信回線により接続される集約サーバであり、前記ヒートマップ画像生成手段を有する集約サーバと
を含む請求項１記載のヒートマップ画像生成装置。

【請求項3】

前記撮像装置と電気通信回線により接続される集約サーバを含み、
前記撮像装置は、前記複数フレームの画像を前記集約サーバへ送信するものであり、
前記集約サーバは、前記カウント手段と、前記ヒートマップ画像生成手段とを有するものである請求項１記載のヒートマップ画像生成装置。

【請求項4】

前記撮像装置と電気通信回線により接続される蓄積サーバと、
前記蓄積サーバと電気通信回線により接続される集約サーバとを含み、
前記撮像装置は、前記複数フレームの画像を前記蓄積サーバへ送信するものであり、
前記蓄積サーバは、前記撮像装置から送信された前記複数フレームの画像を蓄積する手段を有し、
前記集約サーバは、前記蓄積サーバから前記複数フレームの画像を取得する手段と、前記カウント手段と、前記ヒートマップ画像生成手段とを有するものである請求項１記載のヒートマップ画像生成装置。

【請求項5】

撮像装置により所定の時間間隔で順次取得される連続した複数フレームの画像を平均化することにより背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差分を取り、予め区分した前記フレーム内の領域ごとに所定の時間内に差が発生している回数をカウントすること、
前記領域ごとにカウントした回数に応じて前記領域ごとに表現を変えた画像を生成すること
を含むヒートマップ画像生成方法。

【請求項6】

コンピュータに、
撮像装置により所定の時間間隔で順次取得される連続した複数フレームの画像を平均化することにより背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差分を取り、予め区分した前記フレーム内の領域ごとに所定の時間内に差が発生している回数をカウントすること、
前記領域ごとにカウントした回数に応じて前記領域ごとに表現を変えた画像を生成すること
を実行させるためのヒートマップ画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、空間内の動きを可視化する、いわゆるヒートマップ画像を生成するヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラムに関する。

【背景技術】

【0002】

空間内の動きを可視化する、いわゆるヒートマップが知られている。例えば、特許文献１には、センサで検出された累積活動がコード化されたヒートマップを組み入れたセキュリティビデオが記載されている。ヒートマップ上には時間帯が示されており、ユーザは、ヒートマップ内のポイントをクリックして、その場所を見ることができるカメラを選択し、その時間セグメントの最初からのビデオの再生を開始することが可能となっている。

【0003】

また、特許文献２には、ＧＰＳセンサにより得られる位置データ（緯度・経度）からユーザの居場所を滞在時間に基づいてカテゴライズすることによりヒートマップを作成することが記載されている。このヒートマップでは、各滞在場所でのユーザの位置の分布を知ることができ、滞在時間が長い場所は濃くなっており、その場所での移動を伴うところは広い範囲に分布するようになっている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１３４６８８号公報

【特許文献2】特開２０１０−７２８１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、センサで検出された累積活動をコード化することでヒートマップを作成している。そのため、ビデオカメラの他にセンサを設ける必要がある。一方、特許文献２にはＧＰＳセンサにより得られる位置データからヒートマップを作成することが記載されており、特許文献１のセンサとして特許文献２のＧＰＳセンサを使用することが可能であると思われるが、ヒートマップを得るためにビデオカメラの他にセンサを設けることは装置が複雑化し、コスト高となる。

【0006】

そこで本発明においては、ビデオカメラなどのような撮像装置により取得した画像のみからヒートマップ画像を生成することが可能なヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のヒートマップ画像生成装置は、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、撮像装置により順次取得される連続した複数フレームの各フレームについて、順次、各フレームの画像と背景画像との間で差分を取り、予め区分した前記フレーム内の領域ごとに所定の時間内に差が発生している回数をカウントするカウント手段と、カウント手段により領域ごとにカウントした回数に応じて領域ごとに表現を変えた画像を生成するヒートマップ画像生成手段とを有するものである。

【0008】

また、本発明のヒートマップ画像生成方法は、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置により順次取得される連続した複数フレームの各フレームについて、順次、各フレームの画像と背景画像との間で差分を取り、予め区分したフレーム内の領域ごとに所定の時間内に差が発生している回数をカウントすること、領域ごとにカウントした回数に応じて領域ごとに表現を変えた画像を生成することを含むことを特徴とする。

【0009】

また、本発明のヒートマップ画像生成プログラムは、コンピュータに、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置により順次取得される連続した複数フレームの各フレームについて、順次、各フレームの画像と背景画像との間で差分を取り、予め区分したフレーム内の領域ごとに所定の時間内に差が発生している回数をカウントすること、領域ごとにカウントした回数に応じて領域ごとに表現を変えた画像を生成することを実行させるためのものである。

【0010】

上記発明によれば、予め区分したフレーム内の領域ごとに、連続した複数フレームの各フレームの画像と背景画像との間で所定の時間内に差が発生している回数がカウントされ、領域ごとにカウントされた回数に応じて領域ごとに表現を変えた画像、すなわちヒートマップ画像が生成される。

【0011】

また、本発明のヒートマップ画像生成装置は、撮像拠点に設置され、撮像装置が接続される拠点サーバであり、カウント手段を有する拠点サーバと、拠点サーバと電気通信回線により接続される集約サーバであり、ヒートマップ画像生成手段を有する集約サーバとを含む構成とすることができる。これにより、撮像拠点の拠点サーバにより、予め区分したフレーム内の領域ごとに、連続した複数フレームの各フレームの画像と背景画像との間で所定の時間内に差が発生している回数がカウントされ、集約サーバにより、領域ごとにカウントされた回数に応じて領域ごとに表現を変えた画像、すなわちヒートマップ画像が生成される。

【0012】

このとき、拠点サーバは、撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像データ（以下、「基準画像データ」と称す。）を集約サーバに伝送する基準画像伝送手段と、撮像装置により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、各フレームの画像から各フレームの第３領域の画像データを順次抽出して集約サーバに伝送する抽出画像伝送手段とを含み、集約サーバは、拠点サーバから伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段とを含むことが望ましい。

【0013】

これにより、前述のようにヒートマップ画像が生成されることに加えて、連続した複数フレームの画像の前後で変化のある領域をそれぞれ抽出して集約サーバに伝送して合成するのではなく、連続した複数フレームの各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域の画像データを抽出し、集約サーバに伝送して合成した動画像が得られる。

【0014】

また、本発明のヒートマップ画像生成装置は、撮像装置と電気通信回線により接続される集約サーバを含み、撮像装置が、複数フレームの画像を集約サーバへ送信するものであり、集約サーバが、カウント手段と、ヒートマップ画像生成手段とを有する構成とすることができる。これにより、撮像装置から集約サーバへ送信された複数フレームの画像に基づいて、予め区分したフレーム内の領域ごとに、連続した複数フレームの各フレームの画像と背景画像との間で所定の時間内に差が発生している回数がカウントされ、領域ごとにカウントされた回数に応じて領域ごとに表現を変えた画像、すなわちヒートマップ画像が生成される。

【0015】

また、本発明のヒートマップ画像生成装置は、撮像装置と電気通信回線により接続される蓄積サーバと、蓄積サーバと電気通信回線により接続される集約サーバとを含み、撮像装置が、複数フレームの画像を蓄積サーバへ送信するものであり、蓄積サーバが、撮像装置から送信された複数フレームの画像を蓄積する手段を有し、集約サーバが、蓄積サーバから複数フレームの画像を取得する手段と、カウント手段と、ヒートマップ画像生成手段とを有する構成とすることができる。これにより、撮像装置により順次取得される連続した複数フレームの画像が撮像装置から蓄積サーバへ送信されて蓄積され、集約サーバによりこの蓄積サーバに蓄積された複数フレームの画像が取得され、予め区分したフレーム内の領域ごとに、連続した複数フレームの各フレームの画像と背景画像との間で所定の時間内に差が発生している回数がカウントされ、領域ごとにカウントされた回数に応じて領域ごとに表現を変えた画像、すなわちヒートマップ画像が生成される。

【発明の効果】

【0016】

本発明によれば、ビデオカメラなどのような撮像装置により取得した画像のみからヒートマップ画像を生成することが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の第１実施形態におけるヒートマップ画像生成装置の概略構成図である。

【図2】本発明の第２実施形態におけるヒートマップ画像生成装置の概略構成図である。

【図3】本発明の第３実施形態におけるヒートマップ画像生成装置の概略構成図である。

【図4】本発明の第４実施形態におけるヒートマップ画像生成装置の概略構成図である。

【図5】（ａ）〜（ｃ）は連続したフレームの各画像と背景画像との間で差分を取った結果の画像の例を示す説明図である。

【図6】本発明の第５実施形態におけるヒートマップ画像生成装置の概略構成図である。

【図7】図６のヒートマップ画像生成装置のブロック図である。

【図8】撮像装置により順次取得される連続した複数フレームの画像の説明図である。

【図9】複数フレームの画像例を示す図である。

【図10】図９の（ａ）、（ｂ）、（ｃ）の各フレームの画像とそれぞれの背景画像との差分を取った画像例を示す図である。

【図11】（ａ）は図９の（ａ）のフレームの差分発生領域とこれを取り囲む第１領域を示す図、（ｂ）は図９（ｂ）のフレームの差分発生領域とこれらを取り囲む第２領域を示す図、（ｃ）は図９（ａ）のフレームの差分発生領域と図９（ｂ）のフレームの差分発生領域との両方を取り囲む第３領域を示す図である。

【図12】図９（ｂ）のフレームに図１１（ｃ）に示す第３領域を示した説明図である。

【図13】図９（ａ）のフレームに図１１（ｃ）に示す第３領域を示した説明図である。

【発明を実施するための形態】

【0018】

（実施の形態１）
図１は本発明の第１実施形態におけるヒートマップ画像生成装置の概略構成図である。
図１において、本発明の第１実施形態におけるヒートマップ画像生成装置は、撮像装置２により順次取得される連続した複数フレームの各フレームの画像と背景画像との間で差分を取り、予め区分したフレーム内の領域ごとに差が発生している領域をカウントするカウント手段５０と、カウント手段５０により領域ごとにカウントした回数に応じて領域ごとに表現を変えた画像を生成するヒートマップ画像生成手段５１とを有する。

【0019】

撮像装置２は、所定の時間間隔（例えば、１／１２０秒〜１秒間隔）で静止画像を撮像することにより、連続した複数フレームの画像を取得する装置である。カウント手段５０は、この撮像装置２により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置２により順次取得される連続した複数フレームの各フレームについて、順次、各フーレムの画像と背景画像との間で差分を取り、予め区分したフレーム内の領域ごとに所定の時間内に差が発生している回数をカウントする。

【0020】

なお、本実施形態においては、背景画像として、差分を取る各フレームの直前の複数フレームの画像を平均化したものを用いる。例えば、差分を取る１フレームについて背景画像との差が発生している領域を算出する場合、カウント手段５０は、この１フレームの直前の１００フレームの画像を平均したものを背景画像とする。そして、順次、差分を取る１フレームごとにそれぞれの直前の１００フレームの画像を平均化して背景画像とし、各フレームの画像と背景画像との間で差分を取る。

【0021】

そして、カウント手段５０は、予め区分したフレーム内の領域ごとに所定の時間内に差が発生している回数をカウントする。図５（ａ）〜（ｃ）は連続したフレームの各画像と背景画像との間で差分を取った結果の画像の例を示している。また、同図（ａ）〜（ｃ）には、撮像装置２により撮像するフレーム内を予め格子状の複数の領域に区分したグリッドを表示するとともに、各領域にはカウント手段５０によりカウントした回数を表示している。

【0022】

ヒートマップ画像生成手段５１は、カウント手段５０によりカウントした回数に応じて領域ごとに、色や濃淡などの表現を変えた画像を生成する。例えば、図５（ｃ）において、各領域のカウント回数に応じて、色を変えたり、カウント回数の大小により濃淡を変えたりした画像を生成する。

【0023】

上記構成のヒートマップ画像生成装置では、ビデオカメラなどのような撮像装置２により取得した画像のみから、予め区分したフレーム内の領域ごとに、連続した複数フレームの各フレームの画像と背景画像との間で所定の時間内に差が発生している回数がカウントされ、領域ごとにカウントされた回数に応じて領域ごとに表現を変えた画像、すなわちヒートマップ画像が生成される。

【0024】

なお、上記構成のヒートマップ画像生成装置は、汎用サーバ、パーソナルコンピュータ、マイクロコンピュータ、ＰＤＡ（個人情報端末）、ポケットコンピュータ、スマートフォン、フィーチャーフォン（携帯電話機）や携帯型ゲーム機等の様々なコンピュータ上で、このコンピュータを上記各手段５０，５１として機能させるためのプログラムを実行することにより実現される。この際、撮像装置２は、上述のコンピュータに内蔵されたものや、外部接続されたものを用いることが可能である。

【0025】

（実施の形態２）
図２は本発明の第２実施形態におけるヒートマップ画像生成装置の概略構成図である。
図２において、本発明の第２実施形態におけるヒートマップ画像生成装置は、撮像拠点に設置される１または複数の撮像装置２と、１または複数の撮像装置２と電気通信回線Ｎにより接続される集約サーバ４とから構成される。

【0026】

撮像装置２は、複数フレームの画像を電気通信回線Ｎを通じて集約サーバ４へ送信する機能を有する。集約サーバ４は、前述のカウント手段５０と、ヒートマップ画像生成手段５１とを有する。集約サーバ４は、１または複数の撮像装置２からそれぞれ送信された複数フレームの画像を１または複数の撮像装置２ごとに処理し、それぞれのヒートマップ画像を作成する。集約サーバ４は、前述のような様々なコンピュータ上で、このコンピュータを上記各手段５０，５１として機能させるためのプログラムを実行することにより実現される。

【0027】

上記構成のヒートマップ画像生成装置では、撮像拠点に設置された１または複数の撮像装置２により取得された画像が集約サーバ４へ集約され、集約サーバ４によりそれぞれの撮像拠点の撮像装置２により取得された画像のみからヒートマップ画像が生成される。

【0028】

（実施の形態３）
図３は本発明の第３実施形態におけるヒートマップ画像生成装置の概略構成図である。
図３において、本発明の第２実施形態におけるヒートマップ画像生成装置は、撮像拠点に設置される１または複数の撮像装置２と、１または複数の撮像装置２と電気通信回線Ｎにより接続される蓄積サーバ６と、蓄積サーバ６と電気通信回線Ｎにより接続される集約サーバ４とから構成される。なお、撮像装置２と蓄積サーバ６とを接続する電気通信回線Ｎと、蓄積サーバ６と集約サーバ４とを接続する電気通信回線Ｎとは、同じ電気通信回線でも異なる電気通信回線でも良い。

【0029】

撮像装置２は、複数フレームの画像を電気通信回線Ｎを通じて蓄積サーバ６へ送信する機能を有する。蓄積サーバ６は、１または複数の撮像装置２から送信された複数フレームの画像を１または複数の撮像装置２ごとに蓄積する記憶手段６０を有する。蓄積サーバ６は、前述のような様々なコンピュータ上で、このコンピュータを上記各手段６０として機能させるためのプログラムを実行することにより実現される。

【0030】

集約サーバ４は、蓄積サーバ６から複数フレームの画像を取得する画像取得手段５２と、前述のカウント手段５０と、ヒートマップ画像生成手段５１とを有する。集約サーバ４は、前述のような様々なコンピュータ上で、このコンピュータを上記各手段５０，５１，５２として機能させるためのプログラムを実行することにより実現される。

【0031】

上記構成のヒートマップ画像生成装置では、撮像拠点に設置された１または複数の撮像装置２により取得された画像が蓄積サーバ６に一旦蓄積され、蓄積サーバ６に蓄積された画像のみから集約サーバ４によりそれぞれの撮像拠点のヒートマップ画像が生成される。

【0032】

（実施の形態４）
図４は本発明の第４実施形態におけるヒートマップ画像生成装置の概略構成図である。
図５において、本発明の第４実施形態におけるヒートマップ画像生成装置は、撮像拠点に設置される１または複数の撮像装置２と、それぞれ１または複数の撮像装置２が接続される１または複数の拠点サーバ３と、１または複数の拠点サーバ３と電気通信回線Ｎにより接続される集約サーバ４とから構成される。

【0033】

拠点サーバ３は、前述のカウント手段５０を有する。拠点サーバ３は、撮像拠点ごとにそれぞれ設置される。各拠点サーバ３には、１または複数の撮像装置２が接続される。拠点サーバ３は、撮像装置２により取得した画像から、カウント手段５０により予め区分したフレーム内の領域ごとに所定の時間内に差が発生している回数をカウントし、その結果を、電気通信回線Ｎを通じて集約サーバ４へ送信する。拠点サーバ３は、前述のような様々なコンピュータ上で、このコンピュータを上記カウント手段５０として機能させるためのプログラムを実行することにより実現される。

【0034】

集約サーバ４は、前述のヒートマップ画像生成手段５１を有する。集約サーバ４は、拠点サーバ３から送信されたカウント結果に基づいて、ヒートマップ画像生成手段５１により領域ごとに色や濃淡などの表現を変えた画像を生成する。集約サーバ４は、前述のような様々なコンピュータ上で、このコンピュータを上記ヒートマップ画像生成手段５１として機能させるためのプログラムを実行することにより実現される。

【0035】

上記構成のヒートマップ画像生成装置では、１または複数の撮像拠点にそれぞれ設置された１または複数の撮像装置２により取得された画像から拠点サーバ３のカウント手段５０によりカウントされた結果のみが集約サーバ４へ集約され、集約サーバ４によりそれぞれの撮像拠点のヒートマップ画像が生成される。

【0036】

（実施の形態５）
図６は本発明の第５実施形態におけるヒートマップ画像生成装置の概略構成図、図７は図６のヒートマップ画像生成装置のブロック図、図８は撮像装置により順次取得される連続した複数フレームの画像の説明図である。

【0037】

図６において、本発明の第５実施形態におけるヒートマップ画像生成装置は、撮像拠点に設置され、撮像装置２が接続される拠点サーバ３と、拠点サーバ３と電気通信回線Ｎにより接続される集約サーバ４とから構成される。

【0038】

図７に示すように、拠点サーバ３は、撮像装置２により順次取得される連続した複数フレームの各フレームの画像を一時記憶する記憶手段１０と、所定のタイミングごとに基準となるフレーム（基準フレーム）の画像のデータ（基準画像データ）を集約サーバ４に伝送する基準画像伝送手段１１と、前述のカウント手段５０として機能するとともに複数フレームの基準フレームの後の各フレームから抽出する領域（以下、「抽出領域」と称す。）を算出するカウント手段兼抽出領域算出手段１２と、各フレームの画像から各フレームの抽出領域の画像データを順次抽出して集約サーバ４に伝送する抽出画像伝送手段１３とを有する。

【0039】

拠点サーバ３は、前述のような様々なコンピュータ上で、このコンピュータを上記各手段１０〜１３として機能させるためのプログラムを実行することにより実現される。

【0040】

基準画像伝送手段１１は、図８に示すように、撮像装置２により順次取得される連続した複数フレームの画像２０ａ，２０ｂ，・・・，２０ｃ，２０ｄ，２０ｅ，２０ｆ，２０ｇ，２０ｈ，２０ｉ，２０ｊ，２０ｋ，・・・から所定のタイミングごとに基準となるフレーム（基準フレーム）の画像２０ａ，２０ｄ，２０ｊのデータ（基準画像データ）を集約サーバ４に伝送する。基準フレームは、予め設定された時間（例えば、３０秒間隔や１分間隔など）や、予め設定されたフレーム数等のタイミングごとに決定される。

【0041】

カウント手段兼抽出領域算出手段１２は、撮像装置２により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、前述のカウント手段５０として機能するとともに、撮像装置２により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する。第３領域が、抽出画像伝送手段１３により抽出する領域（抽出領域）である。

【0042】

ここで、背景画像は、各フレームの直前の複数フレームの画像を平均化したものを用いる。例えば、フレーム２０ｄについて背景画像との差が発生している領域を算出する場合、カウント手段兼抽出領域算出手段１２は、このフレーム２０ｄの直前の１００フレームの画像を平均したものを背景画像とする。そして、この背景画像とフレーム２０ｄとの差分を取る。図９（ａ）〜（ｃ）は各フレーム２０ｄ，２０ｅ，２０ｆの画像の例を、図１０（ａ）〜（ｃ）は図９（ａ）〜（ｃ）の各フレーム２０ｄ，２０ｅ，２０ｆの画像とそれぞれの背景画像との差分を取った画像の例を、それぞれ示している。

【0043】

カウント手段兼抽出領域算出手段１２は、このような差分処理を基準フレーム２０ｄの後の各フレーム２０ｅ〜２０ｉについて順次行い、各フレーム２０ｅ〜２０ｉの画像と背景画像との間で差が発生している第１領域と、各フレーム２０ｅ〜２０ｉの直前のフレーム２０ｄ〜２０ｈの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域（抽出領域）を算出する。図１１（ａ）はフレーム２０ｄの差分発生領域３１とこれを取り囲む第１領域４１を示している。図１１（ｂ）はフレーム２０ｅの差分発生領域３２ａ，３２ｂとこれらを取り囲む第２領域４２を示している。図１１（ｃ）はフレーム２０ｄの差分発生領域３１とフレーム２０ｅの差分発生領域３２ａ，３２ｂとの両方を取り囲む第３領域（抽出領域）４３を示している。

【0044】

なお、本実施形態において、カウント手段兼抽出領域算出手段１２は、演算処理を簡単にするため、２本の水平線および２本の垂直線により構成される矩形により取り囲まれた領域を算出するが、本発明はこれに限られるものではない。要するに、差分が発生している画素領域を一纏めにして１つの領域により全て取り囲む領域を算出するものであれば良い。

【0045】

また、カウント手段兼抽出領域算出手段１２は、各フレームに対する第３領域（抽出領域）の位置および大きさを特定する第３領域情報（以下、「抽出領域情報」と称す。）を算出する。図１１（ｃ）の例では、カウント手段兼抽出領域算出手段１２は、抽出領域情報として、第３領域４３の左上角の位置の座標（Ｘ，Ｙ）と、第３領域４３の大きさ（幅Ｗおよび高さＨ）を算出する。

【0046】

抽出画像伝送手段１３は、各フレームの画像からカウント手段兼抽出領域算出手段１２により算出された各フレームの第３領域の画像データを順次抽出して集約サーバ４に伝送する。図９の例では、抽出画像伝送手段１３は、図１２に示すようにフレーム２０ｅの画像から図１１（ｃ）に示す第３領域４３の画像データを抽出して集約サーバ４に伝送する。また、抽出画像伝送手段１３は、この第３領域４３の画像データに加えて抽出領域情報（座標（Ｘ，Ｙ）、幅Ｗおよび高さＨ）を集約サーバ４に伝送する。

【0047】

一方、集約サーバ４は、図７に示すように、前述のヒートマップ画像生成手段５１として機能するとともに拠点サーバ３から伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成するヒートマップ画像生成手段兼画像合成手段１４と、ヒートマップ画像生成手段兼画像合成手段１４により合成された動画像を記憶する記憶手段１５と、電気通信回線Ｎを介して接続するコンピュータ５（図６参照。）に対して記憶手段１５に記憶した動画像を提供する動画像提供手段１６とを有する。集約サーバ４は、前述のような様々なコンピュータ上で、このコンピュータを上記各手段１４〜１６として機能させるためのプログラムを実行することにより実現される。

【0048】

ヒートマップ画像生成手段兼画像合成手段１４は、前述のヒートマップ画像生成手段５１と同様に、拠点サーバ３から送信されたカウント結果に基づいて領域ごとに色や濃淡などの表現を変えたヒートマップ画像を生成するとともに、拠点サーバ３から伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成し、合成された動画像を記憶手段１５に記憶する。本実施形態においては、ヒートマップ画像生成手段兼画像合成手段１４は、各フレームの抽出領域情報に基づいて基準画像データの一部を、順次、各フレームの第３領域の画像データに置き換えることにより動画像を合成する。

【0049】

図９の例では、ヒートマップ画像生成手段兼画像合成手段１４は、図１３に示す基準フレーム２０ｄの画像に対し、フレーム２０ｅの抽出領域情報に基づき、座標（Ｘ，Ｙ）から幅Ｗおよび高さＨの一部の画像データを、図１２に示すフレーム２０ｅの第３領域４３の画像データに置き換え、基準フレーム２０ｄの次のフレームの画像データとする。そして、ヒートマップ画像生成手段兼画像合成手段１４は、次のフレーム２０ｆについても、順次、直前のフレーム２０ｅの画像に対し、フレーム２０ｆの抽出領域情報に基づいてフレーム２０ｆの第３領域の画像データに置き換えていくことにより、動画像を合成する。

【0050】

動画像提供手段１６は、電気通信回線Ｎを介して接続するコンピュータ５の要求に応じて記憶手段１５に記憶したヒートマップ画像および動画像を提供する。動画像提供手段１６は、コンピュータ５から撮像拠点ごとに撮像装置２を指定してヒートマップ画像および動画像のいずれか一方または両方が要求されると、要求されたヒートマップ画像および動画像のいずれか一方または両方を記憶手段１５から取得し、電気通信回線Ｎを介してコンピュータ５に提供する。

【0051】

上記構成のヒートマップ画像生成装置では、各撮像拠点に設置された拠点サーバ３が、１または複数の撮像装置２により順次取得される連続した複数フレームの画像からカウント結果に加えて所定のタイミングごとに基準フレームの画像データを基準画像伝送手段１１により集約サーバ４に伝送し、この基準フレームの後の各フレームの画像については、順次、カウント手段兼抽出領域算出手段１２により算出した各フレームの第３領域の画像データを抽出画像伝送手段１３により抽出して集約サーバ４に伝送する。

【0052】

一方、集約サーバ４は、拠点サーバ３から送信されたカウント結果に基づいて領域ごとに色や濃淡などの表現を変えたヒートマップ画像を生成するとともに、拠点サーバ３から伝送された基準画像データと、順次伝送された各フレームの第３領域の画像データとから動画像を合成し、記憶手段１５に記憶する。そして、集約サーバ４は、電気通信回線Ｎを介して接続するコンピュータ５の要求に応じて記憶手段１５に記憶したヒートマップ画像および動画像を提供する。

【0053】

このように、本実施形態におけるヒートマップ画像生成装置では、連続した複数フレームの画像の前後で変化のある領域をそれぞれ抽出して集約サーバ４に伝送して合成するのではなく、連続した複数フレームの各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域（抽出領域）の画像データを抽出し、集約サーバ４に伝送して合成するので、連続した複数フレームの画像の前後で変化のある領域のそれぞれの光の揺らぎなどによる影響が少なくなり、動画像のぶれや残像の発生を防止しつつ伝送量を抑えることができる。

【0054】

なお、本実施形態においては、基準フレームを、予め設定された時間やフレーム数等のタイミングで変えているが、他のタイミングで変える構成とすることも可能である。例えば、一定量以上の差分が発生したタイミング（例えば全体の８０％の画素が変化していたタイミング）で変えることも可能である。

【0055】

また、本実施形態においては、背景画像として各フレームの直前の複数フレームの画像を平均化したものを用いているが、背景画像として基準フレームの画像を用いたり、基準フレームの直前の複数フレームの画像を平均化したものを用いたりすることも可能である。なお、背景画像として基準フレームの画像を用いると、あらゆる部分に差分が発生してしまうため、伝送量が増えてしまうが、本実施形態のように背景画像として各フレームの直前の複数フレームの画像を平均化したものを用いることで、差分の発生を抑制することができる。

【産業上の利用可能性】

【0056】

本発明のヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラムは、空間内の動きを可視化するヒートマップ画像を生成する装置、方法およびプログラムとして有用である。

【符号の説明】

【0057】

２ 撮像装置
３ 拠点サーバ
４ 集約サーバ
５ コンピュータ
６ 蓄積サーバ
１０，１５ 記憶手段
１１ 基準画像伝送手段
１２ カウント手段兼抽出領域算出手段
１３ 抽出画像伝送手段
１４ ヒートマップ画像生成手段兼画像合成手段
１６ 動画像提供手段
５０ カウント手段
５１ ヒートマップ画像生成手段
５２ 画像取得手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】