特開 2025-29437 解析プログラム、解析システム、及び解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025029437

(43)【公開日】2025-03-06

(54)【発明の名称】解析プログラム、解析システム、及び解析方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20250227BHJP

【ＦＩ】

G06T7/20

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023134085

(22)【出願日】2023-08-21

(11)【特許番号】

(45)【特許公報発行日】2024-10-16

(71)【出願人】

【識別番号】523318279

【氏名又は名称】伊佐治 光章

(74)【代理人】

【識別番号】100158023

【弁理士】

【氏名又は名称】牛田 竜太

(72)【発明者】

【氏名】伊佐治 光章

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA04

5L096FA69

5L096HA03

5L096JA22

(57)【要約】      （修正有）

【課題】画像認識ＡＩを使用して移動体の映像から対象物を点群データ化してヒートマップ分析により可視化・雷雲化することで一見して密集度、群形状を把握することができる解析プログラム、解析システム及び解析方法を提供する。
【解決手段】解析プログラムは、映像データから検知対象である移動体を識別し、検知対象の位置を検出するステップＳ２と、映像データから検知対象の範囲係数が設定されたヒートマップである第１層と、第１層とは異なる範囲係数が設定された第２層と、を生成するステップと、少なくとも、検知対象と、第１層と、第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップＳ５と、映像データの映像から所定の時間間隔で生成された雲化ヒートマップ画像を合成することにより雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップＳ７と、をコンピュータに実行させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

移動体の映像データを解析する解析プログラムであって、
コンピュータに、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、
前記映像データから前記検知対象の範囲係数が設定されたヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定されたヒートマップである第２層と、を生成するステップと、
少なくとも、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、
前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させることを特徴とする解析プログラム。

【請求項2】

移動体の映像データを解析する解析プログラムであって、
コンピュータに、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、
前記映像データから前記検知対象の検知範囲が設定されたヒートマップである第１層と、前記第１層とは異なる前記検知範囲が設定されたヒートマップである第２層と、を生成するステップと、
少なくとも、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、
前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させ、
前記検知対象は、前記第１層又は前記第２層の少なくともいずれか一方に含まれることを特徴とする解析プログラム。

【請求項3】

検出された前記検知対象の過去の位置情報に基づいて、前記検知対象に所定形状の背景が描かれたキャンパス下地を生成するステップと、
前記キャンパス下地と、前記第１層と、前記第２層と、を重ね合わせる事により前記雲化ヒートマップ画像を生成するステップと、をさらに有することを特徴とする請求項１又は２に記載の解析プログラム。

【請求項4】

前記キャンパス下地は複数生成され、前記キャンパス下地の前記背景の形状、前記背景の色、前記検知対象の位置が遡る時間、の少なくとも１つが互いに異なり、
前記キャンパス下地と、前記第１層と、前記第２層と、は予め設定された透明度により重ね合わせる事により前記雲化ヒートマップ画像を生成することを特徴とする請求項３に記載の解析プログラム。

【請求項5】

移動体の映像データを解析する解析システムであって、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出する対象認識部と、
前記映像データから前記検知対象の範囲係数が設定されたヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定されたヒートマップである第２層と、を生成するヒートマップ生成部と、を有し、
前記ヒートマップ生成部は、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成し、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成することを有することを特徴とする解析システム。

【請求項6】

移動体の映像データを解析する解析方法であって、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、
前記映像データから前記検知対象の範囲係数が設定されたヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定されたヒートマップである第２層と、を生成するステップと、
前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、
前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を有することを特徴とする解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は解析プログラム、解析システム、及び解析方法に関し、特にヒートマップ分析による解析プログラム、解析システム、及び解析方法に関する。

【背景技術】

【0002】

ヒートマップ分析を用いた流れを解析する方法において、人流解析が知られている。人流解析は、商業施設や小売業における顧客の行動分析や行動パターン解析、人の移動パターンを把握することによる交通渋滞予測や交通計画、イベント等の人が大量に集まる場所における安全な通路設計や過度な混雑回避、人の密度や接触移動パターンを解析することによる感染症対策等に用いられる。これらの場所においては、センサやモバイルカメラ、クラウドベースのプラットフォーム、ＡＩ技術を活用した人流解析が行われている。

【0003】

特許文献１に記載の人流分析方法は、ＯＤデータの情報から分析領域のクラスタリングを行い、クラスタ内での移動データとクラスタ間の移動データとを導出する。具体的には、ＯＤデータにおいて、分析領域の地点をノードとし人の移動をエッジとするグラフ理論におけるグラフデータに変換し、ネットワーク分析によるクラスタリングを行う。センタリング部によって、クラスタごとに中心点を算出し、これらの結果に基づいてクラスタ間の人の移動データと、クラスタ内の人の移動データと、を導出する。これにより、分析対象の地域におけるマクロ的な人の流動を把握するとともにその地域におけるミクロ的な流動も把握することができる。

【0004】

特許文献２に記載の人流解析プログラムでは、携帯端末の位置情報から時刻を読み込み、クレンジング処理を行った当該位置情報から移動経路を生成し、交通手段を判定して所定のエリアにおける人口の拡大推定を行う。具体的には、携帯端末等のウェアラブルデバイスの位置情報をクレンジングしてノイズを除去し、位置情報に対応する交通拠点から交通手段を推定する。最終的に、統計的手法を用いて携帯端末の普及率等から拡大推定を行い、サンプル数を推定エリアの人口に拡大することで対象エリアの人口における人の流れを推定する。これにより、人流データを解析するための処理の負荷が高くなりすぎるのを抑制しつつ、広範囲における人流データを解析することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－４７７６３号公報

【特許文献2】特開２０２３－２６２９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の人流分析方法及び特許文献２に記載の人流解析プログラムでは、例えば、人の多い交差点の人流映像における人流解析において、人がどのような経路で歩き、どの部分の人の密度が高くなるか、といった分析を行うには不向きであった。

【0007】

また、野外イベントやスタジアム等では、障害者の設置、通路幅や形状、又は防護柵の有無による人流の変化を把握したい要望があったが、一見して経時的な人の密度や流れを可視化することができる手法は確率されていなかった。また、人流以外にも、ビデオ映像から個々の物体の移動を検知し、映像全体としてヒートマップ化し、個々の物体の密集度が場所によってどのように変化するか、を解析する技術が求められていた。ここでいう物体とは、動物、魚類、プランクトン等の微生物、血液中を流れるヘモグロビン、その他細胞等を挙げることができる。

【0008】

そこで本発明は、移動体の映像をヒートマップ分析により可視化・雷雲化することで一見して密集度、さらに集合体の群形状を把握することができる解析プログラム、解析システム、及び解析方法の提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために本発明は、移動体の流れの映像データを解析する解析プログラムであって、コンピュータに、前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、前記映像データから前記検知対象の範囲係数が設定されたヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定されたヒートマップである第２層と、を生成するステップと、少なくとも、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させることを特徴とする解析プログラムを提供している。

【0010】

ここでいう移動体とは、所定の環境下に置かれた車両、動物、魚類、鳥類、細菌、微生物、細胞等をいう。

【0011】

本発明の別の観点によると、物又は人の流れの映像データを解析する解析プログラムであって、コンピュータに、前記映像データから少なくとも人を含む検知対象を識別し、前記検知対象の位置を検出するステップと、前記映像データから検知対象の検知範囲が設定されたヒートマップである第１層と、前記第１層とは異なる前記検知範囲が設定されたヒートマップである第２層と、を生成するステップと、少なくとも、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させ、前記検知対象は、前記第１層又は前記第２層の少なくともいずれか一方に含まれることを特徴とする解析プログラムを提供している

【0012】

また、検出された前記検知対象の過去の位置情報に基づいて、前記検知対象に所定形状の背景が描かれたキャンパス下地を生成するステップと、前記キャンパス下地と、前記第１層と、前記第２層と、を重ね合わせる事により前記雲化ヒートマップ画像を生成するステップと、をさらに有することが好ましい。

【0013】

また、前前記キャンパス下地は複数生成され、前記キャンパス下地の前記背景の形状、前記背景の色、前記検知対象の位置が遡る時間、の少なくとも１つが互いに異なり、前記キャンパス下地と、前記第１層と、前記第２層と、は予め設定された透明度により重ね合わせる事により前記雲化ヒートマップ画像を生成することが好ましい。

【0014】

本発明の別の観点によると、移動体の映像データを解析する解析システムであって、前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出する対象認識部と、前記映像データから前記検知対象の範囲係数が設定されたヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定されたヒートマップである第２層と、を生成するヒートマップ生成部と、を有し、前記ヒートマップ生成部は、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成し、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成することを有することを特徴とする解析システムを提供している。

【0015】

本発明の別の観点によると、移動体の映像データを解析する解析方法であって、前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、前記映像データから前記検知対象の範囲係数が設定されたヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定されたヒートマップである第２層と、を生成するステップと、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を有することを特徴とする解析方法を提供している。

【発明の効果】

【0016】

このような構成によると、範囲係数の異なるヒートマップ画像である第１層と第２層とを重ね合わせることによりヒートマップ画像を生成しているため、単一の画像においてヒートマップの分布がより鮮明化されて、単一層のヒートマップ画像と比較して一見して人又は物の密度、群形状を把握することができる。また、所定のフレームレートでヒートマップ画像を合成することにより雷雲化ヒートマップ映像を生成しているため、移動体の映像データを雲化するとともに、局所的に密度が高くなっている箇所が瞬間的に変色することにより当該箇所を雷雲のように表すことができる。つまり、人流の映像で一見して把握することが難しかった人の密度、群形状を、ヒートマップ分析によって可視化し、複数のヒートマップ画像を重ねることにより映像の雷雲化を行うことができる。なお、ヒートマップ画像の枚数を増やすほど、より鮮明な雷雲を表現することができる。さらに、検知対象と、第１層と、第２層とを重ね合わせてヒートマップ画像を生成するため、雷雲化ヒートマップ映像に検知対象が表示されることとなり、当該検知対象の密集度により全体の雷雲化の状況を確認することができる。また、検知対象である移動体の種類を識別して位置を検出しているため、異なる種類の移動体が複数存在する映像データであっても、個々の移動体の密集度等を可視化し雷雲化することができる。

【0017】

このような構成により、検知対象の背景が所定形状で描かれたキャンパス下地と第１層と第２層とを重ね合わせるため、検知対象の位置がより鮮明になることで綺麗なヒートマップ画像となり、雷雲化ヒートマップ映像の高精度の雷雲化を行うことができる。

【0018】

このような構成により、複数のキャンパス下地は背景の形状、色、遡る時間の少なくとも１つが異なるため、これらの条件を適切に設定することで雷雲化ヒートマップ映像の見せ方を任意に設定することができる。また、キャンパス下地と第１層と第２層とは予め設定された透明度により重ね合わせるため、透明度の設定によって雷雲化ヒートマップ映像の見せ方を任意に設定することができる。

【0019】

本発明によると、移動体の映像を対象物をヒートマップ分析により可視化・雷雲化することで一見して密集度、さらに集合体の群形状を把握することができる解析プログラム、解析システム、及び解析方法を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施の形態の解析システムのブロック図。

【図2】本発明の第１の実施の形態の解析システムのフローチャート。

【図3】本発明の第１の実施の形態の解析システムの映像データ。

【図4】本発明の第１の実施の形態の解析システムのアイコンデータ。

【図5】本発明の第１の実施の形態の解析システムのキャンパス下地。

【図6】本発明の第１の実施の形態の解析システムのキャンパス下地の人の移動履歴を表す図。

【図7】本発明の第１の実施の形態の解析システムの対象位置データのアイコンを示す図。

【図8】本発明の第１の実施の形態の解析システムのキャンパス下地を９層重ね合わせたイメージ図。

【図9】本発明の第１の実施の形態の解析システムのキャンパス下地を９層重ね合わせた重畳キャンパス下地。

【図10】本発明の第１の実施の形態の解析システムのヒートマップにおける範囲係数を極小としたときのヒートマップ画像。

【図11】本発明の第１の実施の形態の解析システムのヒートマップにおける範囲係数を拡大したときのヒートマップ画像。

【図12】本発明の第１の実施の形態の解析システムの図１０のヒートマップ画像と図１１のヒートマップ画像とを重ね合わせた重畳ヒートマップ画像。

【図13】本発明の第１の実施の形態の解析システムのキャンパス下地とヒートマップ画像とを重ね合わせ雲化ヒートマップ画像を生成するイメージ図。

【図14】本発明の第１の実施の形態の解析システムの１フレームにおける雲化ヒートマップ画像。

【図15】本発明の第１の実施の形態の解析システムの雷雲化ヒートマップ映像。

【図16】本発明の第３の実施の形態の解析システムの全体図。

【図17】本発明の第３の実施の形態の解析システムのブロック図。

【図18】本発明の変形例の解析システムのブロック図。

【図19】本発明の他の変形例の解析システムの解析対象データとなる映像の１フレーム。

【発明を実施するための形態】

【0021】

本発明の第１の実施の形態による解析システム１を、図１から図１５を参照して説明する。本実施の形態の解析システム１は、イベント会場、スタジアム、駅構内、店舗、観光地、商業施設、都心部の交通道路等における人流を可視化し、一見して密度、群形状の経時的な推移を把握することができる。具体的には、図３に示すような街中の交差点における映像を解析システム１で解析している。

【0022】

解析システム１である情報処理端末１０はコンピュータであって、制御部２と、記憶部３と、表示部４と、操作部５と、通信部６と、を有している。制御部２は、対象認識部２１と、下地生成部２２と、ヒートマップ生成部２３と、を有している。記憶部３は、解析対象データ３１と、対象位置データ３２と、キャンパス下地３３と、ヒートマップ画像３４と、雷雲化ヒートマップ映像３５と、を主に記憶している。制御部２はＣＰＵ（Central Processing Unit）であって、記憶部３に保存されている各種データ及びアプリケーションを展開している。

【0023】

対象認識部２１は、図３に示す映像データである解析対象データ３１のフレームを抽出した画像データ３１Ａから、検知対象の種類及び位置をディープラーニングによる人工知能によって自動認識し、図４に示す対象位置データ３２を生成する。具体的には、画像データ３１Ａのノイズ除去や色の正規化といった前処理を行い、畳み込みニューラルネットワーク等によって階層的に特徴抽出を行い高次の特徴に変換する。分類器によって検知対象のクラスタリングを行い、画像データ３１Ａにおける所定の画像の対象を検知する。このとき、モデルがラベル付き画像データ３１Ａに基づいて入力画像から予測を行い、予測結果と正解との誤差を算出して誤差を最小化するようにアルゴリズムが再設定される。学習が完了したモデルによって次の画像データ３１Ａに対する画像認識処理を行う。対象認識部２１が認識する対象は、例えば街中の映像であれば、人、車両、二輪車、ベビーカー、ペットであり、スタジアム内の映像であれば、一方のチーム、他方のチーム、ボール、観覧客、控え選手、審判であり、イベント会場であれば、演者、観覧客、警備員である。対象認識部２１の識別対象は、これに限定されず、各種解析対象データ３１に基づき任意に設定することができる。

【0024】

対象認識部２１は、図４及び図７に示すように、２軸のグラフ上に検知対象である人２１Ａと、車両２１Ｂと、をプロットしそれぞれの座標を記憶する。対象認識部２１は、図７に示すように、車両２１Ｂの種類、具体的には、自家用車、バス、トラック、タクシー、二輪車、電動スクーター、自転車等も識別し、異なるアイコンで表示する。人２１Ａ及び車両２１Ｂは、本発明の移動体の一例である。

【0025】

下地生成部２２は、図５から図９に示すように、対象認識部２１によって生成された対象位置データ３２に基づき、人２１Ａの現在又は過去の位置を中心とした所定の径を有する円で表示するキャンパス下地３３を生成する。図５に示すキャンパス下地３３は、図６の点線で示す円のように、所定時間だけ遡った人２１Ａの位置を中心としている。キャンパス下地３３の所定時間、円の径、円の色、円の透過度は、雷雲化ヒートマップ映像３５の見え方に関わる要素であるため、予め所定の値に設定される。ここで、種別の異なる検知対象は、同一キャンパス下地３３内において円の色を変えることが望ましい。雷雲化ヒートマップ映像３５の見え方を変える際は、キャンパス下地３３の各種条件を任意に変更することで、所望の映像を得ることができる。

【0026】

図５に示すキャンパス下地３３は、図６に示すように、実線で表す人２１Ａの図４における現在位置から所定時間過去の点線で示す人円を表している。人２１Ａは、点線で示す位置から一点鎖線で示す位置を経由し、実線で示す位置に至る。下地生成部２２は、点線から実践までの時間を９分割し、それぞれの位置における人２１Ａの人円を描いた９枚のキャンパス下地３３を生成する。具体的には、下地生成部２２は、所定時間、円の径、円の色、円の透過度の少なくとも１つの条件が異なる９枚のキャンパス下地３３を生成する。それぞれのキャンパス下地３３には、対象位置データ３２に基づき人２１Ａ及び車両２１Ｂが表示される。図９は、図８に示すように９枚のキャンパス下地３３を予め設定された透明度で重ね合わせることにより得られた重畳キャンパス下地３３Ａである。重畳キャンパス下地３３Ａのように複数のキャンパス下地３３を重畳することで、個々の人２１Ａ及び車両２１Ｂの密集度を雲の如く表現する下地を生成することができる。

【0027】

ヒートマップ生成部２３は、図１０から図１２に示すように、対象認識部２１によって生成された対象位置データ３２に基づき、人２１Ａ及び車両２１Ｂの現在位置を中心としたヒートマップ画像３４を生成する。ヒートマップ生成部２３は、予め設定された範囲係数に基づき、人２１Ａの位置からペイズ推定・確率統計により検知対象の密集度を算出し、ヒートマップ画像３４を生成する。

【0028】

範囲係数とは、ヒートマップにおいて、人２１Ａ及び車両２１Ｂ等の検知対象の座標の点群を捉える範囲を示している。範囲係数が大きく設定されると、ヒートマップ生成部２３は検知対象の座標点群を一群として捉え、広い範囲で密集度をペイズ推定により算出し、高密度、低密度として色分けする。換言すると、範囲係数が大きくなると検知対象を群として捉える傾向となり、ヒートマップ画像３４における大まかな密集度を把握することができる。範囲係数が小さく設定されると、ヒートマップ生成部２３は検知対象の座標点群を小さな範囲の群として捉え、狭い範囲で密集度をペイズ推定により算出し、高密度、低密度として色分けする。換言すると、範囲係数が小さくなると検知対象を点として捉える傾向となり、ヒートマップ画像３４における個々の検知対象の密集度を把握することができる。

【0029】

ヒートマップ生成部２３は、ノイズや欠損値等を除去する事前処理を行い、ペイズ推定の確立分布により、人２１Ａの位置を表す対象位置データ３２に基づいて、ヒートマップを表現する確率分布モデルを構築する。ペイズ推定により、確率分布に基づく事前分布を設定し、ペイズの定理により事後分布を算出して人流の密度の推定値を得る。事後分布からのサンプリングにより人流位置を確率的に推定し、これらの結果を集約することにより図１０及び図１１に示すような各地点における人流のヒートマップ画像３４を生成する。ヒートマップ画像３４を生成する際の各種パラメータは、得られた画像の状態に応じて任意に設定することができる。

【0030】

本実施の形態では、ヒートマップ生成部２３は２次元スチューデントのｔ分布のグラフによりヒートマップ画像３４を生成する。本実施の形態では、人２１Ａ及び車両２１Ｂ等の検知対象が密集しているところはより多く出現する確率が高いので色を濃く表示するとともに、人２１Ａ及び車両２１Ｂ等の検知対象の密集度が低いところは出現確率が低くなるため暗く表示する。図１０に示すヒートマップ画像３４は、範囲係数を極小として検知対象の座標点群を個別的に把握することにより生成される。図１１に示すヒートマップ画像３４は、範囲係数を拡大して検知対象の座標点群を群として把握することにより生成される。

【0031】

図１２は、図１０に示す範囲係数を極小としたヒートマップ画像３４と、図１１に示す範囲係数が拡大されたヒートマップ画像３４と、を重ね合わせ得られた重畳ヒートマップ画像３４Ａを示す。図１０に示す範囲係数が極小なヒートマップ画像３４及び図１１に示す範囲係数が拡大されたヒートマップ画像３４のいずれか一方が本発明の第１層の一例であり、他方が本発明の第２層の一例である。

【0032】

記憶部３は、ＨＤＤ（Hard Disk Drive）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、から構成される。ＨＤＤは、各種アプリケーション、及び人又は物の流れの解析に必要となる各種データ及びＯＳ等のプログラムを保存している。ＲＡＭは揮発性メモリであってプログラムの作業領域として使用され、ＲＯＭは非揮発性メモリであってプログラムの記憶領域として使用される。

【0033】

記憶部３の解析対象データ３１は、移動体の流れの解析の対象となるデータであって、図３に示すような街中の交差点の映像である。対象位置データ３２は、対象認識部２１によって生成された図４に示すデータであって、検知対象の種類、検知対象の位置である座標を備えている。解析対象データ３１は、本発明の映像データの一例である。

【0034】

キャンパス下地３３は、下地生成部２２によって生成された図５、図８及び図９に示すデータであり、本実施の形態では９枚生成される。ヒートマップ画像３４は、ヒートマップ生成部２３によって生成された図１０から図１２に示すデータであって、本実施の形態では２枚生成される。キャンパス下地３３及びヒートマップ画像３４は、対象位置データ３２の人２１Ａ及び車両２１Ｂのアイコン及び位置情報を含む。

【0035】

表示部４は、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ等のディスプレイであって、制御部２によって処理された情報を表示する。操作部５は、情報処理端末１０を使用するユーザが操作を入力するための入力インターフェースであって、マウス等のポインティングデバイス、キーボード、タッチパネル、センサ等から構成されている。通信部６は、ネットワークを介して外部の端末と通信する。

【0036】

次に、解析システム１の解析の流れについて、図２を参照して説明する。制御部２は、情報処理端末１０の記憶部３に記憶された映像である解析対象データ３１から、所定のフレーム画像を抽出する（Ｓ１）。本実施の形態では、フレームレートが３０ＦＰＳに設定され、すべての画像に対してヒートマップ化の処理が行われ映像化される。フレームレートは、これに限定されず生成される人流の雷雲化ヒートマップ映像３５の解像度や情報処理端末１０の性能等に応じて任意に設定することができる。

【0037】

対象認識部２１は、抽出された画像データ３１Ａから、ＡＩによって検知対象である人２１Ａ、車両２１Ｂの種類及び位置を認識し、図４に示す対象位置データ３２を生成する（Ｓ２）。このとき、対象認識部２１は、グラフ上において人２１Ａ及び車両２１Ｂの位置を座標認識し、アイコンのグラフ上へのプロットを行い座標データと共に記憶部３に記憶する（Ｓ３）。

【0038】

下地生成部２２は、対象位置データ３２の人２１Ａ及び車両２１Ｂを元に、図５に示すような過去の人２１Ａ及び車両２１Ｂの位置に基づくキャンパス下地３３を生成するとともに、図７に示すように、時間、円の径、円の色、透明度等が異なるキャンパス下地３３を９枚生成する（Ｓ４）。ヒートマップ生成部２３は、対象位置データ３２の人２１Ａ及び車両２１Ｂを元に、ヒートマップのパラメータである範囲係数を極小に設定した図１０に示すヒートマップ画像３４と、範囲係数を拡大した図１１に示すヒートマップ画像３４と、を生成する（Ｓ５）。

【0039】

ヒートマップ生成部２３は、図１３に示すように、９層のキャンパス下地３３と２層のヒートマップ画像３４とを重ね合わせることにより、図１４に示す雲化ヒートマップ画像３４Ｂを得る。このとき、ヒートマップ生成部２３は、各層の透過度を予め設定された値とする。すべてのフレームについて雲化ヒートマップ画像３４Ｂが生成されると、制御部２はすべてのフレームを繋ぎ合わせることにより雷雲化ヒートマップ映像３５を得る（Ｓ７）。得られた雷雲化ヒートマップ映像３５は、記憶部３に記憶され、図１５に示すように映像化されて動画として表示部４に表示される。

【0040】

このような構成によると、範囲係数が極小の図１０に示すヒートマップ画像３４と、範囲係数が拡大された図１１に示すヒートマップ画像３４と、を重ね合わせることにより雲化ヒートマップ画像３４Ｂを生成しているため、単一の画像においてヒートマップの分布がより鮮明化されて、単一層のヒートマップ画像と比較して一見して人又は物の密度、群形状を把握することができる。また、所定のフレームレートでヒートマップ画像３４を映像化しているため、移動体である人２１Ａ及び車両２１Ｂの映像データを雲化するとともに、局所的に密度が高くなっている箇所が瞬間的に変色することにより当該箇所を雷雲のように表すことができる。つまり、人流の映像で一見して把握することが難しかった人の密度、群形状を、ヒートマップ分析によって可視化し、複数のヒートマップ画像３４を重ねることにより映像の雷雲化を行うことができる。なお、ヒートマップ画像３４の枚数を増やすほど、より鮮明な雷雲を表現することができる。さらに、検知対象である人２１Ａ及び車両２１Ｂと、範囲係数が極小の図１０に示すヒートマップ画像３４と、範囲係数が拡大された図１１に示すヒートマップ画像３４と、を重ね合わせて雲化ヒートマップ画像３４Ｂを生成するため、映像化された雷雲化ヒートマップ映像３５に検知対象が表示されることとなり、当該検知対象の密集度により全体の雷雲化の状況を確認することができる。また、検知対象である人２１Ａ及び車両２１Ｂの種類を識別して位置を検出しているため、異なる種類の検知対象が複数存在する解析対象データ３１であっても、個々の検知対象の密集度等を可視化し雷雲化することができる。

【0041】

このような構成により、検知対象の背景が円で描かれたキャンパス下地３３と、範囲係数が極小の図１０に示すヒートマップ画像３４と、範囲係数が拡大された図１１に示すヒートマップ画像３４と、を重ね合わせるため、検知対象の位置がより鮮明になることで綺麗な雲化ヒートマップ画像３４Ｂとなり、高精度の雷雲化ヒートマップ映像３５を得ることができる。

【0042】

このような構成により、９枚のキャンパス下地３３は背景の形状、色、遡る時間の少なくとも１つが異なるため、これらの条件を適切に設定することで雷雲化ヒートマップ映像３５の見せ方を任意に設定することができる。また、キャンパス下地３３と、範囲係数が極小の図１０に示すヒートマップ画像３４と、範囲係数が拡大された図１１に示すヒートマップ画像３４と、は予め設定された透明度により重ね合わせるため、透明度の設定によって雷雲化ヒートマップ映像３５の見せ方を任意に設定することができる。

【0043】

次に、本発明の第２の実施の形態について、説明する。第１の実施の形態と同一の構成については、同一の符号を付し説明を省略する。

【0044】

第１の実施の形態の解析システム１では対象位置データ３２の位置データに基づいてキャンパス下地３３及びヒートマップ画像３４を生成したため、キャンパス下地３３及びヒートマップ画像３４に人２１Ａ及び車両２１Ｂのアイコンが表示された。これに対し第２の実施の形態では、キャンパス下地３３及びヒートマップ画像３４には人２１Ａ及び車両２１Ｂのアイコンが表示されない。制御部２は、Ｓ８の処理において対象位置データ３２と、９層のキャンパス下地３３と、２層のヒートマップ画像３４と、を重ね合わせることにより雲化ヒートマップ画像３４Ｂを生成する。制御部２は、解析対象データ３１の全フレームについて雲化ヒートマップ画像３４Ｂを生成し繋ぎ合わせることにより、雷雲化ヒートマップ映像３５を生成する。

【0045】

次に、本発明の第３の実施の形態について、図１６及び図１７を参照して説明する。上述の実施の形態と同一の構成については、同一の符号を付し説明を省略する。

【0046】

解析システム２０１は、情報処理端末２１０と、外部サーバ２１１と、撮像部２１２と、通信ネットワーク２１３と、から構成される。情報処理端末１１０と、外部サーバ２１１と、撮像部２１２は、通信ネットワーク２１３を介して双方向通信可能である。第１の実施の形態の解析システム１では記憶部３の解析対象データ３１の人流を解析したが、第３の実施の形態の解析システム２０１は撮像部２１２によって撮影された映像を一時的に外部サーバ２１１に保存するとともに、外部サーバ２１１の制御部２がリアルタイムで雷雲化ヒートマップ映像３５を生成する。

【0047】

図１７に示すように、外部サーバ２１１は、制御部２と、記憶部３と、操作部５と、通信部６と、を有している。情報処理端末２１０はコンピュータ、スマートフォン、タブレット、専用端末等であって、制御部２０２と、記憶部２０３と、表示部２０４と、操作部２０５と、通信部２０６と、を有している。

【0048】

撮像部２１２で撮影された映像は、通信ネットワーク２１３を介して外部サーバ２１１の記憶部３に記憶され、制御部２により雷雲化ヒートマップ映像３５が生成される。情報処理端末２１０の表示部２０４で、通信ネットワーク２１３を介して雷雲化ヒートマップ映像３５を閲覧することができる。

【0049】

このような構成によると、撮像部２１２の映像をリアルタイムでヒートマップ映像化することができるとともに、外部サーバ２１１の処理能力を高めることで能力の低い情報処理端末２１０であっても雷雲化ヒートマップ映像３５を閲覧することができる。また、情報処理端末２１０は、通信ネットワーク２１３を介して外部サーバ２１１に記憶された雷雲化ヒートマップ映像３５を閲覧するため、情報処理端末２１０を持ち運ぶことでどの場所でも閲覧可能となる。また、複数の情報処理端末２１０で同時に雷雲化ヒートマップ映像３５を閲覧することができる。

【0050】

本発明による解析プログラム、解析システム、及び解析方法は、上述した実施の形態に限定されず、特許請求の範囲に記載された発明の要旨の範囲内で種々の変更が可能である。

【0051】

上述の実施の形態では、キャンパス下地３３として過去の人２１Ａ及び車両２１Ｂの位置に基づいて人円を生成したが、これに限定されない。例えば、将来的に人２１Ａ及び車両２１Ｂが移動する可能性のある方向を統計的手法によって予測し、未来の人２１Ａ及び車両２１Ｂの位置に基づいて人円を生成してもよい。

【0052】

上述の実施の形態では、キャンパス下地３３を９枚生成し、ヒートマップ画像３４を２枚生成し、１１枚のデータを重ね合わせて雲化ヒートマップ画像３４Ｂを得たが、これに限定されず任意の枚数を設定することができる。例えば、図１８に示すように、解析システム３０１は、下地生成部が設けられておらずヒートマップ生成部２３のみを有している。制御部２が重畳ヒートマップ画像３４を生成する際は、少なくとも２枚のヒートマップ画像３４のみを重畳する。これにより、下地生成部による処理プロセスを省略することができるため、性能の高くない情報処理端末であっても迅速に雷雲化ヒートマップ映像３５を生成することができる。また、ヒートマップ画像３４を３枚以上作成し、ヒートマップ生成部２３にて合成することにより、さらに鮮明な雷雲化した雷雲化ヒートマップ映像３５を生成することができる。

【0053】

上述の実施の形態では、下地生成部２２は、所定時間、円の径、円の色、円の透過度の少なくとも１つの条件が異なる９枚のキャンパス下地３３を生成したが、これに限定されない。各種条件を所望の値に設定することにより、下地生成部２２は少なくとも１枚以上のキャンパス下地３３を作成してもよい。

【0054】

上述の実施の形態では、１つのフレームについて雲化ヒートマップ画像３４Ｂを生成し、すべてのフレームについて生成した段階でつなぎ合わせて映像化したが、これに限定されない。解析システムは、ヒートマップ化された映像を出力できれば良く、すべてのフレームについて対象認識部２１が検知対象を認識し、次にすべてのフレームについて下地生成部２２がキャンパス下地３３を生成し、次に、すべてのフレームについてヒートマップ生成部２３がヒートマップ画像３４を生成し、次にすべてのフレームについて雲化ヒートマップ画像３４Ｂを生成し、最終的に雷雲化ヒートマップ映像３５を生成してもよい。

【0055】

上述の実施の形態では、解析対象データ３１として図２に示す人流映像を用いたが、これに限定されない。対象認識部２１の人工知能は様々な人及び物を画像認識し識別することができるため、人流解析以外の分野にも適用することができる。例えば、図１９に示すような魚群の群れの映像を解析システム１で解析し、ヒートマップ分析によって雷雲化した映像を得ることができる。動物の群れの映像を解析システム１で解析することで、対象認識部２１が動物を認識し、ヒートマップ分析によって雷雲化した映像を得ることができる。また、医療分野への応用により、対象認識部２１が血管の映像から血液を流れるヘモグロビンを認識し、血管内におけるヘモグロビンの流れを雷雲化によって可視化することができる。他に、細胞群の瓦解・分解する様子や集合体が形成される過程の映像を解析システム１で解析することで、対象認識部２１が特定の細胞や細菌等を学習検知し、当該過程を可視化し雷雲のごとく表現することができる。

【0056】

上述の実施の形態では、キャンパス下地３３として検知対象を中心とした円を背景としたが、これに限定されない。情報処理端末１０の性能及び雷雲化ヒートマップ映像３５の見え方に応じて、検知対象を中心として多角形、雲型、滴型等任意の形状を選択することができる。

【符号の説明】

【0057】

１、２０１、３０１ 解析システム
２ 制御部
３ 記憶部
４ 表示部
２１ 対象認識部
２２ 下地生成部
２３ ヒートマップ生成部
３１ 解析対象データ
３２ 対象位置データ
３３ キャンパス下地
３４ ヒートマップ画像
３４Ａ 重畳ヒートマップデータ
３４Ｂ 雲化ヒートマップ画像
３５ 雷雲化ヒートマップ映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【手続補正書】

【提出日】2024-06-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

移動体の映像データを解析する解析プログラムであって、
コンピュータに、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、
前記映像データから前記検知対象の範囲係数が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するステップと、
少なくとも、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、
前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させることを特徴とする解析プログラム。

【請求項2】

移動体の映像データを解析する解析プログラムであって、
コンピュータに、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、
前記映像データから前記検知対象の検知範囲が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記検知範囲が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するステップと、
少なくとも、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、
前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させ、
前記検知対象は、前記第１層又は前記第２層の少なくともいずれか一方に含まれることを特徴とする解析プログラム。

【請求項3】

検出された前記検知対象の過去の位置情報に基づいて、前記検知対象に所定形状の背景が描かれたキャンパス下地を生成するステップと、
前記キャンパス下地と、前記第１層と、前記第２層と、を重ね合わせる事により前記雲化ヒートマップ画像を生成するステップと、をさらに有することを特徴とする請求項１又は２に記載の解析プログラム。

【請求項4】

前記キャンパス下地は複数生成され、前記キャンパス下地の前記背景の形状、前記背景の色、前記検知対象の位置が遡る時間、の少なくとも１つが互いに異なり、
前記キャンパス下地と、前記第１層と、前記第２層と、は予め設定された透明度により重ね合わせる事により前記雲化ヒートマップ画像を生成することを特徴とする請求項３に記載の解析プログラム。

【請求項5】

移動体の映像データを解析する解析システムであって、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出する対象認識部と、
前記映像データから前記検知対象の範囲係数が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するヒートマップ生成部と、を有し、
前記ヒートマップ生成部は、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成し、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成することを有することを特徴とする解析システム。

【請求項6】

移動体の映像データを解析する解析方法であって、
前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、
前記映像データから前記検知対象の範囲係数が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するステップと、
前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、
前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を有することを特徴とする解析方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

上記課題を解決するために本発明は、移動体の流れの映像データを解析する解析プログラムであって、コンピュータに、前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、前記映像データから前記検知対象の範囲係数が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するステップと、少なくとも、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させることを特徴とする解析プログラムを提供している。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

本発明の別の観点によると、物又は人の流れの映像データを解析する解析プログラムであって、コンピュータに、前記映像データから少なくとも人を含む検知対象を識別し、前記検知対象の位置を検出するステップと、前記映像データから検知対象の検知範囲が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記検知範囲が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するステップと、少なくとも、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を実行させ、前記検知対象は、前記第１層又は前記第２層の少なくともいずれか一方に含まれることを特徴とする解析プログラムを提供している。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

本発明の別の観点によると、移動体の映像データを解析する解析システムであって、前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出する対象認識部と、前記映像データから前記検知対象の範囲係数が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するヒートマップ生成部と、を有し、前記ヒートマップ生成部は、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成し、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成することを有することを特徴とする解析システムを提供している。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正の内容】

【0015】

本発明の別の観点によると、移動体の映像データを解析する解析方法であって、前記映像データから検知対象である前記移動体の種類を識別し、前記検知対象の位置を検出するステップと、前記映像データから前記検知対象の範囲係数が設定された前記検知対象の密集度を示すヒートマップである第１層と、前記第１層とは異なる前記範囲係数が設定された前記検知対象の密集度を示すヒートマップである第２層と、を生成するステップと、前記検知対象と、前記第１層と、前記第２層と、を重ね合わせることにより雲化ヒートマップ画像を生成するステップと、前記映像データの映像から所定の時間間隔で生成された前記雲化ヒートマップ画像を合成することにより前記雲化ヒートマップ画像を映像化し雷雲化ヒートマップ映像を生成するステップと、を有することを特徴とする解析方法を提供している。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００２７

【補正方法】変更

【補正の内容】

【0027】

ヒートマップ生成部２３は、図１０から図１２に示すように、対象認識部２１によって生成された対象位置データ３２に基づき、人２１Ａ及び車両２１Ｂの現在位置を中心としたヒートマップ画像３４を生成する。ヒートマップ生成部２３は、予め設定された範囲係数に基づき、人２１Ａの位置からベイズ推定・確率統計により検知対象の密集度を算出し、ヒートマップ画像３４を生成する。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００２８

【補正方法】変更

【補正の内容】

【0028】

範囲係数とは、ヒートマップにおいて、人２１Ａ及び車両２１Ｂ等の検知対象の座標の点群を捉える範囲を示している。範囲係数が大きく設定されると、ヒートマップ生成部２３は検知対象の座標点群を一群として捉え、広い範囲で密集度をベイズ推定により算出し、高密度、低密度として色分けする。換言すると、範囲係数が大きくなると検知対象を群として捉える傾向となり、ヒートマップ画像３４における大まかな密集度を把握することができる。範囲係数が小さく設定されると、ヒートマップ生成部２３は検知対象の座標点群を小さな範囲の群として捉え、狭い範囲で密集度をベイズ推定により算出し、高密度、低密度として色分けする。換言すると、範囲係数が小さくなると検知対象を点として捉える傾向となり、ヒートマップ画像３４における個々の検知対象の密集度を把握することができる。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】変更

【補正の内容】

【0029】

ヒートマップ生成部２３は、ノイズや欠損値等を除去する事前処理を行い、ベイズ推定の確立分布により、人２１Ａの位置を表す対象位置データ３２に基づいて、ヒートマップを表現する確率分布モデルを構築する。ベイズ推定により、確率分布に基づく事前分布を設定し、ベイズの定理により事後分布を算出して人流の密度の推定値を得る。事後分布からのサンプリングにより人流位置を確率的に推定し、これらの結果を集約することにより図１０及び図１１に示すような各地点における人流のヒートマップ画像３４を生成する。ヒートマップ画像３４を生成する際の各種パラメータは、得られた画像の状態に応じて任意に設定することができる。