(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】属性分析システム並びにこれを用いた推定方法及び通信方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241108BHJP
G06T 7/00 20170101ALI20241108BHJP
【FI】
H04N7/18 K
G06T7/00 660Z
H04N7/18 U
(21)【出願番号】P 2024039129
(22)【出願日】2024-03-13
【審査請求日】2024-03-13
【新規性喪失の例外の表示】特許法第30条第2項適用 令和5年3月20日盛岡まちづくり株式会社にて販売 令和5年5月30日https://denkikogyo.co.jp/7848/に掲載
(73)【特許権者】
【識別番号】000217653
【氏名又は名称】電気興業株式会社
(73)【特許権者】
【識別番号】516361897
【氏名又は名称】株式会社サイバーコア
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(72)【発明者】
【氏名】藤沼 亮太
(72)【発明者】
【氏名】小池 郁哉
(72)【発明者】
【氏名】北條 義勝
(72)【発明者】
【氏名】坪内 弘毅
(72)【発明者】
【氏名】堀田 健仁
(72)【発明者】
【氏名】グイン クオック チン
(72)【発明者】
【氏名】中崎 一身
(72)【発明者】
【氏名】林 敏之
【審査官】新井 重雄
(56)【参考文献】
【文献】特開2021-12657(JP,A)
【文献】特開2013-201714(JP,A)
【文献】特開2012-25495(JP,A)
【文献】特開2002-77798(JP,A)
【文献】特開平9-182055(JP,A)
【文献】米国特許出願公開第2020/0410250(US,A1)
【文献】米国特許出願公開第2012/0092447(US,A1)
【文献】中国特許出願公開第111008606(CN,A)
【文献】中国特許出願公開第107454446(CN,A)
【文献】中国特許出願公開第102289817(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
バッテリと該バッテリを充電する太陽光パネルとを含む電源供給部と、撮影した動画と第1の周期で撮影した画像とを保存する記録媒体と、該記録媒体に記録した前記動画又は前記画像を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記記録媒体から受信した前記画像を記録する画像蓄積部と、前記動画又は前記画像を解析して人物を検知し、該人物の数および属性を解析する中央演算部とを備えた人工知能サーバと
を備えてなり、
前記人工知能サーバは、前記中央演算部に対し、
事前に所定の期間に複数回にわたって同一時刻に撮影した前記動画と前記画像とについて、前記映像蓄積部に記録した該動画から検知した人物の数と、前記画像蓄積部に記録した該画像から検知した人物の数とをそれぞれ求めさせ、該動画から検知した人物の数と、該画像から検知した人物の数との間で統計的手法により近似計算を実行させて、前記動画と前記画像との間の補正値を求めさせ、
前記第1の周期で撮影した画像のそれぞれについて検知した人物の数に、前記補正値を適用させて、該画像を撮影した時刻における人物の数を求めさせる
ことを特徴とする、属性分析システム。
【請求項2】
バッテリと該バッテリを充電する太陽光パネルとを備えた電源供給部と、撮影した動画を保存する記録媒体と、前記記録媒体に記録された前記動画を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記映像蓄積部に記録した前記動画を解析して人物を検知し、該人物の数および属性を解析する中央演算部とを備えた人工知能サーバと
を備えてなり、
前記人工知能サーバは、
(a)前記監視カメラに対し、所定の期間にわたって撮影した動画を前記映像蓄積部に送信させるとともに、前記監視カメラと前記人工知能サーバとの間の通信エラーの発生を監視し、
(b)前記通信エラーを検知することなく、前記動画を前記映像蓄積部に送信させた場合には、前記中央演算部に対し、前記動画を解析させて人物を検知させ、該人物の数および属性を解析させ、
(c)前記通信エラーを検知した場合には、前記監視カメラに対し、前記動画を前記映像蓄積部に再び送信させるとともに、第1の期間において、前記監視カメラと前記人工知能サーバとの間の前記通信エラーの発生を監視し、
(d)前記第1の期間より長い第2の期間において、上記(a)~(c)を繰り返す
ことを特徴とする、属性分析システム。
【請求項3】
前記通信部はSIMカードを備えている、請求項1又は2に記載の属性分析システム。
【請求項4】
インターネット回線を利用して有線又は無線で前記人工知能サーバと通信する操作卓をさらに備える、請求項1又は2に記載の属性分析システム。
【請求項5】
バッテリと該バッテリを充電する太陽光パネルとを含む電源供給部と、撮影した動画と第1の周期で撮影した画像とを保存する記録媒体と、該記録媒体に記録された前記動画又は前記画像を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記記録媒体から受信した前記画像を記録する画像蓄積部と、前記動画又は前記画像を解析して人物を検知し、該人物の数および属性を解析する中央演算部とを備えた人工知能サーバと
を備えてなる属性分析システムにおける推定方法であって、
前記人工知能サーバは、前記中央演算部に対し、
事前に所定の期間に複数回にわたって同一時刻に撮影した前記動画と前記画像とについて、前記映像蓄積部に記録した該動画から検知した人物の数と、前記画像蓄積部に記録した該画像から検知した人物の数とをそれぞれ求めさせ、該動画から検知した人物の数と、該画像から検知した人物の数との間で統計的手法により近似計算を実行させて、前記動画と前記画像との間の補正値を求めさせるステップと、
前記第1の周期で撮影した画像のそれぞれについて検知した人物の数に、前記補正値をそれぞれ適用させて、該画像を撮影した時刻における人物の数を求めさせるステップと
を含んでなる、属性分析システムにおける推定方法。
【請求項6】
バッテリと該バッテリを充電する太陽光パネルとを含む電源供給部と、撮影した動画を保存する記録媒体と、該記録媒体に記録された前記動画を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記映像蓄積部に記録した前記動画を解析して人物を検知し、該人物の数および属性を解析する中央演算部とを備えた人工知能サーバと
を備えてなる属性分析システムにおける通信方法であって、
前記人工知能サーバは、
(a’)前記監視カメラに対し、所定の期間にわたって撮影した動画を前記映像蓄積部に送信させるとともに、前記監視カメラと前記人工知能サーバとの間の通信エラーの発生を監視するステップと、
(b’)前記通信エラーを検知することなく、前記動画を前記映像蓄積部に送信させた場合には、前記中央演算部に対し、前記動画を解析させて人物を検知させ、該人物の数および属性を解析させるステップと、
(c’)前記通信エラーを検知した場合には、前記監視カメラに対し、前記動画を前記映像蓄積部に再び送信させるとともに、第1の期間において、前記監視カメラと前記人工知能サーバとの間の前記通信エラーの発生を監視するステップと、
(d’)前記第1の期間より長い第2の期間において、上記(a’)~(c’)を繰り返すステップと
を実行する、属性分析システムにおける通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視カメラを使用した属性分析システム及び属性分析方法に関し、特に、電源や光回線等の設備環境によらず設置できる消費電力及び通信量を低減した属性分析カメラシステム及びその属性分析方法に関する。
【背景技術】
【0002】
監視カメラ及びAI(人工知能)を使用した被検体の数や属性を分析するシステムの需要が年々増加してきている。そのような属性分析システムは、犯罪の防止・抑止や防災の監視という用途に加え、マーケティングや交通量調査の用途にも活用されている。そのため、属性分析システムは、その用途に応じて様々な場所に設置することが求められる。
【0003】
属性分析システムの一例として、例えば、特許文献1や特許文献2には、監視カメラを備えた人物属性の推定システムについての記載がある。ここで、特許文献1には、監視カメラの設置環境によらずに、属性推定の対象となる人物の属性の推定の精度を向上させるために、監視カメラの環境依存属性に近い環境依存属性を有する学習データに基づいた推定パラメータを用いる旨の記載がある。
また、特許文献2は、監視カメラが撮影した人物の照度がサンプル画像の照度とは異なることに起因した属性の推定精度の低下を解消するものである。ここで、特許文献2には、どのような撮影環境の下で属性推定対象となる人物が撮影されるかを示す撮影環境データと、人物画像である標準画像とをもとに、実際に人物を現場にて撮影したかのような疑似現場画像を生成し、この疑似現場画像を用いて推定モデルの学習を行う旨についての記載がある。
【0004】
しかしながら、特許文献1及び特許文献2のいずれも、店舗内における監視カメラの利用を前提としたものである。そのため、例えば電源の確保が困難な環境である屋外やオープンスペースに監視カメラが設置された場合に監視カメラからのデータを安定して通信することや、ある時間帯(1時間など)での混雑具合をリアルタイムで解析して出力したい場合や、より省電力・低容量データに特化した画像のみで解析するシステムの場合は監視カメラが撮影したスナップショット画像(静止画)での人物検知数から同一時間での一定の時間帯(1時間など)で映像による人物検知数を少ない誤差で出力することについては、特許文献1及び特許文献2のいずれにも記載がない。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2012-252507号公報
【文献】特開2013-242825号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
監視対象となる場所に設置される監視カメラは、その用途によっては、電源や通信回線などの環境が整備されていない場所への設置が必要となる場合がある。しかしながら、通常、監視カメラは、映像を取得して送信するために電源を必要とする。そのため、監視カメラを設置することができる場所は、電源を供給することができる場所に制限されることになる。
また、例えば、通信回線として光回線などの環境がない場合には、属性分析システムは、無線回線(LTE回線)を使用して監視カメラと通信する必要がある。しかしながら、そのようなLTE回線を使用して通信する場合には、監視カメラによって取得した映像のデータサイズが大きいことから、監視カメラから解析サーバにデータを安定して伝送することが困難な場合がある。その場合には、高精度の人工知能(AI)による解析を実行することができない場合がある。
さらに、動画を通信する場合には、データサイズが大きいことから、通信エラーが発生する可能性がある。その場合には、AI(人工知能)サーバが解析に必要な動画データを受信することができないため、結果としてAIサーバによる属性解析ができないことになる。
加えて、動画の解析にはデータサイズの関係上、所定の時間を要することから、短時間での属性解析が困難である。
【課題を解決するための手段】
【0007】
本発明は、上記の課題を解決した属性分析システムを提供する。
具体的には、本発明は、
バッテリと該バッテリを充電する太陽光パネルとを含む電源供給部と、撮影した動画と第1の周期で撮影した画像とを保存する記録媒体と、該記録媒体に記録された前記動画又は前記画像を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記記録媒体から受信した前記画像を記録する画像蓄積部と、前記動画又は前記画像を解析して人物を検知し、該人物の数および人物の属性(性別、年代)を解析する中央演算部とを備えた人工知能サーバと
を備えてなり、
前記人工知能サーバは、前記中央演算部に対し、
事前に所定の期間に複数回にわたって同一時刻に撮影した前記動画と前記画像とについて、前記映像蓄積部に記録した該動画から検知した人物の数と、前記画像蓄積部に記録した該画像から検知した人物の数とをそれぞれ求めさせ、該動画から検知した人物の数と、該画像から検知した人物の数との間で統計的手法により近似計算を実行させて、前記動画と前記画像との間の補正値を求めさせ、
前記第1の周期で撮影した画像のそれぞれについて検知した人物の数に、前記補正値を適用させて、該画像を撮影した時刻における一定の時間帯での映像による人物の数を求めさせ、該一定の時間帯でのリアルタイムでの人数カウントを模擬して解析する
ことを特徴とする、属性分析システムを提供する。
【0008】
また、本発明は、
バッテリと該バッテリを充電する太陽光パネルとを含む電源供給部と、撮影した動画を保存する記録媒体と、該記録媒体に記録された前記動画を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記映像蓄積部に記録した前記動画を解析して人物を検知し、該人物の数を求める中央演算部とを備えた人工知能サーバと
を備えてなる属性分析システムであって、
前記人工知能サーバは、
(a)前記監視カメラに対し、所定の期間にわたって撮影した動画を前記映像蓄積部に送信させるとともに、前記監視カメラと前記人工知能サーバとの間の通信エラーの発生を監視し、
(b)前記通信エラーを検知することなく、前記動画を前記映像蓄積部に送信させた場合には、前記中央演算部に対し、前記動画を解析させて人物を検知させ、該人物の数を求めさせ、
(c)前記通信エラーを検知した場合には、前記監視カメラに対し、前記動画を前記映像蓄積部に再び送信させるとともに、第1の期間において、前記監視カメラと前記人工知能サーバとの間の前記通信エラーの発生を監視し、
(d)前記第1の期間より長い第2の期間において、上記(a)~(c)を繰り返す
ことを特徴とする、属性分析システムも提供する。
【0009】
ここで、前記通信部はSIMカードを備えている態様であることや、インターネット回線を利用して有線又は無線で前記人工知能サーバと通信する操作卓をさらに備える態様であることが好ましい。
【0010】
さらに、本発明は、属性分析システムにおける推定方法も提供する。
具体的には、
バッテリと該バッテリを充電する太陽光パネルとを含む電源供給部と、撮影した動画と第1の周期で撮影した画像とを保存する記録媒体と、該記録媒体に記録された前記動画又は前記画像を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記記録媒体から受信した前記画像を記録する画像蓄積部と、前記動画又は前記画像を解析して人物を検知し、該人物の数を求める中央演算部とを備えた人工知能サーバと
を備えてなる属性分析システムにおける推定方法であって、
前記人工知能サーバは、前記中央演算部に対し、
事前に所定の期間に複数回にわたって同一時刻に撮影した前記動画と前記画像とについて、前記映像蓄積部に記録した該動画から検知した人物の数と、前記画像蓄積部に記録した該画像から検知した人物の数とをそれぞれ求めさせ、該動画から検知した人物の数と、該画像から検知した人物の数との間で統計的手法により近似計算を実行させて、前記動画と前記画像との間の補正値を求めさせるステップと、
前記第1の周期で撮影した画像のそれぞれについて検知した人物の数に、前記補正値をそれぞれ適用させて、該画像を撮影した時刻における人物の数を求めさせるステップと
を含んでなる、属性分析システムにおける推定方法を提供する。
【0011】
加えて、本発明は、属性分析システムにおける通信方法も提供する。
具体的には、
バッテリと該バッテリを充電する太陽光パネルとを備えた電源供給部と、撮影した動画を保存する記録媒体と、前記記録媒体に記録された前記動画を送信する通信部とを備えた監視カメラと、
前記記録媒体から受信した前記動画を記録する映像蓄積部と、前記映像蓄積部に記録した前記動画を解析して人物を検知し、該人物の数および人物の属性(性別、年代)を解析する中央演算部とを備えた人工知能サーバと
を備えてなる属性分析システムにおける通信方法であって、
前記人工知能サーバは、
(a’)前記監視カメラに対し、所定の期間にわたって撮影した動画を前記映像蓄積部に送信させるとともに、前記監視カメラと前記人工知能サーバとの間の通信エラーの発生を監視するステップと、
(b’)前記通信エラーを検知することなく、前記動画を前記映像蓄積部に送信させた場合には、前記中央演算部に対し、前記動画を解析させて人物を検知させ、該人物の数を求めさせるステップと、
(c’)前記通信エラーを検知した場合には、前記監視カメラに対し、前記動画を前記映像蓄積部に再び送信させるとともに、第1の期間において、前記監視カメラと前記人工知能サーバとの間の前記通信エラーの発生を監視するステップと、
(d’)前記第1の期間より長い第2の期間において、上記(a’)~(c’)を繰り返すステップと
を実行する、属性分析システムにおける通信方法を提供する。
【発明の効果】
【0012】
本発明にかかる監視カメラは、太陽光パネル及びバッテリ等の充電モジュールを備えている。そのため、電源設備がない場所に監視カメラを設置することができる。また、監視カメラは、例えばSIM(Subscriber Identity Module)カードを内蔵した通信部を備えている。つまり、監視カメラと一緒に設置される他のデバイスが不要となるため、より省スペースな場所に監視カメラを設置することができる。
本発明にかかる人工知能サーバは、動画解析時の動画送信中に、監視カメラと人工知能サーバとの間の通信エラーを監視し、通信エラーが発生した場合には監視カメラに対してデータの送信を再要求する動画取得アルゴリズムを採用している。そのため、監視カメラと人工知能サーバとの間で動画を取得する信頼性が向上するので、人工知能サーバにおいて安定した解析をすることができる。
また、本発明にかかる人工知能サーバは、動画解析だけではなく、(データサイズが動画より小さい)画像を解析するスナップショット解析も実行することができる。そのため、スナップショット解析では、動画解析と比較して、解析に必要な時間を短縮することができるので、遅延の少ない解析を実現することができる。
さらに、本発明にかかる人工知能サーバは、同一期間にわたって同一時刻に得られた動画及び画像のそれぞれから求められた人物の数について統計的手により近似計算を行って両者の間で補正値を求め、求められた補正値を、スナップショット解析によって求められた人物の数に適用している。そのため、本発明にかかる人工知能サーバによれば、スナップショット解析においても、人物の数について、動画解析に近い精度を得ることができる。
統計処理による近似計算の手法としては、機械学習を用いる方法や、数学的手法を含む統計学的手法を用いる方法などがある。そのような数学的手法を含む統計学的手法の例として、線形回帰や状態空間モデルなどがあげられる。
【図面の簡単な説明】
【0013】
【
図1】Aは、本発明の属性分析システム1の構成を示すブロック図である。Bは、人工知能サーバ20によって検出した人物がマーキングされていることを示す写真である。
【
図2】属性分析システム1において、動画解析時に実行される動画ファイルの通信中に通信エラーが発生した場合の処理を示すデータフロー図である。
【
図3】属性分析システム1において、スナップショット解析時の処理を示すデータフロー図である。
【
図4】属性分析システム1における動画解析時の処理を示すフロー図である。
【
図5】属性分析システム1におけるスナップショット解析時の処理を示すフロー図である。
【
図6】属性分析システム1によって取得した動画ファイル及び画像ファイルを2か月間にわたって解析し、動画解析人数とスナップショット解析人数とを集計した計測データである。
【
図7】
図6の計測データに対し、統計処理の近似計算の一例として回帰分析を実行して、動画解析人数とスナップショット解析人数との間に最適な補正係数を求めるためのグラフである。
【
図8】
図7に示す回帰分析から得られた基本統計量のグラフである。
【
図9】動画解析人数とスナップショット解析人数との誤差(補正前)と、
図7の回帰分析から得られた補正値を用いた場合の誤差(補正後)とのグラフである。
【発明を実施するための形態】
【0014】
図1Aを参照して、本発明の一実施態様である属性分析システム1を説明する。属性分析システム1は、監視カメラ10と、監視カメラ10と通信している人工知能サーバ20と、人工知能サーバ20と通信している操作卓PC30とを備える。ここで、監視カメラ10と人工知能サーバ20との間と、人工知能サーバ20と操作卓PC30との間とは、例えば、通信ケーブルによって有線で接続されているか、無線で接続されているか、あるいは有線と無線との両方で接続されていてもよい。特に、監視カメラ10と人工知能サーバ20との間は、監視カメラ10が屋外に設置される場合には、インターネット回線を通じて少なくとも無線で接続されていることが好ましい。
【0015】
監視カメラ10は、電源供給部101と、監視カメラが撮影した動画(映像)又は所定の周期(例えば、第1の周期として1分周期)で撮影した画像(静止画)を記録する記録媒体102と、人工知能サーバ20との通信を行う通信部103とを備える。電源供給部101は、バッテリ101aと、バッテリ101aを充電する太陽光パネル101bとを備える。このような太陽光パネル101bを備えることにより、例えば、電源設備を有しない屋外であっても電源の制約を受けずに監視カメラ10を設置することができる。記録媒体102は、撮影した動画又は画像を記録するのに十分な容量を有する、ハードディスクドライブとSSDとメモリカードとのうちのいずれかであってもよい。通信部103は、例えばSIMカードを内蔵してもよい。
【0016】
人工知能サーバ20は、監視カメラ10から送信された動画又は画像を記録する記録部201と、記録部201と通信して動画又は画像を解析する処理などの演算を行う中央演算部202とを備えている。記録部201は、監視カメラ10からの動画や解析用プログラムを記録する映像蓄積部201aと、監視カメラ10からの画像や解析用プログラムを記録する画像蓄積部201bと、監視カメラ10からの動画又は画像を解析した結果を記録する解析データ記録部201cとを備える。そして、中央演算部202は、動体検出部202aと人工知能判定部202bとマーキング部202cと動画解析部202dとスナップショット解析部202eとを備える。ここで、動体検出部202aと人工知能判定部202bとマーキング部202cとは、監視カメラ10が撮影した動画を中央演算部202と協働して解析するプログラムである。動画解析部202dは、動画解析を中央演算部202と協働して解析するプログラムである。スナップショット解析部202eは、監視カメラ10が撮影した画像を中央演算部202と協働して解析するプログラムである。ここで、動体検出部202aは、例えば一般公開されているOpenCVと呼ばれる画像処理ソフトウェアと、フレーム差分法とを利用して動体を検出することができる。また、人工知能判定部202bは、機械学習アルゴリズムのモデル構造(例えば、畳み込みニューラルネットワーク(Convolutional Neural Network)モデル構造)に基づいて、検知した動体が人物であるかどうかを判定し、その人物の属性(性別、年代)を判別することができる。マーキング部202cは、人工知能判定部202bが人物であると判定した場合に、例えば後述する
図1Bに示すように、四角枠でその人物を囲むマーキング処理を実行することができる(なお、動画解析部202dとスナップショット解析部202eとについては、後で説明する)。そして、人工知能サーバ20によって解析した結果は、人工知能サーバ20に接続された操作卓PC30に表示することができる(例えば、操作卓PC30には、後述する
図1Bに示すように、動画又は画像から検知した人物を個別にマーキングした画面を表示することができる)。また、その人物の属性(性別、年代)を表示することも可能である。
【0017】
図1Bに、中央演算部202において動画又は画像を解析し、検知した人物にマーキング処理をしたときの画面を示す。このような画面を操作卓PC30に表示することができる。ここで、
図1Bには、検知した人物を四角枠でそれぞれ囲むマーキングをした場合について示している。しかしながら、(丸で囲むなどの)それ以外の仕方で、検知した人物をマーキングする態様であってもよい。また、その人物の属性(性別、年代)を表示する態様であってもよい。
【0018】
図2に、動画解析において、監視カメラ10と人工知能サーバ20との間でいくつかの動画(動画ファイル)を通信するときの処理を示す。まず、S1において、人工知能サーバ20は、監視カメラ10に対し、映像蓄積部201aへの動画ファイルの転送を要求するとともに、監視カメラ10と人工知能サーバ20との間に通信エラーが発生するかを監視する。ここで、S2では、監視カメラ10と人工知能サーバ20との間に通信エラーが発生している。通信エラーが発生した場合には、S3において、人工知能サーバ20は、通信エラーが発生してから第1の期間内に(
図2では1分ごとに)、監視カメラ10に対し、動画ファイルの転送を再び要求するとともに、監視カメラ10と人工知能サーバ20との間に通信エラーが発生するかを再び監視する。一方、S4において、映像蓄積部201aへの動画ファイルの転送が完了した場合、人工知能サーバ20は、映像蓄積部201aに記録された動画ファイルの解析を開始する。そして、人工知能サーバ20は、第2の期間において(
図2では15分ごとに)、監視カメラ10に対し、映像蓄積部201aへの動画ファイルの転送を要求する上記S1を繰り返す。
【0019】
図3に、スナップショット解析において、監視カメラ10と人工知能サーバ20との間でいくつかのスナップショット画像(画像ファイル)を通信するときの処理を示す。一例として、
図3では、監視カメラ10が1分ごとに撮影したスナップショット画像が記録媒体102に記録されている。まず、S5において、人工知能サーバ20は、監視カメラ10に対し、(例えば、第1の周期である1分周期で撮影した15枚のスナップショット画像に対応する)15分ぶんの画像ファイルを、画像蓄積部201bに転送するように要求する。次に、S6において、監視カメラ10は、15分ぶんの画像ファイルを画像蓄積部201bに転送する。そして、人工知能サーバ20は、画像蓄積部201bに記録された15分ぶんの画像ファイルの解析を開始する。
【0020】
なお、
図3のスナップショット解析における処理は、
図2に示す動画解析における処理と並行して実行することができる。ここで、両方の処理を並行して実行した場合には、動画解析ではなく画像解析となるため、解析に必要な時間を短縮することができる。その一方で、スナップショット解析では、動画解析と比較して、解析人数に差が生じてしまう。
【0021】
図4を参照して、属性分析システム1での動画解析の全体の処理フローを説明する。まず、人工知能サーバ20は、ステップ400において動画解析を開始する。そして、ステップ410において、人工知能サーバ20は、監視カメラ10に対し、記録媒体102に記録した動画を映像蓄積部201aに転送するように要求する。そして、人工知能サーバ20は、監視カメラ10と人工知能サーバ20との間に通信エラーが発生するかを、中央演算部202の動画解析部202dと協働して監視する。ステップ420では、監視カメラ10は、人工知能サーバ20が要求した動画を記録媒体102から読み取り、通信部103によってインターネット回線を通じて人工知能サーバ20の映像蓄積部201aに転送する。ここで、通信部103は、例えば、監視カメラ10に内蔵したSIMカードによって無線で動画を転送することができる。ステップ430において、人工知能サーバ20は、ステップ410で要求した動画について、映像蓄積部201aへの転送が完了したかを判断する。
ここで、ステップ430において動画の転送が完了(成功)したと判断した場合には、ステップ440に進み、要求した動画について人工知能解析を実行する。この人工知能解析では、中央演算部202の動体検出部202a及び人工知能判定部202bと協働して動画から人物を検知する処理を実行し、中央演算部202のマーキング部202cと協働して検知した人物をマーキングする処理(マーキング処理)および属性表示を実行し、中央演算部202の動画解析部202dと協働して検知した人物の数および属性を解析データ記録部201cに記録する処理を実行する。そして、ステップ450において動画解析を終了する。
一方、ステップ430において、転送が完了しなかったと判断した場合には、ステップ410に戻り、人工知能サーバ20は、監視カメラ10に対し、記録媒体102に記録した動画を映像蓄積部201aに転送するように再び要求する。ここで、人工知能サーバ20は、通信エラーの発生を検知してから所定の期間に(例えば、第1の期間として1分ごとに)、要求した動画について、映像蓄積部201aへの転送が完了したかを、中央演算部202の動画解析部202dと協働して判断することができる。
なお、動画解析が終了した後、所定の期間ごとに(例えば、第2の期間として15分ごとに)、人工知能サーバ20は、ステップ400に戻り、動画解析を再び開始することができる。
【0022】
図5を参照して、属性分析システム1でのスナップショット解析の全体の処理フローを説明する。まず、人工知能サーバ20は、ステップ500においてスナップショット解析を開始する。そして、ステップ510において、人工知能サーバ20は、監視カメラ10に対し、所定の周期(例えば、1分周期)で撮影した画像を記録した記録媒体102から画像蓄積部201bに転送するように要求する。ステップ520では、監視カメラ10は、人工知能サーバ20が要求した画像を記録媒体102から読み取り、通信部103によってインターネット回線を通じて人工知能サーバ20の画像蓄積部201bに転送する。ここで、通信部103は、例えば、監視カメラ10に内蔵したSIMカードによって無線で画像を転送することができる。ステップ530において、人工知能サーバ20は、ステップ510で要求した画像について、画像蓄積部201bへの転送が完了したかを判断する。
ここで、ステップ530において画像の転送が完了(成功)したと判断した場合には、ステップ540に進み、要求した画像について人工知能解析を実行する。この人工知能解析では、中央演算部202の人工知能判定部202bと協働して画像から人物を検知する処理を実行し、中央演算部202のマーキング部202cと協働して検知した人物をマーキングする処理(マーキング処理)を実行し、中央演算部202のスナップショット解析部202eと協働して検知した人物の数を解析データ記録部201cに記録する処理を実行する。そして、ステップ550において、人工知能サーバ20は、スナップショット解析によって検知した人物の数に対し、事前に求めた補正値を適用して補正値のスナップショット解析人数を求め、その補正後のスナップショット解析人数を解析データ記録部201cに記録する。この補正値は、事前に所定の期間(例えば、2か月間)に複数回にわたって、同一の監視カメラ10が同一時刻に撮影した動画及び画像について、動画を動画解析して検知した人物の数と、画像をスナップショット解析して検知した人物の数とについて回帰分析を実行して求めた数値である(なお、ステップ550の人数補正の詳細については、後で説明する)。そして、ステップ560においてスナップショット解析を終了する。一方、ステップ530において、転送が完了しなかったと判断した場合には、ステップ560に進み、スナップショット解析を終了する。
なお、ステップ560においてスナップショット解析が終了した後、所定の期間ごとに(例えば15分ごとに)、人工知能サーバ20は、ステップ500に戻り、スナップショット解析を再び開始することができる。
【0023】
次に、
図6~
図9を参照して、動画解析から得られた補正値を適用し、解析人数の精度が向上したスナップショット解析について説明する。
図6に、2023年6月1日から2023年7月31日までの2か月間に複数回にわたって、所定の場所に設置された(同一のカメラID「1」を有する)監視カメラ10によって(同一のタイムスタンプを有する)同一時刻に撮影した動画ファイル及び画像ファイルのそれぞれについて、動画解析から求めた動画解析人数と、画像解析から求めたスナップショット解析人数(補正前)とをそれぞれ集計した計測データを示す。
図6を参照すると、スナップショット解析人数(補正前)は、動画解析人数と比較して有意な差があることがわかる。
【0024】
次に、
図7を参照して、
図6に示す動画解析人数とスナップショット解析人数(補正前)との計測データに対し、人工知能サーバ20において回帰分析を実行して最適な補正値を求める仕方を説明する。ここで、
図7は、縦軸(y軸)を動画解析人数とし、横軸(x軸)をスナップショット解析人数としたグラフに、
図6の計測データをプロットしたものを示している。そして、人工知能サーバ20は、例えば最小二乗法を用いた直線近似によって、動画解析人数とスナップショット解析人数との間での最適な補正値を求めている。
図7に示すように、
図6に示す動画解析人数(y軸)とスナップショット解析人数(x軸)との間には、y=1.8038xの関係があることがわかる。
なお、上記の補正値は、例えば、人工知能サーバ20と通信する別のコンピュータが上記の計測データを受信して求めることもできる。また、求めた補正値を別のコンピュータから人工知能サーバ20に送信することもできる。
【0025】
図8に、
図7の計測データにおける基本統計量の表を示す。
図8を参照すると、(
図8の「動画解析」に対応する)動画解析における基本統計量は、最小値が874、最大値が3084、中央値が1415、平均値が1415、標準偏差が2210である。(
図8の「スナップショット解析」に対応する)スナップショット解析における基本統計量は、最小値が30、最大値が1748、中央値が769、平均値が820、標準偏差が1718である。そして、(
図8の「誤差(動画-スナップショット)」に対応する)同じ時間における動画解析人数とスナップショット解析人数との間の誤差は、最小値が234、最大値が2156、中央値が665、平均値が704、標準偏差が241である。このように、動画解析の代わりとしてスナップショット解析を補正することなくそのまま適用した場合には、動画解析で得られた人数との誤差が大きくなる。
【0026】
図9に、動画解析人数と比較した場合における、スナップショット解析人数(補正前)の誤差(補正前)と、
図7の回帰分析から得られた補正値を用いて補正したスナップショット解析人数の誤差(補正後)とのグラフを示す。ここで、
図9では、縦軸を誤差(人数)とし、横軸をサンプル数(同一時刻に撮影した動画解析人数とスナップショット解析人数との組の数)としている。
図9を参照すると、スナップショット解析人数の誤差(補正後)は、スナップショット解析人数の誤差(補正前)よりも、サンプル数全体にわたって誤差(人数)がゼロに近づいており、動画解析人数との差が小さくなっている。また、スナップショット解析人数(補正後)と動画解析人数との誤差(最小値、最大値、中央値、平均値、標準偏差)についての各数値を
図9の右の、「補正後の誤差結果」に示す。この「補正後の誤差結果」では、中央値が38.0、平均値が261.1となっている。この値は、スナップショット解析の補正前の数値(つまり、
図8の「誤差(動画-スナップショット)」の中央値である665、平均値である704)より小さくなっている。そのため、上記の回帰解析から求めた補正値をスナップショット解析人数に適用することによって、動画解析よりも必要な時間を短縮しながら、動画解析と近い精度で人物の数を求めることができる。
【0027】
以上のように、本発明の一実施態様である属性分析システム1について、動画解析及びスナップショット解析において検知した人物の数を求める場合を例として説明してきた。しかしながら、人物の数を求める場合に限らず、例えば車両の数(例えば交通量)を求める場合についても、属性分析システム1を適用することができることを理解されたい。例えば、上記の実施形態では、分析対象を車両とすることができ、そのような車両の数や属性(一般車、トラック、バス、またはバイク等)を分析することもできる。
【産業上の利用可能性】
【0028】
本発明の一実施態様である属性分析システムは、監視カメラと人工知能サーバとの間でのデータ通信を高い信頼性で実現することができ、スナップショット解析人数に補正値を適用することによって動画解析よりも必要な時間を短縮しつつ人物の数を画像だけの解析よりも精度良く解析することができる点において有用である。
【符号の説明】
【0029】
1 属性分析システム
10 監視カメラ
101 電源供給部
101a バッテリ
101b 太陽光パネル
102 記録媒体(メモリカード)
103 通信部
20 人工知能サーバ
201 記録部
201a 映像蓄積部
201b 画像蓄積部
201c 解析データ記録部
202 中央演算部
202a 動体検出部
202b 人工知能判定部
202c マーキング部
202d 動画解析部
202e スナップショット解析部
30 操作卓
【要約】 (修正有)
【課題】監視カメラは、用途によって電源や通信回線などの環境が整備されていない場所への設置が必要となり、解析が必要な映像データを解析サーバへ安定して伝送することが困難な場合がある。
【解決手段】バッテリと太陽光パネルとを含む電源供給部と、撮影した動画と第1の周期で撮影した画像とを保存する記録媒体と、保存した動画又は画像を送信する通信部とを備えた監視カメラ10と、記録媒体から受信した動画又は画像を解析して人物を検知し、該人物の数および属性を解析する人工知能サーバ20とを備えてなり、人工知能サーバ20は、事前に所定の期間に複数回にわたって同一時刻に撮影した動画と画像とについて、該動画から検知した人物の数と、該画像から検知した人物の数との間の補正値を統計的手法により求め、第1の周期で撮影した画像について検知した人物の数に、補正値を適用させて、該画像を撮影した時刻における人物の数を求める。
【選択図】
図1A