(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025017740
(43)【公開日】2025-02-06
(54)【発明の名称】人物計数システム、人物計数方法及び人物計数プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250130BHJP
G06V 20/52 20220101ALI20250130BHJP
H04N 7/18 20060101ALI20250130BHJP
【FI】
G06T7/00 660B
G06V20/52
H04N7/18 K
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023120935
(22)【出願日】2023-07-25
(71)【出願人】
【識別番号】000001373
【氏名又は名称】鹿島建設株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100122781
【弁理士】
【氏名又は名称】近藤 寛
(74)【代理人】
【識別番号】100153040
【弁理士】
【氏名又は名称】川井 夏樹
(72)【発明者】
【氏名】北原 靖之
(72)【発明者】
【氏名】片村 立太
(72)【発明者】
【氏名】露木 健一郎
(72)【発明者】
【氏名】大塩 真
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054DA07
5C054FC12
5C054GB02
5C054HA03
5L096BA02
5L096CA05
5L096CA24
5L096FA18
5L096FA52
5L096FA66
5L096FA69
5L096GA51
(57)【要約】 (修正有)
【課題】所定の空間に存在する人物を精度良く計数する人物計数システム、方法及びプログラムを提供する。
【解決手段】人物計数装置10を含んで構成される人物計数システム1のプロセッサ101は、空間を撮像する複数のカメラの各々により撮像された複数の画像を取得する画像取得部11と、画像の各々から人物を検出する人物検出部13と、検出された人物の、空間中における位置を示す位置情報を取得する位置情報取得部14と、第1のカメラにより撮像された第1の画像から検出された第1の人物と、第2のカメラにより同タイミングで撮像された第2の画像から検出された第2の人物が、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下である場合に同一人物であると判定する判定部16と、同一判定された人物を1人として、画像から検出された人物の数を計数する計数部17と、計数された人数を出力する出力部18と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
所定の空間に存在する人物を計数する人物計数システムであって、
前記空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する画像取得部と、
前記画像の各々から人物を検出する人物検出部と、
検出された人物の、前記空間中における位置を示す位置情報を取得する位置情報取得部と、
前記複数のカメラのうちの第1のカメラにより撮像された第1の画像から検出された人物である第1の人物と、前記複数のカメラのうちの前記第1のカメラとは異なる第2のカメラにより前記第1の画像の撮像と同タイミングで撮像された第2の画像から検出された人物である第2の人物との同一性を判定する判定部であって、前記第1の人物の位置情報と前記第2の人物の位置情報との間の距離が所与の閾値以下である場合に、前記第1の人物と前記第2の人物とが同一であることを判定する、判定部と、
前記画像から検出された人物の数を計数する計数部であって、同一であることが判定された人物を1人として計数する、計数部と、
前記計数部により計数された人数を出力する出力部と、
を備える人物計数システム。
【請求項2】
前記空間における人物を計数する領域を指定する計数領域の指定を受け付ける計数領域受付部、を更に備え、
前記計数部は、前記計数領域内において検出された人物の数を計数する、
請求項1に記載のシステム。
【請求項3】
前記人物検出部は、前記画像中における前記人物が表された矩形状の領域であるバウンディングボックスを検出し、
前記人物計数システムは、
前記バウンディングボックスのアスペクト比を取得するアスペクト比取得部、
を更に備え、
前記判定部は、前記第1の人物の位置情報と前記第2の人物の位置情報との間の距離が所与の閾値以下であり、且つ、前記第1の人物が表されたバウンディングボックスのアスペクト比である第1のアスペクト比と、前記第2の人物が表されたバウンディングボックスのアスペクト比である第2のアスペクト比との差が所定程度以下である場合に、前記第1の人物と前記第2の人物が同一であることを判定する、
請求項1又は2に記載の人物計数システム。
【請求項4】
所定の空間に存在する人物を計数する人物計数システムにおける人物計数方法であって、
前記人物計数システムは、画像取得部と、人物検出部と、位置情報取得部と、計数部と、出力部とを備え、
前記人物計数方法は、
前記画像取得部が、前記空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する画像取得ステップと、
前記人物検出部が、前記画像から人物を検出する人物検出ステップと、
前記位置情報取得部が、検出された人物の、前記空間中における位置を示す位置情報を取得する位置情報取得ステップと、
前記判定部が、前記複数のカメラのうちの第1のカメラにより撮像された画像から検出された人物である第1の人物と、前記複数のカメラのうちの前記第1のカメラとは異なる第2のカメラにより撮像された画像から検出された人物である第2の人物との同一性を判定する判定ステップであって、前記第1の人物の位置情報と前記第2の人物の位置情報との間の距離が所与の閾値以下である場合に、前記第1の人物と前記第2の人物とが同一であることを判定する、判定ステップと、
前記計数部が、前記画像から検出された人物の数を計数する計数ステップ部であって、同一であることが判定された人物を1人として計数する、計数ステップと、
前記出力部が、前記計数ステップにおいて計数された人数を出力する出力ステップ部と、
を有する人物計数方法。
【請求項5】
コンピュータを、所定の空間に存在する人物を計数する人物計数システムとして機能させるための人物計数プログラムであって、
前記コンピュータに、
前記空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する画像取得機能と、
前記画像から人物を検出する人物検出機能と、
検出された人物の、前記空間中における位置を示す位置情報を取得する位置情報取得機能と、
前記複数のカメラのうちの第1のカメラにより撮像された画像から検出された人物である第1の人物と、前記複数のカメラのうちの前記第1のカメラとは異なる第2のカメラにより撮像された画像から検出された人物である第2の人物との同一性を判定する判定機能であって、前記第1の人物の位置情報と前記第2の人物の位置情報との間の距離が所与の閾値以下である場合に、前記第1の人物と前記第2の人物とが同一であることを判定する、判定機能と、
前記画像から検出された人物の数を計数する計数機能であって、同一であることが判定された人物を1人として計数する、計数機能と、
前記計数機能により計数された人数を出力する出力機能と、
を実現させる人物計数プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物計数システム、人物計数方法及び人物計数プログラムに関する。
【背景技術】
【0002】
建築現場等の所定空間における作業者の人数を把握するためのシステムが知られている。例えば、特許文献1には、監視領域を複数のカメラで撮像したカメラ画像から人物を検出するシステムが記載されている。このシステムでは、各々が視野領域を有する複数のカメラで監視領域を撮像し、各カメラにおいて重複する視野領域から検出した人物に関して、位置が近い人物同士が同一人物であると判定される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載されたシステムでは、一のカメラの視野領域から抽出した人物に対して、他のカメラの視野領域から抽出した人物のうちの最も位置が近い人物が同一人物であると判定されるので、異なる人物が同一人物として判定される場合があった。また、一方のカメラのカメラ画像の視野領域から抽出された人物が、人物同士の遮蔽等に起因して他方のカメラのカメラ画像に表されていない場合には、同一人物ではない他の人物が同一人物として判定されてしまうので、人物の数を過少に計数してしまっていた。
【0005】
そこで本発明は、所定の空間に存在する人物を精度良く計数することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示の第1の一側面に係る人物計数システムは、所定の空間に存在する人物を計数する人物計数システムであって、空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する画像取得部と、画像の各々から人物を検出する人物検出部と、検出された人物の、空間中における位置を示す位置情報を取得する位置情報取得部と、複数のカメラのうちの第1のカメラにより撮像された第1の画像から検出された人物である第1の人物と、複数のカメラのうちの第1のカメラとは異なる第2のカメラにより第1の画像の撮像と同タイミングで撮像された第2の画像から検出された人物である第2の人物との同一性を判定する判定部であって、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下である場合に、第1の人物と第2の人物とが同一であることを判定する、判定部と、画像から検出された人物の数を計数する計数部であって、同一であることが判定された人物を1人として計数する、計数部と、計数部により計数された人数を出力する出力部と、を備える。
【0007】
本開示の一側面に係る人物計数方法は、所定の空間に存在する人物を計数する人物計数システムにおける人物計数方法であって、人物計数システムは、画像取得部と、人物検出部と、位置情報取得部と、計数部と、出力部とを備え、人物計数方法は、画像取得部が、空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する画像取得ステップと、人物検出部が、画像から人物を検出する人物検出ステップと、位置情報取得部が、検出された人物の、空間中における位置を示す位置情報を取得する位置情報取得ステップと、判定部が、複数のカメラのうちの第1のカメラにより撮像された画像から検出された人物である第1の人物と、複数のカメラのうちの第1のカメラとは異なる第2のカメラにより撮像された画像から検出された人物である第2の人物との同一性を判定する判定ステップであって、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下である場合に、第1の人物と第2の人物とが同一であることを判定する、判定ステップと、計数部が、画像から検出された人物の数を計数する計数ステップ部であって、同一であることが判定された人物を1人として計数する、計数ステップと、出力部が、計数ステップにおいて計数された人数を出力する出力ステップ部と、を有する。
【0008】
本開示の一側面に係る人物計数プログラムは、コンピュータを、所定の空間に存在する人物を計数する人物計数システムとして機能させるための人物計数プログラムであって、コンピュータに、空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する画像取得機能と、画像から人物を検出する人物検出機能と、検出された人物の、空間中における位置を示す位置情報を取得する位置情報取得機能と、複数のカメラのうちの第1のカメラにより撮像された画像から検出された人物である第1の人物と、複数のカメラのうちの第1のカメラとは異なる第2のカメラにより撮像された画像から検出された人物である第2の人物との同一性を判定する判定機能であって、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下である場合に、第1の人物と第2の人物とが同一であることを判定する、判定機能と、画像から検出された人物の数を計数する計数機能であって、同一であることが判定された人物を1人として計数する、計数機能と、計数機能により計数された人数を出力する出力機能と、を実現させる。
【0009】
上記の側面によれば、第1の人物の位置情報と第2の人物の位置情報との間の距離が近い場合には、第2の人物は、第1の人物と同一である可能性が高いことに鑑みて、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下である場合に第1の人物と第2の人物とが同一であることが判定される。このように、人物の同一性が判断されることにより、人物を重複して計数することが防止される。また、第2の画像に表された第2の人物のうちの、第1の人物の位置情報との間の距離が最も小さい位置情報を有する人物であっても、その距離が一定程度以下ではない場合には、その第2の人物は、第1の人物と同一ではなく、第1の人物が第2の画像に表されていない可能性が高い。かかる可能性に鑑みて、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値を超える場合には第1の人物と第2の人物とが同一であるとは判定されないので、人物が過少に計数されることが防止される。
【0010】
第2の側面に係る人物計数システムでは、第1の一側面に係る人物計数システムにおいて、空間における人物を計数する領域を指定する計数領域の指定を受け付ける計数領域受付部、を更に備え、計数部は、計数領域内において検出された人物の数を計数することとしてもよい。
【0011】
上記の側面によれば、計数領域が受け付けられ、計数領域内の人物が計数されるので、所定の空間における所望の領域に存在する人物を計数できる。
【0012】
第3の側面に係る人物計数システムでは、第1又は第2の側面に係る人物計数システムにおいて、人物検出部は、画像中における人物が表された矩形状の領域であるバウンディングボックスを検出し、人物計数システムは、バウンディングボックスのアスペクト比を取得するアスペクト比取得部、を更に備え、判定部は、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下であり、且つ、第1の人物が表されたバウンディングボックスのアスペクト比である第1のアスペクト比と、第2の人物が表されたバウンディングボックスのアスペクト比である第2のアスペクト比との差が所定程度以下である場合に、第1の人物と第2の人物が同一であることを判定することとしてもよい。
【0013】
上記の側面によれば、画像中の人物が表された領域にバウンディングボックスが設定され、画像からの人物の検出と併せて、当該人物に対応するバウンディングボックスのアスペクト比が取得される。第1の人物と第2の人物との同一性の判定において、位置情報間の距離に加えて、バウンディングボックスのアスペクト比の類似の程度が考慮される。従って、人物の同一性の判定における精度が向上される。
【発明の効果】
【0014】
本開示の一側面によれば、所定の空間に存在する人物を精度良く計数することが可能となる。
【図面の簡単な説明】
【0015】
【
図1】本実施形態に係る人物計数システムの機能的構成を示すブロック図である。
【
図2】人物計数装置のハードウェア構成を示す図である。
【
図3】所定の空間の一例である建築現場をカメラにより撮像した画像の例、及び、計数領域の指定の例を示す図である。
【
図5】人物が表された領域を示すバウンディングボックスのアスペクト比の取得の例を示す図である。
【
図6】第1のカメラにより撮像された第1の画像及び第2のカメラにより撮像された第2の画像のそれぞれから検出された人物の位置情報の例を示す図である。
【
図9】人物計数システムにおいて実施される人物計数方法の処理内容を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【0017】
図1は、本実施形態に係る人物計数システムの機能的構成を示すブロック図である。人物計数システム1は、所定の空間に存在する人物を計数するシステムである。人物計数システム1は、一例として人物計数装置10を含んで構成される。
【0018】
人物計数装置10は、人物計数システム1として、所定の空間に存在する人物を計数する機能を備える。
図1に示されるように、人物計数装置10は、プロセッサ101を備えるコンピュータにより構成される。本実施形態の人物計数装置10は、機能的には、画像取得部11、計数領域受付部12、人物検出部13、位置情報取得部14、アスペクト比取得部15、判定部16、計数部17及び出力部18を備える。
なお、計数領域受付部12及びアスペクト比取得部15は、人物計数装置10において必須の構成ではなく、備えられていなくてもよい。これらの機能部については、後に詳述する。
【0019】
また、人物計数装置10の画像取得部11は、画像記憶部20といった記憶手段にアクセス可能に構成されている。画像記憶部20は、
図1に示されるように、人物計数装置10に備えられることとしてもよいし、人物計数装置10からのアクセスが可能に設けられた外部の記憶手段として構成されてもよい。
【0020】
図2は、人物計数装置10のハードウェア構成図である。人物計数装置10は、物理的には、
図2に示すように、プロセッサ101、RAM及びROMといったメモリにより構成される主記憶装置102、ハードディスク等で構成される補助記憶装置103、通信制御装置104などを含むコンピュータシステムとして構成されている。人物計数装置10は、入力デバイスであるキーボード、タッチパネル、マウス等の入力装置105及びディスプレイ等の出力装置106をさらに含むこととしてもよい。
【0021】
プロセッサ101は、オペレーティングシステムおよびアプリケーションプログラムを実行する演算装置である。プロセッサの例としてCPU(Central Processing Unit)およびGPU(Graphics Processing Unit)が挙げられるが、プロセッサ101の種類はこれらに限定されない。例えば、プロセッサ101は専用回路の組合せでもよい。専用回路はFPGA(Field-Programmable Gate Array)のようなプログラム可能な回路でもよいし、他の種類の回路でもよい。
【0022】
主記憶装置102は、人物計数装置10を実現させるためのプログラム、プロセッサ101から出力された演算結果などを記憶する装置である。主記憶装置102は例えばROM(Read Only Memory)およびRAM(Random Access Memory)のうちの少なくとも一つにより構成される。
【0023】
補助記憶装置103は、一般に主記憶装置102よりも大量のデータを記憶することが可能な装置である。補助記憶装置103は例えばハードディスク、フラッシュメモリなどの不揮発性記憶媒体によって構成される。補助記憶装置103は、コンピュータを人物計数装置10として機能させるためのプログラムP1(人物計数プログラム)と各種のデータとを記憶する。また、画像記憶部20が人物計数装置10に含まれる場合には、画像記憶部20は、主記憶装置102、補助記憶装置103及びその他の記憶素子のいずれかに構成されてもよい。
【0024】
通信制御装置104は、通信ネットワークを介して他のコンピュータ及び装置等との間でデータ通信を実行する装置である。通信制御装置104は例えばネットワークカードまたは無線通信モジュールにより構成される。
【0025】
図1に示した各機能部は、
図2に示すプロセッサ101、主記憶装置102等のハードウェア上にプログラムP1を読み込ませてプロセッサ101にそのプログラムP1を実行させることにより実現される。プログラムP1は、人物計数装置10の各機能要素を実現するためのコードを含む。プロセッサ101は、プログラムP1に従って通信制御装置104等を動作させるとともに、主記憶装置102及び補助記憶装置103におけるデータの読み出し及び書き込みを実行する。処理に必要なデータ及びデータベースは主記憶装置102及び補助記憶装置103内に格納される。なお、本実施形態では、各機能部11~18が、人物計数装置10に構成されることとしているが、複数のコンピュータに分散して構成されることとしてもよい。
【0026】
プログラムP1は、CD-ROM、DVD-ROM、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、プログラムP1は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
【0027】
再び
図3を参照して、人物計数装置10の機能部を説明する。画像取得部11は、人物を計数する対象の所定に空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する。
【0028】
画像取得部11は、例えば、画像記憶部20に記憶されている画像を取得してもよい。本実施形態の画像記憶部20は、カメラにより所定空間を撮像された画像を記憶している記憶手段である。なお、画像取得部11は、画像記憶部20から画像を取得してもよいし、カメラから画像を取得してもよく、画像の取得先は限定されない。
【0029】
本実施形態の人物計数システム1は、例えば、建築現場等における作業者の人数を把握するために適用される。画像記憶部20は、建築現場に設けられたカメラにより撮像された画像を記憶している。
【0030】
図3は、画像取得部11により取得される画像の一例を示す図である。
図3に示される画像g1は、建築現場等における所定空間を撮像するように異なる位置に設けられた複数のカメラの各々により撮像された画像のうちの一つの画像の例を示す。即ち、画像取得部11は、それぞれ異なる位置及び方向から所定空間を撮像した複数の画像を取得する。
図3に示されるように、画像g1は、建築現場における人物の計数対象である所定空間を表しており、建築現場において作業をしている人物p1~p4及びその他の人物が含まれている。
【0031】
計数領域受付部12は、所定空間における人物を計数する領域を指定する計数領域の指定を受け付ける。具体的には、計数領域受付部12は、所定の入力インターフェースを介して計数領域の指定を受け付ける。例えば、計数領域受付部12は、所定のディスプレイに表示された所定空間の画像に対する位置の指定入力に基づいて計数領域の指定を受け付けてもよい。
図3に示される画像g1の例においては、計数領域受付部12は、計数領域rの指定を受け付ける。
【0032】
また、計数領域受付部12は、所定空間の画像における位置を示す座標(例えば、ピクセル座標)の指定入力に基づいて指定を受け付けてもよい。また、計数領域受付部12は、所定空間中の位置を示す空間座標の指定入力に基づいて計数領域の指定を受け付けてもよい。
【0033】
例えば、計数領域が方形状の平面で指定される場合には、計数領域の指定は、方形状の四隅の位置の入力に基づいてもよい。なお、計数領域の形状及びその指定の方法は限定されない。例えば、計数領域が円形状である場合には、計数領域の指定は、円形状の中心及び半径の入力に基づいてもよい。また、計数領域は、閉曲線で囲まれた領域として指定されてもよい。
【0034】
なお、画像における位置座標(ピクセル座標)と所定空間における空間座標との対応付けは、既存技術により実現される。一例として、所定空間における任意の複数の点の位置を表す空間座標と、画像中における当該点が表された位置の空間座標とに関連付けに基づいて、画像における位置座標を所定空間における空間座標に変換する行列を算出することにより、位置情報と空間座標との対応付けが実現される。なお、所定空間における空間座標は、例えば、建築現場の現況を表す設計図面等から把握されてもよい。
【0035】
人物検出部13は、画像取得部11により取得された画像の各々から人物を検出する。画像から人物を検出する手法は限定されないが、人物検出部13は、既存の手法により画像から人物を検出してもよい。具体的には、人物検出部13は、AI及びニューラルネットワーク技術を用いた検出アルゴリズムにより、画像から人物を検出してもよい。一例として、人物検出部13は、YOLO(You Look Only Once)というオブジェクト検出アルゴリズムにより、画像から人物を検出してもよい。YOLOは、CNN(Convolutional Neural Network)を用いるアルゴリズムであって、画像中における検出対象が表された領域がバウンディングボックスで示される。
【0036】
人物検出部13は、YOLO及びその他のアルゴリズムの適用により、人物が表された領域をバウンディングボックスとして検出できる。
図4は、所定空間が表された画像からの人物の検出の例を示す図である。
図4に示されるように、人物検出部13は、計数領域r内に位置する人物p1~p4が表された領域のそれぞれをバウンディングボックスb1~b4として検出する。なお、
図4に示される例では、人物検出部13は、計数領域r内に位置する人物のみを検出しているが、画像g1中の全ての領域から人物を一旦検出してもよい。即ち、計数領域受付部12により計数領域rの指定が受け付けられた場合に、人物検出部13は、計数領域r内に位置する人物を検出することとしてもよい。
【0037】
位置情報取得部14は、人物検出部13により検出された人物の所定空間中における位置を示す位置情報を取得する。具体的には、位置情報取得部14は、検出された人物における任意の点の画像中におけるピクセル座標を取得する。人物が表された領域がバウンディングボックスとして画像から検出される場合には、位置情報取得部14は、例えば、バウンディングボックスの下辺の中点のピクセル座標を取得してもよい。なお、人物の位置とする点はバウンディングボックスの下辺の中点には限定されず、位置情報取得部14は、バウンディングボックスの4つの頂点のいずれかのピクセル座標を取得してもよい。
【0038】
位置情報取得部14は、取得したピクセル座標を所定空間における空間座標に変換する。前述のとおり、例えば、画像における位置座標を所定空間における空間座標に変換する行列を算出する等の手段により、位置情報と空間座標との対応付けが可能であるので、位置情報取得部14は、取得したピクセル座標に、画像における位置座標を所定空間の空間座標に変換する行列等を適用することにより、検出された人物の位置を示す空間座標を取得してもよい。
【0039】
なお、位置情報取得部14は、ピクセル座標の空間座標への変換に先立って又は併せて、所定空間の画像が光学カメラにより撮像されることに起因して生じる歪みを既知の手法により補正してもよい。
【0040】
アスペクト比取得部15は、検出された人物が表されたバウンディングボックスのアスペクト比を取得する。
図5は、人物が表された領域を示すバウンディングボックスのアスペクト比の取得の例を示す図である。
【0041】
図5に示されるように、アスペクト比取得部15は、人物検出部13により取得されたバウンディングボックスBの横方向の辺の長さa及び縦方向の辺の長さbを取得し、アスペクト比α(=b/a)を算出する。
【0042】
判定部16は、複数のカメラのうちの第1のカメラにより撮像された第1の画像から検出された人物である第1の人物と、複数のカメラのうちの第1のカメラとは異なる第2のカメラにより第1の画像の撮像と同タイミングで撮像された第2の画像から検出された人物である第2の人物との同一性を判定する。具体的には、判定部16は、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下である場合に、第1の人物と第2の人物とが同一であることを判定する。
【0043】
図6を参照して、判定部16による同一性の判定処理の一例を説明する。
図6は、複数のカメラのそれぞれにより撮像された各画像から検出された人物の位置座標を模式的に示す図である。具体的には、
図6に示される例では、第1のカメラにより撮像された第1の画像から検出された人物の位置情報P
0~P
3、及び、第2のカメラにより撮像された第2の画像から検出された人物の位置情報P
4~P
6が示されている。
【0044】
判定部16は、位置情報Piを取得する。
第1のカメラ(A)により取得:{P0=(xa0,ya0)、P1=(xa1,ya1)、P2=(xa2,ya2)、P3=(xa3,ya3)}
第2のカメラ(B)により取得:{P4=(xb0,yb0)、P5=(xb1,yb1)、P6=(xb2,yb2)}
【0045】
判定部16は、位置情報Piに基づいて位置座標データリストを生成する。位置情報Piは以下のように表される。
Pi={cam_i,flg,(x,y))
cam_i:画像を検出したカメラの識別子(通し番号)
flg:検出フラグ。-1:未定,0:重複確定,1:非重複確定 (初期状態は-1)
座標(x,y):所定空間におけるXY平面座標(各座標値にはカメラの識別子及び検出した人物(位置情報)のカメラ毎の通し番号が添字として付される)。
【0046】
判定部16は、以下のとおり、位置情報データリストを生成する。
P0={0,-1,(xa0,ya0)}
P1={0,-1,(xa1,ya1)}
P2={0,-1,(xa2,ya2)}
P3={0,-1,(xa3,ya3)}
P4={1,-1,(xb0,yb0)}
P5={1,-1,(xb1,yb1)}
P6={1,-1,(xb2,yb2)}
【0047】
判定部16は、一例として、まず、未判定(検出フラグ:-1)の位置情報のうち、リスト最上位の位置情報に関する判定処理を実施する。
図7は、判定処理の一例を示す図である。
図7に示されるように、判定部16は、位置情報P
0(cam_i:0,検出フラグ:-1)の座標と、第1のカメラ(A)とは異なる第2のカメラ(B)により取得された画像から取得され未判定の位置情報P
4,P
5,P
6(cam_i:1,検出フラグ:-1)の座標との間の2点間の距離Lを各々以下のように算出する。なお、距離Lの添字は、2点の位置情報の識別子に相当する。
L
0,4=sqrt((x
b0-x
a0)
2+(y
b0-y
a0)
2)
L
0,5=sqrt((x
b1-x
a0)
2+(y
b1-y
a0)
2)
L
0,6=sqrt((x
b2-x
a0)
2+(y
b2-y
a0)
2)
【0048】
判定部16は、算出された2点間距離L0,4,L0,5,L0,6のうちの最小値を距離判定閾値Lthと比較し、以下の式
Lth>=min(L0,4,L0,5,L0,6)
のように、2点間距離の最小値が距離判定閾値Lth以下である場合には、位置情報P0とmin(L0,4,L0,5,L0,6)に対応する位置情報P(P4,P5,P6のいずれか)とが重複していることを判定し、2点間距離の最小値が距離判定閾値Lth以下ではない場合には、重複していないことを判定する。位置情報P0とmin(L0,4,L0,5,L0,6)に対応する位置情報P(P4,P5,P6のいずれか)とが重複していないと判定された場合には、判定部16は、以下のように、位置情報P0の検出フラグを「1」に更新する。
P0={0,1,(xa0,ya0)}
【0049】
続いて、
図8を参照して、上記判定処理に引き続いて、位置情報が重複していることが判定される処理の例を説明する。ここでは、以下の位置情報データリストのとおり、位置情報P
0,P
1についての判定(非重複確定)が済んでいるとする。
P
0={0,1,(x
a0,y
a0)}
P
1={0,1,(x
a1,y
a1)}
P
2={0,-1,(x
a2,y
a2)}
P
3={0,-1,(x
a3,y
a3)}
P
4={1,-1,(x
b0,y
b0)}
P
5={1,-1,(x
b1,y
b1)}
P
6={1,-1,(x
b2,y
b2)}
【0050】
図8に示されるように、判定部16は、位置情報P
2に関する判定処理を実施する。具体的には、判定部16は、位置情報P
2(cam_i:0,検出フラグ:-1)の座標と、第1のカメラ(A)とは異なる第2のカメラ(B)により取得された画像から取得され未判定の位置情報P
4,P
5,P
6(cam_i:1,検出フラグ:-1)の座標との間の2点間の距離Lを各々以下のように算出する。
L
2,4=sqrt((x
b0-x
a2)
2+(y
b0-y
a2)
2)
L
2,5=sqrt((x
b1-x
a2)
2+(y
b1-y
a2)
2)
L
2,6=sqrt((x
b2-x
a2)
2+(y
b2-y
a2)
2)
【0051】
判定部16は、算出された2点間距離L2,4,L2,5,L2,6のうちの最小値min(L2,4,L2,5,L2,6)を距離判定閾値Lthと比較する。ここでは、
min(L2,4,L2,5,L2,6)=L2,5
であるとする。
以下のように、判定部16は、位置情報P2とP5との間の距離L2,5が距離判定閾値Lth以下である場合には、
Lth>=L2,5
位置情報P2と位置情報P5とが重複していることを判定し、距離L2,5が距離判定閾値Lth以下である場合には、重複していないことを判定する。ここでは、位置情報P2と位置情報P5とが重複していることが判定されたとすると、判定部16は、以下のように、位置情報P2の検出フラグを「1」に更新する。
P2={0,1,(xa2,ya2)}
そして、判定部16は、位置情報P2と重複することが判定された位置情報P5の検出フラグを「0」に更新する。
P5={0,0,(xb1,yb1)}
即ち、判定部16は、位置情報P2に対応する第1の画像に表された人物と、位置情報P5に対応する第2の画像に表された人物とが同一人物であることを判定する。
【0052】
再び
図1を参照して、計数部17は、画像から検出された人物の数を計数する。具体的には、計数部17は、同一であることが判定された人物を1人として計数する。なお、計数部17は、計数領域受付部12により計数領域rの指定が受け付けられた場合には、計数領域r内において検出された人物の数を計数してもよい。
【0053】
計数処理の一例を具体的に説明する。上述したような判定部16による判定処理が完了したとき、即ち、各位置情報において、カメラの識別子が異なり且つ検出フラグが「-1」である比較対象の位置情報が存在しなくなるまで判定処理が繰り返されたときに、計数部17は、画像から検出された人物の数を計数する。上記の判定処理の例に引き続いて判定処理が完了したときの位置情報データリストの一例は、以下のとおりである。
P0={0,1,(xa0,ya0)}
P1={0,1,(xa1,ya1)}
P2={0,1,(xa2,ya2)}
P3={0,1,(xa3,ya3)}
P4={1,-1,(xb0,yb0)}
P5={1,0,(xb1,yb1)}
P6={1,0,(xb2,yb2)}
上記の位置情報データリストの一例は、位置情報P5及びP6が、他の位置情報のいずれかと重複していることを意味する。
【0054】
計数部17は、判定処理が完了したときの位置情報データリストから、検出フラグが「1」又は「-1」である位置情報を計数する。上記の例によれば、計数部17は、人数「5」を得る。
【0055】
次に、人物計数装置10がアスペクト比取得部15を備え、判定部16による判定処理に画像において人物が表された領域を示すバウンディングボックスのアスペクト比が用いられる場合の例を説明する。ここでは、第1のカメラ(A)により撮像された画像から取得された位置情報P0と、第2のカメラ(B)により撮像された画像から取得された位置情報P4,P5,P6との同一性判定(重複判定)の例により説明する。
【0056】
アスペクト比取得部15は、位置情報P0~P6のそれぞれに対応するバウンディングボックスのアスペクト比α(カメラの識別子及び検出した人物(位置情報)のカメラ毎の通し番号が添字として付される)を取得する。
【0057】
判定部16は、以下のとおり、アスペクト比αを含む位置情報データリストを生成する。
P0={0,-1,(xa0,ya0),αa0}
P1={0,-1,(xa1,ya1),αa1}
P2={0,-1,(xa2,ya2),αa2}
P3={0,-1,(xa3,ya3),αa3}
P4={1,-1,(xb0,yb0),αb0}
P5={1,-1,(xb1,yb1),αb1}
P6={1,-1,(xb2,yb2),αb2}
【0058】
判定部16は、
図7に示されるように、第1のカメラ(A)により取得された画像から取得された位置情報P
0(cam_i:0,検出フラグ:-1)の座標と、第2のカメラ(B)により取得された画像から取得され未判定の位置情報P
4,P
5,P
6(cam_i:1,検出フラグ:-1)の座標との間の2点間の距離Lを各々以下のように算出する。
L
0,4=sqrt((x
b0-x
a0)
2+(y
b0-y
a0)
2)
L
0,5=sqrt((x
b1-x
a0)
2+(y
b1-y
a0)
2)
L
0,6=sqrt((x
b2-x
a0)
2+(y
b2-y
a0)
2)
【0059】
判定部16は、算出された2点間距離L0,4,L0,5,L0,6のうちの最小値(min(L0,4,L0,5,L0,6))を距離判定閾値Lthと比較する。ここでは、例として、
min(L0,4,L0,5,L0,6)=L0,5
であるとする。
【0060】
さらに、判定部16は、距離L0,4,L0,5,L0,6のうちの最小値となるL0,5に対応する位置情報P5のアスペクト比αb1と位置情報P0のアスペクト比αa0との差が所定程度以下であるか否かを判定する。
【0061】
ここでは、一例として、判定部16は、位置情報P5のアスペクト比αb1と位置情報P0のアスペクト比αa0との比率β0,5を算出する。比率β0,5は、以下のように表される。
β0,5=αb1/αa0
そして、判定部16は、比率βが下限閾値βth_min及び上限閾値βth_maxの範囲内であるか否か、即ち下記式が成立するか否かを判定する。
βth_min<=β0,5<=βth_max
即ち、判定部16は、比率βが「1」に近いことを以て、アスペクト比の差が所定程度以下であることを判定する。なお、下限閾値βth_min及び上限閾値βth_maxは、設計的に任意に設定され得る。
【0062】
判定部16は、距離L0,5が距離判定閾値Lth以下であり(Lth>=L0,5)、且つ、
アスペクト比αb1とアスペクト比αa0との差が所定程度以下である(βth_min<=β0,5<=βth_max)場合には、位置情報P0と位置情報P5とが重複することを判定する。即ち、判定部16は、位置情報P0に対応する第1の画像に表された人物と、位置情報P5に対応する第2の画像に表された人物とが同一人物であることを判定する。
【0063】
一方、式(Lth>=L0,5)及び式(βth_min<=β0,5<=βth_max)の少なくとも一方が成立しない場合には、判定部16は、位置情報P0と位置情報P5とが重複しないと判定する。この場合には、判定部16は、以下のように、位置情報P0の検出フラグを「1」に更新する。
P0={0,1,(xa0,ya0),αa0}
【0064】
再び
図1を参照して、出力部18は、計数部17により計数された人数を出力する。出力の態様は限定されず、出力部18は、所定のディスプレイにおける表示、他の装置への送信、所定の記憶手段への記憶等の態様により、計数された人数を表す情報を出力してもよい。
【0065】
次に、
図9を参照して、本実施形態の人物計数システム1の動作について説明する。
図9は、人物計数システム1において実施される人物計数方法の処理内容を示すフローチャートである。
【0066】
ステップS1において、画像取得部11は、人物を計数する対象の所定に空間を撮像するように設置された複数のカメラの各々により撮像された複数の画像を取得する。
【0067】
ステップS2において、計数領域受付部12は、所定空間における人物を計数する領域を指定する計数領域の指定を受け付ける。なお、ステップS2における受付処理は、必須の処理ではなく、例えば、計数領域は予め設定されていてもよい。
【0068】
ステップS3において、人物検出部13は、画像取得部11により取得された画像の各々から人物を検出する。人物検出部13は、画像中の人物をバウンディングボックスとして検出してもよい。
【0069】
ステップS4において、位置情報取得部14は、人物検出部13により検出された人物の所定空間中における位置を示す位置情報を取得する。具体的には、位置情報取得部14は、検出された人物の画像中におけるピクセル座標を取得し、ピクセル座標を所定空間における空間座標に変換する。
【0070】
ステップS5において、判定部16は、各カメラにより撮像された画像から検出された人物の同一性を、人物の位置情報及び位置情報に関する所与の閾値に基づいて判定する。なお、判定部16は、アスペクト比取得部15により取得された、各人物が表されたバウンディングボックスのアスペクト比の差が所定程度以下であるか否かを、人物の同一性の判定に用いてもよい。
【0071】
ステップS6において、計数部17は、同一であることが判定された人物を1人として、画像から検出された人物の数を計数する。ステップS7において、出力部18は、出力部18は、計数部17により計数された人数を出力する。
【0072】
以上説明した本実施形態の人物計数システム1、人物計数装置10、人物計数方法及び人物計数プログラムP1によれば、第1の人物の位置情報と第2の人物の位置情報との間の距離が近い場合には、第2の人物は、第1の人物と同一である可能性が高いことに鑑みて、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値以下である場合に第1の人物と第2の人物とが同一であることが判定される。このように、人物の同一性が判断されることにより、人物を重複して計数することが防止される。また、第2の画像に表された第2の人物のうちの、第1の人物の位置情報との間の距離が最も小さい位置情報を有する人物であっても、その距離が一定程度以下ではない場合には、その第2の人物は、第1の人物と同一ではなく、第1の人物が第2の画像に表されていない可能性が高い。かかる可能性に鑑みて、第1の人物の位置情報と第2の人物の位置情報との間の距離が所与の閾値を超える場合には第1の人物と第2の人物とが同一であるとは判定されないので、人物が過少に計数されることが防止される。
【0073】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【0074】
1…人物計数システム、10…人物計数装置、11…画像取得部、12…計数領域受付部、13…人物検出部、14…位置情報取得部、15…アスペクト比取得部、16…判定部、17…計数部、18…出力部、20…画像記憶部、P1…人物計数プログラム、r…計数領域。