特開 2024-102674 設定装置、計数システム、設定方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102674

(43)【公開日】2024-07-31

(54)【発明の名称】設定装置、計数システム、設定方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240724BHJP

【ＦＩ】

G06T7/20

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023006729

(22)【出願日】2023-01-19

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】田中 希武

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096CA05

5L096DA02

5L096EA22

5L096FA52

5L096FA66

5L096FA69

5L096HA03

5L096HA05

5L096JA03

5L096MA07

(57)【要約】

【課題】移動する物体を計数する経路を適切に設定することができる設定装置、計数システム、設定方法、およびプログラムを提供する。
【解決手段】本開示の設定装置は、移動する物体を計数する経路を設定する設定装置であって、物体が移動する軌跡を示す軌跡情報に基づいて、複数の前記軌跡をクラスタリングにより所定数のクラスタに分類するクラスタリング部と、前記クラスタ毎に前記経路を設定する経路設定部と、を備える。
【選択図】図１３

【特許請求の範囲】

【請求項1】

移動する物体を計数する経路を設定する設定装置であって、
物体が移動する軌跡を示す軌跡情報に基づいて、複数の前記軌跡をクラスタリングにより所定数のクラスタに分類するクラスタリング部と、
前記クラスタ毎に前記経路を設定する経路設定部と、
を備える、設定装置。

【請求項2】

前記経路設定部は、前記クラスタに含まれる前記軌跡同士の距離に基づいて前記複数の軌跡から選択した軌跡を前記経路に設定する、
請求項１に記載の設定装置。

【請求項3】

前記経路設定部は、前記クラスタに含まれる前記軌跡の中で、他の全ての軌跡からの前記距離の合計が最小となる軌跡を前記経路として設定する、
請求項２に記載の設定装置。

【請求項4】

前記経路を修正する操作を受け付ける操作部をさらに備え、
前記経路設定部は、前記操作に基づいて、設定した前記経路を修正する、
請求項１に記載の設定装置。

【請求項5】

移動する物体を撮影し画像を生成する画像生成装置と、
前記画像に基づいて前記軌跡情報を生成する軌跡生成装置と、
所定期間における前記軌跡情報に基づいて前記経路を設定する請求項１に記載の設定装置と、
前記所定期間より後に新たに取得された軌跡情報に基づいて、前記経路に沿って移動した前記物体を計数する計数装置と、
を備える、計数システム。

【請求項6】

前記計数装置は、
前記新たに取得された軌跡情報が示す軌跡と、前記経路との類似度が閾値より高いか否かを判定する判定部と、
前記類似度が前記閾値より高いと判定された軌跡を移動した前記物体の数を計数する計数部と、
を有する、請求項５に記載の計数システム。

【請求項7】

前記軌跡生成装置は、
移動する物体を撮影した画像内に複数の領域を設定する領域設定部と、
前記複数の領域のうち、前記物体が通過した前記軌跡が含まれる領域を示す情報を前記軌跡情報として生成する軌跡生成部と、
をさらに備える、請求項６に記載の計数システム。

【請求項8】

前記複数の領域は、前記画像を格子状に区切った領域である、
請求項７に記載の計数システム。

【請求項9】

前記軌跡生成部は、前記軌跡の始点から終点までの間に含まれる前記領域の数が閾値未満である場合、前記軌跡情報を生成しない、
請求項７に記載の計数システム。

【請求項10】

前記軌跡生成部は、前記軌跡の始点または終点が、前記複数の領域のうちの特定領域に該当しない場合、前記軌跡情報を生成しない、
請求項７に記載の計数システム。

【請求項11】

所定の経路を移動した物体を計数対象とするとき、前記経路を設定する設定装置が備えるコンピューターが実行する設定方法であって、
前記コンピューターが、
物体が移動する軌跡を示す軌跡情報を取得し、
複数の前記軌跡情報に基づいて、クラスタリングにより前記軌跡を所定数のクラスタに分類し、
分類された前記クラスタ毎に所定数の選択軌跡を選出し、前記選択軌跡に基づいて前記経路を設定する、
設定方法。

【請求項12】

所定の経路を移動した物体を計数対象とするとき、前記経路を設定する設定装置が備えるコンピューターにより実行されるプログラムであって、
物体が移動する軌跡を示す軌跡情報を取得し、
複数の前記軌跡情報に基づいて、クラスタリングにより前記軌跡を所定数のクラスタに分類し、
分類された前記クラスタ毎に所定数の選択軌跡を選出し、前記選択軌跡に基づいて前記経路を設定する、
手順を前記コンピューターに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体を計数する経路を設定する設定装置、計数システム、設定方法、およびプログラムに関する。

【背景技術】

【0002】

店舗などの各種施設において、施設内を移動する物体（人など）を計数する技術が開発されている。例えば特許文献１には、店舗や施設の画像内に設定した計測エリアを通過した人の数を計測する人数計測装置が開示されている。特許文献２には、所定の位置を通過した人物の人数を算出する際に、目的に適した人数を算出することができる画像処理システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１２／１３２４３７号

【特許文献2】特開２０１９－０６１６６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば店舗において、通路毎に移動する顧客を計数し、計数結果を分析することで、店舗運営に役立つ情報を取得することができる場合がある。このため、施設に複数の移動経路が存在する場合、経路毎に移動する物体を計数したいという要望がある。

【0005】

施設内に複数の経路が存在する場合、より効果が高い情報を得るため、物体が移動する数が多い経路を計数対象の経路として設定することが望ましい。しかしながら、施設内に存在する経路の数が多い場合、いずれの経路を計数対象とすることが適切か判断することは難しい。

【0006】

本開示は、移動する物体を計数する経路を適切に設定することができる設定装置、計数システム、設定方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様に係る設定装置は、移動する物体を計数する経路を設定する設定装置であって、物体が移動する軌跡を示す軌跡情報に基づいて、複数の前記軌跡をクラスタリングにより所定数のクラスタに分類するクラスタリング部と、前記クラスタ毎に前記経路を設定する経路設定部と、を備える。

【0008】

本開示の一態様に係る計数システムは、移動する物体を撮影し画像を生成する画像生成装置と、前記画像に基づいて前記軌跡情報を生成する軌跡生成装置と、所定期間における前記軌跡情報に基づいて前記経路を設定する請求項１に記載の設定装置と、前記所定期間より後に新たに取得された軌跡情報に基づいて、前記経路に沿って移動した前記物体を計数する計数装置と、を備える。

【0009】

本開示の一態様に係る設定方法は、所定の経路を移動した物体を計数対象とするとき、前記経路を設定する設定装置が備えるコンピューターが実行する設定方法であって、前記コンピューターが、物体が移動する軌跡を示す軌跡情報を取得し、複数の前記軌跡情報に基づいて、クラスタリングにより前記軌跡を所定数のクラスタに分類し、分類された前記クラスタ毎に所定数の選択軌跡を選出し、前記選択軌跡に基づいて前記経路を設定する。

【0010】

本開示の一態様に係るプログラムは、所定の経路を移動した物体を計数対象とするとき、前記経路を設定する設定装置が備えるコンピューターにより実行されるプログラムであって、物体が移動する軌跡を示す軌跡情報を取得し、複数の前記軌跡情報に基づいて、クラスタリングにより前記軌跡を所定数のクラスタに分類し、分類された前記クラスタ毎に所定数の選択軌跡を選出し、前記選択軌跡に基づいて前記経路を設定する、手順を前記コンピューターに実行させる。

【発明の効果】

【0011】

移動する物体を計数する経路を適切に設定することができる。

【図面の簡単な説明】

【0012】

【図1】計数システムの全体構成について説明するための図

【図2】軌跡生成装置が備える機能構成について説明するための図

【図3】画像取得部が画像内に複数の領域を設定する様子を示す図

【図4】軌跡生成部が軌跡情報を生成する様子を示す図

【図5】同一の物体が同じ領域を複数回通過した場合の軌跡情報について説明するための図

【図6】設定装置が備える機能構成について説明するための図

【図7】軌跡の具体例について説明するための図

【図8】軌跡１と軌跡４をｍｅｄｏｉｄとしたことを示す概念図

【図9】軌跡１と軌跡２との距離を算出する様子を示す図

【図10】軌跡１と軌跡５との距離を算出する様子を示す図

【図11】計数装置が備える機能構成について説明するための図

【図12】計数システムの全体の動作例を説明するためのフローチャート

【図13】計数システムの設定フェーズにおける設定装置の動作例を説明するためのフローチャート

【図14】計数システムの計数フェーズにおける計数装置の動作例を説明するためのフローチャート

【発明を実施するための形態】

【0013】

以下、本開示の実施の形態について、図面を参照して説明する。ただし、発明の範囲は図示した例に限定されない。なお、以下の説明において、同一の機能および構成を有するものについては、同一の符号を付し、その説明を省略する。

【0014】

以下では、本開示の実施の形態に係る計数システム１００について説明する。計数システム１００は、所定の範囲内において、移動する各種物体を検知し、設定された経路を移動した物体を計数するシステムである。所定の範囲の例としては、小売店、銀行、駅、工場などの各種施設、または公道、私道、横断歩道などの道路、民家の出入口や集合住宅の廊下などが挙げられる。また、計数システム１００が検知する物体の例としては、例えば人、動物、移動ロボット、自動車、または自転車などが挙げられる。

【0015】

＜計数システム１００の全体構成＞
図１は、計数システム１００の全体構成について説明するための図である。計数システム１００は、画像生成装置１と、軌跡生成装置２と、設定装置３と、計数装置４と、を備える。

【0016】

計数システム１００は、実際に計数を開始する前の所定期間において、移動する物体を計数の対象とする経路を設定する設定フェーズと、設定フェーズにおいて設定された経路を用いて実際に計数を行う計数フェーズと、のそれぞれにおいて動作が異なる。本開示において、経路とは、物体がその経路に沿って移動した場合に、計数装置４がその物体を計数する経路である。

【0017】

設定フェーズは、システム設置後、計数装置４による計数が開始される前に、設定装置３が経路を決定するフェーズである。一方、計数フェーズは、経路設定後、その経路を用いて、計数装置４が実際に計数を行うフェーズである。

【0018】

画像生成装置１は、例えば施設内外の各所に設けられるカメラである。計数システム１００は、複数台のカメラを有していてもよい。１台または複数台の画像生成装置１は、計数システム１００のユーザーが計数したい物体の移動可能な範囲を撮像できる位置に設置される。これにより、画像生成装置１は、１つまたは複数の範囲の画像を生成することができる。

【0019】

以下では、画像生成装置１の撮像範囲が固定されている場合について説明するが、本開示では、画像生成装置１の撮像範囲は時間によって変化してもよい。例えば、画像生成装置１は首振り機能を有していてもよい。

【0020】

具体例として、画像生成装置１は、店舗の陳列棚が並ぶ通路の少なくとも一部を含む範囲を撮像できる位置に設置される。他の例として、画像生成装置１は、店舗の出入口を含む範囲を撮像できる位置に設置される。他の例として、画像生成装置１は、駅の改札口を含む範囲を撮像できる位置に設置される。他の例として、画像生成装置１は、横断歩道の少なくとも一部を撮像できる位置に設置される。

【0021】

画像生成装置１が生成する画像は、例えば動画像である。本開示において、動画像とは、同一範囲を互いに異なる時間に撮像した複数枚の画像が時系列に沿って含まれるものを意味する。動画像に含まれる時間あたりの画像（フレーム）の枚数については、本開示では限定しない。

【0022】

軌跡生成装置２は、画像生成装置１が生成した画像に基づいて、画像内を移動する物体を検知し、物体の軌跡を示す軌跡情報を生成する。軌跡生成装置２は、設定フェーズと計数フェーズの両方において軌跡情報を生成し、設定装置３および計数装置４の少なくともいずれかに軌跡情報を出力する。

【0023】

設定装置３は、設定フェーズにおいて、軌跡情報に基づいて、移動する物体を計数対象とする経路を設定する。

【0024】

計数装置４は、計数フェーズにおいて、新たな軌跡情報に基づいて、経路を移動した物体を計数する。

【0025】

このような構成を備える計数システム１００において、設定装置３が適切な経路を設定することにより、計数装置４の計数結果をより有用な情報とすることができる。以下では、軌跡生成装置２、設定装置３、および計数装置４の構成および動作について詳細に説明する。

【0026】

＜軌跡生成装置２＞
軌跡生成装置２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭに記憶されているシステムプログラムなどの各種処理プログラムを読み出してＲＡＭに展開し、展開したプログラムを実行することで各種機能を実現する。ＲＯＭは、半導体などの不揮発メモリーなどにより構成され、システムプログラム及び該システムプログラム上で実行可能な各種処理プログラムなどを記憶する。これらのプログラムは、コンピューターが読み取り可能なプログラムコードの形態で格納され、ＣＰＵは、当該プログラムコードに従った動作を逐次実行する。ＲＡＭは、ＣＰＵにより実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアを形成する。

【0027】

図２は、軌跡生成装置２が備える機能構成について説明するための図である。軌跡生成装置２は、画像取得部２１と、領域設定部２２と、物体検出部２３と、物体追跡部２４と、軌跡生成部２５と、操作部２６と、表示部２７と、記憶部２８と、を備える。軌跡生成装置２が備えるこれらの機能構成は、プロセッサーによりプログラムが実行されることでソフトウェア的に実現されてもよいし、集積回路などのハードウェア回路として実現されてもよい。

【0028】

画像取得部２１は、画像生成装置１から画像を取得する。画像取得部２１は、例えば有線または無線通信により、画像生成装置１から画像を取得すればよい。また、画像取得部２１は、複数の画像生成装置１から複数の範囲の画像を取得した場合、複数の範囲の画像を統合して統合画像を生成してもよい。

【0029】

領域設定部２２は、画像取得部２１が取得した画像に複数の領域を設定する。図３は、画像取得部２１が画像内に複数の領域を設定する様子を示す図である。図３Ａには、長方形の画像Ｉにそれぞれ直線の格子線ＧＬにより分割されることで、画像Ｉ内に複数の領域Ａが設定された例が示されている。図３Ｂは、円形の画像Ｉがそれぞれ直線または曲線の格子線ＧＬにより分割されることで複数の領域Ａが設定された例が示されている。図３に示す画像Ｉには、３つの陳列棚と、レジとが含まれている。

【0030】

領域設定部２２は、画像に設定した複数の領域を区別するため、それぞれの領域に識別情報を付与する。図３Ａに示す例では、領域設定部２２が識別情報［ｘ，ｙ］をそれぞれの領域に付与した様子が示されている。ｘは画像Ｉの左上が０に設定されており、領域Ａ毎に右に向かうほど大きくなる値である。ｙは画像Ｉの左上が０に設定されており、領域Ａ毎に下に向かうほど大きくなる値である。なお、図３Ａでは説明の都合上、各領域内に識別情報［０，０］、［０，１］…を示しているが、実際には識別情報がそれぞれの領域内に表示される必要はない。

【0031】

領域設定部２２は、画像生成装置１の撮像範囲が固定されている場合には、動画像の１フレームを用いて領域を設定してもよい。画像生成装置１の撮像範囲が時間によって変動する場合、領域設定部２２は、動画像に含まれる全てのフレーム画像に対し、それぞれ領域を設定してもよいし、所定フレームおきの画像に対し領域を設定してもよい。

【0032】

領域設定部２２は、複数の画像生成装置１から取得された複数の範囲の画像を統合した統合画像において領域設定を行う場合、統合画像にグローバル座標系を設定し、グローバル座標系に基づいて領域毎の識別情報を付与する。領域設定部２２は、例えば画像生成装置１毎に設定されているローカル座標系における各領域の識別情報を、グローバル座標系に変換することで、統合画像における各領域の識別情報を設定すればよい。

【0033】

領域設定部２２は、画像内に設定する１つの領域の大きさを、例えば計数システム１００のユーザーの操作に基づいて決定すればよい。

【0034】

物体検出部２３は、画像生成装置１が生成した画像内を移動する物体を検出する。物体追跡部２４は、物体検出部２３が検出した物体を追跡し、物体の時間毎の位置情報を生成する。物体検出部２３および物体追跡部２４は、公知の物体検出方法および物体追跡方法（例えばＳＯＲＴ（Simple Online and Realtime Tracking）など）を利用して画像内を移動する物体の検出および追跡を行えばよい。

【0035】

物体検出部２３および物体追跡部２４は、時間の経過に伴い同一の物体を追跡できなくなった場合、当該物体に関する検出および追跡を終了する。

【0036】

軌跡生成部２５は、同一の物体の時間毎の位置情報に基づいて、当該物体の軌跡を特定し、軌跡を示す軌跡情報を生成する。図４は、図３Ａに示す画像Ｉにおいて、軌跡生成部２５が軌跡情報を生成する様子を示す図である。図４Ａには、物体追跡部２４により生成された位置情報の時間的な遷移が示されている。図４Ｂには、位置情報に基づいて軌跡生成部２５により特定された物体の軌跡が示されている。図４Ｂに示すように、軌跡生成部２５は、物体の位置が含まれる領域を繋ぎ合わせて当該物体の軌跡とする。図４Ｂでは、軌跡に該当する領域に斜線を付して示している。なお、図４Ａおよび図４Ｂには、説明のため、領域毎のｘの値およびｙの値に対応する数字を画像Ｉの外縁部に示している。

【0037】

図４Ａおよび図４Ｂに示すように、軌跡生成部２５は、物体が通過した複数の領域を前記物体が移動した軌跡であるとする。すなわち、軌跡生成部２５は、物体が通過した複数の領域を繋ぎ合わせたものを当該物体の移動した軌跡として特定する。図４Ｂに示す例では、物体の軌跡は、領域［０，５］、領域［１，５］、領域［２，５］、領域［３，５］、領域［４，５］、領域［５，５］、領域［５，４］、領域［６，４］、領域［６，３］、領域［６，２］、領域［６，１］、領域［７，１］、領域［８，１］、領域［９，１］、領域［１０，１］、領域［１１，１］により構成される。軌跡生成部２５は、特定した軌跡を示す軌跡情報を、これらの領域の識別情報に基づいて生成する。軌跡生成部２５は、物体が移動した領域の順番を軌跡情報に含めてもよい。

【0038】

図５は、同一の物体が同じ領域を複数回通過した場合の軌跡情報について説明するための図である。図５Ａには、物体が同じ領域を複数回移動した場合の、物体追跡部２４により生成された位置情報の時間的な遷移の例が示されている。このような物体の動きは、例えば物体としての顧客が、店舗内の陳列棚の前を往復しながら商品を選んでいる場合などに生じうる。

【0039】

このような場合、図５Ｂに示すように、軌跡生成部２５は、同一の物体が同じ領域を複数回通過した場合でも、当該領域をそれぞれ１回ずつ通過したものとして当該物体の軌跡を特定する。図５Ｂでは、特定された軌跡の例が斜線を付した領域の連続で示されている。これにより、軌跡情報が不要に複雑になってしまう事態を回避できるとともに、軌跡情報のデータ量を低減できる。

【0040】

軌跡生成部２５は、例えば始点から終点までの長さが所定未満、すなわち領域の数が所定数未満である軌跡については、軌跡情報を生成しないようにしてもよい。その理由は、長さが極端に短い軌跡は、例えば物体検出部２３の誤検出により生じたものである可能性が高いためである。

【0041】

また、軌跡生成部２５は、始点または終点が特定領域ではない軌跡については、軌跡情報を生成しないようにしてもよい。特定領域とは、画像生成装置１の撮像範囲の外部から撮像範囲の内部に物体が入ってくる、または撮像範囲の内部から撮像範囲の外部に物体が出て行く領域である。より具体的には、特定領域とは、例えば撮像範囲に写る通路が、画像の縁に到達するところに該当する領域である。または、特定領域とは、画像内に施設の出入口がある場合、その出入口に該当する領域である。

【0042】

このように、軌跡生成部２５は、特定領域以外の領域が始点また終点となる軌跡については、軌跡情報を生成しない。その理由は、物体が撮像範囲の特定領域以外に現れて移動し始める、または特定領域以外から急に消えることは通常あり得ず、そのような軌跡は例えば物体検出部２３の誤検出により生じたものである可能性が高いためである。

【0043】

また、軌跡生成部２５は、撮像範囲のうち、予め設定された除外領域の内部を移動する物体については、軌跡情報を生成しないようにしてもよい。除外領域とは、撮像範囲に含まれるいくつかの領域であって、物体を検出する必要がない領域である。具体例を挙げると、例えば、ガラス張りの小型の店舗内部が撮像範囲であるとき、ガラスを通して写る、店舗外部の道路が除外領域に設定されうる。これは、店舗外部の道路を移動する人物や自転車などは、店舗内部において検出すべき物体には該当しないからである。

【0044】

特定領域や除外領域は、計数システム１００のユーザーの操作に基づいて適宜設定されればよい。

【0045】

操作部２６は、例えばマウス、トラックボール、タッチパッド、ボタン、キーボードなどの各種操作デバイスである。表示部２７は、液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の各種表示デバイスである。軌跡生成装置２は、操作部２６としてのタッチパッドと、表示部２７としての液晶ディスプレイまたは有機ＥＬディスプレイとが重ね合わされたタッチパネルを有していてもよい。

【0046】

記憶部２８は、軌跡生成装置２の動作に必要な各種情報、具体的には軌跡情報、および各機能構成を実現するためのプログラムなどを記憶する。

【0047】

軌跡生成装置２は、生成した軌跡を示す軌跡情報を、設定装置３および計数装置４へ出力する。

【0048】

＜設定装置３＞
設定装置３は、設定フェーズにおいて、計数装置４が移動する物体を計数する対象とする経路を設定する。

【0049】

図６は、設定装置３が備える機能構成について説明するための図である。設定装置３は、クラスタリング部３１と、経路設定部３２と、操作部３３と、表示部３４と、記憶部３５と、を備える。設定装置３は、軌跡生成装置２と同様に、ハードウェアまたはソフトウェア的に各種機能を実現すればよい。

【0050】

クラスタリング部３１は、軌跡生成装置２が生成した軌跡情報に基づいて、複数の軌跡のクラスタリングを行う。クラスタリング部３１によるクラスタリングの手法としては、例えばｋ－ｍｅｄｏｉｄｓ、またはｋ－ｍｅａｎｓなどの既知の手法を採用することができる。

【0051】

図７は、軌跡の具体例について説明するための図である。図７において、軌跡の例が各軌跡を構成する領域の中心点を結ぶ線で示されている。図７には、軌跡１～６の６本の軌跡が例示されている。なお、図７では異なる軌跡がそれぞれ重ならない例が示されているが、異なる軌跡同士の少なくとも一部が重なってもよい。言い換えると、異なる軌跡の少なくとも一部が同じ領域によって構成されてもよい。

【0052】

一例として、クラスタリング部３１がｋ－ｍｅｄｏｉｄｓを採用した場合に図７の軌跡１～６をクラスタリングする動作について説明する。

【0053】

ｋ－ｍｅｄｏｉｄｓとは、複数のクラスタリング対象の点をｋ個のクラスタにクラスタリングする場合に用いられる手法の１つである。ｋ－ｍｅｄｏｉｄｓは、例えば以下のような処理を含む。
（１）複数の点のうち、ｋ個の点をランダムに選択し、仮にｍｅｄｏｉｄとする。ｍｅｄｏｉｄは、クラスタ内の点であって、クラスタ内の他の点までの距離の総和が最小になる点である。
（２）ｋ個のｍｅｄｏｉｄ以外の各点を、一番近いｍｅｄｏｉｄのクラスタに仮に割り当てる。
（３）それぞれのクラスタ内において、クラスタ内の他の全ての点との距離の合計が最小になる点を新たにｍｅｄｏｉｄとする。
（４）（３）において新たなｍｅｄｏｉｄがあれば（２）に戻り、なければ処理を終了する。

【0054】

以下では、ｋ－ｍｅｄｏｉｄｓの上記の工程（１）～（４）を図７に示す軌跡のクラスタリングに適用した場合の処理の具体例を説明する。クラスタ数であるｋは、例えば計数システム１００のユーザーの操作に基づいて適宜の数に設定されればよい。以下の例では、ｋ＝２に設定されているとする。

【0055】

工程（１）において、ｍｅｄｏｉｄの初期設定において、図７に示す軌跡１～６のうち、軌跡１と軌跡４が選択されたとする。図８は、軌跡１と軌跡４をｍｅｄｏｉｄとしたことを示す概念図である。図８では、ｍｅｄｏｉｄとしての軌跡１および軌跡４を他の軌跡よりも太線で示している。以下の説明において、軌跡１が仮に属するクラスタをクラスタ１、軌跡６が仮に属するクラスタをクラスタ２とする。

【0056】

工程（２）において、ｍｅｄｏｉｄとして設定された軌跡１および軌跡４と、他の軌跡２，３，５，６との距離をそれぞれ算出し、軌跡２，３，５，６をクラスタ１，２のいずれかに仮に割り当てる。図８に示す例では、軌跡２，３がクラスタ１に、軌跡５，６がクラスタ２に、それぞれ仮に割り当てられる。

【0057】

図９および図１０は、軌跡同士の距離の算出方法について説明するための概念図である。図９は、図７に示す軌跡１と軌跡２との距離を算出する様子を示す図である。図１０は、図７に示す軌跡１と軌跡５との距離を算出する様子を示す図である。図９および図１０に示すように、軌跡同士の距離は、それぞれの軌跡に含まれる領域同士を互いに対応付け、対応付けた領域の中心点同士の画像上における二次元距離を算出し、全領域における距離の合計を算出している。図９および図１０において、矢印は対応付けられた領域の中心点同士を結んでいる。

【0058】

図９に示す例のように、２つの軌跡に含まれる領域の数が同じである場合、２つの軌跡を構成する全ての領域同士を対応付け、中心点同士の距離を算出すればよい。図１０に示す例のように、２つの軌跡に含まれる領域の数がそれぞれ異なる場合、図１０Ａのように１つの軌跡の１つの領域が、他の軌跡の複数の領域と対応付けられてもよいし、図１０Ｂに示すように一部の領域の対応付けが行われなくてもよい。また、既知の技術である２次元ＤＴＷ（Dynamic Time Warping：動的時間伸縮法）を用いて軌跡間の距離を算出してもよい。図１０Ａでは、２つの軌跡の始点の領域同士、終点の領域同士が互いに対応付けられ、始点と終点との間の領域は互いに均等に対応付けられた例が示されている。図１０Ｂでは、軌跡１を構成する各領域と、それぞれの領域に最も近い軌跡２の領域とが互いに対応付けられた例が示されている。

【0059】

工程（３）において、軌跡１，２，３からなる仮のクラスタ１の中で、軌跡２が新たなｍｅｄｏｉｄｓとされたとする。また、軌跡４，５，６からなる仮のクラスタ２の中で、軌跡５が新たなｍｅｄｏｉｄｓとされたとする。

【0060】

工程（４）において、工程（３）で新たにｍｅｄｏｉｄｓとされた軌跡があるため、工程（２）に戻り、今後は軌跡２および軌跡５と他の軌跡との距離が算出され、新たに仮のクラスタ分類が行われる。

【0061】

このような工程が繰り返されることにより、軌跡のクラスタリングが行われる。図７に示す例では、最終的に、軌跡２，５がそれぞれｍｅｄｏｉｄｓとなり、軌跡１～６は、軌跡１，２，３からなるクラスタ１と、軌跡４，５，６からなるクラスタ２とに分類される。

【0062】

なお、上述した例では、クラスタリング部３１が、クラスタリングの手法としてｋ－ｍｅｄｏｉｄｓを採用した例について説明した。本開示では、クラスタリング部は、例えばｋ個の仮のクラスタの中心点（ｃｅｎｔｒｏｉｄｓ）と他の点との距離が最小となるようにｃｅｎｔｒｏｉｄｓを更新し続ける手法（ｋ－ｍｅａｎｓ）など、他の既知のクラスタリング手法を採用してもよい。

【0063】

経路設定部３２は、クラスタリング部３１が分類したクラスタ毎に、代表的な軌跡を選出し、選出した軌跡を、移動する物体を計数対象とする経路に設定する。

【0064】

経路設定部３２がクラスタ毎に代表的な軌跡を選出する方法としては、例えば以下のような方法が採用されうる。

【0065】

第１の方法として、クラスタリング部３１がクラスタリングの手法としてｋ－ｍｅｄｏｉｄｓまたはｋ－ｍｅａｎｓを用いた場合、最終的にｍｅｄｏｉｄｓまたはｃｅｎｔｒｏｉｄｓとなった軌跡を選出する方法がある。ｍｅｄｏｉｄｓはクラスタに属する全軌跡の中で最も中央に近い位置に位置する軌跡であり、ｃｅｎｔｒｏｉｄｓはクラスタ内の全ての軌跡の平均に近い位置に位置する軌跡である。このため、第１の方法により、各クラスタ内で中央値または平均値に近い軌跡を代表的な軌跡として選出することができる。

【0066】

第２の方法として、各クラスタに分類される軌跡のうち、少なくともいずれかを表示部３４に表示し、操作部３３を介したユーザーの操作に基づいて軌跡を選出する方法がある。第２の方法において、各クラスタに含まれる軌跡の数が多い場合、全ての軌跡を表示部３４に表示させるのではなく、クラスタリングにおいて最終的なｍｅｄｏｉｄｓまたはｃｅｎｔｒｏｉｄｓに近い所定数（２～３個）の軌跡のみを表示させることが、ユーザーの負荷低減の観点からより好ましい。

【0067】

経路設定部３２は、第１の方法または第２の方法を用いて選出した軌跡を、移動する物体を計数対象とする経路として設定し、表示部３４に表示させる。経路設定部３２は、表示部３４に表示された経路を見たユーザーが、操作部３３を介して経路を修正する操作を行った場合、当該操作に基づいて経路を修正すればよい。

【0068】

操作部３３は、例えばマウス、トラックボール、タッチパッド、ボタン、キーボードなどの各種操作デバイスである。表示部３４は、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等の各種表示デバイスである。設定装置３は、操作部３３としてのタッチパッドと、表示部３４としての液晶ディスプレイまたは有機ＥＬディスプレイとが重ね合わされたタッチパネルを有していてもよい。

【0069】

記憶部３５は、設定装置３の動作に必要な各種情報、具体的には軌跡情報、経路情報、および各機能構成を実現するためのプログラムなどを記憶する。

【0070】

なお、画像の撮像領域内を移動する物体が複数種類（例えば人とロボット、または自転車と自動車、など）ある場合、設定装置３は、物体の種類毎に経路を設定するようにしてもよい。具体例を挙げると、設定装置３は、撮像範囲として道路を含む画像において、人、自転車、または自動車のそれぞれに対する経路を、別々に設定してもよい。

【0071】

設定装置３は、設定した経路を示す経路情報を計数装置４に出力する。

【0072】

＜計数装置４＞
計数装置４は、設定装置３が経路を設定した後、経路情報に基づいて、経路を移動する物体を計数する。

【0073】

図１１は、計数装置４が備える機能構成について説明するための図である。計数装置４は、判定部４１と、計数部４２と、操作部４３と、表示部４４と、記憶部４５と、を備える。計数装置４は、軌跡生成装置２および設定装置３と同様に、ハードウェアまたはソフトウェア的に各種機能を実現すればよい。

【0074】

判定部４１は、軌跡生成装置２から取得した複数の軌跡情報および設定装置３から取得した経路情報に基づいて、物体の軌跡が設定された経路と一致するか否かを判定する。

【0075】

判定部４１が、軌跡と経路とが一致するか否かを判定する方法としては、例えば以下のような方法が採用されうる。判定部４１は、経路毎に、全ての軌跡との類似度を算出する。そして、判定部４１は、軌跡毎に、類似度が所定の閾値より高いか否かを判定する。判定部４１は、類似度が所定の閾値より高い全ての軌跡が、経路と一致すると判定すればよい。

【0076】

判定部４１は、経路情報が示す経路と、軌跡情報が示す軌跡との距離を類似度とすればよい。経路と軌跡との距離は、図９および図１０において説明した、軌跡同士の距離を算出する場合と同様の方法で算出することができる。

【0077】

計数部４２は、設定装置３で設定された経路を移動した物体を計数する。より具体的には、計数部４２は、判定部４１によって経路との類似度が所定の閾値より高いと判定された軌跡を移動した物体（すなわち経路を移動した物体）を計数する。これにより、画像生成装置１が撮像する範囲内を移動する物体が、どの経路をどれだけ通って移動しているか、を精度よく計数することができる。計数部４２は、計数した結果を示す計数結果情報を記憶部４５に記憶させるとともに、表示部４４に表示させる。

【0078】

操作部４３は、例えばマウス、トラックボール、タッチパッド、ボタン、キーボードなどの各種操作デバイスである。表示部４４は、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等の各種表示デバイスである。計数装置４は、操作部４３としてのタッチパッドと、表示部４４としての液晶ディスプレイまたは有機ＥＬディスプレイとが重ね合わされたタッチパネルを有していてもよい。

【0079】

記憶部４５は、計数装置４の動作に必要な各種情報、具体的には軌跡情報、経路情報、計数結果情報、および各機能構成を実現するためのプログラムなどを記憶する。

【0080】

［計数システム１００の動作例］
＜全体動作＞
図１２は、計数システム１００の全体の動作例を説明するためのフローチャートである。図１２に示すように、ステップＳ１は設定フェーズであり、設定装置３が経路の設定を行う。そして、ステップＳ２は計数フェーズであり、計数装置４が経路に沿って移動する物体を計数する。ステップＳ２の計数フェーズは、例えば所定時間毎に繰り返し実行される。

【0081】

例えば計数システム１００の設置場所が変更された場合などには、ステップＳ１の設定フェーズが改めて行われることになる。

【0082】

なお、ステップＳ１の設定フェーズにおいて計数装置４は動作せず、ステップＳ２の計数フェーズにおいて設定装置３は動作しなくてもよい。ただし、本開示はこれに限定されず、例えば一度設定フェーズにおいて経路が設定され、計数フェーズが開始された後に、例えば所定時間経過後に再度設定フェーズが実行されて経路が再設定されてもよい。また、設定フェーズと計数フェーズとが常時平行して実行され、経路が実時間で更新され続けてもよい。

【0083】

＜設定フェーズにおける動作＞
図１３は、計数システム１００の設定フェーズにおける設定装置３の動作例を説明するためのフローチャートである。

【0084】

ステップＳ１１において、設定装置３は、軌跡生成装置２から所定期間における複数の軌跡情報を取得する。

【0085】

ステップＳ１２において、設定装置３は、所定期間における複数の軌跡を所定数のクラスタにクラスタリングする。

【0086】

ステップＳ１３において、設定装置３は、クラスタ毎に代表的な軌跡を選出する。

【0087】

ステップＳ１４において、設定装置３は、選出した軌跡を経路に設定し、経路情報を生成する。生成された経路情報は、計数装置４に出力される。

【0088】

＜計数フェーズにおける動作＞
図１４は、計数システム１００の計数フェーズにおける計数装置４の動作例を説明するためのフローチャートである。

【0089】

ステップＳ２１において、計数装置４は、設定装置３から経路情報を取得する。なお、計数装置４は、経路情報を一度取得した後、新たな経路情報が設定装置３により生成されるまでは、本ステップを改めて実行しなくてもよい。

【0090】

ステップＳ２２において、計数装置４は、軌跡生成装置２から新たな軌跡情報を取得する。なお、本明細書において、新たな軌跡情報とは、計数フェーズにおける軌跡情報を意味しており、設定フェーズにおける軌跡情報とは区別される。

【0091】

ステップＳ２３において、計数装置４は、経路情報が示す経路と軌跡情報が示す軌跡との類似度を、軌跡毎に算出する。

【0092】

ステップＳ２４において、計数装置４は、類似度が閾値より高い軌跡を計数する。計数の結果は、経路を移動した物体の数を示している。これにより、計数装置４は、設定フェーズにおいて設定された経路を移動する物体を精度よく計数することができる。

【0093】

以上説明したように、本開示の計数システムによれば、設定装置が、設定フェーズにおいて、クラスタリングにより複数の軌跡を少なくとも１つのクラスタに分類した上で、クラスタ毎に代表的な軌跡を、移動する物体を計数対象とする経路に設定した上で、計数フェーズにおいて、計数装置が、経路を移動する物体を計数する。

【0094】

これにより、多数の画像から多数の軌跡が生成された場合でも、設定装置が自動的に経路を設定することができるので、ユーザーが多数の軌跡の中から経路を選択する場合と比較して、ユーザーの負担を大幅に軽減することができる。

【0095】

また、設定装置は、複数の軌跡をクラスタリングし、各クラスタの代表的な軌跡を経路に設定するため、物体を計数することによる効果がより高い経路を適切に設定することができる。特に、クラスタリングの手法としてｋ－ｍｅｄｏｉｄｓやｋ－ｍｅａｎｓなどの既知の手法を採用することにより、クラスタ毎の中央値または平均値に近い軌跡を適切に選出することができる。クラスタ毎の中央値または平均値に近い軌跡は、全ての軌跡の中でも、多くの物体が移動した可能性が高い軌跡であるため、このような軌跡を経路として設定することにより、クラスタ毎の周辺に位置する軌跡を経路として設定した場合と比較して、経路を移動する物体を計数することによる効果を高めることができる。

【0096】

［変形例］
以上、本開示の実施の形態について説明したが、本開示は上述した実施の形態には限定されず、種々の変形を取りうる。

【0097】

上述した実施の形態において、設定装置３がクラスタリングする際、クラスタ数については計数システム１００のユーザーが設定した値を採用していた。本開示に係る計数システムは、例えばクラスタ数を様々な数に設定して実際に経路を設定し、その経路を用いて計数した結果に基づいて、適切なクラスタ数を自動的に判別する機能を有していてもよい。具体的には、本開示の計数システムは、様々なクラスタ数を設定して設定装置に経路を設定させ、その経路を用いて計数装置が計数した結果を評価し、評価が最もよいクラスタ数を移行の設定フェーズにおけるクラスタ数として採用してもよい。

【産業上の利用可能性】

【0098】

本開示は、移動する物体を計数する経路を設定する設定装置に有用である。

【符号の説明】

【0099】

１００ 計数システム
１ 画像生成装置
２ 軌跡生成装置
２１ 画像取得部
２２ 領域設定部
２３ 物体検出部
２４ 物体追跡部
２５ 軌跡生成部
２６ 操作部
２７ 表示部
２８ 記憶部
３ 設定装置
３１ クラスタリング部
３２ 経路設定部
３３ 操作部
３４ 表示部
３５ 記憶部
４ 計数装置
４１ 判定部
４２ 計数部
４３ 操作部
４４ 表示部
４５ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】