特許 7482090 推定装置、推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-01

(45)【発行日】2024-05-13

(54)【発明の名称】推定装置、推定方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240502BHJP

   H04N 7/18 20060101ALI20240502BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 K

H04N7/18 D

【請求項の数】 12

(21)【出願番号】P 2021139338

(22)【出願日】2021-08-27

(65)【公開番号】P2023032950

(43)【公開日】2023-03-09

【審査請求日】2023-03-10

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山地 雄土

(72)【発明者】

【氏名】小林 大祐

【審査官】笠田 和宏

(56)【参考文献】

【文献】特表２０１７－５２５０６４（ＪＰ，Ａ）

【文献】特開２０２１－１０３８１１（ＪＰ，Ａ）

【文献】国際公開第２０１６／０２１１２１（ＷＯ，Ａ１）

【文献】特開２０１７－０７３６４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

時系列画像に含まれる第１の物体を検出し、前記第１の物体の追従軌跡を生成する追従部と、
前記追従軌跡の出現、消失、屈曲又は滞留を示す状態変化イベントを検出し、前記状態変化イベントが発生した前記第１の物体の座標を抽出する抽出部と、
前記座標に基づいて判定領域を推定する推定部と、
前記判定領域の外から前記判定領域内へ前記第１の物体が侵入したか否かを判定する処理、及び、前記判定領域内での前記状態変化イベントが発生したか否かを判定する処理の少なくとも一方を行う第１の判定部と、を備え、
前記第１の物体は、人物であり、
前記追従部は、前記人物の骨格点の追従軌跡を生成し、
前期推定部は、前記人物の片手に含まれる骨格点のみの状態変化イベントが発生する片手領域と、前記人物の両手の骨格点の状態変化イベントが発生する両手領域と、を含む前記判定領域を推定する、
推定装置。

【請求項2】

前記追従部は、前記第１の物体とは種別の異なる第２の物体を検出し、前記第２の物体の追従軌跡を更に生成し、
前記第２の物体の追従軌跡に基づいて前記第２の物体の動きを判定する第２の判定部を更に備え、
前記抽出部は、前記第２の判定部により前記第２の物体が静止したと判定された場合、前記第２の物体の検出領域内、または当該第２の物体の検出領域の周辺で、前記状態変化イベントが発生した前記第１の物体の座標を抽出する、
請求項１に記載の推定装置。

【請求項3】

前記推定部は、前記第２の物体が静止した状態から動き出した場合、前記判定領域を消去する、
請求項２に記載の推定装置。

【請求項4】

前記抽出部は、前記第１の物体と第３の物体との距離が第２の閾値よりも小さい場合、前記状態変化イベントの検出を行わない、
請求項１乃至３のいずれか１項に記載の推定装置。

【請求項5】

前記推定部は、前記片手領域及び前記両手領域に対して、前記人物の骨格点の侵入又は状態変化イベントが発生する順序を推定し、
前記第１の判定部は、前記順序に従って侵入又は状態変化イベントが発生しているか否かを判定する、
請求項１乃至４のいずれか１項に記載の推定装置。

【請求項6】

前記判定領域の修正、前記判定領域の有効又は無効の選択、並びに、前記判定領域の削除の操作を受け付ける表示情報を表示する表示部、
を更に備える請求項１乃至５のいずれか１項に記載の推定装置。

【請求項7】

前記第１の判定部は、前記判定領域の外から前記判定領域内へ前記第１の物体が侵入した回数、及び、前記判定領域内での前記状態変化イベントが発生した回数の少なくとも一方を前記表示部に表示する、
請求項６に記載の推定装置。

【請求項8】

前記表示部は、前記追従軌跡の出現の抽出の有効又は無効の選択、前記追従軌跡の消失の抽出の有効又は無効の選択、前記追従軌跡の屈曲の抽出の有効又は無効の選択、並びに、前記追従軌跡の滞留の抽出の有効又は無効の選択の操作を受け付ける表示情報を更に表示する、
請求項６又は７に記載の推定装置。

【請求項9】

前記抽出部は、前記時系列画像の端では前記座標の抽出を行わない、
請求項１乃至８のいずれか１項に記載の推定装置。

【請求項10】

前記推定部は、前記座標、又は、複数の前記座標に基づいて抽出された領域をクラスタリングし、前記クラスタリングにより分類されたサンプル領域から、前記判定領域を推定する、請求項１乃至９のいずれか１項に記載の推定装置。

【請求項11】

推定装置が、時系列画像に含まれる第１の物体を検出し、前記第１の物体の追従軌跡を生成するステップと、
前記推定装置が、前記追従軌跡の出現、消失、屈曲又は滞留を示す状態変化イベントを検出し、前記状態変化イベントが発生した前記第１の物体の座標を抽出するステップと、
前記推定装置が、前記座標に基づいて判定領域を推定するステップと、
前記推定装置が、前記判定領域の外から前記判定領域内へ前記第１の物体が侵入したか否かを判定する処理、及び、前記判定領域内での前記状態変化イベントが発生したか否かを判定する処理の少なくとも一方を行うステップと、を含み、
前記第１の物体は、人物であり、
前記生成するステップは、前記人物の骨格点の追従軌跡を生成し、
前記推定するステップは、前記人物の片手に含まれる骨格点のみの状態変化イベントが発生する片手領域と、前記人物の両手の骨格点の状態変化イベントが発生する両手領域と、を含む前記判定領域を推定する、
推定方法。

【請求項12】

コンピュータを、
時系列画像に含まれる第１の物体を検出し、前記第１の物体の追従軌跡を生成する追従部と、
前記追従軌跡の出現、消失、屈曲又は滞留を示す状態変化イベントを検出し、前記状態変化イベントが発生した前記第１の物体の座標を抽出する抽出部と、
前記座標に基づいて判定領域を推定する推定部と、
前記判定領域の外から前記判定領域内へ前記第１の物体が侵入したか否かを判定する処理、及び、前記判定領域内での前記状態変化イベントが発生したか否かを判定する処理の少なくとも一方を行う第１の判定部、として機能させ、
前記第１の物体は、人物であり、
前記追従部は、前記人物の骨格点の追従軌跡を生成し、
前期推定部は、前記人物の片手に含まれる骨格点のみの状態変化イベントが発生する片手領域と、前記人物の両手の骨格点の状態変化イベントが発生する両手領域と、を含む前記判定領域を推定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は推定装置、推定方法及びプログラムに関する。

【背景技術】

【0002】

監視カメラ等により撮像された画像に写る物体の軌跡を追従することによって得られた追従軌跡に基づいて、解析対象の画像領域を推定し、当該画像領域を解析する技術が従来から知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５５８５７９号公報

【文献】特開２０１６－１１６１３７号公報

【非特許文献】

【0004】

【文献】第２３回画像の認識・理解シンポジウム、小林 大祐、柴田 智行「空間・時系列のＡｔｔｅｎｔｉｏｎを用いた物体検出と複数物体追跡の同時推定」

【文献】Ｚｈａｎｇ，Ｆｅｎｇ，ｅｔ ａｌ．“Ｄｉｓｔｒｉｂｕｔｉｏｎ－ａｗａｒｅ ｃｏｏｒｄｉｎａｔｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ．”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ．２０２０

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、解析対象の画像領域をより高精度に推定することが難しかった。

【課題を解決するための手段】

【0006】

実施形態の推定装置は、追従部と抽出部と推定部と第１の判定部とを備える。追従部は、時系列画像に含まれる第１の物体を検出し、前記第１の物体の追従軌跡を生成する。抽出部は、前記追従軌跡の出現、消失、屈曲又は滞留を示す状態変化イベントを検出し、前記状態変化イベントが発生した前記第１の物体の座標を抽出する。推定部は、前記座標に基づいて判定領域を推定する。第１の判定部は、前記判定領域の外から前記判定領域内へ前記第１の物体が侵入したか否かを判定する処理、及び、前記判定領域内での前記状態変化イベントが発生したか否かを判定する処理の少なくとも一方を行う。前記第１の物体は、人物である。前記追従部は、前記人物の骨格点の追従軌跡を生成する。前期推定部は、前記人物の片手に含まれる骨格点のみの状態変化イベントが発生する片手領域と、前記人物の両手の骨格点の状態変化イベントが発生する両手領域と、を含む前記判定領域を推定する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態の推定装置の機能構成の例を示す図。

【図2】第１実施形態の状態変化イベントの検出例を示す図。

【図3】第１実施形態の判定領域の推定方法の例を示す図。

【図4】第１実施形態の判定領域における判定方法の例を示す図。

【図5】第１実施形態の推定・判定処理の例を示すフローチャート。

【図6】第２実施形態の推定装置の機能構成の例を示す図。

【図7】第２実施形態の判定領域における判定方法の例を示す図。

【図8】第２実施形態の推定・判定処理の例を示すフローチャート。

【図9】第３実施形態の推定装置の機能構成の例を示す図。

【図10】第３実施形態の組み立て作業の例について説明するための図。

【図11】第３実施形態の組み立て作業の例について説明するための図。

【図12】第３実施形態の推定・判定処理の例について説明するための図。

【図13】第３実施形態の推定・判定処理の例について説明するための図。

【図14】第３実施形態の推定・判定処理の例を示すフローチャート。

【図15】第４実施形態の推定装置の機能構成の例を示す図。

【図16】第４実施形態の表示情報の例１について説明するための図。

【図17】第４実施形態の表示情報の例２について説明するための図。

【図18】第４実施形態の表示情報の例３について説明するための図。

【図19】第４実施形態の表示情報の例４について説明するための図。

【図20】第４実施形態の表示情報の例５について説明するための図。

【図21】第１乃至第４実施形態の推定装置のハードウェア構成の例を示す図。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、推定装置、推定方法及びプログラムの実施形態を詳細に説明する。

【0009】

（第１実施形態）
はじめに、第１実施形態の推定装置の概要について説明する。第１実施形態の推定装置１００は、例えば、出入口を撮影した監視カメラにより撮像された画像を使用して、入退室の人数をカウントするために用いられる。出入口は、部屋の出入り口でもよいし、エレベータなどでもよい。なお、第１実施形態の推定装置に入力される画像は、出入口付近を示す画像領域から人物が現れたり、人物が映らなくなったりする画像領域を含む画像であれば、任意の画像でよい。

【0010】

推定装置は、例えば人物を追従し、追従軌跡が出現する場面では、人物がドアなどから撮影範囲に入ってきたと判定し、消失する場合は、ドアなどから人物が出て行ったと判定する。推定装置は、例えば追従軌跡が出現、消失する領域を推定し、判定領域として用いる。推定装置は、判定領域に追従軌跡が重なった場合や、判定領域内で追従軌跡が例えば出現又は消失する場合に、追従軌跡をカウントすることで、入退室者のカウントをする。

【0011】

［機能構成の例］
図１は第１実施形態の推定装置１００の機能構成の例を示す図である。第１実施形態の推定装置１００は、追従部１、抽出部２、推定部３及び判定部４を備える。

【0012】

≪各部の概要≫
追従部１は、画像に映る物体を時系列方向に追従し、追従軌跡を出力する。

【0013】

抽出部２は、追従軌跡から出現、消失などの状態変化があった物体の位置を示す座標を抽出する。物体の位置を示す座標は、例えば検出された物体を特定する領域の位置を示す座標等である。例えば、物体を特定する領域は、物体を内包する矩形である。

【0014】

推定部３は、抽出部で抽出された矩形や座標が集中する領域を、判定領域として推定する。

【0015】

判定部４は、判定領域内で、物体の追従軌跡を判定する。

【0016】

≪各部の詳細≫
追従部１は、例えばカメラで撮像された映像等の時系列画像を取得し、当該画像から物体を検出し、当該物体を時系列方向に対応付けることで追従する。追従部１は、例えば、非特許文献１に示されている追従方法を用いる。第１実施形態では、人物を追従する例を示すが、追従対象の物体は人物に限られない。

【0017】

抽出部２は、追従軌跡の出現、消失、屈曲又は滞留を示す状態変化イベントを検出し、当該状態変化イベントが発生した物体の座標を抽出する。

【0018】

図２は第１実施形態の状態変化イベントの検出例を示す図である。図２は、出入口２０２で、追従軌跡２０１の出現又は消失（状態変化イベントの例）が発生している場合を示す。図２の例では、抽出部２は、追従部１により生成された複数の追従軌跡２０１から、人物の出現及び消失が起こる時点、つまり、追従軌跡２０１の開始点を含む矩形の位置を示す座標と、追従軌跡２０１の終了点を含む矩形の位置を示す座標を抽出する。

【0019】

なお、抽出部２は、開始点だけではなく、開始点の複数フレーム後の点を含む矩形の位置を示す座標を含む矩形の位置を示す座標をあわせて抽出してもよい。同様に、抽出部２は、終了点だけではなく、終了点の複数フレーム前の点を含む矩形の位置を示す座標をあわせて抽出してもよい。

【0020】

また、抽出部２は、事前に設定されたマスク領域からは矩形を抽出しないことで、誤った領域を生成しないようにしてもよい。同様に、抽出部２は、画像端では、追従軌跡２０１が途切れるため、画像端では、状態変化イベントの抽出を行わないようにしてもよい。

【0021】

さらに、追従部１が、複数種別の物体を追従し、抽出対象である物体以外の物体が検出されている場合、抽出部２は、当該物体付近では、抽出を行わないようにしてもよい。そして、抽出部２は、判定処理の対象となる物体と、判定処理の対象となる物体とは種別の異なる物体との距離が閾値よりも小さい場合、状態変化イベントの検出を行わない。これによって、例えば、人物が車の後ろを通る場合に追従軌跡２０１が途切れ、車付近に判定領域が生成されることを防ぐことができる。

【0022】

推定部３は、抽出された矩形を用いてクラスタリングを行う。クラスタリングの方法は、矩形をクラスタに分割できる方法であれば、任意でよい。推定部３は、例えば、Ｍｅａｎ－ｓｈｉｆｔクラスタリング法によってクラスタリングを行う。

【0023】

クラスタリングの距離指標には、矩形の中心座標間の距離や、矩形の重なり率などが用いられる。

【0024】

推定部３は、クラスタリングによって生成されたクラスタに含まれる矩形（以下、「サンプル矩形」という。）から判定領域を生成することによって、判定領域を推定する。なお、サンプル矩形は、矩形に限らず、任意の形のサンプル領域でよい。

【0025】

図３は第１実施形態の判定領域の推定方法の例を示す図である。例えば、推定部３は、追従軌跡２０１の出現に対応するサンプル矩形２０３、及び、追従軌跡２０１の消失に対応するサンプル矩形２０４の左上座標の平均値と、当該サンプル矩形２０３及び２０４の右下座標の平均値とによって決定される領域を、判定領域２０５として生成する。推定部３は、判定部４で取りこぼしが少なくなるように、サンプル矩形２０３及び２０４から生成された判定領域２０５に、一定の割合で拡大処理をしてもよい。

【0026】

また例えば、推定部３は、複数のサンプル矩形２０３及び２０４を内包するようにして、判定領域２０５を生成してもよい。具体的には、例えば推定部３は、複数のサンプル矩形２０３及び２０４の中央座標を用いて、画像上での中央座標の分布を内包するように判定領域２０５を生成してもよい。

【0027】

また例えば、推定部３は、画像をグリッド状に区切り、中央座標や矩形領域を各グリッドに投票することで、座標が集中するグリッドを抽出し、抽出されたグリッドを判定領域２０５として推定してもよい。

【0028】

図４は第１実施形態の判定領域２０５における判定方法の例を示す図である。判定部４は、追従軌跡２０１と判定領域２０５とを用いて、物体の侵入、及び、状態変化イベントの発生の少なくとも一方の判定を行う。

【0029】

例えば、判定部４は、判定領域２０５に対して、追従軌跡２０１に対応する物体（第１実施形態では人物）の検出矩形２０６ａ～２０６ｃの重なり率を求め、重なり率があらかじめ設定されている閾値より大きい場合、判定領域２０５に侵入したと判定する。

【0030】

なお、判定方法は、重なり率以外にも、検出矩形２０６ａ～２０６ｃの中央座標が判定領域２０５に内包される場合に侵入していると判定する方法でもよい。また例えば、追従軌跡２０１の状態変化イベントが判定領域２０５内で発生したか否かのみを判定してもよい。図４の例では、追従軌跡２０１が出現した物体の検出矩形２０６ａと、追従軌跡２０１が消失した物体の検出矩形２０６ｂ及び２０６ｃとが、判定領域２０５内での判定に用いられている。

【0031】

判定部４は、判定領域２０５が推定された後に、新たに追従が開始された追従軌跡２０１を対象としてもよいし、判定領域２０５を推定するために用いた追従軌跡２０１も判定の対象に含めてもよい。

【0032】

最後に、判定部４は、判定領域２０５内への侵入を検知した場合、侵入状態を検知したことを出力する。また、判定部４は、侵入した回数をカウントし、回数を出力してもよい。さらに、判定部４は、判定領域２０５内での状態変化イベントを判定して、その回数をカウントする場合に、状態変化イベントの種類（出現、消失、屈曲又は滞留）ごとにカウントを分けてもよい。

【0033】

［推定・判定処理の例］
図５は第１実施形態の推定・判定処理の例を示すフローチャートである。はじめに、追従部１が、時系列画像に含まれる物体を検出し、当該物体の追従軌跡２０１を生成する（ステップＳ１）。次に、抽出部２が、追従軌跡２０１の出現、消失、屈曲又は滞留を示す状態変化イベントを検出し、当該状態変化イベントが発生した物体の座標（例えば物体を内包する検出矩形２０６の位置を示す座標）を抽出する（ステップＳ２）。

【0034】

次に、推定部３が、ステップＳ２で抽出された座標に基づいて判定領域２０５を推定する（ステップＳ３）。次に、判定部４が、判定領域２０５の外から判定領域２０５内へ物体が侵入したか否かを判定する処理、及び、判定領域２０５内での状態変化イベントが発生したか否かを判定する処理の少なくとも一方を行う（ステップＳ４）。

【0035】

以上、説明したように、第１実施形態の推定装置１００によれば、解析対象の画像領域（第１実施形態の説明では、判定領域２０５）をより高精度に推定することができる。例えば、出入口２０２を出入りする人物の数を、人手で判定領域２０５を設定することなく、自動で高精度に推定された判定領域２０５で人物のカウント等の解析をすることができる。

【0036】

従来は、計数ラインを人手で設定する必要があったり、計数ラインを人手で設定しやすいように推奨領域を提示する必要があったりした。従来の技術では、例えば追従軌跡２０１が重複して通過する領域を求めており、追従軌跡２０１から１点を選べないため、計数ラインの通過で人数をカウントするという性質上、自動的に判定すべき計数ラインを決定することが難しかった。

【0037】

一方、第１実施形態の推定装置１００によれば、追従軌跡２０１の状態変化イベントが起こった座標を収集し、状態変化イベントが起こる座標が集中する領域を、判定領域２０５として求めることで、自動的に判定領域２０５を推定することができる。

【0038】

人物を追従し、追従軌跡２０１が出現する場面では、人物がドアなどから撮影範囲に入ってきたことを判断でき、消失する場合は、ドアなどから人物が出て行ったことを判断できる。追従軌跡２０１が出現、消失する領域は出入口があることが推定でき、その領域を用いて、入退室人数のカウントをすることが可能である。

【0039】

また、例えば、作業台を撮像した映像で、人の手を追従したときに、追従軌跡２０１が屈曲する場面では、離れたところにある部品を取得したと判断でき、追従軌跡２０１が滞留する場面では、手元の作業領域で部品を組み付けていると判断することができる。追従軌跡２０１が屈曲、滞留する領域は部品領域や手元の作業領域であると推定でき、その領域を用いて手の位置や追従軌跡２０１を判定することで、組み立て作業などの作業分析を行うことが可能である。

【0040】

なお、人の手を追従する場合の動作の詳細については、第３実施形態で説明する。

【0041】

このように、追従軌跡２０１の中から状態が変化する座標を収集し、集中する領域を求めることで、出入口領域や作業分析に必要な領域を推定することができ、人手で領域を設定することなく、計数化が可能である。

【0042】

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

【0043】

第２の実施形態では、追従部１で複数種別の物体の検出と、当該物体の追従をすることで、車などの動いている物体への乗降者数の計測する例について説明する。

【0044】

追従部１では、例えばバスと人といった種別の違う物体の検出を行い、それぞれの物体の追従を行う。

【0045】

［機能構成の例］
図６は第２実施形態の推定装置１００－２の機能構成の例を示す図である。第２実施形態の推定装置１００－２は、追従部１、抽出部２、推定部３、第１の判定部４及び第２の判定部５を備える。第１の判定部４は、第１実施形態の判定部４に対応し、第２実施形態では、第２の判定部５が新たに追加されている。

【0046】

まず、第２実施形態の追従部１は、人物などの第１の物体と、バスなどの第２の物体とをそれぞれ検出し、それぞれの物体を追従する。

【0047】

第２の判定部５は、第２の物体の追従軌跡２０１の時系列の動き量を算出し、閾値以下の時間が一定以上になった場合、第２の物体は静止していると判定する。

【0048】

抽出部２は、第２の判定部５により第２の物体が静止したと判定された場合、第２の物体の検出領域内、または第２の物体の検出領域の周辺で、追従軌跡２０１の状態変化イベントが発生した第１の物体の座標の抽出を行う。

【0049】

推定部３は、第１の物体を判定対象として、第１実施形態と同様に、判定領域２０５の推定処理を行う。

【0050】

図７は第２実施形態の判定領域２０５ａ及び２０５ｂにおける判定方法の例を示す図である。判定領域２０５ａ及び２０５ｂは、検出矩形２０６ｄ及び２０６ｅにより検出された第１の物体（図７の例では、人物）の追従軌跡２０１の状態変化イベントが発生したか否かが判定される領域である。検出矩形２０７は、第２の物体（図７の例では、バス）が検出された領域である。なお、検出矩形２０７は、矩形に限らず、任意の形の領域でよい。

【0051】

第１の判定部４は、判定領域２０５ａ及び２０５ｂ内で、追従軌跡２０１が消失した場合は第２の物体に乗車、追従軌跡２０１が出現した場合は降車したとして、別々にカウントを行う。

【0052】

第２の判定部５は、第２の物体の追従軌跡２０１における時系列の動き量を算出し、動き量が閾値より大きい時間が一定以上になったとき、第２の物体が静止した状態から動き出したと判定する。

【0053】

推定部３は、第２の物体が静止した状態から動き出した場合、判定領域２０５ａ及び２０５ｂを消去する。

【0054】

これによって、例えばバスが出発したときに、不要となった判定領域２０５ａ及び２０５ｂを削除することができる。

【0055】

［推定・判定処理の例］
図８は第２実施形態の推定・判定処理の例を示すフローチャートである。はじめに、追従部１が、時系列画像に含まれる第１及び第２の物体を検出し、当該第１及び第２の物体の追従軌跡２０１を生成する（ステップＳ２１）。

【0056】

次に、抽出部２が、追従軌跡２０１の出現、消失、屈曲又は滞留を示す状態変化イベントを検出し、当該状態変化イベントが発生した第１及び第２の物体の座標を抽出する（ステップＳ２）。

【0057】

次に、第２の判定部５が、第２の物体の追従軌跡２０１の滞留から、第２の物体の静止を判定する（ステップＳ２３）。

【0058】

次に、推定部３が、状態変化イベント（図７の例では、出現及び消失）が発生した第１の物体の座標に基づいて判定領域２０５を推定する（ステップＳ２４）。

【0059】

次に、第１の判定部４が、判定領域２０５の外から判定領域２０５内へ物体が侵入したか否かを判定する処理、及び、判定領域２０５内での状態変化イベント（図７の例では、出現及び消失）が発生したか否かを判定する処理の少なくとも一方を行う（ステップＳ２５）。

【0060】

次に、第２の判定部５が、第２の物体の追従軌跡２０１における時系列の動き量を算出し、動き量が閾値より大きい時間が一定以上になったか否かによって、第２の物体の運動開始を判定する（ステップＳ２６）。

【0061】

次に、推定部３が、第２の物体の運動が開始した場合、すなわち第２の物体が静止した状態から動き出した場合、判定領域２０５を消去する（ステップＳ２７）。

【0062】

以上、説明したように、第２実施形態の推定装置１００－２は、バスなどの第２の物体に対して、乗降を行うために静止したタイミングで判定領域２０５を生成し、出発したタイミングで、判定領域２０５を削除する。これにより、例えばバスごとに乗降人数を計測することができる。

【0063】

また、第２実施形態の推定装置１００－２は、第２の物体の静止状態を判定して、判定領域２０５を生成するので、任意の動く第２の物体に対しても、人数をカウントすることができる。画像に画一な領域でしか判定ができない従来の課題を解決することができる。

【0064】

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

【0065】

第３実施形態では、人物の骨格点を追従することで、作業分析に用いる判定領域（作業領域）の推定を行う例について説明する。

【0066】

［機能構成の例］
図９は第３実施形態の推定装置１００－３の機能構成の例を示す図である。第３実施形態の推定装置１００－３は、追従部１、抽出部２、推定部３及び判定部４を備える。

【0067】

追従部１は、人物の検出を行うとともに、当該人物の骨格点の検出を行う。骨格点の検出には、例えば非特許文献２で示される方法が用いられる。追従部１は、人物を追従し、その人物の骨格点を検出することで、各骨格点を追従する。

【0068】

抽出部２は、手の骨格点の追従軌跡２０１について、屈曲を示す状態変化イベントと、滞留を示す状態変化イベントがあった手の位置を示す座標を抽出する。

【0069】

図１０及び図１１は、第３実施形態の組み立て作業の例について説明するための図である。具体的には、抽出部２は、手の骨格点２０８の追従軌跡２０１のうち３フレームを１組として取り出し、フレームｔ－１の骨格点Ａとフレームｔの骨格点Ｂとを結ぶ線分と、フレームｔの骨格点Ｂとフレームｔ＋１の骨格点Ｃとを結ぶ線分のなす角θを算出する。

【0070】

そして、抽出部２は、線分のなす角θが、閾値より小さければ、手の骨格点２０８の追従軌跡２０１の屈曲を検出する。

【0071】

なす角θの算出については、骨格点２０８の検出位置の誤差の影響を軽減するために、屈曲判定をするフレームから数フレーム前後の座標を用いてもよい。

【0072】

滞留については、抽出部２は、手の骨格点２０８の時系列での動き量を算出し、閾値より小さい時間が一定以上であるなら、手の骨格点２０８の追従軌跡２０１の滞留を検出する。

【0073】

組み立て作業は両手で行うことが多いため、滞留に関しては、抽出部２は、左手の骨格点２０８と、右手の骨格点２０８とが、同時に滞留した場合に、滞留を検出してもよい。

【0074】

また、抽出部２は、両手の距離を算出し、当該距離が一定以下である場合のみ、滞留を検出してもよい。さらに、抽出部２は、長時間滞留している場合は、他の作業の待ち状態であることが考えられるため、滞留時間が一定以上になった場合は、滞留の状態変化イベントとして検出しなくてもよい。

【0075】

図１２及び図１３は、第３実施形態の推定・判定処理の例について説明するための図である。

【0076】

例えば、組み立て作業であれば、離れたところにある部品領域から部品が取得され、手元の作業領域で部品の組付けが繰り返される。部品領域から部品が取得されるとき、手の骨格点２０８の追従軌跡２０１は、手元領域から部品領域へ伸びた後に、部品を取得して手元領域に戻るような軌跡となり、追従軌跡２０１の屈曲位置に部品領域があると判定できる。また、手の追従軌跡２０１が滞留する場所は手元での組み立て作業領域であると判定できる。

【0077】

推定部３は、第１実施形態と同様にして、抽出部２により抽出された手の骨格点２０８の屈曲を示す座標から、部品領域を示す判定領域２０５－１～２０５－３を推定する。また、推定部３は、抽出部２により抽出された手の骨格点２０８の滞留を示す座標から、手元の作業領域を示す判定領域２０５－４を推定する。

【0078】

なお、滞留に関しては、推定部３は、滞留時の両手の骨格点２０８の座標（図１１参照）を内包するように、判定領域２０５－４を推定してもよい。この場合、例えば推定部３は、人物の片手に含まれる骨格点２０８のみの状態変化イベントが発生する片手領域として、判定領域２０５－１～２０５－３を推定し、人物の両手の骨格点２０８の状態変化イベントが発生する両手領域として判定領域２０５－４を推定する。

【0079】

判定部４は、複数の判定領域２０５－１～２０５－４に対する手の侵入、手の骨格点２０８の追従軌跡２０１の屈曲、滞留を判定する。これにより、判定部４は、部品の取得回数（判定領域２０５－１～２０５－３への侵入回数）や取得時間、取得順序の誤り検出、作業領域（判定領域２０５－４）での作業時間などを計測する。

【0080】

また、判定部４は、判定領域２０５－１～２０５－４に順番を設定し、その順番通りに手が侵入しているかを判定してもよい。判定部４は、追従した手の軌跡をもとに、判定領域２０５－１～２０５－４に侵入する順番を求めて、自動的に判定領域２０５－１～２０５－４の順番を設定してもよい。

【0081】

判定部４は、複数の追従軌跡２０１のうち、侵入する判定領域２０５－１～２０５－４の順番が異なる場合は、例えば図１２のように、平均的な順番（判定領域２０５－４→判定領域２０５－１→判定領域２０５－４→判定領域２０５－２→判定領域２０５－４→判定領域２０５－３→判定領域２０５－４）を採用してもよい。

【0082】

さらに判定部４は、例えば図１３に示すように、平均的な手の侵入順序から逸脱している場合（判定領域２０５－４→判定領域２０５－１→判定領域２０５－４→判定領域２０５－３→判定領域２０５－４）、手順ミスを検出し、エラーを出力する。

【0083】

［推定・判定処理の例］
図１４は第３実施形態の推定・判定処理の例を示すフローチャートである。はじめに、追従部１が、時系列画像に含まれる手の骨格点２０８を検出し、当該手の骨格点２０８の追従軌跡２０１を生成する（ステップＳ３１）。次に、抽出部２が、追従軌跡２０１の屈曲又は滞留を示す状態変化イベントを検出し、当該状態変化イベントが発生した手の骨格点２０８の座標を抽出する（ステップＳ３２）。

【0084】

次に、推定部３が、ステップＳ３２で抽出された座標に基づいて判定領域２０５を推定する（ステップＳ３３）。

【0085】

次に、判定部４が、判定領域２０５の外から判定領域２０５内へ物体が侵入したか否かを判定する処理、及び、判定領域２０５内での状態変化イベントが発生したか否かを判定する処理を行う（ステップＳ３４）。これにより、判定部４は、部品の取得回数や取得時間、取得順序の誤り検出、作業領域での作業時間などを計測する。

【0086】

以上、説明したように、第３実施形態によって、組み立て作業での部品領域や作業領域を人手で設定することなく、作業時間の時間計測を可能とする。

【0087】

なお、追従する物体は人物以外でもよく、例えば、駐車場に設置されたカメラ画像に映る車を追従する場合は、長時間滞留する場所を駐車領域として、判定領域２０５を推定し、車の侵入判定をすることで、駐車場の駐車割合計測や満車判定をすることができる。

【0088】

（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

【0089】

第４実施形態では、判定領域２０５の表示や、判定領域２０５のパラメータ設定、判定結果などの表示を行う場合について説明する。

【0090】

［機能構成の例］
図１５は第４実施形態の推定装置１００－４の機能構成の例を示す図である。第４実施形態の推定装置１００－４は、追従部１、抽出部２、推定部３、第１の判定部４、第２の判定部５、表示部６及び入力部７を備える。第４実施形態では、表示部６及び入力部７が新たに追加されている。

【0091】

表示部６は、判定領域２０５の修正、判定領域２０５の有効又は無効の選択、並びに、判定領域２０５の削除等の操作を受け付ける表示情報を表示する。

【0092】

入力部７は、表示情報に表示された入力欄及びチェックボックス等に対する入力操作を受け付ける。

【0093】

図１６は第４実施形態の表示情報の例１について説明するための図である。図１６は、判定領域２０５を表示する表示情報の例を示す。図１６の例では、表示部６は、カメラ画像に重畳する形で、判定領域２０５を表示する。表示部６は、判定領域２０５が矩形でない場合は、楕円などの形で判定領域２０５を表示してもよい。また、表示部６は、推定に利用された追従軌跡２０１の状態変化イベントが発生した座標２０９を合わせて表示してもよい。

【0094】

判定領域２０５の表示ＧＵＩは、領域の修正、削除、有効／無効選択などのボタンを含む。

【0095】

領域の修正では、例えば、判定領域２０５が矩形であれば、左上の座標と右上の座標の位置をＧＵＩで調整できるようにすることで矩形位置を修正できるようにする。

【0096】

判定領域の削除では、判定領域２０５を選択するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって、削除対象の判定領域２０５を選択できるようにし、削除ボタンを押すことでその領域を削除できるようにする。そのとき、表示部６は、判定領域２０５の推定に利用された追従軌跡２０１の状態変化イベントが発生した座標２０９も表示情報から削除してもよい。

【0097】

有効／無効の選択では、判定領域２０５の選択し、有効／無効のボタンを押すことで、有効無効状態をトグルさせる。または、表示部６は、選択されたときに有効であるか無効であるかをチェックボックスなどの形式で画面に表示し、ユーザーからチェックボックスの選択を受け付けて、切り替えるようにしてもよい。

【0098】

図１６に示すような表示情報によって、判定領域２０５の確認ができ、誤って推定された判定領域２０５をユーザーによって修正、削除及び選択ができるようになる。

【0099】

図１７は第４実施形態の表示情報の例２について説明するための図である。図１７は、判定領域２０５のパラメータを設定するＧＵＩの例を示す。まず、表示部６は、ユーザーからの領域選択２１０を受け付け、その判定領域２０５に設定されているパラメータを表示する。

【0100】

表示部６は、追従軌跡２０１を判定するためのパラメータとして、出現、消失、屈曲及び滞留などなどの状態変化イベントをチェックボックスで選択できるようにする表示情報を表示する。

【0101】

第１の判定部４は、チェックされた状態変化イベントが判定領域２０５内で起きた場合に、判定処理を行う。

【0102】

また、表示部６は、状態変化イベントを用いずに、検出された人物の検出領域が、判定領域２０５と重なった場合に判定処理をする設定を有効にするチェックボックスを更に含む表示情報を表示してもよい。

【0103】

第１の判定部４において、判定領域２０５に、人物の検出領域が侵入したか否かを判定する際に、領域（例えば矩形）の重なり率で判定する場合は、その重なり率の閾値をＧＵＩから設定できるようにしてもよい。

【0104】

また、表示部６は、領域を区別するために、領域名を入力するＧＵＩを表示してもよい。

【0105】

図１７に示すような表示情報によって、判定領域２０５における判定方法を、ユーザーが望む判定方法に調整できるようになる。

【0106】

図１８は第４実施形態の表示情報の例３について説明するための図である。図１８は、判定領域２０５における判定処理をしている際に表示される表示情報の例を示す。図１８の例では、判定領域２０５に名前を表示し、別途その領域の状態を表す表示をする。領域の状態として表示する情報は、状態変化イベントごとのカウント数や侵入を検知しているか否かなどである。また、表示部６は、検知された状態変化イベントを表示してもよい。また、表示部６は、侵入を検知している判定領域２０５については、強調表示をするようにしてもよい。

【0107】

また、表示部６は、判定領域２０５に加えて、人物の検出結果や追従結果を表示してもよい。また、表示部６は、過去の履歴として、過去に侵入を検知した画像と、検知結果（例えば「入室」）とを時刻とともに表示してもよい。

【0108】

図１８に示すような表示情報によって、リアルタイムに判定状況をユーザーに表示することができる。

【0109】

図１９は第４実施形態の表示情報の例４について説明するための図である。図１９は、バスなどの移動物体の検出領域（検出矩形２０７）から判定領域２０５ａ及び２０５ｂを求めて、人物の侵入を検知する場合の表示例を示す。図１８と異なるのは、表示部６が、移動物体に対する検出矩形２０７と、その状態（例えば「停車中」）を表示している点である。また、表示部６は、カウントなどの判定結果の表示にも移動物体の状態（「停車中」及び「出発」等）を表示している。

【0110】

図１９に示すような表示情報によって、リアルタイムに判定状況をユーザーに表示することができる。

【0111】

図２０は第４実施形態の表示情報の例５について説明するための図である。図２０は、作業分析における処理結果の表示例を示す。表示部６は、作業分析向けの表示では、作業状態を表すメッセージスペースに、手の侵入順序を示した表示を行う。

【0112】

また、表示部６は、平均作業時間や、手元作業時間、作業回数なども表示する。平均作業時間は、手の侵入順序が一巡するまでの平均時間を示す。手元作業時間は、手元の作業エリアに、両手が入った状態の時間を示す。作業回数は、手の侵入順序が一巡した回数を示す。

【0113】

また、表示部６は、部品領域（判定領域２０５－１～２０５－３）への手の侵入の順序において、順序通りでない場合に、作業ミスを検知した旨を表示する。図２０の例のように、順序通りでない侵入を判定領域２０５－３で検知した場合、表示部６は、順序がとばされた判定領域２０５－２に作業ミスを検知した旨のメッセージと強調表示を行う。また、表示部６は、作業状態を表すメッセージスペースにも同様の表示を行う。

【0114】

表示部６は、作業時間や作業回数を、画像の撮像時刻と合わせて、グラフとして一覧表示してもよい。

【0115】

図１９に示すような表示情報によって、各作業における作業時間が可視化され、作業におけるボトルネックが明らかになるとともに、作業ミスの検知を行うことができる。

【0116】

最後に、第１乃至第４実施形態の推定装置１００～１００－４のハードウェア構成の例について説明する。

【0117】

［ハードウェア構成の例］
図１３は第１乃至第４実施形態の推定装置１００～１００－４のハードウェア構成の例を示す図である。

【0118】

推定装置１００～１００－４は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信ＩＦ３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信ＩＦ３０６は、バス３１０を介して接続されている。

【0119】

制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、メモリカード等である。

【0120】

表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、推定装置１００～１００－４して動作させるコンピュータを操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。なお、表示装置３０４及び入力装置３０５は、推定装置１００～１００－４と接続可能な外部の管理端末等の表示機能及び入力機能を利用してもよい。

【0121】

通信ＩＦ３０６は、他の装置と通信するためのインタフェースである。

【0122】

コンピュータで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

【0123】

またコンピュータで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコンピュータで実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

【0124】

またコンピュータで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0125】

コンピュータで実行されるプログラムは、上述の推定装置１００～１００－４の機能構成（機能ブロック）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。

【0126】

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

【0127】

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

【0128】

また第１乃至第４実施形態の推定装置１００～１００－４の動作形態は任意でよい。第１乃至第４実施形態の推定装置１００～１００－４を、例えばネットワーク上のクラウドシステムを構成する装置として動作させてもよい。

【0129】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0130】

１ 追従部
２ 抽出部
３ 推定部
４ 判定部（第１の判定部）
５ 第２の判定部
６ 表示部
７ 入力部
１００ 推定装置
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信ＩＦ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】