特許 7239120 物品判別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-03-06

(45)【発行日】2023-03-14

(54)【発明の名称】物品判別システム

(51)【国際特許分類】

   G06V 10/74 20220101AFI20230307BHJP

   G06V 10/56 20220101ALI20230307BHJP

   G06V 10/62 20220101ALI20230307BHJP

【ＦＩ】

G06V10/74

G06V10/56

G06V10/62

【請求項の数】 13

(21)【出願番号】P 2022097098

(22)【出願日】2022-06-16

【審査請求日】2023-01-06

【早期審査対象出願】

(73)【特許権者】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】木村 大介

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２００７－２１６３８１（ＪＰ，Ａ）

【文献】特開２０２１－１８４５４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／７４

Ｇ０６Ｖ １０／５６

Ｇ０６Ｖ １０／６２

(57)【特許請求の範囲】

【請求項1】

サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、
複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、
前記学習部を参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別システム。

【請求項2】

前記登録部は、物品を、更にその色彩と紐づけて登録可能であり、
前記第２の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、
前記判別部は、前記登録部を参照して、前記第２の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することを特徴とする請求項１に記載の物品判別システム。

【請求項3】

前記学習部は、前記第１の検出部により検出された動きを更に前記サンプル人物の体格情報と紐づけて学習し、
前記第２の検出部は、前記対象映像に映った対象人物の体格を更に検出し、
前記抽出部は、前記学習部を参照して、前記第２の検出部により検出された動き及び体格の両方に対応する物品情報を抽出することを特徴とする請求項１に記載の物品判別システム。

【請求項4】

前記学習部は、前記第１の検出部により検出された動きを更に前記サンプル人物の姿勢と紐づけて学習し、
前記第２の検出部は、前記対象映像に映った対象人物の姿勢を更に検出し、
前記抽出部は、前記学習部を参照して、前記第２の検出部により検出された動き及び姿勢の両方に対応する物品情報を抽出することを特徴とする請求項１に記載の物品判別システム。

【請求項5】

前記抽出された物品情報を短期記憶情報として記憶可能な短期記憶部を更に備え、
前記抽出された物品情報が前記短期記憶部に記憶されている短期記憶情報から所定以上変化した場合に、前記短期記憶情報は前記短期記憶部から消去されることを特徴とする請求項１に記載の物品判別システム。

【請求項6】

物品を、その物品情報と紐づけて登録可能なコンピュータに実行させるプログラムであって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記検出されたサンプル人物の体の対象部分の動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記コンピュータに登録された物品とその物品情報との紐づけデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。

【請求項7】

物品を、その物品情報と紐づけて登録可能なコンピュータで実行される方法であって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記検出されたサンプル人物の体の対象部分の動き動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記コンピュータに登録された物品とその物品情報との紐づけデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。

【請求項8】

サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、を有する学習装置と通信可能な物品判別装置であって、
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、
前記学習部を参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別装置。

【請求項9】

サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータに実行させるプログラムであって、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記コンピュータに登録された物品とその物品情報との紐づけデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。

【請求項10】

サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータで実行される方法であって、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記コンピュータに登録された物品とその物品情報との紐づけデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。

【請求項11】

サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、
複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、
を備え、
物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、前記学習部を参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有する物品判別装置と通信可能であることを特徴とする学習装置。

【請求項12】

コンピュータに実行させるプログラムであって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記検出されたサンプル人物の体の対象部分の動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習するステップと、
を備え、
物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、前記学習するステップで得られたデータを参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有する物品判別装置と通信可能であることを特徴とする学習プログラム。

【請求項13】

コンピュータで実行される方法であって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記検出されたサンプル人物の体の対象部分の動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習するステップと、
を備え、
物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、前記学習するステップで得られたデータを参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有する物品判別装置と通信可能であることを特徴とする学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムに関する。

【背景技術】

【0002】

従来より、時系列データに映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を認識する装置が知られている。（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５２５１７９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、例えば、人間が物品を“持ち上げる”という行動を認識することは可能であるが、どのような物品を持ち上げているかを認識するためには、物品自体を認識するための構成が別途必要になってしまう。

【0005】

物品自体を認識するための構成としては、例えば、物品ごとにシルエット等を登録しておき、シルエット等が一致するか否かを判別する等が考えられるが、この場合、物品の向きに応じて何十～何百通りものシルエットを登録しておき、その中から上記判別を行うこととなってしまうので、コンピュータにかかる負荷が大幅に増大してしまう。

【0006】

そこで、本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明は、サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第１の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第１の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第２の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第２の検出部と、前記学習部を参照して、前記第２の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を備えたことを特徴とする物品判別システムを提供している。

【0008】

このような構成によれば、対象人物の体の対象部分の動きを検出することで対象人物が移動させた対象物品を判別することができるので、対象物品自体を検出する必要がなく、これにより、コンピュータにかかる負荷が大幅に低減される。また、個別の物品について学習を行う必要がなく、動作の学習を行うだけよいので、この点においても、コンピュータにかかる負荷が大幅に低減される。

【0009】

また、前記登録部は、物品を、更にその色彩と紐づけて登録可能であり、前記第２の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、前記判別部は、前記登録部を参照して、前記第２の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することが好ましい。

【0010】

このような構成によれば、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品の色彩を検出していることとなるので、登録部に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品を高精度に判別することが可能となる。

【0011】

また、前記学習部は、前記第１の検出部により検出された動きを更に前記サンプル人物の体格情報と紐づけて学習し、前記第２の検出部は、前記対象映像に映った対象人物の体格を更に検出し、前記抽出部は、前記学習部を参照して、前記第２の検出部により検出された動き及び体格の両方に対応する物品情報を抽出することが好ましい。

【0012】

このような構成によれば、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。

【0013】

また、前記学習部は、前記第１の検出部により検出された動きを更に前記サンプル人物の姿勢と紐づけて学習し、前記第２の検出部は、前記対象映像に映った対象人物の姿勢を更に検出し、前記抽出部は、前記学習部を参照して、前記第２の検出部により検出された動き及び姿勢の両方に対応する物品情報を抽出することが好ましい。

【0014】

このような構成によれば、姿勢に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。

【0015】

また、前記抽出された物品情報を短期記憶情報として記憶可能な短期記憶部を更に備え、前記抽出された物品情報が前記短期記憶部に記憶されている短期記憶情報から所定以上変化した場合に、前記短期記憶情報は前記短期記憶部から消去されることが好ましい。

【0016】

このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が所定以上変化した場合には、対象物品が変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。

【0017】

また、本発明の別の観点によれば、上記物品判別システムに対応する物品判別プログラム、物品判別方法、上記判別システムに含まれる物品判別装置（物品判別プログラム、及び、物品判別方法）、及び、学習装置（学習プログラム、及び、学習方法）を提供している。

【発明の効果】

【0018】

本発明の物品判別システムによれば、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施の形態による物品判別システムの使用環境の説明図

【図2】本発明の実施の形態による物品判別システムのブロック図

【図3】本発明の実施の形態による物品判別のフローチャート

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態による物品判別システム１について、図１－図３を参照して説明する。

【0021】

物品判別システム１は、図１に示すように、撮影手段Ｘによって撮影された対象映像Ｙ（図１では、映像を構成するフレーム）に映った対象人物Ｚが移動させた対象物品Ｐを判別するためのものである。本実施の形態では、対象人物Ｚが対象物品Ｐ（図１では、鈍器（バット））を持ち上げる際の対象映像Ｙを用いて、当該対象物品Ｐ（物品名）を判別する例を用いて説明を行う。また、本実施の形態では、対象人物Ｚとして人間を採用し、理解容易のため、対象人物Ｚを骨格だけで簡易的に表示する。

【0022】

物品判別システム１は、図２に示すように、学習装置２と、判別装置３と、を備えており、学習装置２によって学習されたデータを参照して、判別装置３が、対象人物Ｚが移動させた対象物品Ｐ（物品名）を判別する。

【0023】

学習装置２は、第１の記憶部２１と、第１の取得部２２と、第１の検出部２３と、学習部２４と、を備えている。

【0024】

第１の記憶部２１には、“関節識別基準”と、“行動体識別基準”と、が記憶されている。

【0025】

“関節識別基準”は、人間の複数の関節を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

【0026】

“行動体識別基準”は、人間の様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節の可動域“、一の人間における”各関節間の距離“等を示したものである。

【0027】

第１の取得部２２は、サンプル人物Ｚ１がサンプル物品Ｐ１を移動させる際のサンプル映像Ｙ１を取得する。例えば、犯罪防止を目的として物品判別システム１を使用する場合には、鈍器やナイフを持ち上げる動作に関するサンプル映像Ｙ１を取得する。但し、物品判別システム１の使用目的を限定することなく様々なサンプル映像Ｙ１を取得してもよい。

【0028】

第１の検出部２３は、サンプル映像Ｙ１に映ったサンプル人物Ｚ１の体の対象部分の動きを検出する。図１の例では、サンプル人物Ｚ１が鈍器を持ち上げる際の手や腕の動きを検出することとなる。

【0029】

サンプル人物Ｚ１の検出に当たっては、まず、サンプル映像Ｙ１に映ったサンプル人物Ｚ１を特定する。

【0030】

本実施の形態では、第１の記憶部２１に記憶された“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一のサンプル人物Ｚ１に含まれる複数の関節を特定する。

【0031】

学習部２４は、複数のサンプル人物Ｚ１及び複数のサンプル物品Ｐ１に関して、第１の検出部２３により検出された動きをサンプル物品Ｐ１の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけて学習する。

【0032】

これは、学習部２４が、ある重さ、形状、サイズの物品を移動させる場合に、サンプル人物Ｚ１がどのような動き（移動軌跡、速度、加速度、関節角度の変化等）をするかを学習することを意味している。特に、重力、遠心力等により加速度が生じる場合に、動きに大きな特徴が現れる。

【0033】

サンプル物品Ｐ１の重さ、形状、及び、サイズとしては、予め計測しておいたものを紐づければよい。

【0034】

また、本実施の形態では、学習部２４は、第１の検出部２３により検出された動きを更にサンプル人物Ｚ１の体格情報と紐づけて学習する。

【0035】

これは、同じ物品を移動させる場合であっても、サンプル人物Ｚ１の体格によって、その動き（移動軌跡、速度、加速度、関節角度の変化等）が異なることを考慮したものである。

【0036】

体格情報は、サンプル人物Ｚ１の身長や背格好をユーザが入力してもよいし、第１の検出部２３がサンプル人物Ｚ１の身長や背格好まで検出し、検出された身長や背格好を体格情報として用いてもよい。

【0037】

上記した学習は、様々な重さ、形状、及び、サイズを有するサンプル物品Ｐ１、及び、様々な体格情報を有するサンプル人物Ｚ１に対して行われることが好ましい。

【0038】

判別装置３は、登録部３１と、第２の記憶部３２と、第２の取得部３３と、第２の検出部３４と、抽出部３５と、判別部３６と、短期記憶部３７と、を備えている。

【0039】

登録部３１は、物品を、その物品情報（重さ、形状、及び、サイズの少なくとも１つを含む）と紐づけて登録可能である。

【0040】

例えば、犯罪防止を目的とする場合には、“金属バット”、“ナイフ”等の一般名称や、それらの型式を、その物品情報と紐づけて登録しておくことが考えられる。

【0041】

本実施の形態では、更に物品を、その色彩と紐づけて登録可能なものとする。

【0042】

物品の色彩は、単に“赤”、“青”のようにユーザが入力してもよいし、検出部等により検出した色彩の特徴量を登録してもよい。

【0043】

第２の記憶部３２には、第１の記憶部２１と同様に、“関節識別基準”と、“行動体識別基準”と、が記憶されている。

【0044】

第２の取得部３３は、対象人物Ｚが対象物品Ｐを移動させる際の対象映像Ｙを取得する。

【0045】

第２の検出部３４は、対象映像Ｙに映った対象人物Ｚの体の対象部分の動きを検出する。本実施の形態では、第１の検出部２３と同様の方法で検出を行うものとする。

【0046】

また、本実施の形態では、第２の検出部３４は、対象人物Ｚの対象部分に接し、対象人物Ｚの動きに連動して動く部分の色彩を更に検出する。

【0047】

図１の例では、対象人物Ｚの手（対象部分）に握られているバット（対象物品Ｐ）が、“対象人物Ｚの対象部分に接し、対象人物Ｚの動きに連動して動く部分”に相当するので、バットの色彩を検出することとなる。

【0048】

また、本実施の形態では、第２の検出部３４は、対象映像Ｙに映った対象人物Ｚの体格を更に検出する。体格としては、大まかな身長だけでもよいし、関節やシルエット等を検出することで背格好まで検出してもよい。

【0049】

抽出部３５は、学習部２４を参照して、第２の検出部３４により検出された動きに対応する物品情報を抽出する。

【0050】

これは、対象人物Ｚが対象物品Ｐを移動させる動きに応じて、移動させている対象物品Ｐの重さ、形状、サイズを推定していることを意味する。

【0051】

なお、抽出する物品情報は１つに限定されず、複数の候補を抽出してもよい。

【0052】

また、本実施の形態では、抽出部３５は、学習部２４を参照して、第２の検出部３４により検出された動き及び体格の両方に対応する物品情報を抽出するものとする。

【0053】

これにより、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。

【0054】

判別部３６は、登録部３１を参照して、抽出された物品情報に対応する物品を対象物品Ｐと判別する。

【0055】

これは、予め登録されている物品の中から、対象人物Ｚの動きに対応した物品情報を有する物品を選択することで、対象人物Ｚが移動させた対象物品Ｐを判別していることを意味する。

【0056】

本実施の形態では、判別部３６は、登録部３１を参照して、第２の検出部３４により検出された色彩、及び、抽出された物品情報の両方に対応する物品を対象物品Ｐと判別する。

【0057】

これにより、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品Ｐの色彩を検出していることとなるので、登録部３１に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品Ｐを高精度に判別することが可能となる。

【0058】

なお、必ずしも、抽出された物品情報は、登録されている物品情報と正確に一致するとは限らないので、「所定の一致度を有していれば一致している」として判別を行うことが好ましい。また、対象物品Ｐと判別する物品は１つに限定されず、複数の候補を出力してもよい。

【0059】

短期記憶部３７は、抽出された物品情報を短期記憶情報として記憶可能であり、抽出された物品情報が短期記憶部３７に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部３７から消去される。

【0060】

これは、持ち上げる対象物品Ｐが変更されると、短期記憶情報が消去されることを意味している。

【0061】

本実施の形態では、抽出された物品情報以外にも、第２の検出部３４により検出された動きを短期記憶情報として記憶可能であり、抽出された物品情報が短期記憶部３７に記憶されている短期記憶情報から所定以上変化した場合に、第２の検出部３４により検出された動きも短期記憶部３７から消去される。短期記憶部３７からの消去は、抽出部３５が行ってもよいし、その他の制御部等が行ってもよい。

【0062】

このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が短期記憶部３７に記憶されている短期記憶情報から所定以上変化した場合には、対象物品Ｐが変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。

【0063】

上記構成を有する物品判別システム１は、様々な用途で利用することが可能である。例えば、犯罪防止を目的とする場合、対象人物Ｚが保持している鈍器やナイフを判別することで、事件や事故の発生を未然に防止することが可能となる。同様に、物品の窃盗を判別することも可能である。また、物品判別システム１は、見守りの目的で利用することも可能である。例えば、別室にいる幼児が保持しているものを判別することで、危険性のある物品を保持していることを発見することが可能となる。更に、物品判別システム１は、福祉の目的で使用することも可能である。例えば、バスに乗り込む高齢者が重い物品を保持していることを判別すれば、早めに介助に向かうことなどが可能となる。

【0064】

続いて、図３のフローチャートを用いて、物品判別システム１による物品の判別について説明する。

【0065】

物品の判別は、“学習段階”と“判別段階”の２段階で行われる。

【0066】

（１）学習段階

【0067】

学習段階では、まず、サンプル映像Ｙ１が取得されると（Ｓ１）、サンプル映像Ｙ１に映ったサンプル人物Ｚ１の体の対象部分の動きが検出される（Ｓ２）。

【0068】

続いて、Ｓ２で検出された動きをサンプル物品Ｐ１の重さ、形状、及び、サイズの少なくとも１つを含む物品情報と紐づけた学習が行われる（Ｓ３）。この際、Ｓ２で検出された動きを更にサンプル人物Ｚ１の体格情報と紐づけて学習が行われることが好ましい。

【0069】

Ｓ１及びＳ２は、異なる複数のサンプル映像Ｙ１に対して行われ、多数のサンプル人物Ｚ１及び多数のサンプル物品Ｐ１に関して学習が行われることが好ましい。

【0070】

（２）検出段階

【0071】

続いて、検出段階では、まず、対象映像Ｙが取得されると（Ｓ４）、対象映像Ｙに映った対象人物Ｚの体の対象部分の動きが検出される（Ｓ５）。この際、対象人物Ｚの対象部分に接し、対象人物Ｚの動きに連動して動く部分の色彩が更に検出されることが好ましい。また、対象映像Ｙに映った対象人物Ｚの体格が更に検出されることが好ましい。

【0072】

続いて、Ｓ３の学習によって得られたデータを参照して、Ｓ５で検出された動きに対応する物品情報が抽出される（Ｓ６）。この際、Ｓ３の学習によって得られたデータを参照して、Ｓ５で検出された動き及び体格の両方に対応する物品情報が抽出されることが好ましい。

【0073】

なお、Ｓ５で検出された動き、及び、Ｓ６で抽出された物品情報は、それぞれ短期記憶情報として短期記憶部３７に記憶される。

【0074】

続いて、登録部３１を参照して、抽出された物品情報に対応する物品が対象物品Ｐであると判別される（Ｓ７）。この際、検出された色彩、及び、抽出された物品情報の両方に対応する物品が対象物品Ｐであると判別されることが好ましい。

【0075】

なお、登録部３１への物品情報等の登録は、遅くともＳ７までには行われている必要がある。

【0076】

連続して判別を行う場合には、Ｓ４－Ｓ７までのステップを繰り返すこととなるが、Ｓ６で抽出された物品情報が短期記憶部３７に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部３７から消去される。

【0077】

以上説明したように、本実施の形態による物品判別システム１では、予め登録されている物品の中から、対象人物Ｚの動きに対応した物品情報を有する物品を選択することで、対象人物Ｚが移動させた対象物品Ｐを判別する。

【0078】

このような構成によれば、対象人物Ｚの体の対象部分の動きを検出することで対象人物Ｚが移動させた対象物品Ｐを判別することができるので、対象物品Ｐ自体を検出する必要がなく、これにより、コンピュータにかかる負荷が大幅に低減される。また、個別の物品について学習を行う必要がなく、動作の学習を行うだけよいので、この点においても、コンピュータにかかる負荷が大幅に低減される。

【0079】

また、本実施の形態による物品判別システム１では、登録部３１を参照して、第２の検出部３４により検出された色彩、及び、抽出された物品情報の両方に対応する物品を対象物品Ｐと判別する。

【0080】

このような構成によれば、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品Ｐの色彩を検出していることとなるので、登録部３１に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品Ｐを高精度に判別することが可能となる。

【0081】

また、本実施の形態による物品判別システム１では、学習部２４を参照して、第２の検出部３４により検出された動き及び体格の両方に対応する物品情報を抽出する。

【0082】

このような構成によれば、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。

【0083】

また、本実施の形態による物品判別システム１では、抽出された物品情報が短期記憶部３７に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部３７から消去される。

【0084】

このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が所定以上変化した場合には、対象物品Ｐが変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。

【0085】

尚、本発明の物品判別システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0086】

例えば、上記実施の形態では、対象人物Ｚが対象物品Ｐを持ち上げる動きを検出したが、持ち運ぶ・振り上げる・振り下ろす等の他の動きを検出してもよい。また、物品情報と紐づけられる対象部分の動きは、腕の動きに限定されない。例えば、対象部分を足にすれば、どのような重さ、形状、及び、サイズを有する物品を蹴ったのかを判別することも可能である。

【0087】

また、上記実施の形態では、サンプル人物Ｚ１（対象人物Ｚ）の検出に当たって、まず、サンプル映像Ｙ１（対象映像Ｙ）に映ったサンプル人物Ｚ１（対象人物Ｚ）を特定したが、必ずしも人物を特定する必要はなく、例えば、手や腕だけ検出するだけでも本発明の物品判別は可能である。

【0088】

また、対象人物Ｚの姿勢によって力の入りやすさも異なり、それにより対象部分の動きも異なってくることが考えられる。従って、より高精度に物品を判別するために、物品情報の抽出に当たり、対象人物Ｚの姿勢を考慮してもよい。なお、この場合には、例えば、学習段階において、公知の方法を用いて、第１の検出部２３が、サンプル映像Ｙ１に映ったサンプル人物Ｚ１の姿勢を推定し、学習部２４において物品情報と紐づけて学習しておき、判別段階において、学習によって得られたデータを参照して、第２の検出部３４により動き及び姿勢の両方に対応する物品情報を抽出すればよい。

【0089】

また、上記実施の形態では、第１の記憶部２１と第２の記憶部３２、第１の取得部２２と第２の取得部３３、及び、第１の検出部２３と第２の検出部３４は、学習装置２と判別装置３にそれぞれ設けられていたが、これらは共通して使用されてもよい。また、学習装置２と判別装置３は一体であってもよい。これらの場合も本発明の範囲に含まれる。更に、登録部３１は、判別装置３と別体であってもよい。

【0090】

また、学習装置２においてデータ（多数の行動）がある程度蓄積した後は、判別装置３のみを作動させることも可能である。

【0091】

また、本実施の形態による物品の判別は、対象映像Ｙに対してリアルタイムで行うのが効果的ではあるが、物品判別システム１の使用目的によっては録画した対象映像Ｙに対して後から行ってもよい。

【0092】

また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出してもよい。

【0093】

また、本発明は、コントローラとしての第１の取得部２２、第１の検出部２３、学習部２４、第２の取得部３３、第２の検出部３４、抽出部３５、及び、判別部３６が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0094】

１ 物品判別システム
２ 学習装置
３ 判別装置
２１ 第１の記憶部
２２ 第１の取得部
２３ 第１の検出部
２４ 学習部
３１ 登録部
３２ 第２の記憶部
３３ 第２の取得部
３４ 第２の検出部
３５ 抽出部
３６ 判別部
３７ 短期記憶部

【要約】      （修正有）

【課題】映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別する物品判別システムを提供する。
【解決手段】物品判別システムにおける物品判別方法は、学習段階と判別段階を含む。学習段階においては、サンプル人物Ｚ１がサンプル物品Ｐ１を移動させる際のサンプル映像Ｙ１からサンプル人物Ｚ１の体の対象部分の動きを検出し、複数のサンプル人物Ｚ１及び複数のサンプル物品Ｐ１に関して、検出された動きをサンプル物品Ｐ１の重さ、形状及びサイズの少なくとも１つを含む物品情報と紐づけて学習する。物品はその物品情報と紐づけて登録しておく。判別段階では、対象人物Ｚが対象物品Ｐを移動させる際の対象映像Ｙから対象人物Ｚの体の対象部分の動きを検出し、学習されたデータを参照して、検出された動きに対応する物品情報を抽出し、登録されたデータを参照して、抽出された物品情報に対応する物品を対象物品Ｐと判別する。
【選択図】図３

【図1】

【図2】

【図3】