特開 2023-182085 行動認識装置、学習装置、および行動認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182085

(43)【公開日】2023-12-26

(54)【発明の名称】行動認識装置、学習装置、および行動認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231219BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 350B

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022095486

(22)【出願日】2022-06-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】根尾 敦

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA04

5L096EA13

5L096EA33

5L096EA39

5L096FA33

5L096FA60

5L096FA66

5L096FA67

5L096FA69

5L096GA30

5L096GA51

5L096HA11

5L096KA04

5L096MA07

(57)【要約】

【課題】形状の一部が欠損した認識対象の複数種類の行動を高精度に認識する場合に、記憶容量の低減および行動認識の高速化を図ること。
【解決手段】行動認識装置は、多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる学習対象に関する成分群と、学習対象の行動と、を用いて学習された行動分類モデルにアクセス可能であり、解析対象データから認識対象の形状を検出し、認識対象の形状のうち欠損箇所の位置を示す欠損位置情報を生成し、非欠損情報から欠損箇所を補間し、補間後の非欠損情報を認識対象の形状として更新し、成分分析により、補間された認識対象の形状に基づいて、学習対象に関する成分群と同数の認識対象に関する成分群を生成し、行動分類モデルに、生成された認識対象に関する成分群と、欠損位置情報と、を入力することにより、認識対象の行動を示す認識結果を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、
多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる前記学習対象に関する成分群と、前記学習対象の行動と、を用いて学習された行動分類モデルにアクセス可能であり、
前記プロセッサは、
解析対象データから認識対象の形状を検出する検出処理と、
前記検出処理によって検出された前記認識対象の形状のうち欠損箇所の位置を示す欠損位置情報を生成する欠損位置情報生成処理と、
前記欠損箇所を含む前記認識対象の形状のうち前記欠損箇所以外の箇所である非欠損情報から前記欠損箇所を補間し、補間後の前記非欠損情報を前記認識対象の形状として更新する補間処理と、
前記成分分析により、前記補間処理によって補間された前記認識対象の形状に基づいて、前記学習対象に関する成分群と同数の前記認識対象に関する成分群を生成する成分分析処理と、
前記行動分類モデルに、前記成分分析処理によって生成された前記認識対象に関する成分群と、前記欠損位置情報と、を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、
を実行することを特徴とする行動認識装置。

【請求項2】

請求項１に記載の行動認識装置であって、
前記行動認識処理では、前記プロセッサは、前記解析対象データの取得元の環境を示す環境情報と、前記認識対象に関する成分群と、前記学習対象の行動と、前記欠損位置情報とを、前記行動分類モデルに入力することにより、前記認識対象の行動を示す認識結果を出力する、
ことを特徴とする行動認識装置。

【請求項3】

請求項１に記載の行動認識装置であって、
前記行動分類モデルは、多変量解析で統計的な成分を生成する次元削減により前記学習対象の形状から得られる前記学習対象に関する第１変数からの昇順の成分群と、前記学習対象の行動と、を用いて学習されており、
前記成分分析処理では、前記プロセッサは、前記次元削減により、前記補間処理によって補間された前記認識対象の形状に基づいて、前記学習対象に関する第１変数からの昇順の成分群と同数の前記認識対象に関する第１変数からの昇順の成分群を生成する、
ことを特徴とする行動認識装置。

【請求項4】

請求項１に記載の行動認識装置であって、
前記行動分類モデルは、前記学習対象の形状および前記形状を構成する複数の頂点の角度から得られる前記学習対象に関する成分群と、前記学習対象の行動と、を用いて学習されており、
前記プロセッサは、
前記認識対象の形状に基づいて、前記認識対象の形状を構成する複数の頂点の角度を算出する算出処理を実行し、
前記成分分析処理では、前記プロセッサは、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の頂点の角度と、に基づいて、前記認識対象に関する成分群を生成する、
ことを特徴とする行動認識装置。

【請求項5】

請求項１に記載の行動認識装置であって、
前記行動分類モデルは、前記学習対象の形状および前記学習対象の移動量から得られる前記学習対象に関する成分群と、前記学習対象の行動と、を用いて学習されており、
前記プロセッサは、
前記認識対象の異なる時点の複数の形状に基づいて、前記認識対象の移動量を算出する算出処理を実行し、
前記成分分析処理では、前記プロセッサは、前記認識対象の形状と、前記算出処理によって算出された前記認識対象の移動量と、に基づいて、前記認識対象に関する成分群を生成する、
ことを特徴とする行動認識装置。

【請求項6】

請求項１に記載の行動認識装置であって、
前記プロセッサは、
前記認識対象の形状の大きさを正規化する第１正規化処理を実行し、
前記成分分析処理では、前記プロセッサは、前記第１正規化処理による正規化後の前記認識対象の形状に基づいて、前記認識対象に関する成分群を生成する、
ことを特徴とする行動認識装置。

【請求項7】

請求項１に記載の行動認識装置であって、
前記プロセッサは、前記認識対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、
前記成分分析処理では、前記プロセッサは、前記第２正規化処理による第２正規化後の前記認識対象の形状および頂点の角度に基づいて、前記認識対象に関する成分群を生成する、
ことを特徴とする行動認識装置。

【請求項8】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、
前記プロセッサは、
学習対象の形状および行動を含む教師データを取得する取得処理と、
前記取得処理によって取得された前記学習対象の形状を欠損させる欠損処理と、
前記欠損処理によって前記学習対象の形状から欠損させた欠損箇所の位置を示す欠損位置情報を生成する欠損位置情報生成処理と、
前記学習対象の形状のうち前記欠損処理によって欠損させた前記欠損箇所以外の箇所である非欠損情報から補間し、補間後の前記非欠損情報を前記学習対象の形状として更新する補間処理と、
多変量解析で統計的な成分を生成する成分分析により、前記補間処理によって補間された前記学習対象の形状に基づいて、前記学習対象に関する成分群を生成する成分分析処理と、
前記成分分析処理によって生成された前記学習対象に関する成分群と、前記学習対象の行動と、前記欠損位置情報と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、
を実行することを特徴とする学習装置。

【請求項9】

請求項８に記載の学習装置であって、
前記プロセッサは、前記学習対象の形状に基づいて、前記学習対象の形状を構成する複数の頂点の角度を算出する算出処理を実行し、
前記成分分析処理では、前記プロセッサは、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の頂点の角度と、に基づいて、前記学習対象に関する成分群を生成する、
ことを特徴とする学習装置。

【請求項10】

請求項８に記載の学習装置であって、
前記プロセッサは、前記学習対象の異なる時点の複数の形状に基づいて、前記学習対象の移動量を算出する算出処理を実行し、前記成分分析処理では、前記プロセッサは、前記学習対象の形状と、前記算出処理によって算出された前記学習対象の移動量と、に基づいて、前記学習対象に関する成分群を生成する、
ことを特徴とする学習装置。

【請求項11】

請求項８に記載の学習装置であって、
前記プロセッサは、前記学習対象の形状の大きさを正規化する第１正規化処理を実行し、前記成分分析処理では、前記プロセッサは、前記第１正規化処理による第１正規化後の前記学習対象の形状に基づいて、前記学習対象に関する成分群を生成する、
ことを特徴とする学習装置。

【請求項12】

請求項９に記載の学習装置であって、
前記プロセッサは、前記学習対象の形状および頂点の角度が取りうる値域を正規化する第２正規化処理を実行し、前記成分分析処理では、前記プロセッサは、前記第２正規化処理による第２正規化後の前記学習対象の形状および頂点の角度に基づいて、前記学習対象に関する成分群を生成する、
ことを特徴とする学習装置。

【請求項13】

請求項８に記載の学習装置であって、
前記欠損処理では、前記プロセッサは、前記学習対象の形状のうち特定の箇所を欠損させる、
ことを特徴とする学習装置。

【請求項14】

請求項８に記載の学習装置であって、
前記取得処理では、前記プロセッサは、前記学習対象の形状を取得した際の環境情報を取得し、
前記行動学習処理では、前記プロセッサは、前記学習対象に関する成分群と、前記学習対象の行動と、前記欠損位置情報と、前記環境情報と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する、
ことを特徴とする学習装置。

【請求項15】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置が実行する行動認識方法であって、
多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる前記学習対象に関する成分群と、前記学習対象の行動と、を用いて学習された行動分類モデルにアクセス可能であり、
前記プロセッサは、
解析対象データから認識対象の形状を検出する検出処理と、
前記検出処理によって検出された前記認識対象の形状のうち欠損箇所の位置を示す欠損位置情報を生成する欠損位置情報生成処理と、
前記欠損箇所を含む前記認識対象の形状のうち前記欠損箇所以外の箇所である非欠損情報から前記欠損箇所を補間し、補間後の前記非欠損情報を前記認識対象の形状として更新する補間処理と、
前記成分分析により、前記補間処理によって補間された前記認識対象の形状に基づいて、前記学習対象に関する成分群と同数の前記認識対象に関する成分群を生成する成分分析処理と、
前記行動分類モデルに、前記成分分析処理によって生成された前記認識対象に関する成分群と、前記欠損位置情報と、を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、
を実行することを特徴とする行動認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、行動認識装置、学習装置、および行動認識方法に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特許文献１は、認識対象の複数種類の行動を高精度に認識する行動認識装置を開示する。この行動認識装置は、多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる成分群と、学習対象の行動と、を用いて、成分群ごとに学習された行動分類モデル群にアクセス可能であり、解析対象データから認識対象の形状を検出し、成分分析により、認識対象の形状に基づいて、１以上の成分と、成分の各々の寄与率と、を生成し、各々の寄与率から得られる累積寄与率に基づいて、１以上の成分の各々の次元を示す序数を決定し、決定された次元を示す序数の成分を１以上含む特定の成分群と同じ成分群で学習された特定の行動分類モデルを、行動分類モデル群から選択し、特定の行動分類モデルに特定の成分群を入力することにより、認識対象の行動を示す認識結果を出力する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４３９７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１は、行動分類モデル群から特定の行動分類モデルを選択して行動認識する技術であり、１つの行動分類モデルを駆使して行動認識する点については、考慮されていない。

【0005】

本発明は、形状の一部が欠損した認識対象の複数種類の行動を高精度に認識する場合に、記憶容量の低減および行動認識の高速化を図ることを目的とする。

【課題を解決するための手段】

【0006】

本願において開示される発明の一側面となる行動認識装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する行動認識装置であって、多変量解析で統計的な成分を生成する成分分析により学習対象の形状から得られる前記学習対象に関する成分群と、前記学習対象の行動と、を用いて学習された行動分類モデルにアクセス可能であり、前記プロセッサは、解析対象データから認識対象の形状を検出する検出処理と、前記検出処理によって検出された前記認識対象の形状のうち欠損箇所の位置を示す欠損位置情報を生成する欠損位置情報生成処理と、前記欠損箇所を含む前記認識対象の形状のうち前記欠損箇所以外の箇所である非欠損情報から前記欠損箇所を補間し、補間後の前記非欠損情報を前記認識対象の形状として更新する補間処理と、前記成分分析により、前記補間処理によって補間された前記認識対象の形状に基づいて、前記学習対象に関する成分群と同数の前記認識対象に関する成分群を生成する成分分析処理と、前記行動分類モデルに、前記成分分析処理によって生成された前記認識対象に関する成分群と、前記欠損位置情報と、を入力することにより、前記認識対象の行動を示す認識結果を出力する行動認識処理と、を実行することを特徴とする。

【0007】

本願において開示される発明の一側面となる学習装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する学習装置であって、前記プロセッサは、学習対象の形状および行動を含む教師データを取得する取得処理と、前記取得処理によって取得された前記学習対象の形状を欠損させる欠損処理と、前記欠損処理によって前記学習対象の形状から欠損させた欠損箇所の位置を示す欠損位置情報を生成する欠損位置情報生成処理と、前記学習対象の形状のうち前記欠損処理によって欠損させた前記欠損箇所以外の箇所である非欠損情報から補間し、補間後の前記非欠損情報を前記学習対象の形状として更新する補間処理と、多変量解析で統計的な成分を生成する成分分析により、前記補間処理によって補間された前記学習対象の形状に基づいて、前記学習対象に関する成分群を生成する成分分析処理と、前記成分分析処理によって生成された前記学習対象に関する成分群と、前記学習対象の行動と、前記欠損位置情報と、に基づいて、前記学習対象の行動を学習して、前記学習対象の行動を分類する行動分類モデルを生成する行動学習処理と、を実行することを特徴とする。

【発明の効果】

【0008】

本発明の代表的な実施の形態によれば、形状の一部が欠損した認識対象の複数種類の行動を高精度に認識する場合に、記憶容量の低減および行動認識の高速化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例１にかかる行動認識システムのシステム構成例を示す説明図である。

【図2】図２は、コンピュータのハードウェア構成例を示すブロック図である。

【図3】図３は、学習データの一例を示す説明図である。

【図4】図４は、実施例１にかかる行動認識システムの機能的構成例を示すブロック図である。

【図5】図５は、骨格情報処理部の詳細な機能的構成例を示すブロック図である。

【図6】図６は、関節角度算出部が実行する関節角度の詳細な算出方法を示す説明図である。

【図7】図７は、移動量算出部が実行するフレーム間の移動量の詳細な算出方法の例を示す説明図である。

【図8】図８は、正規化部が実行する骨格情報の正規化の詳細な手法を示す説明図である。

【図9】図９は、教師信号ＤＢが保持する教師信号の詳細な例を示す説明図である。

【図10】図１０は、教師信号を入力データとして主成分分析部が生成した主成分を、主成分空間上にプロットした例を示す説明図である。

【図11】図１１は、主成分分析部および欠損位置情報生成部が、行動学習部に出力するデータを示す説明図である。

【図12】図１２は、行動学習部が行動を学習し、行動認識部が行動を分類するための詳細な手法を示す説明図である。

【図13】図１３は、主成分分析部が次元数決定の際に用いる累積寄与率の推移を示すグラフである。

【図14】図１４は、実施例１にかかるサーバ（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。

【図15】図１５は、実施例１にかかる骨格情報処理の詳細な処理手順例を示すフローチャートである。

【図16】図１６は、実施例１にかかるクライアント（行動認識装置）による行動認識処理手順例を示すフローチャートである。

【図17】図１７は、実施例２にかかる行動認識システムの機能的構成例を示すブロック図である。

【図18】図１８は、実施例３にかかる教師信号ＤＢが保持する教師信号の詳細な例を示す説明図である。

【図19】図１９は、実施例３にかかる主成分分析部および欠損位置情報生成部が、行動学習部に出力するデータを示す説明図である。

【図20】図２０は、実施例３にかかる行動認識システムの機能的構成例を示すブロック図である。

【図21】図２１は、実施例３にかかるクライアント（行動認識装置）による行動認識処理手順例を示すフローチャートである。

【図22】図２２は、実施例４にかかる骨格情報処理部の機能的構成例を示すブロック図である。

【図23】図２３は、実施例４にかかる骨格情報処理部の詳細な処理手順例を示すフローチャートである。

【図24】図２４は、実施例５にかかる行動認識システムの機能的構成例を示すブロック図である。

【図25】図２５は、実施例６にかかる行動認識システムの機能的構成例を示すブロック図である。

【図26】図２６は、行動学習部および行動認識部が行動を分類するための基礎となる手法である決定木を示す説明図である。

【図27】図２７は、決定木による分類の詳細な展開方法を示す説明図である。

【図28】図２８は、アンサンブル学習と、行動学習部と行動認識部が行動を分類するために用いる手法を示す説明図である。

【図29】図２９は、実施例７にかかる行動認識システムの機能的構成例を示すブロック図である。

【図30】図３０は、実施例７にかかるサーバ（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明に係る実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

【0011】

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0012】

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

【実施例0013】

＜行動認識システム＞
図１は、実施例１にかかる行動認識システムのシステム構成例を示す説明図である。行動認識システム１００は、サーバ１０１と、１台以上のクライアント１０２と、を有する。サーバとクライアントとは、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク１０５を介して通信可能に接続される。サーバ１０１は、クライアント１０２を管理するコンピュータである。クライアント１０２は、センサ１０３に接続され、センサ１０３からのデータを取得するコンピュータである。

【0014】

センサ１０３は、解析環境から解析対象データを検出する。センサ１０３は、たとえば、静止画または動画を撮像するカメラである。また、センサ１０３は、音声や匂いを検出してもよい。教師信号ＤＢ１０４は、学習データ（人の骨格情報）と行動情報（たとえば、「立つ」、「倒れる」といった人の姿勢や動作）との組み合わせを教師信号として保持するデータベースである。教師信号ＤＢ１０４は、サーバ１０１に記憶されていてもよく、サーバ１０１またはクライアント１０２とネットワーク１０５を介して通信可能なコンピュータに接続されていてもよい。

【0015】

行動認識システム１００は、教師信号ＤＢ１０４を用いた学習機能と、学習機能により得られた行動分類モデルを用いた行動認識機能と、を有する。行動分類モデルとは、人や動物などの認識対象の行動を分類するための学習モデルである。学習機能および行動認識機能は、行動認識システム１００に実装されていれば、サーバ１０１およびクライアント１０２のいずれに実装されていてもよい。たとえば、サーバ１０１が学習機能を実装し、クライアント１０２が行動認識機能を実装してもよい。また、サーバ１０１が学習機能および行動認識機能を実装し、クライアント１０２は、センサ１０３からのデータをサーバ１０１に送信したり、サーバ１０１からの行動認識機能による行動認識結果を受け付けたりしてもよい。

【0016】

また、クライアント１０２が学習機能および行動認識機能を実装し、サーバ１０１は、クライアント１０２からの行動分類モデルや行動認識結果を管理してもよい。なお、学習機能を実装するコンピュータを学習装置と称し、学習機能および行動認識機能のうち少なくとも行動認識機能を実装するコンピュータを行動認識装置と称す。また、図１では、クライアントサーバ型の行動認識システム１００を例に挙げたが、スタンドアロン型の行動認識装置でもよい。実施例１では、説明の便宜上、サーバ１０１が学習機能を実装し（学習装置）、クライアント１０２が行動認識機能を実装した（行動認識装置）行動認識システム１００を例に挙げて説明する。

【0017】

＜コンピュータのハードウェア構成例＞
図２は、コンピュータ（サーバ１０１、クライアント１０２）のハードウェア構成例を示すブロック図である。コンピュータ２００は、プロセッサ２０１と、記憶デバイス２０２と、入力デバイス２０３と、出力デバイス２０４と、通信インターフェース（通信ＩＦ）２０５と、を有する。プロセッサ２０１、記憶デバイス２０２、入力デバイス２０３、出力デバイス２０４、および通信ＩＦ２０５は、バス２０６により接続される。プロセッサ２０１は、コンピュータ２００を制御する。記憶デバイス２０２は、プロセッサ２０１の作業エリアとなる。また、記憶デバイス２０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス２０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス２０３は、データを入力する。入力デバイス２０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス２０４は、データを出力する。出力デバイス２０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ２０５は、ネットワーク１０５と接続し、データを送受信する。

【0018】

＜学習データ＞
図３は、学習データの一例を示す説明図である。学習データ３８０は、対象者ごとに骨格情報３２０と、関節角度３７０と、により構成される。骨格情報３２０は、センサ１０３から取得した解析対象データを基に検出される。関節角度３７０は、骨格情報３２０を基に算出される。対象者一人分の学習データ３８０は、たとえば、その対象者が被写体となる複数の時系列なフレームの各々から得られる骨格情報３２０および関節角度３７０の組み合わせにより構成される。

【0019】

骨格情報３２０は、複数（本例では１８個）の骨格点３００～３１７の各々について、名前３２１と、ｘ軸におけるｘ座標値３２２と、ｘ軸に直交するｙ軸におけるｙ座標値３２３と、を有する。関節角度３７０も、複数（本例では１８個）の骨格点３００～３１７の各々について、名前３７１を有する。なお、名前３７１において、∠ａ－ｂ－ｃ（ａ，ｂ，ｃは骨格点の名前３２１）は、線分ａｂと線分ｂｃとのなす骨格点ｂの関節角度３７０である。なお、骨格情報３２０は、たとえば、指の関節を含んでもよい。また、関節角度３７０も、これら以外の関節角度３７０を含んでもよい。

【0020】

なお、図３では、骨格点３００～３１７の座標値を２次元の位置情報（ｘ座標値およびｙ座標値の組み合わせ）としたが、３次元の位置情報としてもよい。具体的には、たとえば、ｘ軸およびｙ軸に直交するｚ軸（たとえば、奥行き方向）におけるｚ座標値が追加されてもよい。

【0021】

＜行動認識システム１００の機能的構成例＞
図４は、実施例１にかかる行動認識システム１００の機能的構成例を示すブロック図である。サーバ１０１は、教師信号取得部４０１と、欠損発生部４０２と、欠損制御部４２１と、欠損位置情報生成部４２２と、欠損情報補間部４２３と、骨格情報処理部４０３と、主成分分析部４０４と、行動学習部４０６と、を有する。クライアント１０２は、骨格検出部４５１と、欠損位置情報生成部４６２と、欠損情報補間部４６１と、骨格情報処理部４５３と、主成分分析部４５４と、行動認識部４５７と、を有する。

【0022】

これらは、具体的には、たとえば、図２に示した記憶デバイス２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより実現される。まず、サーバ１０１側の機能的構成例について説明する。

【0023】

教師信号取得部４０１は、教師信号ＤＢ１０４から取得した教師信号について学習に用いる教師信号を単数、または複数取得して、選択した教師信号を欠損発生部４０２に出力する。教師信号における骨格情報３２０は、骨格点の欠損が１つもない非欠損情報である。

【0024】

欠損制御部４２１は、乱数、または予め定めた数に従って、欠損させる骨格点を設定し、欠損発生情報として、欠損発生部４０２と、欠損位置情報生成部４２２と、に出力する。欠損させる骨格点の数は、単数、複数、または欠損させないことを示す０の場合もある。ここで予め定めた数とは、たとえば、後述する骨格検出部４５１が、センサ１０３から取得した解析対象データに映る人の骨格情報３２０を検出する際に検出漏れの可能性が高い骨格位置を示す数とする。

【0025】

欠損発生部４０２は、教師信号取得部４０１から取得した教師信号の内、骨格情報３２０に対して欠損発生情報に従い骨格点を欠損させる。欠損発生部４０２は、欠損後（欠損させる骨格点が０個の場合も含む）の骨格情報３２０を教師信号内の骨格情報３２０として更新する。またノイズ耐性を強くするため、骨格点を欠損させる際に骨格情報３２０に対して、欠損させない骨格点の位置をずらすようなノイズを加えて、骨格情報３２０を更新してもよい。欠損した単数または複数の骨格情報３２０を「欠損情報」と表記する。

【0026】

そして、欠損発生部４０２は、欠損させた骨格点の名前３２１および位置情報（ｘ座標値３２２、ｙ座標値３２３）である欠損情報を含む教師信号を、欠損情報補間部４２３に出力する。

【0027】

欠損情報補間部４２３は、欠損情報を、欠損していない骨格情報３２０から補間する。欠損していない単数または複数の骨格情報３２０を非欠損情報と表記する。

【0028】

具体的には、たとえば、欠損情報補間部４２３は、非欠損情報の内、欠損情報の骨格点と連結されていた骨格点または欠損情報の骨格点に近い位置にある骨格点から、欠損情報を補間してもよい。

【0029】

また、欠損情報補間部４２３は、欠損情報に対して予め定めた位置情報を代入してもよい。また、欠損情報補間部４２３は、これまでに取得した別のフレームの骨格情報３２０について欠損情報を含むと判断された骨格情報３２０の欠損情報を用いて補間してもよい。このように、欠損情報の補間手法は限定されない。欠損情報補間部４２３は、補間した骨格情報３２０を骨格情報処理部４０３に出力する。

【0030】

欠損位置情報生成部４２２は、欠損制御部４２１からの欠損発生情報より、欠損させた骨格点の位置情報を欠損位置情報として、行動学習部４０６に出力する。

【0031】

骨格情報処理部４０３は、欠損情報補間部４２３による補間後の骨格情報３２０を処理する。具体的には、たとえば、骨格情報処理部４０３は、取得した補間後の教師信号の内、骨格情報３２０から関節角度３７０とフレーム間の移動量とを算出する。また、骨格情報処理部４０３は、骨格情報３２０に対して絶対的な位置情報を除外し、骨格情報３２０の大きさが一定となる正規化を実行する。そして、骨格情報処理部４０３は、関節角度３７０と、フレーム間の移動量と、正規化した骨格情報３２０と、を主成分分析部４０４に出力する。

【0032】

図５は、骨格情報処理部４０３，４５３の詳細な機能的構成例を示すブロック図である。骨格情報処理部４０３，４５３は、関節角度算出部５０１と、移動量算出部５０２と、正規化部５０３と、を有する。

【0033】

関節角度算出部５０１は、取得した教師信号の内、補間後の骨格情報３２０から関節角度３７０を算出し、移動量算出部５０２と正規化部５０３を介して主成分分析部４０４に出力する。

【0034】

移動量算出部５０２は、取得した教師信号の内、補間後の骨格情報３２０からフレーム間の移動量を算出し、正規化部５０３を介して主成分分析部４０４に出力する。

【0035】

正規化部５０３は、取得した教師信号の内、補間後の骨格情報３２０に対して絶対的な位置情報を除外し、補間後の骨格情報３２０の大きさが一定となる正規化を実行して主成分分析部４０４に出力する。

【0036】

図４に戻り、主成分分析部４０４は、骨格情報処理部４０３から取得した教師信号の内、正規化した骨格情報３２０と、関節角度３７０と、フレーム間の移動量と、を入力データとして、主成分分析を実行して単数または複数の主成分を生成し、行動学習部４０６に出力する。なお、骨格情報３２０、関節角度３７０、およびフレーム間の移動量のうち、少なくとも正規化した骨格情報３２０が入力データであればよい。

【0037】

主成分分析では下記式（１）に示す通り、入力データｘ_ｉに係数ｗ_ｉｊを各々乗算し、加算することで主成分ｙ_ｉを生成する。主成分分析の一般式を下記式（２）に示す。係数ｗ_ｉｊは、下記式（３）に示す通り、ｙ_ｉの分散をＶ(ｙ_ｉ)として定義した場合、分散Ｖ（ｙ_ｉ）が最大となるように定める。

【0038】

ただし、係数ｗｉｊに制約を持たせない場合、分散Ｖ（ｙ_ｉ）の絶対量は無限に大きく取ることができ、係数ｗ_ｉｊは一意に決定することができないため、下記式（４）の制約を付すことが望ましい。また、情報の重複を無くすため、新たに生成する主成分ｙ_ｋとこれまでに生成した主成分ｙ_ｋの共分散は０となる下記式（５）の制約を付すことが望ましい。

【0039】

【数1】

【0040】

ただし、制約として付す上記式（４）と上記式（５）は、これに限らず別の制約条件を付したり、または制約を外したりして係数ｗ_ｉｊを算出しても問題ない。こうして生成した新たな主成分ｙ_ｊの分散Ｖ（ｙｊ）について下記式（６）に示す通りλ_ｊとして別途定義した場合、下記式（７）に示す通り入力データｘ_ｊの分散Ｖ（ｘ_ｊ）の合計とλ_ｊの合計は等しい。

【0041】

【数2】

【0042】

ここでｐは入力データｘ_ｊの数とする。新たに生成した主成分ｙ_ｊの分散Ｖ（ｙ_ｊ）は高い方が元の情報をより多く反映しており、分散値が高い主成分から順に第１、第２、…、第ｍ主成分という。新たに生成した変数ｙ_ｊの分散と元のデータの分散の比を寄与率といい、下記式（８）で示される。また、第１主成分の寄与率から分散値の降順（主成分の序数ｍの昇順）に寄与率を加算した結果を累積寄与率といい、下記式（９）で示される。

【0043】

【数3】

【0044】

寄与率と累積寄与率は、新たに生成した主成分ｙ_ｊや生成した複数の主成分が元のデータの情報量をどの程度表しているかといった尺度となり、主成分と共に生成される。なお、多変量解析で統計的な成分を生成する成分分析の一例として、主成分分析を適用したが、主成分分析の替わりに、同じく成分分析の一例である独立成分分析を実行してもよい。

【0045】

独立成分分析の場合、主成分は独立成分となる。この独立成分が入力データｘｉにどのくらい影響を与えているのかを示す指標として、寄与率を用いてもよい。独立成分分析では、独立成分ごとの独立成分分析における混合係数行列の２乗和が、各独立成分の強度となる。

【0046】

独立成分の強度は独立成分の入力データｘ_ｉにおける分散を示す。すなわち、独立成分分析によって得られた独立成分はいずれも分散が１に統一されるため、混合係数の２乗和をとれば入力データｘ_ｉの分散になる。そして、独立成分の強度を、全独立成分の強度の総和で割った値を、その独立変数の寄与率とすればよい。

【0047】

主成分分析部４０４は、１以上の成分の各々の次元を示す序数ｋを制御する。具体的には、たとえば、主成分分析部４０４は、生成した主成分の内、行動学習部４０６で学習に用いる主成分を分散値の高い順に何次元まで使用するかを決定し、第１主成分から、決定した次元ｋ（ｋは１以上の整数）を序数とする第ｋ主成分までの主成分を、分散値の高い順に行動学習部４０６に出力する。具体的には、たとえば、主成分分析部４０４は、累積寄与率のしきい値以上でかつ当該しきい値に最も近い主成分の次元ｋを採用する。もしくは、主成分分析部４０４は、累積寄与率のしきい値以下でかつ当該しきい値に最も近い主成分の次元ｋを採用する。

【0048】

行動学習部４０６は、主成分分析部４０４から取得した主成分と、欠損位置情報生成部４２２から取得した欠損位置情報と、教師信号ＤＢ１０４から取得した教師信号内の行動情報とを、関連付けて学習する。具体的には、たとえば、行動学習部４０６は、主成分分析部４０４から取得した第１主成分から第ｋ主成分までの主成分群と欠損位置情報とを連結したデータを説明変数とし、教師信号ＤＢ１０４から取得した教師信号内の行動情報を目的変数として、機械学習により、行動分類モデルを生成する。行動学習部４０６は、学習の結果生成した行動分類モデルを、行動認識部４５７に出力する。

【0049】

つぎに、クライアント１０２側の機能的構成例について説明する。骨格検出部４５１は、センサ１０３から取得した解析対象データに映る人の骨格情報３２０を検出し、欠損情報補間部４６１と欠損位置情報生成部４６２とに出力する。骨格情報３２０の検出には機械学習により生成した人の骨格情報３２０を推定可能なＮＮ（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いてもよいし、検出したい人の骨格点にマーカーを付与して、画像に映るマーカー位置から骨格情報３２０を検出してもよく、骨格情報３２０を検出する方法は限定されない。骨格情報３２０のうちｘ座標値３２２およびｙ座標値３２３が検出されずに不定値となった骨格点が欠損情報であり、骨格情報３２０のうち欠損情報を除く骨格点が非欠損情報である。たとえば、骨格点３００～３１７のうち骨格点３１０のｘ座標値３２２およびｙ座標値３２３のみが不定値であれば、骨格点３１０が欠損情報であり、骨格点３００～３０９、３１１～３１７が非欠損情報である。

【0050】

欠損情報補間部４６１は、欠損情報補間部４２３と同様の機能を有する。欠損情報補間部４６１は、骨格検出部４５１からの骨格情報３２０に対して、欠損情報補間部４２３と同様の処理を実行して、欠損情報（上記の例では骨格点３１０）を、非欠損情報（上記の例では骨格点３００～３０９、３１１～３１７）から補間し、補間した骨格情報３２０を骨格情報処理部４５３に出力する。

【0051】

欠損位置情報生成部４６２は、欠損位置情報生成部４２２と同様の機能を有する。欠損位置情報生成部４６２は、骨格検出部４５１からの骨格情報３２０に対して、欠損位置情報生成部４２２と同様の処理を実行して、骨格検出部４５１で検出した骨格情報３２０の内、オクルージョンなどにより取得できない骨格点があるか否かを判断し、取得できなかった骨格点があれば、その骨格点を欠損箇所としてその位置を示す欠損位置情報を生成し、行動認識部４５７に出力する。

【0052】

骨格情報処理部４５３は、骨格情報処理部４０３と同様の機能を有する。骨格情報処理部４５３は、骨格検出部４５１で検出した骨格情報３２０に対して骨格情報処理部４０３と同様の処理を実行して、関節角度３７０と、フレーム間の移動量と、正規化した骨格情報３２０と、を主成分分析部４５４に出力する。

【0053】

主成分分析部４５４は、主成分分析部４０４と同様の機能を有する。主成分分析部４５４は、骨格情報処理部４５３からの出力データに対して主成分分析部４０４と同様の処理を実行して、単数または複数の主成分を生成し、行動認識部４５７に出力する。

【0054】

主成分分析部４５４は、各々の寄与率から得られる累積寄与率に基づいて、１以上の成分の各々の次元を示す序数ｋを決定する。具体的には、たとえば、主成分分析部４５４は、取得した寄与率および累積寄与率から、取得した主成分の内、分散の高い順に何次元までの主成分を行動認識部４５７に出力するかを示す次元数ｋを決定する。次元数ｋとは、主成分の次元を示す序数ｋである。たとえば、第１主成分であれば、次元数（序数）ｋ＝１であり、第２主成分であれば、次元数（序数）ｋ＝２である。主成分分析部４５４は、分散の高い順に第１主成分から第ｋ主成分までの主成分群を行動認識部４５７に出力する。

【0055】

行動認識部４５７は、行動学習部４０６で生成した行動分類モデルと、第１主成分から第ｋ主成分までの主成分群と、欠損位置情報と、に基づいて、センサ１０３から取得した解析対象データに映る人の行動を認識する。具体的には、たとえば、行動認識部４５７は、解析対象データから得らえた主成分群（第１主成分～第ｋ主成分）と欠損位置情報とを、選択した行動分類モデルに入力することにより、解析対象データに映る人の行動を示す予測値を認識結果として出力する。

【0056】

＜関節角度算出の例＞
図６は、関節角度算出部５０１が実行する関節角度３７０の詳細な算出方法を示す説明図である。関節角度算出部５０１は、連結する３点の骨格点６００～６０２において関節角度θを算出する。骨格点６００～６０２の骨格情報６２０について、原点６３０を基準とする位置ベクトルＯ、Ａ、Ｂのように各々定義する。関節角度算出部５０１は、骨格点６００を原点とする相対ベクトルを下記式（１０），（１１）に示す通り算出し、算出したベクトルから下記式（１２）が成立し、下記式（１３）に示す通り逆余弦を算出することで関節角度θを算出する。

【0057】

【数4】

【0058】

＜フレーム間の移動量算出の例＞
図７は、移動量算出部５０２が実行するフレーム間の移動量の詳細な算出方法の例を示す説明図である。移動量算出部５０２は、フレーム間の移動量の算出において、同一被写体についての第Ｎフレーム目の骨格情報７０１と第Ｎ－Ｍフレーム目の骨格情報７０２とを用いる。Ｎ、Ｍは１以上の整数であり、Ｎ＞Ｍである。Ｍの値は任意に設定可能である。下記式（１４）～（１６）に示す通り、移動量算出部５０２は、各フレーム間で示される同一人物の同一骨格点３００～３１７の距離を各々算出する。１８個の骨格点３００～３１７のフレーム間の移動量が、当該人物についてのフレーム間の移動量となる。

【0059】

【数5】

【0060】

ただ、移動量算出部５０２が実行するフレーム間の移動量はこれに限定されるものではなく、下記式（１７）に示す通り、移動量算出部５０２は、各フレーム間で示される同一人物の同一骨格点３００～３１７の距離を各々算出し、全１８個の骨格点３００～３１７のフレーム間の移動量を合算した値を、当該人物についてのフレーム間の移動量としてもよい。

【数6】

【0061】

また、移動量算出部５０２は、第ｎフレームの骨格情報７０１と第ｎ－ｍフレームの骨格情報７０２の内、重心となる重心骨格情報７１１と重心骨格情報７１２を用いてもよい。具体的には、たとえば、移動量算出部５０２は、下記式（１８）～（１９）に示す通り、人物ごとに重心を算出し、下記式（２０）に示す通り、算出した重心に対して、当該人物についてのフレーム間の移動量を算出してもよい。

【0062】

【数7】

【0063】

＜正規化の例＞
図８は、正規化部５０３が実行する骨格情報３２０の正規化の詳細な手法を示す説明図である。まず、正規化部５０３は、（ａ）すべてまたは一部の骨格情報３２０から重心を算出し、（ｂ）重心を原点とする相対座標に変換する。その後、正規化部５０３は、（ｃ）１８個の骨格点３００～３１７を囲う最小の長方形の対角線の長さＬで、（ｄ）骨格情報３２０の各骨格点の位置情報を割る。（ｄ）で得られた骨格情報３２０を教師信号とした場合、割り算後の骨格点３００～３１７の位置情報も組み込まれることとなる。

【0064】

たとえば、正規化部５０３が実行されないと「１８０ｃｍの人が地点Ａで座る」といった行動について骨格検出および行動分類のための学習が実行されると、「地点Ａ以外では座らない」、「１８０ｃｍ以外の人は座らない」といった判定が下される可能性がある。こうした限定を除外し、行動分類に汎用性を持たせるため、画像内の絶対的な位置情報と、骨格の大きさに関する情報について除去するため、正規化部５０３が骨格情報３２０の正規化を実行する。

【0065】

＜教師信号ＤＢ１０４が保持する教師信号＞
図９は、教師信号ＤＢ１０４が保持する教師信号の詳細な例を示す説明図である。解析対象データとなる（ａ）画像９００に映る人において、（ｂ）骨格情報３２０Ａと、関節角度３７０（不図示）と、骨格情報３２０Ａに関連付けられる（ｃ）行動情報９０１（「立つ」）と、の組み合わせが、教師信号となる。同様に、解析対象データとなる（ａ）画像９１０に映る人において、（ｂ）骨格情報３２０Ｂと、関節角度３７０（不図示）と、骨格情報３２０Ｂに関連付けられる（ｃ）行動情報９１１（「倒れる」）と、の組み合わせが、教師信号となる。

【0066】

＜主成分分析部４０４による次元削減＞
図１０は、教師信号を入力データとして主成分分析部４０４が生成した主成分を、主成分空間上にプロットした例を示す説明図である。凡例は教師信号に含まれる行動情報１０００～１００４を示す。

【0067】

図１０において、（ａ）はＸ軸に第１主成分を、Ｙ軸に第２主成分をとり、第２主成分までの情報を２次元平面上にプロットした例を示す。（ｂ）はＸ軸に第１主成分を、Ｙ軸に第２主成分をとり、Ｚ軸に第３主成分をとり、第３主成分までの情報を３次元空間上にプロットした例を示す。

【0068】

（ａ）において、立つ１０００と、座る１００１と、倒れる１００４は、第２主成分までの２次元平面上でも分離可能な様子が伺えるが、歩く１００２と、しゃがむ１００３は第２主成分までの２次元平面上では分離困難な様子が伺える。ここで、（ｂ）において、第３主成分までを含めた３次元空間上で、歩く１００２としゃがむ１００３をプロットした場合、分離の可能性が拡大する場合がある。

【0069】

このため、主成分分析部４０４が生成した主成分を多く用いれば高精度な行動分類の可能性がある。ただし、主成分の次元を示す序数ｋを多くすると計算量は増加するため、精度と計算量からどこまでの主成分を考慮し、どのくらいの次元の空間で行動を表すかを判断する必要がある。

【0070】

したがって、主成分分析部４０４は、行動学習部４０６で学習に用いる主成分の最大序数を変化させ、第１主成分～最大序数の主成分までの主成分群を行動学習部４０６に出力する。具体的には、たとえば、上述した行動分類の要求精度（たとえば、最低限必要な主成分の次元を示す序数）または／および許容計算量をあらかじめ設定しておき、主成分分析部４０４が、行動学習部４０６で学習に用いる主成分の最大序数を変化させ、要求精度または／および許容計算量を最大限充足する序数を決定する。

【0071】

たとえば、要求精度が次元を示す序数「３」（第３主成分）という条件の場合、主成分分析部４０４は、最大序数を「３」に決定し、第１主成分～第３主成分までの主成分群を行動学習部４０６に出力する。

【0072】

また、許容計算量が条件に設定されている場合、主成分分析部４０４は、第１主成分から昇順に計算量を順次取得し、最大序数を、許容計算量をはじめて超えたときの序数（たとえば、「５」）より１つ少ない序数（たとえば、「４」）に決定し、第１主成分から最大序数ｋ＝４の第４主成分までの主成分群を行動学習部４０６に出力する。

【0073】

また、要求精度が次元を示す序数「３」（第３主成分）以上という条件で、かつ、許容計算量が条件に設定されている場合、第３主成分までの累積計算量が許容計算量以下であれば、主成分分析部４０４は、最大序数を「３」から「４」に変化させる。そして、第４主成分までの累積計算量が許容計算量を超えれば、主成分分析部４０４は、最大序数ｋを「３」に決定し、第１主成分～第３主成分までの主成分群を行動学習部４０６に出力する。

【0074】

一方、第３主成分までの累積計算量が許容計算量を超えれば、主成分分析部４０４は、最大序数を「３」から「２」に変化させる。そして、第２主成分までの累積計算量が許容計算量以下であれば、主成分分析部４０４は、最大序数ｋを「２」に決定し、第１主成分～第２主成分までの主成分群を行動学習部４０６に出力する。

【0075】

なお、行動学習部４０６に出力する主成分群は、第１主成分から昇順に限定する必要はない。たとえば、主成分分析部４０４は、予め定めた主成分群を特定の数だけ取り出してもよい。また、主成分分析部４０４は、特定の主成分群を除外した上で行動学習部４０６に出力する主成分群を決定してもよい。このように、行動学習部４０６に出力する主成分群は第１主成分から昇順の主成分群に限定されない。

【0076】

また、この場合においても、許容計算量が条件に設定されている場合、主成分分析部４０４は、上述した第１主成分からの昇順に限定していない主成分群について、序数の昇順に計算量を順次取得し、許容計算量をはじめて超えたときの序数より１つ前の序数までの主成分群を行動学習部４０６に出力する。たとえば、主成分群が第２主成分、第３主成分、第５主成分からなる場合、第２主成分では許容計算量を超えず、第２主成分および第３主成分でも許容計算量を超えず、第２主成分、第３主成分、および第５主成分ではじめて許容計算量を超えた場合、主成分分析部４０４は、第２主成分から第５主成分の１つ前の第３主成分までを、行動学習部４０６に出力する主成分群に決定してもよい。

【0077】

＜行動学習部４０６に出力するデータ＞
図１１は、主成分分析部４０４および欠損位置情報生成部４２２が、行動学習部４０６に出力するデータを示す説明図である。主成分分析部４０４は、補間後の骨格情報３２０と、関節角度３７０と、フレーム間の移動量と、を入力データとして、主成分分析を実行して単数または複数の主成分１１０１を生成する。

【0078】

欠損位置情報生成部４２２は、欠損位置情報１１００を生成する。欠損位置情報１１００は、たとえば、骨格情報３２０の内、各々の骨格が欠損しているか、否かを示すフラグ情報として骨格の数だけ用意される変数で示す。たとえば、骨格情報３２０が１８個の骨格点で構成される場合、フラグ情報は１８個の変数で用意され、各骨格点について、欠損せずに骨格点の座標情報があれば「１」を、欠損していれば「０」のフラグ情報として、欠損位置情報１１００を生成する。

【0079】

また、欠損位置情報１１００は、多値の変数として、各値がどの骨格点が欠損しているかを示す情報として生成してもよく、欠損位置情報１１００のデータフォーマットは限定されない。このように行動学習部４０６には、主成分分析部４０４が生成する主成分１１０１と、欠損位置情報生成部４２２が生成する欠損位置情報１１００と、をまとめたデータ１１０２が出力される。なお、主成分分析部４５４および欠損位置情報生成部４６２が行動認識部４５７に出力するデータもデータ１１０２同様のデータとなる。

【0080】

行動学習部４０６は、データ１１０２を用いて学習を行い、行動分類モデルを生成し、行動認識部４５７に出力する。

【0081】

図１２は、行動学習部４０６が行動を学習し、行動認識部４５７が行動を分類するための詳細な手法を示す説明図である。図１２において、（ａ）は、次元削減後の第２変数までの行動のプロット点の分布を示し、（ｂ）は、欠損位置情報１１００を加味した行動分類結果を示す。主成分空間上での各行動について、行動学習部４０６は、各行動を領域毎に分類するため、境界線１２１０や境界平面１２２０を生成する。行動を学習し分類する際の手法は、ｋ平均法や、サポートベクトルマシン、決定木や、ランダムフォレストなどいずれを採用してもよく、行動学習方法は限定されない。

【0082】

行動学習部４０６の行動学習時の欠損位置情報１１００は、主成分空間上にプロットされ、各行動情報に付与される。行動情報（立つ、座る、歩く、倒れる、挙手する、しゃがむ）ごとにプロットされた点をプロット点１２００～１２０５とする。ここでは簡単のため、骨格点の欠損が発生していない場合の行動のプロット点１２００～１２０３は白い点とし、骨格点の欠損が発生した場合の行動のプロット点１２０４，１２０５は塗潰すことで表現する。

【0083】

骨格点の欠損が発生している行動のプロット点１２０４は、行動「挙手する」が付与されており、骨格点の欠損が発生している行動のプロット点１２０５は、行動情報「しゃがむ」が付与されている。なお、同一形状のプロット点（１２００、１２０４）、（１２０１，１２０５）は、補間後の骨格情報３２０を主成分分析にかけた場合に同様の数値情報を示すことを表す。

【0084】

欠損がある骨格情報３２０は欠損情報補間部４２３によって、骨格点が補間される。しかし、補間された骨格点は検出された骨格点に比較して誤差量を多く含む場合があるため、欠損を含まない行動と同一次元で行動を分類した際には行動分類精度を劣化させる可能性がある。そこで、骨格情報３２０について、補間された情報か、検出された情報かを区分けして分類することで、行動分類精度の向上につなげることができる。すなわち、補間した誤差を含む主成分に欠損位置情報１１００を付加することで、主成分に別次元の情報が加わり、新たな次元上に分類のための境界平面１２２０を設けられることで行動分類の精度は向上する。

【0085】

なお、図１２における欠損位置情報１１００は、プロット点１２０４，１２０５の塗潰しで表現したため、１ｂｉｔの情報として扱われているが、たとえば、欠損位置情報１１００は骨格点の数だけ用意される変数で表現され、この場合は多値の情報として取り扱われる。この場合、各行動は多次元空間上にプロットされるようになり、欠損位置情報１１００によって、より詳細な行動分類が実現可能となる。

【0086】

なお、行動は、教師信号ＤＢ１０４において、学習データ（人の骨格情報３２０および関節角度３７０）と行動の組み合わせとして保持されており、欠損制御部４２１および欠損位置情報生成部４２２の処理により変更されるものではない。欠損制御部４２１および欠損発生部４０２により故意に欠損を発生させ、発生させた欠損の欠損位置情報１１００を欠損位置情報生成部４２２により生成するのは、欠損して補間した誤差を含む主成分においても、欠損位置情報１１００を加味した新たな軸で正しく行動分類を実行するためである。

【0087】

行動認識部４５７は、行動学習部４０６が学習して生成した行動分類モデルを用いて、行動を認識する。具体的には、たとえば、クライアント１０２は、新たに入力された骨格情報３２０について、欠損情報補間部４６１に欠損情報があれば欠損情報を補間する。行動認識部４５７は、補間後の骨格情報３２０について、主成分分析を適用し、新たに生成された主成分および欠損位置情報１１００を行動分類モデルに入力する。これにより、行動認識部４５７は、行動分類モデルが設定する境界線１２１０や境界平面１２２０に従って、新たに入力された骨格情報３２０がどの領域に属するかを判定し、判定された領域に従って行動を認識する。

【0088】

図１３は、主成分分析部４０４が次元数決定の際に用いる累積寄与率の推移を示すグラフである。累積寄与率は、新たに生成した複数の主成分が元のデータの情報量をどの程度表しているかといったことを示す尺度となる。このため、主成分の数を増やして、行動分類の際の次元数を増やしても、累積寄与率に大きな変化が見られない場合は、大きな精度向上は見込めない。

【0089】

そこで、主成分分析部４０４は、予め定めた累積寄与率の閾値を超えるのに必要な数だけ主成分を使用することとし、次元数を決定する。たとえば、予め定めた累積寄与率の閾値を「０．８」とする場合、第２主成分まであれば条件を満たすため、ここでの次元数ｋは「２」として、第１主成分と第２主成分とを行動学習部４０６に出力する。

【0090】

なお、行動学習部４０６に出力する主成分群は、第１主成分から昇順に限定する必要はない。たとえば、主成分分析部４０４は、予め定めた累積寄与率の閾値を超えずかつ累積寄与率が最大となる主成分の序数ｋの組み合わせを決定してもよい。また、主成分分析部４０４は、このような主成分の序数ｋの組み合わせを、行動分類モデルに適用される主成分群から選択してもよい。このように、行動学習部４０６に出力する主成分群は第１主成分から昇順の主成分群に限定されない。

【0091】

なお、主成分分析部４５４が行動認識部４５７に出力する単数または複数の主成分群の選択方法は主成分分析部４０４と同様の方法とする。

【0092】

＜学習処理＞
図１４は、実施例１にかかるサーバ１０１（学習装置）による学習処理の詳細な処理手順例を示すフローチャートである。サーバ１０１は、教師信号取得部４０１により、教師信号ＤＢ１０４から取得した教師信号について学習に用いる教師信号を単数、または複数取得する（ステップＳ１４００）。

【0093】

サーバ１０１は、欠損制御部４２１は、乱数、または予め定めた数に従って、欠損させる骨格点を設定し、欠損発生部４０２により、設定結果に従って、ステップＳ１４００で取得した教師信号内の骨格情報３２０に対して骨格点を欠損させ、欠損させた骨格情報３２０を教師信号内の骨格情報３２０として更新する（ステップＳ１４０１）。

【0094】

サーバ１０１は、欠損位置情報生成部４２２により、欠損制御部４２１が設定した欠損させる骨格点の位置情報を、欠損位置情報として生成する（ステップＳ１４１０）。

【0095】

サーバ１０１は、欠損情報補間部４２３により、欠損情報（欠損した単数または複数の骨格情報３２０）を、非欠損情報から補間する（ステップＳ１４１１）。欠損情報補間部４２３が実行された教師信号を、更新教師信号と称す。

【0096】

サーバ１０１は、骨格情報処理部４０３により、更新教師信号ごとに骨格情報処理を実行する（ステップＳ１４０２）。具体的には、たとえば、サーバ１０１は、関節角度算出部５０１、移動量算出部５０２、および正規化部５０３による処理を実行する。

【0097】

図１５は、実施例１にかかる骨格情報処理の詳細な処理手順例を示すフローチャートである。サーバ１０１は、関節角度算出部５０１により、更新教師信号ごとに、更新教師信号内の骨格情報３２０から関節角度３７０を算出する（ステップＳ１５０１）。つぎに、サーバ１０１は、移動量算出部５０２により、更新教師信号ごとに、更新教師信号内の骨格情報３２０からフレーム間の移動量を算出する（ステップＳ１５０１）。

【0098】

そして、サーバ１０１は、正規化部により、更新教師信号ごとに、骨格情報３２０に対して絶対的な位置情報を除外し、骨格情報３２０の大きさが一定となる正規化を実行する（ステップＳ１４０３）。これにより、更新教師信号について、関節角度３７０と、フレーム間の移動量と、正規化した骨格情報３２０と、が得られる。そして、図１３のステップＳ１４０３に移行する。

【0099】

図１４に戻り、サーバ１０１は、主成分分析部４０４により、正規化した骨格情報３２０と、関節角度３７０と、フレーム間の移動量と、を入力データとして、主成分分析を実行して、単数または複数の主成分を生成する。生成した主成分の内、学習に用いる主成分を分散値の高い順に何次元使用するか決定し、決定したｋ次元までの主成分（第１主成分～第ｋ主成分）を分散値の高い順に選択する（ステップＳ１４０３）。

【0100】

ステップＳ１４０７では、ステップＳ１４０１で欠損させた骨格情報３２０について、まだ欠損させていない骨格情報３２０があれば（ステップＳ１４０７：Ｎｏ）、ステップＳ１４０１の処理に戻り、サーバ１０１は、これまでに欠損させていない骨格点を欠損させる（ステップＳ１４０１）。

【0101】

一方、すべての骨格情報３２０について欠損させた場合（ステップＳ１４０７：Ｙｅｓ）、ステップＳ１４０８の処理に進む。ただステップＳ１４０７の処理の判断はこれに限らず、サーバ１０１は、予め定めた繰返し回数に従ってステップＳ１４０１に戻るか、ステップＳ１４０８に進むかを判断してもよい。また、欠損させる骨格を予め定めておき、サーバ１０１は、予め定めた骨格をすべて欠損させたか否かでステップＳ１４０１に戻るか、ステップＳ１４０８に進むか判断してもよい。

【0102】

ステップＳ１４０８では、ステップＳ１４００で選択した教師信号について、まだ選択していない教師信号があれば（ステップＳ１４０８：Ｎｏ）、サーバ１０１は、これまでに選択していない教師信号を選択する（ステップＳ１４００）。一方、すべての教師信号について選択した場合は（ステップＳ１４０８：Ｙｅｓ）、ステップＳ１４０５の処理に進む。ただステップＳ１４０８の処理の判断はこれに限らず、サーバ１０１は、予め定めた繰返し回数に従ってステップＳ１４００に戻るか、ステップＳ１４０５の処理に進むかを判断してもよい。

【0103】

なお、ステップＳ１４０７とステップＳ１４０８との処理によって繰り返し処理が発生し、繰返し回数だけステップＳ１４０３の主成分分析の処理が発生するが、各回で処理された主成分分析の結果は追加して保持され、すべての値を主成分分析部４０４にて保持する。すべての繰り返し処理が終了した際には、主成分分析部４０４にて保持するすべての値が行動学習部４０６に出力される。

【0104】

サーバ１０１は、行動学習部４０６により、主成分分析部４０４から入力した主成分と欠損位置情報生成部４２２から入力した欠損位置情報とを説明変数とし、更新教師信号内の行動情報を目的変数として、学習を行い、学習の結果、行動分類モデルを生成する（ステップＳ１４０５）。

【0105】

＜行動認識処理＞
図１６は、実施例１にかかるクライアント１０２（行動認識装置）による行動認識処理手順例を示すフローチャートである。クライアント１０２は、骨格検出部４５１により、センサ１０３から取得した解析対象データに映る人の骨格情報３２０を検出する（ステップＳ１６００）。つぎに、クライアント１０２は、欠損位置情報生成部４６２により、検出した骨格情報３２０の内、オクルージョンなどにより検出できなかった骨格点の位置情報を欠損位置情報として生成する（ステップＳ１６０１）。

【0106】

クライアント１０２は、欠損情報補間部４２３により、欠損情報を、非欠損情報から補間する（ステップＳ１６１０）。

【0107】

つぎに、クライアント１０２は、骨格情報処理部４５３により、ステップＳ１６１０で欠損情報を補間した骨格情報３２０について、ステップＳ１４０２の処理と同様に、骨格情報処理を実行する（ステップＳ１６０２）。具体的には、たとえば、クライアント１０２は、図１５に示したように、関節角度算出部５０１、移動量算出部５０２、および正規化部５０３による処理（ステップＳ１５０１～Ｓ１５０３）を実行する。

【0108】

つぎに、クライアント１０２は、主成分分析部４５４により、ステップＳ１６０２で正規化した骨格情報３２０と関節角度３７０とフレーム間の移動量とを入力データとして、主成分分析を実行して、単数または複数の主成分を生成する。主成分分析部４５４は、生成した主成分について、ステップＳ１４０３で決定された序数ｋにより、第１主成分～第ｋ主成分を、行動認識（ステップＳ１６０６）で使用する主成分に決定する。（ステップＳ１６０３）。

【0109】

つぎに、クライアント１０２は、行動認識部４５７により、ステップＳ１３０５で学習した行動分類モデルと、ステップＳ１６０３で生成した主成分と、ステップＳ１６０１で生成した欠損位置情報と、に基づいて、センサ１０３から取得した解析対象データに映る人の行動を認識する（ステップＳ１６０６）。クライアント１０２は、ステップＳ１６０６の認識結果をサーバ１０１に送信してもよく、また、認識結果を用いて、クライアント１０２に接続されている機器を制御してもよい。

【0110】

たとえば、センサ１０３が配備されている解析環境が工場である場合、行動認識システム１００は、認識結果を用いて、工場内での作業員の作業監視や、製品の欠陥検査などに適用可能である。解析環境が電車である場合、行動認識システム１００は、認識結果を用いて、電車内での乗客の監視や車内設備の監視、火災などの災害検知などに適用可能である。

【0111】

このように、実施例１によれば、認識対象の複数種類の行動を高精度に認識することができる。また、一部欠損した形状においても精度良く行動認識を行うために複数の行動分類モデルを生成する必要はない。これにより、学習期間の短縮化や行動分類モデルの保存領域の縮小化を図ることができる。特に、オクルージョンになどにより骨格点３００～３１７が一部欠損した場合においても、行動分類モデルを増やすことなく、欠損した骨格点に応じた複数種類の行動を高精度に認識することができる。

【実施例0112】

実施例２を、実施例１との相違点を中心に説明する。なお、実施例１と共通する点については、同一符号を付し、その説明を省略する。

【0113】

図１７は、実施例２にかかる行動認識システム１００の機能的構成例を示すブロック図である。実施例２では、教師信号ＤＢ１０４に、欠損制御部４２１により欠損させる骨格点の位置情報を保有しており、その位置情報を欠損制御部４２１に出力する。

【0114】

骨格検出部４５１がセンサ１０３から取得した解析対象データに映る人の骨格情報３２０を検出する際に検出漏れする可能性は、骨格や解析対象データの特性による。たとえば、手首や、足首などの人体の末端の骨格点ほど検出漏れを起こす可能性が高い。また、たとえば、解析対象データがハイアングルである場合は、上半身に隠れて下半身の骨格点の検出漏れの発生確率が高くなるし、通路を横から水平方向のアングルから撮影した場合には、右半身や、左半身の骨格点の検出漏れが発生しやすくなる。

【0115】

こうした特徴が予め分かっている場合にはそうした欠損を発生させて重点的に学習させた方が行動認識精度の向上が望める。このため、教師信号ＤＢ１０４には欠損制御部４２１により欠損させる骨格点の位置情報を保有させておく。この欠損制御部４２１により欠損させる骨格点の位置情報を、欠損示唆情報と称す。欠損制御部４２１は、欠損示唆情報を教師信号ＤＢ１０４から取得して欠損発生部４０２に出力する。欠損発生部４０２は、欠損させる骨格点の位置情報により、骨格点を欠損させる。これにより、予め特定の欠損が発生しやすい状況においても精度よく行動認識を図ることができる。

【0116】

このように、実施例２によれば、予め特定の欠損が発生しやすい状況においてはその情報を教師信号ＤＢ１０４に保有し、保有した情報を用いて、故意に欠損を発生させて学習を行うことにより、精度よく行動認識を図ることができる。