特開 2018-92421 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-92421(P2018-92421A)

(43)【公開日】2018年6月14日

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06F 17/30 20060101AFI20180518BHJP

【ＦＩ】

   G06F17/30 210D

   G06F17/30 220Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2016-235922(P2016-235922)

(22)【出願日】2016年12月5日

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(72)【発明者】

【氏名】中村 友昭

(72)【発明者】

【氏名】長井 隆行

(72)【発明者】

【氏名】池田 佳那

(57)【要約】

【課題】大量のデータから所望の分類結果を効果的に抽出する。
【解決手段】複数の観察対象を観察して得られる動き軌跡を、教師なしクラスタリングすることにより、観察対象ごとの位置および速度が、行動へ分類される。そして、複数の観察対象の全体についての行動の集合の特徴を表す特徴量を、教師なしクラスタリングすることにより、複数の観察対象の全体についての行動の集合が、活動へ分類される。本技術は、例えば、子供たちの活動のアノテーションを半自動化するシステムに適用できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の観察対象を観察して得られる時系列データを教師なしクラスタリングすることにより、前記観察対象ごとの前記時系列データを、第１の分類項目へ分類する第１の分類部と、
複数の前記観察対象の全体についての前記第１の分類項目の集合の特徴を表す特徴量を教師なしクラスタリングすることにより、複数の前記観察対象の全体についての前記第１の分類項目の集合を、第２の分類項目へ分類する第２の分類部と
を備える情報処理装置。

【請求項2】

前記第１の分類項目は、前記観察対象ごとの前記時系列データのデータ値、および、前記時系列データに対する処理を行って得られる処理結果で構成される
請求項１に記載の情報処理装置。

【請求項3】

前記第１の分類部により分類された前記観察対象ごとの前記第１の分類項目に基づいて、複数の前記観察対象の全体に対する前記特徴量を、任意の時間帯ごとに生成する特徴量生成部
をさらに備える請求項１または２に記載の情報処理装置。

【請求項4】

前記特徴量生成部は、前記特徴量として、複数の前記観察対象の全体で前記第１の分類項目が任意の時間帯ごとに出現した回数を計数したヒストグラムを生成する
請求項３に記載の情報処理装置。

【請求項5】

複数の前記観察対象が移動する位置を追跡した動き軌跡を、前記時系列データとして抽出する抽出部
をさらに備える請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記第１の分類部は、前記抽出部により抽出された前記観察対象ごとの前記動き軌跡に基づいて、前記観察対象ごとの行動を前記第１の分類項目として分類し、
前記第２の分類部は、前記行動の集合に基づいて、複数の前記観察対象の全体についての活動を前記第２の分類項目として分類する
請求項５に記載の情報処理装置。

【請求項7】

複数の観察対象を観察して得られる時系列データを教師なしクラスタリングすることにより、前記観察対象ごとの前記時系列データを、第１の分類項目へ分類し、
複数の前記観察対象の全体についての前記第１の分類項目の集合の特徴を表す特徴量を教師なしクラスタリングすることにより、複数の前記観察対象の全体についての前記第１の分類項目の集合を、第２の分類項目へ分類する
ステップを含む情報処理方法。

【請求項8】

複数の観察対象を観察して得られる時系列データを教師なしクラスタリングすることにより、前記観察対象ごとの前記時系列データを、第１の分類項目へ分類し、
複数の前記観察対象の全体についての前記第１の分類項目の集合の特徴を表す特徴量を教師なしクラスタリングすることにより、複数の前記観察対象の全体についての前記第１の分類項目の集合を、第２の分類項目へ分類する
ステップを含む情報処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、大量のデータから所望の分類結果を効果的に抽出することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年、カラーカメラおよび赤外線カメラを用いてカラー（RGB）画像および奥行き（Depth）画像を取得するRGB-Dセンサや、赤外線レーザーの反射強度を測定するレーザーレンジファインダなどを利用して、人物の位置を計測することが可能となっている。

【0003】

例えば、本発明者らは、２台のRGB-Dセンサを利用して、複数の子供たちを識別するとともに、それぞれの子供の位置を追跡して動き軌跡を抽出する手法を提案している（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】張斌，中村友昭，阿部香澄，アッタミミムハンマド，長井隆行，大森隆司，岡夏樹，金子正秀，"複数のKinectを用いた子どもの行動追跡及び個人認証"，人工知能学会全国大会，4K4-1，2016

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述したような計測を継続的に行うことによって取得される大量のデータ（位置や速度など）を有効活用するためには、それらの大量のデータを分類して所望の分類結果を抽出する必要がある。しかしながら、大量のデータから所望の分類結果を抽出するためには、例えば、どのような分類結果が必要であるかを予め設定することが手間となってしまい、所望の分類結果を効果的に抽出することは非常に困難であった。

【0006】

本開示は、このような状況に鑑みてなされたものであり、大量のデータから所望の分類結果を効果的に抽出することができるようにするものである。

【課題を解決するための手段】

【0007】

本開示の一側面の情報処理装置は、複数の観察対象を観察して得られる時系列データを教師なしクラスタリングすることにより、前記観察対象ごとの前記時系列データを、第１の分類項目へ分類する第１の分類部と、複数の前記観察対象の全体についての前記第１の分類項目の集合の特徴を表す特徴量を教師なしクラスタリングすることにより、複数の前記観察対象の全体についての前記第１の分類項目の集合を、第２の分類項目へ分類する第２の分類部とを備える。

【0008】

本開示の一側面の情報処理方法またはプログラムは、複数の観察対象を観察して得られる時系列データを教師なしクラスタリングすることにより、前記観察対象ごとの前記時系列データを、第１の分類項目へ分類し、複数の前記観察対象の全体についての前記第１の分類項目の集合の特徴を表す特徴量を教師なしクラスタリングすることにより、複数の前記観察対象の全体についての前記第１の分類項目の集合を、第２の分類項目へ分類するステップを含む。

【0009】

本開示の一側面においては、複数の観察対象を観察して得られる時系列データを教師なしクラスタリングすることにより、観察対象ごとの時系列データが、第１の分類項目へ分類され、複数の観察対象の全体についての第１の分類項目の集合の特徴を表す特徴量を教師なしクラスタリングすることにより、複数の観察対象の全体についての第１の分類項目の集合が、第２の分類項目へ分類される。

【発明の効果】

【0010】

本開示の一側面によれば、大量のデータから所望の分類結果を効果的に抽出することができる。

【図面の簡単な説明】

【0011】

【図1】本技術を適用した活動分類処理の概要を説明する図である。

【図2】本技術を適用した情報処理システムの一実施の形態の構成例を示すブロック図である。

【図3】行動の分類について説明する図である。

【図4】活動特徴量の生成について説明する図である。

【図5】活動の分類について説明する図である。

【図6】活動分類処理を説明するフローチャートである。

【図7】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0013】

＜活動分類処理の概要＞

【0014】

まず、図１を参照して、活動分類処理の概要について説明する。

【0015】

本実施の形態では、例えば、図１に示される観測シーンのように、子供たちが自由に遊んでいる様子を観測し、その観測結果から、どのような活動（遊び）が行われているのかを分類する活動分類処理について説明する。

【0016】

まず、観測が行われる場所に居る複数の子供を観測対象として識別し、観測対象ごとの位置を計測して、各時刻において観測対象が移動する位置を追跡した動き軌跡を抽出する。そして、HDP-HMM（Hierarchical Drichlet Process-Hidden Markov Model）によって、各観測対象の位置および速度を教師なしクラスタリングする。これにより、観測対象ごとの位置および速度から、局所的な行動へ分類（離散化）することができる。

【0017】

さらに、任意の時間帯ごとに、各行動が行われた頻度を計数することで行動頻度ヒストグラムを算出する。例えば、観測対象の全体についての行動の集合を活動として捉えると、行動頻度ヒストグラムは、それぞれの活動の特徴を表す活動特徴量として用いることができる。そして、活動特徴量である行動頻度ヒストグラムを、LDA（Latent Dirichlet Allocation）やHDP-LDA（Hierarchical Drichlet Process - LDA）などによる教師なしクラスタリングすることで、活動ごとへ分類することができる。

【0018】

このように、観測シーンにおける子供たちの観測結果を用いて、二段階の教師なしクラスタリングを行うことによって、複数の子供の行動の集合を、特定の活動として分類することができる。

【0019】

＜情報処理装置の構成例＞

【0020】

図２は、本技術を適用した情報処理システムの一実施の形態の構成例を示すブロック図である。

【0021】

図２に示すように、情報処理システム１１は、観測装置１２、入力装置１３、記憶装置１４、および活動分類処理装置１５を備えて構成される。また、図示するように、情報処理システム１１は、観測装置１２、入力装置１３、および記憶装置１４が、それぞれ活動分類処理装置１５に接続される接続構成となっている。

【0022】

観測装置１２は、例えば、複数のRGB-Dセンサを備えて構成され、複数の方向から観測シーンを撮像して得られるカラー画像および奥行き画像を、活動分類処理装置１５に供給する。なお、観測装置１２は、後述するような動き軌跡を抽出することができる構成であればよく、観測装置１２に用いられるセンサの種類や個数などは、特に、本実施の形態における説明に限定されることはない。

【0023】

入力装置１３は、例えば、キーボードやマウスなどにより構成され、ユーザによる操作に従った各種の入力値（例えば、後述するウィンドウ幅など）を、活動分類処理装置１５に入力する。

【0024】

記憶装置１４は、例えば、ハードディスクドライブやメモリなどにより構成され、活動分類処理装置１５が活動分類処理を行う際に一時的に記憶させる各種のデータや、活動分類処理装置１５が活動分類処理を行った結果として得られる分類結果などを記憶する。

【0025】

活動分類処理装置１５は、動き軌跡抽出部２１、行動分類部２２、活動特徴量生成部２３、および活動分類部２４を備えて構成される。また、図示するように、活動分類処理装置１５は、動き軌跡抽出部２１が行動分類部２２に接続され、行動分類部２２が活動特徴量生成部２３に接続され、活動特徴量生成部２３が活動分類部２４に接続される接続構成となっている。

【0026】

動き軌跡抽出部２１は、観測装置１２から供給されるカラー画像および奥行き画像に基づいて、それぞれの観測対象を識別し、観測対象ごとの位置を特定する。そして、動き軌跡抽出部２１は、それぞれの観測対象が移動することによる位置の変化を追跡することにより、観測対象ごとの動き軌跡を抽出して、行動分類部２２に供給する。

【0027】

例えば、動き軌跡抽出部２１は、観測装置１２から供給されるカラー画像に対して物体認識処理を施し、カラー画像に映されている子供の顔や服色などに基づいて、それぞれの子供を識別することができる。また、動き軌跡抽出部２１は、観測装置１２から供給される奥行き画像から求められる子供までの距離に従って、カラー画像で識別された子供ごとの位置（ｘｙ座標）を特定することができる。ここで、子供ごとの位置は、例えば、カラー画像上の座標位置を用いて特定する他、実空間上において子供ごとの位置を特定することができる場合には、実空間上の座標位置を用いて特定してもよい。また、子供ごとの位置を特定する方法は、特に、これらに限定されることはない。

【0028】

行動分類部２２は、動き軌跡抽出部２１から供給される動き軌跡から求められる観察対象ごとの位置および速度を、HDP-HMMによって教師なしクラスタリングする。これにより、行動分類部２２は、観察対象ごとに、それぞれの位置および速度で構成される行動（分類項目）へ分類して、観察対象ごとの行動を活動特徴量生成部２３に供給する。

【0029】

ここで、HDP-HMMは、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデルであり、例えば、状態数をあらかじめ決めることなく、学習データの複雑さに応じて最適な状態数を推定することができる。

【0030】

例えば、図３に示すように、動き軌跡抽出部２１は、第１の観察対象および第２の観察対象の動き軌跡の時刻ｔごとに、位置および速度をクラスタリングすることで、第１の観察対象および第２の観察対象が行った行動を識別する行動ＩＤ（Identification）を動的に割り当てる。これにより、例えば、第１の観察対象および第２の観察対象の動き軌跡において類似した位置および速度（図３に示す破線の範囲）に対して、それぞれ同一の行動ＩＤが割り当てられることになる。このように、行動分類部２２は、各観察対象の動き軌跡について類似した位置および速度を、それぞれ対応する行動へ分類することができる。

【0031】

活動特徴量生成部２３は、行動分類部２２から供給される複数の観察対象の行動に基づいて、複数の観察対象の全体における活動の特徴を表す活動特徴量を生成して、活動分類部２４に供給する。

【0032】

例えば、図４に示すように、活動特徴量生成部２３は、第１の観察対象および第２の観察対象の行動を、ユーザが入力装置１３を操作して入力する任意のウィンドウ幅（時間帯）に分割する。そして、活動特徴量生成部２３は、それぞれのウィンドウ幅において割り当てられている行動ＩＤが出現した回数を計数し、これにより求められる行動頻度ヒストグラム（固定長のベクトル）を活動特徴量として生成する。なお、このウィンドウ幅は、図４に示すように連続的に設定してもよいし、例えば、所定の幅でオーバラップするように設定してもよい。

【0033】

活動分類部２４は、活動特徴量生成部２３から供給される活動特徴量を、LDAやHDP-LDAなどによって教師なしクラスタリングすることにより、複数の観察対象の全体についての行動の集合を活動（分類項目）へ分類する。そして、活動分類部２４は、その分類による結果として得られる分類結果を、記憶装置１４に記憶させる。

【0034】

ここで、LDAは、文書および単語に対する潜在状態（トピック）を推定する潜在的ディリクレ配分法であり、例えば、潜在状態の数が予め与えられ、活動特徴量を「文書」とし、かつ、行動を「単語」として活動（潜在状態）を推定することができる。なお、HDP-LDAでは、データの複雑さに合わせて必要な数の潜在状態数が自動的に決められる。

【0035】

例えば、図５に示すように、活動分類部２４は、活動特徴量が生成された時間帯ごとに、それぞれの活動特徴量の類似性（図示するようなヒストグラムの形状的な類似性）に基づいて、類似した活動特徴量に対して同一の活動ＩＤを動的に割り当てることができる。なお、活動分類部２４が活動を分類する分類数（活動ＩＤの数）は、ユーザが入力装置１３を操作して入力してもよいし、活動分類部２４が、全ての活動特徴量から適切な分類数を推定してもよい。

【0036】

このように情報処理システム１１は構成されており、行動分類部２２による教師なしクラスタリングと、活動分類部２４による教師なしクラスタリングとを二段階で行うことによって、複数の観察対象の全体による様々な活動ごとの分類結果を効果的に抽出することができる。これにより、情報処理システム１１は、複数の観測対象による活動のアノテーションの半自動化（即ち、活動ＩＤの割り当ては自動的に行われるが、それぞれの活動の意味づけまでは自動的に行われない。活動の意味づけは、状況に応じて上述の活動ＩＤに基づいて観察者または他のシステム等により行われることが想定される。）を実現することができる。

【0037】

例えば、従来、複数の観測対象による活動を分類する処理を行う場合には、分類したい行動を教師データとして予め設定する必要があり、どのように教師データを設定するのかなど様々な手間が生じていため、容易に処理を行うことができなかった。

【0038】

これに対し、情報処理システム１１は、教師データを予め設定しなくても、複数の観測対象の動き軌跡から活動ＩＤを動的に割り当てることができ、分類結果を効果的に抽出することができる。なお、それぞれの活動ＩＤに対して、どのような活動であるのかは、活動を分類した後に、画像などを見た人物が意味づけすることができる。

【0039】

具体的には、情報処理システム１１は、例えば、保育園にいる子供たちが、どのような遊びをしているのかを自動的に分類することができ、その後、保育士が遊びの内容（例えば、かくれんぼや鬼ごっこなど）を意味づけすることができる。さらに、情報処理システム１１により子供たちの活動を長期間に亘って分類することで、それらの子供の集団としての成長を観測することができる。

【0040】

さらに、情報処理システム１１は、例えば、記憶装置１４に蓄積されている分類結果を参照することで、これまでに観測された類似の活動（観測シーン）を検索することができる。

【0041】

特に、情報処理システム１１は、複数の観察対象の全体としての活動特徴量を用いることで、例えば、観察対象を個別に識別する識別精度が低かったり、観察対象の人数を完全に把握していなかったりしても、複数の観察対象の全体としての活動を正確に分類することができる。

【0042】

＜活動分類処理のフローチャート＞

【0043】

次に、図６に示すフローチャートを参照して、活動分類処理装置１５において実行される活動分類処理について説明する。

【0044】

例えば、ある程度の時間のカラー画像および奥行き画像が観測装置１２から供給されると処理が開始され、ステップＳ１１において、動き軌跡抽出部２１は、観測装置１２から供給されるカラー画像および奥行き画像に基づいて、観測対象ごとの動き軌跡を抽出する。なお、動き軌跡抽出部２１が観測対象ごとの動き軌跡を抽出する処理については、上述した非特許文献１において詳細に説明されている。

【0045】

ステップＳ１２において、行動分類部２２は、ステップＳ１１で動き軌跡抽出部２１により抽出された動き軌跡を用いて、HDP-HMMによる教師なしクラスタリングすることで、それぞれの観測対象の位置および速度を行動ごとに分類する。

【0046】

ステップＳ１３において、活動特徴量生成部２３は、ステップＳ１２で行動分類部２２により分類された各行動が行われた頻度を表すヒストグラムを、観測対象の全体による活動の特徴を表す活動特徴量として生成する。

【0047】

ステップＳ１４において、活動分類部２４は、ステップＳ１３で活動特徴量生成部２３により生成された活動特徴量を、LDAやHDP-LDAなどによる教師なしクラスタリングすることで活動ごとに分類し、その結果得られる活動ＩＤを分類結果として出力する。

【0048】

以上のように、活動分類処理装置１５は、複数の観測対象の動き軌跡（大量のデータ）から、二段階の教師なしクラスタリングを行うことによって、複数の観測対象の全体による活動へ分類した分類結果を効果的に抽出することがでる。また、活動分類処理装置１５は、このようなクラスタリングを、例えば、撮像中のカラー画像および奥行き画像が連続的に供給されるタイミングに準じてリアルタイムで行うことができる。もちろん、活動分類処理装置１５は、既に記録されているカラー画像および奥行き画像を用いて処理を行ってもよい。

【0049】

なお、本技術は、上述したような子供の遊びを分類する他、例えば、体育館において行われているスポーツを分類して、体育館の運用を管理するのに利用することができる。また、本技術は、例えば、特定のエリアの人の動きを分類して、異常な行動をする人を抽出することで、防犯に役立てることができる。

【0050】

また、本実施の形態では、観察対象ごとの位置および速度（動き軌跡に対して位置の時間的な変化を求める処理を行って得られる処理結果）をクラスタリングの対象として説明を行ったが、例えば、観察対象ごと動き軌跡そのものをクラスタリングの対象としてもよい。その他、観察対象ごとの動き軌跡に対して速度の時間的な変化を求める処理を行って得られる加速度や、複数の観察対象の動き軌跡に対して互いの関係を求める処理を行って得られる関係性（例えば、相関係数）などの処理結果を、クラスタリングの対象とすることができる。

【0051】

さらに、情報処理システム１１は、観察対象の動き軌跡以外の時系列データを用いてもよく、その時系列データのデータ値および処理結果を教師なしクラスタリングすることで、例えば、行動や活動以外の所望の分類項目へ分類した分類結果を抽出することができる。また、情報処理システム１１において用いられる活動特徴量は、複数の観察対象の全体における活動の特徴を表していれば、上述したような行動頻度ヒストグラムに限定されることはない。

【0052】

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

【0053】

また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

【0054】

図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0055】

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

【0056】

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

【0057】

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

【0058】

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

【0059】

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

【0060】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【符号の説明】

【0061】

１１ 情報処理システム， １２ 観測装置， １３ 入力装置， １４ 記憶装置， １５ 活動分類処理装置， ２１ 動き軌跡抽出部， ２２ 行動分類部， ２３ 活動特徴量生成部， ２４ 活動分類部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】