【文献】
齊賀 弘泰 他,多人数会話におけるうなずきの会話制御としての機能分析,情報処理学会研究報告 平成22年度▲1▼ [CD−ROM],日本,社団法人情報処理学会,2010年 6月15日
(58)【調査した分野】(Int.Cl.,DB名)
前記判別手段は、前記特徴量のうち前記対象の側方の方向成分に基づいてノイズを判別し、記対象の行為としてうなずき動作を判別する請求項2に記載の行為検出プログラム。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、従来に比べて簡易な構成で利用者の行為を検出する行為検出プログラム及び行為検出装置を提供することにある。
【課題を解決するための手段】
【0006】
[1]コンピュータを、動きを伴う行為を判別する対象から検出された複数の軸の加速度情報について、予め定めた時間幅で複数の区間に分割された各区間の加速度の分散を算出し、
連続する前記複数の区間内において複数の軸の分散の合計値に基づいて分散が最大となる区間を
前記複数の軸に共通する候補領域として抽出する候補領域抽出手段と、前記候補領域の前後に予め定めた時間幅だけ移動した区間において分散を算出し、前記候補領域及び前記前後の区間のうち分散が高い区間を新たに候補領域として選定する候補領域選定手段と、前記候補領域選定手段が選定した前記候補領域について特徴量を算出する特徴量算出手段と、前記特徴量算出手段が算出した前記特徴量に基づいて、前記対象の行為を判別する判別手段として機能させるための行為検出プログラム。
【0007】
[2]前記判別手段は、決定木に基づいて前記特徴量から前記対象の行為を判別する前記[1]に記載の行為検出プログラム。
【0008】
[3]前記判別手段は、前記特徴量のうち前記対象の側方の方向成分に基づいてノイズを判別し、記対象の行為としてうなずき動作を判別する前記[2]に記載の行為検出プログラム。
【0009】
[4]前記加速度情報は、前記対象としての人物の首部に取り付けられた加速度センサから検出される前記[1]〜[3]のいずれかに記載の行為検出プログラム。
【0010】
[5]動きを伴う行為を判別する対象から検出された複数の軸の加速度情報について、予め定めた時間幅で複数の区間に分割された各区間の加速度の分散を算出し、
連続する前記複数の区間内において複数の軸の分散の合計値に基づいて分散が最大となる区間を
前記複数の軸に共通する候補領域として抽出する候補領域抽出手段と、前記候補領域の前後に予め定めた時間幅だけ移動した区間において分散を算出し、前記候補領域及び前記前後の区間のうち分散が高い区間を新たに候補領域として選定する候補領域選定手段と、前記候補領域選定手段が選定した前記候補領域について特徴量を算出する特徴量算出手段と、前記特徴量算出手段が算出した前記特徴量に基づいて、前記対象の行為を判別する判別手段とを有する行為検出装置。
【発明の効果】
【0011】
請求項1又は5に係る発明によれば、従来に比べて簡易な構成で利用者の行為を検出することができる。
【0012】
請求項2に係る発明によれば、決定木に基づいて利用者の行為を検出することができる。
【0013】
請求項3に係る発明によれば、従来に比べて簡易な構成で利用者のうなずきを検出することができる。
【0014】
請求項4に係る発明によれば、従来に比べて簡易な構成のセンサで利用者の行為を検出することができる。
【図面の簡単な説明】
【0015】
【
図1】
図1(a)及び(b)は、本発明の実施の形態に係る行為検出装置に用いられるセンサの構成例を示す概略図である。
【
図2】
図2は、行為検出装置の構成例を示す概略ブロック図である。
【
図3】
図3は、行為検出装置の動作例を示すフローチャートである。
【
図4】
図4(a)は加速度情報の各軸方向の値の一例を示すグラフ図であり、
図4(b)は加速度情報の各軸方向の分散値の一例を示すグラフ図である。
【
図5】
図5(a)は加速度情報の各軸方向の値の他の例を示すグラフ図であり、
図5(b)は加速度情報の各軸方向の分散値の他の例を示すグラフ図である。
【
図6】
図6(a)は加速度情報の各軸方向の値及び候補領域の一例を示すグラフ図であり、
図6(b)はシフトされた候補領域の一例を示すグラフ図である。
【
図7】
図7(a)は加速度情報の各軸方向の値及び候補領域の他の例を示すグラフ図であり、
図7(b)はシフトされた候補領域の他の例を示すグラフ図である。
【
図8】
図8は、うなずき判別手段の動作例を示すフローチャートである。
【
図9】
図9(a)〜(c)は、それぞれ各軸方向の分散値についてうなずき判別手段の判別結果を示したグラフ図である。
【
図10】
図10(a)は加速度情報のZ軸方向の値の一例を示すグラフ図であり、
図10(b)はZ軸方向の分散値についてうなずき判別手段の判別結果を示したグラフ図である。
【
図11】
図11(a)は加速度情報のZ軸方向の値の他の例を示すグラフ図であり、
図11(b)はZ軸方向の分散値についてうなずき判別手段の判別結果を示したグラフ図である。
【
図12】
図12(a)は加速度情報の各軸方向の値の一例を示すグラフ図であり、
図12(b)は加速度情報の各軸方向の分散値の一例を示すグラフ図である。
【
図13】
図13(a)は加速度情報の各軸方向の値の他の例を示すグラフ図であり、
図13(b)は加速度情報の各軸方向の分散値の他の例を示すグラフ図である。
【
図14】
図14(a)は加速度情報の各軸方向の値及び候補領域の一例を示すグラフ図であり、
図14(b)はシフトされた候補領域の一例を示すグラフ図である。
【
図15】
図15(a)は加速度情報の各軸方向の値及び候補領域の他の例を示すグラフ図であり、
図15(b)はシフトされた候補領域の他の例を示すグラフ図である。
【発明を実施するための形態】
【0016】
(センサの構成)
図1(a)及び(b)は、本発明の実施の形態に係る行為検出装置に用いられるセンサの構成例を示す概略図である。
【0017】
図1(a)に示すように、センサ1は、一般的にICカード等を収容するICカードホルダ22を備えたネックストラップ2等のストラップ部20に取り付けられる。ストラップ部20とICカードホルダ22とはクリップ部21によって連結される。
【0018】
図1(b)に示すように、利用者3がネックストラップ2を装着することによって、センサ1はICカードホルダ22の自重により利用者3の首の後部に接するようにして配置され、利用者3の動きに追従するものとする。なお、以降においてセンサ1の座標系は、図中に示すように、利用者3の前方をZ軸方向、上方をY軸方向、右側方をX軸方向とする。
【0019】
なお、センサ1は、ネックストラップ2に取り付ける他、利用者3の頭部に直接取り付けてもよいし、利用者3の着用するシャツの胸ポケットに入れてもよい。
【0020】
(行為検出装置の構成)
図2は、行為検出装置の構成例を示す概略ブロック図である。
【0021】
この行為検出装置4は、利用者3の運動を表す量の一例として複数の軸方向の加速度をセンサ1によって検出して、当該複数の軸方向それぞれの加速度から算出される特徴量に基づいて利用者3の行為を検出するものである。なお、以下において行為の一例として利用者3の首の動き、さらにその一例としてうなずきを検出する場合について説明する。従って、否定を表す首ふりや、悩みを示す首かしげ等の首の動きに適用してもよいし、センサ1の装着位置を変更して、首以外の動き、例えば、手、腕、足等の動きを検出してもよい。
【0022】
また、行為検出装置4は、CPU(Central Processing Unit)等から構成され各部を制御するとともに各種のプログラムを実行する制御部40と、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部41と、利用者の複数の軸方向の加速度を検出するセンサ1の通信部11と無線又は有線で通信する通信部42と、LCD(Liquid Crystal Display)等の表示部43とを有する。
【0023】
なお、センサ10は、加速度を検出する加速度センサの他、ジャイロセンサ、地磁気センサ、振動センサ等を用いて利用者3の他の運動に関する量を検出してもよい。
【0024】
また、行為検出装置4は、例えば、PCであり、PDA(Personal Digital Assistant)又は携帯電話機等でもよい。
【0025】
制御部40は、後述する行為検出プログラム410を実行することで、加速度情報処理手段400、候補領域抽出手段401、候補領域選定手段402、特徴量算出手段403、うなずき判別手段404及び判別結果出力手段405等として機能する。
【0026】
加速度情報処理手段400は、センサ1が検出した加速度を加速度情報として受け付けて、正規化、方向の判別等の処理を行い記憶部41に加速度情報411として記憶する。
【0027】
候補領域抽出手段401は、加速度情報411を時系列の区間で分割し、複数の区間から特徴量を抽出する候補を抽出する。
【0028】
候補領域選定手段402は、候補領域抽出手段401が抽出した候補から特徴量が抽出される最適な領域を選定する。
【0029】
特徴量算出手段403は、候補領域選定手段402が選定した領域から特徴量を算出する。
【0030】
うなずき判別手段404は、特徴量算出手段403が算出した特徴量を後述する決定木に基づいて利用者3がうなずいているか否かを判別する。また、過去の判別結果から得られた学習情報412を利用して、特徴量と比較することで判別してもよい。
【0031】
判別結果出力手段405は、うなずき判別手段404が判別した結果を判別結果413として出力する。出力される判別の結果としては、うなずきの回数、うなずきの時間、うなずいた人物等が挙げられる。
【0032】
記憶部41は、制御部40を上述した各手段400〜405として動作させる行為検出プログラム410、加速度情報411、学習情報412及び判別結果413等を記憶する。
【0033】
加速度情報411は、加速度情報処理手段400がセンサ1から受信して、記憶部41に記憶されたものである。
【0034】
学習情報412は、うなずき判別手段404が過去に判別した結果であり、特徴量算出手段403の算出した特徴量と比較する対象として用いられる。
【0035】
判別結果413は、うなずき判別手段404が判別した結果である。
【0036】
(行為検出装置の動作)
以下に、行為検出装置4の動作を
図1〜
図12を参照しつつ説明する。
【0037】
図3は、行為検出装置4の動作例を示すフローチャートである。
【0038】
まず、加速度情報処理手段400は、センサ1の検出した加速度を、センサ1の各検出軸方向200〜202について加速度情報として取得し、前処理として鉛直方向をセンサ1のY軸方向として、重力加速度成分を引いた値を算出して加速度情報411として記憶する(S1)。
【0039】
次に、候補領域抽出手段401は、加速度情報411を時間軸について分割した区間のそれぞれの分散を算出する(S2)。これは加速度の分散が大きい区間において、利用者3によって何らかの行為がなされたと判別できるためである。
【0040】
また、分割する幅は一例として1secとする。これは、「うなずき」が「うん」というように、1回の場合もあれば、「うん、うん、うん」と複数回の場合があり、これら双方を検出するためである。
【0041】
以下、加速度情報の例及び加速度の分散の例について説明する。
【0042】
図4(a)は加速度情報の各軸方向の値の一例を示すグラフ図であり、
図4(b)は加速度情報の各軸方向の分散値の一例を示すグラフ図である。
図5(a)は加速度情報の各軸方向の値の他の例を示すグラフ図であり、
図5(b)は加速度情報の各軸方向の分散値の他の例を示すグラフ図である。
【0043】
加速度情報411は、一例として時間軸を横軸として
図4(a)及び
図5(a)のように示される。候補領域抽出手段401は、時間軸について1sec毎に区間を分割し、各区間について加速度の分散を算出し、
図4(b)及び
図5(b)に示すような情報を得る。
【0044】
次に、候補領域抽出手段401は、分散が最大となる時点、
図4(b)では2sec目の区間、
図5(b)では2sec目の区間を候補領域として抽出し、候補領域選定手段402は、候補領域の前後に区間を予め定めた時間だけ変更(以下、「シフト」という。)して、候補領域として抽出する(S3)。以下、区間をシフトする方法の例について説明する。
【0045】
図6(a)は加速度情報の各軸方向の値及び候補領域の一例を示すグラフ図であり、
図6(b)はシフトされた候補領域の一例を示すグラフ図である。
図7(a)は加速度情報の各軸方向の値及び候補領域の他の例を示すグラフ図であり、
図7(b)はシフトされた候補領域の他の例を示すグラフ図である。
【0046】
候補領域抽出手段401は、
図6(b)に示す例では、
図6(a)に示す2sec目の区間に対して前後500msec分シフトさせた区間を候補領域として抽出する。また、候補領域選定手段402は、
図7(b)に示す例では、
図7(a)に示す2sec目の区間に対して前後500msec分シフトさせた区間を候補領域として抽出する。
【0047】
次に、特徴量算出手段403は、候補領域選定手段402が抽出した候補領域について特徴量を算出する(S4)。ここでは、特徴量として各軸の加速度の分散を算出する。
【0048】
次に、うなずき判別手段404は、特徴量算出手段403が算出した特徴量に基づいて、うなずきか否かを判別する(S5)。うなずきの判別は、以下に示す決定木に基づいて行う。
【0049】
図8は、うなずき判別手段404の動作例を示すフローチャートである。
図9(a)〜(c)は、それぞれ各軸方向の分散値についてうなずき判別手段404の判別結果を示したグラフ図である。
【0050】
まず、うなずき判別手段404は、特徴量算出手段403が算出した特徴量としての分散について、Y軸の分散が0・15以上である場合(S11)、利用者3の行為は「歩行」であると判別する(S16)。これは、「歩行」は「うなずき」と加速度の波形が似通っているが、「歩行」は利用者3の鉛直方向の加速度の分散が「うなずき」に比べて大きいため、この特性を利用して排除するものである。
【0051】
次に、うなずき判別手段404は、Z軸の加速度の分散が0.02以上であり(S12)、Y軸の加速度の分散が0.10以下であり(S13)、X軸の加速度の分散が0.05以下である場合(S14)、利用者3の行為は「うなずき」であると判別する(S15)。なお、Y軸の加速度の分散が一例として0.10以下である理由は、当該分散値が実験データや学習データに基づき定められたものであり、うなずきと他の動作を識別するために有効な閾値として設定されたものであるためである。また、Z軸の加速度の分散が一例として0.05以下である理由は、「うなずき」において利用者3の側方の動きがうなずきと他の動作を識別するため、当該分散値が実験データ、あるいは学習データに基づいて設定されたためである。
【0052】
図9(a)〜(c)は、上記した判別方法によって判別された判別結果である。まず、
図8のステップS12に対応した判別結果として、
図9(c)に示すように、Z軸の加速度の分散の閾値Tz=0.02以上を満たすデータは、A
z1〜A
z9となる。また、上記した
図9(c)のデータ(A
z1〜A
z9に対応するデータ)のうち、
図8のステップS13に対応した判別結果として、
図9(b)に示すように、Y軸の加速度の分散の閾値Ty=0.10以下を満たすデータは、A
y1〜A
y4となる。さらに、上記した
図9(b)のデータ(A
y1〜A
y4に対応するデータ)のうち、
図8のステップS14に対応した判別結果として、
図9(a)に示すように、X軸の加速度の分散の閾値Tx=0.005以下を満たすデータは、A
x1〜A
x4で囲んだ区間に属するデータである。
【0053】
これらの共通する区間(X軸方向においてA
x1〜A
x4で囲んだ区間)において利用者3の行為が「うなずき」であると判別でき、発明者らが実際に検証した結果、正解率は84.8%であった。
【0054】
また、他の検証結果として以下のものが挙げられる。
【0055】
図10(a)は加速度情報のZ軸方向の値の一例を示すグラフ図であり、
図10(b)はZ軸方向の分散値についてうなずき判別手段404の判別結果を示したグラフ図である。
図11(a)は加速度情報のZ軸方向の値の他の例を示すグラフ図であり、
図11(b)はZ軸方向の分散値についてうなずき判別手段404の判別結果を示したグラフ図である。
【0056】
なお、
図10は利用者の行為が「うなずき」であった場合、
図11は利用者の行為が「うなずき」以外であった場合である。
【0057】
図10(a)に示すZ軸の加速度の分散値のうち、閾値Tz=0.02以上のデータは、
図10(b)に示す判別結果(うなずきの場合の値を1とする)と照合すると正解率は97.1%であった。なお、うなずき判別手段404は、600msec以下のものはノイズとして判定し、ノイズを除去する(S6)。
【0058】
図11(a)に示すZ軸の加速度の分散値のうち、閾値Tz=0.02以上のデータは、
図11(b)に示す判別結果(うなずきの場合の値を1とする)と照合すると正解率は94.3%であった。
【0059】
(実施の形態の効果)
上記した実施の形態によれば、利用者3の首の後部にセンサ1を取り付けて、各軸の特徴量から決定木に基づいて行為の一例としてうなずきを判別したため、利用者3に大掛かりなセンサを取り付けることなく、従来に比べて簡易な構成のセンサを用いて利用者の行為を検出することができる。
【0060】
また、センサ1の各軸方向について分散値を求めるとともに、分散値の高い区間の前後に候補領域として区間をシフトして各軸の特徴量を算出したため、計算コストを減少して、行為検出の精度を向上することができる。
【0061】
[他の実施の形態]
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。
【0062】
例えば、うなずき判別手段404は、うなずきの判別の際に、学習情報412に予め用意されたうなずきの特徴量を基準としてMT法を用いてもよい。また、DTW(Dynamic Time Warping)により、学習情報412に予め用意されたうなずきの波形との波形マッチングを行ってうなずきを判別してもよい。
【0063】
また、候補領域抽出手段401は、以下に示すように、1secと異なる時間間隔によって区間を分割してもよい。
【0064】
図12(a)は加速度情報の各軸方向の値の一例を示すグラフ図であり、
図12(b)は加速度情報の各軸方向の分散値の一例を示すグラフ図である。
図13(a)は加速度情報の各軸方向の値の他の例を示すグラフ図であり、
図13(b)は加速度情報の各軸方向の分散値の他の例を示すグラフ図である。
【0065】
加速度情報411は、他の例として時間軸を横軸として
図12(a)及び
図13(a)のように示される。候補領域抽出手段401は、時間軸について600msec毎に区間を分割し、各区間について加速度の分散を算出し、
図12(b)及び
図13(b)に示すような情報を得る。
【0066】
次に、候補領域抽出手段401は、分散が最大となる時点、
図12(b)では3sec目の区間、
図13(b)では5sec目の区間を候補領域として抽出し、候補領域選定手段402は、候補領域の前後に区間をシフトして、新たな候補領域として抽出する(S3と同様)。
【0067】
図14(a)は加速度情報の各軸方向の値及び候補領域の一例を示すグラフ図であり、
図14(b)はシフトされた候補領域の一例を示すグラフ図である。
図15(a)は加速度情報の各軸方向の値及び候補領域の他の例を示すグラフ図であり、
図15(b)はシフトされた候補領域の他の例を示すグラフ図である。
【0068】
候補領域抽出手段401は、
図14(b)に示す例では、
図14(a)に示す3sec目の区間に対して前後300msec分シフトさせた区間を候補領域として抽出する。また、候補領域抽出手段401は、
図15(b)に示す例では、
図15(a)に示す5sec目の区間に対して前後300msec分シフトさせた区間を候補領域として抽出する。
【0069】
次に、特徴量算出手段403は、候補領域選定手段402が抽出した候補領域について特徴量を算出する(S4と同様)。ここでは、特徴量として各軸の加速度の分散を算出する。
【0070】
上記したように区間を1secから600msecに変更することで、特徴量解析に必要最低限な区間のみを得ることができ、判別精度を向上することができる。
【0071】
また、上記行為検出プログラム110をCD−ROM等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、加速度情報処理手段400、候補領域抽出手段401、候補領域選定手段402、特徴量算出手段403、うなずき判別手段404及び判別結果出力手段405等の一部又は全部をASIC等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。