特許 7266390 行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-20

(45)【発行日】2023-04-28

(54)【発明の名称】行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラム

(51)【国際特許分類】

   G10L 25/51 20130101AFI20230421BHJP

   G06N 20/00 20190101ALI20230421BHJP

   G10L 15/10 20060101ALI20230421BHJP

   G10L 25/18 20130101ALI20230421BHJP

【ＦＩ】

G10L25/51

G06N20/00 130

G10L15/10 500Z

G10L25/18

【請求項の数】 11

(21)【出願番号】P 2018217156

(22)【出願日】2018-11-20

(65)【公開番号】P2020086023

(43)【公開日】2020-06-04

【審査請求日】2021-06-08

【前置審査】

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100118049

【弁理士】

【氏名又は名称】西谷 浩治

(72)【発明者】

【氏名】板倉 光佑

(72)【発明者】

【氏名】水野 耕

【審査官】大野 弘

(56)【参考文献】

【文献】国際公開第２０１７／２１７４１２（ＷＯ，Ａ１）

【文献】特開２０１５－０２８５７９（ＪＰ，Ａ）

【文献】国際公開第２００７／０８０７６４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／１０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

人が発する音から前記人の行動を識別する行動識別装置における行動識別方法であって、
周囲の音を取得し、
記憶部に記憶されており、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量を、取得した前記音から抽出し、
前記特徴量を用いて前記所定の行動を識別し、
識別した前記所定の行動を示す情報を出力し、
前記所定の行動を識別した後、前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、取得された前記音を再現するスペクトルパターンを推定し、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新する、
行動識別方法。

【請求項2】

前記識別は、前記特徴量を入力値とし、前記所定の行動を出力値とし、機械学習により構築された行動識別モデルに、前記特徴量を入力することで前記所定の行動を識別する、
請求項１記載の行動識別方法。

【請求項3】

前記スペクトル情報は、周波数スペクトログラムであり、
前記スペクトルパターンは、前記周波数スペクトログラムに繰り返し現れる周波数パターンであり、
前記特徴量は、各時間における前記周波数パターンの強度である、
請求項１記載の行動識別方法。

【請求項4】

さらに、前記所定の行動を行っている前記人が発した音を学習音として取得し、
さらに、取得した前記学習音から生成したスペクトル情報からスペクトルパターンを推定し、推定した前記スペクトルパターンを前記記憶部に記憶する、
請求項１記載の行動識別方法。

【請求項5】

さらに、前記学習音が発せられた際の前記所定の行動を特定するための行動ラベルを取得し、
さらに、前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得した前記学習音から抽出し、
さらに、前記学習音から抽出した前記特徴量を入力値とし、取得した前記行動ラベルを出力値として行動識別モデルを機械学習し、
前記識別は、取得された前記音から抽出した前記特徴量を前記行動識別モデルに入力することで前記所定の行動を識別する、
請求項４記載の行動識別方法。

【請求項6】

前記記憶部は、複数のスペクトルパターンを複数の行動にそれぞれ対応付けて記憶しており、
前記更新は、識別した前記所定の行動に対応付けられている前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、取得された前記音を再現するスペクトルパターンを推定し、前記所定の行動に対応付けられており、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新する、
請求項１記載の行動識別方法。

【請求項7】

人が発する音から前記人の行動を識別する行動識別装置であって、
周囲の音を取得する収音部と、
所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを記憶する記憶部と、
前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得された前記音から抽出する抽出部と、
前記特徴量を用いて前記所定の行動を識別する識別部と、
識別された前記所定の行動を示す情報を出力する出力部と、
前記所定の行動を識別した後、前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、取得された前記音を再現するスペクトルパターンを推定し、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新する更新部と、
を備える行動識別装置。

【請求項8】

人が発する音から前記人の行動を識別するための行動識別プログラムであって、
周囲の音を取得し、
記憶部に記憶されており、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量を、取得した前記音から抽出し、
前記特徴量を用いて前記所定の行動を識別し、
識別した前記所定の行動を示す情報を出力し、
前記所定の行動を識別した後、前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、取得された前記音を再現するスペクトルパターンを推定し、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新するようにコンピュータを機能させる、
行動識別プログラム。

【請求項9】

人の行動を識別するための行動識別モデルを機械学習する機械学習装置における機械学習方法であって、
所定の行動を行っている人が発した音を学習音として取得し、
取得した前記学習音から生成したスペクトル情報からスペクトルパターンを推定し、推定した前記スペクトルパターンを記憶部に記憶し、
前記所定の行動を特定するための行動ラベルを取得し、
前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得した前記学習音から抽出し、
前記学習音から抽出した前記特徴量を入力値とし、取得した前記行動ラベルを出力値として行動識別モデルを機械学習し、
前記行動識別モデルが人の行動の識別に用いられた後、前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、前記人の行動の識別のため取得された周囲の音を再現するスペクトルパターンを推定し、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新することで前記行動識別モデルを更新する、
機械学習方法。

【請求項10】

人の行動を識別するための行動識別モデルを機械学習する機械学習装置であって、
所定の行動を行っている人が発した音を学習音として取得する学習音取得部と、
取得された前記学習音から生成したスペクトル情報からスペクトルパターンを推定するスペクトルパターン推定部と、
推定された前記スペクトルパターンを記憶する記憶部と、
前記所定の行動を特定するための行動ラベルを取得する行動ラベル取得部と、
前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得された前記学習音から抽出する特徴量抽出部と、
前記学習音から抽出された前記特徴量を入力値とし、取得された前記行動ラベルを出力値として行動識別モデルを機械学習する学習部と、
前記行動識別モデルが人の行動の識別に用いられた後、前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、前記人の行動の識別のため取得された周囲の音を再現するスペクトルパターンを推定し、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新することで前記行動識別モデルを更新する更新部と、
を備える機械学習装置。

【請求項11】

人の行動を識別するための行動識別モデルを機械学習するための機械学習プログラムであって、
所定の行動を行っている人が発した音を学習音として取得し、
取得した前記学習音から生成したスペクトル情報からスペクトルパターンを推定し、推定した前記スペクトルパターンを記憶部に記憶し、
前記所定の行動を特定するための行動ラベルを取得し、
前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得した前記学習音から抽出し、
前記学習音から抽出した前記特徴量を入力値とし、取得した前記行動ラベルを出力値として行動識別モデルを機械学習し、
前記行動識別モデルが人の行動の識別に用いられた後、前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、前記人の行動の識別のため取得された周囲の音を再現するスペクトルパターンを推定し、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新することで前記行動識別モデルを更新するようにコンピュータを機能させる、
機械学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人が発する音から前記人の行動を識別する行動識別方法、行動識別装置及び行動識別プログラムに関するものである。また、本開示は、人の行動を識別するための行動識別モデルを機械学習する機械学習方法、機械学習装置及び機械学習プログラムに関するものである。

【背景技術】

【0002】

従来、音により人の行動を識別する識別装置が提案されている。識別装置は、識別対象とする行動の音を用いて行動識別器を予め学習することにより、音のみから対象空間内での人の行動を推定することができる。

【0003】

例えば、非特許文献１は、深層学習を用いて音から生活行動を推定する手法を開示している。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｍ．Ｖａｌｅｎｔｉ、Ｄ．Ｔｏｎｅｌｌｉ、Ｆ．Ｖｅｓｐｅｒｉｎｉ、Ｅ．Ｐｒｉｎｃｉｐｉ、Ｓ．Ｓｑｕａｒｔｉｎｉ、「Ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ａｐｐｒｏａｃｈ ｆｏｒ Ｓｏｕｎｄ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｒｅａｌ Ｌｉｆｅ Ａｕｄｉｏ」、２０１７ ２５ｔｈ Ｅｕｒｏｐｅａｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ（ＥＵＳＩＰＣＯ）、２０１７年８月発行、ｐ．２７５４－２７５８

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の識別装置は、識別対象の行動を識別することができても、識別対象の行動以外の行動が行われたときに誤作動を起こしてしまう可能性があるという課題がある。

【0006】

上記非特許文献１の技術を用いても、従来の識別装置では、識別対象の行動以外の行動に対する誤作動を防ぐとともに、識別対象の行動を識別することが困難である。つまり、非特許文献１では、識別対象の行動により発生した音に対して高精度に識別する方法について言及されているが、識別対象の行動以外の行動により発生した音に関しては、どのように誤作動を防ぐのかについて言及されていない。

【0007】

本開示は、上記の問題を解決するためになされたもので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる行動識別方法、行動識別装置、行動識別プログラム、機械学習方法、機械学習装置及び機械学習プログラムを提供することを目的とするものである。

【課題を解決するための手段】

【0008】

本開示の一態様に係る行動識別方法は、人が発する音から前記人の行動を識別する行動識別装置における行動識別方法であって、周囲の音を取得し、記憶部に記憶されており、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量を、取得した前記音から抽出し、前記特徴量を用いて前記所定の行動を識別し、識別した前記所定の行動を示す情報を出力する。

【発明の効果】

【0009】

本開示によれば、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施の形態における行動識別装置の構成を示すブロック図である。

【図2】本実施の形態において、行動識別装置が対象空間内での行動を識別している状況の一例を示す図である。

【図3】本実施の形態において、行動識別装置が対象空間内での行動を識別している状況の他の例を示す図である。

【図4】本実施の形態における周波数パターンを説明するための模式図である。

【図5】本実施の形態における行動識別装置の学習動作の一例を示すフローチャートである。

【図6】本実施の形態における行動識別装置の識別動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

（本開示の基礎となった知見）
識別対象の行動を人が行っているときに、識別装置は、当該行動が識別対象の内のどの行動であるかを識別することが可能である。しかしながら、識別対象ではない行動を人が行っているときに、識別装置は、当該行動が識別対象の行動のいずれでもないことを推定することが困難である。

【0012】

例えば、識別対象が「歩く」又は「座る」といった行動である場合、これらの２つの行動が行われたときの識別は可能であるが、「走る」といった行動が行われたとき、識別装置は、当該行動が「歩く」及び「座る」のいずれでもないと判断することができない。これを防ぐため、想定される対象外の行動の音を学習データとして用意した上で、学習データの音から対象外の行動を識別できるように学習を行う方法もあるが、想定される全ての行動の音を学習データとして用意することは難しい。

【0013】

したがって、従来の識別装置では、取得した音に、識別対象の行動の音のみが含まれている場合には、識別対象の行動の識別ができても、取得した音に、識別対象の行動以外の音が含まれている場合には、行動を識別する精度が低くなるおそれがあるという課題がある。

【0014】

以上の課題を解決するために、本開示の一態様に係る行動識別方法は、人が発する音から前記人の行動を識別する行動識別装置における行動識別方法であって、周囲の音を取得し、記憶部に記憶されており、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量を、取得した前記音から抽出し、前記特徴量を用いて前記所定の行動を識別し、識別した前記所定の行動を示す情報を出力する。

【0015】

この構成によれば、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量を用いて所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0016】

また、上記の行動識別方法において、前記識別は、前記特徴量を入力値とし、前記所定の行動を出力値とし、機械学習により構築された行動識別モデルに、前記特徴量を入力することで前記所定の行動を識別してもよい。

【0017】

この構成によれば、特徴量を入力値とし、所定の行動を出力値とし、機械学習により構築された行動識別モデルに、特徴量を入力することで所定の行動が識別されるので、抽出された特徴量から容易に所定の行動を識別することができる。

【0018】

また、上記の行動識別方法において、前記スペクトル情報は、周波数スペクトログラムであり、前記スペクトルパターンは、前記周波数スペクトログラムに繰り返し現れる周波数パターンであり、前記特徴量は、各時間における前記周波数パターンの強度であってもよい。

【0019】

この構成によれば、周波数スペクトログラムに繰り返し現れる周波数パターンを用いて特定される特徴量は、各時間における周波数パターンの強度であり、当該特徴量は雑音などの識別対象の行動以外の音の影響を受けないので、種々の雑音が発生する環境においても、識別対象の行動を確実に識別することができる。

【0020】

また、上記の行動識別方法において、さらに、前記所定の行動を行っている前記人が発した音を学習音として取得し、さらに、取得した前記学習音から生成したスペクトル情報からスペクトルパターンを推定し、推定した前記スペクトルパターンを前記記憶部に記憶してもよい。

【0021】

この構成によれば、所定の行動を行っている人が発した音である学習音に基づいて推定されたスペクトルパターンを記憶部に予め記憶しておくことにより、スペクトルパターンを用いて特徴量を抽出することができる。

【0022】

また、上記の行動識別方法において、さらに、前記学習音が発せられた際の前記所定の行動を特定するための行動ラベルを取得し、さらに、前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得した前記学習音から抽出し、さらに、前記学習音から抽出した前記特徴量を入力値とし、取得した前記行動ラベルを出力値として行動識別モデルを機械学習し、前記識別は、取得された前記音から抽出した前記特徴量を前記行動識別モデルに入力することで前記所定の行動を識別してもよい。

【0023】

この構成によれば、学習音から抽出された特徴量を入力値とし、取得された行動ラベルを出力値として行動識別モデルが機械学習されるので、周囲の音から抽出された特徴量を行動識別モデルに入力することで、容易に所定の行動を識別することができる。

【0024】

また、上記の行動識別方法において、さらに、前記所定の行動を識別した後、前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、取得された前記音を再現するスペクトルパターンを推定し、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新してもよい。

【0025】

この構成によれば、環境の変化により識別対象の行動の音が変化したとしても、識別結果を用いて再度スペクトルパターンを推定し、記憶部に記憶されているスペクトルパターンを、推定されたスペクトルパターンに更新することで、環境の変化にも追従することができる。

【0026】

また、上記の行動識別方法において、前記記憶部は、複数のスペクトルパターンを複数の行動にそれぞれ対応付けて記憶しており、前記更新は、識別した前記所定の行動に対応付けられている前記スペクトルパターンを前記記憶部から読み出し、読み出した前記スペクトルパターンとの差分が最小であり、かつ、取得された前記音を再現するスペクトルパターンを推定し、前記所定の行動に対応付けられており、前記記憶部に記憶されている前記スペクトルパターンを、推定した前記スペクトルパターンに更新してもよい。

【0027】

この構成によれば、複数のスペクトルパターンが複数の行動にそれぞれ対応付けて記憶部に記憶されているので、識別された所定の行動に対応付けられているスペクトルパターンを記憶部から読み出すとともに、所定の行動に対応付けられているスペクトルパターンを、推定されたスペクトルパターンに更新することができる。

【0028】

本開示の他の態様に係る行動識別装置は、人が発する音から前記人の行動を識別する行動識別装置であって、周囲の音を取得する収音部と、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを記憶する記憶部と、前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得された前記音から抽出する抽出部と、前記特徴量を用いて前記所定の行動を識別する識別部と、識別された前記所定の行動を示す情報を出力する出力部と、を備える。

【0029】

この構成によれば、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量を用いて所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0030】

本開示の他の態様に係る行動識別プログラムは、人が発する音から前記人の行動を識別するための行動識別プログラムであって、周囲の音を取得し、記憶部に記憶されており、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量を、取得した前記音から抽出し、前記特徴量を用いて前記所定の行動を識別し、識別した前記所定の行動を示す情報を出力するようにコンピュータを機能させる。

【0031】

この構成によれば、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量を用いて所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0032】

本開示の他の態様に係る機械学習方法は、人の行動を識別するための行動識別モデルを機械学習する機械学習装置における機械学習方法であって、所定の行動を行っている人が発した音を学習音として取得し、取得した前記学習音から生成したスペクトル情報からスペクトルパターンを推定し、推定した前記スペクトルパターンを記憶部に記憶し、前記所定の行動を特定するための行動ラベルを取得し、前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得した前記学習音から抽出し、前記学習音から抽出した前記特徴量を入力値とし、取得した前記行動ラベルを出力値として行動識別モデルを機械学習する。

【0033】

この構成によれば、所定の行動を行っている人が発した音である学習音に基づいて推定されたスペクトルパターンが記憶部に記憶され、記憶部に記憶されているスペクトルパターンを用いて特定される特徴量が、取得された学習音から抽出され、学習音から抽出された特徴量を入力値とし、取得された行動ラベルを出力値として行動識別モデルが機械学習される。そして、識別時において、スペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量が行動識別モデルに入力されることで所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0034】

本開示の他の態様に係る機械学習装置は、人の行動を識別するための行動識別モデルを機械学習する機械学習装置であって、所定の行動を行っている人が発した音を学習音として取得する学習音取得部と、取得された前記学習音から生成したスペクトル情報からスペクトルパターンを推定するスペクトルパターン推定部と、推定された前記スペクトルパターンを記憶する記憶部と、前記所定の行動を特定するための行動ラベルを取得する行動ラベル取得部と、前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得された前記学習音から抽出する特徴量抽出部と、前記学習音から抽出された前記特徴量を入力値とし、取得された前記行動ラベルを出力値として行動識別モデルを機械学習する学習部と、を備える。

【0035】

この構成によれば、所定の行動を行っている人が発した音である学習音に基づいて推定されたスペクトルパターンが記憶部に記憶され、記憶部に記憶されているスペクトルパターンを用いて特定される特徴量が、取得された学習音から抽出され、学習音から抽出された特徴量を入力値とし、取得された行動ラベルを出力値として行動識別モデルが機械学習される。そして、識別時において、スペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量が行動識別モデルに入力されることで所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0036】

本開示の他の態様に係る機械学習プログラムは、人の行動を識別するための行動識別モデルを機械学習するための機械学習プログラムであって、所定の行動を行っている人が発した音を学習音として取得し、取得した前記学習音から生成したスペクトル情報からスペクトルパターンを推定し、推定した前記スペクトルパターンを記憶部に記憶し、前記所定の行動を特定するための行動ラベルを取得し、前記記憶部に記憶されている前記スペクトルパターンを用いて特定される特徴量を、取得した前記学習音から抽出し、前記学習音から抽出した前記特徴量を入力値とし、取得した前記行動ラベルを出力値として行動識別モデルを機械学習するようにコンピュータを機能させる。

【0037】

この構成によれば、所定の行動を行っている人が発した音である学習音に基づいて推定されたスペクトルパターンが記憶部に記憶され、記憶部に記憶されているスペクトルパターンを用いて特定される特徴量が、取得された学習音から抽出され、学習音から抽出された特徴量を入力値とし、取得された行動ラベルを出力値として行動識別モデルが機械学習される。そして、識別時において、スペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量が行動識別モデルに入力されることで所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0038】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0039】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0040】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、及びステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0041】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

【0042】

（実施の形態）
図１は、本開示の実施の形態における行動識別装置の構成を示すブロック図である。図２は、本実施の形態において、行動識別装置が対象空間内での行動を識別している状況の一例を示す図である。図３は、本実施の形態において、行動識別装置が対象空間内での行動を識別している状況の他の例を示す図である。

【0043】

まず、本実施の形態における行動識別装置１の学習動作及び識別動作の流れについて説明する。

【0044】

学習時において、行動識別装置１は、学習に用いる音を示す学習データと、学習データに対する行動ラベルとを受け取る。次に、行動識別装置１は、学習データのみから周波数構造を学習する。次に、行動識別装置１は、学習した周波数構造を用いて学習データから特徴量を抽出する。最後に、行動識別装置１は、学習データから抽出した特徴量と行動ラベルとを用いて、特徴量から行動ラベルを出力する行動識別モデルを学習する。

【0045】

識別時において、行動識別装置１は、マイクから音データを受け取る。次に、行動識別装置１は、事前に学習した周波数構造を用いて音データから特徴量を抽出する。次に、行動識別装置１は、事前に学習した行動識別モデルを用いて特徴量から行動を識別する。

【0046】

行動識別装置１は、人が例えば「座る」又は「歩く」等の識別対象行動を行った時にどのような周波数パターンがどれくらいの大きさで発生するかをあらかじめ学習し、学習した周波数パターンを周波数構造として保持している。

【0047】

図２に示すように、行動識別装置１の収音部１０１は、対象空間内において人が座ったときに発生した音を取得する。そして、行動識別装置１は、事前学習した周波数パターンが、発生した音の中にどれくらいの強さで含まれているかを推定し、周波数パターンの強さと行動識別モデルとに基づいて、人が座ったという行動を認識する。これにより、行動識別装置１の表示部１０９は、「座る」という識別結果を表示する。

【0048】

また、図３に示すように、行動識別装置１の収音部１０１は、対象空間内において人が物を引きずりながら歩いたときに発生した音を取得する。このとき、収音部１０１は、物を引きずる音と歩く音との両方を同時に取得する。行動識別装置１は、これらの音に対し、事前学習した周波数パターンがどれくらいの強さで含まれているのかを推定する。しかしながら、物を引きずる音には事前学習した周波数パターンは含まれていないため、周波数パターンの強さは歩く音のみに影響を受ける。したがって、人が、物を引きずりながら歩いたとしても、行動識別装置１は、人が歩く音の周波数パターンの強さと行動識別モデルとに基づいて、人が歩いたという行動を認識する。これにより、行動識別装置１の表示部１０９は、「歩く」という識別結果を表示する。

【0049】

続いて、本実施の形態における行動識別装置１の構成について説明する。

【0050】

図１に示す行動識別装置１は、例えば、コンピュータである。行動識別装置１は、プロセッサ１０と、メモリ２０と、収音部１０１と、学習データ入力部１０２と、行動ラベル入力部１０３と、表示部１０９とを備える。

【0051】

プロセッサ１０は、周波数構造学習部１０４と、特徴量抽出部１０５と、識別モデル学習部１０６と、行動識別部１０７と、周波数構造更新部１０８とを備える。メモリ２０は、例えば、ＨＤＤ（ハードディスクドライブ）、ＲＡＭ（ランダムアクセスメモリ）又は半導体メモリなどの補助記憶装置によって実装される。メモリ２０は、周波数構造記憶部２０１と、識別モデル記憶部２０２とを備える。

【0052】

収音部１０１は、例えば、マイクであり、周囲の音を取得する。収音部１０１は、取得した音を電気信号に変換し、電気信号を音響信号として出力する。

【0053】

学習データ入力部１０２は、識別前の学習時において、学習用の音データである学習データを取得する。学習データ入力部１０２は、所定の行動を行っている人が発した音を学習データ（学習音）として取得する。学習データ入力部１０２は、例えば、入力インタフェースであり、インターネットなどのネットワークを介して外部機器から受信した学習データを通信装置から取得してもよいし、光ディスク等の記録媒体に記憶された学習データをドライブ装置から取得してもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の補助記憶装置から学習データを取得してもよい。

【0054】

行動ラベル入力部１０３は、識別前の学習時において、学習データに含まれる学習音が発せられた際の所定の行動を特定するための行動ラベルを取得する。なお、行動ラベル入力部１０３は、学習データのうちの人が行動を行った期間を特定するための時間情報を、行動ラベルとともに取得してもよい。行動ラベル入力部１０３は、例えば、入力インタフェースであり、インターネットなどのネットワークを介して外部機器から受信した行動ラベルを通信装置から取得してもよいし、キーボード、マウス又はタッチパネル等の入力装置からユーザにより入力された行動ラベルを取得してもよい。

【0055】

周波数構造学習部１０４は、学習データ入力部１０２によって取得された学習音から生成したスペクトル情報からスペクトルパターンを推定し、推定したスペクトルパターンを周波数構造記憶部２０１に記憶する。本実施の形態において、スペクトル情報は、周波数スペクトログラムであり、スペクトルパターンは、周波数スペクトログラムに繰り返し現れる周波数パターンである。

【0056】

図４は、本実施の形態における周波数パターンを説明するための模式図である。

【0057】

学習音は、横軸が時間を表し、縦軸が周波数を表し、輝度又は色が強度を表す周波数スペクトログラムに変換される。周波数構造学習部１０４は、学習データ入力部１０２によって取得された学習音から周波数スペクトログラムを生成し、周波数スペクトログラムから少なくとも１つの周波数パターンを推定する。少なくとも１つの周波数パターンは、少なくとも１つの周波数成分を有し、所定の強度及び所定の時間間隔で繰り返される。

【0058】

周波数スペクトログラムは、少なくとも１つの周波数パターンと、各時間での少なくとも１つの周波数パターンの強度とに分解される。つまり、少なくとも１つの周波数パターンと、各時間での少なくとも１つの周波数パターンの強度とが乗算されることにより、学習音の周波数スペクトログラムが再現される。

【0059】

周波数構造学習部１０４は、学習データ入力部１０２によって取得された学習音を分解することで、学習音に含まれる周波数パターンを推定する。図４に示すように、周波数パターンは、音を構成する複数の周波数成分のうちの同一のタイミングで繰り返し現れる周波数成分を示す。周波数構造学習部１０４は、複数の周波数パターンを組み合わせることにより、学習音に最も近くなるような周波数パターンを推定する。図４に示す学習音の周波数パターンは、例えば、複数の周波数成分を有する第１周波数パターンと、第１周波数パターンとは異なる複数の周波数成分を有する第２周波数パターンとを含む。図４の例では、各時間の強度の変化が同じ傾向を示している１群の周波数が１つの周波数パターンとして抽出されている。なお、周波数パターンの数は、固定の数であってもよいし、自動で推定されてもよい。また、周波数構造学習部１０４は、周波数パターンを対象行動ごとにそれぞれ独立して周波数構造記憶部２０１に記憶してもよい。また、周波数構造学習部１０４は、全ての対象行動の周波数パターンをまとめて共通に周波数構造記憶部２０１に記憶してもよい。

【0060】

また、本実施の形態では、学習音は、２つの周波数パターンを含んでいるが、本開示は特にこれに限定されず、学習音は、人が行った対象行動に応じて、１つの周波数パターン又は３つ以上の周波数パターンを含んでもよい。

【0061】

周波数構造記憶部２０１は、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを記憶する。本実施の形態において、周波数構造記憶部２０１は、周波数構造学習部１０４によって推定された学習音の周波数パターンを記憶する。なお、周波数構造記憶部２０１は、対象の行動の音の周波数パターンのみを記憶するのではなく、実際に識別する環境における雑音又は対象外の行動の音の周波数パターンを記憶してもよい。また、周波数構造記憶部２０１は、複数の周波数パターンを複数の行動にそれぞれ対応付けて記憶してもよいし、周波数パターンを行動に対応付けることなく、周波数パターンのみを記憶してもよい。

【0062】

なお、本実施の形態では、スペクトル情報は、周波数スペクトログラムであり、スペクトルパターンは、周波数パターンであるが、本開示は特にこれに限定されない。例えば、スペクトル情報は、横軸を時間とし、縦軸をフィルタバンクインデックスとするメル周波数スペクトラムであってもよい。この場合、スペクトルパターンは、所定の強度及び所定のタイミングで繰り返し現れる複数のフィルタバンクインデックを表すフィルタバンクインデックスパターンであってもよい。

【0063】

また、本実施の形態において、例えば、スペクトル情報は、横軸を時間とし、縦軸をケプストラムインデックスとするメル周波数ケプストラムであってもよい。この場合、スペクトルパターンは、所定の強度及び所定のタイミングで繰り返し現れる複数のケプストラムインデックを表すケプストラムインデックスパターンであってもよい。

【0064】

また、本実施の形態において、例えば、スペクトル情報は、横軸を時間とし、縦軸を係数インデックスとするメル周波数ケプストラム係数（ＭＦＣＣ）であってもよい。この場合、スペクトルパターンは、所定の強度及び所定のタイミングで繰り返し現れる複数の係数インデックを表す係数インデックスパターンであってもよい。

【0065】

特徴量抽出部１０５は、周波数構造記憶部２０１に記憶されており、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量を、収音部１０１によって取得された音から抽出する。特徴量抽出部１０５は、収音部１０１によって取得された音響信号から特徴量を抽出する。特徴量は、各時間における周波数パターンの強度を示す。また、特徴量抽出部１０５は、周波数構造記憶部２０１に記憶されているスペクトルパターンを用いて特定される特徴量を、学習データ入力部１０２によって取得された学習音から抽出する。

【0066】

識別モデル学習部１０６は、特徴量抽出部１０５によって抽出された特徴量から、現在の行動を推定するための行動識別モデルを学習する。識別モデル学習部１０６は、学習音から抽出された特徴量を入力値とし、行動ラベル入力部１０３によって取得された行動ラベルを出力値として行動識別モデルを機械学習する。行動識別モデルの学習には、現在の特徴量だけでなく、過去数フレーム分の特徴量が同時に用いられてもよい。また、行動識別モデルには、例えば、深層学習手法におけるｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ又はｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋなどが用いられてもよく、又は統計的手法におけるサポートベクタマシン又は混合ガウス分布などが用いられてもよい。行動識別モデルの学習には、誤差逆伝搬法又は最尤推定など、用いるモデルに合わせた学習方法が用いられる。

【0067】

識別モデル記憶部２０２は、識別モデル学習部１０６によって学習された行動識別モデルを記憶する。

【0068】

行動識別部１０７は、特徴量抽出部１０５によって抽出された特徴量を用いて所定の行動を識別する。行動識別部１０７は、特徴量抽出部１０５によって抽出された特徴量をもとに、識別モデル記憶部２０２に記憶している行動識別モデルを用いて現在の行動を推定する。行動識別部１０７は、特徴量を入力値とし、所定の行動を出力値とし、機械学習により構築された行動識別モデルに、取得された音から抽出された特徴量を入力することで所定の行動を識別する。

【0069】

周波数構造更新部１０８は、行動識別部１０７により得られた行動識別結果と、収音部１０１により得られた音と、周波数構造記憶部２０１に記憶されている周波数パターンとに基づいて周波数構造記憶部２０１に記憶されている周波数パターンを更新する。周波数構造更新部１０８は、所定の行動を識別した後、スペクトルパターンを周波数構造記憶部２０１から読み出し、読み出したスペクトルパターンとの差分が最小であり、かつ、取得された音を再現するスペクトルパターンを推定し、周波数構造記憶部２０１に記憶されているスペクトルパターンを、推定したスペクトルパターンに更新する。

【0070】

なお、周波数構造記憶部２０１が、複数のスペクトルパターンを複数の行動にそれぞれ対応付けて記憶している場合、周波数構造更新部１０８は、行動識別部１０７によって識別された所定の行動に対応付けられているスペクトルパターンを周波数構造記憶部２０１から読み出してもよい。そして、周波数構造更新部１０８は、読み出したスペクトルパターンとの差分が最小であり、かつ、取得された音を再現するスペクトルパターンを推定し、所定の行動に対応付けられており、周波数構造記憶部２０１に記憶されているスペクトルパターンを、推定したスペクトルパターンに更新してもよい。

【0071】

表示部１０９は、例えば、液晶表示装置であり、行動識別部１０７によって識別された所定の行動を示す情報を出力する。表示部１０９は、行動識別部１０７から出力された行動識別結果を表示する。

【0072】

なお、本実施の形態では、表示部１０９が、行動識別結果を表示しているが、本開示は特にこれに限定されず、行動識別装置１がスピーカを備えてもよく、スピーカが、行動識別結果を音声により通知してもよい。

【0073】

また、本実施の形態において、機械学習装置は、学習データ入力部１０２、行動ラベル入力部１０３、周波数構造学習部１０４、特徴量抽出部１０５、識別モデル学習部１０６、周波数構造記憶部２０１及び識別モデル記憶部２０２を備えてもよい。また、行動識別装置１は、学習データ入力部１０２、行動ラベル入力部１０３、周波数構造学習部１０４及び識別モデル学習部１０６を備えず、収音部１０１、特徴量抽出部１０５、行動識別部１０７と、周波数構造更新部１０８、表示部１０９、周波数構造記憶部２０１及び識別モデル記憶部２０２のみを備えてもよい。

【0074】

続いて、本実施の形態における行動識別装置１の処理動作について説明する。行動識別装置１には、学習動作と識別動作との２つの処理動作がある。行動識別装置１は、学習動作と識別動作とに切り替えが可能である。

【0075】

学習動作では、行動識別装置１は、行動を識別するために必要な行動識別モデルを学習データから学習する。周波数構造学習部１０４は、学習データ入力部１０２によって取得された学習音に含まれる音の周波数パターンを自動で推定する。識別モデル学習部１０６は、特徴量抽出部１０５によって抽出された周波数パターンの発生強度を用いて行動を推定するための行動識別モデルを学習する。

【0076】

図５は、本実施の形態における行動識別装置の学習動作の一例を示すフローチャートである。

【0077】

まず、行動識別装置１の学習データ入力部１０２は、予め用意された学習音を含む学習データを取得する（ステップＳ１）。

【0078】

次に、行動ラベル入力部１０３は、学習データに含まれる学習音が発せられた際の所定の行動を特定するための行動ラベルを取得する（ステップＳ２）。

【0079】

次に、周波数構造学習部１０４は、学習データ入力部１０２によって取得された学習音から周波数パターンを推定する（ステップＳ３）。具体的には、周波数構造学習部１０４は、予め決められた数又は自動で推定された数の周波数パターンを用いて、学習データ入力部１０２によって取得された音を再現しようとしたとき、再現した音と取得された音との誤差が最小になるような周波数パターンを推定する。周波数パターンとは、所定の強度及び所定のタイミングで含まれる複数の周波数成分を示す。周波数構造学習部１０４は、周波数パターンの各時間での強度を定めることで、取得された音を再現する。

【0080】

次に、周波数構造学習部１０４は、推定した周波数パターンを周波数構造記憶部２０１に記憶する（ステップＳ４）。

【0081】

次に、特徴量抽出部１０５は、周波数構造記憶部２０１に記憶された周波数パターンを用いて、学習データ入力部１０２によって取得された学習データから特徴量を抽出する（ステップＳ５）。特徴量とは、周波数構造記憶部２０１に記憶された周波数パターンを用いて、学習データ入力部１０２によって取得された学習音に最も近い音を再現した際の、各時間での周波数パターンの強度を示す。

【0082】

例えば、特徴量抽出部１０５は、学習データ入力部１０２によって取得された学習音から周波数スペクトログラムを生成する。周波数構造記憶部２０１は、識別対象の行動に応じた複数の周波数パターンを記憶している。特徴量抽出部１０５は、周波数構造記憶部２０１に記憶された複数の周波数パターンのそれぞれを用いて学習音の周波数スペクトログラムを再現し、再現した周波数スペクトログラムと生成した周波数スペクトログラムとの誤差が閾値以下となる周波数パターンを特定し、各時間での特定した周波数パターンの強度を特徴量として抽出する。

【0083】

次に、識別モデル学習部１０６は、特徴量抽出部１０５によって抽出された特徴量と、行動ラベル入力部１０３によって取得された行動ラベルとを用いて、行動識別モデルを学習する（ステップＳ６）。行動識別モデルは、例えば、深層学習手法におけるｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋなど、又は統計的手法におけるサポートベクタマシンなどである。行動識別モデルの学習は、行動識別モデルに合わせて、誤差逆伝搬法などを用いて行われる。識別モデル学習部１０６は、学習した行動識別モデルを識別モデル記憶部２０２に記憶する。

【0084】

以上のように、本実施の形態によれば、所定の行動を行っている人が発した音である学習音に基づいて推定されたスペクトルパターンが周波数構造記憶部２０１に記憶され、記憶部に記憶されているスペクトルパターンを用いて特定される特徴量が、取得された学習音から抽出され、学習音から抽出された特徴量を入力値とし、取得された行動ラベルを出力値として行動識別モデルが機械学習される。そして、識別時において、スペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量が行動識別モデルに入力されることで所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0085】

続いて、行動識別装置１による識別動作について説明する。

【0086】

識別動作では、行動識別装置１は、周波数構造記憶部２０１に記憶された周波数パターンを用いて、収音部１０１によって取得された音から特徴量を抽出し、識別モデル記憶部２０２に記憶された行動識別モデルを用いて行動を識別する。また、行動識別装置１は、行動識別部１０７によって識別された行動識別結果と、収音部１０１によって取得された音と、周波数構造記憶部２０１に記憶されている周波数パターンとを用いて、周波数構造記憶部２０１に記憶されている周波数パターンを更新する。

【0087】

図６は、本実施の形態における行動識別装置の識別動作の一例を示すフローチャートである。

【0088】

まず、行動識別装置１の収音部１０１は、周囲で発生した音を取得する（ステップＳ１１）。このとき、周囲で発生した音は、人が行動することによって発生する音を含む。人が行動することによって発生する音は、例えば、人が座ることによって発生する音又は人が歩くことによって発生する音などである。

【0089】

次に、特徴量抽出部１０５は、周波数構造記憶部２０１に記憶されている周波数パターンを用いて、収音部１０１によって取得された周囲の音から特徴量を抽出する（ステップＳ１２）。ここで、特徴量とは、各時間での周波数パターンの強度を示す。

【0090】

例えば、特徴量抽出部１０５は、収音部１０１によって取得された音から周波数スペクトログラムを生成する。周波数構造記憶部２０１は、識別対象の行動に応じた複数の周波数パターンを記憶している。特徴量抽出部１０５は、周波数構造記憶部２０１に記憶された複数の周波数パターンのそれぞれを用いて音の周波数スペクトログラムを再現し、再現した周波数スペクトログラムと生成した周波数スペクトログラムとの誤差が閾値以下となる周波数パターンを特定し、各時間での特定した周波数パターンの強度を特徴量として抽出する。

【0091】

次に、行動識別部１０７は、特徴量抽出部１０５によって抽出された特徴量と、識別モデル記憶部２０２に記憶されている行動識別モデルとを用いて、行動を識別する（ステップＳ１３）。具体的には、行動識別部１０７は、識別モデル記憶部２０２に記憶されている行動識別モデルに対して、特徴量抽出部１０５によって抽出された特徴量を入力値として与え、行動識別モデルから出力された行動内容を行動識別結果として取得する。

【0092】

次に、表示部１０９は、行動識別部１０７による行動識別結果を表示する（ステップＳ１４）。このとき、表示部１０９は、識別された行動を示す情報を表示する。

【0093】

次に、周波数構造更新部１０８は、収音部１０１から周囲の音を取得し、行動識別部１０７から行動識別結果を取得し、周波数構造記憶部２０１から行動識別結果の行動に対応する周波数パターンを取得する（ステップＳ１５）。なお、周波数構造記憶部２０１は、行動に対応付けて周波数パターンを記憶している。

【0094】

次に、周波数構造更新部１０８は、周波数構造記憶部２０１から取得した周波数パターンとの差分が最も小さく、かつ、収音部１０１によって取得された音を最も正確に再現する周波数パターンを推定し、周波数構造記憶部２０１に記憶されている周波数パターンを、推定した周波数パターンに更新する（ステップＳ１６）。具体的には、周波数構造更新部１０８は、周波数構造記憶部２０１に記憶された周波数パターンと推定後の周波数パターンとの差分が最も小さく、かつ、収音部１０１によって取得された音を推定後の周波数パターンを用いて再現したときの再現した音と取得された音との誤差が最も小さくなるような周波数パターンを推定する。そして、周波数構造更新部１０８は、周波数構造記憶部２０１に記憶されている周波数パターンを、推定した周波数パターンに更新する。

【0095】

なお、周波数構造更新部１０８は、周波数構造記憶部２０１から取得した周波数パターンと推定後の周波数パターンとの差分と、収音部１０１によって取得された音を推定後の周波数パターンを用いて再現したときの再現した音と取得された音との誤差との和を算出し、算出した和が最も小さくなるように周波数パターンを推定してもよい。

【0096】

以上のように、本実施の形態によれば、所定の行動を行っている人が発した音から生成したスペクトル情報に含まれているスペクトルパターンを用いて特定される特徴量が、取得された周囲の音から抽出され、特徴量を用いて所定の行動が識別されるので、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができる。

【0097】

また、本実施の形態における行動識別装置１では、音の周波数構造に着目し、識別対象となる行動が行われた際に発生する音の周波数パターンを推定して記憶しておくことで、収音された音に含まれる周波数パターンの強度を推定し、推定した周波数パターンの強度から行動を識別する。したがって、従来の識別装置のように、雑音などの想定外の音の発生に伴った収音性能の変化に識別結果が左右されることなく、想定外の音の影響を受けない特徴量を用いて行動を識別することができる。その結果、多様な音の発生する環境下における人の行動の識別性能の向上を図ることができる。

【0098】

また、本実施の形態では、識別対象の行動の音だけでなく、雑音に関しても周波数パターンを推定してもよい。すなわち、学習データ入力部１０２は、雑音を学習データとして取得してもよい。また、周波数構造学習部１０４は、学習データ入力部１０２によって取得された雑音の学習データから生成した周波数スペクトログラムから雑音の周波数パターンを推定し、推定した雑音の周波数パターンを周波数構造記憶部２０１に記憶してもよい。そして、識別時において、特徴量抽出部１０５は、収音部１０１によって取得された音から、周波数構造記憶部２０１に記憶されている雑音の周波数パターンを除外し、識別対象の行動の音の周波数パターンのみに対応する特徴量を抽出してもよい。

【0099】

これにより、識別対象の行動の音の周波数パターンのみが記憶されている場合と比べて、より正確に雑音を除外し、識別対象の音のみを用いて行動を識別することができる。

【0100】

また、行動識別モデルは、各周波数パターンの強度のみから行動を識別しているため、環境の変化によって識別対象の音の周波数構造が変化するおそれがあるが、本実施の形態では、識別結果を用いて再度周波数パターンが推定されるので、環境の変化にも追従することができる。

【0101】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0102】

本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0103】

また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

【0104】

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

【0105】

また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【産業上の利用可能性】

【0106】

本開示に係る行動識別方法、行動識別装置及び行動識別プログラムは、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができるので、人が発する音から前記人の行動を識別する行動識別方法、行動識別装置及び行動識別プログラムとして有用である。

【0107】

また、本開示に係る機械学習方法、機械学習装置及び機械学習プログラムは、取得された周囲の音に、雑音などの識別対象の行動以外の音が含まれる場合であっても、周囲の音から識別対象である行動を高い精度で識別することができるので、人の行動を識別するための行動識別モデルを機械学習する機械学習方法、機械学習装置及び機械学習プログラムとして有用である。

【符号の説明】

【0108】

１ 行動識別装置
１０ プロセッサ
２０ メモリ
１０１ 収音部
１０２ 学習データ入力部
１０３ 行動ラベル入力部
１０４ 周波数構造学習部
１０５ 特徴量抽出部
１０６ 識別モデル学習部
１０７ 行動識別部
１０８ 周波数構造更新部
１０９ 表示部
２０１ 周波数構造記憶部
２０２ 識別モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】