(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129225
(43)【公開日】2024-09-27
(54)【発明の名称】コンテキスト推定システム
(51)【国際特許分類】
A61B 5/11 20060101AFI20240919BHJP
G08B 25/10 20060101ALI20240919BHJP
G08B 25/04 20060101ALI20240919BHJP
G01S 3/46 20060101ALI20240919BHJP
【FI】
A61B5/11 200
G08B25/10 A
G08B25/04 K
G01S3/46
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023038283
(22)【出願日】2023-03-13
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和5年1月6日から8日にIEEE 41st International Con-ference on Consumer Electronics 2023(IEEE ICCE 2023)にて発表 [刊行物等] 令和5年2月15日に愛知工業大学大学院経営情報科学研究科修士論文発表会にて発表
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.PYTHON
(71)【出願人】
【識別番号】515067262
【氏名又は名称】学校法人名古屋電気学園
(74)【代理人】
【識別番号】100111095
【弁理士】
【氏名又は名称】川口 光男
(72)【発明者】
【氏名】内藤 克浩
(72)【発明者】
【氏名】林 結弦
【テーマコード(参考)】
4C038
5C087
【Fターム(参考)】
4C038VA04
4C038VB35
4C038VC20
5C087AA21
5C087BB20
5C087DD03
5C087DD24
5C087EE02
5C087FF01
5C087FF02
5C087FF16
5C087GG10
5C087GG17
(57)【要約】
【課題】比較的簡易な構成によってコンテキストを推定可能であり、導入コストをより低廉なものとすることができるコンテキスト推定システムを提供する。
【解決手段】コンテキスト推定システム1は、ユーザに装着されるとともに、所定の信号を無線送信可能なビーコンタグ3と、ビーコンタグ3から送信された信号を受信可能な受信部41と、受信部41が受信した信号から、受信部41に対するビーコンタグ3の仰角及び方位角を算出する角度算出部42とを備える。仰角及び方位角の時系列データ、又は、当該時系列データに基づく統計データを特徴値として学習させて生成してなる学習モデルを用いて、ユーザのコンテキストを推定する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ユーザのコンテキストを推定するためのコンテキスト推定システムであって、
前記ユーザに装着されるとともに、所定の信号を無線送信可能なビーコンタグと、
前記ビーコンタグから送信された前記信号を受信可能な受信手段と、
前記受信手段が受信した前記信号から、前記受信手段に対する前記ビーコンタグの仰角及び方位角を算出する角度算出手段と、
前記仰角及び方位角の時系列データ、又は、当該時系列データに基づく統計データを特徴値として学習させて生成してなる学習モデルを用いて、前記ユーザのコンテキストを推定可能なコンテキスト推定手段とを備えることを特徴とするコンテキスト推定システム。
【請求項2】
前記コンテキスト推定手段は、前記ユーザのコンテキストとして、少なくとも「転倒」を推定可能に構成されていることを特徴とする請求項1に記載のコンテキスト推定システム。
【請求項3】
前記コンテキスト推定手段は、前記ユーザのコンテキストとして、少なくとも「転倒」、「歩行」、「立つ」及び「寝る」を区別して推定可能に構成されていることを特徴とする請求項1に記載のコンテキスト推定システム。
【請求項4】
前記角度算出手段は、Angle of Arrival(AoA)又はAngle of Departure(AoD)を利用した機能であるブルートゥース(登録商標)規格の方向検知機能を用いて、前記受信手段に対する前記ビーコンタグの仰角及び方位角を算出するように構成されていることを特徴とする請求項1に記載のコンテキスト推定システム。
【請求項5】
前記コンテキスト推定手段は、ランダムフォレスト、ニューラルネットワーク、決定木又はk近傍法を用いて構成された学習モデルを用いて、前記ユーザのコンテキストを推定可能に構成されていることを特徴とする請求項1に記載のコンテキスト推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザのコンテキストを推定するためのシステムに関する。
【背景技術】
【0002】
近年、ユーザのコンテキスト(ユーザの状況やユーザに生じた出来事)を推定するためのコンテキスト推定システムが提案されている。
【0003】
コンテキスト推定システムとしては、カメラにより得られた画像データに基づき、ユーザのコンテキストを推定するものが考えられる。しかしながら、ユーザの心理的な負担の軽減や、ユーザのプライバシー保護といった観点からは、カメラを用いたシステムは必ずしも好ましいものではない。
【0004】
そこで、カメラを用いないコンテキスト推定システムとして、ベッド等の寝具又はその周囲に配設された複数の光センサと、各光センサによる検知の有無に基づき複数種類の動態信号を出力可能な伝送装置と備え、伝送装置から出力される動態信号に基づき、ユーザのコンテキスト(就寝姿勢、立位、歩行開始など)を推定するものが提案されている(例えば、特許文献1等参照)。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1に記載のシステムにおいては、複数の光センサなどが必要となるため、システムの複雑化や導入コストの増大を招くおそれがある。
【0007】
本発明は、上記事情に鑑みてなされたものであり、その目的は、比較的簡易な構成によってコンテキストを推定可能であり、導入コストをより低廉なものとすることができるコンテキスト推定システムを提供することにある。
【課題を解決するための手段】
【0008】
以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
【0009】
手段1.ユーザのコンテキストを推定するためのコンテキスト推定システムであって、
前記ユーザに装着されるとともに、所定の信号を無線送信可能なビーコンタグと、
前記ビーコンタグから送信された前記信号を受信可能な受信手段と、
前記受信手段が受信した前記信号から、前記受信手段に対する前記ビーコンタグの仰角及び方位角を算出する角度算出手段と、
前記仰角及び方位角の時系列データ、又は、当該時系列データに基づく統計データを特徴値として学習させて生成してなる学習モデルを用いて、前記ユーザのコンテキストを推定可能なコンテキスト推定手段とを備えることを特徴とするコンテキスト推定システム。
【0010】
上記手段1によれば、複数の光センサなどを必要とすることなく、比較的簡易なシステムによってユーザのコンテキストを推定することができる。従って、システムの導入コストをより低廉なものとすることができる。
【0011】
また、ビーコンタグはユーザに装着されるものであるため、ユーザがビーコンタグの装着を解除すれば、ユーザのコンテキストを推定することができない状態となる。すなわち、ユーザがビーコンタグの装着又は非装着を切換えることで、コンテキストの推定可能又は推定不可を切換えることができる。従って、カメラを使用しないシステムであることと相俟って、ユーザにおけるプライバシー保護をより確実に図ることができる。また、システムを使用するにあたってのユーザの心理的な負担を低減することができる。
【0012】
尚、ビーコンタグから送信される信号は、個々のビーコンタグを識別可能な情報を含むものであってもよい。この場合には、複数のユーザのコンテキストを個別に推定することができ、コンテキストの推定に係る精度を高めることができる。また、システムを、複数のユーザが共通に利用する部屋などに適用することができるため、利便性の向上を図ることができる。
【0013】
手段2.前記コンテキスト推定手段は、前記ユーザのコンテキストとして、少なくとも「転倒」を推定可能に構成されていることを特徴とする手段1に記載のコンテキスト推定システム。
【0014】
上記手段2によれば、「転倒」という緊急事態に繋がり得るコンテキストを推定することができる。従って、「転倒」の発生に対する適切な対応(例えば、「転倒」が推定された場合にその旨を外部に報知することなど)を行うことができる。これにより、利便性をより向上させることができる。
【0015】
手段3.前記コンテキスト推定手段は、前記ユーザのコンテキストとして、少なくとも「転倒」、「歩行」、「立つ」及び「寝る」を区別して推定可能に構成されていることを特徴とする手段1に記載のコンテキスト推定システム。
【0016】
上記手段3によれば、「転倒」、「歩行」、「立つ」及び「寝る」という4種類のコンテキストを区別して推定することができる。従って、コンテキストの種別に応じた適切な対応(例えば、「歩行」、「立つ」又は「寝る」が推定された場合と、「転倒」が推定された場合とで、外部への報知態様に違いを設けることなど)を行うことができる。これにより、利便性を一層向上させることができる。
【0017】
手段4.前記角度算出手段は、Angle of Arrival(AoA)又はAngle of Departure(AoD)を利用した機能であるブルートゥース(登録商標)規格の方向検知機能を用いて、前記受信手段に対する前記ビーコンタグの仰角及び方位角を算出するように構成されていることを特徴とする手段1に記載のコンテキスト推定システム。
【0018】
上記手段4によれば、仰角及び方位角を算出するにあたって、AoA又はAoDを利用した機能であるブルートゥース(登録商標)規格の方向検知機能が用いられる。従って、比較的簡易な手法をもって、仰角及び方位角を精度よく算出することができ、コンテキストに係る良好な推定精度をより確実に得ることができる。
【0019】
また、ブルートゥース(登録商標)規格〔特にBluetooth(登録商標) Low Energy〕を利用することで、ビーコンタグを極めて低い電力で動作させることができる。従って、ビーコンタグの電源として、小型のボタン電池などを用いれば足りることとなり、結果的に、ビーコンタグの小型化を図ることができる。また、ビーコンタグを継続的に使用するための、電源に係る面倒な作業(例えば電池交換など)の頻度を減らすことができる。これらが相俟って、ユーザにとっての使い勝手を極めて効果的に高めることができる。
【0020】
手段5.前記コンテキスト推定手段は、ランダムフォレスト、ニューラルネットワーク、決定木又はk近傍法を用いて構成された学習モデルを用いて、前記ユーザのコンテキストを推定可能に構成されていることを特徴とする手段1に記載のコンテキスト推定システム。
【0021】
上記手段5によれば、学習モデルとして、ランダムフォレスト、ニューラルネットワーク、決定木又はk近傍法を用いて構成されたものが使用される。従って、コンテキストの推定精度をより良好なものとすることができる。
【図面の簡単な説明】
【0022】
【
図1】コンテキスト推定システム及び当該システムが適用された部屋などを概略的に示す斜視模式図である。
【
図2】コンテキスト推定システムなどの機能構成を示すブロック図である。
【
図3】アンテナアレイの別例を示す斜視模式図である。
【
図4】AoAによる到来角度の算出手法を説明するための説明図である。
【
図5】コンテキストが「歩行」である場合の仰角及び方位角の変化態様を説明するための説明図である。
【
図6】コンテキストが「転倒」である場合の仰角及び方位角の変化態様を説明するための説明図である。
【
図7】コンテキストが「立つ」である場合の仰角及び方位角の変化態様を説明するための説明図である。
【
図8】コンテキストが「寝る」である場合の仰角及び方位角の変化態様を説明するための説明図である。
【
図9】時系列データ等の作成手法について説明するための説明図である。
【
図10】試験環境などを説明するための説明図である。
【
図12】試験において、異なるサンプリングレートのデータの取得手法を説明するための説明図である。
【
図13】サンプリングレートを1秒間に40回とした場合において、各学習モデルによるコンテキストの平均推定精度を示すグラフである。
【
図14】サンプリングレートを1秒間に20回とした場合において、各学習モデルによるコンテキストの平均推定精度を示すグラフである。
【
図15】サンプリングレートを1秒間に10回とした場合において、各学習モデルによるコンテキストの平均推定精度を示すグラフである。
【
図16】サンプリングレートを1秒間に5回とした場合において、各学習モデルによるコンテキストの平均推定精度を示すグラフである。
【
図17】サンプリングレートを1秒間に40回とし、統計データを用いた場合における混同行列を示す表図である。
【
図18】サンプリングレートを1秒間に20回とし、統計データを用いた場合における混同行列を示す表図である。
【
図19】サンプリングレートを1秒間に10回とし、統計データを用いた場合における混同行列を示す表図である。
【
図20】サンプリングレートを1秒間に5回とし、統計データを用いた場合における混同行列を示す表図である。
【
図21】サンプリングレートを1秒間に40回とし、時系列データを用いた場合における混同行列を示す表図である。
【
図22】サンプリングレートを1秒間に20回とし、時系列データを用いた場合における混同行列を示す表図である。
【
図23】サンプリングレートを1秒間に10回とし、時系列データを用いた場合における混同行列を示す表図である。
【
図24】サンプリングレートを1秒間に5回とし、時系列データを用いた場合における混同行列を示す表図である。
【
図25】サンプリングレートを1秒間に40回とし、統計データを用いた場合における評価指標を示す表図である。
【
図26】サンプリングレートを1秒間に20回とし、統計データを用いた場合における評価指標を示す表図である。
【
図27】サンプリングレートを1秒間に10回とし、統計データを用いた場合における評価指標を示す表図である。
【
図28】サンプリングレートを1秒間に5回とし、統計データを用いた場合における評価指標を示す表図である。
【
図29】サンプリングレートを1秒間に40回とし、時系列データを用いた場合における評価指標を示す表図である。
【
図30】サンプリングレートを1秒間に20回とし、時系列データを用いた場合における評価指標を示す表図である。
【
図31】サンプリングレートを1秒間に10回とし、時系列データを用いた場合における評価指標を示す表図である。
【
図32】サンプリングレートを1秒間に5回とし、時系列データを用いた場合における評価指標を示す表図である。
【発明を実施するための形態】
【0023】
以下に、一実施形態について図面を参照しつつ説明する。本実施形態におけるコンテキスト推定システム1は、
図1に示すように、例えば住居の居室などの部屋100内に位置するユーザXの状況等の把握を自動的に行うためのものであり、部屋100内におけるユーザXのコンテキスト(ユーザXの状況やユーザXに生じた出来事)を推定するとともに、推定結果に応じた対応を実行する。
図1,2に示すように、コンテキスト推定システム1は、表示及び入力装置2、ビーコンタグ3、アンテナアレイ4及びデータ処理システム5を備えている。
【0024】
表示及び入力装置2は、例えばタッチパネル等を備えており、コンテキストの推定結果やデータ処理システム5に保存された情報などを表示する機能、データ処理システム5に対し情報を入力する機能などを有する。表示及び入力装置2を用いることで、コンテキストの推定結果が正常であるか否かの確認や、コンテキストの推定等に関する設定変更などを行うことが可能となっている。
【0025】
ビーコンタグ3は、小型の通信機器であり、一定時間(例えば20ms)ごとに所定の信号を無線送信する。本実施形態において、ビーコンタグ3は、ブロードキャスト型通信を行うものであって、通信プロトコルとして、ブルートゥース(登録商標)規格のBlue-tooth(登録商標) Low Energyを利用する。ビーコンタグ3は、前記所定の信号として、アドバタイズパケットを送信する。アドバタイズパケットには、個々のビーコンタグ3を識別するための情報(「ID情報」という)が含まれている。
【0026】
また、ビーコンタグ3は、ユーザXに装着されている。本実施形態において、ビーコンタグ3は、ユーザXの首に掛けた状態とされており、ユーザXに対し着脱可能に構成されている。尚、ビーコンタグ3を、ユーザXの体における比較的高い位置〔腰又は腰よりも上の部位(例えば胸や頭など)〕に装着することが好ましい。また、ビーコンタグ3を服や帽子、メガネなどに取付けてもよい。
【0027】
加えて、ビーコンタグ3は、小型のボタン電池を電源として動作するものである。ブルートゥース(登録商標)規格〔特にBluetooth(登録商標) Low Energy〕を利用することで、ビーコンタグ3は、容量の比較的小さなボタン電池を電源としながら、長期間(例えば、約1年間)に亘って継続的に動作可能である。
【0028】
アンテナアレイ4は、ビーコンタグ3から送信された信号を受信する受信部41と、当該受信部41が受信した信号に基づき、受信部41に対するビーコンタグ3の仰角及び方位角を算出する角度算出部42とを備えた装置である。尚、ここでいう“仰角”は、水平を基準とした上向きの角度のみならず、下向きの角度(つまり俯角)も含む。本実施形態において、受信部41は「受信手段」を構成し、角度算出部42は「角度算出手段」を構成する。本実施形態におけるアンテナアレイ4は、受信部41及び角度算出部42が一体化した装置である。
【0029】
受信部41は、ユーザXの行動領域(本実施形態では部屋100内)の側方において当該行動領域(本実施形態では、当該行動領域の中心)に向けて配置されたアンテナである。受信部41は、複数(本実施形態では5つ)のアンテナ素子41aが平面上に規則的に配列されてなる。本実施形態における受信部41は、鉛直方向に沿って等間隔に並んだ一列のアンテナ素子41aと、水平方向に沿って等間隔に並んだ一行のアンテナ素子41aとを備えている。尚、受信部41は、鉛直方向及び水平方向に並んだ複数のアンテナ素子41aを備えたものであればよく、アンテナ素子41aの数や配置などを適宜変更してもよい。例えば、受信部41として、複数のアンテナ素子41aを鉛直方向及び水平方向の双方に沿って等間隔に設けたもの(
図3参照)を用いてもよい。
【0030】
角度算出部42は、所定のマイコンチップなどによって構成されており、例えば受信部41の裏面(アンテナ素子41aが設けられた面の裏側の面)などに設けられている。角度算出部42は、Angle of Arrival(AoA)を利用した機能であるブルートゥース(登録商標)規格の方向検知機能を用いて、受信部41に対するビーコンタグ3の仰角及び方位角を算出する。より詳しくは、ビーコンタグ3から各アンテナ素子41aまでの距離はそれぞれ相違するため、各アンテナ素子41aは位相の異なる信号を受信するところ、
図4に示すように、AoAは、各アンテナ素子41aが受信する信号の位相差φと、信号の波長λと、アンテナ素子41a間の距離dとに基づき、信号の到来角度θを算出する手法である。到来角度θは、次の数式1から算出することができる。
【0031】
【0032】
角度算出部42には、AoAを利用した角度算出アルゴリズムが予め記憶されており、角度算出部42は、この角度算出アルゴリズムによって、受信部41に対するビーコンタグ3の仰角及び方位角を算出する。算出された仰角及び方位角は、データ処理システム5に送られる。尚、ビーコンタグ3が複数設けられる場合、角度算出部42は、ビーコンタグ3からの送信信号に含まれるID情報を利用して、個々のビーコンタグ3ごとに仰角及び方位角を算出する。
【0033】
尚、算出される仰角及び方位角は、ユーザXのコンテキストによって次のような特徴を有する。すなわち、
図5に示すように、ユーザXのコンテキストが「歩行」である場合、ビーコンタグ3の高さはほぼ一定であるため、仰角は比較的高い値でほぼ一定に維持される。一方、ビーコンタグ3は水平方向に移動するため、方位角は経時的に変化する。尚、
図5等では、仰角のデータを太線で示し、方位角のデータを細線で示している。
【0034】
また、
図6に示すように、ユーザXのコンテキストが「転倒」である場合、ビーコンタグ3の高さが比較的短時間で低下した後にほぼ一定となるため、仰角は比較的短時間で減少した後にほぼ一定で維持される状態となる。また、ビーコンタグ3は水平方向に移動した後に停止するため、方位角は経時的に変化した後にほぼ一定となる。
【0035】
さらに、
図7に示すように、ユーザXのコンテキストが「立つ」(立ったままの状態)である場合、ビーコンタグ3の比較的高い位置で維持されるため、仰角は比較的高い値でほぼ一定に維持される。また、ビーコンタグ3は水平方向にほぼ移動しないため、方位角はほぼ一定で維持される。
【0036】
加えて、
図8に示すように、ユーザXのコンテキストが「寝る」(寝たままの状態)である場合、ビーコンタグ3は比較的低い位置で維持されるため、仰角は比較的低い値でほぼ一定に維持される。また、ビーコンタグ3は水平方向にほぼ移動しないため、方位角はほぼ一定で維持される。
【0037】
尚、ビーコンタグ3及びアンテナアレイ4としては、例えばu-blox社製の「XPLR-AOA-1」(商品名)などを用いることができる。「XPLR-AOA-1」は、ビーコンタグ3として機能する「C209」(商品名)と、アンテナアレイ4として機能する「C211」(商品名)とを含む製品である。ビーコンタグ3として機能する「C209」は、NINA-B406 Bluetooth(登録商標) LEモジュールを搭載しており、アンテナアレイ4として機能する「C211」は、NINA-B411 Bluetooth(登録商標) LEモジュールを搭載している。角度算出部42は、NINA-B411 Bluetooth(登録商標) LEモジュールに組み込まれたマイコンチップによって構成することができる。上述した角度算出アルゴリズムは、u-blox社が提供する「u-connectLocateソフトウェア」を使用して、受信部41に対するビーコンタグ3の仰角及び方位角を算出する。
【0038】
データ処理システム5は、角度算出部42によって算出された仰角及び方位角に対し各種処理を実行し、処理結果に応じた動作を行うシステムである。データ処理システム5は、所定の演算処理を実行するCPU(Central Processing Unit)、各種プログラムや固定値データ等を記憶するROM(Read Only Memory)、各種演算処理の実行に際して各種データが一時的に記憶されるRAM(Random Access Memory)、情報を記憶するための記憶装置及びこれらの周辺回路等を含んだコンピュータなどからなる。
【0039】
データ処理システム5は、
図2に示すように、時系列データ作成部51、統計データ作成部52、コンテキスト推定部53及び報知部54を備えている。本実施形態では、コンテキスト推定部53が「コンテキスト推定手段」を構成する。尚、時系列データ作成部51、統計データ作成部52、コンテキスト推定部53及び報知部54による各種機能は、上記CPU、ROM、RAMなどの各種ハードウェアと前記記憶装置に予め記憶されたソフトウェアとが協働することで実現される。
【0040】
時系列データ作成部51は、角度算出部42によって算出された仰角及び方位角を前記記憶装置に順次保存するとともに、保存した両角度のデータから、仰角及び方位角の時系列データを作成する。より詳しくは、時系列データ作成部51は、保存した両角度のデータの中から所定のタイムウインドウ内にある一定期間のデータを抽出し、抽出したデータから仰角及び方位角の時系列データを作成することを、タイムウインドウを所定時間Sずつずらしながら繰り返し行うことによって、仰角及び方位角の時系列データを複数作成する(
図9参照)。時系列データは、仰角及び方位角のそれぞれの経時的変化を示すものであり、時系列データを構成する仰角及び方位角のデータは、その少なくとも一部がその他の時系列データを構成する仰角及び方位角のデータのうちの一部と共通している。作成された時系列データは、前記記憶装置に保存されるとともに、統計データ作成部52に送られる。
【0041】
統計データ作成部52は、時系列データ作成部51によって作成された仰角及び方位角の時系列データに基づき、統計データを作成する。より詳しくは、統計データ作成部52は、時系列データ作成部51によって作成された方位角の時系列データに基づき、方位角の時系列データに係る平均値及び分散を算出して作成する。また、統計データ作成部52は、時系列データ作成部51によって作成された仰角の時系列データに基づき、仰角の時系列データに係る平均値及び分散を算出して作成する。統計データ(平均値及び分散)は、個々の時系列データごとに算出・作成される。従って、複数の“方位角の時系列データ”に基づき、当該時系列データと同数の方位角に係る統計データ(平均値及び分散)が算出・作成され、複数の“仰角の時系列データ”に基づき、当該時系列データと同数の仰角に係る統計データ(平均値及び分散)が算出・作成される。作成された統計データは、前記記憶装置に保存されるとともに、コンテキスト推定部53へと送られる。
【0042】
コンテキスト推定部53は、統計データ(平均及び分散)を特徴値として学習させて生成してなる学習モデルを用いて、ユーザXのコンテキストとして、少なくとも「転倒」、「歩行」、「立つ」及び「寝る」を区別して推定する。上述のように、「転倒」、「歩行」、「立つ」又は「寝る」のコンテキストが生じた場合、仰角及び方位角はコンテキストの種別に応じた特徴(
図6~9参照)を有するものとなるため、時系列データや当該時系列データに基づく統計データも、コンテキストの種別に応じた特徴を有することとなる。従って、統計データ(平均及び分散)を特徴値として学習させて生成してなる学習モデルを用いることで、コンテキスト推定部53は、少なくとも「転倒」、「歩行」、「立つ」及び「寝る」を区別して推定可能である。
【0043】
本実施形態において、コンテキスト推定部53は、ランダムフォレスト(Random fore-st)を用いて予め構成された学習モデルを用いて、ユーザXのコンテキストを推定する。
【0044】
学習モデルの生成には、ランダムフォレストを用いたアンサンブル学習を使用することができる。アンサンブル学習は、複数の弱分類器の分類結果を統合することにより、高精度な分類を行う分類器を構築するための手法である。
【0045】
学習モデルの生成にあたっては、まず、予め取得した統計データ(平均値及び分散)に関するデータからブートストラップ法によるサンプリングで複数の教師用データを作成する。さらに、各教師用データにおいて、機械学習によって決定木(回帰木)を作成する際に使用する特徴量をランダムで選択する。機械学習を行う際には、決定木の深さに制限は設けない。
【0046】
その上で、各教師用データにおける各特徴量から、機械学習によって弱分類器としての決定木を複数構築することで、学習モデルを生成する。生成された学習モデル(構築された複数の決定木に係る情報)は、前記記憶装置に保存される。
【0047】
コンテキスト推定部53は、統計データ作成部52により作成された統計データ(平均値及び分散)を学習モデルへと入力する。そして、コンテキスト推定部53は、決定木による推定結果の多数決に基づき、ユーザXのコンテキストとして、「転倒」、「歩行」、「立つ」及び「寝る」を区別して推定し、これらのうちの1つを推定結果として出力する。ここで、複数のビーコンタグ3が設けられる場合、つまり、ユーザXが複数存在する場合には、コンテキスト推定部53は、ビーコンタグ3から送信された「ID情報」を利用して、個々のビーコンタグ3(ユーザX)ごとにコンテキストを推定する。
【0048】
尚、学習モデルは、ランダムフォレストを用いて構成されたものに限定されない。従って、学習モデルとして、例えば、ニューラルネットワーク、決定木、ロジスティック回帰又はk近傍法(kNN)などを用いて構成されたものを用いてもよい。
【0049】
また、コンテキスト推定部53は、統計データではなく、時系列データを特徴値として学習させて生成してなる学習モデルを用いて、ユーザXのコンテキストを推定するものであってもよい。上述の通り、時系列データはコンテキストの種別に応じた特徴を有するため、時系列データを特徴値として学習させて生成してなる学習モデルを用いる場合であっても、「転倒」、「歩行」、「立つ」及び「寝る」を区別して推定することができる。
【0050】
時系列データ作成部51による時系列データの作成、統計データ作成部52による統計データの作成、及び、コンテキスト推定部53におるコンテキストの推定に係る各処理は、所定の条件を満たしたときに行われる。所定の条件としては、例えば、前回の処理時から所定時間が経過したこと、前回の処理時と比較して角度算出部42により算出された(前記記憶装置に保存された)仰角及び方位角のデータ数が所定個数以上増加したことなどを挙げることができる。勿論、所定の条件として、上記以外の条件を採用してもよい。
【0051】
報知部54は、部屋100外におけるユーザXの関係者等が携帯する端末装置200(例えばスマートフォン)などに対し、コンテキスト推定部53による推定結果に係る情報を送信することで、ユーザXのコンテキストを外部に報知する。本実施形態において、報知部54は、コンテキスト推定部53によりコンテキストとして「転倒」が推定された場合、つまり、ユーザXにとっての緊急事態に相当し得る出来事が推定された場合、端末装置200に対し推定結果に係る情報を送信し、「転倒」の発生を外部に報知する。これにより、ユーザXの関係者などが「転倒」の発生を速やかに知ることができ、この「転倒」に対する適切な対応を早期に行うことが可能となる。
【0052】
尚、「転倒」以外のコンテキストを外部に報知可能に構成してもよい。このとき、「歩行」、「立つ」又は「寝る」が推定された場合と、「転倒」が推定された場合とで、外部への報知態様に違いを設けてもよい。また、表示及び入力装置2を用いて、外部に報知すべきコンテキストを任意に選択可能に構成してもよい。さらに、コンテキストの推定結果を外部に報知するにあたっては、端末装置200以外の装置を利用してもよい。
【0053】
以上詳述したように、本実施形態によれば、比較的簡易なシステムによってユーザXのコンテキストを推定することができる。従って、コンテキスト推定システム1の導入コストをより低廉なものとすることができる。
【0054】
また、ビーコンタグ3はユーザXに装着されるものであるため、ユーザXがビーコンタグ3の装着を解除すれば、ユーザXのコンテキストを推定することができない状態となる。すなわち、ユーザXがビーコンタグ3の装着又は非装着を切換えることで、コンテキストの推定可能又は推定不可を切換えることができる。従って、カメラを使用しないシステムであることと相俟って、ユーザXにおけるプライバシー保護をより確実に図ることができる。また、システムを使用するにあたってのユーザXの心理的な負担を低減することができる。
【0055】
さらに、本実施形態においては、複数のユーザXのコンテキストを個別に推定することができ、コンテキストの推定に係る精度を高めることができる。また、コンテキスト推定システム1を、複数のユーザXが共通に利用する部屋などに適用することができるため、利便性の向上を図ることができる。
【0056】
加えて、少なくとも「転倒」、「歩行」、「立つ」及び「寝る」という4種類のコンテキストを区別して推定することができるため、コンテキストの種別に応じた適切な対応を行うことができる。これにより、利便性を一層向上させることができる。
【0057】
また、本実施形態では、仰角及び方位角を算出するにあたって、AoAを利用した機能であるブルートゥース(登録商標)規格の方向検知機能が用いられる。従って、比較的簡易な手法をもって、仰角及び方位角を精度よく算出することができ、コンテキストに係る良好な推定精度をより確実に得ることができる。
【0058】
さらに、ブルートゥース(登録商標)規格〔特にBluetooth(登録商標) Low Energy〕を利用することで、ビーコンタグ3を極めて低い電力で動作させることができる。従って、ビーコンタグ3の電源として、小型のボタン電池などを用いれば足りることとなり、結果的に、ビーコンタグ3の小型化を図ることができる。また、ビーコンタグ3を継続的に使用するための、電源に係る面倒な作業(例えば電池交換など)の頻度を減らすことができる。これらが相俟って、ユーザXにとっての使い勝手を極めて効果的に高めることができる。
【0059】
加えて、学習モデルとして、ランダムフォレストを用いて構成されたものが使用される。従って、コンテキストの推定精度をより良好なものとすることができる。
【0060】
次いで、上記実施形態により奏される作用効果を確認すべく、コンテキストの推定精度を確認する試験を行った。
【0061】
すなわち、
図10及び
図11に示すように、6.0m×6.0mの検証エリアKAに5つの観測ポイントP1,P2,P3,P4,P5(以下では、観測ポイントP1~P5と表記する)を設けるとともに、検証エリアKAの中心(すなわち、観測ポイントP3)に向けてアンテナアレイ4を設置した。尚、アンテナアレイ4の高さを1.0mとし、アンテナアレイ4のサンプリングレートを1秒間に40回(つまり、1秒間に、各40個の方位角及び仰角に係るデータを取得すること)とした。
【0062】
そして、検証エリアKA内にて、ユーザXに相当する、ビーコンタグ3を首に掛けた人(仮想ユーザ)が「歩行」を行うとともに、各観測ポイントP1~P5のそれぞれにおいて、仮想ユーザが「転倒」、「立つ」又は「寝る」をそれぞれ行った。本試験では、身長の異なる7人の仮想ユーザによって、「転倒」、「歩行」、「立つ」又は「寝る」がそれぞれ計560回ずつ行われることで、計2240(=560×4)件の仰角及び方位角に係るデータを取得した。
【0063】
尚、本試験において、「歩行」は、検証エリアKA内にて歩き回ることであり、「転倒」は、観測ポイントP1~P5に設置したエアベッドに倒れ込んで横になることである。また、「立つ」は、観測ポイントP1~P5にて起立した状態となることであり、「寝る」は、観測ポイントP1~P5に設置したエアベッド上にて横になった状態となることである。エアベッドの高さは約20cmである。
【0064】
また、「転倒」、「立つ」及び「寝る」については、仮想ユーザXの向きや倒れ込み方向(ユーザ方向:
図10参照)を異なる8方向とし、これら8方向のそれぞれに係る「転倒」、「立つ」及び「寝る」を行うこととした。
【0065】
次いで、取得したデータから、仰角及び方位角の時系列データと、当該時系列データに基づく統計データとを算出した。時系列データを算出するにあたっては、タイムウインドウの大きさ(時間長)を2秒間とした。これは、「転倒」にかかる時間が約2秒間であることによる。
【0066】
尚、上記の通り、アンテナアレイ4のサンプリングレートを1秒回に40回としたため、1の時系列データ(2秒間分のデータ)は、80個の仰角に係るデータと、80個の方位角に係るデータとを含む。従って、1の時系列データは、160個の説明変数と1個の目的変数(コンテキストの種別)とを含む。また、1の統計データは、方位角の時系列データについての平均値及び分散と、仰角の時系列データについての平均値及び分散とを含むため、4個の説明変数と1個の目的変数とを含む。
【0067】
さらに、本試験では、アンテナアレイ4のサンプリングレートを、1秒間に20回、10回又は5回とした場合の評価をも行うべく、1秒間に40回のサンプリングレートで取得した仰角及び方位角のデータのうちの一部を抽出することで、1秒間に20回、10回又は5回とした場合における仰角及び方位角のデータを作成した。サンプリングレートを1秒間に20回、10回又は5回とした場合におけるデータの作成は、サンプリングレートを1秒間に40回とした場合のデータから1つ、3つ又は7つ置きにデータを抽出することにより行った(
図12参照)。
【0068】
そして、サンプリングレートを1秒間に20回、10回又は5回とした場合における仰角及び方位角のデータから、方位角及び仰角の時系列データと、当該時系列データに基づく統計データとを作成した。その結果、最終的に、サンプリングレートを1秒間に40回、20回、10回又は5回とした場合における時系列データ及び統計データ(つまり、計8種類のデータセット)を取得した。
【0069】
次いで、取得した計8種類のデータセットのそれぞれについて、5分割交差検証法〔K-foldクロスバリデーション(K=5)〕とホールドアウト法とを用いて評価を行った。
【0070】
すなわち、5分割交差検証法を用いた評価を行うにあたっては、まず、取得したデータセットのうちの80%を学習用データとし、取得したデータセットのうちの20%を評価用データとすることで、計5組のデータセットを準備した。その上で、準備したデータセットごとに、学習用データを基にランダムフォレスト、ニューラルネットワーク、決定木、ロジスティック回帰、k近傍法、SVM(Support Vector Machine)、線形判別(Linear discriminant)又はアダブースト(AdaBoost)を用いた学習モデルの生成を行った。そして、生成された学習モデルにより、評価用データを用いてコンテキストの推定を行い、平均推定精度(5組のデータセットにより得られた5つの推定精度の平均値)を算出した。
【0071】
また、ホールドアウト法を用いた評価を行うにあたっては、まず、取得したデータセットのうちの80%を学習用データとし、取得したデータセットのうちの20%を評価用データとした。その上で、学習用データを基にランダムフォレスト、ニューラルネットワーク、決定木、ロジスティック回帰、k近傍法、SVM、線形判別又はアダブーストを用いた学習モデルの生成を行った。そして、生成された学習モデルにより、評価用データを用いてコンテキストの推定を行い、混同行列及び評価指標を求めた。
【0072】
混同行列は、評価用データに対する推定結果を、真陽性(True Positive、TP)、真陰性(True Negative、TN)、偽陽性(False Positive、FP)及び偽陰性(False Negative、FN)の4つの観点で分類し、それぞれの推定結果をまとめたものである。また、評価指標として、適合率(precision)、再現率(recall)及びF値(f1-score)をそれぞれ求めた。適合率は、TP/(TP+FP)の式により算出することができ、再現率はTP/(TP+FN)の式により算出することができる。また、F値は、適合率及び再現率の調和平均であり、(2×適合率×再現率)/(適合率+再現率)の式により算出することができる。
【0073】
尚、本試験は、アンテナアレイ4の周囲に位置するものが比較的少ない環境である建物の屋上で行った。また、本試験においては、Pythonの機械学習ライブラリであるscikit-learnを使用して機械学習を行った。機械学習ではデフォルトのパラメータを用いた。
【0074】
図13~16に、5分割交差検証法を用いた評価結果を示す。
図13~16は、サンプリングレートを1秒間に40回、20回、10回又は5回とした場合における各学習モデルによるコンテキストの平均推定精度(平均正解率)をそれぞれ示す。尚、
図13~16では、統計データを用いた場合の平均推定精度を黒塗りで示し、時系列データを用いた場合の平均推定精度を白抜きで示す。
【0075】
さらに、
図17~24に、ホールドアウト法を用いた評価結果を示す。
図17~20は、統計データを用いた場合における混同行列をそれぞれ示し、
図21~24は、時系列データを用いた場合における混同行列をそれぞれ示す。
【0076】
併せて、
図25~32においては、統計データ又は時系列データを用いた場合における評価指標(適合率など)をそれぞれ示す。
【0077】
図13~32に示すように、統計データを用いた場合には、時系列データを用いた場合と比較して、より良好な推定精度を得られることが確認された。従って、コンテキストの推定精度をより高めるという点で、統計データを特徴値として学習させて生成してなる学習モデルを用いることがより好ましいといえる。
【0078】
さらに、ランダムフォレスト、ニューラルネットワーク、決定木又はk近傍法を用いて構成された学習モデルを用いた場合には、良好なコンテキストの推定精度を得られることが分かった。尚、統計データを用いた場合には、ロジスティック回帰を用いた構成された学習モデルによっても、良好な推定精度を得られる点が確認された。
【0079】
また、ランダムフォレスト、ニューラルネットワーク、決定木又はk近傍法を用いて構成された学習モデルを用いた場合には、サンプリングレートを1秒間に10回又は5回とした場合であっても、高い推定精度を得ることができる点が明らかとなった。従って、良好な推定精度を維持しつつ、ビーコンタグ3における低消費電力化や角度算出部42の処理負担の低減を図るといった観点では、ランダムフォレスト、ニューラルネットワーク、決定木又はk近傍法を用いて構成された学習モデルを用いつつ、アンテナアレイ4(受信部41)による信号のサンプリングレートを1秒間に10回以下とすることが好ましいといえる。尚、サンプリングレートを低下させるということは、結果的に、良好な推定精度を維持しながら、ビーコンタグ3による信号の送信間隔を比較的大きなものとすることができるということであり、その点から、上記の通り、ビーコンタグ3における低消費電力化を図ることが可能となる。例えば、サンプリングレートを1秒間に10回とした場合には、良好な推定精度を維持しながら、ビーコンタグ3による信号の送信間隔を上述の20msから100msに延ばすことが可能となり、これにより、ビーコンタグ3の消費電力を単純計算で1/5に削減することができる。
【0080】
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
【0081】
(a)上記実施形態において、角度算出部42は、AoAを利用したブルートゥース(登録商標)規格の方向検知機能を用いて、受信部41に対するビーコンタグ3の仰角及び方位角を算出している。これに対し、角度算出部42は、Angle of Departure(AoD)を利用した機能であるブルートゥース(登録商標)規格の方向検知機能を用いて、受信部41に対するビーコンタグ3の仰角及び方位角を算出するものであってもよい。
【0082】
この場合、ビーコンタグ3は、信号を送信するための複数のアンテナ素子を備えたものとなる。一方、受信部41は、1のアンテナ素子41aによって構成することができる。ビーコンタグ3の各アンテナ素子から受信部41までの距離はそれぞれ相違するため、受信部41は位相の異なる信号を受信する。AoDは、受信部41が受信する信号の位相差φと、信号の波長λと、アンテナ素子間の距離dとに基づき、信号の到来角度θを算出する手法である。到来角度θは、次の数式2から算出することができる。
【0083】
【0084】
(b)上記実施形態では、コンテキストとして、「転倒」、「歩行」、「立つ」及び「寝る」を区別して推定可能とされているが、少なくとも「転倒」のみを推定可能に構成してもよい。
【0085】
また、その他のコンテキストを推定可能に構成してもよい。例えば、「立ち上がる」や「座る」などのコンテキストを推定するように構成してもよい。さらに、「歩行」については、コンテキストとして、ユーザXの移動方向を含めた情報(つまり、「右から左への歩行」や「右から左への歩行」)を推定可能に構成してもよい。
【0086】
(c)上記実施形態において、コンテキスト推定システム1は、部屋100内に位置するユーザXの状況等を把握するために用いられているが、その他の用途でコンテキスト推定システムを用いてもよい。例えば、工場などにおける従業員の労務管理などにコンテキスト推定システムを用いてもよい。
【0087】
(d)コンテキスト推定システム1は、ユーザXのコンテキストとして推定された「歩行」、「立つ」又は「寝る」の継続時間を計測する機能を有するものであってもよい。この機能は、例えば、同一の推定結果の連続的な発生回数に基づき、継続時間を計測することなどによって実現することができる。コンテキストの継続時間を計測可能とすることで、継続時間に応じた対応を行うことが可能となる。例えば、「寝る」の継続時間が所定時間以上であると計測された場合に、その旨を外部に報知するといった対応などを行うことが可能となる。従って、利便性の更なる向上を図ることができる。
【0088】
(e)ビーコンタグ3から出力される信号に基づき、ユーザXの在室又は不在を判定可能に構成してもよい。この機能は、例えば、ビーコンタグ3から出力される信号を受信部41が受信しない期間の長さに基づき、ユーザXの在室又は不在を判定すること等によって実現することができる。
【0089】
(f)上記実施形態では、統計データとして平均値及び分散を用いているが、平均値及び分散のうちの一方のみを用いてもよい。また、統計データとして、平均値及び分散以外のデータ(例えば中央値など)を用いてもよい。
【符号の説明】
【0090】
1…コンテキスト推定システム、3…ビーコンタグ、41…受信部(受信手段)、42…角度算出部(角度算出手段)、53…コンテキスト推定部(コンテキスト推定手段)。