(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117637
(43)【公開日】2024-08-29
(54)【発明の名称】動体推定システム、動体推定方法、及びプログラム
(51)【国際特許分類】
G01S 13/536 20060101AFI20240822BHJP
G01S 13/34 20060101ALI20240822BHJP
【FI】
G01S13/536
G01S13/34
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023023842
(22)【出願日】2023-02-17
(71)【出願人】
【識別番号】322003732
【氏名又は名称】パナソニック株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】梅村 拓矢
(72)【発明者】
【氏名】橋本 裕介
(72)【発明者】
【氏名】森 康洋
【テーマコード(参考)】
5J070
【Fターム(参考)】
5J070AB18
5J070AC01
5J070AC02
5J070AC11
5J070AD05
5J070AD06
5J070AE09
5J070AF01
5J070AH19
5J070AH25
5J070AH31
5J070AH35
5J070AH50
5J070AK15
5J070AK22
(57)【要約】
【課題】電波センサを用いた動体に関する推定、の精度向上を図る。
【解決手段】動体推定システム100Aを構成する変換部11は、電波センサ1の出力信号を位置特定可能情報に変換し、保持部12は、位置特定可能情報を保持する。差分取得部13は、保持されている複数の位置特定可能情報の間の差分を取得する。動体推定部14は、差分に基づいて、1つ以上の対象物の各々が動体か静止物かを推定し、動体と推定した対象物の位置を特定し、特定した位置を示す動体位置情報を取得する。点配置部222は、動体位置情報に対応する点を仮想空間に配置していく。差分取得部13は、3個以上の位置特定可能情報について互いに異なる時間差の2個以上の差分を取得し、動体推定部14は、2個以上の差分に対応する2個以上の動体位置情報を取得する。点配置部222は、2個以上の動体位置情報に対応する2個以上の点を仮想空間に配置する。
【選択図】
図16
【特許請求の範囲】
【請求項1】
電波センサによって、動く物である動体に関する推定を行う動体推定システムであって、
所定の方式で変調された電波である送信波を実空間に向けて送信し、前記実空間からの反射波を受信して、前記送信波及び前記反射波に基づく出力信号を出力する送受信動作を行う電波センサと、
前記電波センサが出力した前記出力信号を、前記実空間に存在する1つ以上の対象物の各々の位置を特定可能な位置特定可能情報に変換する変換処理を行う変換部と、
前記変換処理が変換した前記位置特定可能情報を保持する保持処理を行う保持部と、
前記保持処理が保持している複数の前記位置特定可能情報の間の差分を取得する差分取得処理を行う差分取得部と、
前記差分取得処理が取得した前記差分に基づいて、前記1つ以上の対象物の各々が前記動体であるか動かない物であるかを推定し、前記動体であると推定した対象物の位置を特定し、特定した前記位置を示す動体位置情報を取得する動体推定処理を行う動体推定部と、
前記動体推定処理が取得した前記動体位置情報に対応する点を前記実空間に対応する仮想空間に仮想的に配置していく点配置処理を行う点配置部と、を備え、
前記差分取得処理は、前記保持処理が保持している、互いに異なる時点での3個以上の前記位置特定可能情報について、互いに異なる時間差の2個以上の前記差分、を取得し、
前記動体推定処理は、前記差分取得処理が取得した2個以上の前記差分に対応する2個以上の前記動体位置情報を取得し、
前記点配置処理は、前記動体推定処理が取得した、互いに異なる時間差の2個以上の前記動体位置情報に対応する2個以上の点を前記仮想空間に仮想的に配置していく、
動体推定システム。
【請求項2】
前記動体は、人体及び前記人体以外の動く物のいずれかであり、
前記動体推定処理は、取得した2個以上の前記動体位置情報の各々が前記人体及び前記人体以外の動く物のいずれに対応するかを、少なくとも前記差分の変化に基づいて更に推定し、
前記点配置処理は、前記動体推定処理が取得した2個以上の前記動体位置情報のうち、前記動体推定処理が前記人体に対応すると更に推定した前記動体位置情報、に対応する点を、前記仮想空間に仮想的に配置していく、
請求項1に記載の動体推定システム。
【請求項3】
前記動体推定処理は、取得した2個以上の前記動体位置情報の各々が前記人体及び前記人体以外の動く物のいずれに対応するかを、前記動体位置情報に対応する前記反射波の受信強度、及び前記受信強度の変化、の少なくとも一方に更に基づいて推定する、
請求項2に記載の動体推定システム。
【請求項4】
前記動体推定処理は、前記仮想空間に配置されている複数の前記点の集合である点群が前記人体に対応するか前記人体以外の動く物に対応するかを、前記点群の分布及び前記分布の変化の少なくとも一方に更に基づいて推定する、
請求項2又は3に記載の動体推定システム。
【請求項5】
前記電波センサは、所定時間を1フレームとして、前記送受信動作を1フレームにN回(Nは1以上の整数)の周期で行い、1フレームにN個の前記位置特定可能情報を出力し、
前記保持処理は、3フレーム以上に対応する3×N個以上の前記位置特定可能情報を保持し、
前記差分取得処理は、前記保持処理が保持している3フレーム以上に対応する3×N個以上の前記位置特定可能情報において、前記3フレーム以上の各々からフレームを代表する一の代表位置特定可能情報を選出し、選出した3個以上の前記代表位置特定可能情報について、2個以上の前記差分を取得し、
前記動体推定処理は、前記3フレーム以上をそれぞれ代表する3個以上の前記代表位置特定可能情報について取得した2個以上の前記差分を基に、2個以上の前記動体位置情報を取得する、
請求項1に記載の動体推定システム。
【請求項6】
前記電波センサは、所定時間を1フレームとして、前記送受信動作を1フレームにN回(Nは3以上の整数)の周期で行い、1フレームにN個以上の前記出力信号を出力し、
前記保持処理は、1フレームに対応するN個の前記位置特定可能情報を少なくとも保持し、
前記差分取得処理は、前記保持処理が保持している1フレーム以上に対応するN個以上の前記位置特定可能情報において、前記1フレームからフレームを代表する3個以上の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の前記差分を取得し、
前記動体推定処理は、前記1フレームを代表する3個以上の前記代表位置特定可能情報について取得した2個以上の前記差分を基に、2個以上の前記動体位置情報を取得する、
請求項1に記載の動体推定システム。
【請求項7】
前記所定の方式は、FMCW方式であり、
前記電波センサは、前記反射波を受信する少なくとも一のアンテナを有し、
前記出力信号は、一回の前記送受信動作に対して前記送信波及び前記一のアンテナが受信した前記反射波を基に生成されるIF信号であり、
前記変換処理は、前記IF信号にフーリエ変換を施すフーリエ変換処理であり、
前記位置特定可能情報は、前記フーリエ変換処理のフーリエ変換結果であり、
前記保持処理は、前記一のアンテナに対応する複数の前記フーリエ変換結果を保持し、
前記動体推定処理は、前記一のアンテナに対応する複数の前記フーリエ変換結果の間の前記差分を基に、前記一のアンテナから前記動体であると推定した対象物までの距離を測距する測距処理を含み、
前記動体位置情報は、前記測距処理の測距結果に基づく一次元の位置情報である、
請求項1に記載の動体推定システム。
【請求項8】
前記電波センサは、前記反射波を受信する複数のアンテナを有し、一回の前記送受信動作に対して、前記複数のアンテナに対応する複数の前記IF信号を出力し、
前記複数のアンテナの各々について、前記変換部が前記変換処理を、前記保持部が前記保持処理を、前記差分取得部が前記差分取得処理を、前記動体推定部が前記測距処理を含む前記動体推定処理を、それぞれ行い、
前記位置特定可能情報は、前記複数のアンテナに対応する複数の前記フーリエ変換結果からなるフーリエ変換結果群であり、
前記保持処理は、複数の前記フーリエ変換結果群を保持し、
前記動体推定処理は、複数の前記フーリエ変換結果群の間の、前記複数のアンテナごとの前記差分を基に、前記複数のアンテナの各々から前記動体であると推定した対象物までの距離を測距する複数の前記測距処理を含み、
前記動体位置情報は、複数の前記測距処理に対応する複数の前記測距結果に基づく二次元又は三次元の位置情報である、
請求項7に記載の動体推定システム。
【請求項9】
電波センサによって、動く物である動体に関する推定を行う動体推定方法であって、
前記電波センサが、所定の方式で変調された電波である送信波を実空間に向けて送信し、前記実空間からの反射波を受信して、前記送信波及び前記反射波に基づく出力信号を出力する送受信動作を行う送受信ステップと、
前記電波センサが出力した前記出力信号を、前記実空間に存在する1つ以上の対象物の各々の位置を特定可能な位置特定可能情報に変換する変換処理を行う変換ステップと、
前記変換処理が変換した前記位置特定可能情報を保持する保持処理を行う保持ステップと、
前記保持処理が保持している複数の前記位置特定可能情報の間の差分を取得する差分取得処理を行う差分取得ステップと、
前記差分取得処理が取得した前記差分に基づいて、前記1つ以上の対象物の各々が前記動体であるか動ない物であるかを推定し、前記動体であると推定した対象物の位置を特定し、特定した前記位置を示す動体位置情報を取得する動体推定処理を行う動体推定ステップと、
前記動体推定処理が取得した前記動体位置情報に対応する点を前記実空間に対応する仮想空間に仮想的に配置していく点配置処理を行う点配置ステップと、を備え、
前記差分取得処理は、前記保持処理が保持している、互いに異なる時点での3個以上の前記位置特定可能情報について、互いに異なる時間差の2個以上の前記差分、を取得し、
前記動体推定処理は、前記差分取得処理が取得した2個以上の前記差分に対応する2個以上の前記動体位置情報を取得し、
前記点配置処理は、前記動体推定処理が取得した、互いに異なる時間差の2個以上の前記動体位置情報に対応する2個以上の点を前記仮想空間に仮想的に配置していく、
動体推定方法。
【請求項10】
請求項9に記載の動体推定方法を1つ以上のプロセッサに実行させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、動体推定システム、動体推定方法、及びプログラムに関し、より詳細には、電波センサよって人体等の動く物(動体)に関する推定を行う動体推定システム、動体推定方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、時間とともに周波数が直線的に変化するように周波数変調した送信信号を送信するとともに、送信信号を対象物が反射した受信信号を受信し、受信信号と周波数変調したローカル信号とを乗算して得られるビート信号の周波数から対象物との距離を測定するFMCWレーダ装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
FMCW方式等で変調された電波を用いる電波センサで、動体に関する推定(例えば、対象物が動体か、動かない物(静止物)かの推定、動体が人体か、人体以外の動く物かの推定、動体(特に人体)の位置の特定、さらには人体の姿勢の推定など)を行うことが考えられる。しかし、一般に、電波センサで動体、特に人体に関する推定を行えるほどの精度を得ることは容易でない。例えば、FMCW方式による電波センサを用いて、人体の姿勢の推定を可能にするには、アンテナ数を増やす(例えば、数十本のアンテナを有する高価な電波センサを用いる)必要があった。
【0005】
本開示の目的は、電波センサを用いた動体に関する推定の精度向上を図ることができる動体推定システム、動体推定方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る動体推定システムは、電波センサによって、動く物である動体に関する推定を行う動体推定システムである。前記動体推定システムは、前記電波センサと、変換部と、保持部と、差分取得部と、動体推定部と、点配置部と、を備える。前記電波センサは、所定の方式で変調された電波である送信波を実空間に向けて送信し、前記実空間からの反射波を受信して、前記送信波及び前記反射波に基づく出力信号を出力する送受信動作を行う。前記変換部は、前記電波センサが出力した前記出力信号を、前記実空間に存在する1つ以上の対象物の各々の位置を特定可能な位置特定可能情報に変換する変換処理を行う。前記保持部は、前記変換処理が変換した前記位置特定可能情報を保持する保持処理を行う。前記差分取得部は、前記保持処理が保持している複数の前記位置特定可能情報の間の差分を取得する差分取得処理を行う。前記動体推定部は、前記差分取得処理が取得した前記差分に基づいて、前記1つ以上の対象物の各々が前記動体であるか動かない物であるかを推定し、前記動体であると推定した対象物の位置を特定し、特定した前記位置を示す動体位置情報を取得する動体推定処理を行う。前記点配置部は、前記動体推定処理が取得した前記動体位置情報に対応する点を前記実空間に対応する仮想空間に仮想的に配置していく点配置処理を行う。前記差分取得処理は、前記保持処理が保持している、互いに異なる時点での3個以上の前記位置特定可能情報について、互いに異なる時間差の2個以上の前記差分、を取得する。前記動体推定処理は、前記差分取得処理が取得した2個以上の前記差分に対応する2個以上の前記動体位置情報を取得する。前記点配置処理は、前記動体推定処理が取得した、互いに異なる時間差の2個以上の前記動体位置情報に対応する2個以上の点を前記仮想空間に仮想的に配置していく。
【0007】
本開示の一態様に係る動体推定方法は、電波センサによって、動く物である動体に関する推定を行う動体推定方法である。前記動体推定方法は、送受信ステップと、変換ステップと、保持ステップと、差分取得ステップと、動体推定ステップと、点配置ステップと、を備える。前記送受信ステップでは、前記電波センサが、所定の方式で変調された電波である送信波を実空間に向けて送信し、前記実空間からの反射波を受信して、前記送信波及び前記反射波に基づく出力信号を出力する送受信動作を行う。前記変換ステップは、前記電波センサが出力した前記出力信号を、前記実空間に存在する1つ以上の対象物の各々の位置を特定可能な位置特定可能情報に変換する変換処理を行う。前記保持ステップは、前記変換処理が変換した前記位置特定可能情報を保持する保持処理を行う。前記差分取得ステップは、前記保持処理が保持している複数の前記位置特定可能情報の間の差分を取得する差分取得処理を行う。前記動体推定ステップは、前記差分取得処理が取得した前記差分に基づいて、前記1つ以上の対象物の各々が前記動体であるか動かない物であるかを推定し、前記動体であると推定した対象物の位置を特定し、特定した前記位置を示す動体位置情報を取得する動体推定処理を行う。前記点配置ステップは、前記動体推定処理が取得した前記動体位置情報に対応する点を前記実空間に対応する仮想空間に仮想的に配置していく点配置処理を行う。前記差分取得処理は、前記保持処理が保持している、互いに異なる時点での3個以上の前記位置特定可能情報について、互いに異なる時間差の2個以上の前記差分、を取得する。前記動体推定処理は、前記差分取得処理が取得した2個以上の前記差分に対応する2個以上の前記動体位置情報を取得する。前記点配置処理は、前記動体推定処理が取得した2個以上の前記動体位置情報に対応する2個以上の点を前記仮想空間に仮想的に配置していく。
【0008】
本開示の一態様に係るプログラムは、前記動体推定方法を1つ以上のプロセッサに実行させる。
【発明の効果】
【0009】
本開示の動体推定システム、動体推定方法、及びプログラムは、電波センサを用いた動体に関する推定の精度向上を図ることができるという効果がある。
【図面の簡単な説明】
【0010】
【
図1】
図1は、本開示の実施形態に係る機器制御システム(人体姿勢推定システム)のブロック図である。
【
図2】
図2は、同上の機器制御システムが用いられる部屋の概念図である。
【
図3】
図3は、同上の機器制御システムを構成する電波センサが送信する送信波の、周波数の変化を示すグラフである。
【
図4】
図4は、同上の機器制御システムを構成する制御装置の動作を説明するフローチャートである。
【
図5】
図5は、同上の動作に含まれる一対多フレーム間差分取得処理を説明するフローチャートである。
【
図6】
図6は、同上の動作に含まれる姿勢推定処理を説明するフローチャートである。
【
図7】
図7は、フレーム間差分の一例(一対一フレーム間差分)を説明するための波形図である。
【
図8】
図8Aは、現フレームFr0でのFFT結果を示す周波数スペクトル図であり、
図8Bは、後続フレームFr1でのFFT結果を示す周波数スペクトル図であり、
図8Cは、FFT結果間の差分を示す周波数スペクトル図である。
【
図9】
図9は、フレーム間差分の他の例(一対多フレーム間差分)を説明するための波形図である。
【
図10】
図10は、人体の各種の動きの特徴を説明するための概念図である。
【
図11】
図11は、同上の各種の動きに応じた一対多フレーム間差分取得の一例を説明するための波形図である。
【
図12】
図12Aは、人体の姿勢の1つである立位におけるクラスタ分布の一例を示す分布図であり、
図12Bは、座位におけるクラスタ分布の一例を示す分布図であり、
図12Cは、臥位におけるクラスタ分布の一例を示す分布図である。
【
図13】
図13Aは、立位におけるクラスタ群を囲む立体図形を示す概念図であり、
図12Bは、座位におけるクラスタ群を囲む立体図形を示す概念図であり、
図12Cは、臥位におけるクラスタ群を囲む立体図形を示す概念図である。
【
図16】
図16は、同上の機器制御システムの一変形例のブロック図である。
【発明を実施するための形態】
【0011】
(1)機器制御システムの概要
本開示の動体推定システムは、本実施形態では、動体推定機能(例えば、人体推定機能、特に、人体姿勢推定機能)に加えて、機器制御機能をも有する機器制御システム100である。本実施形態の機器制御システム100は、
図2に示すように、電波センサ1によって、動く物(以下、「動体」と記す場合がある)、特に人体301に関する推定を行う。
【0012】
人体301に関する推定とは、例えば、人体301か、人体301以外の動く物か、動かない物(静止物)か、などの推定、さらには人体301の姿勢の推定などである。
【0013】
人体301の姿勢は、例えば、立位、座位、臥位(
図12A~
図12C参照)などであるが、これに限らない。そして、機器制御システム100は、推定した姿勢の変化を基に、人体301の各種の動き、ひいては人の行動を検出し、検出結果に応じた機器200の制御を行う。
【0014】
なお、姿勢の変化は、例えば、立位、座位及び臥位の間での変化であるが、これに限らない。姿勢の変化には、姿勢の不変化の継続(例えば、座位に変化してから所定期間が経過しても、立位等への変化が生じない場合など)も含まれる。また、検出対象となる行動は、特に、例えば、非操作行動(後述)であるが、操作行動(後述)でもよい。
【0015】
(1-1)電波センサ
電波センサ1は、アンテナから電波(送信波Tr)を送信し、送信波Trが対象物で反射した反射波Reをアンテナで受信して、対象物の位置を特定可能な情報(以下、「位置特定可能情報」と記す)を出力する。
【0016】
(1-1-1)位置特定可能情報
位置特定可能情報とは、対象物の位置を特定可能な情報である。対象物の位置は、三次元の位置が好適であるが、二次元又は一次元の位置でもよい。位置特定可能情報は、例えば、後述するFFT結果群(三次元の位置を特定可能な情報)であるが、FFT結果群を構成する複数(例えば、3つ)のFFT結果の各々(一次元の位置を特定可能な情報)でもよい。
【0017】
また、例えば、送信波Trの送信から反射波Reの受信までの時間差Δtを示す信号、又は時間差Δtに応じた周波数差Δfを示す信号(例えば、FMCW方式で変調された送信波Trと反射波Reとの間の周波数差Δfを示すIF信号:
図3参照)、等も、位置特定情報の一種と考えてもよい。さらには、時間差Δt又は周波数差Δf等から算出される距離、それ自体も、位置特定可能情報であってもよい。
【0018】
(1-1-2)アンテナ
なお、送信波Trの送信に用いるアンテナと、反射波Reの受信に用いるアンテナとは、同一のアンテナ(以下、「共用アンテナ」)でも、別々のアンテナ(以下、「送信用アンテナ」及び「受信用アンテナ」)でもよい。つまり、共用アンテナから送信波Trが送信され、当該送信波Trに対する反射波Reが当該共用アンテナで受信されてもよいし、送信用アンテナから送信波Trが送信され、当該送信波Trに対する反射波Reが受信用アンテナで受信されてもよい。
【0019】
一般に、対象物の三次元位置を特定(例えば、人体に対応する点を仮想的な三次元空間500に配置)するには、電波センサ1は、例えば、3つ以上の共用アンテナを有するか、又は、一の送信用アンテナ及び3つ以上の受信用アンテナを有する必要がある。なお、電波センサ1が複数のアンテナを有することは、複数のアンテナが、一の筐体に収納されている場合に限らず、互に離れた複数の場所に配置されている場合も含む。後者の場合、複数のアンテナの各々は、有線又は無線でセンサ本体と通信可能に接続される。
【0020】
本実施形態における電波センサ1は、一の送信用アンテナ、及び3つ以上(例えば、3つ)の受信用アンテナを有する。電波センサ1に含まれる一の送信用アンテナ及び3つ以上の受信用アンテナ、の各々の位置は既知であり、当該4つ以上のアンテナに対応する4つ以上の位置情報(以下、「アンテナ位置情報群」)が、例えば、制御装置2のメモリに予め記憶されている。
【0021】
ただし、電波センサ1を構成する受信用アンテナの数は、2つ又は1つでもよい(2つの場合は平面への点配置が、1つの場合は線に沿う点配置が可能である)。
【0022】
(1-1-3)送受信動作
電波センサ1は、送受信動作を行う。送受信動作とは、送信波Trを、対象物群が存在し得る実空間に向けて送信し、実空間からの反射波Reを受信して、送信波Tr及び反射波Reに基づく信号(例えば、IF信号)を出力する動作である。対象物群が存在し得る実空間とは、例えば、部屋400の床面、天井及び側壁で囲まれた空間(室内空間)であり、以下では、「実空間(400)」と記す場合がある。なお、対象物群が存在し得る実空間は、室内空間に限らず、通路やテラス等の室外空間でもよい。
【0023】
対象物群とは、1つ以上の対象物の集合である。本実施形態における対象物群は、人体301、人体以外の動く物(例えば、電動ブラインド200cなど:以下では、「人体以外の動く物(200c)」と記す場合がある)、及び静止物302、のうち1つ以上を含む。言い換えると、対象物群を構成する1つ以上の対象物の各々は、人体301、人体以外の動く物(200c)及び静止物302のいずれかである。
【0024】
電波センサ1は、例えば、次のような送受信動作を、所定の周期(例えば、20msに1回の頻度)で行う。この送受信動作は、一の送信用アンテナで、対象物群が存在し得る実空間(400)に対して送信波Trを送信し、実空間(400)からの反射波Reを3つ以上の受信用アンテナの各々で受信する動作である。
【0025】
例えば、実空間(400)に、人体301、人体以外の動く物(200c)、及び静止物302が存在している場合は、対象物群(301,200c,302)からの反射波Reが3つ以上の受信用アンテナの各々で受信される。なお、静止物302は、例えば、
図2の例では、部屋400の床面に載置されたデスク302a及びベッド302bなどであるが、床面でもよい。
【0026】
送信波Trは、所定の方式で変調された電波である。所定の方式は、例えば、FMCW(Frequency Modulated Continuous Wave)方式であるが、これに限らない。本実施形態では、送信波Trは、FMCW方式で変調された電波である。
【0027】
(1-1-4)FMCW方式
FMCW方式とは、例えば、
図3に示すように、所定の時間長(チャープ信号のチャープ長Tc)を有する送信波Tr(送信信号)の周波数fを、時間tの経過に従って、開始周波数f0から所定の傾きSで直線的に上昇(又は下降)させる方式である。
【0028】
なお、前述したような位置特定可能情報の取得は、所定の周期で繰り返し行われる送受信動作の全部について行われなくてもよい。例えば、後述するように、所定時間T(例えば、T=200ms)を1フレーム(後述)として、1フレームにN回(Nは自然数:例えば10回)の送受信動作が行われる場合に、1フレームに属するN回の送受信動作のうち、N回の送受信動作の各々について位置特定可能情報が取得されても、所定の1つ(例えば、1回目の送受信動作など)についてのみ、位置特定可能情報が取得されてもよい。
【0029】
所定の周期は、例えば、20msに1回の周期であり、本実施形態では、1フレームを200msとして、1フレームに10回の頻度(N=10)である。ただし、所定の周期は、例えば、1フレームに20回の頻度(N=20)、1フレームに5回の頻度(N=5)などでもよい。
【0030】
(1-1-5)IF信号、FFT結果、及びFFT結果群
電波センサ1は、送受信動作を行う度に、3つ以上の受信用アンテナの各々について、IF信号を生成し、IF信号にFFT(Fast Fourier Transform:高速フーリエ変換)を施したFFT結果を取得して、FFT結果群を出力する。つまり、送受信動作が行われる度に、電波センサ1から、3つ以上の受信用アンテナに対応する3つ以上のFFT結果、からなるFFT結果群が出力される。ただし、IF信号に対しては、FFT以外のフーリエ変換が施されてもよく、その場合、電波センサ1からは、3つ以上の受信用アンテナに対応する3つ以上のフーリエ変換結果、からなるフーリエ変換結果群が出力される。
【0031】
IF信号とは、
図3に示したように、送信波Tr及び反射波Reの間の周波数差Δfを示す信号である。IF信号は、送信波Trの周波数及び反射波Reの周波数tの時間tでの差分を示す信号であり、時間tの関数Δf(t)であるが、対象物群(301,302)が静止している場合は、一定値を示す。
【0032】
IF信号は、送信波Trと反射波Reとのミキシングにより生成される。IF信号は、送信波Trを送信中かつ反射波Reを受信中である期間(つまり、反射波Reの受信開始から送信波Trの送信終了迄の期間)に渡って生成される。
【0033】
FFT結果とは、IF信号に対してFFTを施した結果である。FFT結果は、例えば、
図8A及び
図8Bに示すような、周波数スペクトル(周波数fと反射強度ampとの関係)を示す情報である。
【0034】
FFT結果群とは、1回の送受信動作に対して取得される、3つ以上の受信用アンテナに対応する3つ以上のFFT結果、で構成される情報である。このようなFFT結果群によって、対象物の三次元位置の特定が可能となる。さらに、複数のFFT結果群の間の差分をとることで、静止物302に対応する周波数成分は除去され、人体301等の動く対象物に対応する周波数成分(ampが閾値を超えるような周波数f、及び当該周波数fに対応するampの値)のみが取得される(
図8A~
図8C参照)。こうして取得される周波数成分を基に、人体301等の動く対象物の三次元位置及び動きに関する情報の取得が可能となる。
【0035】
詳しくは、本実施形態では、電波センサ1から、一連の複数回の送受信動作に対応する複数のFFT結果群が出力され、当該出力された複数のFFT結果群は、制御装置2のメモリに時系列に記憶される。一方、メモリには、前述したようなアンテ位置情報群が記憶されている。そこで、制御装置2は、メモリに時系列に記憶されている複数のFFT結果群(例えば、隣り合う2つのFFT結果群)の間の時間差分(3つの受信用アンテナごとのFFT結果の時間差分)を算出し、算出した差分を基に測距結果群(3つの受信用アンテナに対応する2つの測距結果)を取得する。制御装置2は、こうして取得した測距結果群、及び予め記憶されているアンテ位置情報群を用いた三点測位を行う。これによって、人体301の三次元位置を特定する情報の取得、例えば、三次元座標の計算が可能となる。
【0036】
(1-2)機器制御システムの姿勢推定機能
機器制御システム100は、
図1に示すように、測距部221と、点配置部222と、姿勢推定部223と、を備える。
【0037】
(1-2-1)測距部:一対一又は一対多の差分
測距部221は、電波センサ1が出力したFFT結果群を基に、電波センサ1から人体301までの距離を測定する。
【0038】
詳しくは、測距部221は、電波センサ1が出力したFFT結果群を、上記所定の周期以上の期間(好ましくは、所定の周期の2倍以上の期間)に渡って保持する。そして、測距部221は、保持している複数のFFT結果群のうち、一のFFT結果群である基準FFT結果群(本実施形態では、現FFT結果群)の、少なくとも1つの対象FFT結果群(本実施形態では、少なくとも1つの先行FFT結果群)に対する差分に基づいて測距処理を行い、少なくとも1つの測距結果群を取得する。
【0039】
(1-2-1a)基準FFT結果群、及び対象FFT結果群
基準FFT結果群とは、測距部221が保持している複数のFFT結果群のうち、差分を取得する際の起点となる一のFFT結果群である。対象FFT結果群とは、測距部221が保持している複数のFFT結果群のうち、基準FFT結果群との間で、差分の取得対象となる1つ以上のFFT結果群の各々である。1つ以上の対象FFT群は、基準FFT群に対して、時間的に前又は後(通常、前)に位置する。
【0040】
本実施形態では、一のFFT結果群は、現FFT結果群(後述)であり、1つ以上の対象FFT結果群は、1つ以上の先行FFT結果群(後述)である。
【0041】
基準FFT結果群の、少なくとも1つの対象FFT結果群に対する差分をとることで、反射波Reのうち、静止物302からの反射成分は除去され(反射波Reの受信強度である反射強度が閾値以下となり)、人体301(動いている対象物)からの反射成分のみが残る(閾値を超える反射強度amp、及び当該反射強度に対応する周波数f、の組が、少なくとも1組、好ましくは、2組以上、検出される)。
【0042】
なお、「少なくとも1つ」の先行FFT結果群、つまり現FFT結果群との間での差分の取得対象となる先行FFT結果群の数は、例えば、
図9及び
図11に示すように、2つ以上(一対多のフレーム間差分:図示された例では一対五のフレーム間差分)が、分解能向上の点で好適であるが、1つだけでもよい。すなわち、
図7及び
図8A~
図8Cに示すような、一対一の差分(一対一フレーム間差分)をとる場合でも、姿勢推定は可能であり、受信用アンテナの数(以下、「アンテナ数」)を増やすことで、分解能向上を図ることもできる。
【0043】
(1-2-1b)現FFT結果群、及び先行FFT結果群
現FFT結果群とは、保持されている複数のFFT結果群のうち、直近のFFT結果群である。先行FFT結果群とは、保持している複数のFFT結果群のうち、現FFT結果群より前のFFT結果群である。基準FFT結果群を現FFT結果群とし、対象FFT結果群を先行FFT結果群とすることで、姿勢推定のリアルタイム化が図られる。
【0044】
(1-2-1c)測距処理
測距処理とは、電波センサ1を用いて、人体301等の対象物までの距離を計測(測距)する処理である。本実施形態における測距処理では、電波センサ1を構成する3つ以上の受信用アンテナの各々(以下、各アンテナ)から人体301までの距離が測距され、3つ以上の受信用アンテナに対応する3つ以上の測距結果(測距結果群:後述)が取得される。
【0045】
測距処理では、例えば、
図3に示した各種のパラメータ、つまり、送信波Trと反射波Reとの間の上記差分(周波数差Δf)、送信波Trの周波数fの線形変化における傾きS、及び光速cに基づいて、各アンテナから人体301までの距離dが、次式1により算出される。
d=(c/2S)×Δf・・・(式1)
【0046】
(1-2-1d)測距結果群
測距結果群とは、1回の送受信動作に対して上式1で取得される、3つ以上の受信用アンテナに対応する3つ以上の測距結果からなる情報である。
【0047】
3つ以上の受信用アンテナに対応する3つ以上の測距結果とは、例えば、第1~第3の3つの受信用アンテナに対応する第1~第3の3つの測距結果である。第1の測距結果は、送信用アンテナから放射された電波が、人体301で反射して第1の受信用アンテナに到達するまでの伝搬距離、の概ね半値(つまり、人体301から第1の受信用アンテナまでの距離)に相当する。第2の測距結果は、送信用アンテナから放射された電波が、人体301で反射して第2の受信用アンテナに到達するまでの伝搬距離、の概ね半値(つまり、人体301から第2の受信用アンテナまでの距離)に相当する。第3の測距結果は、送信用アンテナから放射された電波が、人体301で反射して第3の受信用アンテナに到達するまでの伝搬距離、の概ね半値(つまり、人体301から第3の受信用アンテナまでの距離)に相当する。
【0048】
なお、「少なくとも1つ」の測距結果群、つまり、取得される測距結果群の数は、2つ以上が好適であるが、1つでもよい。
【0049】
(1-2-2)点配置部:多点配置
点配置部222は、測距部221が測距処理を行う度に座標算出処理を行い、現FFT結果群に対応する少なくとも1つの点を、例えば、
図12Aに示すように、三次元空間500に配置していく。ただし、点の配置先は、二次元空間(平面)又は一次元空間(線)でもよい。
【0050】
なお、「少なくとも1つ」の点、つまり、現FFT結果群に対応して一度に配置される点の数は、2つ以上(多点配置)が好適であるが、1つ(一点配置)でもよい。
【0051】
(1-2-2a)三次元空間
三次元空間500とは、電波センサ1及び対象物群(301,302)が存在する実空間(例えば、部屋400:
図2参照)に対応する仮想空間である。三次元空間500への配置は、仮想的な動作あり、三次元座標を単に記憶する動作でもよい。
【0052】
(1-2-2b)座標算出処理、及び点群
座標算出処理とは、取得された少なくとも1つの測距結果群に基づいて、人体301の三次元座標を算出する処理である。
【0053】
(1-2-3)姿勢推定部
姿勢推定部223は、例えば、
図12A~
図12Cに示すような点群501に基づいて、人体301の姿勢(本実施形態では、姿勢が立位、座位、臥位のいずれであるか)を推定する。点群501とは、点配置部222によって三次元空間500に配置された1つ以上の点の集合である。
【0054】
このように、本実施形態によれば、FMCW方式による電波センサ1を用いて、人体301の姿勢推定を可能化できる。
【0055】
(2)測距部及び点配置部の詳細
(2-1)一対多の差分
測距部221は、好ましくは、電波センサ1が出力したFFT結果群を、所定の周期の2倍以上の期間に渡って保持する。所定の周期の2倍以上の期間は、例えば、1フレームの2倍(2×T)以上の期間でもよい。
【0056】
そして、測距部221は、現在保持している3つ以上のFFT結果群のうち、現FFT結果群の、2つ以上の先行FFT結果群の各々に対する差分を算出し、算出した2つ以上の差分の各々に基づいて測距処理を行うことで、2つ以上の測距結果群を取得する。
【0057】
点配置部222は、こうして測距部221が取得した2つ以上の測距結果群の各々に基づいて座標算出処理を行うことで、現FFT結果群に対応する2つ以上の点を三次元空間500に配置していく。
【0058】
このように、現FFT結果群の2つ以上の先行FFT結果群の各々に対する差分を算出することで、電波センサ1のアンテナ数を増やすことなく、人体301の姿勢の推定精度の向上を図ることができる。
【0059】
(2-2)人体の各種の動きの検出に適した一対多の差分
測距部221は、より好ましくは、電波センサ1が出力したFFT結果群を、所定の周期の3倍以上の期間に渡って保持する。そして、測距部221は、現在保持している4つ以上のFFT結果群のうち、現FFT結果群の、3つ以上の先行FFT結果群の各々に対する差分を算出し、算出した3つ以上の差分のうち、人体301の各種の動き(例えば、体動、呼吸微動、手足動など)に応じた2つ以上の差分を選出する。測距部221は、こうして選出した2つ以上の差分の各々に基づいて前記測距処理を行うことで、2つ以上の測距結果群を取得する。
【0060】
点配置部222は、こうして測距部221が取得した2つ以上の測距結果群の各々に基づいて前記座標算出処理を行うことで、現FFT結果群に対応する2つ以上の点を前記三次元空間500に配置していく。
【0061】
このように、現FFT結果の3つ以上の先行FFT結果の各々に対する差分を算出し、人体301の各種の動きに応じた2つ以上の差分を選出することで、アンテナ数を増やすことなく、かつ測距処理に用いる差分数を抑制しつつ、人体301の姿勢の推定精度の向上を図ることができる。
【0062】
(2-3)フレーム、及びフレーム間差分
前述した送受信動作は、所定時間を1フレームとして、1フレームにN回(Nは2以上の整数)行われる。本実施形態では、所定時間は200ms、N=10である。
【0063】
メモリには、1フレームにつきN個のFFT結果群が、複数フレームに渡って記憶される。具体的には、電波センサ1は、例えば、1フレームにつき10回の送受信動作を行い、制御装置2のメモリには、1フレームにつき10個のFFT結果群が、例えば、複数フレーム(例えば、6フレーム)に渡って記憶される。測距部221は、メモリに記憶されている複数フレームの間で、フレーム間差分を取得する。
【0064】
フレーム間差分とは、一のフレーム(例えば、
図7に示す基準フレームFr0)に属するFFT結果群と、他の1つ以上のフレーム(例えば、
図7に示す後続フレームFr1・・・)に属するFFT結果群と、の間の差分である。
【0065】
(2-3-1)一対一フレーム間差分
フレーム間差分は、例えば、一対一フレーム間差分である。一対一フレーム間差分とは、一のフレーム(例えば、基準フレームFr0)に属するFFT結果群と、他の一のフレーム(例えば、後続フレームFr1)に属するFFT結果群と、の間の差分である。
【0066】
(2-3-2)フレーム間差分を求める際の各フレームの代表値
差分の取得対象となる2つのフレームに対応する2つのFFT結果群(例えば、基準フレームFr0に属するFFT結果群、及び後続フレームFr1に属するFFT結果群)の各々は、各々が属するフレームにおけるN個(例えば、10個)のFFT結果群における代表値である。
【0067】
代表値は、例えば、N個のFFT結果群の平均値(具体的には、第1の受信用アンテナに対応する10個のFFT結果の平均値、第2の受信用アンテナに対応する10個のFFT結果の平均値、及び第3の受信用アンテナに対応する10個のFFT結果の平均値、などで構成される情報)である。この場合のフレーム間差分は、基準フレームFr0に属する10個のFFT結果群の平均値と、後続フレームFr1に属する10個のFFT結果群の平均値と、の差分となる。
【0068】
または、代表値は、N個のFFT結果群のうち、所定の規則で決定される一のFFT結果群(例えば、k番目のFFT結果群:kは1以上N以下の整数)でもよい。この場合のフレーム間差分は、基準フレームFr0に属する10個のFFT結果群のうちk番目(例えば、1番目)のFFT結果群と、後続フレームFr1に属する10個のFFT結果群のうちk番目(例えば、1番目)のFFT結果群と、の差分となる。
【0069】
なお、上記のようなフレーム間差分に関する事項は、一対一のフレーム間差分に限らず、一対多のフレーム間差分にも当てはまる。
【0070】
測距部221は、例えば、一対多フレーム間差分(後述)を算出するために、電波センサ1が出力したFFT結果群を、(K+1)フレーム(Kは2以上の整数)の期間に渡って保持する。本実施形態では、K=5であり、FFT結果群は、(5+1)フレームの期間、つまり6×200ms=1200msに渡って保持(例えば、制御装置2のメモリに記憶)される。
【0071】
(2-3-3)一対多フレーム間差分
測距部221は、例えば、メモリに記憶されている(K+1)フレーム期間に渡るFFT結果群を用いて、一対多フレーム間差分を算出する。一対多フレーム間差分とは、基準フレームFr0と、複数の対象フレーム(例えば、
図9に示すような後続フレームFr1,Fr2,・・・)の各々と、の間でのFFT結果群の差分(第1時間差T,第2時間差2×T,・・・)である。
【0072】
なお、
図9では、複数の対象フレームとして、基準フレームFr0に後続する複数の後続フレームFr1,Fr2,・・・を例示しているが、本実施形態における複数の対象フレームは、例えば、
図11に示すような、基準フレームFr0に先行する複数の先行フレームFr-1,Fr-2,・・・である。
【0073】
FFT結果群の差分は、例えば、
図7に示すように、基準フレームFr0の1番目の送信波Tr1に対応するFFT結果群と、基準フレームFr0に対して時間差Tの対象フレーム(
図7の例では、後続フレームFr1)の1番目の送信波Tr1に対応するFFT結果群と、の間の差分である。
【0074】
または、FFT結果群の差分は、例えば、基準フレームFr0の2番目の送信波Tr2に対応するFFT結果群と、対象フレーム(後続フレームFr1)の2番目の送信波Tr2に対応するFFT結果群と、の間の差分でもよいし、基準フレームFr0のN番目の送信波TrNに対応するFFT結果群と、対象フレーム(後続フレームFr1)のN番目の送信波Tr2に対応するFFT結果群と、の間の差分でもよい。
【0075】
または、FFT結果群の差分は、上記のようなN個の差分の合計でもよい。本実施形態では、FFT結果群の差分は、上記のようなN個の差分の合計、つまり、N個の送信波Tr1~TrNごとの差分の合計であるとする。
【0076】
本実施形態における一対多フレーム間差分は、現在保持している(N×(K+1))個以上(例えば、N=10,K=5として、10×(5+1)=60個)のFFT結果群のうち、現フレームFFT結果群の、K個以上(例えば、5個)の先行フレームFFT結果群の各々、に対するフレーム間差分の集合である。
【0077】
(2-3-4)現フレーム、及び現フレームFFT結果群
現フレームFr0とは、現在のフレームであり、現在のフレームは、直近のFFT結果群を含むフレームFr0である。現フレームFFT結果群は、現フレームFr0に属するN個のFFT結果群の集合である。
【0078】
(2-3-5)先行フレーム、及び先行フレームFFT結果群
先行フレーム(Fr-1,Fr-2・・・Fr-K)とは、現フレームFr0より前のフレームである。先行フレームFFT結果群は、K個の先行フレーム(Fr-1,Fr-2・・・Fr-K)にそれぞれ属するN個のFFT結果群の集合である。
【0079】
(2-3-6)パラメータK
なお、パラメータKの値が大きいほど、人体301の各種の動き(例えば、体動、呼吸微動、及び手足動)の検出は容易となる。
【0080】
(2-3-6a)体動、呼吸微動、及び手足動
体動とは、体全体(体幹)の動きである。体動は、
図10及び
図11に示すように、動作時間が長く、動き量も大きい、不規則な動きである。手足動とは、手足の動きである。手足動は、
図10及び
図11に示すように、動作時間が短く、動き量が大きい、不規則な動きである。呼吸微動とは、呼吸に伴う胴体の動きである。呼吸微動は、動き量が小さく、動作時間がやや短い、周期的な動きである。
【0081】
(2-3-6b)パラメータKの具体例
本実施形態では、
図11に示すように、K=5であり、連続する5つの先行フレーム(第1先行フレームFr-1,第2先行フレームFr-2,・・・第5先行フレームFr-5)のうち、体動、手足の動き及び呼吸微動の検出に適した3つ(第2,第3及び第5先行フレームFr-2,Fr-3及びFr-5)を選出することで、差分算出の処理量を抑制しつつ推定精度の向上を図っているが、5つの先行フレームFr-1~Fr-5の全てを用いてもよい。
【0082】
(2-3-7)一対多フレーム間差分に基づく姿勢推定
測距部221は、こうして現フレームFr0に関して算出した一対多フレーム間差分を構成するK個以上のフレーム間差分に対応するK個以上の測距結果群を取得する。
【0083】
点配置部222は、こうして測距部221が現フレームFr0に関して取得したK個以上の測距結果群の各々に基づいて座標算出処理を行うことで、現FFT結果群に対応するK個以上の点を三次元空間500に配置していく。
【0084】
このように、現FFT結果群の2つ以上の先行FFT結果群の各々に対する一対多フレーム間差分を算出することで、アンテナ数を増やすことなく、人体301の姿勢の推定精度の更なる向上を図ることができる。
【0085】
(2-3-8)パラメータKの好適値
Kの値は、3以上の整数が好適である。測距部221は、現フレームFr0に関して算出した一対多フレーム間差分を構成する3つ以上のフレーム間差分のうち、人体301の各種の動き(例えば、体動、呼吸微動、手足動など)に応じた2つ以上のフレーム間差分を選出し、選出した2つ以上のフレーム間差分に対応する2つ以上の測距結果群を取得する。
【0086】
点配置部222は、こうして測距部221が現フレームFr0に関して取得した2つ以上の測距結果群の各々に基づいて座標算出処理を行うことで、現FFT結果群に対応する2つ以上の点を三次元空間500に配置していく。
【0087】
このように、現FFT結果群の3つ以上の先行FFT結果群の各々に対する3つ以上のフレーム間差分(一対多フレーム間差分)を算出し、当該3つ以上のフレーム間差分のうち、人体301の各種の動きに応じた2つ以上のフレーム間差分を算出することで、アンテナ数を増やすことなく、かつ測距処理に用いるフレーム間差分数を抑制しつつ、人体301の姿勢の推定精度の更なる向上を図ることができる。
【0088】
より好ましいKの値は、5である。測距部221は、現フレームFr0に関して算出した一対多フレーム間差分を構成する5つのフレーム間差分のうち、人体301の体動、呼吸微動及び手足動に応じた3つのフレーム間差分を選出し、選出した3つのフレーム間差分に対応する3つの測距結果群を取得する。
【0089】
人体301の体動、呼吸微動及び手足動に応じた3つのフレーム間差分は、部隊的には、例えば、
図11に示すように、第1~第5フレーム間差分ΔA1~ΔA5のうち、第2,第3及び第5フレーム間差分ΔA2,ΔA3及びΔA5である。
【0090】
点配置部222は、こうして測距部221が現フレームに関して取得した3つの測距結果群の各々に基づいて座標算出処理を行うことで、現FFT結果群に対応する3つの点を三次元空間500に配置していく。
【0091】
このように、現FFT結果群の5つの先行FFT結果群の各々に対する5つのフレーム間差分(一対多フレーム間差分)を算出し、当該5つのフレーム間差分のうち、人体301の体動、呼吸微動及び手足動に応じた3つのフレーム間差分を算出することで、アンテナ数を増やすことなく、かつ測距処理に用いるフレーム間差分数を抑制しつつ、人体301の姿勢の推定精度の更なる向上を図ることができる。
【0092】
なお、上記は例示に過ぎず、例えば、算出するフレーム間差分の個数や時間差は、推定精度がより高くなるように適宜変更され得る。
【0093】
(2-3-9)姿勢推定部の詳細
(2-3-9a)クラスタリング、及びクラスタ群の分布
姿勢推定部223は、例えば、点群501に対してクラスタリングを行うことにより、1つ以上のクラスタ(CL,CL1,CL2)の集合であるクラスタ群(CL,CL1,CL2)を取得する。
【0094】
クラスタ群(CL,CL1,CL2)は、例えば、
図12A及び
図12Bに示すような、人体301の上半身(頭部、胴体及び腕部)に対応する第1クラスタCL1、及び下半身(脚部)に対応する第2クラスタCL2である。またはクラスタ群(CL,CL1,CL2)は、例えば、
図12Cに示すような、全身(頭部、胴体、腕部及び脚部)に対応する単一のクラスタCLでもよい。
【0095】
なお、点群501を構成する点の数が増えることで、クラスタ群(CL,CL1,CL2)は、人体301、ひいては人体301を構成する各部位の概形(シルエット)を判別し得る程度の解像度となることが期待される。
【0096】
姿勢推定部223は、こうして取得したクラスタ群(CL,CL1,CL2)の三次元空間500内における分布(以下、単に「分布」と記す)に基づいて、人体301の姿勢を推定する。
【0097】
分布は、例えば、取得されたクラスタ(CL,CL1,CL2)の数、一のクラスタ(CL,CL1,CL2)の拡がりの方向、複数クラスタ間の距離などである。
【0098】
(2-3-9b)分布条件に基づく姿勢推定
姿勢推定部223は、例えば、分布に関する条件である分布条件に基づいて、人体301の姿勢が臥位、座位及び立位のどれであるかを推定する。
【0099】
分布条件は、例えば、臥位条件を含む。分布条件を構成する臥位条件(第1臥位条件)は、例えば、「単一のクラスタCLのみが取得され、当該単一のクラスタCLの床面からの高さが、閾値を下回るほど低いこと」である(
図12C参照)。
【0100】
分布条件は、例えば、座位条件を更に含む。分布条件を構成する座位条件(第1座位条件)は、例えば、「第1及び第2の2つのクラスタCL1及びCL2が取得され、当該2つのクラスタCL1及びCL2の間の距離が閾値を下回るほど近いこと」である(
図12B参照)。
【0101】
姿勢推定部223は、例えば、分布が上記臥位条件(第1臥位条件)を満たした場合、人体301の姿勢は臥位であると判断し、分布が上記座位条件(第1座位条件)を満たした場合、姿勢は座位であると判断し、分布が上記臥位条件も上記座位条件も満たさない場合、姿勢は立位であると判断してもよい。
【0102】
こうして、クラスタ群(CL,CL1,CL2)の分布を基に、人体301の姿勢を精度よく推定できる。
【0103】
(2-3-9c)寸法比条件に基づく姿勢推定
または、姿勢推定部223は、クラスタ群(CL,CL1,CL2)を囲む立体図形502の縦D、横W及び高さHに関する比率(以下、「寸法比」と記す)に関する寸法比条件に基づいて、人体301の姿勢を推定してもよい。
【0104】
本実施形態における立体図形502は、例えば、
図13A~
図13Cに示すような、縦D、横W及び高さHの直方体であり、寸法比は、例えば、縦D又は横Wと高さHとの間の比率である。
【0105】
ただし、立体図形502は、例えば、楕円柱(不図示)などでもよい。楕円柱では、短径が縦D、長径が横Wに対応する。
【0106】
寸法比条件は、臥位条件を含む。寸法比条件を構成する臥位条件(第2臥位条件)は、例えば、「立体図形502の縦D又は横Wが、高さHに対して所定比率(例えば、3倍)を超えるほど大きいこと」であってもよい。
【0107】
寸法比条件は、例えば、立位条件を更に含む。寸法比条件を構成する立位条件は、例えば、「立体図形502の高さHが縦D又は横Wに対して所定比率(例えば、3倍)を超えるほど大きいこと」であってもよい。
【0108】
姿勢推定部223は、例えば、寸法比が上記臥位条件(第2臥位条件)を満たした場合、人体301の姿勢は臥位であると判断し、寸法比が上記立位条件を満たした場合、姿勢は立位であると判断し、寸法比が上記臥位条件も上記立位条件も満たさない場合、姿勢は座位であると判断してもよい。
【0109】
こうして、クラスタ群(CL,CL1,CL2)を囲む立体図形502の縦D、横W及び高さHに関する比率を基に、人体301の姿勢を精度よく推定できる。
【0110】
(2-3-9d)分布寸法比条件に基づく姿勢推定
姿勢推定部223は、例えば、分布及び寸法比に関する条件である分布寸法比条件に基づいて、人体301の姿勢が臥位、座位及び立位のどれであるかを推定してもよい。
【0111】
分布寸法比条件は、臥位条件を含む。分布寸法比条件を構成する臥位条件(第3臥位条件)は、例えば、「一のクラスタCLのみが取得され、かつ立体図形502の縦D又は横Wが、高さHに対して所定比率(例えば、3倍)を超えるほど大きいこと」であってもよい。
【0112】
分布寸法比条件は、例えば、座位条件を更に含む。分布寸法比条件を構成する座位条件(第2座位条件)は、例えば、「第1及び第2の2つのクラスタCL1及びCL2が取得され、当該2つのクラスタCL1及びCL2の間の距離が、閾値を下回るほど近いこと」であってもよい。
【0113】
姿勢推定部223は、例えば、分布及び寸法比が上記臥位条件(第3臥位条件)を満たした場合、人体301の姿勢は臥位であると判断し、分布及び寸法比が上記座位条件(第2座位条件)を満たした場合、姿勢は座位であると判断し、分布及び寸法比が上記臥位条件も上記座位条件も満たさない場合、姿勢は立位であると判断してもよい。
【0114】
(2-4)機器制御システムの機器制御機能
機器制御システム100は、
図1に示すように、行動検出部224と、機器制御部225と、を更に備える。
【0115】
(2-4-1)行動検出部
行動検出部224は、人体301に対する姿勢推定部223の推定結果を基に、人体301に対応する人の行動を検出する。
【0116】
本実施形態における行動検出部224は、特に、姿勢推定部223の推定結果の変化に少なくとも基づいて、非操作行動を検出する。
【0117】
推定結果の変化は、本実施形態では、立位、座位及び臥位の間での変化であり、具体的には、例えば、立位から座位への変化、座位から立位への変化、立位又は座位から臥位への変化、臥位から立位又は座位への変化、などである。
【0118】
また、行動検出部224は、姿勢推定部223の推定結果の変化が検出されない無変状態が所定時間以上継続した場合に、非操作行動を検出してもよい。行動検出部224は、例えば、姿勢推定部223の推定結果の変化が検出された後、無変状態が所定時間以上継続したことに応じて、非操作行動を検出する。
【0119】
具体的には、行動検出部224は、例えば、姿勢推定部223の推定結果が立位又は座位から横臥位に変化した後、横臥位から他の姿勢への変化が検出されない無変化状態が所定時間以上継続したことに応じて、横臥状態の継続(例えば、入眠)という非操作行動を検出する。また、行動検出部224は、例えば、姿勢推定部223の推定結果が立位又は横臥位から座位に変化した後、座位から他の姿勢への変化が検出されない無変化状態が所定時間以上継続したことに応じて、横臥状態の継続(例えば、入眠)という非操作行動を検出する。
【0120】
(2-4-1a)非操作行動、及び操作行動
非操作行動とは、操作行動とは異なる行動である。
【0121】
操作行動とは、機器200の操作を意図した行動である。機器200は、例えば、
図2に示すような、部屋400の天井に取付られた照明器具200a、床に配置されたテレビ(TV)200b、窓402に取り付けられた電動ブラインド200cなどである。操作行動は、例えば、照明器具200aの壁スイッチを介したオンオフ操作、TV200bのリモコンを介したオンオフ操作やチャネル切換操作、電動ブラインド200cのリモコンを介した開閉操作などである。
【0122】
非操作行動は、例えば、日常行動といった、機器200の操作を意図しない行動である。日常行動は、例えば、部屋400に入る行動(部屋400の出入口401からの入室)、ベッド302bに横になる行動(就寝)、ベッド302bから起き上がる行動(起床)、部屋400から出る行動(出入口401からの退室)などである。また、日常行動は、例えば、デスク302aに座る行動(着席)(デスク作業、又はくつろぎ)、デスク302aを離れる行動(離席)などでもよい。
【0123】
なお、着席は、例えば、デスク302aで作業を行うための着席(デスク作業)と、TV200bを見てくつろぐための着席(くつろぎ)と、に区別されてもよい。デスク作業とくつろぎとは、例えば、着席が検出された時間帯(昼間か夜間か)を基に、判断されてもよい。
【0124】
なお、行動検出部224は、環境情報、履歴情報等(後述)も考慮して、非操作行動を検出してもよい。例えば、起床は、朝の起床と、深夜の途中覚醒と、に区別されてもよい。朝の起床か、深夜の途中覚醒かは、臥位から座位又は立位への変化か検出された時間帯、を基に判断されてもよい。
【0125】
(2-4-2)機器制御部
機器制御部225は、行動検出部224が検出した非操作行動に少なくとも基づいて、機器200を制御する。
【0126】
なお、機器制御部225は、非操作行動に応じた制御(自動制御)に加えて、機器200に対する操作に応じた制御(手動制御)も行う。操作は、例えば、制御装置2が有する操作デバイス(タッチパネルや操作ボタン等)の操作であるが、機器200が有する操作デバイス(壁スイッチやリモコン等)の操作でもよいし、機器200の操作用のジェスチャでもよい。機器200が有する操作デバイスの操作は、例えば、壁スイッチ等の操作デバイスから機器200への制御信号を傍受することにより検出される。ジェスチャは、例えば、人体301をカメラ(不図示)で撮像した画像の解析により検出されるが、電波センサ1で、非操作行動とは区別して検出されてもよい。
【0127】
このように、推定した姿勢の変化を基に、人体301の行動(特に、非操作行動)を検出し、検出結果に応じた機器制御を行うことで、機器200に対する操作なしでの機器制御(操作レス機器制御)を可能化できる。
【0128】
(2-4-3)情報取得部
機器制御システム100は、
図1に示すように、情報取得部226を更に備える。情報取得部226は、各種の情報を取得する。各種の情報は、例えば、環境情報、及び人識別子(いずれも後述)などである。
【0129】
情報取得部226は、例えば、環境情報を取得する。環境情報とは、人体301が存在する環境に関する情報である。環境は、例えば、時間帯(昼間・夜間,早朝・深夜など)、天候(晴・雨など)、気温、湿度などであるが、人体301が存在する部屋400の種類(寝室・居間)や方角(南向き・北向き)などでもよい。
【0130】
なお、同じ環境に複数の人(2つ以上の人体301)が存在し得る場合、情報取得部226は、人識別子を取得してもよい。詳しくは、例えば、メモリに、人を識別する人識別子と、当該人の特徴を示す特徴情報との組である組情報の集合(組情報群)が、予め記憶される。人識別子は、例えば、“1”,“2”等のIDであるが、名前やメールアドレスなど、人を識別し得る情報であれば何でもよい。人識別子と組になる特徴情報は、例えば、当該人の身長を示す身長情報である。ただし、特徴情報は、当該人の歩行速度を示す速度情報でもよいし、当該人を他の人と区別可能な特徴を示す情報であれば何でもよい。特徴情報自体を人識別子として用いてもよい。
【0131】
姿勢推定部223が人体301を検出すると、情報取得部226は、当該人体301の特徴情報を姿勢推定部223から取得し、当該取得した特徴情報と対になる人識別子を、メモリから読み出してもよい。
【0132】
なお、後述する自動制御用情報(
図14参照)は、複数の人識別子ごとにカスタマイズされてもよい。
【0133】
行動検出部224は、情報取得部226が取得した環境情報に更に基づいて、非操作行動を検出する。
【0134】
このように、姿勢変化に加えて、環境情報も利用することで、非操作行動の検出精度の向上を図ることができる。
【0135】
(2-4-3a)自動制御、及び自動制御用情報
機器制御部225は、非操作行動に基づく機器200の制御を、例えば、
図14に示すような、1つ以上(ここでは6つ)の自動制御用情報(自動制御用情報群)を用いて行う。自動制御情報群は、例えば、制御装置2のメモリに予め記憶されている。自動制御用情報群に基づく制御を、本実施形態では「自動制御」と称する。
【0136】
自動制御用情報群を構成する1つ以上の自動制御用情報の各々は、
図14に示すように、状態変化、姿勢変化、環境、非操作行動、制御内容、及び制御ID、に関する情報を含む。具体的には、
図14に示した6つの自動制御用情報のうち、1番目の自動制御情報は、状態変化“不在→在”、姿勢変化“-”、環境“-”、非操作行動“入室”、制御内容“照明通常点灯(明るさ5)”、及び制御ID“1”を含む。なお、“-”は、当該情報が含まれないことを示す情報である(以下同様)。
【0137】
同様に、2番目の自動制御情報は、状態変化“-”、姿勢変化“立位→座位”、環境“昼間”、非操作行動“デスク作業”、制御内容“照明を明るくする(+2)”、及び制御ID“2”を含む。3番目の自動制御情報は、状態変化“-”、姿勢変化“立位→座位”、環境“夜間”、非操作行動“くつろぎ”、制御内容“TVオン”、及び制御ID“3”を含む。4番目の自動制御情報は、状態変化“-”、姿勢変化“立位又は座位→臥位”、環境“夜間”、非操作行動“就寝”、制御内容“消灯”、及び制御ID“4”を含む。5番目の自動制御情報は、状態変化“-”、姿勢変化“臥位→立位又は座位”、環境“深夜”、非操作行動“途中覚醒”、制御内容“照明暗点灯(明るさ2)”、及び制御ID“5”を含む。6番目の自動制御情報は、状態変化“-”姿勢変化“臥位→立位又は座位”、環境“朝”、非操作行動“起床”、制御内容“ブラインドオープン”、及び制御ID“6”を含む。
【0138】
(2-4-3b)手動制御
また、機器制御部225は、自動制御用情報を用いて行う制御(自動制御)を、機器200に対する操作(以下、単に「操作」と記す)に応じて行うことも可能である。操作に基づく制御を、本実施形態では「手動制御」と称する。
【0139】
(2-4-4)履歴の蓄積及び学習
機器制御システム100は、履歴蓄積部227と、学習部228と、を更に備える。
【0140】
(2-4-4a)履歴蓄積部
履歴蓄積部227は、制御履歴情報を蓄積する。制御履歴情報とは、機器制御部225が行った機器200の制御履歴に関する情報である。制御履歴情報は、例えば、自動制御履歴情報であるが、手動制御履歴情報でもよい。または、制御履歴情報は、自動制御履歴情報、及び手動制御履歴情報を含んでもよい。
【0141】
自動制御履歴情報とは、行動(例えば、非操作行動であるが、操作行動でもよい)に応じた機器200の制御履歴に関する情報である。自動制御履歴情報は、行動に基づく制御の制御内容を、制御が行われた時刻、環境情報、及び人識別子と関連付ける。
【0142】
手動制御履歴情報とは、操作に応じた機器200の制御履歴に関する情報である。手動制御履歴情報は、操作に基づく機器200の制御内容を、操作が行われた時刻、環境情報、及び人識別子、のうち1つ以上の情報と関連付ける。
【0143】
機器制御部225が機器200の制御を行うと、履歴蓄積部227は、例えば、
図15に示すような制御履歴情報を、制御装置2のメモリに蓄積する。なお、制御履歴情報の蓄積先は、外部のメモリでもよい。
【0144】
例えば、時刻9:02の時点で、機器制御部225が照明器具200aに対して3回の制御を実行済みである場合、制御装置2のメモリには、
図15に示すような、3つの制御履歴情報が記憶されている。3つの制御履歴情報の各々は、履歴ID、時刻、制御ID、及び操作、に関する情報を含む。
【0145】
図15に示した3つの制御履歴情報のうち1番目の制御履歴情報は、履歴ID“1”、時刻“9:00”、制御ID“1”、及び操作“-”を含む。2番目の制御履歴情報は、履歴ID“2”、時刻“9:01”、制御ID“2”、及び操作“-”を含む。3番目の制御履歴情報は、履歴ID“3”、時刻“9:02”、制御ID“-”、及び操作“照明をやや暗くする操作(-1)”を含む。
【0146】
なお、前述した自動制御履歴情報は、操作に関する情報が“-”のものであり、上記3つの制御履歴情報のうち、1番目及び2番目の制御履歴情報がこれに該当する。また、前述した手動制御履歴情報は、制御IDが“-”の情報であり、上記3つの制御履歴情報のうち、3番目の制御履歴情報がこれに該当する。
【0147】
(2-4-5)学習部
学習部228は、自動制御履歴情報が示す時刻及び制御内容と、手動制御履歴情報が示す時刻及び操作とが、予め決められた更新条件を満たす場合に、自動制御用情報を更新する。
【0148】
(2-4-5a)更新条件、及びそれに基づく自動制御用情報の更新
更新条件は、例えば、「一の機器に対して、非操作行動に基づく自動制御が行われた後、当該自動制御の制御内容を打ち消す操作が、予め決められた時間(例えば、2分)以内に受け付けられたこと」である。
【0149】
図15の例では、2番目の制御履歴情報である自動制御情報が示す時刻“9:01”及び制御内容(すなわち、
図14の制御ID“2”に対応する制御内容)“照明を明るくする(+2)”と、3番目の制御履歴情報である手動制御情報が示す時刻“9:03”及び操作“照明をやや暗くする操作(-1)”とが、上記更新条件を満たす。
【0150】
つまり、一の機器“照明器具200a”に対して、非操作行動“デスク作業”に基づく自動制御“照明を明るくする(+2)”が行われた後、当該自動制御の制御内容を打ち消す操作“照明をやや暗くする操作(-1)”が、2分以内に受け付けられたことから、学習部228は、更新条件が満たされたと判断する。そして、学習部228は、
図14の6つの自動更新用情報のうち、制御ID“2”に対応する2番目の自動制御用情報を、例えば“照明をやや明るくする(+1)”に更新する。
【0151】
または、更新条件は、例えば「自動制御の内容とは異なる操作が、所定期間に所定回数以上(例えば、「1日に2回以上」、「1週間に3回以上」など)受け付けられたこと」でもよい。
【0152】
このように、非操作行動に応じた自動制御に関する履歴情報(自動制御履歴情)と、操作に応じた手動制御に関する履歴情報とを蓄積し、当該2つの履歴情報を基に、更新条件が満たされた場合に、自動制御用情報の更新を行うことで、学習機能の実現を図ることができる。
【0153】
(3)機器制御システムの具体例
本例の機器制御システム100は、
図1に示すように、電波センサ1と、制御装置2と、を備える。電波センサ1と制御装置2とは、通信モジュールを各々有し、有線又は無線で通信可能に接続される。制御装置2は、プロセッサ及びメモリを更に有する。メモリにプログラム及び各種の情報が記憶され、プロセッサがメモリ内のプログラム等に基づいて動作(更に通信モジュールと協働)することにより、後述するような制御装置2の動作が実現される。なお、電波センサ1もプロセッサ及びメモリを有し、送受信動作や、制御装置2との通信等がプログラムの制御下で行われてもよい。
【0154】
電波センサ1は、
図2に示すように、部屋400の天井に設けられる。制御装置2は、例えば、マルチリモコンであり、
図2に示すように、部屋400の側壁に設けられる。
【0155】
制御装置2は、電波センサ1の出力に基づいて、部屋400内に存在する人体301の姿勢(立位、座位及び臥位)を推定する。そして、制御装置2は、推定した姿勢の変化に基づいて、人体301の非操作行動を検出し、検出結果に応じて複数の機器200(照明器具200a,TV200b及び電動ブラインド200c)を自動制御する。また、制御装置2は、タッチパネル等の操作デバイスを有し、操作に応じた複数の機器200の手動制御も行える。
【0156】
制御装置2は、
図2に示すように、受付部21と、処理部22と、出力部23とを備える。処理部22は、測距部221と、点配置部222と、姿勢推定部223と、行動検出部224と、機器制御部225と、情報取得部226と、履歴蓄積部227と、学習部228と、を備える。
【0157】
受付部21は、各種の情報を受け付ける。各種の情報とは、例えば、機器200に対する操作情報である。受付部21は、操作情報以外の情報、例えば、人体301の身長などの個人情報を受け付けてもよい。
【0158】
処理部22は、各種の処理を行う。各種の処理とは、例えば、測距部221の処理、点配置部222の処理、姿勢推定部223の処理、行動検出部224の処理、機器制御部225の処理、情報取得部226の処理、履歴蓄積部227の処理、及び学習部228の処理、などである。また、処理部22は、フローチャートで説明する各種の判断なども行う。
【0159】
詳しくは、処理部22は、例えば、保持処理と、取得処理と、位置特定処理と、人体推定処理と、配置処理と、を実行してもよい。処理部22は、これら一連の処理を、例えば、電波センサ1から位置特定可能情報が出力されるたびに実行するが、1フレームに対応する数の位置特定可能情報が出力されるたびに実行してもよい。
【0160】
保持処理とは、電波センサ1が出力した位置特定可能情報を保持する処理である。取得処理とは、保持している複数の位置特定可能情報の間の差分を取得する処理である。位置特定処理とは、差分に基づいて、対象物群(301,302,200c)を構成する1つ以上の対象物(301,302,200c)のうち動く物(301,200c)の位置を特定し、特定した位置を示す位置情報を取得する処理である。人体推定処理とは、取得した位置情報が人体301及び人体301以外の動く物(例えば、電動ブラインド200c)のいずれに対応するかを、少なくとも差分の変化に基づいて推定する処理である。なお、本実施形態でいう変化とは、通常、時間の経過に伴う差分等の値の変化であり、「時間変化」といってもよい。ただし、変化は、例えば、空間内での位置に応じた値の変化(空間変化)であってもよい。
【0161】
配置処理とは、取得した位置情報が人体301に対応すると推定した場合に、取得した位置情報に対応する点を空間(三次元空間500)に仮想的に配置していく処理である。配置処理は、処理部22を構成する点配置部222によって実行される。
【0162】
本実施形態では特に、保持処理は、3個以上の位置特定可能情報を保持する。取得処理は、保持している3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分、を取得する。位置特定処理は、取得した2個以上の差分に対応する2個以上の位置情報を取得する。人体推定処理は、取得した2個以上の位置情報の各々が人体301及び人体301以外の動く物(200c)のいずれに対応するかを推定する。配置処理は、取得した2個以上の位置情報のうち人体301に対応すると推定した位置情報、に対応する点を空間(500)に仮想的に配置していく。
【0163】
なお、配置処理は、人体推定処理の推計結果を受け、人体301であると推定した対象物に対応する点と、人体301以外の動く物(200c)であると推定した対象物に対応する点とを、出力部23を介して互いに区別可能に表示(例えば、異なる色、異なる大きさ等で表示)してもよい。
【0164】
また、本実施形態における処理部22は、機器制御処理を更に実行する。機器制御処理とは、空間(500)に配置されている複数の点の集合である点群501に少なくとも基づいて機器200を制御する処理である。人体推定処理は、点群501の分布に基づいて人体301の姿勢又は姿勢の変化を推定する。
【0165】
処理部22は、行動検出処理を更に実行してもよい。行動検出処理とは、推定した姿勢又は姿勢の変化に基づいて人体301に対応する人の行動を検出する処理である。機器制御処理は、例えば、検出した行動を基に機器200を制御する。
【0166】
処理部22は、情報取得処理を更に実行してもよい。情報取得処理とは、人体301が存在する環境に関する環境情報を取得する処理である。人体推定処理は、情報取得処理が取得した環境情報に更に基づいて、行動を検出する。
【0167】
機器制御処理は、行動に基づく機器200の制御を、例えば、予め記憶された自動制御用情報を用いて行う。
【0168】
処理部22は、履歴蓄積処理を更に実行してもよい。履歴蓄積処理とは、機器200の制御履歴に関する履歴情報を蓄積する処理である。履歴情報は、例えば、自動制御履歴情報である。または、履歴情報は、手動制御履歴情報であってもよい。履歴蓄積処理は、例えば、自動制御履歴情報及び手動制御履歴情報の両方を蓄積することが好ましいが、いずれか一方のみを蓄積してもよい。
【0169】
処理部22は、学習処理を更に実行してもよい。学習処理とは、手動制御履歴情報が示す時刻及び操作が、予め決められた更新条件を満たす場合に、自動制御用情報を更新する処理である。または、学習処理は、自動制御履歴情報が示す時刻及び制御内容と、手動制御履歴情報が示す時刻及び操作とが、予め決められた更新条件を満たす場合に、自動制御用情報を更新する処理であってもよい。
【0170】
なお、電波センサ1は、「(10)機器制御システムの第2変形例」で説明する変換処理を実行し、処理部22は、「(10)機器制御システムの第2変形例」で説明する保持処理、差分取得処理、及び動体推定処理を実行してもよい。言い換えると、電波センサ1は、
図16に示す変換部11を備え、処理部22は、
図16に示す変換部11、保持部12、差分取得部13及び動体推定部14を備えていてもよい。
【0171】
出力部23は、各種の情報を出力する。各種の情報は、例えば、機器200への制御情報(例えば、リモコン信号)である。ここでの出力は、通常、機器200への送信であるが、ディスプレイへの表示なども含んでもよい。
【0172】
(4)機器制御システムの動作例
機器制御システム100を構成する制御装置2は、例えば、
図4~
図6のフローチャートに従って動作する。
【0173】
(4-1)全体処理
図4の処理は、機器制御システム100の起動に応じて開始され、動作停止に応じて終了される。
【0174】
最初に、制御装置2を構成する処理部22が、電波センサ1からFFT結果群が出力されたか否かを判断する(ステップS1)。FFT結果群が出力されていないと判断された場合、処理はステップS13に進む。
【0175】
ステップS1でFFT結果群が出力されたと判断された場合、処理部22を構成する測距部221は、当該FFT結果群を保持する(ステップS2)。
【0176】
次に、測距部221は、(K+1)フレーム期間以上のFFT結果群が保持されているか否かを判断する(ステップS3)。(K+1)フレーム期間以上のFFT結果群が未だ保持されていないと判断された場合、処理はステップS1に戻る。
【0177】
ステップS3で(K+1)フレーム期間以上のFFT結果群が保持されていると判断された場合、測距部221は、一対多フレーム間差分取得処理を行う(ステップS4)。なお、一対多フレーム間差分取得処理については、
図5のフローチャートにより説明する。
【0178】
次に、測距部221は、L個(又はK個)の差分(差分群)に対応するL個(又はK個)の測距結果(測距結果群)を取得する(ステップS5)。
【0179】
次に、点配置部222は、ステップS5で取得された測距結果群を基にL個(又はK個)の三次元座標(三次元座標群)を算出する(ステップS6)。
【0180】
次に、点配置部222は、ステップS6で取得した三次元座標群に基づくL個(又はK個)の点(点群501)の三次元空間500への配置を行う(ステップS7)。
【0181】
判定開始条件が満たされたか否かを判断する(ステップS8)。判定開始条件は、例えば、三次元空間500に所定数以上の点が配置されている、といった条件である。判定開始条件が未だ満たされていないと判断された場合、処理はステップS1に戻る。
【0182】
ステップS8で判定開始条件が満たされたと判断された場合、姿勢推定部223は、姿勢推定処理を行う(ステップS9)。なお、姿勢推定処理については、
図6のフローチャートにより説明する。
【0183】
次に、行動検出部224は、自動制御用情報(
図14参照)を用いて、ステップS9での推定結果の変化等(例えば、状態変化、姿勢変化、環境)等に基づく非操作行動の検出を行う(ステップS10)。例えば、状態変化“不在→在”に応じて、非操作行動“入室”が検出される。また、姿勢変化“立位→座位”に応じて、環境(現在の時間帯)が昼間か夜間かが判断され、昼間の場合は非操作行動“デスク作業”が、夜間の場合は非操作行動“くつろぎ”が、それぞれ検出される。
【0184】
次に、機器制御部225は、ステップS10での非操作行動等の検出結果等に応じた機器制御(自動制御)を行う(ステップS11)。例えば、非操作行動“入室”の検出に応じて、照明器具200aを通常の明るさ(明るさ5)で点灯する自動制御(制御ID“1”の制御)が行われる。また、非操作行動“デスク作業”の検出に応じて、照明器具200aを明るくする(明るさ+2)自動制御(制御ID“2”の制御)が行われる。さらに、非操作行動“くつろぎ”の検出に応じて、TV200bをオンする自動制御(制御ID“3”の制御)が行われる。
【0185】
次に、履歴蓄積部227は、ステップS11で行われた自動制御に関する自動制御履歴情報の蓄積を行う(ステップS12)。その後、処理はステップS1に戻る。
【0186】
ステップS1でFFT結果群が未だ出力されていないと判断された場合、処理部22は、機器200に対する操作を受付部21が受け付けたか否かを判断する(ステップS13)。機器200に対する操作を受付部21が未だ受け付けていないと判断された場合、処理はステップS1に戻る。
【0187】
ステップS13で機器200に対する操作を受付部21が受け付けたと判断された場合、機器制御部225は、当該操作に応じた機器制御(手動制御)を行う(ステップS14)。例えば、照明器具200aをやや暗くする操作(明るさ-1)が行われた場合、照明器具200aをやや暗くする手動制御が行われる。
【0188】
次に、履歴蓄積部227は、ステップS14で行われた手動制御に関する手動制御履歴情報の蓄積を行う(ステップS15)。
【0189】
次に、学習部228は、更新条件が満たされたか否かを判断する(ステップS16)。更新条件が未だ満たされてないと判断された場合、処理はステップS1に戻る。
【0190】
更新条件が満たされたと判断された場合、履歴蓄積部227は、自動制御用情報の更新を行う(ステップS17)。例えば、
図15に示すように、制御ID“2”の自動制御から1分後に、照明器具200aをやや暗くする手動制御が行われたことで、更新条件が満たされたと判断され、制御ID“2”の自動制御の制御内容が、「照明を明るくする(+1)」に更新される。その後、処理はステップS1に戻る。
【0191】
なお、
図4の処理において、電波センサ1は、FFT結果群(位置特定可能情報)に代えて、3つ以上の受信用アンテナに対応する3つ以上のIF信号(出力信号)を出力し、処理部22が、出力された3つ以上のIF信号を基にFFT変換結果を取得てもよい。その場合、上記ステップS1では、処理部22は、3つ以上のIF信号の各々に対してFFT変換を行い、FFT変換結果を取得したか否かを判断すればよい。
【0192】
(4-2)一対多フレーム間差分取得処理
上記ステップS4の一対多フレーム間差分取得処理は、例えば、
図5のフローチャートに従って実行される。
【0193】
処理部22は、変数iに初期値“1”をセットする(ステップS41)。
【0194】
次に、処理部22は、変数iがKより大きいか否かを判断する(ステップS42)。変数iがKより大きいと判断された場合、処理はステップS45に進む。
【0195】
ステップS42で変数iがKより大きくない(つまりK以下である)と判断された場合、測距部221は、現FFT結果群と、現FFT結果群より第i時間差(=i×T秒)前の第i先行FFT結果群と、の差分を取得し、取得した差分を変数“第i差分”にセットする(ステップS43)。
【0196】
次に、処理部22は、変数iをインクリメントする(ステップS44)。その後、処理は、ステップS42に戻る。
【0197】
ステップS42で変数iがKより大きいと判断された場合、測距部221は、第1~第KのK個の差分(例えば、5個の差分ΔA1~ΔA5:一部のみ
図11に図示)のうち、人体301の各種の動きに応じたL個の差分(例えば、3個の差分ΔA1,ΔA2及びΔA3:
図11参照)を選出(ステップS45)。その後、処理は上位のフローチャート(
図4参照)にリターンする。
【0198】
(4-3)姿勢推定処理
上記ステップS9の姿勢推定処理は、例えば、
図6のフローチャートに従って実行される。
【0199】
姿勢推定部223は、三次元空間500に配置されている点群501に対してクラスタリングを行い、クラスタ群(CL,CL1,CL2:
図12A~
図12C参照)を取得する(ステップS91)。
【0200】
次に、姿勢推定部223は、ステップS91で取得したクラスタ群(CL,CL1,CL2)を囲む立体図形(直方体)502(
図13A~
図13C参照)を、三次元空間500に配置する(ステップS92)。
【0201】
次に、姿勢推定部223は、ステップS92で配置した立体図形502の縦D・横W・高さKの比率(寸法比)を取得する(ステップS93)。
【0202】
次に、姿勢推定部223は、ステップS91で取得したクラスタ群(CL,CL1,CL2)の分布(クラスタ分布)及び、ステップS93で取得した寸法比が臥位条件を満たしたか否かを判断する(ステップS94)。
【0203】
クラスタ分布及び寸法比が臥位条件を満たしたと判断した場合、姿勢推定部223は、変数“姿勢”に値“臥位”をセットする(ステップS95)。その後、処理は上位のフローチャート(
図4参照)にリターンする。
【0204】
クラスタ分布及び寸法比が臥位条件を満たしていないと判断した場合、姿勢推定部223は、クラスタ分布及び寸法比が座位条件を満たしたか否かを更に判断する(ステップS96)。
【0205】
クラスタ分布及び寸法比が座位条件を満たしたと判断した場合、姿勢推定部223は、変数“姿勢”に値“座位”をセットする(ステップS97)。その後、処理は上位のフローチャート(
図4参照)にリターンする。
【0206】
クラスタ分布及び寸法比が座位条件も満たしていないと判断した場合、姿勢推定部223は、変数“姿勢”に値“立位”をセットする(ステップS98)。その後、処理は上位のフローチャート(
図4参照)にリターンする。
【0207】
(5)人体姿勢推定方法、機器制御法、及びプログラム
本開示の人体姿勢推定機能は、人体姿勢推定方法、又はプログラムによって実現されてもよい。人体姿勢推定方法は、上記各種のステップのうち、少なくとも、ステップS2~S5(測距ステップ)と、ステップS6,S7(配置ステップ)と、ステップS9(姿勢推定ステップ)と、を備える。プログラムは、人体姿勢推定方法を1つ以上のプロセッサに実行させるためのプログラムである。
【0208】
本開示の機器制御機能は、機器制御方法、又はプログラムによって実現されてもよい。機器制御方法は、測距ステップ、配置ステップ、及び姿勢推定ステップに加えて、ステップS10(行動検出ステップ)、及びステップS11(機器制御ステップ)を更に備える。プログラムは、機器制御方法を1つ以上のプロセッサに実行させるためのプログラムである。
【0209】
(6)非操作行動の変形例
非操作行動は、就寝及び起床に加えて、例えば、就寝後の入眠、及び起床前の目覚め、を更に含んでもよい。入眠及び目覚めは、例えば、体動の変化(停止及び開始)を基に検出できる。体動の停止は、例えば、閾値を超える大きさの体動が検出されない状態が、所定時間以上継続すること、であってもよい。体動の開始は、例えば、閾値を超える大きさの体動が検出される状態が、所定時間以上継続すること、であってもよい。
【0210】
(7)各部の配置の変形例
本実施形態では、制御装置2が、測距部221、点配置部222、姿勢推定部223、行動検出部224、機器制御部225、情報取得部226、履歴蓄積部227及び学習部228を備えるが、これらの要素は、全て電波センサ1が備えてもよい。または、電波センサ1は、これらの要素のうち測距部221のみを備え、他の要素を制御装置2が備えていてもよい。または、制御装置2は、電波センサ1に内蔵されていてもよい。
【0211】
(8)機器制御システムの第1変形例:人体姿勢推定システム
この変形例では、
図1に示した機器制御システム100において、機器制御機能に関わる要素である行動検出部224、機器制御部225、情報取得部226、履歴蓄積部227及び学習部228、が省略されたものである。このような機器制御システム100は、測距部221、点配置部222及び姿勢推定部223を少なくとも備えており、「人体姿勢推定システム100」と称されてもよい。
【0212】
また、人体姿勢推定システム100が、測距部221、点配置部222及び姿勢推定部223に加えて、行動検出部224、機器制御部225、情報取得部226、履歴蓄積部227及び学習部228を更に備えていてもよい。
【0213】
(9)差分取得の変形例:フレーム内差分
電波センサ1は、所定時間を1フレームとして、送受信動作を1フレームにN回(Nは4以上の整数)の周期で行い、1フレームにN個の位置特定可能情報を出力してもよい。処理部22は、1フレームに対応するN個の位置特定可能情報を少なくとも保持する。そして、処理部22は、保持している1フレーム以上に対応するN個以上の位置特定可能情報において、1フレームからフレームを代表する3個以上の位置特定可能情報(代表位置特定可能情報)を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。そして、処理部22は、1フレームを代表する3個以上の代表位置特定可能情報について取得した2個以上の差分を基に、2個以上の位置情報を取得してもよい。
【0214】
なお、本例において、処理部22は、1フレームの次の1フレームに対応するN個の位置特定可能情報を更に保持している。3個以上の代表位置特定可能情報について取得した2個以上の位置情報が、いずれも人体301以外の動く物(200c)に対応する場合に、処理部22は、1フレーム及び次の1フレームを新たな1フレームとする。そして、処理部22は、新たな1フレームに対応する2×N個の位置特定可能情報において、新たな1フレームを代表する3個以上の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。処理部22は、このような新たな1フレームを代表する3個以上の代表位置特定可能情報について取得した2個以上の差分を基に、2個以上の位置情報を取得してもよい。
【0215】
(10)機器制御システムの第2変形例:動体推定システムを含む機器制御システム
なお、この変形例では、実施形態での既出事項に関する説明は、省略又は簡略化している場合がある。
【0216】
本変形例における機器制御システム100は、
図16に示すように、動体推定システム100Aと、機器制御装置2Bとを含む。動体推定システム100Aは、電波センサ1と、動体推定装置2Aとを備える。動体推定装置2Aは、変換部11と、保持部12と、差分取得部13と、動体推定部14と、点配置部222と、を備える。動体推定部14は、測距部221と、姿勢推定部223と、行動検出部224と、を備える。機器制御装置2Bは、機器制御部225と、情報取得部226と、履歴蓄積部227と、学習部228と、を備える。
【0217】
なお、
図16の例では、動体推定装置2Aが変換部11を備えるが、変換部11は、電波センサ1に内蔵されていてもよいし、電波センサ1と動体推定装置2Aとの間に介在してもよい。前述した実施形態では、図示はしていないが、変換部11が電波センサ1に内蔵されている。
【0218】
また、
図16の例では、動体推定装置2Aと機器制御装置2Bとは別体であるが、一体的に構成されていてもよい。さらに、
図16では省略しているが、動体推定システム100Aは、通常、受付部21、処理部22(例えば、動体推定装置2A側の第1処理部、及び機器制御装置2B側の第2処理部)、及び出力部23(
図1参照)を更に含む。
【0219】
(10-1)電波センサ
動体推定システム100Aを構成する電波センサ1は、所定の方式で変調された電波である送信波Trを実空間(例えば、
図2に示した部屋400の内部:以下、「実空間(400)と記す」)に向けて送信し、実空間(400)からの反射波Reを受信して、送信波Tr及び反射波Reに基づく出力信号を出力する送受信動作を行う。
【0220】
送受信動作は、実施形態でのものと同様、所定の周期で行う繰り返し(つまり、定期的に)行われるが、不定期に行われてもよい。
【0221】
なお、実施形態における電波センサ1は、FFT結果群等の位置特定可能情報を出力したが、この変形例における電波センサ1は、IF信号等の出力信号を出力する。出力信号から位置特定可能情報への変換は、電波センサ1の外部(例えば、動体推定装置2Aを構成する変換部11)で行われる。
【0222】
(10-1-1)出力信号
出力信号は、例えば、FMCW方式で変調された電波の場合は、送信波Trに対する反射波Reの同一時刻における周波数差Δfを示す信号(IF信号:
図3参照)である。ただし、出力信号は、周波数差Δfから求められる、送信波Trと反射波Reとの時間差Δtを示す信号でもよい。なお、パルス変調方式で変調された電波の場合も、出力信号は、送信波Trと反射波Reとの時間差Δtを示す信号でよい。
【0223】
(10-1-2)変調方式
所定の方式、つまり電波の変調方式は、本例ではFMCW方式であるが、例えば、パルス変調方式でもよいし、結果として位置特定可能情報が取得されるものであれば、どの方式でもよい。
【0224】
(10-2)動体推定装置
動体推定装置2Aを構成する変換部11は、変換処理を行う。変換処理とは、電波センサ1が出力した出力信号を位置特定可能情報に変換する処理である。変換処理は、例えば、出力信号の一種であるIF信号に対してフーリエ変換を施す処理である。フーリエ変換は、例えばFFTであるが、STFT(short-time Fourier transform)などでもよい。
【0225】
位置特定可能情報とは、実空間(400)に存在する1つ以上の対象物(人体301,電動ブラインド200c,静止物302)の各々の位置を特定可能な情報であり、例えば、実施形態で説明したFFT結果群であるが、これに限らない。
【0226】
保持部12は、保持処理を行う。本例における保持処理とは、変換処理が変換した位置特定可能情報を保持する処理である。位置特定可能情報は、例えば、動体推定装置2Aが有するメモリに書き込まれ、所定の期間(例えば、1フレーム期間、3フレーム期間など)に渡ってメモリ内で保持される。
【0227】
差分取得部13は、差分取得処理を行う。差分取得処理とは、保持処理が保持している複数の位置特定可能情報の間の差分を取得する処理である。
【0228】
動体推定部14は、動体推定処理を行う。動体推定処理とは、動体に関する推定を行うための処理である。動体推定処理は、例えば、差分取得処理が取得した差分に基づいて、1つ以上の対象物の各々が動体であるか、動かない物(静止物302)であるかを推定し、動体(人体301,電動ブラインド200c)であると推定した対象物の位置を特定し、特定した位置を示す動体位置情報を取得する処理である。
【0229】
点配置部222は、点配置処理を行う。点配置処理とは、動体推定処理が取得した動体位置情報に対応する点を実空間(400)に対応する仮想空間(例えば、実施形態における三次元空間500)に仮想的に配置していく処理である。点配置処理は、例えば、実施形態で点配置部222の動作として説明した多点配置等の処理であってもよい。
【0230】
そして、本例における差分取得処理は、保持処理が保持している3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分、を取得する。動体推定処理は、差分取得処理が取得した2個以上の差分に対応する2個以上の動体位置情報を取得する。点配置処理は、動体推定処理が取得した2個以上の動体位置情報に対応する2個以上の点を仮想空間(500)に仮想的に配置していく。
【0231】
ここで、「2個以上の点を仮想空間(500)に仮想的に配置」することは、動体推定処理が取得した2個以上の動体位置情報に対応する2個以上の点のうち、「全部の点を配置する場合」と、「一部の点しか配置しない」(言い換えると、少なくとも1個の点を配置する)場合と、を含み、さらには「1個の点も配置しない場合」も含み得る。
【0232】
ただし、「1個の点も配置しない場合」は除外されてもよく、そのような点配置処理は、動体推定処理が取得した2個以上の動体位置情報に対応する2個以上の点「の全部又は一部」を仮想空間(500)に仮想的に配置する。つまり、2個以上の点の全部が人体301以外の動く物と判断されても、例えば、当該2個以上の点うち一の代表点(いずれか1つの点、または、当該2個以上の点に対応する2個以上の動体位置情報、の平均値に対応する一の点など)を配置してもよい。
【0233】
なお、動体推定処理が取得した2個以上の動体位置情報に対応する2個以上の点の全部を常に配置する場合は、本例で行うような、動体が人体301か人体301以外の動く物か(動体位置情報が、人体301に対応する情報か、人体301以外の動く物に対応する情報か)の判断は不要となる。
【0234】
本例では、取得された2個以上の動体位置情報の各々について上記の判断が行われ、人体301に対応する情報であると判断された場合に、その動体位置情報に対応する点が配置される。従って、個々の判断結果によって、2個以上の動体位置情報に対応する2個以上の点のうち、全部の点が配置される場合と、一部の点しか配置されない(少なくとも1個の点は配置される)場合と、1個の点も配置されない場合と、があり得る。
【0235】
加えて、例えば、判断対象となる動体位置情報が、有効な判断結果を得ることが見込めない情報である場合に、判断対象から除外される結果、一部の点しか配置されないか、1個の点も配置されない可能性もある。本例では、例えば、動体位置情報に対応する反射波Reの受信強度等の情報に基づいて、動体推定処理が取得した2個以上の動体位置情報の各々について上記判断の対象にするか否かを判定し、対象にすると判定した動体位置情報についてのみ上記判断を行ってもよい。
【0236】
(10-2-1)点配置の詳細
点配置処理は、例えば、動体のうち、人体301に対応する点のみ(つまり、2個以上の点の一部)を配置してもよい。つまり、人体301以外の動く物に対応する点は、配置されなくてもよい。ただし、人体301以外の動く物に対応する点も(つまり、2個以上の点の全部が)配置されてもよい。
【0237】
なお、点配置処理は、例えば、動体のうち、人体301、及び人体301以外の生体(ペット等の体:不図示)、に対応する点を配置してもよい。つまり、生体以外の動体に対応する点は、配置対象から除外してもよい。
【0238】
こうして、3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分を取得することで、仮想空間(500)に配置する点の数の増加(点群501の多点化)が期待できる。その結果、点群501が人体301等動体に対応するか、静止物302に対応するかの判断をより的確に行えるようになり、電波センサ1を用いた動体に関する推定の精度向上が図られる。
【0239】
また、こうして動体に関する推定の精度向上が図られる結果、電波センサ1を用いた機器200の制御の実現性(例えば、後述する機器制御装置2Bの制御精度)の向上が図られる。
【0240】
(10-2-2)動体位置情報に関する推定:動体は人体か、人体以外の動く物か
動体は、人体301及び人体301以外の動く物のいずれかである。人体301以外の動く物とは、例えば、電動で開閉する電動ブラインド200cであるが、移動しながら掃除する掃除ロボットなど、動く物体であれば何でもよい。人体301以外の動く物は、人以外の生体(例えば、人が飼っているペット)の体も含んでもよい。
【0241】
動体推定処理は、取得した2個以上の動体位置情報の各々が人体301及び人体301以外の動く物(200c)のいずれに対応するかを、少なくとも差分の変化に基づいて更に推定する。点配置処理は、動体推定処理が取得した2個以上の動体位置情報のうち、動体推定処理が人体301に対応すると推定した動体位置情報、に対応する点を、仮想空間(500)に仮想的に配置していく。つまり、人体推定処理が人体301以外の動く物に対応すると推定した動体位置情報、に対応する点は、配置対象から除外される。
【0242】
このように、動体推定システム100Aでは、人体301に関する推定を行う場合に、3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分を取得することで、人体301の各種の動き(例えば、体動、呼吸微動、手足動など:
図11参照)の検出が可能となり、人体301に関する推定の精度向上を図ることができる。
【0243】
(10-2-3)動体位置情報に関する推定の変形例:人体以外の動く物は生体か、生体以外の動く物か
人体301以外の動く物は、例えば、人体301以外の生体(例えば、人が飼うペット等の生き物の体:不図示)及び生体以外の動く物(電動ブラインド200c等)のいずれか、であってもよい。
【0244】
この場合、点配置処理は、生体に対応する点を仮想空間(500)に配置する。つまり、生体以外の動体に対応する点は、配置対象から除外される。
【0245】
本例における機器制御処理(後述)は、生体に対応する点群501が検出された場合(例えば、人又はペットが入室した場合)に、例えば、照明器具を点灯する、エアコンをオンする等の制御を行ってもよい。
【0246】
さらに、動体推定処理は、仮想空間(500)内の複数の点の分布(クラスタCLの形状等)を基に、仮想空間(500)内の複数の点を、人体301に対応する点群501と、人以の生体に対応する点群501と、に区別してもよい。
【0247】
そして、機器制御処理は、点群501が人体301に対応するか、人体301以外の生体(例えば、ペット)に対応するかで、異なる機器制御を行ってもよい。詳しくは、機器制御処理は、例えば、人体301に対応する点群501が検出された場合にテレビをオンする一方、人体301以外の生体(ペット)に対応する点群501が検出されてもテレビをオンしない、といった制御を行ってもよい。こうして、対象物が人体301か、人体301以外の生体かで異なる機器制御を行うことで、人とペットとの共生環境の快適化、さらには快適化及び省エネルギー化の両立を図ることができる。
【0248】
(10-2-4)反射波の受信強度を考慮した推定
動体推定処理は、取得した2個以上の動体位置情報の各々が人体301及び人体301以外の動く物(200c)のいずれに対応するかを、差分の変化に加えて、動体位置情報に対応する反射波Reの受信強度、及び受信強度の変化、の少なくとも一方に更に基づいて推定する。
【0249】
こうして、差分の変化に加えて、反射波Reの受信強度及び受信強度の変化の少なくとも一方をも利用することで、動体(301,200c)が人体301か人体301以外の動く物(200c)か、に関する推定精度の向上が図られる。
【0250】
(10-2-5)点群に関する推定
動体推定処理は、点群501が全体として、人体301に対応するか、人体301以外の動く物(200c)に対応するかを、点群501の分布及び分布の変化の少なくとも一方に更に基づいて推定する。こうして、仮想空間(500)に配置されている点群501の分布及び分布の変化の少なくとも一方をも利用することで、動体(301,200c)が人体301か人体301以外の動く物(200c)か、に関する推定の精度向上を図ることができる。
【0251】
(10-2-6)フレーム間差分
電波センサ1は、所定時間を1フレームとして、送受信動作を1フレームにN回(Nは1以上の整数)の周期で行う。これにより、電波センサ1からは、1フレームにN個の位置特定可能情報が出力される。保持処理は、3フレーム以上に対応する3×N個以上の位置特定可能情報を保持する。差分取得処理は、保持処理が保持している3フレーム以上に対応する3×N個以上の位置特定可能情報において、3フレーム以上の各々からフレームを代表する一の代表位置特定可能情報を選出する。そして、差分取得処理は、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。動体推定処理は、3フレーム以上をそれぞれ代表する3個以上の代表位置特定可能情報について取得した2個以上の差分を基に、2個以上の動体位置情報を取得する。
【0252】
これにより、3フレーム以上の間で、3個以上の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得できる。
【0253】
(10-2-7)フレーム内差分
電波センサ1は、所定時間を1フレームとして、送受信動作を1フレームにN回(Nは3以上の整数)の周期で行い、1フレームにN個以上の出力信号を出力する。変換処理は、1フレームに出力されるN個以上の出力信号の各々を位置特定可能情報に変換する。保持処理は、1フレームに対応するN個の位置特定可能情報を少なくとも保持する。
【0254】
差分取得処理は、保持処理が保持している1フレーム以上に対応するN個以上の位置特定可能情報において、1フレームからフレームを代表する3個以上の代表位置特定可能情報を選出する。そして、差分取得処理は、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。動体推定処理は、1フレームを代表する3個以上の代表位置特定可能情報について取得した2個以上の差分を基に、2個以上の動体位置情報を取得する。
【0255】
これにより、1フレーム内において、3個以上の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得できる。
【0256】
(10-2-7a)フレームの結合
保持処理は、1フレームの次の1フレームに対応するN個の位置特定可能情報を更に保持している。3個以上の代表位置特定可能情報について動体推定処理が取得した2個以上の動体位置情報が、いずれも人体301以外の動く物(200c)に対応する場合に、差分取得処理は、1フレーム及び次の1フレームを新たな1フレームとする。そして、差分取得処理は、新たな1フレームに対応する2×N個の位置特定可能情報において、新たな1フレームを代表する3個以上の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。動体推定処理は、新たな1フレームを代表する3個以上の代表位置特定可能情報について差分取得処理が取得した2個以上の差分を基に、2個以上の動体位置情報を取得する。
【0257】
これにより、1フレーム内で2個以上の差分を取得できない場合には、次の1フレームとで新たな1フレームを構成し、新たな1フレーム内で2個以上の差分の取得を図ることができる。
【0258】
(10-2-8)動体推定の具体例
(10-2-8a)一のアンテナによる一次元位置の特定
電波センサ1は、反射波Reを受信する少なくとも一のアンテナを有する。出力信号は、一回の送受信動作に対して、送信波Tr及び一のアンテナが受信した反射波Reを基に生成されるIF信号である。IF信号は、送信波Tr及び反射波Reの間の周波数差を示す信号であり、送信波Tr及び反射波Reのミキシングによって生成される。
【0259】
変換処理は、フーリエ変換処理である。フーリエ変換処理とは、IF信号にフーリエ変換を施す処理である。位置特定可能情報は、フーリエ変換処理のフーリエ変換結果である。保持処理は、一のアンテナに対応する複数のフーリエ変換結果を保持する。
【0260】
動体推定処理は、測距処理を含む。本例における測距処理は、一のアンテナに対応する複数のフーリエ変換結果の間の差分を基に、一のアンテナから、動体(301,200c)であると推定した対象物までの距離を測距する処理である。動体位置情報は、測距処理の測距結果に基づく一次元の位置情報である。
【0261】
これにより、FMCW方式で変調した電波を用いる電波センサ1で、動体(301,200c)に関する推定(動体推定処理)を行う際の、精度向上を図ることができる。また、反射波Reを受信するアンテナが1つしかなくても、動体(301,200c)までの距離の測距(一次元位置の特定)の精度向上を少なくとも図ることができる。
【0262】
(10-2-8b)複数のアンテナによる二次元位置又は三次元位置の特定
電波センサ1は、反射波Reを受信する複数のアンテナを有する。電波センサ1からは、一回の送受信動作に対して、複数のアンテナに対応する複数のIF信号が出力される。このような複数のアンテナの各々について、変換部11が変換処理を、保持部12が保持処理を、差分取得部13が差分取得処理を、動体推定部14が測距処理を含む動体推定処理を、それぞれ行う。
【0263】
位置特定可能情報は、複数のアンテナに対応する複数のフーリエ変換結果からなるフーリエ変換結果群である。保持処理は、複数のフーリエ変換結果群を保持する。動体推定処理は、複数のフーリエ変換結果群の間の、複数のアンテナごとの差分を基に、複数のアンテナの各々から、動体(301,200c)であると推定した対象物までの距離、を測距する複数の測距処理を含む。動体位置情報は、複数の測距処理に対応する複数の測距結果に基づく二次元又は三次元の位置情報である。
【0264】
これにより、動体(301,200c)の二次元位置(例えば、二次元の仮想空間500における二次元座標、又は方向及び距離の組、など)、又は三次元位置(例えば、三次元の仮想空間500における三次元座標、又は方向及び距離の組、など)を特定する動体推定処理の精度向上を図ることができる。
【0265】
(10-2-9)動体推定方法及びプログラム
本例における動体推定方法は、実施形態で説明した各種のステップのうち、ステップS1(変換ステップ)と、ステップS2(保持ステップ)と、ステップS4(差分取得ステップ)と、ステップS5及びS6(動体推定ステップ)と、ステップS7(点配置ステップ)と、を少なくとも備える。プログラムは、この動体推定方法を1つ以上のプロセッサに実行させる。
【0266】
(10-3)機器制御装置
機器制御装置2Bを構成する機器制御部225は、仮想空間(500)に配置されている複数の点の集合である点群501に少なくとも基づいて機器200を制御する機器制御処理を行う。こうして、電波センサ1で動体(301,200c)に対応する点群501を取得し、取得した点群501を基に機器200を制御することで、電波センサ1を用いた機器200の制御の実現を図ることができる。
【0267】
特に、人体301に対応する点群501を取得し、取得した点群501を基に機器200を制御することで、人体301の位置や動きに基づく機器200の制御の実現を図ることができる。
【0268】
(10-3-1)姿勢推定及び行動検出
動体推定装置2Aによる動体推定処理は、姿勢推定処理を含む。姿勢推定処理とは、人体301の姿勢を推定する処理である。姿勢推定処理は、例えば、点群501の分布(
図12A~
図13C)に基づいて人体301の姿勢を推定する。姿勢推定処理は、具体的には、例えば、実施形態で
図6を用いて説明した処理であってもよい。
【0269】
行動検出部224は、行動検出処理を実行する。本例における行動検出処理とは、姿勢推定処理が推定した姿勢又は姿勢の変化に基づいて、人体301に対応する人の行動を検出する処理である。本例における機器制御処理は、行動検出処理が検出した行動を基に機器200を制御する。
【0270】
こうして、点群501の分布を基に人体301の姿勢又は姿勢変化を推定し、推定結果を基に人体301に対応する人の行動を検出し、検出結果を基に機器200を制御することで、人体301の姿勢ひいては人の行動に基づく機器200の制御の実現を図ることができる。
【0271】
(10-3-2)環境情報の取得
情報取得部226は、情報取得処理を実行する。前述したように、情報取得処理とは、人体301が存在する環境に関する環境情報を取得する処理である。動体推定処理は、情報取得処理が取得した環境情報に更に基づいて行動を検出する。
【0272】
こうして、姿勢又は姿勢変化に加えて、環境情報も利用することで、行動の検出精度ひいては機器200の制御精度の向上を図ることができる。
【0273】
(10-3-3)自動制御用情報を用いた機器制御
機器制御処理は、行動に基づく機器200の制御を、予め記憶された自動制御用情報を用いて行う。これにより、行動に基づく機器200の制御を、自動制御用情報を用いて自動的に行うことができる。
【0274】
(10-3-4)自動制御履歴情報の蓄積
本例における履歴蓄積部227は、履歴蓄積処理を実行する。本例における履歴蓄積処理は、自動制御履歴情報を蓄積する。こうして自動制御履歴情報を蓄積することで、自動制御履歴情報に基づく学習処理が可能となり、ひいては自動制御履歴情報を利用した制御精度の向上を図ることが可能になる。また、自動制御履歴情報は、前述したように、行動に基づく機器200の制御内容を、時刻、環境情報、及び人識別子、のうち1つ以上の情報と関連付ける。これにより、個々の人に適した制御が行える。
【0275】
(10-3-5)手動制御履歴情報の更なる蓄積
履歴蓄積処理は、手動制御履歴情報を更に蓄積する。手動制御履歴情報とは、機器200に対する操作に基づく機器200の制御履歴に関する情報である。操作は、例えば、前述したような、照明の明るさを調整する操作などであり、リモコン等の操作デバイスを介して受け付けられる。こうして、手動制御履歴情報を更に蓄積することで、自動及び手動の2種類の制御履歴情報を利用した制御精度の向上を図ることが可能になる。
【0276】
例えば、蓄積している自動制御履歴情報及び手動制御履歴情報を基に、着席の検出に応じて照明を明るくする自動制御が実行されてから一定時間以内(例えば、1分以内)に、その制御内容を打ち消す操作(例えば、照明を暗くする操作)が行われないこと(以下、「黙認的無行動」と記す)、が所定期間に所定回数以上(例えば、1週間に3回以上)検知された場合に、その制御内容が適正であると学習する、といった学習処理を繰り返すことで、制御精度の向上を図ることができる。
【0277】
ただし、上記のような学習処理は、自動制御履歴情報のみを蓄積し、手動制御履歴情報を蓄積しなくても実現可能である。例えば、自動制御履歴情報の蓄積を行いながら、リアルタイムな操作情報を基に、黙認的無行動が所定期間に所定回数以上(例えば、1週間に3回以上)検知されたか否かの判定を行い、黙認的無行動が所定期間に所定回数以上検知された場合に、その制御内容が適正であると学習する学習処理を繰り返してもよい。
【0278】
または、自動制御履歴情報を蓄積せず、手動制御履歴情報のみを蓄積してもよい。例えば、蓄積している手動制御履歴情報を基に、着席の検出から一定時間以内(例えば、1分以内)に照明を明るくする操作が受け付けられたこと、が所定期間に所定回数以上(例えば、1週間に3回以上)検知された場合に、“着席の検出に応じて照明を明るくする”という制御内容を自動制御情報に登録する、といった処理を繰り返すことで、照明の明るさの自動制御に関する制御精度の向上や、自動制御の内容の多様化、等を図ることができる。
【0279】
また、手動制御履歴情報は、前述したように、操作に基づく機器200の制御内容を、時刻、環境情報、及び人識別子、のうち1つ以上の情報と関連付ける。学習部228は、例えば、制御履歴情報が示す時刻及び操作が、予め決められた更新条件を満たす場合に、自動制御用情報を更新する学習処理を実行する。このような自動制御履歴情報を利用した学習処理によって、個々の人の行動に適した制御の可能化を図ることが可能になる。
【0280】
(10-3-6)自動制御用情報の更新
または、学習部228は、情報が示す時刻及び制御内容と、機器200に対する操作に基づく機器200の制御履歴に関する手動制御履歴情報が示す時刻及び操作とが、予め決められた更新条件を満たす場合に、自動制御用情報を更新する学習処理を実行してもよい。このような、自動及び手動の2種類の制御履歴情報を利用した学習処理によって、個々の人の行動及び操作に適した制御の可能化を図ることが可能になる。
【0281】
(10-3-7)クラスタリング
本例における仮想空間(500)は、実施形態におけるものと同様、三次元空間500である。動体推定処理は、点群501に対してクラスタリングを行うことにより1つ以上のクラスタ(CL,CL1,CL2)の集合であるクラスタ群(CL,CL1,CL2)を取得し、クラスタ群(CL,CL1,CL2)の三次元空間500における分布に基づいて、人体301の姿勢を推定する。これにより、クラスタ群(CL,CL1,CL2)の分布を基に、人体301の姿勢を精度よく推定できる。
【0282】
(10-3-8)姿勢の推定
動体推定処理は、クラスタ群(CL,CL1,CL2)を囲む立体図形502の縦、横及び高さに関する比率に基づいて、人体301の姿勢を推定する。これにより、クラスタ群(CL,CL1,CL2)を囲む立体図形502の縦D、横W及び高さHに関する比率を基に、人体301の姿勢を精度よく、かつ簡易に推定できる。
【0283】
(10-3-9)行動の検出
行動検出処理は、姿勢推定処理が推定した姿勢又は姿勢の変化に少なくとも基づいて、人体301の機器200に対する操作とは異なる行動である非操作行動を検出する。機器制御処理は、検出した非操作行動に少なくとも基づいて機器200を制御する。こうして、非操作行動(例えば、日常行動といった、機器200の操作を意図しない行動)を基に機器200を制御することで、機器200に対する意図的な操作なしでの機器制御(操作レス機器制御)を可能化できる。
【0284】
(10-3-10)機器制御方法及びプログラム
機器制御方法は、電波センサ1を用いて、動く物である動体(人体301,電動ブラインド200c)に関する推定を行い、推定結果に基づいて機器200を制御する機器制御方法である。電波センサ1は、所定の方式で変調された電波である送信波Trを実空間(部屋400の内部)に向けて送信し、実空間(400)からの反射波Reを受信して、送信波Tr及び反射波Reに基づく出力信号を出力する送受信動作を行う。機器制御方法は、変換ステップ(S1)と、保持ステップ(S2)と、差分取得ステップ(S4)と、動体推定ステップ(S5,S6)と、点配置ステップ(S7)と、機器制御ステップ(S11)と、を備える。変換ステップ(S1)は、電波センサ1が出力した出力信号を、実空間(400)に存在する1つ以上の対象物(301,200c,静止物302の各々の位置を特定可能な位置特定可能情報に変換する変換処理を行う。保持ステップ(S2)は、変換処理が変換した位置特定可能情報を保持する保持処理を行う。差分取得ステップ(S4)は、保持処理が保持している複数の位置特定可能情報の間の差分を取得する差分取得処理を行う。動体推定ステップ(S5,S6)は、差分取得処理が取得した差分に基づいて、1つ以上の対象物の各々が動体であるか動かない物(302)であるかを推定し、動体(301,200c)であると推定した対象物の位置を特定し、特定した位置を示す動体位置情報を取得する動体推定処理を行う。点配置ステップ(S7)は、動体推定処理が取得した動体位置情報に対応する点を実空間(400)に対応する仮想空間(500)に仮想的に配置していく点配置処理を行う。機器制御ステップ(S11)は、仮想空間(500)に配置されている複数の点の集合である点群501に少なくとも基づいて機器200を制御する。プログラムは、この機器制御方法を1つ以上のプロセッサに実行させる。
【0285】
(11)まとめ
本開示の第1の態様に係る動体推定システム(100,100A)は、電波センサ(1)によって、動く物である動体(人体301,電動ブラインド200c)に関する推定を行う動体推定システム(100,100A)である。動体推定システム(100,100A)は、電波センサ(1)と、変換部(11)と、保持部(12)と、差分取得部(13)と、動体推定部(14)と、点配置部(222)と、を備える。電波センサ(1)は、所定の方式で変調された電波である送信波(Tr)を実空間(部屋400の内部)に向けて送信し、実空間(400)からの反射波(Re)を受信して、送信波(Tr)及び反射波(Re)に基づく出力信号を出力する送受信動作を行う。変換部(11)は、電波センサ(1)が出力した出力信号を、実空間(400)に存在する1つ以上の対象物(301,200c,静止物302)の各々の位置を特定可能な位置特定可能情報に変換する変換処理を行う。保持部(12)は、変換処理が変換した位置特定可能情報を保持する保持処理を行う。差分取得部(13)と、保持処理が保持している複数の位置特定可能情報の間の差分を取得する差分取得処理を行う。動体推定部(14)は、差分取得処理が取得した差分に基づいて、1つ以上の対象物の各々が動体であるか動かない物(302)であるかを推定し、動体(301,200c)であると推定した対象物の位置を特定し、特定した位置を示す動体位置情報を取得する動体推定処理を行う。点配置部(222)は、動体推定処理が取得した動体位置情報に対応する点を実空間(400)に対応する仮想空間(500)に仮想的に配置していく点配置処理を行う。差分取得処理は、保持処理が保持している、互いに異なる時点での3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分、を取得する。動体推定処理は、差分取得処理が取得した2個以上の差分に対応する2個以上の動体位置情報を取得する。点配置処理は、動体推定処理が取得した、互いに異なる時間差の2個以上の動体位置情報に対応する2個以上の点を仮想空間(500)に仮想的に配置していく。
【0286】
この態様によれば、3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分を取得することで、仮想空間(500)に配置する点の数の増加が期待できる。その結果、例えば、仮想空間(500)に配置されている複数の点で構成される点群(501)が動体(301,200c)に対応するか、動かない物(静止物302)に対応するか、の判断をより的確に行える。したがって、電波センサ(1)を用いた動体(301,200c)に関する推定の精度向上を図ることができる。
【0287】
第2の態様に係る動体推定システム(100,100A)では、第1の態様において、動体(301,200c)は、人体(301)及び人体(301)以外の動く物(200c)のいずれかである。動体推定処理は、取得した2個以上の動体位置情報の各々が人体(301)及び人体(301)以外の動く物(200c)のいずれに対応するかを、少なくとも差分の変化に基づいて更に推定する。点配置処理は、動体推定処理が取得した2個以上の動体位置情報のうち、動体推定処理が人体(301)に対応すると更に推定した動体位置情報、に対応する点を、仮想空間(500)に仮想的に配置していく。
【0288】
この態様によれば、例えば、動体(301,200c)が人体(301)か人体(301)以外の動く物(200c)か、といった人体(301)に関する推定を行う場合に、3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分を取得することで、人体(301)の各種の動き(例えば、体動、呼吸微動、手足動など)の検出の可能化が図られる。その結果、人体(301)に関する推定の精度向上を図ることができる。
【0289】
第3の態様に係る動体推定システム(100,100A)では、第2の態様において、動体推定処理は、取得した2個以上の動体位置情報の各々が人体(301)及び人体(301)以外の動く物(200c)のいずれに対応するかを、動体位置情報に対応する反射波(Re)の受信強度、及び受信強度の変化、の少なくとも一方に更に基づいて推定する。
【0290】
この態様によれば、差分の変化に加えて、反射波(Re)の受信強度及び受信強度の変化の少なくとも一方をも利用することで、動体(301,200c)が人体(301)か人体(301)以外の動く物(200c)か、に関する推定の精度向上を図ることができる。
【0291】
第4の態様に係る動体推定システム(100,100A)では、第2又は第3の態様において、動体推定処理は、仮想空間(500)に配置されている複数の点の集合である点群(501)が人体(301)に対応するか人体(301)以外の動く物(200c)に対応するかを、点群(501)の分布及び分布の変化の少なくとも一方に更に基づいて推定する。
【0292】
この態様によれば、仮想空間(500)に配置されている点群(501)の分布及び分布の変化の少なくとも一方をも利用することで、動体(301,200c)が人体(301)か人体(301)以外の動く物(200c)かに関する推定の精度向上を図ることができる。
【0293】
第5の態様に係る動体推定システム(100,100A)では、第1の態様において、電波センサ(1)は、所定時間を1フレームとして、送受信動作を1フレームにN回(Nは1以上の整数)の周期で行い、1フレームにN個の位置特定可能情報を出力する。保持処理は、3フレーム以上に対応する3×N個以上の位置特定可能情報を保持する。差分取得処理は、保持処理が保持している3フレーム以上に対応する3×N個以上の位置特定可能情報において、3フレーム以上の各々からフレームを代表する一の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。動体推定処理は、3フレーム以上をそれぞれ代表する3個以上の代表位置特定可能情報について取得した2個以上の差分を基に、2個以上の動体位置情報を取得する。
【0294】
この態様によれば、3フレーム以上の各々から、フレームに対応するN個(Nは1以上の整数)の位置特定可能情報のうち一の代表位置特定可能情報が選出され、選出された3個以上の代表位置特定可能情報について、2個以上の差分(フレーム間差分)が取得される。こうしてフレーム間で取得される2個以上の差分を基に、2個以上の位置情報を取得できる。
【0295】
第6の態様に係る動体推定システム(100,100A)では、第1の態様において、電波センサ(1)は、所定時間を1フレームとして、送受信動作を1フレームにN回(Nは3以上の整数)の周期で行い、1フレームにN個以上の出力信号を出力する。保持処理は、1フレームに対応するN個の位置特定可能情報を少なくとも保持する。差分取得処理は、保持処理が保持している1フレーム以上に対応するN個以上の位置特定可能情報において、1フレームからフレームを代表する3個以上の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。動体推定処理は、1フレームを代表する3個以上の代表位置特定可能情報について取得した2個以上の差分を基に、2個以上の動体位置情報を取得する。
【0296】
この態様によれば、1フレームから、フレームに対応するN個(Nは3以上の整数)の位置特定可能情報のうち3個以上の代表位置特定可能情報、が選出され、選出された3個以上の代表位置特定可能情報について、2個以上の差分(フレーム内差分)が取得される。こうしてフレーム内で取得される2個以上の差分を基に、2個以上の位置情報を取得できる。
【0297】
なお、第6の態様において、保持処理は、1フレームの次の1フレームに対応するN個の位置特定可能情報を更に保持していてもよい。3個以上の代表位置特定可能情報について動体推定処理が取得した2個以上の動体位置情報が、いずれも人体(301)以外の動く物(200c)に対応する場合に、差分取得処理は、1フレーム及び次の1フレームを新たな1フレームとし、新たな1フレームに対応する2×N個の位置特定可能情報において、新たな1フレームを代表する3個以上の代表位置特定可能情報を選出し、選出した3個以上の代表位置特定可能情報について、2個以上の差分を取得する。動体推定処理は、新たな1フレームを代表する3個以上の代表位置特定可能情報について差分取得処理が取得した2個以上の差分を基に、2個以上の動体位置情報を取得する。
【0298】
このように、フレーム内で差分が取得できない場合に、次のフレームと結合することで、差分の取得の可能化を図ることができる。
【0299】
第7の態様に係る動体推定システム(100,100A)では、第1の態様において、所定の方式は、FMCW方式である。電波センサ(1)は、反射波(Re)を受信する少なくとも一のアンテナを有する。出力信号は、一回の送受信動作に対して送信波(Tr)及び一のアンテナが受信した反射波(Re)を基に生成されるIF信号である。変換処理は、IF信号にフーリエ変換を施すフーリエ変換処理である。位置特定可能情報は、フーリエ変換処理のフーリエ変換結果である。保持処理は、複数のフーリエ変換結果を保持する。動体推定処理は、一のアンテナに対応する複数のフーリエ変換結果の間の差分を基に、一のアンテナから動体(301,200c)であると推定した対象物までの距離を測距する測距処理を含む。動体位置情報は、測距処理の測距結果に基づく一次元の位置情報である。
【0300】
この態様によれば、FMCW方式で変調した電波を用いる電波センサ1で、動体(301,200c)に関する推定(動体推定処理)を行う際の、推定精度の向上を図ることができる。また、反射波(Re)を受信するアンテナが1つしかなくても、動体(301,200c)までの距離の測距(一次元位置の特定)の精度向上を少なくとも図ることができる。
【0301】
なお、第7の態様において、フーリエ変換は、FFTであってもよい。この場合、位置特定可能情報は、IF信号にFFTを施したFFT結果である。
【0302】
このように、IF信号にFFTを施したFFT結果を用いることで、フーリエ変換ひいては動体推定処理の高速化を図りつつ推定精度の向上を図ることができる。
【0303】
第8の態様に係る動体推定システム(100,100A)では、第7の態様において、電波センサ(1)は、反射波(Re)を受信する複数のアンテナを有し、一回の送受信動作に対して、複数のアンテナに対応する複数のIF信号を出力する。複数のアンテナの各々について、変換部(11)が変換処理を、保持部(12)が保持処理を、差分取得部(13)が差分取得処理を、動体推定部(14)が測距処理を含む動体推定処理を、それぞれ行う。位置特定可能情報は、複数のアンテナに対応する複数のフーリエ変換結果からなるフーリエ変換結果群である。保持処理は、複数のフーリエ変換結果群を保持する。動体推定処理は、複数のフーリエ変換結果群の間の、複数のアンテナごとの差分を基に、複数のアンテナの各々から動体(301,200c)であると推定した対象物までの距離を測距する複数の測距処理を含む。動体位置情報は、複数の測距処理に対応する複数の測距結果に基づく二次元又は三次元の位置情報である。
【0304】
この態様によれば、動体(301,200c)の二次元位置(例えば、二次元の仮想空間500における二次元座標、又は方向及び距離の組、など)、又は三次元位置(例えば、三次元の仮想空間500における三次元座標、又は方向及び距離の組、など)を特定する動体推定処理の精度向上を図ることができる。
【0305】
第9の態様に係る動体推定方法は、電波センサ(1)によって、動く物である動体(人体301,電動ブラインド200c)に関する推定を行う動体推定方法である。動体推定方法は、送受信ステップ(不図示)と、変換ステップ(S1)と、保持ステップ(S2)と、差分取得ステップ(S4)と、動体推定ステップ(S5,S6)と、点配置ステップ(S7)と、を備える。送受信ステップ(不図示)では、電波センサ(1)が、所定の方式で変調された電波である送信波(Tr)を実空間(部屋400の内部)に向けて送信し、実空間(400)からの反射波(Re)を受信して、送信波(Tr)及び反射波(Re)に基づく出力信号を出力する送受信動作を行う。変換ステップ(S1)は、電波センサ(1)が出力した出力信号を、実空間(400)に存在する1つ以上の対象物(301,200c,静止物302)の各々の位置を特定可能な位置特定可能情報に変換する変換処理を行う。保持ステップ(S2)は、変換処理が変換した位置特定可能情報を保持する保持処理を行う。差分取得ステップ(S4)は、保持処理が保持している複数の位置特定可能情報の間の差分を取得する差分取得処理を行う。動体推定ステップ(S5,S6)は、差分取得処理が取得した差分に基づいて、1つ以上の対象物の各々が動体であるか動かない物(302)であるかを推定し、動体(301,200c)であると推定した対象物の位置を特定し、特定した位置を示す動体位置情報を取得する動体推定処理を行う。点配置ステップ(S7)は、動体推定処理が取得した動体位置情報に対応する点を実空間(400)に対応する仮想空間(500)に仮想的に配置していく点配置処理を行う。差分取得処理は、保持処理が保持している、互いに異なる時点での3個以上の位置特定可能情報について、互いに異なる時間差の2個以上の差分、を取得する。動体推定処理は、差分取得処理が取得した2個以上の差分に対応する2個以上の動体位置情報を取得する。点配置処理は、動体推定処理が取得した、互いに異なる時間差の2個以上の動体位置情報に対応する2個以上の点を仮想空間(500)に仮想的に配置していく。
【0306】
この態様によれば、第1の態様と同様、電波センサ(1)を用いた動体(301,200c)に関する推定の精度向上を図ることができる。
【0307】
第11の態様に係るプログラムは、第10の態様の動体推定方法を1つ以上のプロセッサに実行させる。
【0308】
この態様によれば、第1の態様と同様、電波センサ(1)を用いた動体(301,200c)に関する推定の精度向上を図ることができる。
【符号の説明】
【0309】
100 機器制御システム(人体姿勢推定システム,動体推定システム)
100A 動体推定システム
1 電波センサ
11 変換部
12 保持部
13 差分取得部
14 動体推定部
2 制御装置
2A 動体推定装置
2B 機器制御装置
21 受付部
22 処理部
221 測距部
222 点配置部
223 姿勢推定部
224 行動検出部
225 機器制御部
226 情報取得部
227 履歴蓄積部
228 学習部
23 出力部
200 機器
301 人体
302 静止物
400 部屋(実空間)
500 三次元空間(仮想空間)
501 点群
502 立体図形(直方体)
CL,CL1,CL2 クラスタ群
Tr 送信波
Re 反射波