知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023141289
(43)【公開日】2023-10-05
(54)【発明の名称】センサ装置、システム、及び音声検知方法
(51)【国際特許分類】
G01S 13/34 20060101AFI20230928BHJP
G10L 25/78 20130101ALI20230928BHJP
G01S 7/41 20060101ALI20230928BHJP
【ＦＩ】
G01S13/34
G10L25/78
G01S7/41
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022047524
(22)【出願日】2022-03-23
(71)【出願人】
【識別番号】303046277
【氏名又は名称】旭化成エレクトロニクス株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】竹内 誠二
(72)【発明者】
【氏名】池内 督
【テーマコード（参考）】
5J070
【Ｆターム（参考）】
5J070AB17
5J070AB24
5J070AC01
5J070AC02
5J070AC06
5J070AC11
5J070AD06
5J070AE09
5J070AH25
5J070AH31
5J070AH35
5J070AK40
(57)【要約】 （修正有）
【課題】マイクロホン等の外部音声入力装置を用いず、ＦＭＣＷレーダーを音声検知装置として使用するセンサ装置を提供する。
【解決手段】ＦＭＣＷレーダーを用いて物体をセンシングするセンサ装置であって、前記ＦＭＣＷレーダーの受信波に基づく受信信号を取得し、前記物体をセンシングした処理信号を出力する信号処理部と、前記処理信号に基づいて、前記物体からの音声に関する音声関連信号を検知する音声検知部と、前記音声検知部の検知結果に基づいて、前記センサ装置の動作モードを、前記物体を検知するための物体検知モードと、前記物体からの音声を検知するための音声検知モードとで切り替えるモード制御部とを備える、センサ装置及び、ＦＭＣＷレーダーを送受信する送受信部と、本発明の第１の態様に係るセンサ装置とを備えるシステムを提供する。
【選択図】図１Ａ
【解決手段】ＦＭＣＷレーダーを用いて物体をセンシングするセンサ装置であって、前記ＦＭＣＷレーダーの受信波に基づく受信信号を取得し、前記物体をセンシングした処理信号を出力する信号処理部と、前記処理信号に基づいて、前記物体からの音声に関する音声関連信号を検知する音声検知部と、前記音声検知部の検知結果に基づいて、前記センサ装置の動作モードを、前記物体を検知するための物体検知モードと、前記物体からの音声を検知するための音声検知モードとで切り替えるモード制御部とを備える、センサ装置及び、ＦＭＣＷレーダーを送受信する送受信部と、本発明の第１の態様に係るセンサ装置とを備えるシステムを提供する。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
ＦＭＣＷレーダーを用いて物体をセンシングするセンサ装置であって、
前記ＦＭＣＷレーダーの受信波に基づく受信信号を取得し、前記物体をセンシングした処理信号を出力する信号処理部と、
前記処理信号に基づいて、前記物体からの音声に関する音声関連信号を検知する音声検知部と、
前記音声検知部の検知結果に基づいて、前記センサ装置の動作モードを、前記物体を検知するための物体検知モードと、前記物体からの音声を検知するための音声検知モードとで切り替えるモード制御部と、
を備えるセンサ装置。
前記ＦＭＣＷレーダーの受信波に基づく受信信号を取得し、前記物体をセンシングした処理信号を出力する信号処理部と、
前記処理信号に基づいて、前記物体からの音声に関する音声関連信号を検知する音声検知部と、
前記音声検知部の検知結果に基づいて、前記センサ装置の動作モードを、前記物体を検知するための物体検知モードと、前記物体からの音声を検知するための音声検知モードとで切り替えるモード制御部と、
を備えるセンサ装置。
【請求項2】
前記信号処理部は、センシングされた前記物体の座標の位相データを抽出するための位相変換部を有する
請求項１に記載のセンサ装置。
請求項１に記載のセンサ装置。
【請求項3】
前記信号処理部は、前記処理信号として、前記物体の位置に関する位置情報を出力し、
前記音声検知部は、前記位置情報に基づいて、前記物体からの音声関連信号を検知する
請求項２に記載のセンサ装置。
前記音声検知部は、前記位置情報に基づいて、前記物体からの音声関連信号を検知する
請求項２に記載のセンサ装置。
【請求項4】
前記信号処理部は、前記位相データに基づいて、前記物体の微小振動に関する微小振動情報を取得する微小振動検出部を有し、
前記微小振動検出部は、前記処理信号として、前記物体の微小振動に関する微小振動情報を出力し、
前記音声検知部は、前記微小振動情報に基づいて、前記物体からの音声関連信号を検知する
請求項２又は３に記載のセンサ装置。
前記微小振動検出部は、前記処理信号として、前記物体の微小振動に関する微小振動情報を出力し、
前記音声検知部は、前記微小振動情報に基づいて、前記物体からの音声関連信号を検知する
請求項２又は３に記載のセンサ装置。
【請求項5】
前記音声検知部は、前記音声関連信号に基づいて、前記物体からの音声の発声位置を特定する位置特定部を有し、
前記微小振動検出部は、前記発声位置に対応する前記位相データを周波数解析する
請求項４に記載のセンサ装置。
前記微小振動検出部は、前記発声位置に対応する前記位相データを周波数解析する
請求項４に記載のセンサ装置。
【請求項6】
前記音声検知部は、前記音声関連信号に基づいて、前記物体からの発声の発声タイミングを特定するタイミング特定部を有し、
前記モード制御部は、前記発声タイミングに基づいて、前記物体検知モードから前記音声検知モードへ切り替える
請求項４又は５に記載のセンサ装置。
前記モード制御部は、前記発声タイミングに基づいて、前記物体検知モードから前記音声検知モードへ切り替える
請求項４又は５に記載のセンサ装置。
【請求項7】
前記音声検知モードで抽出された前記位相データに基づいて音声データを出力するための音声データ出力部を備える
請求項４から６のいずれか一項に記載のセンサ装置。
請求項４から６のいずれか一項に記載のセンサ装置。
【請求項8】
前記物体検知モードは、
前記物体の位置、速度、角度、形状、姿勢及び数を検知するための第１のモードと、
前記物体の微小振動を検知するための第２のモードと
を含む
請求項４から７のいずれか一項に記載のセンサ装置。
前記物体の位置、速度、角度、形状、姿勢及び数を検知するための第１のモードと、
前記物体の微小振動を検知するための第２のモードと
を含む
請求項４から７のいずれか一項に記載のセンサ装置。
【請求項9】
前記微小振動検出部は、
前記位相データを周波数解析し、前記物体の微小振動データを得るための第１の周波数解析部と、
前記位相データを周波数解析し、音声データを得るための第２の周波数解析部と
を含む
請求項４又は５に記載のセンサ装置。
前記位相データを周波数解析し、前記物体の微小振動データを得るための第１の周波数解析部と、
前記位相データを周波数解析し、音声データを得るための第２の周波数解析部と
を含む
請求項４又は５に記載のセンサ装置。
【請求項10】
前記微小振動検出部は、前記物体検知モードにおいて前記第１の周波数解析部として機能し、前記音声検知モードにおいて前記第２の周波数解析部として機能する
請求項９に記載のセンサ装置。
請求項９に記載のセンサ装置。
【請求項11】
前記モード制御部は、
前記音声検知部が前記物体からの音声関連信号を検知することに応じて、前記物体検知モードから前記音声検知モードに切り替え、
前記音声検知部が前記物体からの音声関連信号を検知しなくなったことに応じて、前記音声検知モードから前記物体検知モードに切り替える
請求項１から１０のいずれか一項に記載のセンサ装置。
前記音声検知部が前記物体からの音声関連信号を検知することに応じて、前記物体検知モードから前記音声検知モードに切り替え、
前記音声検知部が前記物体からの音声関連信号を検知しなくなったことに応じて、前記音声検知モードから前記物体検知モードに切り替える
請求項１から１０のいずれか一項に記載のセンサ装置。
【請求項12】
前記センサ装置は、予め定められた第１期間の間、前記物体検知モードで動作し、予め定められた第２期間の間、前記音声検知モードで動作し、
前記モード制御部は、前記第１期間よりも、前記第２期間が長くなるように動作モードを制御する
請求項１から１１のいずれか一項に記載のセンサ装置。
前記モード制御部は、前記第１期間よりも、前記第２期間が長くなるように動作モードを制御する
請求項１から１１のいずれか一項に記載のセンサ装置。
【請求項13】
前記信号処理部は、前記受信信号のパワー変換スペクトルの複数のピークを検出することにより、複数の物体を検知する
請求項１から１２のいずれか一項に記載のセンサ装置。
請求項１から１２のいずれか一項に記載のセンサ装置。
【請求項14】
前記物体は生体であり、前記生体をセンシングするために用いられる
請求項１から１３のいずれか一項に記載のセンサ装置。
請求項１から１３のいずれか一項に記載のセンサ装置。
【請求項15】
ＦＭＣＷレーダーを送受信する送受信部と、
請求項１から１４のいずれか一項に記載のセンサ装置と
を備えるシステム。
請求項１から１４のいずれか一項に記載のセンサ装置と
を備えるシステム。
【請求項16】
前記モード制御部は、前記センサ装置の動作モードに応じて、前記システムの動作周波数を切り替える
請求項１５に記載のシステム。
請求項１５に記載のシステム。
【請求項17】
ＦＭＣＷレーダーを用いる音声検知方法であって、
前記ＦＭＣＷレーダーの受信波に基づく受信信号を取得し、物体をセンシングした処理信号を出力する段階と、
前記処理信号に基づいて 、前記物体からの音声に関する音声関連信号を検知する段階と、
前記検知する段階の検知結果に基づいて、センサ装置の動作モードを、前記物体を検知するための物体検知モードと、前記物体からの音声を検知するための音声検知モードとで切り替える段階と
を備える音声検知方法。
前記ＦＭＣＷレーダーの受信波に基づく受信信号を取得し、物体をセンシングした処理信号を出力する段階と、
前記処理信号に基づいて 、前記物体からの音声に関する音声関連信号を検知する段階と、
前記検知する段階の検知結果に基づいて、センサ装置の動作モードを、前記物体を検知するための物体検知モードと、前記物体からの音声を検知するための音声検知モードとで切り替える段階と
を備える音声検知方法。
【請求項18】
前記物体をセンシングした処理信号を出力する段階は、
前記受信信号に基づいて、前記物体の位置に関する位置情報を出力する段階と、
前記位置情報に基づいて、位相データを抽出する段階と、
前記位相データに基づいて、前記物体の微小振動に関する微小振動情報を出力する段階と、を有し、
前記音声関連信号を検知する段階は、
前記位置情報、又は前記微小振動情報に基づいて、前記物体からの音声関連信号を検知する段階を有する
請求項１７に記載の音声検知方法。
前記受信信号に基づいて、前記物体の位置に関する位置情報を出力する段階と、
前記位置情報に基づいて、位相データを抽出する段階と、
前記位相データに基づいて、前記物体の微小振動に関する微小振動情報を出力する段階と、を有し、
前記音声関連信号を検知する段階は、
前記位置情報、又は前記微小振動情報に基づいて、前記物体からの音声関連信号を検知する段階を有する
請求項１７に記載の音声検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、センサ装置、システム、及び音声検知方法に関する。
【背景技術】
【0002】
従来、ドップラーレーダーを用いて話者が発話をしているか否かを判定し発話判定部から所定レベルの信号を供給されると、音声出力についてのスイッチをＯＮに設定する、マイクロホン装置が知られている（例えば、特許文献１参照）。
特許文献１ 特開２００６－０４７６０７号公報
特許文献１ 特開２００６－０４７６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0003】
マイクロホン等の外部音声入力装置を用いず、ＦＭＣＷレーダーを音声検知装置として使用するセンサ装置を提供する。
【0004】
本発明の第１の態様においては、ＦＭＣＷレーダーを用いて物体をセンシングするセンサ装置であって、前記ＦＭＣＷレーダーの受信波に基づく受信信号を取得し、前記物体をセンシングした処理信号を出力する信号処理部と、前記処理信号に基づいて、前記物体からの音声に関する音声関連信号を検知する音声検知部と、前記音声検知部の検知結果に基づいて、前記センサ装置の動作モードを、前記物体を検知するための物体検知モードと、前記物体からの音声を検知するための音声検知モードとで切り替えるモード制御部とを備える、センサ装置を提供する。
【0005】
本発明の第２の態様においては、ＦＭＣＷレーダーを送受信する送受信部と、本発明の第１の態様に係るセンサ装置とを備えるシステムを提供する。
【0006】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0007】
【図1A】システム２００の構成の概要を示す。
【図1B】送信部１２が送信するＦＭＣＷレーダーの一例を示す。
【図1C】物体３００の距離Ｒ、速度Ｖ及び角度θを説明するための図である。
【図1D】物体３００の距離Ｒ、速度Ｖ、角度θ及び角度φを説明するための図である。
【図2A】第１のモードにおける情報処理の概要を示す。
【図2B】第２のモードにおける情報処理の概要を示す。
【図2C】第３のモードにおける情報処理の概要を示す。
【図3A】入力部２０及び信号処理部３０の構成の概要を示す。
【図3B】信号処理部３０及びデータ出力部４０の構成の概要を示す。
【図4】音声検知部５０の構成の概要を示す。
【図5A】第１のモードで要求される更新レートを示す。
【図5B】第２のモードで要求される更新レートを示す。
【図5C】第３のモードで要求される更新レートを示す。
【図6A】物体検知モードにおけるセンサ装置１００の動作の一例を示す。
【図6B】音声検知モードにおけるセンサ装置１００の動作の一例を示す。
【図6C】本例のセンサ装置１００の動作の一例を示す。
【図6D】本例のセンサ装置１００の動作の一例を示す。
【発明を実施するための形態】
【0008】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0009】
図１Ａはシステム２００の構成の概要を示す。システム２００は、送受信部１０及びセンサ装置１００を備える。システム２００は、物体３００をセンシングする。送受信部１０は、送信部１２及び受信部１４を有する。センサ装置１００は、入力部２０、信号処理部３０、データ出力部４０、音声検知部５０及びモード制御部６０を有する。
【0010】
送信部１２は、物体３００に周波数変調連続波レーダー（ＦＭＣＷレーダー：Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ ｒａｄａｒ）を送信波として送信する。ＦＭＣＷレーダーは、周波数を変調した連続発振レーダーである。例えば、ＦＭＣＷレーダーは、複数のチャープを含むバースト波を有する。各チャープでは、周波数が時間的に掃引されている。本例のセンサ装置１００は、距離Ｒを位相で計算することにより、ＦＭＣＷレーダーを数ｍｍ単位の微小振動を検知する生体センシングに用いる。
【0011】
受信部１４は、物体３００で反射したＦＭＣＷレーダーの反射波を受信し、ＩＦ信号を出力する。ＩＦ信号は、反射波のＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）に比例したＩＦ（Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｒｅｑｕｅｎｃｙ）周波数にダウンコンバートした信号である。ＴＯＦは、送信された送信波が反射波として受信されるまでの時間である。ＴＯＦは、センサ装置１００と物体３００との距離Ｒが大きいほど長くなる。センサ装置１００は、ＩＦ信号をＡＤ変換し、信号処理することにより、物体３００の距離Ｒ及び速度Ｖを算出する。センサ装置１００は、複数の受信部１４を備えてよい。センサ装置１００は、複数の受信部１４を備えることにより、物体３００の位置の角度θに関する情報を取得することができる。
【0012】
入力部２０には、受信部１４が受信した物体３００の反射波をダウンコンバートしたＩＦ信号が入力される。入力部２０は、入力されたアナログのＩＦ信号をデジタルに変換する。例えば、送受信部１０と入力部２０は、ＲＦＩＣ等の集積回路である。
【0013】
信号処理部３０は、入力部２０が出力したデジタルの受信信号に基づいて、物体３００をセンシングする。例えば、信号処理部３０は、デジタルシグナルプロセッサ（ＤＳＰ）である。本明細書において、物体３００のセンシングとは、物体３００の体動データ、微小振動データ及び音声データを取得することを指す。本明細書において、体動データとは、物体３００の距離Ｒ、速度Ｖ及び角度θ等の情報を含むデータである。微小振動データとは、物体３００の微小振動情報を解析することにより得られるデータである。音声データとは、物体３００の音声情報を解析することにより得られるデータである。各々のデータの詳細は後述する。
【0014】
信号処理部３０は、入力部２０が出力したデジタルの受信信号に基づいて、物体３００の位置情報及び形態情報を取得する。ここで、位置情報は、物体３００の距離Ｒ、速度Ｖ及び角度θについての情報を含んでよく、形態情報は、物体３００の形状、姿勢及び数についての情報を含んでよい。また、信号処理部３０は、位置情報及び形態情報を合わせて体動データとして外部に出力してよい。
【0015】
信号処理部３０は、物体３００の微小振動情報又は音声情報に基づいて物体３００をセンシングする。本明細書において微小振動情報とは、物体３００の数ｍｍ単位の振動情報を示す。一例として、微小振動情報は、物体３００が生体であるとき、呼吸又は心拍等の生体情報を含む。本明細書において、音声情報とは、物体３００が音声を発声することに伴う振動情報を示す。一例として、音声情報は、物体３００の発声位置における微小振動情報を含む。
【0016】
一例において、センサ装置１００は、微小振動データとして、ＦＭＣＷレーダーの波長を最大とした解像度の振動を得る。例えば、ＦＭＣＷレーダーで用いられる事の多いミリ波帯（３０～３００ＧＨｚ程度の周波数帯）の１波長の１００倍～１０００倍の解像度である。
【0017】
データ出力部４０は、信号処理部３０が出力した処理信号を受信して、体動データ、微小振動データ及び音声データを出力する。処理信号は、信号処理部３０がセンシングした物体３００についての体動データ、微小振動データ及び音声データに含まれる情報のうち、少なくとも１つの情報を含んでよい。データ出力部４０は、入力された処理信号に含まれるデータを、後述する方法で出力してよい。
【0018】
音声検知部５０は、物体３００の音声関連信号を検知する。音声関連信号は、物体３００の発する音声情報又は音声を発声するための予備動作に関する情報を含んでよい。音声を発声するための予備動作に関する情報は、位置情報、形態情報又は微小振動情報の少なくとも１つであってよい。音声関連信号には、信号処理部３０がセンシングした物体３００についての体動データ、微小振動データ又は音声データに含まれる情報のうち、少なくとも１つの情報が含まれてよい。音声検知部５０は、音声関連信号に含まれる１つ以上の情報に基づいて、物体３００の発声を検知してよい。音声検知部５０は、検知結果に基づいて、センサ装置１００の動作モードを切り替えるための切り替え信号をモード制御部６０に出力する。
【0019】
モード制御部６０は、音声検知部５０が出力した切り替え信号を取得する。モード制御部６０は、切り替え信号に基づいて、センサ装置１００の動作モードを切り替えてよい。また、モード制御部６０は、切り替え信号に基づいて、システム２００の動作周波数を切り替えてよい。
【0020】
センサ装置１００の動作モードには、物体３００の位置情報、形態情報及び微小振動情報を取得するための物体検知モードと、音声情報を取得するための音声検知モードとが含まれてよい。物体検知モードには、物体３００の位置情報及び形態情報を取得するための第１のモードと、微小振動情報を取得するための第２のモードとが含まれてよい。音声検知モードには、音声情報を取得するための第３のモードが含まれてよい。
【0021】
センサ装置１００は、物体３００にＦＭＣＷレーダーを送信することにより、物体３００をセンシングする。センサ装置１００は、ＦＭＣＷレーダーの変調された周波数に基づく受信信号を適切に信号処理することにより、センサ装置１００と物体３００との相対速度が０の場合であっても、物体３００との距離変化無しとして、物体３００を検知できる。
【0022】
なお、信号処理部３０は、受信信号のパワー変換スペクトルの複数のピークを検出することにより、複数の物体３００をセンシングしてもよい。センサ装置１００は、ＦＭＣＷレーダーを用いることにより、複数の物体３００の距離Ｒ、速度Ｖ及び角度θをそれぞれ取得することができる。
【0023】
センサ装置１００は、ＦＭＣＷレーダーを用いるので、広い空間に存在する１つもしくは複数の物体３００の距離Ｒ、速度Ｖ及び角度θを検知するシステムにおいて、広角のビームで走査すればよく、狭ビームで走査する必要がない。また、センサ装置１００は、ＦＭＣＷレーダーによる物体３００の検知と同時に、位相変換等の簡単な信号処理の追加だけで、生体センシングも実現できる。
【0024】
センサ装置１００は、マイクロホン等の外部音声入力装置を要しないので、ノイジーな環境下での音声検知、又は複数が同時に発声した場合の個別検知を実現することができる。
【0025】
図１Ｂは、送信部１２が送信するＦＭＣＷレーダーの一例を示す。ＦＭＣＷレーダーは、１バースト中にｍ個のチャープを含む。ｍは、２以上の整数である。センサ装置１００は、チャープの周波数を変調し、送信波と受信波の差分を解析することにより、物体３００の距離Ｒ、速度Ｖ及び角度θを算出する。センサ装置１００は、物体３００の位置又は状態に応じて、チャープの周波数の変調幅及び周期を適宜調整してよい。本例のＦＭＣＷレーダーでは、ｍ個の同一波形のチャープを含むが、異なる波形のチャープを含んでもよい。
【0026】
ＦＭＣＷレーダーは、物体３００からのエコーが返ってくる時間差を利用して、ターゲットまでの距離及び相対速度を検知するレーダーである。本例のＦＭＣＷレーダーは、より広角での近距離検知に重きをおいて、ファーストチャープＦＭＣＷ方式を採用している。例えば、ＦＭＣＷレーダーは、数μ秒から数百μ秒程度の周期で周波数をリニアにアップダウンさせ、アップもしくはダウンの一方のみを検知に用いる。但し、ＦＭＣＷ方式では、アップ及びダウンの両方を検知に用いてもよい。
【0027】
ＦＭＣＷレーダーは、複数のチャンネルを配置する事で角度情報も同時に検知できる。例えば、ＦＭＣＷレーダーは、７６Ｇ帯（７６～７７ＧＨｚ）において長距離検知を実現し、７９Ｇ帯（７７～８１ＧＨｚ）において中距離検知及び短距離検知を実現する。なお、ＦＭＣＷレーダーは、数ミリ秒から数百ミリ秒程度の周期で周波数をリニアに上下させる方式であってもよい。
【0028】
これに対して、ドップラーレーダーは、ターゲットの相対速度に起因するドップラーシフトを利用してターゲットまでの距離及び相対速度を検知するレーダーである。例えば、ドップラーレーダーは、２周波ＣＷ方式に代表される。ドップラーレーダーでは、ドップラーシフトが無いとターゲットを検知できない。また、ドップラーレーダーでは、複数のターゲットを中間の距離にある１つのターゲットと認識してしまうので、複数のターゲットを検知できない。
【0029】
図１Ｃは、物体３００の距離Ｒ、速度Ｖ及び角度θを説明するための図である。同図は、送受信部１０からＦＭＣＷレーダーの送信波を送信し、物体３００からの反射波を送受信部１０で受信する場合を示している。本例では、簡略化のため、送信部１２及び受信部１４を同一の位置として考えている。
【0030】
物体３００は、送受信部１０から距離Ｒの位置において、速度Ｖで変動している。速度Ｖは、送受信部１０と物体３００との相対速度である。角度θは、送受信部１０からみた物体３００の角度である。具体的には、受信部１４が配列された方向をＸ軸方向とし、ＦＭＣＷレーダーを出射するＸ軸と垂直な方向をＹ軸とした場合、角度θは、ＸＹ平面において、Ｙ軸と物体３００の位置がなす角度である。
【0031】
図１Ｄは、物体３００の距離Ｒ、速度Ｖ、角度θ及び角度φを説明するための図である。センサ装置１００は、ＸＹ平面と垂直な新たな軸（Ｚ軸）を検知する、いわゆる３Ｄレーダーとしても同様の原理で物体３００をセンシングすることができる。その場合、センサ装置１００は、物体３００をＸＹ平面に投影した角度θに加えて、ＹＺ平面に投影した角度φを用いることにより、３次元の情報を取得する。
【0032】
図２Ａは、第１のモードにおける情報処理の流れを示した図である。第１のモードにおいて、入力部２０が出力したデジタルの受信信号は、後述するＦＦＴ変換部３２に入力される。ＦＦＴ変換部３２は、入力されたデジタルの受信信号に対して周波数解析を行う。これにより、検知した物体３００の位置情報を得ることができる。
【0033】
情報集積部３７は、物体３００の位置情報に対して、クラスタリング処理及びトラッキング処理を行う。本明細書において、クラスタリング処理とは、複数の座標に対する位置情報を統合することにより、物体３００の形状及び数を検出することを示す。トラッキング処理とは、複数の座標の位置情報の変化を追跡することにより、形状及び数の経時変化を検出することを示す。これにより、検知した物体３００の形態情報を得ることができる。情報集積部３７については後述する。
【0034】
図２Ｂは、第２のモードにおける情報処理の流れを示した図である。第２のモードにおいても、第１のモードと同様に、入力されたデジタルの受信信号に対してＦＦＴ変換部３２が周波数解析を行う。第２のモードにおいては、このようにして得られた物体３００についての位置情報を、後述する位相変換部３８へ出力する。
【0035】
位相変換部３８は、入力された物体３００についての情報のうち、微小振動を検知するための座標を特定する。続いて、特定した座標の位相を抽出することにより、物体位相データを取得する。位相変換部３８は、抽出した物体位相データを、微小振動検出部３９に出力してよい。
【0036】
微小振動検出部３９は、位相変換部３８により入力された物体位相データに対して周波数解析を行う。これにより、検知した物体３００の微小振動データを得ることができる。
【0037】
図２Ｃは、第３のモードにおける情報処理の流れを示した図である。第３のモードにおいても、第２のモードと同様に、位相変換部３８に対して物体３００の位置情報が入力される。
【0038】
位相変換部３８は、入力された位置情報のうち、物体３００の発声に伴い、発声振動が強く表れる座標を特定する。続いて、特定した座標の位相を抽出することにより、音声位相データを取得する。位相変換部３８は、抽出した音声位相データを、微小振動検出部３９に出力してよい。
【0039】
微小振動検出部３９は、位相変換部３８により入力された音声位相データに対して周波数解析を行う。これにより、検知した物体３００の音声データを得ることができる。
【0040】
図２Ａから図２Ｃに示したように、各動作モードにおいて物体３００のセンシングに必要な信号処理機能は、ＦＦＴ変換などの周波数解析を含む。本例においては、ＦＦＴ変換部３２及び微小振動検出部３９が周波数解析を行う。ＦＦＴ変換部３２及び微小振動検出部３９は異なる構成として記載したが、要求される性能に実質的な差異は無いので、単一の周波数解析部としてもよい。
【0041】
図３Ａは、センサ装置１００の構成の一例を示す。入力部２０は、ＡＤ変換部２２を備える。信号処理部３０は、選択部３１と、ＦＦＴ変換部３２と、パワー変換部３３と、判断部３４と、記憶部３５と、データ処理部３６とを備える。
【0042】
ＡＤ変換部２２は、受信部１４が出力したＩＦ信号をデジタルに変換する。ＡＤ変換部２２は、ｋ個のチャネルごとに設けられてよい。ＡＤ変換部２２は、変換したデジタルの受信信号を信号処理部３０に送信する。ＡＤ変換部２２は、チャープの波形がアップもしくはダウンしている状態で、サンプリング数ｎでＡＤ変換する。
【0043】
選択部３１は、ＡＤ変換部２２が変換したデジタルの受信信号が入力される。選択部３１は、距離ＦＦＴ、速度ＦＦＴ及び角度ＦＦＴのいずれかに応じたタイミングでデジタルの受信信号を選択する。選択部３１は、選択したデジタルの受信信号をＦＦＴ変換部３２に出力する。選択部３１は、ｋチャネルに対応してｋ個設けられている。例えば、選択部３１は、距離ＦＦＴ時に受信信号を選択し、速度ＦＦＴ及び角度ＦＦＴ時に記憶部３５に記憶されたデータを選択する。
【0044】
ＦＦＴ変換部３２は、ＡＤ変換部２２が出力したデジタルの受信信号、もしくは記憶部３５に記憶された信号をＦＦＴ変換する。ＦＦＴ変換部３２は、ｋチャネルに対応してｋ個設けられている。ＦＦＴ変換部３２は、選択部３１が選択したデータに応じて、距離ＦＦＴ、速度ＦＦＴ及び角度ＦＦＴのいずれかを実行する。
【0045】
パワー変換部３３は、ＦＦＴ変換部３２が変換した信号に基づいて、パワースペクトルを算出する。パワースペクトルを算出することにより、物体３００の距離Ｒ、速度Ｖ及び角度θを検出することができる。パワー変換部３３は、ｋチャネルに対応してｋ個設けられている。
【0046】
判断部３４は、パワースペクトルのピーク位置を判断する。これにより、判断部３４は、物体３００の存在を検知する。一例において、判断部３４は、スペクトルレベルが周辺よりも高いＢＩＮを判断する。例えば、判断部３４は、一定誤警報率（ＣＦＡＲ：Ｃｏｎｓｔａｎｔ Ｆａｌｓｅ Ａｌａｒｍ Ｒａｔｉｏ）処理を実行する。判断部３４は、ＣＦＡＲ処理を実行することにより、クラッタ等の不要な信号を分離し、より精度の高いピークＢＩＮ検出を実行することが可能となる。判断部３４は、ｋチャネルに対応してｋ個設けられている。
【0047】
記憶部３５は、ＦＦＴ変換部３２が出力したＦＦＴ変換信号を記憶する。記憶部３５は、記憶したデータを選択部３１に出力する。また、記憶部３５は、記憶したデータを外部に出力してもよい。記憶部３５は、ＢＩＮ数がｎ／２の距離データ列と、ＢＩＮ数がｍの速度データ列と、ＢＩＮ数がｋの角度データ列とをそれぞれ記憶する。ｎは１チャープ当たりのＡＤＣサンプリング数であり、ｍは１バースト当たりのチャープ数であり、ｋはチャネル数である。
【0048】
データ処理部３６は、判断部３４の出力結果に応じて、記憶部３５のアドレスを指定する。データ処理部３６の示すアドレスは、距離、速度及び角度それぞれのパワースペクトルのピークＢＩＮ位置を意味することであり、即ち、物体３００の距離、速度及び角度の検知結果として外部に出力してもよい。
【0049】
図３Ｂは、センサ装置１００の構成の一例を示す。本図は、図３Ａで示したセンサ装置１００の後段の構成を示す。信号処理部３０は、情報集積部３７と、位相変換部３８と、微小振動検出部３９とを備える。データ出力部４０は、体動データ出力部４１と、微小振動データ出力部４２と、音声データ出力部４３とを備える。
【0050】
データ処理部３６は、物体３００の位置情報を、体動データ出力部４１に出力してよい。ここで、位置情報は形態情報と合わせて、体動データとして出力されてよい。
【0051】
記憶部３５は、記憶した位置情報を情報集積部３７及び位相変換部３８に出力してよい。
【0052】
情報集積部３７は、記憶部３５から入力されたデータを処理し、物体３００の形態情報を、体動データ出力部４１に出力してよい。また、情報集積部３７は、体動情報を、位相変換部３８に出力してよい。
【0053】
位相変換部３８は、記憶部３５から入力された物体３００の位置情報と、情報集積部３７から入力された物体３００の形態情報とを用いて、物体３００の微小振動を検出するための座標を特定し、特定した座標の位相を抽出することにより、物体３００の物体位相データを取得する。位相変換部３８は、抽出した物体位相データを、微小振動検出部３９に出力してよい。
【0054】
微小振動検出部３９は、物体３００の微小振動データを取得するための第１の周波数解析部１３９を備えてよい。微小振動検出部３９は、位相変換部３８から入力された物体位相データを周波数解析することで、物体３００の微小振動データを取得する。微小振動検出部３９は、取得した物体３００の微小振動データを、微小振動データ出力部４２に出力してよい。
【0055】
音声検知部５０は、物体３００が音声を発しているか、又は音声を発する予備動作を行っていると判断した場合、モード制御部６０に対し、モードを切り替えるための切り替え信号を出力してよい。音声検知部５０が、物体３００が音声を発しているか、又は音声を発する予備動作を行っていると判断するための方法については、図４を用いて説明する。
【0056】
図４は、音声検知部５０の構成の一例を示す。音声検知部５０は、位置特定部５１及びタイミング特定部５２を備える。
【0057】
位置特定部５１は、体動データ及び微小振動データに基づいて、物体３００の位置座標のうち、音声の発声位置を特定する。位置特定部５１は、対象となる物体３００の形態情報に基づいて、物体３００が発声する際に微小振動が強く表れる位置の座標を特定してよい。例えば、物体３００が生体である場合、形態情報に基づいて、物体３００の唇又は首元の座標を特定してよい。
【0058】
また、位置特定部５１は、センシングした物体３００の物体位相データを解析し、微小振動データが最も強く得られる座標を特定してよい。位置特定部５１は、特定した座標についての情報を位相変換部３８に出力してよい。
【0059】
タイミング特定部５２は、体動データ及び微小振動データに基づいて、物体３００が音声を発するタイミングを特定する。一例として、物体３００が生体である場合について具体的に説明する。
【0060】
タイミング特定部５２は、物体３００が発声に伴い息を多めに吸う等の体動データに基づいて、発声のタイミングを特定してよい。また、タイミング特定部５２は、物体３００の呼吸回数の変化についての微小振動データに基づいて、物体３００が音声を発しているかを判断してよい。また、タイミング特定部５２は、物体３００が音声を発する予備動作を行っているかを判断してよい。
【0061】
図３Ｂに立ち返って、モード制御部６０は、音声検知部５０からの切り替え信号に基づき、センサ装置１００の動作モードを切り替える。具体的には、音声検知部５０によって、物体３００が音声を発しているか、又は音声を発する予備動作を行っていると判断された場合、モード制御部６０は、センサ装置１００の動作モードを、物体検知モードから音声検知モードへ切り替える。
【0062】
また、センサ装置１００が音声検知モードで動作している際、音声検知部５０によって、物体３００が音声を発していないと判断された場合、モード制御部６０は、センサ装置１００の動作モードを、音声検知モードから物体検知モードへ切り替える。
【0063】
センサ装置１００が音声検知モードで動作している際、位相変換部３８には、音声検知部５０から出力された、微小振動が強く表れる座標についての情報が入力される。位相変換部３８は、微小振動が強く表れるタイミングにおいて、微小振動が強く表れる座標の位相を抽出する。位相変換部３８は、抽出した音声位相データを微小振動検出部３９に出力してよい。
【0064】
微小振動検出部３９は、物体３００の発した音声データを取得するための第２の周波数解析部２３９を備えてよい。微小振動検出部３９は、位相変換部３８から入力された物体３００の音声位相データを周波数解析することで、物体３００の発した音声データを取得する。微小振動検出部３９は、取得した物体３００の発した音声データを音声データ出力部４３に出力してよい。
【0065】
ここで、微小振動検出部３９は、第１の周波数解析部１３９を用いて微小振動データを取得し、第２の周波数解析部２３９を用いて音声データを取得するものとして記載したが、本例はこれに限定されるものではない。即ち、第１の周波数解析部１３９と第２の周波数解析部２３９とで要求される性能に実質的な差異は無いので、微小振動検出部３９が単一の周波数解析部として機能する構成としてもよい。
【0066】
一例として、微小振動検出部３９が単一の周波数解析部として機能する場合、センサ装置１００が物体検知モードで動作する際には、微小振動検出部３９は、第１の周波数解析部１３９として機能してよい。同様に、センサ装置１００が音声検知モードで動作する際には、微小振動検出部３９は、第２の周波数解析部２３９として機能してよい。
【0067】
体動データ出力部４１は、信号処理部３０が処理した体動データを出力する。体動データ出力部４１は、センサ装置１００が検知した物体３００の位置情報及び形態情報を出力してよい。体動データ出力部４１は、空間内での点群を表示する形式で情報を出力してよく、数値を表示する形式で情報を出力してよく、文章を表示する形式で情報を出力してよく、音声を読み上げる形式で情報を出力してよい。体動データ出力部４１は、モニター等の映像を表示することが可能な装置であってよく、スピーカー等の音声を出力することが可能な装置であってよい。
【0068】
微小振動データ出力部４２は、信号処理部３０が処理した微小振動データを出力する。微小振動データ出力部４２は、センサ装置１００が検知した物体３００の微小振動情報を出力してよい。微小振動データ出力部４２は情報の出力は、空間内での点群を表示する形式で行われてよく、数値を表示する形式で行われてよく、文章を表示する形式で行われてよく、音声を読み上げる形式で行われてよい。微小振動データ出力部４２は、モニター等の映像を表示することが可能な装置であってよく、スピーカー等の音声を出力することが可能な装置であってよい。
【0069】
音声データ出力部４３は、信号処理部３０が処理した音声データを出力する。音声データ出力部４３は、センサ装置１００が検知した物体３００の音声情報を出力してよい。情報の出力は、空間内での点群を表示する形式で行われてよく、数値を表示する形式で行われてよく、文章を表示する形式で行われてよく、音声を読み上げる形式で行われてよい。音声データ出力部４３は、モニター等の映像を表示することが可能な装置であってよく、スピーカー等の音声を出力することが可能な装置であってよい。
【0070】
図５Ａは、物体３００の体動データを得るために必要な更新レートを示した図である。図５Ａに示したように、センサ装置１００は、物体３００の体動データを得るために、数十ミリ秒から数百ミリ秒単位で情報を更新してよい。
【0071】
図５Ｂは、物体３００の微小振動データを得るために必要な更新レートを示した図である。図５Ａとは異なり、センサ装置１００は、物体３００の微小振動データを得るために、１ミリ秒から数ミリ秒単位で情報を更新してよい。即ち、センサ装置１００は、物体３００の微小振動データを得るために、体動データを得る場合よりも、より多い頻度で情報を更新してよい。
【0072】
図５Ｃは、物体３００の音声データを得るために必要な更新レートを示した図である。図５Ａ及び図５Ｂとは異なり、センサ装置１００は、物体３００の音声データを得るために、数十マイクロ秒単位で情報を更新してよい。即ち、センサ装置１００は、物体３００の音声データを得るために、微小振動データを得る場合よりも、更に多い頻度で情報を更新してよい。
【0073】
図５Ａから図５Ｃに示したように、センサ装置１００が物体３００の何れの情報を検知する必要があるかによって、更新レートを切り替えてよい。本例では、図５Ａに示した物体３００の体動データを得るための第１のモード、図５Ｂに示した物体３００の微小振動データを得るための第２のモード、及び、図５Ｃに示した、物体３００の音声データを得るための第３のモードを適切に切り替えることにより、物体３００についての情報を得ることができる。
【0074】
図６Ａは、物体検知モードでの動作の一例を示す概略図である。センサ装置１００は、物体検知モードにおいて、第１のモードと第２のモードとを切り替えて動作している。センサ装置１００は、物体検知モードで動作することにより、物体３００の体動データ及び微小振動データを得ることができる。
【0075】
図６Ｂは、音声検知モードでの動作の一例を示す概略図である。センサ装置１００は、音声検知モードにおいて、第３のモードで動作している。センサ装置１００は、音声検知モードで動作することにより、物体３００の音声データを得ることができる。
【0076】
図６Ｃは、センサ装置１００の動作の一例を示す概略図である。本例では、音声検知部５０が音声を検知していない定常状態の間、センサ装置１００は、第１のモードと第２のモードとを切り替えて動作する物体検知モードで動作している。
【0077】
音声検知部５０が音声を検知した場合、モード制御部６０は、センサ装置１００の動作モードを、物体検知モードから音声検知モードに切り替える。本例では、音声検知部５０が音声を検知している非定常状態の間、センサ装置１００は、第３のモードで動作し続ける。
【0078】
音声検知部５０が音声を検知しなくなった場合、モード制御部６０は、センサ装置１００の動作モードを、音声検知モードから物体検知モードに切り替える。このように、音声検知をトリガーとして動作モードを切り替えることにより、消費電力を低減しつつ、最小限の信号処理能力で音声検知を含めた物体３００の検知が可能になる。
【0079】
図６Ｄは、センサ装置１００の動作の別の一例を示す概略図である。本例では、音声検知モードでの動作を主動作として行う。センサ装置１００は、予め定められた第１の期間の間、物体検知モードでの検知を行い、予め定められた第２の期間の間、音声検知モードでの検知を行う。モード制御部６０は、第２の期間の方が第１の期間よりも長くなるように動作を制御することで、音声検知を主動作としてレーダー検知を行うことができる。このような動作においても、例えば物体検知モードでの動作の際に、処理機能を低速動作に切り替える事などにより、消費電力を低減しつつ、音声検知を含めた物体３００の検知が可能になる。
【0080】
なお、音声検知部５０が音声を検知している間の動作における、物体検知モードでの動作より得られるデータについては、必ずしも有用ではないことが想定される。例えば、物体３００が音声を発している状態において、呼吸及び心拍などの生体情報は大きく変動することが予想され、正しい検知をすることができない可能性がある。また、図５Ａ及び図５Ｃに示したように、第１のモードにおいて得られる物体３００の情報については、その更新レートが低くとも問題とならない可能性がある。したがって、図６Ｄに示すような動作においても、消費電力を低減しつつ、最小限の信号処理能力で音声検知を含めた物体３００の検知が可能になる。
【0081】
本例は、物体の位置及び微小振動等の検知を実施するというＦＭＣＷレーダーの本来の機能を損なうことなく、簡単な構成を追加することのみで、音声検知を可能とするものである。これにより、乳幼児、高齢者、又は要介護者等の見守りの目的でレーダーを使用する際、同時に見守られる複数の生体の音声を検知すること等、従来では困難であった機能を提供するものである。
【0082】
また、実施例等では主として生体の音声を検知するための構成を説明したが、本発明はこれに限られるものではない。即ち、対象がスピーカー等のようなオーディオ機器等であったとしても、スピーカー等が発生する振動を検知することが可能であり、ここまでに述べたものと同様の方法によって、その位置及び音声を検知することが可能である。
【0083】
更なる応用例として、観測対象である生体がマスクを装着している場合、又は飛沫の拡散を防止するための遮蔽板などが設置されている場合等においても、生体の発声時にマスク又は遮蔽板の表面に振動が現れるようになるので、ここまでに述べたものと同様の方法により、音声検知をすることが可能である。この場合においては、例えば遮蔽板等の素材をアルミ箔等の振動しやすい素材とすることで、より効率的に音声検知をすることが可能になる。
【0084】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0085】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0086】
１０・・・送受信部、１２・・・送信部、１４・・・受信部、２０・・・入力部、２２・・・ＡＤ変換部、３０・・・信号処理部、３１・・・選択部、３２・・・ＦＦＴ変換部、３３・・・パワー変換部、３４・・・判断部、３５・・・記憶部、３６・・・データ処理部、３７・・・情報集積部、３８・・・位相変換部、３９・・・微小振動検出部、１３９・・・第１の周波数解析部、２３９・・・第２の周波数解析部、４０・・・データ出力部、４１・・・体動データ出力部、４２・・・微小振動データ出力部、４３・・・音声データ出力部、５０・・・音声検知部、５１・・・位置特定部、５２・・・タイミング特定部、６０・・・モード制御部、１００・・・センサ装置、２００・・・システム、３００・・・物体
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図6D】