(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155610
(43)【公開日】2024-10-31
(54)【発明の名称】電子機器、電子機器の制御方法、及びプログラム
(51)【国際特許分類】
G01S 13/34 20060101AFI20241024BHJP
【FI】
G01S13/34
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023070467
(22)【出願日】2023-04-21
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(72)【発明者】
【氏名】松英 裕大
(72)【発明者】
【氏名】黒田 淳
(72)【発明者】
【氏名】高松 哲哉
【テーマコード(参考)】
5J070
【Fターム(参考)】
5J070AB17
5J070AB24
5J070AC02
5J070AC06
5J070AC11
5J070AD05
5J070AD08
5J070AE09
5J070AF03
5J070AF05
5J070AF06
5J070AH12
5J070AH19
5J070AH25
5J070AH35
5J070AK07
5J070AK22
(57)【要約】
【課題】少なくとも部分的に閉じた空間において、電波の送受信によって、人間などの存在及び存在位置を良好な精度で検出し得る、電子機器、電子機器の制御方法、及びプログラムを提供する。
【解決手段】電子機器は、送信波が反射された反射波から第1の検知対象の速度に関する情報を生成し、第1の検知対象の速度に関する情報と、予め取得された、第2の検知知対象の存在位置に対応した第2の検知対象の速度に関する規定情報とに基づいて、第1の検知対象の位置に関する情報を生成する信号処理部を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
送信波が反射された反射波から第1の検知対象の速度に関する情報を生成し、
前記第1の検知対象の速度に関する情報と、予め取得された、第2の検知対象の存在位置に対応した該第2の検知対象の速度に関する規定情報とに基づいて、前記第1の検知対象の位置に関する情報を生成する信号処理部を備える、電子機器。
【請求項2】
送信波として送信される送信信号、及び前記送信波が対象に反射した反射波として受信される受信信号に基づいて、前記対象を検出する信号処理部を備える電子機器であって、
前記信号処理部は、
前記反射波の所定時刻における所定距離に対応する強度を示すスペクトログラムRを算出し、
前記対象が所定の領域に存在しない場合の前記スペクトログラムRを時間平均した基底を基底F0とし、
前記対象が前記所定の領域における所定位置Xi(iは1以上の整数)に存在している場合の前記スペクトログラムRを時間平均した基底を基底Fiとし、
前記スペクトログラムRと、前記基底F0及び前記基底Fiから生成される教師行列Fと、アクティベーション行列Gとに基づいて、距離関数を用いることによりY=R-FGの値が最小になるように、前記アクティベーション行列Gを算出する、電子機器。
【請求項3】
前記信号処理部は、前記アクティベーション行列Gの成分が所定の閾値以上の場合、前記所定の領域における所定位置Xiに対象が存在すると判定する、請求項2に記載の電子機器。
【請求項4】
前記信号処理部は、前記スペクトログラムRを、前記送信波及び前記反射波に基づいて生成される2D-FFT処理の結果に対して、速度成分を所定時刻における所定距離ごとに足し合わせることにより算出する、請求項2に記載の電子機器。
【請求項5】
前記信号処理部は、前記2D-FFT処理の結果に対して速度成分を所定時刻における所定距離ごとに足し合わせる処理を、速度が所定の大きさまでの2D-FFT処理の結果を除去した上で行う、請求項4に記載の電子機器。
【請求項6】
前記所定の領域は、移動体の車両内部であり、
前記所定の領域における所定位置Xiは、前記車両における座席の位置である、請求項2に記載の電子機器。
【請求項7】
前記信号処理部は、前記距離関数として、RとFGとの間の、ユークリッド距離、KL擬距離、及び板倉斎藤擬距離のいずれかを用いる、請求項2に記載の電子機器。
【請求項8】
前記送信波は電磁波によるチャープ信号であり、
前記信号処理部は、前記送信波及び前記反射波に基づくビート信号をフーリエ変換した値に基づいて、前記スペクトログラムRを算出する、請求項2に記載の電子機器。
【請求項9】
送信波として送信される送信信号、及び前記送信波が対象に反射した反射波として受信される受信信号に基づいて、前記対象を検出するステップと、
前記反射波の所定時刻における所定距離に対応する強度を示すスペクトログラムRを算出するステップと、
前記対象が所定の領域に存在しない場合の前記スペクトログラムRを時間平均した基底を基底F0とし、前記対象が前記所定の領域における所定位置Xi(iは1以上の整数)に存在している場合の前記スペクトログラムRを時間平均した基底を基底Fiとし、前記スペクトログラムRと、前記基底F0及び前記基底Fiから生成される教師行列Fと、アクティベーション行列Gとに基づいて、距離関数を用いることによりY=R-FGの値が最小になるように、前記アクティベーション行列Gを算出するステップと、
を含む、電子機器の制御方法。
【請求項10】
電子機器に、
送信波として送信される送信信号、及び前記送信波が対象に反射した反射波として受信される受信信号に基づいて、前記対象を検出するステップと、
前記反射波の所定時刻における所定距離に対応する強度を示すスペクトログラムRを算出するステップと、
前記対象が所定の領域に存在しない場合の前記スペクトログラムRを時間平均した基底を基底F0とし、前記対象が前記所定の領域における所定位置Xi(iは1以上の整数)に存在している場合の前記スペクトログラムRを時間平均した基底を基底Fiとし、前記スペクトログラムRと、前記基底F0及び前記基底Fiから生成される教師行列Fと、アクティベーション行列Gとに基づいて、距離関数を用いることによりY=R-FGの値が最小になるように、前記アクティベーション行列Gを算出するステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、電子機器、電子機器の制御方法、及びプログラムに関する。
【背景技術】
【0002】
例えば自動車に関連する産業などの分野において、自車両と所定の物体との間の距離などを測定する技術が重要視されている。特に、近年、ミリ波のような電波を送信し、障害物などの物体に反射した反射波を受信することで、物体との間の距離などを測定するレーダ(RADAR(Radio Detecting and Ranging))の技術が、種々研究されている。このような距離などを測定する技術の重要性は、運転者の運転をアシストする技術、及び、運転の一部又は全部を自動化する自動運転に関連する技術の発展に伴い、今後ますます高まると予想される。
【0003】
また、送信された電波などが所定の物体に反射した反射波を受信することで、当該物体の存在などを検出する技術について、種々の提案がされている。例えば特許文献1は、自動車の車室内に設けられたレーダユニットにより、車室内の搭乗者の数及び位置を検知する技術を提案している。この特許文献1は、車室内の各座席のうち運転席に最も近付けて配置された送受信機によって、車室内の搭乗者の状態を検知する技術を開示している。また、例えば特許文献2は、自動車の車外から車両にミリ波を照射することにより車内の生体を検出する技術を提案している。この特許文献2は、自動車の前方から前面ガラスを透してミリ波を車内に照射し、その反射波データを受信することにより、車内の生体の有無を判別する旨を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017-181225号公報
【特許文献2】特開2022-039539号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えばミリ波のような電波の送受信によって、例えば自動車内のような少なくとも部分的に閉じた空間において、運転者を含む搭乗者などの存在及び存在位置を良好な精度で検出できれば、多種多様な分野において役立つことが期待できる。
【0006】
本開示の目的は、少なくとも部分的に閉じた空間において、電波の送受信によって、人間などの存在及び存在位置を良好な精度で検出し得る、電子機器、電子機器の制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
一実施形態に係る電子機器は、
送信波が反射された反射波から第1の検知対象の速度に関する情報を生成し、前記第1の検知対象の速度に関する情報と、予め取得された、第2の検知対象の存在位置に対応した該第2の検知対象の速度に関する規定情報とに基づいて、前記第1の検知対象の位置に関する情報を生成する信号処理部を備える。
【0008】
一実施形態に係る電子機器は、
送信波として送信される送信信号、及び前記送信波が対象に反射した反射波として受信される受信信号に基づいて、前記対象を検出する信号処理部を備える。
前記信号処理部は、
前記反射波の所定時刻における所定距離に対応する強度を示すスペクトログラムRを算出し、
前記対象が所定の領域に存在しない場合の前記スペクトログラムRを時間平均した基底を基底F0とし、
前記対象が前記所定の領域における所定位置Xi(iは1以上の整数)に存在している場合の前記スペクトログラムRを時間平均した基底を基底Fiとし、
前記スペクトログラムRと、前記基底F0及び前記基底Fiから生成される教師行列Fと、アクティベーション行列Gとに基づいて、距離関数を用いることによりY=R-FGの値が最小になるように、前記アクティベーション行列Gを算出する。
【0009】
一実施形態に係る電子機器の制御方法は、
送信波として送信される送信信号、及び前記送信波が対象に反射した反射波として受信される受信信号に基づいて、前記対象を検出するステップと、
前記反射波の所定時刻における所定距離に対応する強度を示すスペクトログラムRを算出するステップと、
前記対象が所定の領域に存在しない場合の前記スペクトログラムRを時間平均した基底を基底F0とし、前記対象が前記所定の領域における所定位置Xi(iは1以上の整数)に存在している場合の前記スペクトログラムRを時間平均した基底を基底Fiとし、前記スペクトログラムRと、前記基底F0及び前記基底Fiから生成される教師行列Fと、アクティベーション行列Gとに基づいて、距離関数を用いることによりY=R-FGの値が最小になるように、前記アクティベーション行列Gを算出するステップと、
を含む。
【0010】
一実施形態に係るプログラムは、
電子機器に、
送信波として送信される送信信号、及び前記送信波が対象に反射した反射波として受信される受信信号に基づいて、前記対象を検出するステップと、
前記反射波の所定時刻における所定距離に対応する強度を示すスペクトログラムRを算出するステップと、
前記対象が所定の領域に存在しない場合の前記スペクトログラムRを時間平均した基底を基底F0とし、前記対象が前記所定の領域における所定位置Xi(iは1以上の整数)に存在している場合の前記スペクトログラムRを時間平均した基底を基底Fiとし、前記スペクトログラムRと、前記基底F0及び前記基底Fiから生成される教師行列Fと、アクティベーション行列Gとに基づいて、距離関数を用いることによりY=R-FGの値が最小になるように、前記アクティベーション行列Gを算出するステップと、
を実行させる。
【発明の効果】
【0011】
一実施形態によれば、少なくとも部分的に閉じた空間において、電波の送受信によって、人間などの存在及び存在位置を良好な精度で検出し得る、電子機器、電子機器の制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【
図1】一実施形態に係る電子機器の使用態様を説明する図である。
【
図2】一実施形態に係る電子機器の構成を概略的に示す機能ブロック図である。
【
図3】一実施形態に係る電子機器が処理する信号の構成を説明する図である。
【
図4】一実施形態に係る電子機器による信号の処理を説明する図である。
【
図5】一実施形態に係る電子機器による信号の処理を説明する図である。
【
図6】一実施形態に係る電子機器による信号の処理を説明する図である。
【
図7】一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例及び動作原理を概略的に示す図である。
【
図8】一実施形態に係る電子機器のアンテナアレイにおけるアンテナの配置の例を示す図である。
【
図9】一実施形態に係る電子機器が自動車内に設置された様子の例を示す図である。
【
図10】一実施形態に係る電子機器が自動車内に設置される位置、及び、当該自動車内に配置される座席の位置の例を示す図である。
【
図11】自動車の車室内においてレーダセンサによって搭乗者を検出した結果の例を示す図である。
【
図12】一実施形態に係る電子機器の動作を説明するフローチャートである。
【
図13】一実施形態に係る電子機器において生成されるスペクトログラムの例を示す図である。
【
図14】一実施形態に係る電子機器の動作を説明するフローチャートである。
【
図15】一実施形態に係る電子機器によって処理される行列の次元を説明する図である。
【
図16】一実施形態に係る電子機器によって生成されるアクティベーション行列Gの成分の例を示す図である。
【発明を実施するための形態】
【0013】
以下、一実施形態について、図面を参照して詳細に説明する。
【0014】
本開示において、「電子機器」とは、電力により動作する機器としてよい。また、「ユーザ」とは、一実施形態に係るシステム及び/又は電子機器を使用する者(典型的には人間)又は動物としてよい。ユーザは、一実施形態に係る電子機器を用いることで、人間などの対象の監視又は観察などを行う者を含んでもよい。また、「対象」とは、一実施形態に係る電子機器によって監視される対象となる者(例えば人間又は動物)としてよい。さらに、ユーザは、対象を含むものとしてもよい。
【0015】
一実施形態に係る電子機器は、当該電子機器が設置された例えば自動車内などの少なくとも部分的に閉じられた空間において、例えば運転者を含む搭乗者などの存在及び存在位置を検出することができる。したがって、一実施形態に係る電子機器が利用される場面として想定されるのは、例えば、当該電子機器が設置された例えば自動車内などのような移動体内としてよい。ここで、一実施形態に係る電子機器を設置することができる移動体は、自動車などに限定されない。例えば、一実施形態に係る電子機器が設置されるのは、自動運転自動車、バス、トラック、タクシー、船舶、航空機、ヘリコプター、宇宙船、ロケット、トラクターなどの農作業装置、除雪車、清掃車、パトカー、救急車など、種々の移動体としてよい。また、本開示に含まれる自動車などの移動体は、全長、全幅、全高、排気量、定員、又は積載量などによって限定されない。例えば、本開示の自動車には、排気量が660ccより大きい自動車、及び排気量が660cc以下の自動車、いわゆる軽自動車なども含まれる。また、本開示に含まれる自動車は、エネルギーの一部若しくは全部に電気を利用し、モータを利用する自動車も含まれる。
【0016】
さらに、一実施形態に係る電子機器が利用される場面として想定されるのは、必ずしも移動体内にも限定されない。例えば、一実施形態に係る電子機器は、部屋などの室内に設置されてもよい。例えば、一実施形態に係る電子機器は、事務所の中、会議室の中、物置の中、病室の中、トイレの中、浴室の中、サウナ室の中、映画館、劇場、球場、コンサート会場、オフィス、レストラン、カフェ、店内、工場内、などに設置されてもよい。また、一実施形態に係る電子機器が利用される場面として想定されるのは、必ずしも人間が存在する場所のみならず、人間以外の動物が存在する場所としてもよい。例えば、一実施形態に係る電子機器は、ペットなどが飼育されるケージの中、家畜などが飼育される畜舎の中、又は、動物を輸送する際に用いられるコンテナの中などに設置されてもよい。
【0017】
一実施形態に係る電子機器は、任意の移動体に設置されてもよいし、任意の静止物に設置されてもよい。一実施形態に係る電子機器は、送信アンテナから、電子機器の周囲に送信波を送信することができる。送信アンテナは、複数のアンテナから構成されてもよい。また、一実施形態に係る電子機器は、受信アンテナから、送信波が反射された反射波を受信することができる。受信アンテナは、複数のアンテナから構成されてもよい。送信アンテナ及び受信アンテナの少なくとも一方は、電子機器に備えられるものとしてもよいし、例えばレーダセンサ等に備えられてもよい。
【0018】
一実施形態に係る電子機器について、以下、図面を参照して詳細に説明する。まず、一実施形態に係る電子機器による物体の検出の例を説明する。
【0019】
図1は、一実施形態に係る電子機器の使用態様の一例を説明する図である。
図1は、一実施形態に係る送信アンテナ及び受信アンテナを備えるセンサの機能を備える電子機器の例を示している。一実施形態に係る電子機器は、例えばFMCWレーダ(Frequency Modulated Continuous Wave radar)の技術に基づく機能を含むものとしてよい。
【0020】
一実施形態に係る電子機器1は、後述する送信部及び受信部を備えてよい。後述のように、送信部は、送信アンテナアレイ24を備えてよい。また、受信部は、受信アンテナアレイ31を備えてよい。電子機器1、送信部、及び受信部の具体的な構成については後述する。
図1は、見易さのために、電子機器1が送信アンテナアレイ24及び受信アンテナアレイ31を備える状況を概略的に示してある。また、電子機器1は、電子機器1に含まれる信号処理部10(
図2参照)の少なくとも一部など、他の機能部の少なくともいずれかを、適宜含んでもよい。また、電子機器1は、電子機器1に含まれる信号処理部10(
図2参照)の少なくとも一部など、他の機能部の少なくともいずれかを、電子機器1の外部に備えてもよい。
図1において、電子機器1は、移動していてもよいが、移動せずに静止していてよい。
【0021】
図1に示す例において、電子機器1は、送信アンテナアレイ24を備える送信部及び受信アンテナアレイ31を備える受信部を、簡略化して示してある。電子機器1は、例えば複数の送信部及び/又は複数の受信部を備えてもよい。送信部は、複数の送信アンテナから構成される送信アンテナアレイ24を備えてよい。また、受信部は、複数の受信アンテナから構成される受信アンテナアレイ31を備えてよい。ここで、送信部及び/又は受信部が電子機器1に設置される位置は、
図1に示す位置に限定されるものではなく、適宜、他の位置としてもよい。また、送信部及び/又は受信部の個数は、電子機器1による心拍の検出範囲及び/又は検出精度など各種の条件(又は要求)に応じて、1つ以上の任意の数としてよい。
【0022】
電子機器1は、後述のように、送信アンテナアレイ24から送信波として電磁波を送信する。例えば電子機器1の周囲に所定の物体(例えば
図1に示す対象200)が存在する場合、電子機器1から送信された送信波の少なくとも一部は、当該物体によって反射されて反射波となる。そして、このような反射波を例えば電子機器1の受信アンテナアレイ31によって受信することにより、電子機器1は、当該対象をターゲットとして検出することができる。
【0023】
送信アンテナアレイ24を備える電子機器1は、典型的には、電波を送受信するレーダ(RADAR(Radio Detecting and Ranging))センサとしてよい。しかしながら、電子機器1は、レーダセンサに限定されない。一実施形態に係る電子機器1は、例えば光波によるLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)の技術に基づくセンサとしてもよい。これらのようなセンサは、例えばパッチアンテナなどを含んで構成することができる。RADAR及びLIDARのような技術は既に知られているため、詳細な説明は、適宜、簡略化又は省略することがある。さらに、一実施形態に係る電子機器1は、例えば音波又は超音波を送受信して物体を検出する技術に基づくセンサとしてもよい。
【0024】
図1に示す電子機器1は、送信アンテナアレイ24から送信された送信波の反射波を、受信アンテナアレイ31から受信する。このようにして、電子機器1は、電子機器1から所定の距離内に存在する所定の対象200をターゲットとして検出することができる。例えば、
図1に示すように、電子機器1は、電子機器1と所定の対象200との間の距離Lを測定することができる。また、電子機器1は、電子機器1と所定の対象200との相対速度も測定することができる。さらに、電子機器1は、所定の対象200からの反射波が、電子機器1に到来する方向、すなわち到来方向(到来角θ)も測定(推定)することができる。
【0025】
図1において、XY平面は、例えば地表にほぼ平行な平面としてよい。この場合、
図1に示すZ軸の正方向は、鉛直上向きを示すものとしてよい。
図1において、電子機器1は、XY平面と平行な平面上に配置されているものとしてよい。また、
図1において、対象200は、例えば、XY平面にほぼ平行な地表に存在する状態としてよい。
【0026】
ここで、対象200とは、例えば電子機器1の周囲に存在する人間などとしてよい。また、対象200とは、例えば電子機器1の周囲に存在する動物など、人間以外の生物としてもよい。上述のように、対象200は、移動していてもよいし、停止又は静止していてもよい。本開示において、電子機器1が検出する物体は、任意の物体のような無生物の他に、人、犬、猫、及び馬、その他の動物などの生物も含む。本開示の電子機器1が検出する物体は、レーダ技術により検知される、人、物、及び動物などを含む物標を含んでもよい。本開示において、物標は、人、物、及び動物などを含むとしてよい。以下、電子機器1の周囲に存在する対象200のような物体は、人間(又は動物)であることを想定して説明する。以下、「対象200」は、適宜、「搭乗者200」とも記す。搭乗者200は、例えば、電子機器1が設置された自動車のような移動体に登場している者としてよい。また、本開示において、物標とは、上記の対象200であるとしてもよい。
【0027】
図1において、電子機器1の大きさと、対象200の大きさとの比率は、必ずしも実際の比率を示すものではない。また、
図1において、送信部の送信アンテナアレイ24及び受信部の受信アンテナアレイ31は、電子機器1の外部に設置した状態を示してある。しかしながら、一実施形態において、送信部の送信アンテナアレイ24及び/又は受信部の受信アンテナアレイ31は、電子機器1の各種の位置に設置してよい。例えば、一実施形態において、送信部の送信アンテナアレイ24及び/又は受信部の受信アンテナアレイ31は、電子機器1の内部に設置して、電子機器1の外観に現れないようにしてもよい。
【0028】
以下、典型的な例として、電子機器1の送信アンテナは、ミリ波(30GHz以上)又は準ミリ波(例えば20GHz~30GHz付近)などのような周波数帯の電波を送信するものとして説明する。一方、電子機器1の送信アンテナは、例えば77GHz~81GHzのように、4GHzの周波数帯域幅を有する電波を送信してもよい。
【0029】
図2は、一実施形態に係る電子機器1の構成例を概略的に示す機能ブロック図である。以下、一実施形態に係る電子機器1の構成の一例について説明する。
【0030】
ミリ波方式のレーダによって距離などを測定する際、周波数変調連続波レーダ(以下、FMCWレーダ(Frequency Modulated Continuous Wave radar)と記す)が用いられることが多い。FMCWレーダは、送信する電波の周波数を掃引して送信信号が生成される。したがって、例えば79GHzの周波数帯の電波を用いるミリ波方式のFMCWレーダにおいて、使用する電波の周波数は、例えば77GHz~81GHzのように、4GHzの周波数帯域幅を持つものとなる。79GHzの周波数帯のレーダは、例えば24GHz、60GHz、76GHzの周波数帯などの他のミリ波/準ミリ波レーダよりも、使用可能な周波数帯域幅が広いという特徴がある。以下、例として、このような実施形態について説明する。
【0031】
本開示で利用されるFMCWレーダのレーダ方式は、通常より短い周期でチャープ信号を送信するFCM方式(Fast-Chirp Modulation)を含むとしてもよい。電子機器1が生成する信号は、FMCW方式の信号に限定されない。電子機器1が生成する信号は、FMCW方式以外の各種の方式の信号としてもよい。任意の記憶部に記憶される送信信号列は、これら各種の方式によって異なるものとしてよい。例えば、上述のFMCW方式のレーダ信号の場合、時間サンプルごとに周波数が増加する信号及び減少する信号を使用してよい。上述の各種の方式は、公知の技術を適宜適用することができるため、より詳細な説明は省略する。
【0032】
図2に示すように、一実施形態に係る電子機器1は、信号処理部10を備えている。信号処理部10は、信号発生処理部11、及び受信信号処理部12を備えてよい。信号発生処理部11、及び受信信号処理部12については、さらに後述する。
【0033】
また、一実施形態に係る電子機器1は、送信部として、送信DAC21、送信回路22、ミリ波送信回路23、及び、送信アンテナアレイ24を備えている。また、一実施形態に係る電子機器1は、受信部として、受信アンテナアレイ31、ミキサ32、受信回路33、及び、受信ADC34を備えている。一実施形態に係る電子機器1は、
図2に示す機能部のうち少なくともいずれかを含まなくてもよいし、
図2に示す機能部以外の機能部を含んでもよい。
図2に示す電子機器1は、ミリ波帯域等の電磁波を用いた一般的なレーダと基本的に同様に構成した回路を用いて構成してよい。一方、一実施形態に係る電子機器1において、信号処理部10による信号処理は、従来の一般的なレーダとは異なる処理を含んでよい。
【0034】
一実施形態に係る電子機器1が備える信号処理部10は、電子機器1を構成する各機能部の制御をはじめとして、電子機器1全体の動作の制御を行うことができる。特に、信号処理部10は、電子機器1が扱う信号について各種の処理を行う。信号処理部10は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)又はDSP(Digital Signal Processor)のような、少なくとも1つのプロセッサを含んでよい。信号処理部10は、まとめて1つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。一実施形態において、信号処理部10は、例えばCPU(ハードウェア)及び当該CPUで実行されるプログラム(ソフトウェア)として構成してよい。信号処理部10は、信号処理部10の動作に必要な記憶部(メモリ)を適宜含んでもよい。
【0035】
信号処理部10の信号発生処理部11は、電子機器1から送信する信号を発生する。一実施形態に係る電子機器1において、信号発生処理部11は、例えばチャープ信号のような送信信号(送信チャープ信号)を生成してよい。特に、信号発生処理部11は、周波数が周期的に線形に変化する信号(線形チャープ信号)を生成してもよい。例えば、信号発生処理部11は、周波数が時間の経過に伴って77GHzから81GHzまで周期的に線形に増大するチャープ信号としてもよい。また、例えば、信号発生処理部11は、周波数が時間の経過に伴って77GHzから81GHzまで線形の増大(アップチャープ)及び減少(ダウンチャープ)を周期的に繰り返す信号を生成してもよい。信号発生処理部11が生成する信号は、例えば信号処理部10において予め設定されていてもよい。また、信号発生処理部11が生成する信号は、例えば信号処理部10における任意の記憶部などに予め記憶されていてもよい。レーダのような技術分野で用いられるチャープ信号は既知であるため、より詳細な説明は、適宜、簡略化又は省略する。信号発生処理部11によって生成された信号は、送信DAC21に供給される。このため、信号発生処理部11は、送信DAC21に接続されてよい。
【0036】
送信DAC(デジタル・アナログ・コンバータ)21は、信号発生処理部11から供給されるデジタル信号をアナログ信号に変換する機能を有する。送信DAC21は、一般的なデジタル・アナログ・コンバータを含めて構成してよい。送信DAC21によってアナログ化された信号は、送信回路22に供給される。このため、送信DAC21は、送信回路22に接続されてよい。
【0037】
送信回路22は、送信DAC21によってアナログ化された信号を中間周波数(Intermediate Frequency:IF)の帯域に変換する機能を有する。送信回路22は、一般的なIF帯域の送信回路を含めて構成してよい。送信回路22によって処理された信号は、ミリ波送信回路23に供給される。このため、送信回路22は、ミリ波送信回路23に接続されてよい。
【0038】
ミリ波送信回路23は、送信回路22によって処理された信号を、ミリ波(RF波)として送信する機能を有する。ミリ波送信回路23は、一般的なミリ波の送信回路を含めて構成してよい。ミリ波送信回路23によって処理された信号は、送信アンテナアレイ24に供給される。このため、ミリ波送信回路23は、送信アンテナアレイ24に接続されてよい。また、ミリ波送信回路23によって処理された信号は、ミキサ32にも供給される。このため、このため、ミリ波送信回路23は、ミキサ32にも接続されてよい。
【0039】
送信アンテナアレイ24は、複数の送信アンテナをアレイ状に配列させたものである。
図2においては、送信アンテナアレイ24の構成を簡略化して示してある。送信アンテナアレイ24は、ミリ波送信回路23によって処理された信号を、電子機器1の外部に送信する。送信アンテナアレイ24は、一般的なミリ波レーダにおいて用いられる送信アンテナアレイを含めて構成してよい。
【0040】
このようにして、一実施形態に係る電子機器1は、送信アンテナ(送信アンテナアレイ24)を備え、送信アンテナアレイ24から送信波として送信信号(例えば送信チャープ信号)を送信することができる。
【0041】
例えば、
図2に示すように、電子機器1の周囲に搭乗者200のような物体(例えば人間)が存在する場合を想定する。この場合、送信アンテナアレイ24から送信された送信波の少なくとも一部は、搭乗者200のような物体によって反射される。送信アンテナアレイ24から送信された送信波のうち、搭乗者200のような物体によって反射されるものの少なくとも一部は、受信アンテナアレイ31に向けて反射され得る。
【0042】
受信アンテナアレイ31は、反射波を受信する。ここで、当該反射波は、送信アンテナアレイ24から送信された送信波のうち搭乗者200のような物体によって反射されたものの少なくとも一部としてよい。
【0043】
受信アンテナアレイ31は、複数の受信アンテナをアレイ状に配列させたものである。
図2においては、受信アンテナアレイ31の構成を簡略化して示してある。受信アンテナアレイ31は、送信アンテナアレイ24から送信された送信波が反射された反射波を受信する。受信アンテナアレイ31は、一般的なミリ波レーダにおいて用いられる受信アンテナアレイを含めて構成してよい。受信アンテナアレイ31は、反射波として受信された受信信号を、ミキサ32に供給する。このため、受信アンテナアレイ31は、ミキサ32に接続されてよい。
【0044】
ミキサ32は、ミリ波送信回路23によって処理された信号(送信信号)と、受信アンテナアレイ31によって受信された受信信号とを、中間周波数(IF)の帯域に変換する。ミキサ32は、一般的なミリ波レーダにおいて用いられるミキサを含めて構成してよい。ミキサ32は、合成された結果として生成される信号を、受信回路33に供給する。このため、ミキサ32は、受信回路33に接続されてよい。
【0045】
受信回路33は、ミキサ32によってIF帯域に変換された信号をアナログ処理する機能を有する。受信回路33は、一般的なIF帯域に変換する受信回路を含めて構成してよい。受信回路33によって処理された信号は、受信ADC34に供給される。このため、受信回路33は、受信ADC34に接続されてよい。
【0046】
受信ADC(アナログ・デジタル・コンバータ)34は、受信回路33から供給されるアナログ信号をデジタル信号に変換する機能を有する。受信ADC34は、一般的なアナログ・デジタル・コンバータを含めて構成してよい。受信ADC34によってデジタル化された信号は、信号処理部10の受信信号処理部12に供給される。このため、受信ADC34は、信号処理部10に接続されてよい。
【0047】
信号処理部10の受信信号処理部12は、受信ADC34から供給されるデジタル信号に各種の処理を施す機能を有する。例えば、受信信号処理部12は、受信ADC34から供給されるデジタル信号に基づいて、電子機器1から搭乗者200のような物体までの距離を算出する(測距)。また、受信信号処理部12は、受信ADC34から供給されるデジタル信号に基づいて、搭乗者200のような物体の電子機器1に対する相対速度を算出する(測速)。さらに、受信信号処理部12は、受信ADC34から供給されるデジタル信号に基づいて、搭乗者200のような物体の電子機器1から見た方位角を算出する(測角又は到来角度推定)。具体的には、受信信号処理部12には、I/Q変換されたデータが入力されてよい。このようなデータが入力されることにより、受信信号処理部12は、距離(Range)方向及び速度(Velocity)方向の高速フーリエ変換(Two Dimensional Fast Fourier Transform:2D-FFT)処理をそれぞれ行う。その後、受信信号処理部12は、例えばCFAR(Constant False Alarm Rate)などの処理を実行して雑音点の除去による誤警報の抑制と一定確率化を行う。そして、受信信号処理部12は、CFARの基準を満たす点に対して到来角度推定を行うことにより、搭乗者200のような物体の位置を得ることとなる。一実施形態において、受信信号処理部12は、到来角度推定を行うにあたり、必ずしもCFAR処理を行わなくてもよい。受信信号処理部12によって測距、測速、及び測角(到来角度推定)された結果として生成される情報は、通信インタフェース50に供給されてよい。また、受信信号処理部12によって処理された結果として出力される各種情報も、通信インタフェース50に供給されてよい。このため、信号処理部10は、通信インタフェース50に接続されてよい。信号処理部10によって算出及び/又は演算処理などされた各種の情報は、通信インタフェース50以外の他の機能部に供給されてもよい。
【0048】
通信インタフェース50は、信号処理部10から供給される情報を例えば外部機器60などに出力するインタフェースを含んで構成される。通信インタフェース50は、搭乗者200のような物体の位置、速度、及び角度の少なくともいずれかなどの情報を、例えばCAN(Controller Area Network)などの信号として、外部機器60などに出力してよい。例えば、搭乗者200のような物体の位置、速度、角度の少なくともいずれかの情報は、通信インタフェース50を経て、外部機器60などに供給されてよい。このため、通信インタフェース50は、外部機器60などに接続されてよい。一実施形態において、信号処理部10によって算出及び/又は演算処理などされた各種の情報は、通信インタフェース50を経て、例えば外部機器60などに供給されてよい。
【0049】
図2に示すように、一実施形態に係る電子機器1は、通信インタフェース50を介して、外部機器60に有線又は無線によって接続されてよい。一実施形態において、外部機器60は、任意のコンピュータ及び/又は任意の制御機器などを含んで構成されてよい。また、一実施形態に係る電子機器1は、外部機器60を含んで構成されてもよい。外部機器60は、任意の画像及び/又は映像を表示する例えばディスプレイなどのような表示部を備えてもよい。また、外部機器60は、任意の音及び/又は音声を出力する例えばスピーカなどのような音声出力部を備えてもよい。また、外部機器60は、電子機器1のユーザに振動又はクリック間のような所定の触感を呈示する触感呈示部を備えてもよい。このように構成されることで、外部機器60は、信号処理部10による処理結果を、電子機器1のユーザなどに、例えば視覚情報、聴覚情報、及び/又は触覚情報として伝達することができる。
【0050】
図3は、信号処理部10の信号発生処理部11が生成するチャープ信号の例を説明する図である。
【0051】
図3は、FCM(Fast-Chirp Modulation(高速チャープ変調))方式を用いた場合における1フレームの時間的構造を示す。
図3は、FCM方式の受信信号の一例を示している。FCMは、
図3においてc1,c2,c3,c4,…,cnのように示すチャープ信号を、短い間隔(例えば最大測距距離から算出される電磁波のレーダと物標との間の往復時間以上)で繰り返す方式である。FCMにおいては、受信信号の信号処理の都合上、
図3に示すようなサブフレーム単位に区分けして、送受信の処理を行うことが多い。
【0052】
図3において、横軸は経過する時間を表し、縦軸は周波数を表す。
図3に示す例において、信号発生処理部11は、周波数が周期的に線形に変化する線形チャープ信号を生成する。
図3においては、各チャープ信号を、c1,c2,c3,c4,…,cnのように示してある。
図3に示すように、それぞれのチャープ信号において、時間の経過に伴って周波数が線形に増大する。
【0053】
図3に示す例において、c1,c2,c3,c4,…,cnのようにいくつかのチャープ信号を含めて、1つのサブフレームとしている。すなわち、
図3に示すサブフレーム1及びサブフレーム2などは、それぞれc1,c2,c3,c4,…,cnのようにいくつかのチャープ信号を含んで構成されている。また、
図3に示す例において、サブフレーム1,サブフレーム2,…,サブフレームNのようにいくつかのサブフレームを含めて、1つのフレーム(1フレーム)としている。すなわち、
図3に示す1フレームは、N個のサブフレームを含んで構成されている。また、
図3に示す1フレームをフレーム1として、その後に、フレーム2,フレーム3,…などが続いてよい。これらのフレームは、それぞれフレーム1と同様に、N個のサブフレームを含んで構成されてよい。また、フレーム同士の間には、所定の長さのフレームインターバルを含めてもよい。
図3に示す1つのフレームは、例えば30ミリ秒から50ミリ秒程度の長さとしてよい。
【0054】
一実施形態に係る電子機器1において、信号発生処理部11は、任意の数のフレームとして送信信号を生成してよい。また、
図3においては、一部のチャープ信号は省略して示している。このように、信号発生処理部11が生成する送信信号の時間と周波数との関係は、例えば信号処理部10の記憶部などに記憶しておいてよい。
【0055】
このように、一実施形態に係る電子機器1は、複数のチャープ信号を含むサブフレームから構成される送信信号を送信してよい。また、一実施形態に係る電子機器1は、サブフレームを所定数含むフレームから構成される送信信号を送信してよい。
【0056】
以下、電子機器1は、
図3に示すようなフレーム構造の送信信号を送信するものとして説明する。しかしながら、
図3に示すようなフレーム構造は一例であり、例えば1つのサブフレームに含まれるチャープ信号は任意としてよい。すなわち、一実施形態において、信号発生処理部11は、任意の数(例えば任意の複数)のチャープ信号を含むサブフレームを生成してよい。また、
図3に示すようなサブフレーム構造も一例であり、例えば1つのフレームに含まれるサブフレームは任意としてよい。すなわち、一実施形態において、信号発生処理部11は、任意の数(例えば任意の複数)のサブフレームを含むフレームを生成してよい。信号発生処理部11は、異なる周波数の信号を生成してよい。信号発生処理部11は、周波数fがそれぞれ異なる帯域幅の複数の離散的な信号を生成してもよい。
【0057】
図4は、
図3に示したサブフレームの一部を、他の態様で示した図である。
図4は、信号処理部10の受信信号処理部12(
図2)において行う処理である2D-FFTを行った結果として、
図3に示した送信信号を受信した受信信号の各サンプルを示したものである。
【0058】
図4に示すように、サブフレーム1,…,サブフレームNのような各サブフレームにおいて、各チャープ信号c1,c2,c3,c4,…,cnが格納されている。
図4において、各チャープ信号c1,c2,c3,c4,…,cnは、それぞれ横方向に配列された升目によって示す各サンプルから構成されている。
図4に示す受信信号は、
図2に示した受信信号処理部12によって、2D-FFT、CFAR、及び/又は、各サブフレームの統合信号処理などが施される。
【0059】
図5は、
図2に示した受信信号処理部12において、2D-FFT、CFAR、及び各サブフレームの統合信号処理が施された結果、レンジ-ドップラー(距離-速度)平面上の点群が算出された例を示す図である。
【0060】
図5において、横方向はレンジ(距離)を表し、縦方向は速度を表している。
図5に示す、塗りつぶされた升目s1は、CFARの閾値処理を超えた信号を示す点群を示す。
図5に示す、塗りつぶされていない升s2は、CFARの閾値を超えなかった、点群のないbin(2D-FFTサンプル)を示す。
図5において算出されたレンジ-ドップラー平面上の点群は、方向推定によりレーダからの方位を算出されて、搭乗者200のような物体を示す点群として、2次元平面上の位置及び速度が算出される。ここで、方向推定は、ビームフォーマ及び/又は部分空間法により算出されてよい。代表的な部分空間法のアルゴリズムには、MUSIC(MUltiple SIgnal Classification)、及び、ESPRIT(Estimation of Signal Parameters via Rotation Invariance Technique)などがある。
【0061】
図6は、受信信号処理部12が、方向推定を行った後に、
図5に示したレンジ-ドップラー平面から、XY平面への点群座標の変換を行った結果の例を示す図である。
図6に示すように、受信信号処理部12は、XY平面上に点群PGをプロットすることができる。ここで、点群PGは、各点P(座標(x,y))から構成されている。また、それぞれの点Pは、角度θ、及び、極座標における半径方向の速度Vrを有している。
【0062】
受信信号処理部12は、2D-FFT及び角度推定の結果の少なくともいずれかに基づいて、送信波Tが送信された範囲に存在する物体を検出する。受信信号処理部12は、それぞれ推定された距離の情報、速度の情報、及び角度情報に基づいて例えばクラスタリング処理を行うことにより、物体検出を行ってもよい。データをクラスタリングする際に用いるアルゴリズムとして、例えばDBSCAN(Density-based spatial clustering of applications with noise)などが知られている。これは、密度に準拠したクラスタリングを行うアルゴリズムである。クラスタリング処理においては、例えば検出される物体を構成するポイントの平均電力を算出してもよい。受信信号処理部12において検出された物体の距離の情報、速度の情報、角度情報、及び電力の情報は、例えば、通信インタフェース50を介して、外部機器60などに供給されてもよい。
【0063】
以上のように、電子機器1は、送信アンテナ(送信アンテナアレイ24)と、受信アンテナ(受信アンテナアレイ31)と、信号処理部10とを備えてよい。送信アンテナアレイ24は、送信波Tを送信する。受信アンテナアレイ31は、送信波Tが反射された反射波Rを受信する。そして、信号処理部10は、送信波Tとして送信される送信信号、及び、反射波Rとして受信される受信信号に基づいて、送信波Tを反射する物体(例えば搭乗者200のような物体など)を検出する。このように、電子機器1は、送信波として送信される送信信号、及び送信波が対象に反射した反射波として受信される受信信号に基づいて、対象(例えば搭乗者)を検出する信号処理部10を備える。
【0064】
次に、一実施形態に係る電子機器1のアンテナアレイによる到来波の方向推定(到来角度推定)について、さらに説明する。
【0065】
図7は、一実施形態に係る電子機器1の受信アンテナアレイ31の構成、及び受信アンテナアレイ31による到来波の方向推定の原理を説明する図である。
図7は、受信アンテナアレイ31による電波の受信の例を示している。
【0066】
図7に示すように、受信アンテナアレイ31は、受信アンテナのようなセンサを一直線状に並べたものとしてよい。
図7に示すように、一実施形態において、受信アンテナアレイ31は、一直線に並べて配列される複数の受信アンテナを含んで構成されてよい。
図7において、受信アンテナアレイ31は、アンテナx
1、x
2、x
3、…、x
Mのような複数のアンテナを小円により示してある。
図7は、受信アンテナアレイ31を構成する複数のアンテナの配置を概念的に示したものである。受信アンテナアレイ31を構成する複数のアンテナの実際の形状は、例えばパッチアンテナなどのように、小円とは異なる形状としてよい。受信アンテナアレイ31は、任意の複数のアンテナにより構成されてよい。また、
図7に示すように、受信アンテナアレイ31を構成する複数のアンテナは、それぞれアレイピッチdの間隔だけ離して並べたものとする。このように、各種物理的波動に対応するセンサ(アンテナ、超音波振動子、及びマイクロフォンなど)をアレイ状に配置したセンサアレイは、Uniform Linear Array(ULA)とも呼ばれる。
図7に示すように、物理的波動(電磁波及び音波など)は、例えばθ
1及びθ
2のような様々な方向から到来する。ここで、θ
1及びθ
2は、上述した(推定された)到来角としてよい。このように、受信アンテナアレイ31のようなセンサアレイは、物理的波動の到来方向に応じてセンサ間の測定値に生じる位相差を利用して、到来方向(到来角)を推定することができる。このように、波動の到来方向を推定する手法を、到来角推定、到来角度推定、又は到来方向推定(Direction of Arrival:DoA)とも記す。
【0067】
一実施形態に係る電子機器1において、送信アンテナアレイ24及び受信アンテナアレイ31の少なくとも一方は、複数のアンテナを直線状に配置したものとしてよい。これにより、例えばミリ波レーダにおいて電波の送受信の際の指向性を適切に狭めることができる。送信波を送信する際には、ビームフォーマにより、送信ビームの方向が制御されることが多い。一方、反射波を受信する際には、ビームフォーマよりも部分空間法(上述したMUSIC及びESPRITなど)により、反射波の到来方向が推定されることが多い。ビームフォーマ及び部分空間法では、
図7に示すようなULAにおいて、様々な方向から到来する電磁波に対して、その到来方向に応じてセンサ間の測定値に位相差が生じる。したがって、その位相差を利用して、反射波の到来方向が推定することができる。
【0068】
次に、一実施形態に係る電子機器1のアンテナアレイによる到来波の2方向の角度推定について、さらに説明する。
【0069】
図8は、直交する2つの角度の到来方向を推定するためのアンテナの配置例を示す図である。
【0070】
図8に示すように、一実施形態に係る電子機器1において、送信アンテナアレイ24及び/又は受信アンテナアレイ31は、複数のパッチアンテナユニットのアレイを含んで構成してよい。
【0071】
図8に示す送信アンテナアレイ24において、1つのパッチアンテナユニットは、図に示す方向1の方向に電気的に接続された複数の素子を含んで構成されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子は、例えば基板上のストリップライン等の配線によって電気的に接続されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子のそれぞれは、送信波の波長λの半分よりも短い間隔d
1,tだけ離間して配置されてよい。
図8において、それぞれのパッチアンテナユニットは、2つ以上の任意の数の素子を電気的に接続したものとしてよい。
【0072】
また、
図8に示すように、送信アンテナアレイ24は、複数のパッチアンテナユニットを、図に示す方向2の方向にアレイした配置としてよい。それぞれのパッチアンテナユニットは、送信波の波長λの半分よりも短い間隔d
2,tだけ離間して配置されてよい。一実施形態において、送信アンテナアレイ24は、2つ以上の任意の数のパッチアンテナユニット含んでよい。
【0073】
図8に示すように、一実施形態において、受信アンテナアレイ31は、送信アンテナアレイ24における複数の素子の配置を変更したものとしてよい。すなわち、
図8に示す受信アンテナアレイ31において、1つのパッチアンテナユニットは、図に示す方向2の方向に電気的に接続された複数の素子を含んで構成されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子は、例えば基板上のストリップライン等の配線によって電気的に接続されてよい。それぞれのパッチアンテナユニットにおいて、複数の素子のそれぞれは、送信波の波長λの半分よりも短い間隔d
2,sだけ離間して配置されてよい。
図8において、それぞれのパッチアンテナユニットは、2つ以上の任意の数の素子を電気的に接続したものとしてよい。
【0074】
また、
図8に示すように、受信アンテナアレイ31は、複数のパッチアンテナユニットを、図に示す方向1の方向にアレイした配置としてよい。それぞれのパッチアンテナユニットは、送信波の波長λの半分よりも短い間隔d
1,sだけ離間して配置されてよい。一実施形態において、受信アンテナアレイ31は、2つ以上の任意の数のパッチアンテナユニット含んでよい。
【0075】
送信アンテナアレイ24及び受信アンテナアレイ31に含まれる素子は全て同一平面上(例えば同一基板の表層上)に配置されてよい。また、送信アンテナアレイ24と受信アンテナアレイ31とは近接して配置されてよい(モノスタティック)。さらに、
図8に示す方向1と方向2とは、幾何学的に直交してよい。
【0076】
図8に示すような送信アンテナアレイ24及び受信アンテナアレイ31によって、送信アンテナ及び受信アンテナのそれぞれの指向性を適切に狭めることができる。また、
図8に示すような送信アンテナアレイ24を用いて、送信波(送信信号)を送信するタイミングごとに、それぞれの送信波を送信する方向を制御することにより、
図8に示す方向2の方向についてのビームフォーマを実現することができる。さらに、
図8に示すような受信アンテナアレイ31を用いることにより、
図8に示す方向1の方向について、反射波の到来方向の推定を実現することができる。このようにして、実質的に直交する2つの角度について反射波の到来方向の推定が可能となる。したがって、搭乗者200のような物体を示す点群を3次元的に取得することが可能になる。
【0077】
次に、一実施形態に係る電子機器1が、自動車内の空間において、運転者を含む搭乗者の存在及び存在位置を検出する手法について説明する。
【0078】
図9は、一実施形態に係る電子機器1が自動車内に設置された様子の例を示す図である。また、
図10は、一実施形態に係る電子機器1が自動車内に設置される位置、及び、当該自動車内に配置される座席の位置の例を示す図である。一実施形態に係る電子機器1は、一例として、
図9及び
図10に示すような位置に設置されてよい。
図9及び
図10は、日本国において主流である右ハンドル車、すなわち、進行方向の右側にステアリングホイールが装着された自動車を想定している。例えば、
図10に示す位置P1には、運転席が配置されてよい。また、
図10に示す位置P2には、助手席が配置されてよい。また、
図10に示す位置P3には、運転席側の後席が配置されてよい。また、
図10に示す位置P4には、助手席側の後席が配置されてよい。一方、一実施形態に係る電子機器1は、左ハンドル車の車内に設置されてもよい。また、一実施形態に係る電子機器1が設置される自動車は、
図9又は
図10に示すようなものに限定されず、各種の自動車などとしてよい。例えば、一実施形態に係る電子機器1が設置される自動車は、後席として3つの座席を有するものとしてもよい。また、一実施形態に係る電子機器1が設置される自動車は、3列以上の座席を有するものとしてもよい。
【0079】
図9及び
図10に示すように、電子機器1は、例えば運転席に着座する運転者の近くに設置されてよい。また、
図9に示すように、電子機器1は、例えば自動車用サンバイザー又はその近傍に取り付けられてもよいし、例えば自動車の天井(車室内の上部)に取り付けられてもよい。先に言及した特許文献1は、送受信機を、車室内の各座席のうち運転席に最も近付けて配置することを教示している。しかしながら、一実施形態に係る電子機器1は、車室内の各座席のうち運転席に最も近付けて配置しなくてもよい。
【0080】
一方、一実施形態に係る電子機器1は、各座席に着座する人間までの距離がそれぞれ異なるようになる位置に設置されてよい。すなわち、
図10に示す例において、電子機器1は、当該電子機器1から位置P1乃至位置P4に着座する人間までの距離が、それぞれ異なるように、配置されてよい。例えば、電子機器1から位置P1の座席に着座する人間までの距離を、α1とする。電子機器1から位置P2の座席に着座する人間までの距離を、α2とする。電子機器1から位置P3の座席に着座する人間までの距離を、α3とする。電子機器1から位置P4の座席に着座する人間までの距離を、α4とする。この場合、電子機器1は、α1、α2、α3、及びα4がそれぞれ互いに異なる距離(長さ)になるように配置されてよい。電子機器1は、位置P1乃至位置P4のそれぞれの座席において、アンテナの利得が十分であるように配置されてよい。
【0081】
また、一実施形態に係る電子機器1は、当該電子機器1から各座席に対する角度ができるだけ異なるように配置されてもよい。すなわち、一実施形態に係る電子機器1は、当該電子機器1から各座席に対するそれぞれの角度の差ができるだけ大きくなるように配置されてよい。このような電子機器1の配置によれば、各座席に着座する人間の体表面が電子機器1から比較的大きく見えるようになる。このため、S/Nの観点から、各座席に着座する人間が電子機器1によって検出され易くなる。
【0082】
一実施形態に係る電子機器1は、予め自動車内に設置されてよい。すなわち、一実施形態に係る電子機器1は、予め自動車内に設置された状態で出荷されてよい。また、一実施形態に係る電子機器1は、後から自動車内に設置されてもよい。すなわち、一実施形態に係る電子機器1は、自動車内に後付けされるように出荷されてもよい。
【0083】
上述のように、一実施形態に係る電子機器1は、FMCW方式のミリ波レーダセンサのような電波センサを含んで構成されてよい。一実施形態に係る電子機器1は、例えば自動車などの車室内に設置されることにより、FMCW方式のミリ波レーダセンサのような電波センサによって、車室内に着座している搭乗者を検出する。人体の表面は、常に、体動、呼吸、及び/又は心拍などによって、微小振動している。このため、一実施形態に係る電子機器1は、人体の振動による動きをミリ波レーダセンサのような電波センサによって検出することで、人体を静止物体と区別することができる。
【0084】
一方、例えば自動車などの車室内のような、少なくとも部分的に閉じられた空間でミリ波センサのような電波センサを用いて検出を行うと、いわゆるマルチパスの問題が生じる。マルチパスは多重反射による現象であり、例えば自動車の車室内のように閉鎖された空間において特に起こりやすいことが知られている。送信アンテナから送信された電波は、ターゲットとなる物体との間を直接的に行き来するだけでなく、一部は周囲の物体に1回以上反射した後に、受信アンテナによって受信される。余分な経路を辿った電波のマルチパス成分の信号に基づいて物体検出を行うと、実際に物体が存在する位置よりも遠距離に存在するかのように検出される。このようにして受信される受信信号に基づいて信号処理を行うと、誤検知の原因となったり、正しい検知を阻害する原因となったりすることがある。例えば、車室内に着座する複数の搭乗者をレーダセンサによって検知しようとすると、レーダセンサに近い座席に着座する搭乗者によってマルチパスが発生し得る。このため、レーダセンサから離れた座席に着座する搭乗者を検出する精度が低下し得る。例えば、一定誤検知警報確率(CFAR)処理によって2次元フーリエ変換結果の強度が大きい点群を導出する処理を行うと、レーダセンサに近い座席に着座する搭乗者に起因して、後方の座席に着座する搭乗者を誤検知してしまうことがある。
【0085】
図11は、自動車の車室内においてレーダセンサによって搭乗者を検出した結果の例を示す図である。
図11は、例えば
図9及び
図10に示すような状況(自動車内)において、電子機器1によって送信された電波を受信した結果得られる信号強度を示すものとしてよい。
図11は、例として自動車の車室内に搭乗者が1名のみ存在する状況において検出された受信信号に2次元フーリエ変換(2D-FFT)処理を実行した結果の例を示している。
図11は、電子機器1が受信した信号について2度のフーリエ変換処理を実行した結果を示している。1度目のフーリエ変換によって、受信信号から距離成分を導出することができる。2度目のフーリエ変換によって、速度成分を導出することができる。
図11に示すグラフにおいて、横軸は速度(velocity)を示し、縦軸は距離(range)を示す。
図11に示すグラフにおいて、色が白に近いほど信号強度が強い領域であることを示し、色が黒に近いほど信号強度が弱い領域であることを示している。
図11に示すグラフにおいて、ほとんどの部分を占める黒色に近い領域は、電子機器1によって検出される信号におけるノイズの強度に対応している。
図11において「直接波の検出」と記した領域(小さな距離に対応する領域)は、電子機器1と搭乗者との間を直接行き来した電波が検出された領域を示している。また、
図11に示すように、「直接波の検出」と記した領域は、速度を有する成分として検出されている。この領域は、搭乗者の呼吸に伴って体表面が変化することに起因するものである。このように搭乗者は速度を持った成分として検出されているが、これは呼吸に伴う体表面の変化によるものである。また、
図11に示すように、「直接波の検出」と記した領域よりも少し距離が離れた領域(「マルチパスによる影響」と記した領域)においても、若干の強度を有する信号が検出されている。この領域は、電子機器1と搭乗者との間を直接行き来していない電波が検出された領域、すなわちマルチパスによる影響に起因する領域を示している。また、
図11に示すグラフの左端にある速度ゼロ又は速度ゼロ近傍の領域に検出される信号の成分は、主として車室内に存在する静止物からの反射によるものである。
図11に示すように、自動車の車室内でミリ波センサを用いて検出を行うと、マルチパスの問題が生じる。このため、自動車の車室内でミリ波センサを用いて検出された信号をそのまま用いると、誤検知の原因となったり、正しい検知を阻害する原因となったりすることがある。しかしながら、一実施形態に係る電子機器1によれば、上述のようなマルチパスの影響が発生する環境下においても、比較的高い精度で搭乗者の着座する座席を判別することができる。
【0086】
また、FMCW方式のレーダセンサの距離分解能は、占有帯域幅に依存する。典型的には、ミリ波センサの検出による距離分解能は、数センチ以上になる。したがって、ミリ波センサによる検出の分解能は、自動車内のような比較的狭い車室内の空間において座席に着座した人体を区別するのに十分とは言い難い。座席に着座する搭乗者とレーダセンサとの距離は、搭乗者の座り方及び/又は搭乗者の体型などにも依存し得る。このため、各搭乗者がそれぞれの座席に着座する状況によっては、ミリ波センサによる検出の分解能は不十分なものになり得る。先に言及した非特許文献1は、ミリ波レーダによる検出信号の処理に機械学習を用いて自動車内の搭乗者を検知する技術を教示している。非特許文献1が採用するレーダ方式は角度分解能が比較的低いため、車室内において搭乗者が着座する列の認識にとどまり、車室の列内において搭乗者が着座する座席までは判別していない。しかしながら、一実施形態に係る電子機器1によれば、距離分解能が十分でないセンサを用いても、比較的高い精度で搭乗者の着座する座席を判別することができる。
【0087】
一実施形態に係る電子機器1は、自動車内における各座席に搭乗者が着座する全てのパターンについてミリ波レーダのセンサによる検出の結果を記録し、それを教師データとして用いることで、着座する搭乗者を判別する。このような手法により、一実施形態に係る電子機器1は、マルチパスが発生する環境下であっても、距離分解能が不十分なセンサを用いる場合であっても、車室内に着座する搭乗者の配置を正しく判別することができる。したがって、一実施形態に係る電子機器1によれば、当該電子機器1から各座席までの距離を予め把握することで、車室内に着座する搭乗者が存在する座席を判別することができる。
【0088】
一実施形態に係る電子機器1によれば、例えば
図10に示すような自動車の車室内における位置P1乃至位置P4に配置された座席に着座する搭乗者を検出することができる。一実施形態に係る電子機器1によれば、例えば
図10に示すような自動車の車室内における位置P1乃至位置P4に配置された座席の少なくともいずれかに、搭乗者が着座しているか否かを判定することができる。また、一実施形態に係る電子機器1によれば、例えば
図10に示すような自動車の車室内における位置P1乃至位置P4に配置された各座席のそれぞれに、搭乗者が着座しているか否かを判定することもできる。したがって、一実施形態に係る電子機器1によれば、例えば自動車の車室内のような少なくとも部分的に閉じた空間において、電波の送受信によって、人間などの存在及び存在位置を良好な精度で検出することができる。
【0089】
一実施形態に係る電子機器1の動作は、例えば、次の2つのフェーズを含むものとしてよい。
(1)教師データを取得(生成)する動作
(2)教師データを用いて搭乗者の存在及び/又は存在位置を判別する動作
上記(1)は、一実施形態に係る電子機器1によって実際に搭乗者の着座を判別する前に、予め教師データを取得(生成)する動作である。上記(2)は、上記(1)において生成した教師データを用いて、一実施形態に係る電子機器1によって実際に搭乗者の着座を判別する動作である。
【0090】
図12は、一実施形態に係る電子機器1の動作を説明するフローチャートである。
図12は、上述した(1)教師データを取得(生成)する動作を示すものとしてよい。すなわち、
図12に示す動作は、一実施形態に係る電子機器1によって実際に搭乗者の着座を判別する前に、予め教師データを取得(生成)する動作としてよい。
【0091】
図12に示す動作が開始する時点で、電子機器1は、例えば
図10に示したような自動車の車室内に設置されているものとする。また、
図12に示す動作が開始する時点で、電子機器1が設置された例えば
図10に示したような自動車の車室内において、いずれかの座席に1人の搭乗者のみが着座しているものとしてよい。例えば、
図10に示したような自動車の車室内において、位置P1乃至位置P4のいずれかの座席に、1人の搭乗者のみが着座していてよい。以下の説明において、公知のミリ波レーダが電波を送信及び受信する際の一般的な動作及び処理については、適宜、説明を簡略化又は省略することがある。
【0092】
図12に示す動作が開始すると、一実施形態に係る電子機器1の信号処理部10は、電子機器1の送信アンテナ25から送信波を送信するように制御する(ステップS11)。ステップS11において送信される送信信号は、例えば
図3に示したようなチャープ信号としてよい。
【0093】
ステップS11において送信波が送信されると、信号処理部10は、当該送信波が物体に反射した反射波を、電子機器1の受信アンテナアレイ31から受信するように制御する(ステップS12)。ステップS12において受信される受信信号は、送信波が例えば自動車の車室内に着座している搭乗者によって反射された反射波に基づくものとしてよい。また、ステップS12において受信される受信信号は、送信波が例えば自動車の車室内における静止物など他の任意の物体によって反射された反射波に基づくものとしてよい。
【0094】
ステップS12において反射波が受信されると、信号処理部10は、受信ADC34によってアナログからデジタルに変換された受信信号(ADCデータ)を取得する(ステップS13)。
【0095】
ステップS13においてADCデータを取得すると、信号処理部10は、取得したADCデータ(送信波及び反射波に基づくビート信号)に、距離FFT処理及び速度FFT処理(2D-FFT処理)を行う(ステップS14)。ステップS14において、信号処理部10は、取得したADCデータに2度のフーリエ変換処理を実行してよい。1度目のフーリエ変換によって、受信信号から距離成分が導出される。また、2度目のフーリエ変換によって、速度成分が導出される。ステップS14において実行される処理の結果は、例えば
図11に示したグラフのように表現することができる。上述のように、
図11は、一例として、自動車の車室内に搭乗者が1名のみ存在する状況において、レーダセンサによって検出された受信信号に2D-FFT処理を実行した結果の例を示している。
【0096】
次に、信号処理部10は、ステップS14において2D-FFT処理が行われた結果から、低速度の成分を除去する処理を行ってよい(ステップS15)。信号処理部10は、例えば
図11に示した、2D-FFT処理の結果において、速度がゼロの静止物体に起因する成分、及び、低速度の成分を取り除く処理を行ってよい。ステップS14で行った2D-FFT処理において速度がゼロであるとして検出された成分は、主として、車室内に存在する静止物の反射によるものであると想定される。したがって、2D-FFT処理において速度がゼロであるとして検出された成分は、搭乗者の有無は無関係であるとして除去してよい。2D-FFT処理において速度がゼロとして検出された成分は、有限長の離散フーリエ変換を行うことによる影響と想定される。したがって、このような成分は、速度ゼロのbinのみならず、低速度に対応するbinにも僅かに混入してしまう。よって、ステップS15において、信号処理部10は、速度ゼロの成分、及び、ある程度の低速度成分の値を、強度0に置き換えてよい。
【0097】
ステップS15において低速度成分が除去されたら、信号処理部10は、速度軸方向の総和を算出する(ステップS16)。ステップS15において得られる結果は、距離及び速度の軸を有する2次元配列のデータとなる。そこで、ステップS16において、信号処理部10は、この2次元配列のデータにおいて、速度方向の成分の和を算出してよい。これにより、信号処理部10は、距離の軸を有する1次元配列のデータを生成することができる。
【0098】
ステップS16において2次元配列のデータの速度軸方向の総和が算出されたら、信号処理部10は、一実施形態に係るスペクトログラムを生成する(ステップS17)。ステップS16において、信号処理部10は、ステップS11からステップS15までの処理を複数回行った結果に基づいて、一実施形態に係るスペクトログラムを生成してよい。ここで、ステップS11からステップS15までの処理を複数回行う回数は、設定により変更可能な回数としてよい。ステップS11からステップS15までの処理を複数回行う回数は、あまり多くの回数を設定すると、処理の結果が得られるまでに時間を要することになる。したがって、ステップS11からステップS15までの処理を複数回行う回数は、処理の結果が得られる時間を考慮するなどして、適宜設定してよい。
【0099】
ステップS15からステップS17までにおいて行う処理は、例えば次の式(1)のように表すことができる。
【数1】
【0100】
上記式(1)において、iは2D-FFT処理の実行回数とし、jは距離binとし、kは速度binとし、kminは低速度成分の上限として、Pijkは2D-FFT処理の結果を表し、Rijはスペクトログラムの成分を表す。このように、信号処理部10は、反射波の所定時刻における所定距離に対応する強度を示すスペクトログラムRを算出する。
【0101】
図13は、上述のようにして生成されたスペクトログラムの例を示す図である。
図13に示すスペクトログラムは、上述のように、自動車の車室内における座席に1人の搭乗者のみが着座している条件のもとで生成されたものを示す。
図13に示すスペクトログラムにおいて、横軸は時間(time)を表し、縦軸は距離(range)を示す。
図13に示すグラフにおいて、色の濃淡によって、検出強度を表している。
図13に示すグラフにおいて、色が白に近いほど信号強度が強い領域であることを示し、色が黒に近いほど信号強度が弱い領域であることを示している。また、
図13に示すスペクトログラムにおいて、横軸方向に実線の領域により示す信号強度が比較的強い部分と、横軸方向に破線の領域により示す信号強度が比較的弱い部分とが、時間の経過とともに変化している。このような変化は、搭乗者の呼吸に起因するものである。
図13に示すように、搭乗者の呼吸(呼気及び吸気)の周期は、約3秒となっている。
【0102】
図13に示すように、距離が比較的短い領域は、直接波の検出強度を示している。また、
図13に示すように、距離が比較的短い領域以外の領域は、マルチパスによる影響を受けた検出強度を表している。
図13に示すように、直接波の検出強度を示す領域に対し、マルチパスによる影響を受けた検出強度の成分は、2D-FFT処理の結果同様に、比較的距離が遠い成分として検出されていることが分かる。両者を比較すると、直接波が比較的強い時間は、マルチパスの強度が強く影響し、逆に直接波の強度が比較的弱い時間は、マルチパスの強度が弱く影響していることが分かる。
【0103】
ステップS17においてスペクトログラムが生成されたら、信号処理部10は、時間平均値を取得(保存)することにより、教師データを生成してよい(ステップS18)。ステップS18において、信号処理部10は、ステップS11からステップS17までの処理を複数回行った結果に基づいて、その時間平均値を教師データとして取得(保存)してよい。ステップS18において、信号処理部10は、ステップS17で生成されたスペクトログラムの時間方向の成分を平均してよい。ステップS18において行う処理の元となるスペクトログラムの時間軸の長さは、人間の呼吸の周期よりも十分に長くしてよい(例えば3秒以上)。
【0104】
ステップS18において生成される教師データは、教師行列Fの成分として、例えば次の式(2)のように表すことができる。教師行列Fの各列は、例えば
図10に示したような座席に搭乗者が1名のみ存在する場合のスペクトログラムを元に生成される。教師行列Fの各列は、各座席配置において典型的な距離対強度のパターンを示すベクトルとなっている。
【数2】
【0105】
上記式(2)において、変数oは、例えば
図10に示したような、搭乗者が着座する座席の配置を表す。例えば、o=1は助手席の配置(位置P2)を示し、o=2は運転席の配置(位置P1)を示し、o=3は助手席側の後席の配置(位置P4)を示し、o=4は運転席側の後席の配置(位置P3)を示すものとしてよい。o=0は、いずれの座席にも搭乗者が着座していない背景データを示すものとしてよい。また、R
oは、特定の座席配置でのスペクトログラムを表す。上記式(2)において、Iは2D-FFT処理の実行回数の上限値を表し、iは上記式(1)と同様に2D-FFT処理の実行回数を表し、jは上記式(1)と同様に距離binを表す。
【0106】
ステップS18における処理が完了したら、信号処理部10は、例えば
図10に示したような自動車の車室内において1人の搭乗者のみが着座している座席の位置を変更して、
図12に示す動作を繰り返してよい。このようにして、信号処理部10は、例えば
図10に示したような自動車の車室内において1人の搭乗者のみが着座している座席の位置の全てのパターンについて(すなわち上述した全ての変数oについて)、
図12に示す動作を繰り返してよい。また、信号処理部10は、例えば
図10に示したような自動車の車室内において搭乗者が誰も着座していない状態で、
図12に示す動作を行ってもよい。以上のようにして、信号処理部10は、各条件下において教師データ(教師行列F)を生成することができる。このようにして生成された教師データは、任意のメモリなどに記憶されてよい。
【0107】
図12に示す動作によって生成される教師データは、例えば自動車の車種及び/又はレーダセンサのような電子機器1の設置態様などの諸条件が変更されるたびに取得し直されるようにしてもよい。
【0108】
図14は、一実施形態に係る電子機器1の動作を説明するフローチャートである。
図14は、上述した(2)教師データを用いて搭乗者の存在及び/又は存在位置を判別する動作を示すものとしてよい。すなわち、
図14は、上述した(1)教師データを取得(生成)する動作において生成した教師データを用いて、一実施形態に係る電子機器1によって実際に搭乗者の存在及び/又は存在位置を判別する動作を示すものとしてよい。
【0109】
図14に示すステップS31からステップS37までの動作は、
図12において説明したステップS11からステップS17までの動作と同様に行ってよい。
【0110】
ステップS37においてスペクトログラムが生成されたら、信号処理部10は、
図12に示した動作によって生成した教師データを用いることにより、スペクトログラムを分解してよい(ステップS38)。
【0111】
ステップS38において、信号処理部10は、ステップS37で生成されたスペクトログラムを、教師データを用いて、次の式(3)の形に分解してよい。すなわち、ステップS38において、信号処理部10は、ステップS37で生成されたスペクトログラムRを、式(3)の右辺の形に近似してよい。
【数3】
【0112】
上記式(3)において、Rは、上記式(1)に基づいてステップS37で生成したスペクトログラムを示す。Fは、
図12に示した動作によって生成された教師行列を示す。また、Gは、アクティベーション行列といわれる行列を示す。
【0113】
図15は、上記式(3)に示す行列R、F、及びGの次元をそれぞれ示す図である。
図15に示すように、スペクトログラムRは、距離及び時間の軸を有する行列である。教師行列Fは、距離及び教師基底の軸を有する行列である。アクティベーション行列Gは、教師基底及び時間の軸を有する無次元量の行列である。スペクトログラムR及び教師行列Fは既知の行列であるのに対して、アクティベーション行列Gは未知の行列である。
【0114】
上記式(3)は、スペクトログラムRが、教師行列Fとアクティベーション行列Gとの積に近似することを示す式である。そこで、ステップS38において、信号処理部10は、教師行列Fとアクティベーション行列Gとの積を、スペクトログラムRに最も近くするアクティベーション行列Gを導出してよい。最終的に生成されるアクティベーション行列Gは、教師基底である教師行列Fの各列が、上記式(1)に示したスペクトログラムRにおいて、それぞれどのような強度でどの時間に存在しているかを示す、2次元行列になる。
【0115】
一実施形態において、信号処理部10は、受信信号を処理することにより生成されたスペクトログラムR及び教師行列Fから、例えば次のように、アクティベーション行列Gを生成してよい。すなわち、信号処理部10は、アクティベーション行列Gを生成する際には、半教師あり非負値行列因子分解(Semi-Supervised Non-negative Matrix Factorization:SSNMF)に基づいた手法を用いてよい。具体的には、信号処理部10は、アクティベーション行列Gの初期配列として、適切な配列長を有し各要素をランダムな正の整数とする配列G0を用意してよい。そして、信号処理部10は、この配列G0に対してx=F*G0を計算することにより、行列Rとの残差を、距離関数と呼ばれる関数を用いて数値化してよい。例えば、信号処理部10は、ユークリッド距離(DEU)を用いて、次の式(4)に示すような算出を行ってよい。
【0116】
【0117】
一実施形態において、上記式(4)に示したユークリッド距離(D
EU)は、RとF*Gの間の差分であると考えることができる。したがって、信号処理部10は、D
EUを最小にするようなアクティベーション行列Gを導出してよい。この場合、次の式(5)に示すような更新式を用いることで、この解を導くことができる。式(5)は、補助関数法及びJensenの不等式を用いることで導出される。
【数5】
【0118】
例えば、信号処理部10は、上記式(5)の右辺におけるGo,iに配列Gを代入することで得られた結果(上記式(5)の左辺)を再び右辺のGo,iに代入する処理を繰り返してよい。このようにすることで、上記式(4)に示す距離(ユークリッド距離)を小さくすることができる。信号処理部10は、上記式(4)に示すDEUが一定の値に収束したところで処理を終了してよい。そして、信号処理部10は、処理が終了した時点で得られるアクティベーション行列Gを保持(任意のメモリなどに記憶)し、次の手順に移行してよい。
【0119】
ステップS38においてスペクトログラムが分解されたら(すなわちアクティベーション行列Gが導出されたら)、信号処理部10は、アクティベーション行列Gから搭乗者の有無及び/又は搭乗者の位置を判定してよい(ステップS39)。
【0120】
図15に示したように、アクティベーション行列Gの各行は、教師基底の列を示す変数o(=0~4)に対応している。
図16は、信号処理部10によって導出されたアクティベーション行列Gの成分の例を示す図である。
図16は、自動車内の座席に搭乗者が着座している際に生成されたスペクトログラムRに教師データを用いて得られるアクティベーション行列Gの成分を示す図である。
図16に示す例では、
図10に示したような運転席[位置P1]及び助手席側の後席[位置P4]に搭乗者が着座している際のスペクトログラムRに対して、ステップS38の処理行うことにより、アクティベーション行列Gを導出した。
図16に示す例は、導出されたアクティベーション行列Gを行ごとの1次元配列に分けて、o=1,2,3,4に対応する行をそれぞれプロットした結果を示している。
図16に示すグラフの横軸はフレーム番号を示し、
図16に示すグラフの縦軸はアクティベーション強度を示す。
【0121】
図16(A)は、運転席[位置P1]におけるフレーム番号ごとのアクティベーション強度をプロットした図である(アクティベーション行列Gの教師基底の列を示す変数o=2に対応)。
図16(B)は、助手席[位置P2]におけるフレーム番号ごとのアクティベーション強度をプロットした図である(アクティベーション行列Gの教師基底の列を示す変数o=1に対応)。
図16(C)は、運転席側の後席[位置P3]におけるフレーム番号ごとのアクティベーション強度をプロットした図である(アクティベーション行列Gの教師基底の列を示す変数o=4に対応)。
図16(D)は、助手席側の後席[位置P4]におけるフレーム番号ごとのアクティベーション強度をプロットした図である(アクティベーション行列Gの教師基底の列を示す変数o=3に対応)。
【0122】
図16に示すように、搭乗者が着座している運転席[位置P1]及び助手席側の後席[位置P4]に対応する行成分のアクティベーション強度は、搭乗者が着座していない助手席[位置P2]及び運転席側の後席[位置P3]よりも、大きくなっている。したがって、一実施形態において、信号処理部10は、例えば
図16において破線で示すような閾値を設定することにより、各座席に搭乗者が着座しているか否かを判定することができる。具体的には、信号処理部10は、運転席[位置P1]及び助手席側の後席[位置P4]には搭乗者が着座していると判定してよい。一方、信号処理部10は、助手席[位置P2]及び運転席側の後席[位置P3]には搭乗者が着座していないと判定してよい。
【0123】
ステップS39において搭乗者の有無及び/又は搭乗者の位置が判定されたら、信号処理部10は、当該判定の結果を、任意の機能部に出力してよい(ステップS40)。
【0124】
ステップS40において、信号処理部10は、搭乗者の有無及び/又は搭乗者の位置を、例えば外部機器60の表示部などに表示して示してもよい。例えば、信号処理部10は、外部機器60の表示部に
図10に示すような画像を表示してもよい。この場合、信号処理部10は、位置P1乃至位置P4のいずれかの位置に搭乗者が着座していると判定した場合、当該位置P1乃至位置P4のいずれかの位置の表示態様を変更するなどして、搭乗者が着座している旨をユーザに示してもよい。また、信号処理部10は、搭乗者が着座している座席を、任意の視覚情報、音声情報、及び/又は触覚情報の少なくともいずれかとして、ユーザに示すようにしてもよい。さらに、信号処理部10は、搭乗者が着座している座席を示す情報を、他の処理に利用してもよいし、他の機器又は他の機能部などに送信してもよい。例えば、一実施形態において、搭乗者の着座する座席の配置を検出した結果に基づいて、搭乗者の呼吸数及び/又は心拍数の測定、並びにシートベルト非着用の警告など、他のアプリケーションによる処理を行ってもよい。
【0125】
以上説明したように、一実施形態において、信号処理部10は、スペクトログラムRと、基底F0及び基底Fiから生成される教師行列Fと、アクティベーション行列Gとに基づいて、距離関数を用いることによりY=R-FGの値が最小になるように、アクティベーション行列Gを算出する。ここで、基底F0は、対象(例えば搭乗者)が所定の領域(例えば自動車のような移動体の車両内部)に存在しない場合のスペクトログラムRを時間平均した基底とする。また、基底Fiは、対象(例えば搭乗者)が所定の領域(例えば自動車のような移動体の車両内部)における所定位置Xi(iは1以上の整数)に存在している場合のスペクトログラムRを時間平均した基底とする。
【0126】
また、一実施形態において、信号処理部10は、アクティベーション行列Gの成分が所定の閾値以上の場合、所定の領域(例えば自動車のような移動体の車両内部)における所定位置Xiに対象が存在すると判定してもよい。
【0127】
また、一実施形態において、信号処理部10は、スペクトログラムRを、送信波及び反射波に基づいて生成される2D-FFT処理の結果に対して、速度成分を所定時刻における所定距離ごとに足し合わせることにより算出してもよい。この場合、信号処理部10は、2D-FFT処理の結果に対して速度成分を所定時刻における所定距離ごとに足し合わせる処理を、速度が所定の大きさまでの2D-FFT処理の結果を除去した上で行ってもよい。
【0128】
また、一実施形態において、送信波は電磁波によるチャープ信号としてよい。この場合、信号処理部10は、送信波及び反射波に基づくビート信号をフーリエ変換した値に基づいて、スペクトログラムRを算出してもよい。
【0129】
また、一実施形態において、上述の所定の領域とは、例えば自動車のような移動体の車両内部としてもよい。また、一実施形態において、上述の所定の領域における所定位置Xiとは、例えば自動車のような移動体の車両における座席の位置としてもよい。
【0130】
一実施形態に係る電子機器1によれば、例えば
図10に示すような自動車の車室内における位置P1乃至位置P4に配置された座席に着座する搭乗者をリアルタイムで検出することができる。したがって、一実施形態に係る電子機器1によれば、例えば自動車の車室内のような少なくとも部分的に閉じた空間において、電波の送受信によって、人間などの存在及び存在位置を良好な精度で検出することができる。一実施形態に係る電子機器1によれば、例えば自動車の車室内のような少なくとも部分的に閉じた空間においても、上述したマルチパスによる影響を抑制し、着座している搭乗者の有無及び/又は搭乗者の位置を検出することができる。
【0131】
(他の実施形態)
以下、他の実施形態について説明する。
【0132】
一実施形態に係る電子機器1は、ミリ波レーダの技術を採用したものに限定されない。例えば、一実施形態に係る電子機器1は、ミリ波近傍の電波であるセンチ波帯、又はテラヘルツ波などを採用しても、FMCW方式によって上述した実施形態と同様に実現することができる。
【0133】
また、一実施形態に係る電子機器1は、
図10に示したような自動車内に配置された座席に着座する搭乗者の検出を行う機器に限定されない。上述のように、一実施形態に係る電子機器1が設置される自動車は、
図9又は
図10に示すようなものに限定されず、各種の自動車などとしてよい。
図10に示す例において、一実施形態に係る電子機器1は、5人乗り乗用車又は4人乗りの乗用車の車室内の4席(運転席[位置P1]、助手席[位置P2]、運転席側の後席[位置P3]、及び助手席側の後席[位置P4])を検出対象とした。しかしながら、一実施形態に係る電子機器1は、例えば5人乗り乗用車の座席全てを検出対象としてもよいし、3列シートの乗用車の座席を検出対象としてもよいし、その他の配置を有する移動体の座席などを検出対象としてもよい。
【0134】
一実施形態においては、車室内に搭乗者が存在しない状態の教師基底F
0を用意することにより、その教師基底を含むo=0,1,2,3,及び4の5つの基底に対応するスペクトログラムRの分解を行ってもよい。一方、一実施形態においては、
図14に示したステップS38の処理の前に、スペクトログラムRの各列から、背景成分F
o=0を引き算した行列R’を用意してもよい。この場合、o=0以外のo=1,2,3,及び4から構成される教師基底F’
0を用いて、上記式(3)におけるRをR’として、FをF’
0として、GをG’として、ステップS39における処理を行ってもよい。
【0135】
上述した実施形態では、
図14に示したステップS38の処理において、距離関数としてユークリッド距離(D
EU)を用いる場合について説明した。しかしながら、ステップS38の処理において用いることができる距離関数は、ユークリッド距離(D
EU)に限定されない。ステップS38の処理において用いる距離関数は、例えば、KL擬距離(Kullback-Leibler distance)、又は板倉斎藤(Itakura-Saito:IS)擬距離などとしてもよい。ステップS38において、信号処理部10は、このような距離関数に基づくアクティベーション行列Gの更新式を用いてもよい。このように、一実施形態において、信号処理部10は、上述の距離関数として、ユークリッド距離、KL擬距離、及び板倉斎藤擬距離のいずれかを用いてもよい。
【0136】
図2に示した電子機器1において、信号処理部10は、各種の信号処理を行う機能を備えるものとして説明した。しかしながら、一実施形態において、信号処理部10が行う処理の少なくとも一部は、例えばクラウドサーバのような外部のコンピュータ又はプロセッサなどによって行われるものとしてもよい。
【0137】
また、一実施形態に係る電子機器1の信号処理部10は、送信波が反射された反射波から第1の検知対象の速度に関する情報を生成し、前記第1の検知対象の速度に関する情報と、予め取得された、第2の検知対象の存在位置に対応した該第2の検知対象の速度に関する規定情報とに基づいて、前記第1の検知対象の位置に関する情報を生成してもよい。
【0138】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能などは論理的に矛盾しないように再配置可能である。複数の機能部等は、1つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【0139】
上述した実施形態は、電子機器1としての実施のみに限定されるものではない。例えば、上述した実施形態は、電子機器1のような機器の制御方法として実施してもよい。さらに、上述した実施形態は、例えば電子機器1のような機器によって実行されるプログラム、又はプログラムを記録した記憶媒体若しくは記録媒体としてとして実施してもよい。
【0140】
また、上述した実施形態に係る電子機器1は、送信アンテナアレイ24及び受信アンテナアレイ31など、いわゆるレーダセンサを構成する部品を含むものとして説明した。しかしながら、一実施形態に係る電子機器は、例えば信号処理部10のような構成として実施してもよい。この場合、信号処理部10は、例えば、送信アンテナアレイ24及び受信アンテナアレイ31などが扱う信号を処理する機能を有するものとして実施してよい。
【符号の説明】
【0141】
1 電子機器
10 信号処理部
11 信号発生処理部
12 受信信号処理部
21 送信DAC
22 送信回路
23 ミリ波送信回路
24 送信アンテナアレイ
31 受信アンテナアレイ
32 ミキサ
33 受信回路
34 受信ADC
50 通信インタフェース
60 外部機器