知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-02
(54)【発明の名称】車両の客室を監視するためのシステムおよび方法
(51)【国際特許分類】
G01S 13/89 20060101AFI20230526BHJP
G01S 13/52 20060101ALI20230526BHJP
B60R 21/00 20060101ALI20230526BHJP
B60R 21/015 20060101ALI20230526BHJP
B60R 22/48 20060101ALI20230526BHJP
G07C 9/37 20200101ALI20230526BHJP
【ＦＩ】
G01S13/89
G01S13/52
B60R21/00 340
B60R21/015 311
B60R21/015 312
B60R21/015 330
B60R22/48 105
G07C9/37
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022565877
(86)(22)【出願日】2021-04-28
(85)【翻訳文提出日】2022-12-26
(86)【国際出願番号】 IB2021053528
(87)【国際公開番号】W WO2021220190
(87)【国際公開日】2021-11-04
(31)【優先権主張番号】63/016,314
(32)【優先日】2020-04-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/020,691
(32)【優先日】2020-05-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/049,647
(32)【優先日】2020-07-09
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/056,629
(32)【優先日】2020-07-26
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/135,782
(32)【優先日】2021-01-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】522251102
【氏名又は名称】バヤー イメージング リミテッド
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ポドカミエン、イアン
(72)【発明者】
【氏名】メラメッド、ラヴィブ
(72)【発明者】
【氏名】モシェ、シェイ
(72)【発明者】
【氏名】サレリー、マリアナ
(72)【発明者】
【氏名】オルスチュースキー、ロビン
(72)【発明者】
【氏名】ローゼンハウス、タキ
(72)【発明者】
【氏名】コレン、エーヤル
(72)【発明者】
【氏名】オルロフスキー、ミカエル
(72)【発明者】
【氏名】ハイヤット、イーラン
(72)【発明者】
【氏名】カーザン、アレクセイ
(72)【発明者】
【氏名】アローニ、エリエゼル
【テーマコード（参考）】
3D018
3E138
5J070
【Ｆターム（参考）】
3D018QA00
3E138AA01
3E138JA02
3E138JB16
5J070AB01
5J070AB24
5J070AC02
5J070AC11
5J070AD05
5J070AD10
5J070AE09
5J070AF03
5J070AH31
5J070AK15
5J070AK22
(57)【要約】
車両の客室の画像データを取得するために客室内の中央に配置されたレーダユニットと、車両の客室内の座席の占有を検出し、占有者を分類し、姿勢を検出し、シートベルト状態を判定し、占有者の生命兆候を監視するためのプロセッサとを使用する車両の客室の監視。出力ユニットが、車両の客室内の占有者の状態に適した応答を実行することができる。
【特許請求の範囲】
【請求項1】
発振器に接続され、車両の客室へと電磁波を送信するように構成された少なくとも１つの送信機アンテナと、前記車両の客室内の物体が反射させた電磁波を受信するように構成され、生データを生成するように動作することができる少なくとも１つの受信機アンテナと
を備えるレーダユニット、
前記レーダユニットから生データを受信するように構成され、受信したデータに基づいて画像データを生成するように動作することができるプロセッサユニット、
前記画像データを記憶するように構成されかつ動作することができるメモリユニット、および
少なくとも１つの出力ユニット
を備えており、
前記プロセッサユニットは、
前記ＲＦ応答に基づいて少なくとも１つの３Ｄ（三次元）画像を生成し、
前記得られた３Ｄ画像の１つ以上の連続した３Ｄ画像を、３Ｄ画像から背景を除去することによって処理し、
前記３Ｄ画像を、サイドローブ、マルチパス、熱雑音、およびクラッタのうちの少なくとも１つの寄与を除去することによってフィルタ処理し、
前記車両の客室内の座席の占有を検出し、
前記車両の客室内の座席の少なくとも１つの占有者を分類し、
前記車両の客室内の座席の少なくとも１つの占有者の姿勢を検出し、
前記車両の客室内の座席の少なくとも１つの占有者に関するシートベルト状態を判定する
ように構成されかつ動作することができ、
前記出力ユニットは、前記車両の客室の占有者の前記状態に応じて応答を実行するように構成されかつ動作することができる、車両の客室の監視システム。
【請求項2】
前記レーダユニットが、前記車両の客室の天井の中央位置に位置する、請求項１に記載のシステム。
【請求項3】
前記レーダユニットが、ガラスの２つの層の間に埋め込まれる、請求項１に記載のシステム。
【請求項4】
前記レーダユニットが、熱伝導性のエポキシによってガラス表面に取り付けられる、請求項１に記載のシステム。
【請求項5】
前記レーダユニットが、サンルーフに組み込まれる、請求項１に記載のシステム。
【請求項6】
前記レーダユニットが、ヘッドレストに組み込まれる、請求項１に記載のシステム。
【請求項7】
前記プロセッサが、フィルタ処理された３Ｄ画像をクラスタリングし、
少なくとも１つの座席を少なくとも１つの占有者に関連付け、
前記３Ｄ画像内の各々のクラスタに関する点の分布に基づき、前記車両の幾何学的形状に従って、前記１つ以上の占有者を分類する
ように動作することができる、請求項１に記載のシステム。
【請求項8】
前記プロセッサが、前記受信信号から個人重要点を抽出し、
前記車両の客室の座席の少なくとも１つの占有者の骨格点を特定する
ように動作することができる、請求項１に記載のシステム。
【請求項9】
前記個人重要点が、頭部、左肩、右肩、左骨盤、右骨盤、左膝、右膝、左大腿部、右大腿部、およびこれらの組み合わせ、からなる群の少なくとも１つから選択される、請求項８に記載のシステム。
【請求項10】
前記プロセッサが、前記車両の客室の少なくとも１つの占有者のバイタルサインを監視するように動作することができる、請求項１に記載のシステム。
【請求項11】
前記バイタルサインが、前記占有者の心拍数および呼吸数の少なくとも一方を含む、請求項１０に記載のシステム。
【請求項12】
前記出力ユニットが、異常の場合に警報を生成するように構成される、請求項１に記載のシステム。
【請求項13】
前記異常が、占有者がシートベルトを装着していないこと、子供が前席に座っていること、占有者が安全でない姿勢であること、運転者の注意力が低下していること、およびこれらの組み合わせ、からなる群から選択される、請求項１２に記載のシステム。
【請求項14】
前記出力ユニットが、安全でない場合にエアバッグの動作を取り消すように構成されかつ動作可能である、請求項１に記載のシステム。
【請求項15】
前記出力ユニットが、事故の場合に緊急サービスに通信するように構成されかつ動作可能である、請求項１に記載のシステム。
【請求項16】
前記出力ユニットが、幼児が前記車両の客室に残されている場合に警報を生成するようにさらに構成される、請求項１に記載のシステム。
【請求項17】
前記出力ユニットが、緊急サービスに連絡し、救急隊員にバイタルサインを示すべく通信システムを作動させるように構成されかつ動作可能である、請求項１に記載のシステム。
【請求項18】
車両の客室を監視するための方法であって、発振器に接続され、前記車両の客室へと電磁波を送信するように構成された少なくとも１つの送信機アンテナと、
前記車両の客室内の物体が反射させた電磁波を受信するように構成され、生データを生成するように動作することができる少なくとも１つの受信機アンテナと
を備えるレーダユニットを提供するステップ、
前記レーダユニットから生データを受信するように構成され、受信したデータに基づいて画像データを生成するように動作することができるプロセッサユニットを提供するステップ、
前記画像データを記憶するように構成されかつ動作することができるメモリユニットを提供するステップ、
少なくとも１つの出力ユニットを提供するステップ、
前記車両の客室へと電磁波を送信するステップ、
前記車両の客室内の物体が反射させる電磁波を受信するステップ、
前記車両の客室内のボクセルに関する複素数値の組を生成するステップ、
前記複素数値の組を３Ｄ複素画像に変換するステップ、
前記３Ｄ画像を、サイドローブ、マルチパス、熱雑音、およびクラッタのうちの少なくとも１つの寄与を除去することによってフィルタ処理するステップ、
前記車両の客室内の座席の占有を検出するステップ、
前記車両の客室内の座席の少なくとも１つの占有者を分類するステップ、
前記車両の客室内の座席の少なくとも１つの占有者の姿勢を検出するステップ、および
前記車両の客室内の座席の少なくとも１つの占有者に関するシートベルト状態を判定するステップ
を含む方法。
【請求項19】
フィルタ処理された３Ｄ画像をクラスタリングするステップ、少なくとも１つの座席を少なくとも１つの占有者に関連付けるステップ、および
前記３Ｄ画像内の各々のクラスタに関する点の分布に基づき、前記車両の幾何学的形状に従って、前記１つ以上の占有者を分類するステップ
をさらに含む、請求項１８に記載の方法。
【請求項20】
前記受信信号から個人重要点を抽出するステップ、および前記車両の客室の座席の少なくとも１つの占有者の骨格点を特定するステップ
をさらに含む、請求項１８に記載の方法。
【請求項21】
前記個人重要点が、頭部、左肩、右肩、左骨盤、右骨盤、左膝、右膝、左大腿部、右大腿部、およびこれらの組み合わせ、からなる群の少なくとも１つから選択される、請求項２０に記載の方法。
【請求項22】
前記車両の客室の少なくとも１つの占有者のバイタルサインを監視するステップをさらに含む、請求項１８に記載の方法。
【請求項23】
前記バイタルサインが、前記占有者の心拍数および呼吸数の少なくとも一方を含む、請求項２２に記載の方法。
【請求項24】
前記出力ユニットが、異常の場合に警報を生成するステップをさらに含む、請求項１８に記載の方法。
【請求項25】
前記異常が、占有者がシートベルトを装着していないこと、子供が前席に座っていること、占有者が安全でない姿勢であること、運転者の注意力が低下していること、およびこれらの組み合わせ、からなる群から選択される、請求項２４に記載の方法。
【請求項26】
前記出力ユニットが、安全でない場合にエアバッグの動作を取り消すステップをさらに含む、請求項１８に記載の方法。
【請求項27】
前記出力ユニットが、事故の場合に緊急サービスに通信するステップをさらに含む、請求項１８に記載の方法。
【請求項28】
前記出力ユニットが、幼児が前記車両の客室に残されている場合に警報を生成するステップをさらに含む、請求項１８に記載の方法。
【請求項29】
前記出力ユニットが、緊急サービスに連絡し、救急隊員にバイタルサインを示すべく通信システムを作動させるステップをさらに含む、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年５月６日に出願された米国仮特許出願第６３／０２０，６９１号、２０２０年４月２８日に出願された米国仮特許出願第６３／０１６，３１４号、２０２０年７月２６日に出願された米国仮特許出願第６３／０５６，６２９号、２０２０年７月９日に出願された米国仮特許出願第６３／０４９，６４７号、および２０２１年１月１１日に出願された米国仮特許出願第６３／１３５，７８２号の優先権の利益を主張し、これらの内容は、それらの全体が参照によって援用される。
本出願は、２０２０年５月６日に出願された米国仮特許出願第６３／０２０，６９１号、２０２０年４月２８日に出願された米国仮特許出願第６３／０１６，３１４号、２０２０年７月２６日に出願された米国仮特許出願第６３／０５６，６２９号、２０２０年７月９日に出願された米国仮特許出願第６３／０４９，６４７号、および２０２１年１月１１日に出願された米国仮特許出願第６３／１３５，７８２号の優先権の利益を主張し、これらの内容は、それらの全体が参照によって援用される。
【0002】
本明細書の開示は、車両の客室のレーダに基づく監視のためのシステムおよび方法に関する。とくには、これらに限られるわけではないが、本開示は、車両の占有者の存在、姿勢、および分類の検出、ならびに存在する物体の質量またはサイズあるいは向きなどといった監視対象パラメータに基づく車両のシステムの制御に関する。
【背景技術】
【0003】
車両内に何人の占有者が存在するかを知り、どこに座っているかを知ることが、重要である。
【0004】
さまざまな理由で、車両の座席に乗員が存在するか否かを知ることが有用である。
【0005】
現代の車両の実施形態は、車両に乗員が存在するかどうかを判断するための大量のセンサを含む。これらは、各々の座席に乗員が存在するかどうかを識別するためのセンサ、前席に幼児が存在するかどうかを識別してエアバッグを無効にするためのセンサ、などを含む。
【0006】
車両が乗せることができる乗客の数には限界がある。車両のさまざまな座席に関するサイズおよび重量の制限も存在し、例えば、或る年齢に満たない乗客は、前席に座ることができない。
【0007】
いくつかの法的地域においては、相乗りを促進するために、自家用車は、運転者に加えて少なくとも特定の人数の乗客を乗せている場合に、バスレーンなどの優先道路の使用が許される。
【0008】
コンパクトなアンテナアレイに基づく広帯域ＭＩＭＯレーダ装置が、現時点において、近距離場および遠距離場の物体を視覚化し、それらの反射特性に基づいてそれらの特徴を明らかにするために、さまざまな撮像用途において使用されている。
【0009】
現在の技術水準の技術は、ＭＩＭＯレーダ信号を使用して３Ｄ画像を作成する。しかしながら、現在のＭＩＭＯ撮像技術は、互いに近接した標的を識別する場合や、移動環境において発見された標的を識別する場合に、適切な分解能を達成することができない。
【0010】
各々がそれぞれの固有の運動モードを有するさまざまな部分を有する複雑な標的物は、充分な分解能での撮像をさらに難しくする。したがって、より高い分解能を達成するように現在のＭＩＭＯレーダ撮像技術を進歩させる必要がある。
【0011】
車両の内部を監視する多数のセンサを有することで、費用および信頼性の問題が生じる。より簡単なシステムで同じ情報を取得する必要がある。本開示は、この必要性に対処する。
【0012】
自動車製造業者は、自動車の性能および安全の目的を監視するために、多数のセンサを利用する。客室の乗客の存在、とりわけ車両の座席に乗客が存在しているかどうか、および幼児が乗車しているかどうかを監視することも、有用である。例えば、車両内の乗客の存在を検出するための圧力センサ、自動車の座席の構成および位置を検出するための位置検出器、乳児が車に残されていないかどうかの検出器、などが配置される。
【0013】
車両の内部を監視する多数のセンサを有することで、費用および信頼性の問題が生じる。実際に、いくつかの現代の車両は、車両に乗員が存在するかどうかを判断するための大量のセンサを含む。さらに、これらのセンサは、年齢および身体構造に基づく乗客の識別および区別を行っていない。これらは、各々の座席に乗員が存在するかどうかを識別するためのセンサ、前席に幼児が存在するかどうかを識別してエアバッグを無効にするためのセンサ、などを含む。より簡単なシステムで同じ情報を取得することが、望ましいと考えられる。
【0014】
したがって、車両のセンサを置き換え、乗客の着席位置に応じて安全システムを動作させるより単純なシステムについて、ニーズが存在する。本明細書で説明される発明は、上述のニーズに対処する。
【発明の概要】
【0015】
実施形態の第１の態様は、車両の客室および占有者の監視を可能にする位置に設置されるレーダセンサアレイに関する。
【0016】
センサは、運転者および前部座席ならびに後部座席の両方を監視するために、車両の天井のおおむね中央に配置されてよい。
【0017】
レーダセンサアレイは、天井の内張りの背後または天井の下方のボックスに配置されてよい。
【0018】
あるいは、センサをフロントガラスまたは後部窓の高いところに取り付けることが可能であってよい。
【0019】
他の実施形態において、レーダセンサは、ヘッドレスト、例えば運転席のヘッドレストなどの中央に配置されたヘッドレストに組み込まれてもよい。適切な場合には、両面センサが、前向きトランシーバアレイおよび後ろ向きトランシーバアレイを含むことで、車両全体にわたって３６０度のカバレッジを提供することができる。
【0020】
レーダセンサアレイは、プロセッサと、メモリと、車へのデータ出力部とを含むレーダオンチップデバイスの一部であってもよい。
【0021】
レーダセンサアレイは、客室ならびに客室内の物体および乗客を監視するように構成され、大人および子供、乳児、ペット、および無生物などのさまざまな種類の乗客を区別することができる。
【0022】
さらに、経時的なマクロな動きおよび小さな動きの両方を含む検出されたデータは、姿勢、手によるジェスチャ、呼吸、および心拍を監視することができる。
【0023】
いくつかの実施形態においては、車両の移動または停止あるいはドアの開閉に応じてなど、レーダセンサアレイを数分ごとにのみ動作させることも可能である。
【0024】
さらに、通信ネットワークを介して、リモートサーバに、クラウドまたはモノのインターネットを介して通信して、占有者およびその行動の詳細をフリートオペレータ、レンタル車両提供者、警察、救急サービス、などに提供するように構成されてもよい。
【0025】
いくつかの実施形態において、レーダセンサアレイは、少なくとも車両が使用されているときに、連続サイクルにてアクティブ期間およびアイドル期間を経るように常に動作する。他の実施形態において、車両の中央コンピュータは、ドアの開閉、速度の変化、検出された道路状況、などに応答するなど、特定の状況下でセンサを呼び起こす。
【0026】
パルス状の信号送信期間と、その後のデータ処理期間およびアイドル期間とを有するパルスモードで動作することにより、発熱を抑えることができる。
【0027】
データ導管ワイヤによって車両に接続される場合、データ導管ワイヤを使用してレーダセンサアレイから熱を取り除くことができる。
【0028】
センサアレイに金属ヒートシンクを取り付け、車両の外部へと延ばし、ヒートシンク上を通過する空気によって冷却することや、センサを車両の金属フレームに結合させて熱を取り除くことも可能である。
【0029】
いくつかの実施形態は、サンルーフなどのガラス部品、あるいは車両のフロントガラスまたは後部窓に埋め込まれたセンサに関する。これにより、さまざまな車両モデルのすべてにわたって単一の設置場所が可能になり、性能が最大になり、設置にかかるコストが最小になる。
【0030】
本明細書において使用されるとき、サンルーフという用語は、部分的なガラス天井、パノラマガラス天井、および天井の窓パネルを含む。
【0031】
レーダセンサアレイは、サンルーフに一体化され、サンルーフの材料に埋め込まれてよく、あるいは層の間または少なくとも上側層と下側層とを有する積層サンルーフの間に閉じ込められてよい。
【0032】
あるいは、レーダセンサアレイは、サンルーフの下面に取り付けられてもよい。
【0033】
あるいは、レーダセンサアレイは、好ましくは高い熱伝導率を有する熱可塑性樹脂またはエポキシにおそらくは埋め込まれ、サンルーフ内のキャビティに埋め込まれてもよい。
【0034】
このような実施形態の特徴は、サンルーフが良好な熱放散特性を有するガラス材料から製造されることである。これは、センサから熱を導き去り、その大きな表面積のために容易に冷却される。実際、サンルーフの外側表面は、車両の移動によって対流冷却される。
【0035】
本発明の一態様は、車両内の乗客を監視するためのレーダセンサアレイが一体化された車両のサンルーフに関する。
【0036】
他の実施形態は、車両の外部を監視するために、ガラスヘッドランプユニット、ミラー、フロントガラス、および後部窓に取り付けられた本発明のレーダセンサアレイに関する。ここでもやはり、大きなガラスまたは他の熱伝導面が、大型のヒートシンクとして機能して、レーダユニットの過熱を防止することができる。やはり、レーダセンサアレイは、メモリおよびデジタル信号プロセッサと共にチップに統合されてよく、チップを、所望の位置および向きにてキャビティへと埋め込み、内側層と外側層との間に積層し、あるいは単に内面に接着することによって、ヘッドライト、リアライトまたは表示灯ユニット、あるいは車両のフロントガラス、リアウィンドウ、またはサイドウィンドウなどの窓に統合することができる。
【0037】
本発明の一態様においては、占有情報を検出するための車両における骨格重要点検出のためのシステムが開示される。座席占有は、各々の座席の乗客の年齢クラスの情報、および正しい位置にいるかどうかの情報を提供する。システムは、レーダユニットと、プリプロセッサユニットと、データベースと、処理ユニットと、１つ以上の出力ユニットとを含む。
【0038】
本発明の別の態様において、レーダユニットは、電磁放射線のビームを車両の乗客に向けて送信し、乗客によって反射された電磁波を受信するように構成された送信機および受信機のアレイを備える。前処理ユニットが、レーダ受信機から電磁信号を受信し、訓練されたディープニューラルネットワーク（ＤＮＮ）を使用して個人重要点を抽出する。抽出されたＰＫＰは、車両の各々の座席における乗客の骨格点を識別するために使用される。車両の各々の座席において識別された重要骨格点が、処理ユニットに送信される。
【0039】
本発明のさらなる態様において、処理ユニットは、照合ユニットと、規則データベースと、通信部とを含む。照合ユニットは、前処理ユニットから受信した重要骨格点をデータベースから受信した標準乗客パラメータと比較し、比較に基づいて車両の各々の座席の占有情報を決定する。次いで、占有の情報が規則データベースに転送され、規則データベースが、受信した情報に基づいて各々の座席に関するアクションを決定する。次いで、決定されたアクションが、通信部を介して１つ以上の出力ユニットに送信される。
【0040】
本発明の別の態様において、個人重要点（ＰＫＰ）は、乗客の頭部、左右の肩、下腹部または骨盤の左右外側地点、ならびに左右の膝または大腿上の点を含むことができる。
【0041】
本発明のさらに別の態様において、占有情報は、座席ごとの占有、占有者ごとの年齢クラス、および占有者が正しい位置にあるか否かを含む。
【0042】
実施形態のより良い理解のため、およびそれをどのように実施できるかを示すために、ここで添付の図面を純粋に例として参照する。
【0043】
ここで図面を詳しく具体的に参照すると、示されている詳細が、例として、選択された実施形態の例示的な説明のみを目的としており、原理および概念的態様の最も有用かつ容易に理解される説明であると考えられるものを提供するために提示されていることが強調される。これに関連して、根本的な理解のために必要であるよりも詳細に構造的詳細を示す試みは行われず、説明を図面と併せて検討することで、種々の選択された実施形態をどのように実施できるかが当業者にとって明らかになる。添付の図面において、
【図面の簡単な説明】
【0044】
【図1】乗客の位置および動きを追跡するためにレーダセンサアレイをどこに配置できるのかを示す車両の客室の概略図を示している。
【図2】本発明の一態様による車両の座席占有情報を決定するための例示的な方法を示す概略のフローチャートである。
【図3】本発明の一実施形態の要素の概略のブロック図である。
【図4A】レーダセンサアレイ、典型的にはレーダオンチップが取り付けられたサンルーフを有する車両の天井の概略図である。
【図4B】サンルーフの材料内に埋め込まれたレーダチップを示すサンルーフの概略の側面図である。
【図4C】上側層および下側層からなり、上側層と下側層との間に包まれたレーダチップを有しているサンルーフの概略の側面図である。
【図4D】サンルーフの下面に取り付けられたレーダチップを示すサンルーフの概略の側面図である。
【図4E】サンルーフ内のキャビティに埋め込まれたレーダチップを示すサンルーフの概略の側面図である。
【図5】ヘッドレストに埋め込まれたレーダチップを模式的に表している。
【図6B】システムの一実施形態の全体的な動作を示すフローチャートである。
【図6B】車両内の乗客の例示的な正しい位置の着席を示している。
【図6C】車両内の乗客の例示的な正しい位置の着席を示している。
【図6D】車両内の乗客の例示的な正しくない位置の着席を示している。
【図6E】車両内の乗客の例示的な正しくない位置の着席を示している。
【図6F】車両内の乗客の例示的な正しくない位置の着席を示している。
【図6G】車両内の乗客の例示的な正しくない位置の着席を示している。
【図6H】車両内の乗客の例示的な正しくない位置の着席を示している。
【図7】車両の座席占有情報を決定するための方法を示すフローチャートである。
【図8】本発明の一実施形態によるＭＩＭＯ検出システムで用いられるハードウェアの概略図である。
【図9A】本発明の一実施形態に従って使用される処理ステップを示す全体フローチャートである。
【図9B】本発明の一実施形態に従って使用される全体的な処理ステップを示す全体フローチャートである。
【図9C】本発明の一実施形態によるレーダ信号処理段階の第１の実施形態において使用される処理ステップを示すフローチャートである。
【図9D】本発明の一実施形態によるレーダ信号処理段階の第２の実施形態において使用される処理ステップを示すフローチャートである。
【図9E】本発明の一実施形態によるレーダ信号処理段階の第３の実施形態において使用される処理ステップを示すフローチャートである。
【図9F】本発明の一実施形態による標的処理段階において使用される処理ステップを示すフローチャートである。
【図10A】本発明の一実施形態による被験者について測定された半径方向変位の時間の関数としてのプロットである。
【図10B】本発明の一実施形態による２つの識別された要素のスペクトルパワー密度の２つのプロットを示している。
【図11A】本発明の一実施形態による車内環境において着席している乗客の処理の種々の段階における画像生成物を示している。
【図11B】本発明の一実施形態による車内環境において着席している乗客の処理の種々の段階における画像生成物を示している。
【図11C】本発明の一実施形態による車内環境において着席している乗客の処理の種々の段階における画像生成物を示している。
【図11D】本発明の一実施形態による車内環境において着席している乗客の処理の種々の段階における画像生成物を示している。
【図11E】本発明の一実施形態による車内環境において着席している乗客の処理の種々の段階における画像生成物を示している。
【図12】本発明の一実施形態による能動的検出モードの最中に用いられる一動作サイクルの動作段階を示すグラフである。
【図13】どの座席が占有されているかに関するデータを抽出し、占有されている各々の座席の占有者を分類するために、車両の客室の３次元複素レーダ画像をどのように使用することができるのかを示すフロー図である。
【図14A】特異値分解フィルタ処理のための方法を説明するフローチャートである。
【図14B】逐次時空フィルタ処理のための方法を説明するフローチャートである。
【図14C】フィルタ処理ステップの概略図を示している。
【図15A】ＳＶＤコンポーネントを示す中央レーダセンサの周りの領域の２次元マッピングである。
【図15B】ＤＢＳＣＡＮクラスタリングを実行した後の中央レーダセンサの周りの領域の２次元マッピングを示している。
【図16】スペクトルクラスタリングを実行した後の中央レーダセンサの周りの領域の２次元マッピングを示している。
【図17】三次元空間においてガウス分布として点のクラスタを表している。
【図18】異なる占有者を表しているように見受けられるクラスタを、車両の客室内の座席の位置を重ね合わせて示している。
【図20】座席３と４の間および座席５と６の間の中間位置を示している。
【図21】車両の後部座席間の妥当な状態遷移を示す遷移モデルである。
【図22】占有者をどのようにして分類できるのかを示すフローチャートである。
【図23】ｘｙ平面における正の共分散を示している。
【図24】ｘｙ平面における負の共分散を示している。
【図25】座席５の側面図であり、占有者であると解釈される信号のクラスタの上下および前後の境界を示している。
【発明を実施するための形態】
【0045】
本発明の実施形態は、単一のセンサを使用して車両の客室内の乗員の存在および動きの両方を追跡する。単一のセンサによって車両の客室内の乗客を監視するために、センサについて考えられる位置は、客室のうちの可能な限り多くがセンサの標的範囲内にあるように、客室の中心にあってよい。これは、本明細書において説明されるように、天井に位置し、座席内に位置し、ヘッドレスト内に位置し、窓に埋め込まれ、サンルーフに埋め込まれ、あるいは照明ユニットに埋め込まれるなど、さまざまに配置されてよい。
【0046】
センサは、例えば、客室を内張りするファブリックの背後や、座席の詰め物の内部に隠されてもよい。これに加え、あるいは代えて、センサは、ハウジング内のファブリックの外側に配置されてもよい。
【0047】
センサユニットは、前部座席および後部座席の両方をカバーして、車両の客室内の存在を検出することができる。このようにして単一のセンサユニットを使用することは、各々の列または各々の座席ごとの別々のセンサユニットの必要性をなくし、他のセンサを置き換え、製造時の労力および配線コストを節約する。
【0048】
本開示の態様は、レーダセンサを使用して車両内の座席占有情報を決定するためのシステムおよび方法に関する。座席占有は、各々の座席の乗客の年齢クラスの情報、および正しい位置にいるかどうかの情報を提供することができる。情報を、安全装置の動作および車両に残る乗客の追跡に役立てることができる。
【0049】
種々の実施形態において、センサおよび支援データ分析は、各々の占有者のサイズ（体積および寸法）、位置、および姿勢を判定し、車両の客室内の占有者の動きを追跡し、バイタルサインを監視する。したがって、単一のセンサ装置が、車両の客室の多機能監視を提供し、これまで必要とされていた多数のセンサを置き換える。
【0050】
必要に応じて、本発明の詳細な実施形態を、本明細書に開示するが、開示される実施形態が、さまざまな代替形態で具体化されてよい本発明の単なる例にすぎないことを理解されたい。図は、必ずしも縮尺どおりではなく、特定の構成要素の詳細を示すために、いくつかの特徴が誇張され、あるいは最小化されることがある。したがって、本明細書に開示される特定の構造および機能の詳細を、限定として解釈すべきではなく、あくまでも本発明をさまざまに使用することを当業者に教示するための代表的な基礎として解釈すべきである。
【0051】
本開示のさまざまな実施形態において、本明細書に記載される１つ以上のタスクは、複数の命令を実行するためのコンピューティングプラットフォームまたは分散コンピューティングシステムなどのデータプロセッサによって実行されてよい。随意により、データプロセッサは、命令、データ、などを格納するための揮発性メモリを含み、あるいはそのような揮発性メモリにアクセスする。これに加え、あるいは代えて、データプロセッサは、例えば命令および／またはデータを格納するための磁気ハードディスク、フラッシュドライブ、リムーバブルメディア、などの不揮発性記憶装置にアクセスすることができる。
【0052】
本明細書における開示のシステムおよび方法が、その適用において、説明に記載され、あるいは図面および例に示される構成要素または方法の構成および配置の詳細に限定されないことに、とくに留意されたい。本開示のシステムおよび方法は、他の実施形態が可能であってよく、あるいは、さまざまなやり方および技術で実施および実行が可能であってよい。
【0053】
本明細書に記載される方法および材料と類似または同等の代替の方法および材料を、本開示の実施形態の実施または試験に使用することができる。それにもかかわらず、特定の方法および材料が、例示のみを目的として本明細書に記載される。材料、方法、および例は、必ずしも限定を意図したものではない。
【0054】
図１を参照すると、車両１５０の概略図が示されている。車両内に、運転者１５２と、助手席に座る子供１５４と、助手席の後ろの後部座席で旅行中の乗客１５６と、運転者の後ろの空の座席１５８とが存在する。
【0055】
さらに、車両の客室１６５の内部にあり、車両１６０の天井などの中央、または座席、ヘッドレスト、などの内部に配置されたレーダセンサアレイ１６０も示されている。レーダセンサアレイ１６０は、車両１５０の客室１６５内の変化を監視する。図示のように、レーダセンサ１６０は、中央に配置される。これが、客室を含む視野およびすべての座席の良好なカバレッジを提供することができるため、好ましい位置である。あるいは、センサは、中心から或る程度外れて位置してもよく、特定の個人に専用の現在のセンサを置き換えるために必要な情報を依然としてもたらす。したがって、センサアレイ１６０は、例えば、フロントガラスまたは後ろ窓の上部に設置されてもよい。適切な場合には、両面センサが、前向きトランシーバアレイおよび後ろ向きトランシーバアレイを含むことで、車両全体にわたって３６０度のカバレッジを提供することができる。
【0056】
内部レーダセンサアレイ１６０は、上述したチップ１６０などの統合システムであってよい。しかしながら、さまざまな実施形態において、本明細書に記載される１つ以上のタスクを、複数の命令を実行するための車両のコンピューティングプラットフォームまたは分散コンピューティングシステムなどの外部データプロセッサによって実行されてもよいことを、理解できるであろう。随意により、データプロセッサは、命令、データ、などを格納するための揮発性メモリを含み、あるいはそのような揮発性メモリにアクセスする。これに加え、あるいは代えて、データプロセッサは、例えば命令および／またはデータを格納するための磁気ハードディスク、フラッシュドライブ、リムーバブルメディア、などの不揮発性記憶装置にアクセスすることができる。
【0057】
好ましい実施形態は、デジタル信号プロセッサ（ＤＳＰ）およびメモリと共にチップに統合されたレーダセンサアレイを使用する。例えば、一実施形態は、グローバル周波数帯域（６０Ｇｈｚまたは７９ＧＨｚ）、数千の仮想チャネル、両軸上の広視野、ならびに角度および距離の高い分解能を有する４Ｄ撮像ＭＩＭＯレーダチップを使用する。レーダは、チップ上に設けられ（ＲＯＣ）、好ましい実施形態は、６０ＧＨｚ帯域および７９ＧＨｚ帯域の両方をサポートするデュアルバンド範囲をカバーする。
【0058】
別の実施形態は、外部ＣＰＵを必要とせずに複雑な撮像アルゴリズムを実行することができる大きな内部メモリを有する高性能ＤＳＰと統合された７２個の送信機および７２個の受信機を有する３ＧＨｚ～８１ＧＨｚのレーダ帯域を有する高度なＲＦ技術に基づいてリアルタイムで高分解能の画像を生成するセンサアレイを使用する。
【0059】
さらに別の実施形態は、６０～８１ＧＨｚのみ、ならびに２４個の送信機および２４個の受信機を有する。
【0060】
より高度なデータ分析ツールが開発されるにつれて、機能を低下させることなく、トランシーバの数を減らすことができ、ユニットコストを削減できると予想される。
【0061】
多数のトランシーバを統合し、高度なＤＳＰで多数の信号を送信、受信、および分析することにより、高い精度で輪郭を追跡する高分解能の４Ｄ画像が得られる。
【0062】
多くの用途は、シートベルトを使用していない占有者に関して運転者に警告すること、ドアをロックすること、および幼児のいる座席に対向して配置されたエアバッグを無効にすることを対象とする。運転者に、乗客の呼吸または心拍変動の警報をもたらすこともでき、あるいは運転者が窮地に陥った場合に、車を路肩に寄せるように警告することができ、極端な場合には、自動制御が運転を引き継ぐことができる。
【0063】
いくつかの実施形態において、レーダシステムまたはレーダシステムとデータ通信する車両の車載コンピューティングシステムは、セルラネットワークなどのデータ通信ネットワークを介して、モノのインターネットなどのクラウドによってサポートされるリモートデータベースに情報を送信するように構成される。これにより、フリートオペレータおよび車両レンタル会社が使用を監視すること、あるいは警察および救急サービスが乗客の存在および状態を遠隔で監視することが可能になる。
【0064】
したがって、図２を参照すると、本発明の一般的な実施形態２００は、典型的には車両の電子システムからの電源２１５によって動作するレーダトランシーバアレイ２１０からなる。レーダトランシーバアレイ２１０は、車両の客室２２５へと、とくには後部座席に３人の乗客を乗せるように設計された車両においては運転席２２２、助手席２２４、右後部座席２２６、左後部座席２２８、および中央後部座席２２７に向かって、全方向にレーダ信号を送受信する。
【0065】
レーダトランシーバアレイ２１０は、車両２０の客室１６５内のすべての方向の要素を検出し、検出された各々の要素は、空間コンポーネントおよび時間コンポーネントを有し、パルス状のレーダシグナリングによって、経時的な位置の変化が検出される。
【0066】
レーダトランシーバアレイ２１０は、メモリ２１４に接続され、メモリ２１４は、以前の読み取り値、および検出信号の空間コンポーネント、ならびに経時的な変化、すなわちそれらの時間コンポーネントを記憶し、さらには／あるいは、場合によっては、種々の座席に座るさまざまなサイズの運転者および乗客を表す標準応答のライブラリも含む。したがって、処理ユニット２１２は、各方向における乗客の存在を判定することができ、占有者のサイズ、身長、占有者が呼吸しているかどうか、あるいは心拍を示しているかどうか、などを判定することによって、大人、子供および乳児、ペット、ならびに無生物を区別することができる。乗客は特定の位置、すなわち座席において発見されると予想されるため、有用には、大人、子供、ならびに幼児または乳児を表す種々の座席の方向からの応答を記憶することができ、これにより、有用な結果を得るために必要な処理の量を抑えることができる。
【0067】
説明した機能は一例である。センサアレイは、車両の客室およびその中身を表す大量のデータを収集し、経時的な変化を監視する。プロセッサは、さまざまなやり方で画像バッチを分析し、経時的に追加の機能を追加するための追加のアルゴリズムおよび手順を備えることができる。したがって、法律、保険、または他の目的のために追加の変数の監視が必要であるため、既存の設置済みのセンサおよびプロセッサを、データから関連のパラメータを抽出するようにさらにプログラムすることができる可能性がある。
【0068】
この目的のためにレーダ信号を使用する利点は、ほとんどのファブリックによっても、多くの非ファブリック材料によっても、遮断されないことである。しかしながら、乗客を大人または子供として分類し、バイタルサインを監視することができるにもかかわらず、光学カメラとは異なり、分解能がプライバシを侵害するには不充分であることに留意されたい。
【0069】
次に、車両におけるレーダに基づく監視のためのシステムの概略のブロック図である図３を参照する。システム３００は、レーダユニット３０４と、プリプロセッサユニット３１２と、データベース３１４と、処理ユニット３１６と、出力ユニット３２４ａおよび３２４ｂとを含む。
【0070】
レーダユニット３０４は、自動車などの車両に設置される。車両の客室内の乗客などの監視対象に関して、レーダユニット３０４は、乗客との直接の見通し線を有するべきであり、多くの場合、最適な位置は、天井領域、好ましくは中央天井であり得る。
【0071】
レーダユニット３０４は、送信機３０６のアレイおよび受信機３１０のアレイを含む。送信機３０６のアレイは、少なくとも１つの送信機アンテナまたは送信機アンテナのアレイに接続された発振器３０８を含むことができる。したがって、送信機３０６を、図１に示した運転席１５３および乗客の座席１５５Ａ～Ｃを含む車両１５０の客室１６５内の全方向に向けられたマイクロ波放射線などの電磁放射線のビームを生成するように構成することができる。図３は、例示的な乗客３０２ａおよび３０２ｂに向かって送信される電磁波を示している。受信機１１０は、乗客３０２ａおよび３０２ｂの身体から反射された電磁波を受信するように構成され、そのように動作することができる受信機アンテナのアレイを含むことができる。
【0072】
レーダ受信機アレイ３１０は、受信機３１０によって受信された信号を記憶するメモリ３２６に接続される。メモリ３２６は、以前の読み取り値、および検出信号の空間コンポーネント、ならびに経時的な変化、すなわちそれらの時間コンポーネントを記憶し、さらには／あるいは、場合によっては、種々の座席に座るさまざまなサイズの運転者および乗客を表す標準応答のライブラリも含む。これに加え、あるいは代えて、ニューラルネットワークが、乗客を識別および分類し、年齢カテゴリおよび正しい位置にあるか否かの状態などの分類にマッピングするように訓練されてもよい。
【0073】
メモリ３２６に記憶された以前の情報は、前処理ユニット３１２に転送される。したがって、前処理ユニット３１２は、各方向における乗客の存在を判定することができ、占有者のサイズ、身長、占有者が呼吸しているかどうか、あるいは心拍を示しているかどうか、などを判定することによって、大人、子供および乳児、ペット、ならびに無生物を区別することができる。乗客は特定の位置、すなわち座席において発見されると予想されるため、有用には、大人、子供、ならびに幼児または乳児を表す種々の座席の方向からの応答を記憶することができ、これにより、有用な結果を得るために必要な処理の量を抑えることができる。さらに、複数の心拍または呼吸が単一の場所で検出される場合、これは、乳児が、たとえ乳児の画像が覆い隠されている可能性があっても、例えば成人によって抱きかかえられていることを知らせることができることに留意されたい。
【0074】
システム３００の処理ユニット３１２は、レーダトランシーバアレイ３１０と統合されていても、あるいはレーダトランシーバアレイ３１０とデータ通信していて、場合によっては車両の車載コンピュータの一部であっても、警告灯あるいは警報ビープ音または口頭メッセージなどの可聴信号などの車載の出力装置３１８と対話することができる。例えば、乗客が安全ベルトを着用していないこと、または、前部座席３２４の乗客が小さすぎて安全ベルトを安全に着用することができないことを知らせる。さらに、処理ユニット３１２は、例えば幼児が助手席３２４にいる場合など、エアバッグが危険であると考えられる場合にエアバッグをキャンセルし、あるいはシートベルトの張力を調整するために、車載の取り消し装置３１６と相互作用することができる。
【0075】
さらに、処理ユニット３１２は、乗員の存在に関するデータをクラウドに送信するためのデータ送信機３３０に接続されてよい。このデータを、車両内の乗客数を監視するためのフリートオペレータ、および緊急システムなどが使用することができる。
【0076】
各々の乗客の動き、呼吸、および心拍も監視することができる。
【0077】
乗客の呼吸数および心拍数などのバイタルサインを監視するために、さまざまなシステムおよび方法を使用することができる。例として、レーダセンサは、車両の客室などの標的領域内の物体から反射されたエネルギ信号を受信し、バイタルサインを表す車両の客室などの標的領域内の振動パターンを識別し、振動信号を処理して呼吸信号、心拍信号などを取り出すことができる。
【0078】
特定の実施形態において、プロセッサユニットは、各々のボクセルについて、複数のフレーム内の該当のボクセルの反射放射線を表す一連の複素数値を照合し、したがって、各々のボクセルについて、複素平面内の中心点および各フレーム内の各ボクセルの位相値を決定することができる。このようにして、各々のボクセルの経時的な位相変化を表す滑らかな波形を生成することができ、周期的バイオパラメータを表すボクセルのサブセットを選択して、心拍数、心拍数変動、呼吸パターン、などの必要なバイタルサインインデックスを取得することができる。
【0079】
そのようなシステムの例は、本出願の出願人の本出願と同時に係属中の国際特許出願第ＰＣＴ／ＩＢ２０２１／０５１３８０号に記載されており、この国際特許出願は、その全体が参照によって本明細書に組み込まれる。
【0080】
さらに、運転席のヘッドレスト内のレーダセンサを、運転者の頸部の後方からの反射放射線を測定することによって運転者のバイタルサインを監視するように良好に配置できることに留意されたい。このようにして、運転者の健康および注意力を継続的に監視することができる。
【0081】
センサチップ１６０および処理を、ドアの閉鎖、車両の加速または停止、などのイベント後の短期間のみ動作させてもよい。適用可能な場合、システムは、パルスモードでスパートにて動作することができ、数ミリ秒にわたって時間依存の感知を実行し、次いで、おそらくは数十ミリ秒にわたってデータを計算および分析するが、その後に、プロセッサが能動的に感知または計算を行う時間の３倍または４倍の時間にわたってアイドル状態となる。これは、電力を節約し、放熱を促進することによって過熱を防止するうえで有用であり得る。
【0082】
４次元（４Ｄ）撮像ＭＩＭＯレーダが、外部ＣＰＵを必要とせずに複雑な撮像アルゴリズムを実行することができる大きな内部メモリを有する高性能ＤＳＰと統合された７２個の送信機および７２個の受信機を有する３ＧＨｚ～８１ＧＨｚのレーダ帯域を有する高度なＲＦ技術に基づいてリアルタイムで高分解能の画像を生成するセンサアレイを使用するチップ１０上に設けられる場合、処理によって放熱を必要とする熱が発生することを理解できるであろう。
【0083】
レーダ信号を送信および受信するために数十ミリ秒または数百ミリ秒にわたって動作し、次いでデータを処理し、その後に数十ミリ秒または数百ミリ秒にわたるアイドリングモードに入る場合など、パルスモードで動作し、断続的な休止時間を有することによって、熱を或る程度は放熱できるが、依然として放熱の必要性が存在する可能性がある。
【0084】
多くの車両において、センサチップ１６０の最適な位置は天井にあるが、運転者の座席に妨げられることなく運転者の腕および足をより良好に監視するためにさらにわずかに前方である。しかしながら、車両のいくつかのモデルにおいては、この位置にサンルーフが存在する。他のモデルは、パノラマガラスの天井を有する。
【0085】
経済的な理由で、ＯＥＭは、製造を単純化し、組み込みのコストを削減するために、車両のすべてのバリエーションにおいてセンサの位置が同じであることを好む。これにより、センサが理想的とはいえない位置に配置され、結果として一部のデータを収集することができなくなる可能性があり、あるいはそれにもかかわらず完全なカバレッジを達成するために、製造業者が２つのセンサを設置することを選び、構成要素および設置コストが倍増し、複雑さが増して信頼性に悪影響が及ぶ可能性がある。
【0086】
一実施形態は、サンルーフまたはパノラマ天井などのガラス部品、あるいは車両のフロントガラスまたは後部窓に埋め込まれたセンサに関する。これにより、さまざまな車両モデルのすべてにわたって単一の設置場所が可能になり、性能が最大になり、設置にかかるコストが最小になる。
【0087】
図４Ａを参照すると、驚くべきことに、自動車または乗用車などの車両４６０の屋根のサンルーフ４５０にレーダチップ４１０（図１のチップ１６０であってよく、一般に、図２に示されるように、レーダトランシーバアレイ４１２、メモリ４１４、処理ユニット４１２、ならびにデータ入力部およびクラウド２３０へのデータ送信機を備える）を埋め込み、あるいは取り付けることが、大きなガラス物体がチップから熱を導き去るがゆえに、放熱を助けることが明らかになった。
【0088】
レーダチップ４１０が埋め込まれたサンルーフ４５０を製造することにより、レーダチップ４１０の設置がきわめて容易になる。データおよび電力を供給するためにセンサを車両に接続するワイヤ４１２が、レーダチップ４１０から熱を運び去ることができる。
【0089】
いくつかの実施形態において、チップ４１０は、長期ボタン磁石による電力で動作し、配線をまったく必要としないことが理解されよう。チップ４１０を、送信が短距離であるため、きわめて少ない電力を使用して車両に信号を送信するように構成することができる。さらに、太陽電池パネルが、昼間の充電のためにチップ４１０上に設けられてもよい。
【0090】
サンルーフを、ガラスまたは透明ポリマーから製造することができる。
【0091】
図４Ｂを参照すると、チップの周囲にサンルーフ４５０Ａを鋳造することによって、チップ４１０をサンルーフ４５０Ａに埋め込むことができる。
【0092】
あるいは、図４Ｃを参照すると、サンルーフ４５０Ｂを、ガラスまたは他の材料の上側層４４０Ｕおよび下側層４４０Ｌから製造することができ、チップ４１０を、例えば上側層４４０Ｕおよび下側層４４０Ｌなどのガラスの２つの層の間に配置することができる。
【0093】
あるいは、図４Ｄに示すように、チップ４１０をサンルーフ４５０Ｃの下面に接着することができる。
【0094】
図４Ｅに示されるように、サンルーフ４５０Ｄにキャビティ４１３を設けることができ、チップ４１０をキャビティ４１０内に配置して、随意によりレーダの周波数に対して透過性であり、好ましくは透明である熱伝導性エポキシまたは熱可塑性樹脂で所定の位置に保持することができる。
【0095】
本明細書に記載のレーダトランシーバセンサアレイまたは統合型レーダオンチップをサンルーフに取り付け、あるいは埋め込む方法は、レーダトランシーバセンサアレイおよびレーダチップを、車両の外部の近くの領域および遠くの領域を監視すべく車両に取り付けるためにも使用することができる。
【0096】
例えば、レーダチップは、車両のヘッドランプ、バックライト、または表示灯に一体化されてもよい。これらは、ガラスまたはプラスチックで鋳造されてよく、それぞれ車両の前部および後部に配置される。
【0097】
後ろ向きのレーダは、後進または駐車の際に有用であり得る。前向きのレーダは、走行時に有用であり得る。
【0098】
現代の自動車のヘッドランプユニットおよびリヤランプユニットは、典型的には、インジケータ、ヘッドランプ、減光ランプ、フォグランプ、などのさまざまな電力および目的の種々のランプを含む大型のガラスまたはプラスチックユニットである。このユニット内にレーダセンサアレイを組み込むことにより、レーダユニットに配線を容易に通すことができ、見苦しい付属物を回避することが容易になる。
【0099】
したがって、本発明のレーダセンサアレイは、車両の外部を監視するために、ガラスヘッドランプユニット、ミラー、フロントガラス、および後部窓に取り付けられてもよい。ここでもやはり、大きなガラスまたは他の熱伝導面が、大型のヒートシンクとして機能して、レーダユニットの過熱を防止することができる。やはり、レーダセンサアレイは、メモリおよびデジタル信号プロセッサと共にチップに統合されてよく、チップを、所望の位置および向きにてキャビティへと埋め込み、内側層と外側層との間に積層し、あるいは単に内面に接着することによって、ヘッドライト、リアライトまたは表示灯ユニット、あるいは車両のフロントガラス、リアウィンドウ、またはサイドウィンドウなどの窓に統合することができる。
【0100】
ここで図５を参照すると、車両内の別の中心位置が座席自体であってもよいことに、さらに留意されたい。とくには、２列の客室の前列の運転者の座席または乗客の座席は、客室のおおむね中心にある。より大型の車両においても、前列のヘッドレストは、レーダセンサを設置するための良好な中心位置を提供することができる。
【0101】
したがって、ヘッドレストに組み込まれたレーダ検知装置を、客室の前方および後方に向かって送信および受信するように構成することができる。種々のシステムおよび方法を使用して、３６０度のカバレッジを有するレーダセンサを提供することができる。
【0102】
とくには、少なくとも１つのセンサが対象者の頸部および上背部５０５へと向けられた場合に、良好な心拍信号が観察されることが明らかになった。これは、頸動脈５０６を通過する強い脈動に起因し得る。したがって、図５に示されるように、自動車のヘッドレストに配置されたセンサ装置５１７が、自動車の座席の占有者の生命兆候を監視するために良好に配置され得ることに、留意されたい。さらに、そのようなセンサは、運転者の健全性および注意力を監視することができる。
【0103】
例として、双方向レーダセンサが、プリント回路基板（ＰＣＢ）に実装されたレーダシステムを含むことができ、そのようなレーダシステムは、ＰＣＢ基板の表面に実装され、この表面と同じ側に位置する通信デバイスと電磁信号を送受信する送信および受信アンテナのアレイを有する。システムは、ＰＣＢ側へと標的領域内の物体からＰＣＢに向かって反射される電磁信号を受信するために、ＰＣＢのエッジに取り付けられた受信アンテナのアレイをさらに含むことができる。
【0104】
他のシステムにおいては、ＰＣＢに取り付けられた反射器が、送信アンテナのアレイが基板の表面に垂直な波を送信し、これが反射器表面に入射し、基板から半径方向に遠ざかるように向けられる一方で、反射器へと半径方向に向かう標的領域内の物体から受信された波が、ＰＣＢ基板に垂直な方向に受信アンテナへと向けられるように配向されてよい。必要に応じて、反射波から生じる異なる経路長を補償するために位相シフタを使用することができる。
【0105】
制御チップは、送信および受信アンテナを含むＰＣＢのアンテナ、反射器、および位相シフタなどのすべての能動素子を制御するように構成され、動作可能であってよい。双方向アンテナ素子を使用する場合、ＰＣＢの両側の標的を区別するための方法を使用することができる。
【0106】
そのようなシステムの例は、本出願の出願人の本出願と同時に係属中の国際特許出願第ＰＣＴ／ＩＢ２０２０／０６０５１０号に記載されており、この国際特許出願は、その全体が参照によって本明細書に組み込まれる。
【0107】
さらに、レーダセンサを組み込んだヘッドセットユニットが、車の座席に後付けされるように設けられてもよいことに、留意されたい。そのような独立したモジュールは、コンピューティングユニット、携帯電話機、車載インフォテインメントシステム、などの他のモジュールとのインターフェースを提供するための通信ユニットを含むことができる。必要に応じて、ヘッドレストユニットは、電気化学セル、太陽電池パネル、誘導受電器、などの独立した電源をさらに備えることができ、あるいは車両の電源から電力を受け取るように構成されてよい。
【0108】
図６Ａを参照すると、一実施形態のシステムを使用するための一般的な方法が示されている。最初に、中央レーダトランシーバアレイが、車両の客室内に設けられる（６０２）。中央レーダトランシーバアレイは、全方向にレーダ信号を送信し（６０４）、全方向６０６から、客室の壁、座席、および床から、ならびに占有者から、などの反射を受信する。
【0109】
座席の方向からの受信信号と空の座席６０８から予想される信号との間に有意差が検出された場合、信号を分析することができ、あるいは成人、子供、ペット、乳児、および無生物などの種々の標的６１０の信号と比較することができる。
【0110】
システムは、例えば心拍および呼吸を含む各々の占有者の動きを判定および分類することもできる。
【0111】
このようにして、各々の座席の占有のタイプを判断することができ（６１２）、各々の座席の占有を判定および分類して、警告灯または可聴信号で運転者に警告する、エアバッグなどの何らかの構成要素を取り消し、作動させ、もしくは無効にする、ならびに／あるいはフリートオペレータ、緊急対応要員、運転者の家族、などによる使用のためにセルラネットワークまたはインターネットなどのデータネットワークで信号を送信する、などの適切なアクションをとる（６１４）ことを可能にすることができる。
【0112】
しかしながら、本明細書における開示のシステムおよび方法が、その適用において、説明に記載され、あるいは図面および例に示される構成要素または方法の構成および配置の詳細に限定されないことに、とくに留意されたい。本開示におけるシステムおよび方法は、他の実施形態が可能であってよく、あるいは、さまざまなやり方および技術で実施および実行が可能であってよい。
【0113】
本明細書に記載される方法および材料と類似または同等の代替の方法および材料を、本開示の実施形態の実施または試験に使用することができる。それにもかかわらず、特定の方法および材料が、あくまでも例示の目的で本明細書に記載される。材料、方法、および例は、必ずしも限定を意図したものではない。したがって、さまざまな実施形態は、必要に応じてさまざまな手順または構成要素を省略、置換、または追加することができる。例えば、方法は、記載された順序とは異なる順序で実行されてもよく、さまざまなステップが追加されてもよく、省略されてもよく、または組み合わせられてもよい。さらに、特定の実施形態に関して説明された態様および構成要素を、さまざまな他の実施形態において組み合わせることが可能である。
【0114】
動きの周期性を呼吸数または心拍数として識別することができるため、各々の乗客の動き、呼吸、および心拍数も監視することができる。
【0115】
乗客の呼吸数および心拍数などのバイタルサインを監視するために、さまざまなシステムおよび方法を使用することができる。例として、レーダセンサは、車両の客室などの標的領域内の物体から反射されたエネルギ信号を受信し、バイタルサインを表す車両の客室などの標的領域内の振動パターンを識別し、振動信号を処理して呼吸信号、心拍信号、などを取り出すことができる。
【0116】
特定の実施形態において、プロセッサユニットは、各々のボクセルについて、複数のフレーム内の該当のボクセルの反射放射線を表す一連の複素数値を照合し、したがって、各々のボクセルについて、複素平面内の中心点および各フレーム内の各ボクセルの位相値を決定することができる。このようにして、各々のボクセルの経時的な位相変化を表す滑らかな波形を生成することができ、周期的バイオパラメータを表すボクセルのサブセットを選択して、心拍数、心拍数変動、呼吸パターン、などの必要なバイタルサインインデックスを取得することができる。
【0117】
そのようなシステムの例は、本出願の出願人の本出願と同時に係属中の国際特許出願第ＰＣＴ／ＩＢ２０２１／０５１３８０号に記載されており、この国際特許出願は、その全体が参照によって本明細書に組み込まれる。
【0118】
さらに、運転席のヘッドレスト内のレーダセンサを、運転者の頸部の後方からの反射放射線を測定することによって運転者のバイタルサインを監視するように良好に配置できることに留意されたい。このようにして、運転者の健康および注意力を継続的に監視することができる。
【0119】
空の客室を表す背景信号は既知である。これは、平均信号に相当し、分析を簡単にするために検出信号から差し引くことができる。
【0120】
信号を、個々の乗客を識別し、手によるジェスチャなどを検出するために、同期した動きによってクラスタリングすることができる。本発明の一態様は、車両の客室内の乗客を判断するために客室内の多次元時間依存追跡を提供する中央センサを備えるレーダシステムを提供することである。したがって、車両の前部座席および後部座席の乗客を監視するための車両の天井に位置するＲＡＤＡＲセンサユニットが示される。典型的には、センサはパルスモードで動作する。
【0121】
応答信号をクラスタリングし、車両内の座席の既知の位置に関してそれらをマッピングすることによって、乗客の検出および分類に必要な処理の量を抑えることが可能である。
【0122】
センサは、処理ユニットに接続され、背景応答である空の座席からの応答を認識する。空の座席および検出された信号からの応答の差を監視し、乳児、子供、および成人に関する応答のライブラリと比較することによって、座席の占有者を、乳児、子供、成人、ペット、または無生物として分類することができる。
【0123】
座席の位置を知ることにより、クラスタリングアルゴリズムを適用し、記憶済みのデータと比較することによって、より少ない処理で乗客をより効率的に検出および分類することが可能になる。ボックスを各々の乗客の周囲に迅速に描き、乗客がどのように座っているかを判定するために使用することができる。
【0124】
呼吸または心拍が検出されたことを表す胸部の動きを使用して、生物と、座席に置かれることがあり、空の座席の信号とは異なる信号を反射する無生物とを、区別することができる。
【0125】
この情報を、乗客が困難に陥っている場合や、乳児が車両に残されている場合を検出するため、および衝突後に、生命が車両内に存在し、どの座席に存在するかを緊急要員に知らせるために使用することができる。衝突後に、１人以上の乗客の呼吸または心拍が断続的に、または苦しそうに検出される場合、この情報を、緊急要員が、どの乗客を最初に救助して避難させるべきかを決定する際に使用することができる。
【0126】
処理ユニットは、ニューラルネットワークまたはファジー論理を使用して、占有者の性質を決定することができる。
【0127】
処理ユニットは、座席に乗客が存在することを運転者に知らせるため、エアバッグを展開するため、乗客の遠隔追跡を可能にするため、および事故の場合に緊急要員に警報するためのインジケータに接続されてよい。
【0128】
さらに、中央レーダセンサは、乗客の位置から離れたキャビンの変化を判断することができる。例えば、ドアが開かれた場合である。
【0129】
処理ユニットは、クラウドコンピューティング技術によってデータベースに接続し、座席の占有に関するデータベースを更新するように構成することができる。
【0130】
座席の占有の詳細が、シートベルトが展開されていない場合に警報を生じさせることができる。
【0131】
座席の占有者が、座席に安全に座るには体重が軽すぎ、あるいは身長が低すぎると示された場合、適切な通知を行うことができる。
【0132】
情報は、スマートシートベルトプリテンショナでシートベルトを乗客に合わせて調整することができるように充分に敏感であり得る。
【0133】
乳児の検出が、他の運転者に車間距離を保つように知らせるために、車両の後部に表示される子供が乗っている旨の通知を動作させることができる。
【0134】
乗客がどこに座っているか、および乗客のサイズおよび形状を知ることによって、事故の場合のエアバッグの展開を、乗客の位置に合わせることが可能になる。例えば、エアバッグが、乳児が乗車中の助手席には展開されない。さらに、空の座席がエアバッグを展開する必要はない。乗客および運転者の頭部の位置を知ることにより、衝突において頭部をより良好に保護するためのエアバッグの選択的展開などのエアバッグ展開の最適化が可能になる。
【0135】
さらに、レーダによる解決策は、乗客の身元が検出されないため、プライバシが保護されるという利点を有する。
【0136】
さらに、中央レーダセンサは、乗客の位置から離れたキャビンの変化を判断することができる。例えば、ドアが開かれた場合である。
【0137】
処理ユニットは、クラウドコンピューティング技術によってデータベースに接続し、座席の占有に関するデータベースを更新するように構成することができる。
【0138】
一部の運転者は、現地の法律またはフリート所有者によって、監督者または同伴者の同伴が求められる。例えば、一部の軍事車両および警察車両は、特定の車両の運転者が単独で走行することを禁止する規則を有する。他の車両は、乗客を運ぶことを許されていない。例えば、新米の運転者について、大人が同伴していること、または他者を輸送しないことを保証することが有用であり得る。
【0139】
過去においては、多数の別個のセンサが設けられており、各々のセンサが、座席内の圧力センサや、エアバッグを展開するための頭部位置センサなど、１つの事柄を検出するように構成されている。好都合なことに、ユニットコストならびに設置および配線コストの両方の観点から、本発明の中央センサは、多数のそのような専用の単一タスクのセンサを置き換えることができる。
【0140】
しかしながら、本発明の中央センサを、車両の運転者を識別するための生体認証センサなどの他のセンサと共に使用してもよいことが、理解されよう。このように識別された運転者が、単独で走行すべきではない場合や、同伴する大人と一緒にのみ走行すべきである場合に、システムは、運転者への警告を生成することができ、あるいは監督者に通知することができ、あるいは車両の移動を防止するように構成されてよい。
【0141】
車両の数を減らし、相乗りを奨励するために、ピーク混雑時に、いくつかの交通システムは、運転者の他に２人、３人、または４人の占有者がいる車両が、通常は公共交通機関のために予約された車線を走行することを許可する。本発明の実施形態は、車両の占有を追跡し、クラウドを介して、地方自治体、交通警察、などに占有レベルを提供するように構成されてよい。
【0142】
実際、特別な車線が存在しない場合でも、本発明の実施形態を使用して車両の占有レベルを監視し、これを使用して道路または橋梁などの使用に課金される料金を調整したり、年間道路税を減らしたりすることができる。
【0143】
乳児が車両によって運ばれていたことをクラウドに送信することができ、したがって事故の場合に、緊急作業者が乳児が運ばれていたことを知り、探さなければいけないことを知ることができる。これに関して、座席の足下に隠れ、あるいはブランケットによって隠れた乳児を、呼吸または心拍によって検出することができる。
【0144】
乗客の位置および身長の追跡に加えて、好ましい実施形態は、姿勢、動き、とくには占有者の呼吸および心拍を追跡するように構成される。これは、占有者が何らかのトラブルに巻き込まれた場合に有益であり得る。例えば、停止するように運転者に警告することができる。
【0145】
事故後に、レーダシステムは、緊急サービスを呼び出すことができ、実施形態は、バイタルサインを監視し、これらをクラウドを介して緊急要員に示すように動作することができる。
【0146】
さらに、事故の場合に、レーダシステムは、可聴な警報および告知システムを作動させることができる。
【0147】
占有を追跡することにより、タクシーサービスおよびバスの所有者は、運転手が乗せた乗客の数を隠して利益を不正に着服することがないことを、確実にすることができる。
【0148】
２人の乗客が座席を共有している状況や、乗客が立っている状況を追跡することも可能である。これは、運転者のいる車両または自律型車両において乗客の数を監視するうえで有用であり得、車両が許可されているよりも多数または合法に乗せることができるよりも多数の乗客を運ぶことを防止するため、またはそのような使用を報告するために使用可能である。
【0149】
カージャックまたは放棄車両の場合、車両による最後の移動の最中の占有の詳細が、犯人を捕まえるための重要な情報を提供することができる。
【0150】
システムを、車両に閉じ込められた子供を検出するために、ドアが閉じられた後に数分間にわたって作動させてもよい。
【0151】
乳児の動き、呼吸、および心臓活動を監視し、何か問題がある場合に運転者に警告することによって、運転者は進路に集中することができる。
【0152】
運転者の呼吸または心臓活動が標準からの逸脱を示す場合、運転者に車を路肩に止めるように助言することができ、さらには／あるいは信号をクラウドに送信して、車両所有者、配偶者、親、子供または近親者、高速道路警察、などの第三者への警告を可能にすることができる。
【0153】
好ましくは、システムは、ジェスチャ信号を検出することができ、運転者および場合によっては乗客が処理ユニットを介してラジオ、空調、などのさまざまなシステムを制御することを可能にする。
【0154】
本発明のシステムは、人間が運転する車両ならびに自律型および半自律型車両に提供されてよく、独立して動作する半自律型車両から制御を引き継ぐために運転者によって使用されても、引き継ぎを行うように知らせ、あるいは心不全または発作などの何らかの種類の健康危機下にあることを示している運転者から自律制御が引き継ぐために使用されてもよい。
【0155】
ここで再び図３を参照すると、受信機３１０によって受信された電磁信号も、前処理ユニット３１２に送信される。前処理ユニット３１２は、訓練されたディープニューラルネットワーク（ＤＮＮ）を使用して、受信信号から個人重要点（ＰＫＰ）を抽出するように構成されてよい。抽出された個人重要点（ＰＫＰ）は、以下を含むことができる。
頭部－頭部の上部の中心
左右の肩
下腹部または骨盤の左右外側地点
左右の膝または大腿上の点
頭部－頭部の上部の中心
左右の肩
下腹部または骨盤の左右外側地点
左右の膝または大腿上の点
【0156】
抽出されたＰＫＰは、車両の各々の座席における乗客の骨格点を識別するために使用される。本発明の特定の実施形態において、抽出された重要骨格点は、以下のやり方で情報を提供することができる。
【0157】
頭部の上部は、身長の計算および正しい位置にないことの検出に使用することができる身体の最高点を与えることができる。
【0158】
肩は、身体の幅の決定を可能にすることができる。
【0159】
下腹部および骨盤は、上半身の周りに正方形をさらに描くことができ、実際の座高の決定を得ることを可能にする。さらに、正しい位置にないことをチェックするためのベースライン（腹部／骨盤ライン対肩ライン）を生成することができる。
【0160】
例えば、他の点のいずれかが欠落しており、不明瞭であり、あるいは検出されない場合に決定を補助するために、腹部および骨盤に加えて膝および大腿部を使用することができる。
【0161】
さらに、膝の位置を使用して、子供と大人との間のより良好な区別を可能にすることができる。とくには、驚くべきことに、成人の膝は、一般に、脚が車の床に達するがゆえに、骨盤の平面よりも上方で検出されることが明らかになった。対照的に、子供の膝は、一般に、床に平行な骨盤からの線に沿って検出され、あるいはさらに下方で検出される。
【0162】
車両の各々の座席において識別された重要骨格点を、処理ユニット３１６に送信することができる。処理ユニット３１６は、照合ユニット３１８と、規則データベース３２０と、通信部３２２とを含む。照合ユニット１１８は、前処理ユニット３１２から受信した重要骨格点を、データベース３１４から受信した標準乗客パラメータと照合する。データベース３１４は、年齢クラスに応じたＰＫＰ位置、距離、および範囲の標準的なリストを含む。表１が、例示的なクラス－年齢－身長関係を示している。
【表1】
【0163】
表１に示されるように、ＭＣＤ「中くらいの子供」クラスの子供の乗客の年齢は約６歳である。そのような子供の典型的な身長は約１１５ｃｍであり、典型的な座高は約６３．５ｃｍである。同様に、ＡＤＴ「大人」クラスのより高年齢の乗客は約１４歳を超える年齢である。典型的な身長は１６０ｃｍを超え、典型的な座高は８２ｃｍを超える。表１に示したクラス－年齢－身長関係は、本質的に例示的なものであり、本発明の範囲を限定するものではないことに明確に留意されたい。クラス－年齢－身長関係は、各々の国および地域の人口統計に応じてさまざまである。
【0164】
さらに、反射要素をシートベルトまたは座席自体に取り付けることによって人工重要点を追加することが可能である。反射要素は、反射要素のＲＣＳを向上させるためのコーナーリフレクタ、ルネンベルグレンズ、Ｃａｔｓｅｙｅレトロリフレクタ、またはＰＣＢベースの等価物などの再帰反射要素であってよい。一例として、座席のリフレクタは、人体によって遮られているかどうかの情報を提供することができる。座席要素からの反射は、乗車中の車の振動に関する情報を提供することができる。シートベルト上のリフレクタは、シートベルトが着用されているかどうかの情報を提供することができる。さらに、シートベルトが着用されている場合、シートベルト上の反射要素は、胸部と協調して動くリフレクタから増強されたより安定な信号をもたらすことにより、呼吸および心拍に関係する信号をより良好に追跡するために使用することができるＰＫＰとなる。リフレクタは、反射信号にシグネチャを加え、リフレクタを互いに、および車両の客室内に存在する他の要素から区別または識別するために、例えば反射アレイ技術を使用する変調回路を備えることができる。
【0165】
照合ユニット３１８は、重要骨格点と表１に示されるような標準的なクラス－年齢－身長関係との比較に基づいて、車両の各々の座席の占有情報を決定する。照合ユニット３１８は、基本的に、ヒューリスティックコードおよび／または訓練された機械学習ソリューションを備える結論エンジンである。照合ユニット３１８から出力される結論は、座席ごとの占有、占有者ごとの年齢クラス、または占有者ごとの正しい位置にあるか否かの検出を含むことができる。
【0166】
照合ユニットまたは結論エンジン３１８は、車両において座席が占有されているか、あるいは空いているかを判定する。図１に示されるように、前部座席は、運転者および乗客によって占有される。後部座席は空いており、別の座席が乗客によって占有されている。特定の実施形態において、呼吸または心拍が検出されたことを表す胸部の動きを使用して、生物と、座席に置かれることがあり、空の座席の信号とは異なる信号を反射する無生物とを、区別することができる。
【0167】
また、照合ユニットまたは結論エンジン３１８は、車両内の各々の乗客の年齢クラスを決定することもできる。図１において、運転者の年齢クラスは、「ＡＤＴ」、すなわち大人であると判定されてよく、乗客は、年齢クラス「ＭＣＤ」の中くらいの子供であってよく、乗客は、年齢クラス「５０Ｍ」の５０パーセンタイルの男性であってよい。
【0168】
さらに、照合ユニットまたは結論エンジン３１８は、各々の占有者が正しい位置にあるか否かの検出に役立つことができる。正しい位置は、車両内の乗客の通常の着座位置として定義される。図６Ｂおよび図６Ｃが、車両内の乗客の例示的な正しい位置の着座を示している。正しい位置または通常の着座位置において、乗客は背筋を伸ばして座席に座る。脚のうちの膝の上方および下方の部分は、互いにほぼ垂直である。図６Ｄ～図６Ｈが、車両内の乗客のさまざまな例示的な正しくない位置の着座を示している。
【0169】
このようにして決定された占有、年齢クラス、および正しくない位置の情報を、規則データベース３２０に転送することができ、規則データベース３２０が、受信した情報に基づいて各々の座席のアクションを決定する。次いで、決定されたアクションが、通信部３２２を介して出力ユニット３２４ａおよび３２４ｂに送信される。
【0170】
特定の座席について規則データベース３２０によって決定されるいくつかの例示的なアクションとして、例えば子供が前部座席に座っており、あるいは誰かがダッシュボード上に足を置いているなど、安全でないと見なされる場合に、エアバッグの動作をキャンセルすること、シートベルトの引き込みの強度を占有者のサイズおよび姿勢に合うように調整すること、乳児が車内に残されており、あるいは占有者が安全でない姿勢にある場合に、警報を鳴らすこと、などを挙げることができる。警報を、警告灯あるいは警報ビープ音または口頭メッセージなどの可聴信号の形態で、車載の出力装置３２４ａに提供することができる。
【0171】
照合ユニット３１８空の占有情報を、乗客が困難に陥っている場合や、乳児が車両に残されている場合を検出するため、および衝突後に、生命が車両内に存在し、どの座席に存在するかを緊急要員に知らせるために使用することができる。衝突後に、１人以上の乗客の呼吸または心拍が断続的に、または苦しそうに検出される場合、この情報を、緊急要員が、どの乗客を最初に救助して避難させるべきかを決定する際に使用することができる。
【0172】
乳児が車両によって運ばれていたことをクラウドに送信することができ、したがって事故の場合に、緊急作業者が乳児が運ばれていたことを知り、探さなければいけないことを知ることができる。これに関して、座席の足下に隠れ、あるいはブランケットによって隠れた乳児を、呼吸または心拍によって検出することができる。
【0173】
乗客の位置および身長の追跡に加えて、好ましい実施形態は、姿勢、動き、とくには占有者の呼吸および心拍を追跡するように構成される。これは、占有者が何らかのトラブルに巻き込まれた場合に有益であり得る。例えば、停止するように運転者に警告することができる。
【0174】
事故後に、レーダシステムは、緊急サービスに連絡するために通信システムを作動させることができ、実施形態は、バイタルサインを監視し、これらをクラウドを介して緊急要員に示すように動作することができる。
【0175】
さらに、事故の場合に、レーダシステムは、可聴な警報および告知システムを発するために警報システムを作動させることができる。
【0176】
占有を追跡することにより、タクシーサービスおよびバスの所有者は、運転手が乗せた乗客の数を隠して利益を不正に着服することがないことを、確実にすることができる。
【0177】
２人の乗客が座席を共有している状況や、乗客が立っている状況を追跡することも可能である。これは、運転者のいる車両または自律型車両において乗客の数を監視するうえで有用であり得、車両がそのような使用を運ぶために、またはそのような使用を報告するために許可されているか、または許可されているよりも多くの乗客を運ぶことを防止するために使用され得る。
【0178】
カージャックまたは放棄車両の場合、車両による最後の移動中の占有の詳細は、実行者を捕らえるための重要な情報を提供することができる。
【0179】
システムを、車両に閉じ込められた子供を検出するために、ドアが閉じられた後に数分間にわたって作動させてもよい。
【0180】
また、車上の乳児の動き、呼吸、および心臓活動を監視し、何か問題がある場合に運転者に警告することによって、運転者は進路に集中することができる。
【0181】
運転者の呼吸または心臓活動が標準からの逸脱を示す場合、運転者に車を路肩に止めるように助言することができ、さらには／あるいは信号をクラウドに送信して、車両所有者、配偶者、親、子供または近親者、高速道路警察、などの第三者への警告を可能にすることができる。
【0182】
出力ユニット３２４ａおよび３２４ｂは、ディスプレイまたはオーディオ出力などの車載の出力装置であってよい。あるいは、出力ユニット３２４ａおよび３２４ｂは、クライアントデバイス、サーバデバイス、ルーティング／スイッチングデバイス、またはクラウドサーバなどの外部デバイスの形態で遠隔に配置されてもよい。通信部３２２は、有線ＬＡＮ接続、無線ＬＡＮ接続、ＷｉＦｉ接続、Ｂｌｕｅｔｏｏｔｈ接続、Ｚｉｇｂｅｅ接続、Ｚ－Ｗａｖｅ接続、またはイーサネット接続であってよいネットワーク接続を介して、決定されたアクションを出力ユニット３２４ａおよび３２４ｂに通信することができる。例えば、通信部は、占有情報および決定されたアクションをクラウドサーバに送信する。このデータを、車両内の乗客数を監視するためのフリートオペレータ、および緊急システムなどが使用することができる。
【0183】
前処理ユニット３１２、データベース３１４、および処理ユニット３１６のうちの１つ以上は、レーダユニット３０４から受信した情報を処理するために車両のシステム内に統合されてよい。あるいは、これらのユニットのいずれも、クライアントデバイス、サーバデバイス、ルーティング／スイッチングデバイス、またはクラウドサーバなどの外部デバイスに統合されてよい。次いで、これらのユニットは、有線ＬＡＮ接続、無線ＬＡＮ接続、ＷｉＦｉ接続、Ｂｌｕｅｔｏｏｔｈ接続、Ｚｉｇｂｅｅ接続、Ｚ－Ｗａｖｅ接続、またはイーサネット接続であってよいネットワーク接続を介して、レーダユニット１０４と通信することができる。
【0184】
ここで、車両１５０の座席占有情報を決定するための例示的な方法を示している図７を参照する。プロセスは、ステップ７０２において開始し、ステップ７０４において電磁波が送信機アレイ３０６によって乗客の座席１５５Ａ～Ｃに向かって送信される。ステップ７０４において乗客の座席１５５Ａ～Ｃから反射された波は、ステップ７０６において受信機アレイ３１０によって受信される。ステップ７０８において、前処理ユニット３１２によって、受信されたＥＭ波から個人重要点（ＰＫＰ）が抽出され、ステップ７１０において、車両の各々の座席について重要骨格点が識別される。抽出された個人重要点（ＰＫＰ）は、乗客の頭部、左右の肩、下腹部または骨盤の左右外側地点、ならびに左右の膝または大腿上の点を含むことができる。
【0185】
ステップ７１２において、重要骨格点は、処理ユニット３１６の照合ユニット３１８に送信される。ステップ７１４において、照合ユニット３１８は、前処理ユニット１１２から受信した重要骨格点をデータベース３１４から受信した標準乗客パラメータと比較する。データベース３１４は、年齢クラスに応じた乗客の位置および姿勢の標準的なリストを含む。ステップ７１６において、照合ユニット１１８は、重要骨格点とデータベース３１４に記憶された標準的なクラス－年齢－身長関係との比較に基づいて、車両の各々の座席の占有情報を決定する。照合ユニット３１８から出力される結論は、座席ごとの占有、占有者ごとの年齢クラス、および占有者ごとの正しい位置にあるか否かの検出を含むことができる。
【0186】
次いで、占有、年齢クラス、および正しくない位置の情報は、規則データベース３２０に転送され、規則データベース３２０が、ステップ７１８において、受信した情報に基づいて各々の座席のアクションを決定する。ステップ７２０において、決定されたアクションが、通信部３２２を介して出力ユニット３２４ａおよび３２４ｂに送信される。所望のアクションが、ステップ７２２において出力ユニット３２４ａおよび３２４ｂによって実行され、プロセスは、ステップ７２４において停止する。
【0187】
以下の詳細な説明において、本発明の充分な理解をもたらすために、多数の詳細が説明される。本発明を、これらの具体的な詳細によらずに実施できることを、当業者であれば理解できるであろう。他の場合に、本発明を不明瞭にすることがないように、周知の方法、手順、および構成要素は、詳細には説明されていない。
【0188】
本発明の実施形態は、少なくとも１つの標的物の１つ以上の要素から測定値を検出および取得するためのＲＦ信号処理を提供する。さらに、関連の実施形態において、検出および測定は、相関する動きに寄与する特定の１つ以上の部分を分離または識別する必要なく行われる。
【0189】
本明細書における「複合標的」という用語は、１つ以上の部分を有している標的物体であって、それらの部分が、それらのそれぞれの反射特性（本明細書において、それらのそれぞれの「反射率」と称する）のみでは必ずしも区別されず、むしろそれらの相関した動きまたは運動によって区別される標的物体を指す。
【0190】
標的物の識別は、異なる運動モードを有するそれらの要素に基づく。同様に、背景からの標的物の識別は、それらのそれぞれの動運動モードのコントラストから達成される。
【0191】
いくつかの用途は、ヒト標的の例えば「成人」、「乳児」などのカテゴリへのさらなる分類を提供する。
【0192】
他の用途は、身体の領域または部分の識別を提供する。人体は、関節によって接続された剛体（骨）の集合としてモデル化される。剛体は、表面上のすべての点が、剛体の６自由度のすべての組み合わせであるため、相関したやり方で動くという特性を有する。本発明のこれらの実施形態において、相関する動きを要素にグループ化することにより、身体の領域または部分の識別が容易になる。
【0193】
他の用途は、これらに限られるわけではないが、歩行、走行、跳躍、四肢の協調運、物体の運搬、頭部の旋回、手によるジェスチャ、姿勢の変化、などを含む身体活動の検出および測定を提供する。
【0194】
本発明のさらなる用途は、これらに限られるわけではないが車内および他の移動プラットフォーム、病院ならびに他の医療および介護施設、ならびに空港および他の交通ステーション、ショッピングセンター、倉庫、その他の商業施設、住宅およびオフィス複合施設、博物館、劇場、エンターテイメントホール、公園、運動場、スタジアム、および学校などの機関が非限定的な例として挙げられる公共の場所など、特定の背景特性および監視要件を特徴とする特殊な環境における個人の相関する動きの検出を提供する。
【0195】
本発明のさらなる用途として、医療および健康関連用途、セキュリティ用途、群衆管理用途、ならびに車両の安全性および快適性の用途が挙げられる。
【0196】
本発明の種々の実施形態によれば、複合標的は、人体を含むことができる。これらの実施形態では、身体の部分として、これらに限られるわけではないが、頭部、頸部、個々の肢、および胴体が挙げられる。特定の実施形態において、呼吸および心拍などの生理学的活動が、呼吸および心拍に関与する身体の領域（すなわち、胴体）を分離または識別する必要なく、検出可能かつ測定可能である。
【0197】
本明細書における「相関した移動」という用語は、物体セットの１つの物理的要素の別の物理的要素に対する移動、要素自体の体積変化、向き、位置、形状、輪郭、またはこれらの任意の組み合わせの変化を含む。
【0198】
本明細書における「測定する」という用語およびその変形は、定量的な値（多変量値を含む）の決定だけでなく、値、とくには時間変化を分析し、その定性的特性評価を行うことも意味する。
【0199】
「ボクセル要素」という用語は、一連の３Ｄ画像から分解されたエンティティを指し、各々の画像はそれぞれのフレームに関する。
【0200】
用語が文脈に依存することを理解されたい。物理分野の文脈においては、同じ用語が、同じエンティティの信号または論理表現を指して使用される。
【0201】
そのような定性的特性評価の非限定的な例は、被験者の心拍および呼吸などの多変量生理学的データの測定を含む。これらの生理学的活動を生データとして検出および測定することができるだけでなく、測定値として、呼吸数、心拍数、および心拍数変動に基づく被験者の現在の身体的および精神的状態の定性的評価を含むことも可能である。精神状態は、他の状態の中でも、意識レベル、眠気、疲労、不安、ストレス、および怒りを含むことを意味する。
【0202】
ここで図面を参照すると、図８が、メモリ７および出力装置９と通信するプロセッサ６に接続された無線周波数（ＲＦ）モジュール１に結合したアンテナアレイ２を含む一実施形態によるＭＩＭＯ撮像デバイスの概略のブロック図である。出力装置９は、視覚装置、聴覚装置、無線装置、およびプリンタを含む。
【0203】
図示のように、標的物セット３の面４の反射要素は、半径方向距離Ｄｔが時間と共に変化するにつれて異なる反射率を提供する。以前の時間フレームの反射率データを考慮して反射率データを分析することにより、ＭＩＭＯ撮像システムにおいて現在は利用できない識別能力を好都合に提供する相関した移動の検出が可能になる。これは、伝統的なＭＩＭＯ撮像システムが、以前の時間フレームの反射率データとは無関係に、各々の時間フレームの反射率データに基づいて画像を繰り返し構築するためである。したがって、微分ツールとして相関した運動を使用することは、ＭＩＭＯ撮像の技術分野における進歩を構成する。
【0204】
図９Ａが、本発明の一実施形態による一般的な処理方式を説明する上位のフローチャートである。この方式を、閉ループとして説明することができ、ループの各々の反復は、一連のステップからなる。
【0205】
ループは、新たな時間フレームの取得および処理が開始されるステップ１０において始まる。フレームは、一定の間隔Δｔで開始される（すなわち、フレームレートが
に等しい）。本発明の様々な実施形態によれば、Δｔは、一フレームから別のフレームへの連続性を維持するために、Δｔの最中の標的運動ΔＤがレーダ信号の波長と比較して小さくなるように選択される（すなわち、
）。
中心周波数ｆを有する波の場合、波長はｃ／ｆであり、ここで、ｃは光速である。標的の周期的な相関した運動を検出および測定する場合、一連のフレームによる撮像は、サンプリングプロセスであるため、フレームレートを、エイリアシングを回避するためにナイキスト基準に従って設定する必要がある。フレームは、時間に対応するｔ＝０、１、２、・・・によってインデックス付けされ、連続するインデックスは、Δｔのそれぞれの倍数を表す。
【数1】
に等しい）。本発明の様々な実施形態によれば、Δｔは、一フレームから別のフレームへの連続性を維持するために、Δｔの最中の標的運動ΔＤがレーダ信号の波長と比較して小さくなるように選択される（すなわち、
【数2】
）。
中心周波数ｆを有する波の場合、波長はｃ／ｆであり、ここで、ｃは光速である。標的の周期的な相関した運動を検出および測定する場合、一連のフレームによる撮像は、サンプリングプロセスであるため、フレームレートを、エイリアシングを回避するためにナイキスト基準に従って設定する必要がある。フレームは、時間に対応するｔ＝０、１、２、・・・によってインデックス付けされ、連続するインデックスは、Δｔのそれぞれの倍数を表す。
【0206】
ステップ２０において、レーダ信号が送信、受信、および処理されて、各々の送信信号に対する各々の受信信号の振幅および位相を表す複素フェーザが生成される。ステップ２０は、図９Ｂにおいてさらに詳述される。
【0207】
ステップ３０において、いくつかの信号処理ステップが実行され、各々が空間パターンおよび軌跡（変位対時間）からなる一組のコンポーネントが得られる。ステップ３０は、図４においてさらに詳述される。
【0208】
ステップ４０において、コンポーネントは、標的を識別し、標的を分類し、関心の標的パラメータを推定するために使用される。ステップ４０は、図９Ｃにおいてさらに詳述される。
【0209】
ステップ５０において、識別された標的およびそれらの推定されたパラメータは、これらに限られるわけではないが車両システム（例えば、ホーンを作動させる、空調をオンにする、ドアのロックを解除する、）、通信インターフェース（例えば、ユーザのモバイルデバイスを使用してユーザに警報を伝える）、またはユーザインターフェース（ユーザに通知し、アクションを起こすことを可能にする）、などの外部システムと対話するために使用される。
【0210】
ステップ６０において、フレーム処理が終了する。ステップ７０において、システムの動作モードが、タイマ、識別された標的およびそれらのパラメータ、ならびにユーザ入力に従って調整される。システム動作モードは、これらに限られるわけではないが、システムがキャプチャする１秒当たりのフレーム数（Δｔを決定する）および送信電力などのパラメータを制御する。場合によっては、システムは、一定期間にわたって待機モードにされる。動作モードの調整は、システム電力を節約するために行われる。ループは、（動作モードによって決まるタイミングに従って）次のフレームが始まるときに閉じ、システムはステップ１０に戻る。
【0211】
図９Ｂが、図７Ａのレーダ信号取得ステップ（ステップ２０）を詳述するフローチャートである。ステップ２１において、１つ以上のアンテナからレーダ信号が送信される。複数のアンテナが送信に使用される場合、送信を順次に（アンテナごとに）、または同時に行うことができる。本発明のいくつかの実施形態において、アンテナは、ＢＰＳＫ、ＱＰＳＫ、または当技術分野で知られている他の符号化方式などの符号化方式を使用して同時に送信する。送信は、単一の周波数を含むことができ、あるいは複数の周波数を含むことができる。
【0212】
ステップ２２において、アンテナの周囲の物理的環境内の標的によって反射されたレーダ信号が、１つ以上のアンテナによって受信される。次に、ステップ２３において、各々の送信周波数および送信アンテナおよび受信アンテナの各ペアについて、受信信号が処理されて、送信信号に対する受信信号の位相および振幅を表す複素フェーザ（項目２４）が生成される。
【0213】
図９Ｃが、本発明の一実施形態における図９Ａのレーダ信号処理ステップ（ステップ３０）を詳述するフローチャートである。ステップ３１ａにおいて、受信信号を記述する複素フェーザの組から３Ｄ画像が生成される。画像空間表現は、その要素が座標系に空間的に一致するボクセルセットＶによる画像行列Ｓ＝［Ｓｖ，ｔ］を含むデータブロック３２ａとして概念的に要約される。ボクセルセットの特定の座標系は、どれが最も便利かに応じて選択することができる。一般的な選択肢として、デカルト座標（ｖｘ，ｙ，ｚ）および極座標（ｖｒ，θ，φ）が挙げられるが、他の座標系も同様に使用可能である。各々のボクセルは、単一の値Ｓｖ，ｔ＝Ａｖ，ｔｅｊφｖ，ｔに関連付けられ、式中、Ａｖ，ｔは振幅であり、φｖ，ｔはボクセルｖにおけるリフレクタに関する位相である。位相φｖ，ｔは、ボクセルｖ内のリフレクタのそのボクセルの中心からの半径方向変位（Ｄｖ，ｔと称される）によって決定される。位相は、以下の式：
によって変位に関係し、式中、ｆは中心周波数を指す。単一のサイクルは２πラジアンにわたって延びるが、反射は波が移動する距離を２倍にするので、２という追加の係数が必要である。
【数3】
によって変位に関係し、式中、ｆは中心周波数を指す。単一のサイクルは２πラジアンにわたって延びるが、反射は波が移動する距離を２倍にするので、２という追加の係数が必要である。
【0214】
ステップ３３ａにおいて、現在のフレームの各ボクセルに関連付けられた値（Ｓｖ，ｔ）が、先行のフレーム（Ｓｖ，ｔ－１）の同じボクセルに関連付けられた値と共に使用され、２つのフレーム間の半径方向変位のロバストな推定値が以下の式
を使用して得られ、式中、λおよびεは、最終値へのノイズの影響を最小限に抑えるように選択された実数スカラーパラメータである。λおよびεの典型的な値は小さく、妥当な値は、λについて約０．１、εについて約１×１０－８である。
【数4】
を使用して得られ、式中、λおよびεは、最終値へのノイズの影響を最小限に抑えるように選択された実数スカラーパラメータである。λおよびεの典型的な値は小さく、妥当な値は、λについて約０．１、εについて約１×１０－８である。
【0215】
本発明の別の実施形態によれば、推定変位のより良好な線形性を提供するために、式のわずかに修正されたバージョンが使用される。
【数5】
【0216】
本発明の一実施形態によれば、推定変位データ（
）は、スライディングウィンドウ（これは、他の選択肢のうちでもとりわけ循環バッファを使用することによって実施することができる）を使用して記録され（項目３４ａ）、ステップ３５ａにおいて、半径方向軌跡コンポーネントは、ブラインド信号分離（ＢＳＳ）（「ブラインドソース分離」としても知られる）を使用して独立した要素に分解される。関連の実施形態において、半径方向軌跡の要素は、ＢＳＳの特殊事例である独立成分分析（ＩＣＡ）を使用することによって分離される。別の実施形態において、半径方向軌跡の要素は、主成分分析（ＰＣＡ）によって分離される。別の実施形態において、半径方向軌跡の要素は、特異値分解（ＳＶＤ）によって分離される。
【数6】
）は、スライディングウィンドウ（これは、他の選択肢のうちでもとりわけ循環バッファを使用することによって実施することができる）を使用して記録され（項目３４ａ）、ステップ３５ａにおいて、半径方向軌跡コンポーネントは、ブラインド信号分離（ＢＳＳ）（「ブラインドソース分離」としても知られる）を使用して独立した要素に分解される。関連の実施形態において、半径方向軌跡の要素は、ＢＳＳの特殊事例である独立成分分析（ＩＣＡ）を使用することによって分離される。別の実施形態において、半径方向軌跡の要素は、主成分分析（ＰＣＡ）によって分離される。別の実施形態において、半径方向軌跡の要素は、特異値分解（ＳＶＤ）によって分離される。
【0217】
本発明の別の実施形態においては、スライディングウィンドウの使用を回避し、要素の分離をフレームごとに増分的に実行することを可能にするオンライン分解アルゴリズムが使用される。
【0218】
【数7】
は、行がボクセルを表し、列がフレームを表す行列である。分解アルゴリズムは、
【数8】
の因数分解を因子トリプレット（「要素」）の形態で抽出し、
Ｃｋ＝（ｕｖ，ｋ，σｋ，ｗｋ，ｔ）（３）
式中、行列［ｗｋ，ｔ］は、総計のフレーム依存の（すなわち、時間依存の）増分半径方向変位を表す。また、行列［ｕｖ，ｋ］は、コンポーネントに関連する空間（ボクセル依存）パターンを表す。
【0219】
増分半径方向変位は、時間の関数としての推定半径方向変位軌跡を得るために合計され、
ここで、値は、標的の観察された最大の増分移動に対して正規化される。本明細書における「合計」という用語は、式（４）の離散表現だけでなく、軌跡を積分として計算する関連の実施形態による「積分」にも関連する。
【数9】
ここで、値は、標的の観察された最大の増分移動に対して正規化される。本明細書における「合計」という用語は、式（４）の離散表現だけでなく、軌跡を積分として計算する関連の実施形態による「積分」にも関連する。
【0220】
空間パターン［ｕｖ，ｋ］および半径方向変位軌跡
は、項目３６ａとして記録される。
【数10】
は、項目３６ａとして記録される。
【0221】
図９Ｄが、（図９Ｃによって説明される実施形態とは別の）本発明の一実施形態における図９Ａのレーダ信号処理ステップ（ステップ３０）を詳述するフローチャートである。ステップ３１ｂにおいて、上記の説明と同様のやり方で、３Ｄ画像が生成される（項目３２ｂ）。ステップ３３ｂにおいて、３Ｄ画像は、上述したアルゴリズムと同様のアルゴリズムを使用して分解され、各々が３Ｄ画像および複素フェーザからなる時間パターンによって記述される要素の組が生成される（項目３４ｂ）。ステップ３５ｂにおいて、各々の時間パターンは、上述した手順と同様の位相検出手順を使用して処理され、各々の要素の変位データが生成される（項目３６ｂ）。
【0222】
図９Ｅが、（図９Ｃおよび図９Ｄによって説明される実施形態とは別の）本発明の一実施形態における図９Ａのレーダ信号処理ステップ（ステップ３０）を詳述するフローチャートである。ステップ３１ｃにおいて、複素レーダ信号が、上述したアルゴリズムと同様のアルゴリズムを使用して分解され、各々が時間に依存しない複素信号および複素フェーザからなる時間パターンによって記述される要素の組が生成される（項目３２ｃ）。ステップ３３ｃにおいて、各々の時間パターンは、上述した手順と同様の位相検出手順を使用して処理され、各々の要素の変位データが生成される（項目３４ｃ）。ステップ３５ｃにおいて、各々の時間に依存しない信号パターンは、上記の説明と同様のやり方で、対応する要素のための３Ｄ画像を生成するために使用される（項目３６ｃ）。
【0223】
図９Ｆが、本発明の一実施形態における図９Ａの標的処理ステップ（ステップ４０）を詳述するフローチャートである。ステップ４１において、要素は、各々の要素の空間パターンを調べ、標的リストを生成することによって、検出された物理的物体を表す標的にグループ化される（項目４２）。ステップ４３において、標的が分類され、各々の標的に「背景」（例えば、車の内装の部品）、「大人」、「幼児」、「ペット」、などのラベルが与えられる（項目４４）。この分類は、標的内の各々の要素の空間パターンおよび時間変位データの両方を調べることによって行われる。
【0224】
ステップ４５において、各々のヒト標的内の要素の時間変位データが使用され、標的の動きの周期性を記述するスペクトルパワー分布モデルが生成される。本発明の一実施形態において、スペクトルパワー密度モデル（ノンパラメトリックスペクトルモデル）を生成するために、Ｗｅｌｃｈの方法が使用される。別の実施形態においては、スペクトルパワー密度モデルを生成するために、ＡＲＭＡ（自己回帰移動平均）モデル（パラメトリックスペクトルモデル）が使用される。生理学的パラメータは、呼吸数、心拍数、および心拍数変動など、ヒト標的について推定される。呼吸数および心拍数は、スペクトルパワー分布におけるピークの位置から推定される。一実施形態においては、Ｗｅｌｃｈの方法を使用して、心拍数変動が、心拍に対応するスペクトルピークの幅から推定される。別の実施形態においては、ＡＲＭＡモデルを使用して、心拍数変動が、ＡＲＭＡモデル自体のパラメトリック表現から推定される。
【0225】
ステップ４７において、呼吸数、心拍数、および心拍数変動は、健康状態または精神状態の変化を表す変化に関して監視される。
【0226】
ステップ４８において、ヒト標的の各要素に関する３Ｄ画像が、１つ以上の人体部分を有する要素を識別するために使用される。次いで、この識別が、上述したように、人間の姿勢および活動タイプ（座っている、立っている、走っている、など）などの追加のデータを生成するために使用される。
【0227】
図１０Ａが、本発明の一実施形態による方法および装置によって被験者について測定された半径方向変位対時間のグラフを示している。部分２０１は、検出された心拍を示し、部分２０２は、検出された呼吸を示している。本発明のこの実施形態によれば、心拍および呼吸を担う身体の個々の領域を分離する必要がないことに留意されたい。
【0228】
図１０Ｂが、本発明の一実施形態による方法および装置によって識別された２つの要素のスペクトルパワー密度のプロットを示している。
【0229】
この実施形態において、センサは被験者の近くに配置されており、２つの要素は、一方は被験者の呼吸運動に由来し、他方は被験者の心拍運動に由来する２つの運動モードを表している。見て取ることができるとおり、要素は、互いに異なる周期性を有する運動を表す。次いで、各要素を使用して、対応する速度パラメータ、すなわち呼吸数（ＲＰＭ（呼吸数／分）で測定される）および心拍数（ＢＰＭ（心拍数／分）で測定される）が計算される。
【0230】
【0231】
導入として、車内環境は、乗客の近接度、乗客の反射率の違い、および車の振動など、乗客を互いに識別および分離すること、ならびに撮像時の車内背景から識別および分離することを難しくするいくつかの因子を有する。
【0232】
乗客の近接とは、後部座席で一般的であるように、互いに隣り合って座り、場合によっては互いに接している乗客を指す。したがって、これらの後部座席の乗客は、各々のフレームの反射率データを別々に考慮すると、単一の標的物として現れる可能性がある。
【0233】
乗客の反射率の違いは、サイズ（例えば、成人対乳児）、位置、および向きの違いに起因してきわめて大きくなる可能性がある。乗客の反射率の違いは、検出性能を低下させる可能性がある（偽陽性率および偽陰性率）。
【0234】
さらに、車の振動も、現在の技術水準のＭＩＭＯ撮像技術にとって重大な課題を提示する。位置の変化の検出の困難性が、乗客の背景（車内自体）が振動し、その反射特性を変化させるがゆえに悪化する。上述したように、これらの撮像における障害は、微分パラメータとしての相関した運動の使用によって解決される。
【0235】
図１１Ａが、自動車の客室の天井に設置されたＭＩＭＯレーダによって生成された３Ｄ画像の２Ｄ上面図投影を示している。画像は、単一の取り込まれたフレームを表している。車内の境界を示すために、白い長方形が追加されている。示されている特定の状況は、大人が運転席（白い長方形の左上隅）に座っており、幼児が助手席（白い長方形の右上隅）に座っており、もう１人の大人が後列の右側の座席（白い長方形の右下隅）に座っている状況である。見て取ることができるとおり、大人の乗客と比較して反射率が低いため、幼児を識別することは極めて困難である。大人の乗客に関連する物体が、幼児からの信号反射をマスクする。
【0236】
図１１Ｂ～図１１Ｄが、各々の個別の乗客の相関する運動を識別することによって一連のフレームから分解された３つの要素に関する空間パターンを示している。これらの空間パターンは、３人の乗客の容易な識別を可能にする。
【0237】
図１１Ｅは、システムの出力として使用されるユーザインターフェースのスクリーンショットを示している。左側は、図８ｂ、図８ｃ、および図８ｄに示される空間パターンをフィルタ処理し、次いで再び組み合わせることによって生成された画像である。右側は、システムによって報告された占有状態のグラフィックによる概要であり、正しい位置にいる２人の大人および乳児を正しく識別している。乗客の大人および乳児への分類は、検出された各要素の空間パターンを調べることによって行われる。
【0238】
分離されたコンポーネントは、例えば呼吸に関連する空間運動モードおよび心拍に関連する空間運動モードなど、各タイプの運動に関連する空間運動モードを特徴付ける。
【0239】
運動が特徴付けられるボクセルの組は、標的追跡機能から由来することができ、あるいは車内の人間の候補着座位置などの先験的な知識から由来することができる。ボクセルの組は、複数の人々を包含することができ、運動モードの組が、例えばそれらの複数の人々の呼吸パターンを包含すると考えられる。走行中の車両の場合、空間運動モードは、車両の振動によって引き起こされる動きを含む可能性があり、測定されたボクセルは、空の座席などの基準物体を含み得る。他の例において、測定は、天井扇風機などの環境内の運動物体を含むことができ、そのような物体によって引き起こされる変動と、関心の人々によって引き起こされる運動とを分離することができる。
【0240】
いくつかの実施形態によれば、システムは、高検出モード、中間モード、または待機モードなどのさまざまな検出または動作モードで動作するように構成可能であり、ｆｐｓおよびそれぞれの持続時間が、ユーザまたは製造業者によって設定される。以下が、動作モードの例である。
高動作モード：１２秒間にわたる３０フレーム／秒（ｆｐｓ）の取り込み速度、その後の１８秒間にわたる取り込み休止、およびこれら２つのステップの６回の連続的な繰り返し（全体として３分間）；
中間動作モード：９秒間にわたる１０ｆｐｓの取り込み速度、その後の５１秒間にわたる取り込み休止、およびこれら２つのステップの１０回の連続的な繰り返し（全体として１０分間）；
待機モード：１０分間にわたって取り込みがないが、取り込まれて処理された以前のデータが将来の分析および比較のために保存される。
高動作モード：１２秒間にわたる３０フレーム／秒（ｆｐｓ）の取り込み速度、その後の１８秒間にわたる取り込み休止、およびこれら２つのステップの６回の連続的な繰り返し（全体として３分間）；
中間動作モード：９秒間にわたる１０ｆｐｓの取り込み速度、その後の５１秒間にわたる取り込み休止、およびこれら２つのステップの１０回の連続的な繰り返し（全体として１０分間）；
待機モード：１０分間にわたって取り込みがないが、取り込まれて処理された以前のデータが将来の分析および比較のために保存される。
【0241】
システムは、各々が所定の時間または所定のサイクル数にわたり、あるいは所定の期間およびサイクルの組み合わせによるさまざまな動作モードで動作する設定を提供することによって、さらなる柔軟性を提供する。
【0242】
さらに、いくつかの実施形態によれば、システムは、収集されたデータに応答して、或る動作モードから別の動作モードに自動的に変化することができる。
【0243】
いくつかの実施形態によれば、システムを手動で動作させる（「オン」にする）ことができ、いくつかの実施形態によれば、システムを、所定の命令（例えば、特定の時間の間）および／または別のシステムの所定の状態に応答して自動的に動作させることができる。
【0244】
さらなる省電力対策は、異なる電力消費または動作モードに従って、動作させるレーダ、送信／受信モジュール、およびプロセッサの数を減らすことを含む。
【0245】
いくつかの実施形態によれば、システムは、電力リソースを節約するために、一時的にオフにし、あるいは一時的に「待機」モードで動作させることができる。
【0246】
図１２が、特定の実施形態による、能動的検出モードの最中に用いられる一動作サイクルの動作段階を示している。図示のように、動作サイクルは、測定段階、計算段階、およびアイドル段階を含む。
【0247】
測定段階において、複合標的物の捕捉は、例えば１５～２５フレーム／秒（ｆｐｓ）のフルフレームレートで、１０ｍｓｅｃの時間スロットにわたって、１２ｖの電圧を介して４５０ｍＡの電流を使用する。
【0248】
動きを識別するために上述の方法のうちの少なくともいくつかに従って計算が実行される計算段階において、５０ｍｓｅｃの時間スロットにわたって、１２ｖの電圧を介して１５０ｍＡの電流が使用される。
【0249】
アイドル段階においては、以前に捕捉または計算されたデータのメモリ保持を保証するために、１２ｖの電圧による３０ｍＡの電流が、１４０ｍｓｅｃの時間スロットにわたって使用される。
【0250】
いくつかの実施形態によれば、上述の方法およびシステムを、さまざまな監視および警告の使用のために実施することができる。特定の用途において、例えば、車両の後部座席または幼児用寝台に座っている乳児／幼児が監視される。装置は、呼吸数または心拍数のしきい値変動変化の検出に応答して警報を作動させるように構成される。
【0251】
別の車両監視用途は、エンジンの停止およびドアの施錠に続くしきい値時間の後の車両内に残された乳児または幼児の検出の分野である。
【0252】
特定の実施形態において、監視装置は、占有者を監視するために車両内に実装される。
【0253】
特定の実施形態において、車両監視装置は、エンジンがオフであるときおよび／またはドアが施錠されているときに、所定のサイクル数および／または時間にわたって、上述の高動作モードおよび中間動作モードの少なくとも一方に従って動作するように構成される。装置は、そのような動作機能を提供するために、エンジンおよび施錠システムに接続される。動きが観察されない状況において、監視装置は、設定可能な時間にわたって待機モードをとる。
【0254】
いくつかの実施形態によれば、警報は、車両のホーンを作動させること、車両の換気を作動させること、車両の窓を開けること、車両の施錠を解除すること、アプリケーションユーザに警報を送ること、緊急サービスに警報を送ること、およびこれらの任意の組み合わせのいずれかから選択される。いくつかの実施形態によれば、警告は、システムが手動でオフに切り替えられるまで繰り返される。
【0255】
監視装置は、車両が「ＯＮ」にされ、システムが手動でオフにされるか、自動的にオフになるまで、「監視」および「待機」の動作モードを順次に繰り返すように構成され、あるいはしきい値時間の経過もしくはしきい値反復回数の達成のいずれかに従って監視を継続する。
【0256】
同様に、装置を使用して、ベッドの高齢者または病人を監視し、呼吸数、心拍数、または心拍数変動のしきい値変動に応答して警報を作動させることができる。
【0257】
装置に接続された警報として、可聴警報、視覚警報、または両者の組み合わせが挙げられ、特定の実施形態において、警報は、さまざまな無線技術のいずれかを介して遠隔にて作動させられる。
【0258】
別個の実施形態に記載された特徴の組み合わせから形成される実施形態も、本発明の範囲内であることを理解されたい。さらに、本発明の特定の特徴を本明細書において例示および説明したが、修正、置換、および均等物が、本発明の範囲内に含まれる。
【0259】
本開示の態様は、車両のさまざまな座席内の車両占有者を分類するためのシステムおよび方法に関する。
【0260】
そのようなタスクを目的としたシステムおよび方法は、暗闇を含む２４時間動作することができ、たとえ例えばブランケットに覆われているなど、隠れていても、占有者を検出および分類することができる必要がある。車両の状態にかかわらず、イグニッションがオンであるか否か、空調が作動しているか否か、車両が静止しているか、あるいは移動しているか、ならびに凹凸のある道路を移動しているかとは無関係に、信頼できる分類が提供されなければならない。
【0261】
占有者の分類として、これらに限られるわけではないが、年齢層、体重、サイズ、チャイルドシートが存在するかどうかの表示、占有者の位置、動物対人間、子供対大人、男性対女性、ならびに水筒および吊り下げられたシャツ（運転中に動きがちである）などの物体、などのさまざまな分類を含み得る。
【0262】
占有者の分類は重要であるが、同時にプライバシを尊重し、識別の詳細の検出および記録を回避することも、多くの場合に要求される。
【0263】
占有者の分類に関して可能な技術として、座席の下方の圧力センサ、任意の種類の深度カメラによって支援されてよいカメラ、スタンドアロンの深度カメラ、超音波撮像、およびレーダ撮像を挙げることができる。
【0264】
カメラの主な欠点は、外部光源が必要であること、および不透明な材料を透過できないことである。さらに、カメラの画像分解能は、プライバシを侵害する可能性がある。
【0265】
例えば、赤外周波数で自身の光を放つ深度カメラは、暗闇で動作することができるが、昼間には飽和する可能性がある。さらに、多くの場合、座席およびブランケットを透過しない。
【0266】
圧力センサは、重量に関する情報をもたらすが、占有者の形状またはサイズに関する情報をもたらすことがなく、したがって一般に不充分である。
【0267】
他方で、レーダおよび超音波撮像システムを、１ｃｍ程度の波長を有する波を使用して実現することができる。そのようなシステムは、暗闇で動作することができ、可視光に対して透明ではない物体を透過することができる。１ｃｍの波長は、技術的および法的要件ならびに安全規則に従うように、上記で概説したように占有者を年齢層、体重、サイズ、チャイルドシートが存在するかどうかの表示、占有者の位置、などのグループに分類するのに充分であるが、それらを識別するには不充分である。レーダおよび超音波センサは、ブランケットの下方の乗客を識別するために使用することが可能であり、光および音という自然源によって飽和することがない。
【0268】
図１３を参照して、座標グリッド上で車両内で取得された３Ｄ複合画像を、関連の分類を有する車両の占有者のリストに変換する方法を説明する。
【0269】
本方法は、車両の客室の占有者の３Ｄ複合画像を取得するステップ１１０を含む。
【0270】
占有者の動的モデルを得るためには、画像の蓄積が必要である。３次元画像（座標の所定の組における複素値）は、行列内の行ベクトルとして記憶される。行列は、所定数の画像（フレーム）を記憶でき、あるいは記憶されるフレームの数は可変であってもよい。
【0271】
送信および受信要素のアレイが、車両の内側および場合によっては周囲の所定の領域または体積内の座標に関連付けられた複素数値の組を生成するために使用される。これらの値および関連の座標は、複素３Ｄ画像と呼ばれる。複素数値の大きさは、反射物体がその座標に位置する確率を表すことができる。
【0272】
参照によって本明細書に組み込まれる「ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＭＥＡＳＵＲＩＮＧ ＣＯＲＲＥＬＡＴＥＤ ＭＯＶＥＭＥＮＴ ＢＹ ＵＬＴＲＡ－ＷＩＤＥＢＡＮＤ ＭＩＭＯ ＲＡＤＡＲ」という名称の米国特許出願公開第２０１９／０２５４５４４号が、動いている占有者の３Ｄ複素画像を取得するための例示的な方法の説明を提供している。別の方法が、参照によって本明細書に組み込まれるＪ．Ｍ．Ｌｏｐｅｚ－Ｓａｎｃｈｅｚ，Ｊ．Ｆｏｒｔｕｎｙ－Ｇｕａｓｃｈ，’’３－Ｄ Ｒａｄａｒ Ｉｍａｇｉｎｇ Ｕｓｉｎｇ Ｒａｎｇｅ Ｍｉｇｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ’’，ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ａｎｔｅｎｎａｓ ａｎｄ ｐｒｏｐａｇａｔｉｏｎ，ｖｏｌ．４８，ｎｏ．５，Ｍａｙ ２０００，ｐｐ ７２８－７３７に記載されている。
【0273】
特定の場合として、画像は、例えば各々のボクセル内の大きさを表す実数値のみを格納することができる。
【0274】
送信および受信要素のアレイのためのそのような複素画像を構築するための既知のアルゴリズムは、遅延和アルゴリズム（ＤＡＳ）である。ＤＡＳアルゴリズムの変形を、参照によって本明細書に組み込まれるＧｉｕｌｉａ Ｍａｔｒｏｎｅ，Ａｌｌｅｓａｎｄｒｏ Ｓｔｕａｒｔ，Ｇｉｏｓｕｅ Ｃａｌｉａｎｏ，Ｇｉｕｖａｎｎｉ Ｍａｇｅｎｅｓ，’’Ｔｈｅ Ｄｅｌａｙ Ｍｕｌｔｉｐｌｙ ａｎｄ Ｓｕｍ Ａｌｇｏｒｉｔｈｍ ｉｎ Ｕｌｔｒａｓｏｕｎｄ Ｂ－Ｍｏｄｅ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ’’，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，Ｖｏｌ．３４，ｎｕｍｂｅｒ ４，Ａｐｒｉｌ ２０１５に見つけることができる。より複雑なアルゴリズムは、逆問題を解くためのアルゴリズムを含む。撮像における逆問題の解決の再考を、どちらも参照によって本明細書に組み込まれるＡｌｉｃｅ Ｌｕｃａｓ，Ｍｉｃｈａｅｌ Ｉｌｉａｄｉｓ，Ｒａｆａｅｌ Ｍｏｌｉｎａ，Ａｇｇｅｌｏｓ Ｋ．Ｋａｔｓａｇｇｅｌｏｓ，’’Ｕｓｉｎｇ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｉｎｖｅｒｓｅ Ｐｒｏｂｌｅｍｓ ｉｎ Ｉｍａｇｉｎｇ：Ｂｅｙｏｎｄ Ａｎａｌｙｔｉｃａｌ Ｍｅｔｈｏｄｓ’’，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，Ｖｏｌｕｍｅ ３５，Ｉｓｓｕｅ １，Ｊａｎｕａｒｙ ２０１８，ｐｐ．２０－３６およびＭｉｃｈａｅｌ Ｔ．ＭｃＣａｎｎ，Ｋｙｏｎｇ Ｈｗａｎ Ｊｉｎ，Ｍｉｃｈａｅｌ Ｕｎｓｅｒ，’’Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｉｎｖｅｒｓｅ Ｐｒｏｂｌｅｍｓ ｉｎ Ｉｍａｇｉｎｇ：Ａ Ｒｅｖｉｅｗ’’，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，Ｖｏｌｕｍｅ ３４，Ｉｓｓｕｅ ６，Ｎｏｖ．２０１７，ｐｐ．８５－９５に見つけることができる。
【0275】
占有者を分類するとき、乗員は、胸部の動きおよび呼吸など、経時的に少なくともわずかな動きを示すと仮定することができ、したがって、所与の座標における経時的な位相変動は、物体の動きを示すことができる。これを、複数のフレームを検討するときに検出することができる。画像をバッファ１１４に蓄積することができる（ステップ１１２）。
【0276】
客室の壁、座席、および他の不変の静止した特徴を、背景除去アルゴリズムによって、検出された信号から差し引くことができる（ステップ１１６）。
【0277】
背景除去を、例えば、以下のやり方の一方または両方にて、各々の座標の平均値を引き算することによって達成することができる。
各々の座標にハイパスフィルタを適用する。
画像の行列の各列について、列の平均値を引き算する。
各々の座標にハイパスフィルタを適用する。
画像の行列の各列について、列の平均値を引き算する。
【0278】
フィルタ処理（ステップ１１８）が、サイドローブ、マルチパス、熱雑音、およびクラッタの寄与を除去するために実行される。図１０のフィルタ処理ステップは、図１１に拡張されている動的挙動に基づいて実行される。
【0279】
次いで、点はグループにクラスタリングされ、各グループは占有者に関連付けられる（ステップ１２０）。
【0280】
車両形状モデル、寸法、および座席位置に対応するデータが提供される（ステップ１２１）。各クラスタは座席に関連付けられ（ステップ１２２）、占有尤度統計が生成され（ステップ１２４）、座席が占有されているか否かを判定するためにしきい値が使用される（ステップ１２６）。この判定を、占有者動的モデルの結果によって補足することができる（ステップ１２８）。
【0281】
各クラスタの特徴は、おそらくは数フレームにわたって、車両形状および各クラスタの点の分布に基づいて計算される（ステップ１３０）。
【0282】
モデル１３２が、ステップ１３０の特徴分類に適用され、占有された座席が特定のクラスに割り当てられる可能性を評価する分類１３４が生成され、これを平滑化（ステップ１３８）して、座席の乗員を特定のクラスに割り当てることができる。
【0283】
占有判定および分類手順は、さまざまな方法、とりわけ機械学習を含むことができる。例えば、ニューラルネットワークを、占有を判定し、あるいは必要なカテゴリ群への分類を実行するように訓練することができるが、他の分類方法が使用されてもよい。関数のパラメータを、学習アルゴリズムを使用して最適化することができる。関数がニューラルネットワークの形態で実装される場合、適切であればフィードフォワードニューラルネットワークを利用することができる。これに加え、あるいは代えて、ＲＮＮ（回帰型ニューラルネットワーク）またはＬＳＴＭ（長短期記憶）ネットワークなどのフィードバックを有するネットワークを使用して、履歴特徴を考慮することができる。
【0284】
これに代え、あるいは加えて、特定の特徴のリストではなく、座席の周囲のすべてのボックスの座標の値を、ネットワークへの入力として使用してもよい。したがって、畳み込みニューラルネットワーク（ＣＮＮ）が適切であり得る。ＲＮＮと組み合わせたＣＮＮなど、上記のいずれかの組み合わせが好ましい場合があることが、理解されよう。各ボックス内の座標の値を、特定のボックスに関連付けられた座席が占有されているかどうかを判定するために使用することができる。
【0285】
例示を目的としてニューラルネットワークを上述したが、これらに加え、あるいは代えて、例えばＳＶＭ（サポートベクターマシン）、決定樹、決定フォレストとしても知られる決定樹の集合体など、他の分類アルゴリズムを使用して必要な分類をもたらしてもよい。他の分類アルゴリズムが当業者には思い浮かぶであろう。
【0286】
分解（ＳＶＤ）
マルチパス、グレーティングローブ、およびサイドローブは、同様の動的挙動を有する。したがって、特異値分解（ＳＶＤ））は、時変係数を有する単一のベクトルを使用してそれらを表す傾向がある。
マルチパス、グレーティングローブ、およびサイドローブは、同様の動的挙動を有する。したがって、特異値分解（ＳＶＤ））は、時変係数を有する単一のベクトルを使用してそれらを表す傾向がある。
【0287】
図１４Ａを参照すると、画像を表す信号の時間発展が示されている。画像の組を、２つのコンポーネントに分解することができ、その一方が実線で描かれ、他方が破線で描かれている。一方のコンポーネント（実線）の大きさは、時間と共に減少し、他方は時間と共に増加する。ＳＶＤ分解は、これらのコンポーネントをもたらすことができる。
【0288】
数学的定式化は、以下のとおりである：行列Ｈが画像の組を格納する。各行は画像を表し、行列Ｈを、例えば特異値分解と呼ばれる標準的なアルゴリズムを使用して分解することができる。行列は、３つの行列に分解される。
Ｈ＝Ｕ・Ｄ・ＶＨ
Ｈ＝Ｕ・Ｄ・ＶＨ
【0289】
分解において、Ｕは回転行列を表し、Ｄは対角行列（必ずしも正方形ではない）であり、ＶＨは直交する行を有するＨと等しい次元を有する行列である。ＶＨの行は、上記の図に示されるようなコンポーネントを含む。
【0290】
コンポーネント数の決定
必要なコンポーネントの数の決定を、行列Ｄの主対角線上の値である特異値の分布に基づく基準によって行うことができる。１つのやり方は、足し算が合計値の或るパーセンテージ、例えば９５％になる最大の特異値に対応するコンポーネントを選択することである。
必要なコンポーネントの数の決定を、行列Ｄの主対角線上の値である特異値の分布に基づく基準によって行うことができる。１つのやり方は、足し算が合計値の或るパーセンテージ、例えば９５％になる最大の特異値に対応するコンポーネントを選択することである。
【0291】
別の方法は、順に並べられた特異値のグラフにおける角点の探索に基づく。
【0292】
どちらの方法も技術的に知られている。
【0293】
代替の分解
ＳＶＤを分解に使用することができるが、これは、より広い種類の分解の選択肢の一例にすぎないと見なされるべきである。
ＳＶＤを分解に使用することができるが、これは、より広い種類の分解の選択肢の一例にすぎないと見なされるべきである。
【0294】
代替の分解として、例えば以下が挙げられる。
独立成分分析（ＩＣＡ）
この分解は、観測値が統計的に独立したソースの線形混合であると仮定する。分解の目的は、独立したソースを探索することである。
独立成分分析（ＩＣＡ）
この分解は、観測値が統計的に独立したソースの線形混合であると仮定する。分解の目的は、独立したソースを探索することである。
【0295】
それは以下のように式で表される。
【数11】
【0296】
ここで、Ｍは未知の混合行列である。ＩＣＡは、占有者に関連するコンポーネントとして扱うことができるソースを提供する。
【0297】
本発明の発明者は、高いＳＮＲレベルにおいて、異なる占有者を異なるコンポーネントまたはソースに分離する際に、ＩＣＡの性能が多くの場合にＳＶＤの性能を超えることに気が付いた。
【0298】
代替の分解方法のさらに別の例は、図１４Ｂのブロック図に示されるような連続空間－時間フィルタ処理分解である。
【0299】
画像データが、一連のフレームとしてレーダシステムによって収集される（１４０２）。画像フレームは、いくつかのフレームを含むバッファとしてプロセッサのメモリユニットに記憶されてよく（１４０４）、例として、バッファは、取り込まれた３秒のデータを表す１５フレームの組を含む行列であってよい。各フレームにおける最も強いピーク、例えば最も強い分散を有するボクセル、または二乗平均平方根の値を決定することができる（１４０６）。したがって、最も強いピークの時間コンポーネントを、バッファ内の最も強いピークについて決定することができ（１４０８）、各フレームの各ボクセルを、時間コンポーネントに投影することができる（１４１０）。次いで、時間コンポーネントをバッファ１４１２から除去することができる。この方法を、より多くの画像データが得られるにつれて繰り返すことができる。
【0300】
コンポーネントフィルタ処理
各コンポーネントのフィルタ処理は、時間ドメイン移動の形態を記述するコンポーネントが局所的なエネルギを有するはずだという仮定に基づく。フィルタ処理操作は、局所的な値を維持することが好ましい。以下で、２つのフィルタ処理方法が説明される。
方法１：画像を高エネルギブロブに分割し、最高エネルギのブロブのみを維持する。
方法２：しきい値を超えるエネルギを有する座標のみを維持する。しきい値は、ピーク値に対して相対的であっても、絶対的であってもよい。
各コンポーネントのフィルタ処理は、時間ドメイン移動の形態を記述するコンポーネントが局所的なエネルギを有するはずだという仮定に基づく。フィルタ処理操作は、局所的な値を維持することが好ましい。以下で、２つのフィルタ処理方法が説明される。
方法１：画像を高エネルギブロブに分割し、最高エネルギのブロブのみを維持する。
方法２：しきい値を超えるエネルギを有する座標のみを維持する。しきい値は、ピーク値に対して相対的であっても、絶対的であってもよい。
【0301】
２つの方法は、フィルタ処理操作によって多くの座標がゼロになることを示す図１４Ｃに示されている。一般に、望ましくない値をゼロにする代わりに減少させるマスクを定義することができる。
【0302】
フィルタ処理されたコンポーネントをフィルタ処理された画像に合成する
フィルタ処理されたコンポーネントの画像への合成を、コンポーネントごとに行うことができる。
フィルタ処理されたコンポーネントの画像への合成を、コンポーネントごとに行うことができる。
【0303】
本方法を説明するために、以下の表記法が本明細書において使用される。
【数12】
【0304】
以下で説明されるように、いくつかの異なる方法のうちの１つ以上を使用して、最終画像を生成することができる。
【0305】
第１の方法は、
のいくつかの行の絶対値の平均を含む。
【数13】
のいくつかの行の絶対値の平均を含む。
【数14】
【0306】
上記の式において、Ｃは定数、例えば、和演算における行の数を表す。代替案は、絶対値の累乗、例えば絶対値の二乗を平均することである。別の代替案は、
の異なる行に異なる重みを与えることである。典型的には、直近に取り込まれた画像に対応する行が選択される。
【数15】
の異なる行に異なる重みを与えることである。典型的には、直近に取り込まれた画像に対応する行が選択される。
【0307】
別の方法は、Ｕによる乗算を伴わずにコンポーネントを直接使用することである。
【数16】
【0308】
Ｕによる乗算は、コンポーネントの寄与に関する時間的情報を提供する。
【0309】
各々の非ゼロの座標をコンポーネントに関連付けることが有用である。関連付けは、例えば、単一のコンポーネントに関連付けられることを意味する「ハードな」関連付け、または座標がコンポーネントに関連付けられる確率を割り当てることを意味する「ソフトな」関連付けであってよい。
【0310】
ハードな関連付けを、以下のように式で表すことができる：座標ｉが、この座標において画像を最大化するコンポーネントｎに関連付けられる。
【数17】
【0311】
ソフトな関連付けを、以下のように式で表すことができる。
【数18】
【0312】
ソフトな関連付けは、ステップ１２０で実行されるようなクラスタリングを支援する傾向がある。しかしながら、関連付けステップは必須ではない。省略することが可能である。
【0313】
車室の座席および壁の位置が既知であることが、理解されよう。これらの固定要素は背景であり、除去することができる。背景の除去後に、信号は占有者を表す。
【0314】
クラスタリングの目的は、非ゼロの座標を車両の占有者間に分割することである。これは、標準的なクラスタリングアルゴリズムを使用して座標を単にクラスタリングすることによって達成され得る。別の手法は、異なる座標が異なるコンポーネントに関連付けられ、異なる座標がハードな関連付けによって異なるＳＶＤ（特異値分解）コンポーネントに関連付けられるという先験的な知識を利用することである。明確にするために、各々のコンポーネントは画像において異なる色を有する。
【0315】
車両内の異なる占有者は、時間において異なる動きをするため、異なるＳＶＤコンポーネントに分離されると予想される。しかしながら、単一のＳＶＤコンポーネントが異なる占有者に関連付けられることが可能である。この場合、コンポーネント内の座標の一部が１つのクラスタを形成し、他の一部が別のクラスタを形成する。クラスタリングアルゴリズムの適用を、このコンポーネントをクラスタに分割するために使用することができる。
【0316】
図１５Ａにおいて、同じＳＶＤコンポーネントに関連付けられた２組の座標が丸で囲まれている。ＳＶＤコンポーネントごとにクラスタリングを適用すると、図１５Ｂが生成され、丸で囲まれたクラスタが２つのコンポーネント（異なる色））に分割されている。図１５Ｂは、異常値の除去も可能にするＤＢＳＣＡＮアルゴリズムを使用したコンポーネントごとのクラスタリングを示している。しかしながら、当技術分野の他のクラスタリングアルゴリズムが使用されてもよい。
【0317】
図１４Ｃに戻ると、２つのフィルタ処理方法が説明された。方法１は、画像を高エネルギブロブに分割し、最高エネルギのブロブのみを維持することを含んだ。対照的に、方法２は、ピーク値に対して相対的または絶対値であってよいしきい値を上回るエネルギを有する座標のみを維持した。
【0318】
ＤＢＳＣＡＮアルゴリズムを使用したクラスタリングは、方法１がコンポーネントごとに１つのクラスタしか残さないので、方法２でのみ必要である。
【0319】
ここで、クラスタ自体にクラスタリングを適用することができる。各クラスタは、クラスタ内の点の分布にフィットする平均および共分散を有するガウス分布として表される。次いで、これらのガウス分布の間に距離メトリックを定義することができる。
【0320】
分布間の距離は、多くの形態をとることができる。例えば、Ｋｕｌｌｂａｃｋ Ｌｅｉｂｌｅｒダイバージェンス、Ｂｈａｔｔａｃｈａｒｙｙａ距離、Ｈｅｌｌｉｎｇｅｒ距離、および差のＬ２ノルムである。
【0321】
例えば、当技術分野で既知のアルゴリズムを適用するスペクトルクラスタリングを使用して、５つのクラスタが決定された図１６に示される結果を生成することができる。
【0322】
ガウス分布を所与の強度を有する座標の集合にフィッティングすることは、例えば、以下の式を使用して行うことができる。表記は以下のとおりである。
【0323】
クラスタ内の点の座標を、列ベクトル
によって表すことができる。しかしながら、これらの座標は、必ずしもデカルトではなく、必ずしも３次元ではない。クラスタ内のすべての点は、ｍによって示される大きさに関連付けられている。クラスタ点の大きさは、実数かつ正であり、すなわち、すべての点ｉについてｍｉ＞０である。
【数19】
によって表すことができる。しかしながら、これらの座標は、必ずしもデカルトではなく、必ずしも３次元ではない。クラスタ内のすべての点は、ｍによって示される大きさに関連付けられている。クラスタ点の大きさは、実数かつ正であり、すなわち、すべての点ｉについてｍｉ＞０である。
【0324】
クラスタ内の各点の相対的な重みは、例えば、
によって定義される。
【数20】
によって定義される。
【0325】
クラスタの中心は、単純に、
である。
【数21】
である。
【0326】
行列が、
と定義され、式中、ｐはクラスタ内の点の数を表し、
である。
【数22】
と定義され、式中、ｐはクラスタ内の点の数を表し、
【数23】
である。
【0327】
クラスタの共分散は、
と定義される。
【数24】
と定義される。
【0328】
最後に、ガウス分布を、共分散行列ｃおよび中心
を使用して、
と定義することができる。
【数25】
を使用して、
【数26】
と定義することができる。
【0329】
他の分布、例えばｔ分布、一様分布、ガウス混合、などを使用して、点のクラスタを記述することができる。
【0330】
図１７が、三次元空間においてガウス分布として点のクラスタを表すことを示している。
【0331】
車両の各々の占有者を座席に関連付けることができることが理解されよう。座席の関連付けは、車両内の座席を各々の占有者に関連付けて、座席が占有されているか否かを判定する処理である。
【数27】
【0332】
図１８において、長方形が、特定の座席に関連する車両内の領域を定めている。一般に、領域は重なり合っていてもよく、分布は均一である必要はない。しかしながら、見て分かるように、さまざまなクラスタはボックスに良好に整列し、したがって各々の座席が占有されているか否かを判定することができる。
【数28】
【0333】
第２の距離メトリックを、クラスタリングに関する章で前述したように使用することができる。
【数29】
【0334】
クラスタｑが座席ｋに関連付けられる確率が、すべてのペア｛ｋ，ｑ｝について決定されると、各々のクラスタ（ｑ）を、ｐｋ＝（ｃｌｕｓｔｅｒｑ）が最大である座席（ｋ）に関連付けることができる。
【0335】
「ハードな」占有と「ソフトな」占有とを区別する。次に、占有の計算方法を説明する。
【0336】
「ハードな」占有に関して、以下の規則が使用される。
クラスタが関連付けられていない座席は、空いている座席と見なされる。
少なくとも１つのクラスタが関連付けられた座席は、占有されていると見なされる。
クラスタが関連付けられていない座席は、空いている座席と見なされる。
少なくとも１つのクラスタが関連付けられた座席は、占有されていると見なされる。
【0337】
「ソフトな」占有の場合、各々のクラスタｑと各々の座席ｋ’との間の確率行列ｐｋ’＝（ｃｌｕｓｔｅｒｑ）の関数として座席ｋが占有される確率に、以下の式を使用することができる。
【数30】
【0338】
車両内の有効な遷移のモデルの一例として、２列を有する車両を考える。前列において、運転者が座席１におり、その横は座席２である。２列目に、座席３、４、および５があり、座席３が運転者の後ろにある。座席３．５および座席４．５など、２つの座席の間の位置も定義することができる。これらの配置は図１９および図２０に示されている。
【0339】
【0340】
占有確率Ｐｒ｛座席ｋが占有されている｝を、以下のやり方で遷移モデルと組み合わせることができる。
【0341】
遷移確率が、図中の各々の遷移に割り当てられる。例えば、状態１について、状態２に遷移する確率、状態３に遷移する確率、および状態１に留まる確率が存在する。これらの確率は、任意に定義されてよく、あるいは統計に基づくことができる。図中の状態間に接続が存在しない場合、遷移確率は０であると仮定される。例えば、状態１から状態５に遷移する確率は、０である。
【0342】
状態ｓ１から状態ｓ２への遷移確率は、ｐｔ（ｓ１，ｓ２）によって表される。
【0343】
各々の状態ｓは、それぞれに関連する占有された座席を有する。状態ｓに関連する占有された座席は、ｏｓによって表される。例えば、状態４は、占有された座席３および５を有し、すなわちｏ４＝｛３，５｝である。
【0344】
システムが状態ｓにある確率の更新を、以下のように行うことができる。
【数31】
【0345】
換言すると、占有が状態ｓにある確率は、状態ｓ’から状態ｓへの遷移確率に、占有がこれらの状態にある確率を乗じ、それらの合計を状態ｓに乗じたものに座席がフィットする確率に更新される。
【0346】
いくつかの実施形態においては、正確な確率は計算されず、むしろ確率に比例する数が計算される。
【0347】
いくつかの実施形態において、和
を、以下のように状態ｓへの最尤遷移を表す単一の項で置き換えることができる。
【数32】
を、以下のように状態ｓへの最尤遷移を表す単一の項で置き換えることができる。
【数33】
【0348】
いくつかの実施形態においては、確率の対数が使用され、上記の乗算は、以下のように合計によって置き換えられてよい。
【数34】
【0349】
いくつかの実施形態において、最も可能性の高い状態を選択し、それに至る最も可能性の高い連続した状態に従って数ステップ遡ることができる。最も可能性の高い現在の状態につながる以前の状態を示すことは、座席占有確率の誤差に対する感度を低減することによってシステムを安定させる。
【0350】
最後の式の実装は、線形計画法に役立つ。
【0351】
図２２を参照すると、占有者分類に関して、必要に応じて、ＬＰ（低域通過）フィルタが、随意により、設定可能な時定数（典型的には数秒）の間、フィルタ処理された３Ｄ画像に適用されてよい。ＬＰフィルタは、移動平均であってよく、あるいはＩＩＲ（無限インパルス応答）指数移動平均フィルタであってよい。他の構成において、ローパスフィルタは適用されなくてもよい。
【0352】
ＬＰフィルタの使用は、有用な体積情報を維持する（身体の反射を説明するボクセルを保存する）傾向がある。異なる身体部分は、異なるタイミングで動く可能性があり、ＬＰフィルタは、単一の３Ｄ画像を与える経時的な情報の蓄積を容易にすることができる。
【0353】
次いで、画像は３Ｄ領域に分割され、各々の領域は単一の対象を囲む。
【0354】
車両の場合、そのサイズおよび幾何学的形状を知ることにより、車両の客室のいくつかの測定値を利用して３Ｄ領域を導出することができる。
【0355】
例えば、５座席の車の場合、以下の測定値が、センサの原点に対して車種ごとに一定であり、収集可能である。
ＦＲＦ－前列座席最前方位置（座席「質量中心」を参照して測定される、画像参照）
ＦＲＲ－前列座席最後方位置（座席「質量中心」を参照して測定される、画像参照）
ＲＲＣ－後列ベンチ「質量中心」
ＢＮＣＷ－後列ベンチ幅
ＳＴＨ－地面からエッジまでの座席高
ＳＳＨ－地面からセンサまでのセンサ高
ＦＲＦ－前列座席最前方位置（座席「質量中心」を参照して測定される、画像参照）
ＦＲＲ－前列座席最後方位置（座席「質量中心」を参照して測定される、画像参照）
ＲＲＣ－後列ベンチ「質量中心」
ＢＮＣＷ－後列ベンチ幅
ＳＴＨ－地面からエッジまでの座席高
ＳＳＨ－地面からセンサまでのセンサ高
【0356】
別の選択肢は、占有者の数および位置を導出する（各々の占有者の［ｘ，ｙ］座標をもたらし、その位置の周囲にボックス［ｘ－ｄｘ，ｘ＋ｄｘ，ｙ－ｄｙ，ｙ＋ｄｙ，０，ＳＳＨ］を開く）上位層の決定を使用することである。
【0357】
さらに別の選択肢は、ＳＶＤ分解を使用し、各々のボクセルをコンポーネント番号によって「着色」し、ボクセルのクラスタリングの初期推測を与えることである。次に、各々の成分をＤＢＳＣＡＮ（Ｄｅｎｓｉｔｙ Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ）（幾何学的）クラスタリングに通して、異常値を除去し、幾何学的に独立したクラスタを分離して、コンポーネントを分離することができる。このステップを続け、各々のコンポーネント（クラスタ）はもはや分離することができず、追加のクラスタリングが、クラスタグループへの分離のために行われる。
【0358】
３Ｄ領域ごとに、体積および強度に基づく特徴を抽出することができる。
【0359】
ハンドクラフトによるクラスタ特徴を利用して、占有者の身元を評価することができる。
【0360】
表記：
３Ｄ画像領域が与えられると、特定のレベルを超える強度を有するすべてのボクセルが抽出される。これにより、３Ｄ領域の占有されたボクセルのリストが得られる。
ｖｏｘｅｌｉ＝［ｘｉ，ｙｉ，ｚｉ，Ｉｉ］，ｉ＝１…Ｎ
ＰＣ＝｛ｖｏｘｅｌ１…ｖｏｘｅｌＮ｝
３Ｄ画像領域が与えられると、特定のレベルを超える強度を有するすべてのボクセルが抽出される。これにより、３Ｄ領域の占有されたボクセルのリストが得られる。
ｖｏｘｅｌｉ＝［ｘｉ，ｙｉ，ｚｉ，Ｉｉ］，ｉ＝１…Ｎ
ＰＣ＝｛ｖｏｘｅｌ１…ｖｏｘｅｌＮ｝
【0361】
点のこのリストから、以下の特徴が計算される。座標は、３Ｄ領域の定義された中心点に対する。自動車の座席の場合、中心点は、座席上に直接（ｚ座標）、大人の強度中心が位置すると予想される領域（ｘ，ｙ座標）にあるように定義される。
【0362】
占有されたボクセルの数
占有されたボクセルの数は、占有された領域の体積を示すことができる。
占有されたボクセルの数＝Ｎ
占有されたボクセルの数は、占有された領域の体積を示すことができる。
占有されたボクセルの数＝Ｎ
【0363】
強度の中心
強度の中心は、強度によって重み付けされたボクセルの平均位置である。
強度の中心は、強度によって重み付けされたボクセルの平均位置である。
【数35】
【0364】
共分散および加重共分散
共分散は、点が空間にどのように分布しているかの尺度を与える。これは、占有者分類の場合、人間の姿勢（例えば、前のめりの大人／幼児用座席の乳児）を示す。
共分散は、点が空間にどのように分布しているかの尺度を与える。これは、占有者分類の場合、人間の姿勢（例えば、前のめりの大人／幼児用座席の乳児）を示す。
【0365】
【0366】
以下のアルゴリズムが、加重共分散を計算するためのコードの一例を示す。
ｎｕｍＤｉｍｅｎｓｉｏｎｓ＝３；
ｇｍｍ＿ｐａｒａｍｓ．ｍｅａｎ＝ｚｅｒｏｓ（ｎｕｍＤｉｍｅｎｓｉｏｎｓ，１）；
ｇｍｍ＿ｐａｒａｍｓ．ｃｏｖ＝ｚｅｒｏｓ（ｎｕｍＤｉｍｅｎｓｉｏｎｓ，ｎｕｍＤｉｍｅｎｓｉｏｎｓ，１）；
ｗｅｉｇｈｔｓ＝ｉＳｅａｔ＿ｐｔｓ＿Ｉｎｔｅｎｓｉｔｙ／ｓｕｍ（ｉＳｅａｔ＿ｐｔｓ＿Ｉｎｔｅｎｓｉｔｙ）；
ｇｍｍ＿ｐａｒａｍｓ．ｍｅａｎ＝ｓｕｍ（ｗｅｉｇｈｔｓ．＊ｉＳｅａｔ＿ｐｔｓ＿ＸＹＺ）’；
ｚｅｒｏ＿ｍｅａｎ＿ｗｅｉｇｈｔｅｄ＿ｐｏｉｎｔｓ＝ｓｑｒｔ（ｗｅｉｇｈｔｓ）．＊（ｉＳｅａｔ＿ｐｔｓ＿ＸＹＺ－ｇｍｍ＿ｐａｒａｍｓ．ｍｅａｎ’）；
ｇｍｍ＿ｐａｒａｍｓ．ｃｏｖ＝（ｚｅｒｏ＿ｍｅａｎ＿ｗｅｉｇｈｔｅｄ＿ｐｏｉｎｔｓ’＊ｚｅｒｏ＿ｍｅａｎ＿ｗｅｉｇｈｔｅｄ＿ｐｏｉｎｔｓ）；
ｃｏｖ＝ｚｍｗｐＴ・ｚｍｗｐ
ｎｕｍＤｉｍｅｎｓｉｏｎｓ＝３；
ｇｍｍ＿ｐａｒａｍｓ．ｍｅａｎ＝ｚｅｒｏｓ（ｎｕｍＤｉｍｅｎｓｉｏｎｓ，１）；
ｇｍｍ＿ｐａｒａｍｓ．ｃｏｖ＝ｚｅｒｏｓ（ｎｕｍＤｉｍｅｎｓｉｏｎｓ，ｎｕｍＤｉｍｅｎｓｉｏｎｓ，１）；
ｗｅｉｇｈｔｓ＝ｉＳｅａｔ＿ｐｔｓ＿Ｉｎｔｅｎｓｉｔｙ／ｓｕｍ（ｉＳｅａｔ＿ｐｔｓ＿Ｉｎｔｅｎｓｉｔｙ）；
ｇｍｍ＿ｐａｒａｍｓ．ｍｅａｎ＝ｓｕｍ（ｗｅｉｇｈｔｓ．＊ｉＳｅａｔ＿ｐｔｓ＿ＸＹＺ）’；
ｚｅｒｏ＿ｍｅａｎ＿ｗｅｉｇｈｔｅｄ＿ｐｏｉｎｔｓ＝ｓｑｒｔ（ｗｅｉｇｈｔｓ）．＊（ｉＳｅａｔ＿ｐｔｓ＿ＸＹＺ－ｇｍｍ＿ｐａｒａｍｓ．ｍｅａｎ’）；
ｇｍｍ＿ｐａｒａｍｓ．ｃｏｖ＝（ｚｅｒｏ＿ｍｅａｎ＿ｗｅｉｇｈｔｅｄ＿ｐｏｉｎｔｓ’＊ｚｅｒｏ＿ｍｅａｎ＿ｗｅｉｇｈｔｅｄ＿ｐｏｉｎｔｓ）；
【数36】
ｃｏｖ＝ｚｍｗｐＴ・ｚｍｗｐ
【0367】
３Ｄ領域における座標の極値
３つすべてのデカルト軸の極限（最大／最小）座標は、３Ｄ領域内の占有された領域の尺度を与える。
３つすべてのデカルト軸の極限（最大／最小）座標は、３Ｄ領域内の占有された領域の尺度を与える。
【0368】
図２５を参照すると、クラスタの周りに長方形を描くことによって、占有者のサイズおよび形状の表示を得ることができる。
Ｘｍｉｎ＝ｍｉｎ（Ｘ），Ｘ＝ｘ１…ｘＮ
Ｘｍａｘ＝ｍａｘ（Ｘ），Ｘ＝ｘ１…ｘＮ
Ｙｍｉｎ＝ｍｉｎ（Ｙ），Ｙ＝ｙ１…ｙＮ
Ｙｍａｘ＝ｍａｘ（Ｙ），Ｙ＝ｙ１…ｙＮ
Ｚｍｉｎ＝ｍｉｎ（Ｚ），Ｚ＝ｚ１…ｚＮ
Ｚｍａｘ＝ｍａｘ（Ｚ），Ｚ＝ｚ１…ｚＮ
Ｘｍｉｎ＝ｍｉｎ（Ｘ），Ｘ＝ｘ１…ｘＮ
Ｘｍａｘ＝ｍａｘ（Ｘ），Ｘ＝ｘ１…ｘＮ
Ｙｍｉｎ＝ｍｉｎ（Ｙ），Ｙ＝ｙ１…ｙＮ
Ｙｍａｘ＝ｍａｘ（Ｙ），Ｙ＝ｙ１…ｙＮ
Ｚｍｉｎ＝ｍｉｎ（Ｚ），Ｚ＝ｚ１…ｚＮ
Ｚｍａｘ＝ｍａｘ（Ｚ），Ｚ＝ｚ１…ｚＮ
【0369】
定められたｚ値の強度の中心
大人の場合、座席高さの上方のｚスライス上の強度の中心は、典型的には座席の背もたれに近く、後ろ向きの幼児用シートの幼児の場合、特定のスライスにおける質量中心は、典型的にはより前方にシフトする。
ｃｏｖ＝ｚｍｗｐＴ・ｚｍｗｐ
平均強度
最大強度
Ｉｍａｘ＝ｍａｘ（Ｉ），Ｉ＝Ｉ１…ＩＮ
大人の場合、座席高さの上方のｚスライス上の強度の中心は、典型的には座席の背もたれに近く、後ろ向きの幼児用シートの幼児の場合、特定のスライスにおける質量中心は、典型的にはより前方にシフトする。
【数37】
ｃｏｖ＝ｚｍｗｐＴ・ｚｍｗｐ
平均強度
【数38】
最大強度
Ｉｍａｘ＝ｍａｘ（Ｉ），Ｉ＝Ｉ１…ＩＮ
【0370】
座席レベルよりも下方のエネルギ
座席レベルよりも下方のエネルギは、幼児が座席上に存在するかどうかを示すことができる。幼児がこの座席上に存在している場合、座席高さよりも下方からの反射は予想されない。
Ｉｂｅｌｏｗｓｅａｔ＝ｓｕｍ（Ｉｉ）∀ ｉ ∈｛１…Ｎ｝，ｚｉ＞ｓｅａｔｈｅｉｇｈｔ
座席レベルよりも下方のエネルギは、幼児が座席上に存在するかどうかを示すことができる。幼児がこの座席上に存在している場合、座席高さよりも下方からの反射は予想されない。
Ｉｂｅｌｏｗｓｅａｔ＝ｓｕｍ（Ｉｉ）∀ ｉ ∈｛１…Ｎ｝，ｚｉ＞ｓｅａｔｈｅｉｇｈｔ
【0371】
分類出力を安定させるために、分類を数秒のバッファに保存し、多数決またはヒステリシスを有する安定器を使用して、最終的な分類－決定を決定することができる。
【0372】
技術注記
本明細書で使用される技術用語および科学用語は、本開示に関係する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。それにもかかわらず、本出願からもたらされる特許の存続期間中に、多数の関連のシステムおよび方法が開発されると予想される。したがって、コンピューティングユニット、ネットワーク、ディスプレイ、メモリ、サーバ、などの用語の範囲は、そのようなすべての新しい技術を先験的に含むことが意図されている。
本明細書で使用される技術用語および科学用語は、本開示に関係する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。それにもかかわらず、本出願からもたらされる特許の存続期間中に、多数の関連のシステムおよび方法が開発されると予想される。したがって、コンピューティングユニット、ネットワーク、ディスプレイ、メモリ、サーバ、などの用語の範囲は、そのようなすべての新しい技術を先験的に含むことが意図されている。
【0373】
本明細書で使用されるとき、「約」という用語は、少なくとも±１０％を指す。
【0374】
用語「・・・を備える」、「・・・を備えている」、「・・・を含む」、「・・・を含んでいる」、「・・・を有している」、およびこれらの活用形は、「・・・を含むが、・・・に限定されない」を意味し、挙げられた構成要素が含まれるが、通常は他の構成要素を除外しないことを示す。そのような用語は、「・・・からなる」および「本質的に・・・からなる」という用語を包含する。
【0375】
「本質的に・・・からなる」という語句は、組成物または方法が追加の成分および／または工程を含んでもよいが、追加の成分および／または工程が特許請求される組成物または方法の基本的かつ新規な特徴を実質的に変化させない場合に限ることを意味する。
【0376】
本明細書において使用されるとき、単数形「ａ」、「ａｎ」、および「前記」は、そのようでないことが文脈から明らかでない限り、言及の対象が複数である場合も含むことができる。例えば、「化合物」または「少なくとも１つの化合物」という用語は、それらの混合物など、複数の化合物を含み得る。
【0377】
「典型的」という用語は、本明細書において、「例、事例、または例示としての役割を果たすこと」を意味するために使用される。「典型的」として説明されたいかなる実施形態も、必ずしも他の実施形態よりも好ましい、または有利であると解釈されるべきではなく、他の実施形態からの特徴を取り入れることを排除しない。
【0378】
「随意により」という用語は、本明細書において、「いくつかの実施形態に備わるが、他の実施形態には備わらない」ことを意味するために使用される。本開示のいずれの特定の実施形態も、複数の「随意による」特徴を、そのような特徴が互いに矛盾しない限りにおいて含むことができる。
【0379】
本明細書において数値範囲が示されるときは常に、そのような数値範囲は、示された範囲内の任意の引用された数字（分数または整数）を含むように意味される。第１の指示数と第２の指示数との「間の範囲（ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｂｅｔｗｅｅｎ）」および第１の指示数「から」第２の指示数「までの範囲（ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｆｒｏｍ．．．ｔｏ．．．）」という語句は、本明細書において互換的に使用され、第１および第２の指示数ならびにそれらの間のすべての分数および整数を含むことを意味する。したがって、範囲形式での説明は単に便利および簡潔さのためのものであり、本開示の範囲に対する柔軟性のない限定として解釈されるべきではないことを理解されたい。したがって、範囲の説明は、すべての可能な部分範囲ならびにその範囲内の個々の数値を具体的に開示したと見なされるべきである。例えば、１～６などの範囲の説明は、１～３、１～４、１～５、２～４、２～６、３～６、などの部分範囲、ならびにその範囲内の個々の数、例えば１、２、３、４、５、および６、ならびに非整数の中間値を具体的に開示していると見なされるべきである。これは、範囲の幅に関係なく適用される。
【0380】
明確にするために別個の実施形態の文脈において説明された本開示の特定の特徴は、単一の実施形態に組み合わせて設けられてもよいと理解される。反対に、簡潔にするために単一の実施形態の文脈において説明された本開示のさまざまな特徴は、別個に設けられても、任意の適切な部分的組み合わせで設けられても、本開示の任意の他の説明された実施形態に適するように設けられてもよい。種々の実施形態の文脈において説明された特定の特徴は、実施形態がそれらの要素なしでは動作不能でない限り、それらの実施形態の不可欠な特徴と見なされるべきではない。
【0381】
本開示を、その特定の実施形態と併せて説明してきたが、多くの代替形態、修正形態、および変形形態が当業者にとって明らかであることは明らかである。したがって、添付の特許請求の範囲の精神および広い範囲に含まれるすべてのそのような代替形態、修正形態、および変形形態を包含することが意図される。
【0382】
本明細書において言及されるすべての刊行物、特許、および特許出願は、あたかも個々の刊行物、特許、または特許出願の各々が参照によって本明細書に組み込まれると具体的かつ個別に示されているのと同程度に、その全体が参照により本明細書に組み込まれる。さらに、本出願におけるあらゆる参考文献の引用または特定は、そのような参考文献が本開示に対する先行技術として利用可能であることの承認として解釈されるべきではない。セクションの見出しが使用される限り、それらは必ずしも限定であると解釈されるべきではない。
【0383】
開示された主題の範囲は、添付の特許請求の範囲によって定められ、本明細書で上述したさまざまな特徴の組み合わせおよび部分的組み合わせ、ならびに以上の説明を検討することで当業者であれば想到できるそれらの変形および修正の両方を含む。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図6H】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図10A】
【図10B】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【手続補正書】
【提出日】2023-01-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
発振器に接続され、車両の客室へと電磁波を送信するように構成された少なくとも１つの送信機アンテナと、前記車両の客室内の物体が反射させた電磁波を受信するように構成され、生データを生成するように動作することができる少なくとも１つの受信機アンテナと
を備えるレーダユニット、
前記レーダユニットから生データを受信するように構成され、受信したデータに基づいて画像データを生成するように動作することができるプロセッサユニット、
前記画像データを記憶するように構成されかつ動作することができるメモリユニット、および
少なくとも１つの出力ユニット
を備えており、
前記プロセッサユニットは、
前記ＲＦ応答に基づいて少なくとも１つの３Ｄ（三次元）画像を生成し、
前記得られた３Ｄ画像の１つ以上の連続した３Ｄ画像を、３Ｄ画像から背景を除去することによって処理し、
前記３Ｄ画像を、サイドローブ、マルチパス、熱雑音、およびクラッタのうちの少なくとも１つの寄与を除去することによってフィルタ処理し、
前記車両の客室内の座席の占有を検出し、
前記車両の客室内の座席の少なくとも１つの占有者を分類し、
前記車両の客室内の座席の少なくとも１つの占有者の姿勢を検出し、
前記車両の客室内の座席の少なくとも１つの占有者に関するシートベルト状態を判定する
ように構成されかつ動作することができ、
前記出力ユニットは、前記車両の客室の占有者の前記状態に応じて応答を実行するように構成されかつ動作することができる、車両の客室の監視システム。
【請求項2】
前記レーダユニットが、前記車両の客室の天井の中央位置に位置する、請求項１に記載のシステム。
【請求項3】
前記レーダユニットが、ガラスの２つの層の間に埋め込まれる、請求項１または２に記載のシステム。
【請求項4】
前記レーダユニットが、熱伝導性のエポキシによってガラス表面に取り付けられる、請求項１～３のいずれか一項に記載のシステム。
【請求項5】
前記レーダユニットが、サンルーフまたはヘッドレストに組み込まれる、請求項１～４のいずれか一項に記載のシステム。
【請求項6】
前記出力ユニットが、事故の場合に緊急サービスに通信するように構成されかつ動作可能である、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
前記出力ユニットが、幼児が前記車両の客室に残されている場合に警報を生成するようにさらに構成される、請求項１～６のいずれか一項に記載のシステム。
【請求項8】
車両の客室を監視するための方法であって、発振器に接続され、前記車両の客室へと電磁波を送信するように構成された少なくとも１つの送信機アンテナと、
前記車両の客室内の物体が反射させた電磁波を受信するように構成され、生データを生成するように動作することができる少なくとも１つの受信機アンテナと
を備えるレーダユニットを提供するステップ、
前記レーダユニットから生データを受信するように構成され、受信したデータに基づいて画像データを生成するように動作することができるプロセッサユニットを提供するステップ、
前記画像データを記憶するように構成されかつ動作することができるメモリユニットを提供するステップ、
少なくとも１つの出力ユニットを提供するステップ、
前記車両の客室へと電磁波を送信するステップ、
前記車両の客室内の物体が反射させる電磁波を受信するステップ、
前記車両の客室内のボクセルに関する複素数値の組を生成するステップ、
前記複素数値の組を３Ｄ複素画像に変換するステップ、
前記３Ｄ画像を、サイドローブ、マルチパス、熱雑音、およびクラッタのうちの少なくとも１つの寄与を除去することによってフィルタ処理するステップ、
前記車両の客室内の座席の占有を検出するステップ、
前記車両の客室内の座席の少なくとも１つの占有者を分類するステップ、
前記車両の客室内の座席の少なくとも１つの占有者の姿勢を検出するステップ、および
前記車両の客室内の座席の少なくとも１つの占有者に関するシートベルト状態を判定するステップ
を含む方法。
【請求項9】
フィルタ処理された３Ｄ画像をクラスタリングするステップ、少なくとも１つの座席を少なくとも１つの占有者に関連付けるステップ、および
前記３Ｄ画像内の各々のクラスタに関する点の分布に基づき、前記車両の幾何学的形状に従って、前記１つ以上の占有者を分類するステップ
をさらに含む、請求項８に記載の方法。
【請求項10】
前記受信信号から個人重要点を抽出するステップ、および前記車両の客室の座席の少なくとも１つの占有者の骨格点を特定するステップ
をさらに含む、請求項８または９に記載の方法。
【請求項11】
前記車両の客室の少なくとも１つの占有者のバイタルサインを監視するステップをさらに含む、請求項８～１０のいずれか一項に記載の方法。
【請求項12】
前記出力ユニットが、異常の場合に警報を生成するステップをさらに含む、請求項８～１１のいずれか一項に記載の方法。
【請求項13】
前記出力ユニットが、安全でない場合にエアバッグの動作を取り消すステップをさらに含む、請求項８～１２のいずれか一項に記載の方法。
【請求項14】
前記出力ユニットが、事故の場合に緊急サービスに通信するステップをさらに含む、請求項８～１３のいずれか一項に記載の方法。
【請求項15】
前記出力ユニットが、緊急サービスに連絡し、救急隊員にバイタルサインを示すべく通信システムを作動させるステップをさらに含む、請求項８～１４のいずれか一項に記載の方法。
【国際調査報告】