特許 7562882 車両内の許可されていない構成要素との相互作用の感知

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】車両内の許可されていない構成要素との相互作用の感知

(51)【国際特許分類】

   B60W 40/08 20120101AFI20240930BHJP

   G01S 13/52 20060101ALI20240930BHJP

   G08G 1/16 20060101ALI20240930BHJP

【ＦＩ】

B60W40/08

G01S13/52

G08G1/16 F

【請求項の数】 20

(21)【出願番号】P 2023575476

(86)(22)【出願日】2022-06-07

(65)【公表番号】

(43)【公表日】2024-07-26

(86)【国際出願番号】 US2022032483

(87)【国際公開番号】W WO2022261080

(87)【国際公開日】2022-12-15

【審査請求日】2024-04-03

(31)【優先権主張番号】17/340,963

(32)【優先日】2021-06-07

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】320003297

【氏名又は名称】トヨタ コネクテッド ノース アメリカ，インコーポレイティド

(73)【特許権者】

【識別番号】519092129

【氏名又は名称】トヨタ モーター ノース アメリカ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100120499

【弁理士】

【氏名又は名称】平山 淳

(72)【発明者】

【氏名】デレク エー．トンプソン

(72)【発明者】

【氏名】セルゲイ アイ．ゲージ

(72)【発明者】

【氏名】サイモン ピー．ロバーツ

(72)【発明者】

【氏名】ヤン ティン

(72)【発明者】

【氏名】ダニエル ダブリュ．リーサー

(72)【発明者】

【氏名】クリストファー ジェイ．マクファーソン

(72)【発明者】

【氏名】キートン コーンサリ

【審査官】吉村 俊厚

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０２２５３４３（ＵＳ，Ａ１）

【文献】特開２０１８－１５１６９３（ＪＰ，Ａ）

【文献】米国特許第６７３６２３１（ＵＳ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ４０／０８

Ｇ０８Ｇ １／１６

Ｇ０１Ｓ １３／５２

(57)【特許請求の範囲】

【請求項1】

同乗者と車両との相互作用を感知するための監視システムであって、
一つ以上のプロセッサと、
前記一つ以上のプロセッサに通信可能に接続されたメモリであって、前記一つ以上のプロセッサによって実行されると、前記一つ以上のプロセッサに、
前記車両のレーダから、前記車両の客室に関するレーダデータを取得すること、
前記レーダデータに従って前記客室の現在の状態を決定することであって、車両構成要素に関連する障害物を通り越して前記同乗者を観察することを提供するための前記レーダに対する前記車両構成要素の奥行きを含む、前記同乗者に対する前記車両構成要素を特定すること、及び、
前記現在の状態が、許可されていない行為に関する閾値を前記同乗者が満たしていることを示すことを特定することに応答して、前記許可されていない行為に対処する応答を生成すること、を行わせる命令を含む感知モジュールを記憶する該メモリと、を備える監視システム。

【請求項2】

前記感知モジュールは、前記同乗者が、前記同乗者に対して制限されている前記車両構成要素と相互作用しているかを決定する命令を含む、前記同乗者が前記閾値を満たしていることを特定する前記命令を含む、請求項１に記載の監視システム。

【請求項3】

前記閾値は前記同乗者による前記車両の前記車両構成要素との相互作用を定義する、請求項１に記載の監視システム。

【請求項4】

前記感知モジュールは、前記許可されていない行為に関して前記車両の操作者に警告を提供することを含む前記応答であって、車両システムを制御する命令を含む前記応答を生成する前記命令を含み、
前記許可されていない行為には、シートベルトのラッチを外すこと、ドアを開くこと、ドアのロック解除、及び車両制御装置との相互作用が含まれる、請求項１に記載の監視システム。

【請求項5】

前記感知モジュールは、少なくとも前記車両のダイナミクスを示す前記車両の状況を決定する命令を含む、前記現在の状態を決定する前記命令を含み、
前記感知モジュールは、警告を提供する命令を含む段階的反応及び前記ダイナミクスに従って前記応答を生成し、前記許可されていない行為を防止するために、前記許可されていない行為に関連する車両システムを制御する命令、を含む前記応答を生成する前記命令を含む、請求項１に記載の監視システム。

【請求項6】

前記感知モジュールは、前記同乗者に関する特徴及び前記同乗者がチャイルドシートに着座しているかを決定することを含む、前記レーダデータから前記客室内の同乗者の位置を特定する命令を含む前記現在の状態を決定する前記命令を含む、請求項１に記載の監視システム。

【請求項7】

前記感知モジュールは、機械学習アルゴリズムである検出モデルを使用して、車両構成要素に関連する前記許可されていない行為を示す前記同乗者の動きを感知するための命令を含む、前記現在の状態が前記閾値を満たすことを特定する前記命令を含み、
前記感知モジュールは、監視すべき前記許可されていない行為に関連する領域を定義するために、前記車両構成要素の周囲にバウンディングボックスを定義する命令を含む、前記現在の状態を決定する前記命令を含む、請求項１に記載の監視システム。

【請求項8】

前記レーダは、ミリ波（ＭＭＷ）レーダ及び超広帯域（ＵＷＢ）レーダの内の一つである、請求項１に記載の監視システム。

【請求項9】

一つ以上のプロセッサによって実行されると、前記一つ以上のプロセッサに、
車両のレーダから、前記車両の客室に関するレーダデータを取得すること、
前記レーダデータに従って前記客室の現在の状態を決定することであって、車両構成要素に関連した障害物を通り越して同乗者を観察することを提供するための前記レーダに対する前記車両構成要素の奥行きを含む、前記同乗者に対する前記車両構成要素を特定すること、
前記現在の状態が、許可されていない行為に関する閾値を同乗者が満たしていることを示すことを特定することに応答して、前記許可されていない行為に対処する応答を生成すること、を実行させる命令を含む、非一時的なコンピュータ可読媒体。

【請求項10】

前記同乗者が前記閾値を満たすことを特定する前記命令は、前記同乗者が、前記同乗者に対して制限されている前記車両構成要素と相互作用しているかを決定する命令を含む、請求項９に記載の非一時的なコンピュータ可読媒体。

【請求項11】

前記閾値は前記同乗者による前記車両の車両構成要素との相互作用を定義する、請求項９に記載の非一時的なコンピュータ可読媒体。

【請求項12】

前記応答を生成する前記命令は、前記許可されていない行為に関して前記車両の操作者に警告を提供すること含む、車両システムを制御する命令を含み、
前記許可されていない行為には、シートベルトのラッチを外すこと、ドアを開くこと、ドアのロック解除、及び車両制御装置との相互作用が含まれる、請求項９に記載の非一時的なコンピュータ可読媒体。

【請求項13】

前記現在の状態を決定する前記命令は、少なくとも前記車両のダイナミクスを示す前記車両の状況を決定する命令を含み、
前記応答を生成する前記命令は、警告を提供する命令を含む段階的反応及び前記ダイナミクスに従って前記応答を生成し、前記許可されていない行為を防止するために前記許可されていない行為に関連付けられた車両システムを制御する命令を含む、請求項９に記載の非一時的なコンピュータ可読媒体。

【請求項14】

車両のレーダから、前記車両の客室に関するレーダデータを取得すること、
前記レーダデータに従って前記客室の現在の状態を決定することであって、車両構成要素に関連した障害物を通り越して同乗者を観察することを提供するために前記レーダに対する前記車両構成要素の奥行きを含む、前記同乗者に対する前記車両構成要素を特定すること、及び、
前記現在の状態が、許可されていない行為に関する閾値を前記同乗者が満たしていることを示すことを特定することに応答して、前記許可されていない行為に対処する応答を生成することを含む方法。

【請求項15】

前記同乗者が前記閾値を満たすことを特定することは、前記同乗者が、前記同乗者に対して制限されている前記車両構成要素と相互作用しているかを決定すること含む、請求項１４に記載の方法。

【請求項16】

前記閾値は前記同乗者による前記車両の前記車両構成要素との相互作用を定義する、請求項１４に記載の方法。

【請求項17】

前記応答を生成することは、前記許可されていない行為について前記車両の操作者に警告を提供すること含む、車両システムを制御することを含み、
前記許可されていない行為にはシートベルトのラッチを外すこと、ドアを開けること、ドアのロック解除、及び車両制御装置との相互作用が含まれる、請求項１４に記載の方法。

【請求項18】

前記現在の状態を決定することは、少なくとも前記車両のダイナミクスを示す前記車両の状況を決定すること含み、
前記応答を生成することは、警告を提供することを含む段階的反応及び前記ダイナミクスに従って前記応答を生成し、前記許可されていない行為を防止するため、前記許可されていない行為に関連付けられた車両システムを制御することを含む、請求項１４に記載の方法。

【請求項19】

前記現在の状態を決定することは、前記レーダデータから前記客室内の前記同乗者の位置を特定することを含み、前記同乗者に関する特徴及び前記同乗者がチャイルドシートに着座しているかを決定することを含む、請求項１４に記載の方法。

【請求項20】

前記現在の状態が前記閾値を満たすことを特定することは、機械学習アルゴリズムである検出モデルを使用して、車両構成要素に関連する前記許可されていない行為を示す前記同乗者の動きを感知することを含み、
前記現在の状態を決定することは、監視すべき前記許可されていない行為に関連する領域を定義するために、前記車両構成要素の周囲にバウンディングボックスを定義することを含む、請求項１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書において記載される主題は、概して、同乗者と車両内の構成要素との相互作用を感知するシステム及び方法に関し、特に、子供がシートベルトのラッチを外そうとしたとき、又は車両のドアのロックを解除／開けようとしたときを決定するシステム及び方法に関する。

【背景技術】

【0002】

車両には、エアバッグ、アクティブ／パッシブレストレイント、自動制御アシスト（例えば、アンチロックブレーキシステム（ＡＢＳ））、ドアロックなど、同乗者を保護するためのさまざまな安全システムが採用されている。これらのシステムは同乗者の安全性を向上させるが、未使用又は作動停止状態ではその目的を果たさない。ドアロックやシートベルト、その他の安全ラッチなどのシステムの使用は、概して、ラッチ／ロック、ラッチ／ロック解除を含め、特定の使用者の意思に任されている。しかしながら、使用者が少年や、安全システムを充分に理解していない可能性のある人物である場合、そのような同乗者からの干渉は、効果的な使用を難しくする可能性がある。例えば、子供はシートベルトを玩具とみなし、その行為が安全性に及ぼす影響を考慮せずにシートベルトのラッチを外そうとするかもしれない。同様に、子供がドアのロックを解除したり、他の制御装置（例えば、窓、ＨＶＡＣ、ラジオなど）に干渉したりする可能性があり、開いている可能性のあるドアによって直接的に、あるいは車両内の設定を変更するときに運転者の注意をそらすことから潜在的に危険な状況に陥る可能性がある。したがって、安全システムの安全かつ効果的な使用は、そのようなシステムの使用を充分に理解する能力を持たない同乗者を考慮すると、複雑な事態になる可能性がある。

【発明の概要】

【0003】

実施形態には、同乗者と車両構成要素との相互作用を感知することによって、車両内の安全システムの使用を改善することに関するシステム及び方法が含まれる。前述したように、様々な安全システムを使用すること、及び車両内に特定のタイプの同乗者が概して存在することは、それらの同乗者による安全システムの適切な使用を信頼するという状況の中で困難をきたす可能性がある。例えば、システムを適切に使用する方法や時を理解する能力を持たない子供やその他の個人が車両内に存在する場合、危険な状況が発生する可能性がある。このような状況には、一例として、不適切なタイミングでシートベルトのラッチを外すこと、不適切なタイミングでドアのロックを解除すること／ドアを開けること、及び／又は、車両の安全運転に影響を及ぼす可能性のある車両の客室内の制御装置や構成要素と相互作用することが含まれる。

【0004】

したがって、一実施形態では、同乗者と車両の様々な構成要素との相互作用を感知することによって、車両内の安全性を向上させる手法が開示される。例えば、監視システムで、車両内の１つ以上のレーダを活用して、同乗者とシートベルトラッチ、ドアハンドル及びロック、窓制御装置、インフォテインメント制御装置、ＨＶＡＣ制御装置などとの相互作用を観察することができる。一構成では、レーダは同乗者を観察するが、カメラが提供するような単純な撮像以上の機能を提供する。子供などの同乗者は、車のシートに座っていたり、毛布やコートで覆われていたり、他の物体（例えば、玩具）によってレーダセンサと同乗者との間の視線が遮られたりすることがあり、それによって、視覚撮像装置（すなわち、ＲＧＢカメラなど）による同乗者の手の直接的な観察が実用的でなくなることを考慮すべきである。

【0005】

そこで、監視システムは、レーダからの信号を用いて様々な処理手法を活用し、物体を通り越して同乗者を観察することができる。すなわち、レーダは、車のシート、毛布、ジャケット、玩具などを含む物体を透視する機能を提供する。そのため、監視システムは、最初に、車両内の同乗者の位置と、前述のシートベルトラッチ、ドアハンドル／ロックなどの、同乗者による許可されていない行為に関連する対応領域とを特定することができる。したがって、一構成では、現在の状況が、選択された行為が許可されないことを示し（例えば、車両が走行中であるとき）、特定のタイプの同乗者（例えば、子供）が存在する場合、監視システムは、次に、同乗者の手の届く範囲にある監視すべき領域を決定する。

【0006】

監視システムは、一構成では、車両内の制御装置又は他の敏感な領域の既知の位置を同乗者と関連付けることによって、領域を決定することができる。このように、監視システムは、監視用レーダに対する客室内の定義された奥行きでバウンディングボックスを定義することができる。例えば、２次元フレーム内の広範な領域ではなく、奥行きに従ってバウンディングボックスを定義することにより、監視システムは、ジャケット、毛布などの障害物を気にすることなく、関心領域に監視を集中させる。したがって、監視システムは、レーダから繰り返し情報を取得し、同乗者の動きがシートベルトのラッチを外そうとするような許可されていない行為にいつ該当するか決定することができる。

【0007】

監視システムがこのような行為を感知すると、監視システムは特定の違反行為に関連する段階的な応答を生成することができる。例として、違反が車両駐車中のＨＶＡＣ制御装置との相互作用である場合、監視システムは微かな可聴警告を生成することができる。一方、例えば、車両が動いているときに同乗者がシートベルトラッチやドアハンドル／ロックとの相互作用を試みた場合、監視システムは触覚的フィードバックと組み合わせて、より大きな可聴警告を提供する。このように、本手法は、車両の様々な構成要素に関連する同乗者の望ましくない行為を積極的に感知し、そのような行為を解決しやすくするために、対応する警告を運転者に提供することができる。

【0008】

一実施形態において、同乗者と車両との相互作用を感知する監視システムが開示される。監視システムは、一つ以上のプロセッサ、及び前記一つ以上のプロセッサに通信可能に接続されたメモリを含む。メモリは、一つ以上のプロセッサによって実行されると、一つ以上のプロセッサに、車両のレーダから、車両の客室に関するレーダデータを取得させる命令を含む感知モジュールを記憶する。感知モジュールは、レーダデータに従って客室の現在の状態を決定する命令を含む。感知モジュールは、現在の状態が、許可されていない行為に関する閾値を同乗者が満たすことを示していると特定することに応答して、許可されていない行為に対処する応答を生成する命令を含む。

【0009】

一実施形態において、一つ以上のプロセッサによって実行されると、一つ以上のプロセッサに様々な機能を実行させる命令を含む非一時的なコンピュータ可読媒体が開示される。命令は、車両のレーダから、車両の客室に関するレーダデータを取得する命令を含む。命令は、レーダデータに従って客室の現在の状態を決定する命令を含む。命令は、現在の状態が、許可されていない行為に関する閾値を同乗者が満たすことを示していると特定することに応答して、許可されていない行為に対処する応答を生成する命令を含む。

【0010】

一実施形態において、方法が開示される。一実施形態において、方法は、車両のレーダから、車両の客室に関するレーダデータを取得することを含む。方法は、レーダデータに従って客室の現在の状態を決定することを含む。方法は、現在の状態が、許可されていない行為に関する閾値を同乗者が満たすことを示していると特定することに応答して、許可されていない行為に対処する応答を生成することを含む。

【図面の簡単な説明】

【0011】

添付の図面は、本明細書に援用されてその一部を構成し、本開示のさまざまなシステム、方法、及び他の実施形態を示す。図に示された要素境界（例えば、ボックス、ボックスのグループ、又は他の形状）は、境界の一実施形態を表すことが理解されよう。一部の実施形態では、一つの要素が複数の要素として設計されてもよく、又は、複数の要素が一つの要素として設計されてもよい。一部の実施形態では、別の要素の内部要素として示される要素が、外部要素として実装されてもよく、そしてその逆でもよい。さらに、要素は一定の縮尺で描かれていないことがある。

【0012】

【図1】図１は、本明細書において開示されるシステム及び方法が実装されうる車両の一実施形態を示す。

【図2】図２は、車両の客室内の構成要素と同乗者の相互作用の感知に関連する監視システムの一実施形態を示す。

【図3】図３は、同乗者が車両内の構成要素といつ相互作用するかを特定するために同乗者を監視する方法に関連するフローチャートの一実施形態を示す。

【図4】図４は、子供が車両のドアを開けようとする様子を描いた図である。

【図5】図５は、子供がシートベルトのラッチを外そうとする様子を描いた図である。

【発明を実施するための形態】

【0013】

同乗者と車両の構成要素との相互作用を感知することによって、車両内の安全システムの使用を改善することに関連するシステム、方法、及び他の実施形態が開示される。前述したように、様々な安全システムを使用する際に、車両内に特定のタイプの同乗者が概して存在することは、それらの同乗者による安全システムの適切な使用を信頼するという状況の中で困難をきたす可能性がある。例えば、システムを適切に使用する方法や時を理解する能力を持たない子供やその他の個人が車両内に存在する場合、危険な状況が発生する可能性がある。このような状況には、一例として、不適切なタイミングでシートベルトのラッチを外すこと、不適切なタイミングでドアのロックを解除すること／ドアを開けること、及び／又は、車両の安全運転に影響を及ぼす可能性のある車両の客室内の制御装置や構成要素と相互作用することが含まれる。

【0014】

したがって、一実施形態では、同乗者と車両の様々な側面との相互作用を感知することによって、車両内の安全性を向上させる手法が開示される。例えば、監視システムは、車両内の１つ以上のレーダを活用して、同乗者とシートベルトラッチ、ドアハンドル及びロック、窓制御装置、インフォテインメント制御装置、ＨＶＡＣ制御装置などとの相互作用を観察し得る。一構成では、レーダは乗員を観察するが、カメラが提供するような単純な撮像以上の機能を提供する。子供などの同乗者は、チャイルドシートに座っていたり、毛布やコートで覆われていたり、他の物体（例えば、玩具）によってレーダセンサと同乗者との間の照準線が遮られたりすることがあり、それによって、視覚撮像装置（すなわち、ＲＧＢカメラ及び同種のもの）による乗員の手の直接的な観察が実用的でなくなることを考慮すべきである。

【0015】

このように、監視システムは、レーダからの信号を用いて様々な処理手法を活用し、物体を通り越して同乗者を観察することができる。すなわち、レーダは、超広帯域（ＵＷＢ）レーダ、ミリ波（ＭＭＷ）レーダ、又は開示された機能を可能にする同様のレーダ技術であってもよい。監視システムは、レーダからの情報を使用して、車のシート、毛布、ジャケット、玩具などを含む物体を透視し、静的な物体と動的な物体を区別することができる。そのため、監視システムは、最初に、車両内の同乗者の位置と、前述のシートベルトラッチ、ドアハンドル／ロックなどの同乗者による許可されていない行為に関連する対応領域とを特定することができる。したがって、一構成では、現在の状況が、選択された行為が許可されないことを示し（例えば、車両が走行中であるとき）、特定のタイプの同乗者（例えば、子供）が存在する場合、監視システムは、次に、同乗者の手の届く範囲にある監視すべき領域を決定する。

【0016】

監視システムは、一構成では、車両内の制御装置又は他の懸念領域の既知の位置を、同乗者の手の届く距離又は定義された距離（例えば、１．０メートル）内に関連付けることによって、監視する領域を決定することができる。このように、監視システムは、監視するレーダに対する客室内の定義された奥行きにバウンディングボックスを定義することができる。例えば画像のような二次元フレーム内の広範な領域ではなく、奥行きに従ってバウンディングボックスを定義することにより、監視システムは、ジャケット、毛布などの障害物を気にすることなく、関心領域に監視を集中させることができる。したがって、監視システムは、レーダから繰り返し情報を取得し、同乗者の動きがシートベルトのラッチを外そうとするなどの許可されていない行為にいつ対応するかを決定することができる。

【0017】

監視システムがこのような許可されていない行為を感知した場合、監視システムは特定の違反行為に関連する段階的な応答を生成することができる。例として、監視システムは、ＨＶＡＣ制御装置を操作するなどの軽微な違反に対しては、微かな可聴警告を発生させることができる。対照的に、監視システは、例えば、同乗者がシートベルトラッチやドアハンドル／ロックと相互作用しようとした場合、１つ以上の追加フィードバック、触覚フィードバック又は他の機構と組み合わせて、大音量の可聴警告の形でより大きなアラームを生成することができる。このようにして、本手法は、車両の様々な構成要素に関連する同乗者の望ましくない行為を積極的に感知し、そのような行為を解決しやすくするために、対応する警告を運転者に提供することができる。

【0018】

図１を参照すると、車両１００の例が示される。本明細書で使用される場合、「車両」は、任意の形の動力付き輸送機関である。一つ以上の実施態様で、車両１００は自動車である。本明細書では、自動車に関する構成を説明するが、実施形態は自動車に限定されないことが理解されよう。いくつかの実施態様では、車両１００は、客室である画定された空間内で同乗者を運ぶ任意の形態の輸送機関であってもよい。したがって、本開示の手法は、バス、列車、飛行機、ゴンドラ、及び他の人輸送システムに拡張され得る。

【0019】

いずれにせよ、本明細書に記載されるように車両１００は種々の要素も含む。種々の実施形態で、車両１００が図１に示される要素の全てを有することは必要ではないであろうことが理解されよう。車両１００は、図１に示される種々の要素の異なる組合せを有してもよい。さらに、車両１００は、図１に示される要素に対して追加の要素を備えてもよい。一部の構成において、車両１００は、図１に示される要素の一つ以上無しで実装されてもよい。種々の要素が車両１００の内部に設置されるように示されているが、これらの要素の一つ以上が車両１００の外部に設置されてもよいことが理解されよう。

【0020】

車両１００の可能な要素の一部が図１に示されており、その後に続く図とともに記載される。しかしながら、図１の要素の多くについての説明は、この説明を簡潔にするために図２から図５に関する論考の後に提供される。さらに、説明を簡単かつ明瞭にするために、必要に応じて、対応する要素又は類似の要素を示すために、異なる図の間で参照番号を繰り返していることが理解されよう。さらに、この論考は、本明細書において記載される実施形態の完全な理解を提供するために、多数の具体的な詳細を概説する。しかしながら、当業者は、本明細書において記載される実施形態がこれらの要素の種々の組合せを用いて実践されてもよいことを理解するであろう。

【0021】

いずれにせよ、車両１００は、車両１００内の同乗者又は他の同乗者の安全に影響を及ぼす可能性のある車両構成要素との相互作用を伴う許可されていない行為を感知することによって、車両内の同乗者の安全性を向上させるように機能する監視システム１７０を含む。記載された機能及び方法は、図面の更なる説明により、より明らかになるであろう。

【0022】

図２を参照すると、監視システム１７０の一実施形態が更に示されている。監視システム１７０は、プロセッサ１１０を含むものとして示されている。したがって、プロセッサ１１０は、監視システム１７０の一部であってもよいし、監視システム１７０がデータバス又は別の通信経路を介してプロセッサ１１０にアクセスしてもよい。１つ以上の実施形態において、プロセッサ１１０は、感知モジュール２２０に関連する機能を実装するように構成される特定用途向け集積回路（ＡＳＩＣ）である。概して、プロセッサ１１０は、本明細書で説明するように、様々な機能を実行可能なマイクロプロセッサなどの電子プロセッサである。一実施形態において、監視システム１７０は、感知モジュール２２０を記憶するメモリ２１０を含む。メモリ２１０は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、ハードディスクドライブ、フラッシュメモリ、又はモジュール２２０を記憶するための他の適切なメモリである。モジュール２２０は、例えば、プロセッサ１１０によって実行されると、プロセッサ１１０に本明細書に開示される様々な機能を実行させるコンピュータ可読命令である。当然のことながら、モジュール２２０は、代替的手段において、ハードウェア論理、プログラマブルロジックアレイ、又は物理的な形態で命令を実装する別のハードウェアベースの処理システムを含む。

【0023】

さらに、一実施形態では、監視システム１７０は、データストア２３０を含む。データストア２３０は、一構成では、メモリ２１０又は別のメモリに記憶され、記憶されたデータの分析、記憶されたデータの提供、記憶されたデータの整理などのためにプロセッサ１１０によって実行可能なルーチンで構成されるデータベースなどの電子データ構造である。このように、一実施形態では、データストア２３０は、モジュール２２０が様々な機能を実行する際に使用するデータを格納する。一実施形態において、データストア２３０は、例えば、モジュール２２０によって使用される他の情報と一緒に、レーダデータ２４０及び検出モデル２５０を含む。

【0024】

引き続き図２を参照すると、感知モジュール２２０は、概して、車両１００内のレーダ２６０から車両１００の客室に関するレーダデータ２４０を取得するようにプロセッサ１１０を制御するよう機能する命令を含む。したがって、感知モジュール２２０は、一実施形態では、レーダデータ２４０を提供するように車両１００内の少なくとも１つのレーダ２６０を制御する。更なる実施形態では、感知モジュール２２０は、カメラ、超音波センサなど、レーダ２６０以外の更なるセンサから情報を取得してもよい。例えば、感知モジュール２２０は、一手法において、別々のセンサからのデータを融合して、車両１００の客室の特定の側面に関する観察を提供する。一例として、センサデータ自体は、１つ以上の手法において、別々の画像、レーダリターン（すなわち、レーダデータ２４０）、ライダリターン、テレマティクスデータなどの形式をとることができる。概して、感知モジュール２２０は、取得されたセンサデータから決定（例えば、位置、移動、大きさなど）を導出し、観察された空間の別々の側面に関するデータを対応する情報と融合させる。

【0025】

当然のことながら、複数のソースを言及したが、感知モジュール２２０は、レーダデータ２４０のみに依存して、車両１００及び関連する車両構成要素内の同乗者に関する位置、動き、及び他の側面を感知することができる。さらに、感知モジュール２２０は、センサデータを提供するために様々なセンサを制御するものとして議論されているが、１つ以上の実施形態では、感知モジュール２２０は、センサデータを取得するために積極的又は受動的のいずれかである他の技術を採用することができる。例えば、感知モジュール２２０は、車両１００内の様々なセンサによって更なる構成要素に提供される電子情報の流れからセンサデータを受動的に傍受することができる。さらに、感知モジュール２２０は、車両１００内で前述の機能を実行するものとして議論されているが、１つ以上の構成において、感知モジュール２２０は、レーダデータ２４０及び／又は他の取得されたセンサデータを処理するためのクラウドリソースとして、車両１００から遠隔に配置されてもよい。

【0026】

レーダ２６０自体を参照すると、一構成では、レーダ２６０はミリ波（ＭＭＷ）レーダである。したがって、レーダ２６０は、３０～３００ＧＨｚの範囲の周波数を有する電磁信号を使用することができる。更なる構成では、レーダ２６０は、超広帯域（ＵＷＢ）レーダ又は本明細書で論じる機能を提供する別のタイプのレーダである。レーダ２６０自体は、客室の全容積の感知を改善するために、複数の別個の装置として、及び／又は複数のアンテナを用いて構成することができる。概して、特定の種類のレーダ２６０を選択することは、レーダ２６０によって提供される機能性に関連する。例えば、レーダ２６０は、概して、物体が直接の照準線を遮ることがあっても同乗者の観察を提供する。すなわち、レーダ２６０は、物体を通り越して同乗者を撮像することが可能であり、別の言い方をすれば、物体を透視することができる。例えば、感知モジュール２２０は、レーダ２６０の感知深度を、監視のために特に関心のある車両構成要素に関連する空間を定義するバウンディングボックス内に集中させることができる。したがって、レーダ２６０は、レーダとバウンディングボックスとの間に不明瞭な要素が配置されていても、バウンディングボックスの領域に関する情報を提供する。したがって、レーダ２６０は、衣服、上着、玩具、チャイルドシート、車両の座席、バックパック、及び他の物体などの障害物を通り越してバウンディングの領域を感知することができる。このようにして、感知モジュール２２０は、従来の撮像技術（例えば、ＲＧＢカメラ）で起こり得るような視界を遮る物品を気にすることなく、客室に関する情報を取得する。

【0027】

さらに、レーダ２６０は、客室内の個別の座席領域に関する情報を提供することができる。個別の座席領域は、ミニバン又は多列座席配置の別の車両内の中央列、及び、後列などの後部座席領域、並びにセダン、スポーツ多目的車（ＳＵＶ）、及び同様の車両内の後部座席領域を含み得る。更なる態様として、レーダ２６０は、助手席に関するレーダデータ２４０も提供することができ、一構成では、車両１００の操作者の座席に関するレーダデータ２４０さえも提供することができる。このように、概して、レーダデータ２４０は、客室の完全な観察を提供するために、同乗者が座っている可能性のある客室内の領域の観察を提供する。

【0028】

したがって、感知モジュール２２０は、車両１００の客室に関するレーダデータ２４０を取得し、少なくとも１つの構成において、客室に関する初期決定を実行する。初期決定は、異なる座席の同乗者の存在及び同乗者の特徴を特定することを含み得る。例えば、一構成では、感知モジュール２２０は、同乗者が車両１００にいつ出入りするかを積極的に特定する。したがって、感知モジュール２２０は、ドアセンサを使用して同乗者がいつ出入りするかを特定し、スキャンを実行して同乗者の存在及び客室内の特定の位置を特定することができる。したがって、一構成では、同乗者の存在を決定することは、客室内の変化を動的に決定するように機能する客室の現在の状態の継続的な決定であり、車両１００のダイナミクス（例えば、車両が駐車中であるか移動中であるか、及び移動中の車両１００の現在の軌道）を決定するなど、車両１００により広く関連する状況指標を決定することを更に含み得る。

【0029】

感知モジュール２２０は、一手法において、同乗者が監視されるべきかを更に評価するために、一度検知された同乗者の年齢を更に決定する。当然のことながら、様々な構成において、同乗者をいつ監視するかについての決定は、操作者の希望に従って実施されてもよい。例えば、感知モジュール２２０は、いつ監視するかを示すパラメータを定義することができ、それは、操作者による入力に従って定義することができる。したがって、パラメータは、常に全ての同乗者を監視すること、操作者による選択に基づいて同乗者を監視すること、年齢に従って同乗者をいつ監視するかを自動的に決定すること、などを示すことができる。

【0030】

したがって、感知モジュール２２０は、年齢の推定値を提供するために、レーダデータ２４０を使用して同乗者の大きさ（例えば、身長、体積など）を推定してもよい。更なる構成では、感知モジュール２２０は、この評価を行うために、車両１００の座席の重量センサなど、車両１００の追加センサを活用してもよい。一構成では、感知モジュール２２０は、検出モデル２５０などの機械学習モデルを用いてレーダデータ２４０を処理する。したがって、一手法では、検出モデル２５０は、点群内の関連する点のクラスタを特定することによってレーダデータ２４０を処理し、処理されたレーダデータ２４０から、検出モデル２５０は、同乗者に関連する体積を定義し、同乗者の姿勢及び様々な属性を示し得る。このように、検出モデル２５０は、次に、同乗者の推定身長を出力することができ、感知モジュール２２０が同乗者の年齢を大まかに推定するために使用することができる。更なる手法では、検知モジュール２２０は、代わりに、車両１００に存在する同乗者の監視を実施することを示す車両１００の操作者からの入力を受け取ることができる。

【0031】

いずれの場合も、感知モジュール２２０は、監視領域を定義するために、同乗者に近接する１つ以上の車両構成要素を決定する。一構成では、車両構成要素の決定は車両タイプに従ってプログラミングされるが、更なる構成では、感知モジュール２２０は、車両構成要素を動的に検出するか、又は車両構成要素の位置／タイプを特定する操作者からの入力を受信することができる。車両タイプに従ったプログラミングの場合、感知モジュール２２０は、車室内の異なる構成要素を特定するＯＥＭ（相手先商標製品製造業者）から構成をロードしてもよい。構成によって、レーダ２６０の受信機又は車室内に配置された一式のフィデューシャルなどの、基準点又は一式の基準点に対する車両構成要素の車室内の位置を指定することができる。

【0032】

いずれの手法をとるにせよ、感知モジュール２２０は、車両構成要素の位置に関する認識を取得する。本明細書に適用されるように、感知モジュール２２０が焦点を当て得る車両構成要素には、概して、シートベルトラッチ、ドアロック、及びドアハンドルが含まれる。更なる手法では、車両構成要素は、ＨＶＡＣ制御装置、インフォテインメント制御装置（ラジオなど）、窓制御装置、座席位置制御装置などの車両システム制御装置も備える。更なる手法では、車両構成要素は、操作者のシートバック、窓、サンルーフなどのような、客室のインテリアの面を含み得る。したがって、感知モジュール２２０は、様々な異なる車両構成要素を監視し得る。

【0033】

車両構成要素と所定の同乗者とを関連付けるために、感知モジュール２２０は、一構成では、車両構成要素のどれが同乗者の影響範囲内にあるかを決定する。言い換えれば、感知モジュール２２０は、例えば同乗者の手の届く範囲に従って、所定の同乗者が相互作用できる車両構成要素がどれであるかを決定する。したがって、特定の車両構成要素は、客室内の同乗者の位置及び同乗者の大きさに従って変化し得る。代替的な構成では、感知モジュール２２０は、同乗者は、同乗者が客室内で着座している位置に近接する様々な車両構成要素（例えば、１．０メートルの任意の構成要素）と相互作用することができるとみなす。

【0034】

関連付けが完了すると、感知モジュール２２０は、例えば、同乗者に対応する個別の車両構成要素に関するバウンディングボックスを定義する。感知モジュール２２０は、一手法において、車両構成要素の周囲の３次元空間におけるバウンディングボックスを定義する。バウンディングボックスは概してレーダ２６０に対して定義され、感知モジュール２２０は、許可されていない行為を監視するために、車両１００内の特定の空間に関する知識を有する。前述したように、許可されていない行為は、車両１００の走行中にシートベルトを着用していない同乗者、開いている／ロックされていないドア、開いている窓、窓／サンルーフから突き出た同乗者の手足、シートバックを蹴ることによる運転者の注意散漫、インフォテインメント／ＨＶＡＣの予期せぬ調整など、安全でない状況をもたらす可能性のある同乗者と車両構成要素との相互作用である。

【0035】

したがって、感知モジュール２２０は、レーダデータ２４０を繰り返し取得して、車両構成要素と相互作用する同乗者に対する客室の現在の状態を決定する。一手法では、感知モジュール２２０は、車両構成要素との許可されていない行為に関連する閾値を同乗者がいつ満たすかを特定する。閾値は、例えば、同乗者が車両構成要素と相互作用する、又は車両構成要素に接近する特定の時間を定義し得る。一構成では、閾値は、感知モジュール２２０によって特定され得るような特定の動きの特徴と組み合わせて時間／持続時間を定義する。

【0036】

例えば、検出モデル２５０は、一構成において、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、又は別のディープニューラルネットワークなどの機械学習アルゴリズムであり、複数の独立したニューラルネットワーク（例えば、ＣＮＮ及びＲＮＮの両方）の組み合わせを含み得る。いずれにせよ、検出モデル２５０は、感知モジュール２２０と統合されていてもよく、レーダデータ２４０を処理して、同乗者による動きのパターンを特定してもよい。一例として、動きのパターンには、同乗者の腕及び手の異なる要素による動きの範囲が含まれることがあり、胴体、頭部などの微妙な動きを特定することも含まれることがある。いずれにせよ、検出モデル２５０は、レーダデータ２４０を処理して、許可されていない行為が発生する可能性を示す同乗者による動きのパターンを特定することができる。

【0037】

更なる構成において、感知モジュール２２０は、許可されていない行為に対応する動きのパターンを最初に特定し、次に、最終的に応答をトリガするための車両構成要素に近接する時間の閾値を考慮する決定を更に実施するために、感知モジュール２２０を使用してもよい。本開示は、概して、動きのパターンを検出するための機械学習アルゴリズムの使用を論じるが、更なる手法において、ヒューリスティックベースの手法などのように動きのパターンを検出するための他の機構が採用され得ることが理解されるべきである。いずれにせよ、感知モジュール２２０は、動きのパターンの検出と、誤検出の回避を容易にする車両構成要素の周囲に滞留する時間の両方を含む閾値を定義する。このように、感知モジュール２２０は、動きとタイミングがいつ閾値を満たすか（すなわち、動きのパターンが感知され、タイミングが許可されていない行為を示すのに充分なとき）を決定するために、同乗者、及び、構成要素に関連するバウンディングボックスに特に焦点を当てて監視する。さらに、検出モデル２２０は、同乗者毎に、同乗者のタイプ（例えば、年齢層）に従って、及び／又は座席における同乗者の姿勢／位置に従って、異なる同乗者の動きのパターンを学習し得ることが理解されるべきである。

【0038】

現在の状態が、同乗者が閾値を満たすことを示すことを特定することに応答して、感知モジュール２２０は、許可されていない行為に対処する応答を生成する。概ね前提として、感知モジュール２２０は、任意の許可されていない行為に対処する応答を生成する。したがって、一構成では、感知モジュール２２０は、適切な措置が取られ得るように、車両１００の操作者に対して同乗者の行為について操作者に知らせる警告を生成する。更なる手法において、感知モジュール２２０は、異なる形式で応答を提供してもよく、応答を自動化してもよい。したがって、感知モジュール２２０は、一構成では、車両１００の状況及び許可されていない行為のタイプに従ってエスカレートする反応を伴う段階的方法で応答を生成する。

【0039】

例えば、段階的な応答は、操作者に提供される簡単な可聴警告から、車両１００の自動操縦までに及ぶことがある。一手法では、感知モジュール２２０は、車両１００が現在何をしているかを感知モジュール２２０に知らせる車両１００のセンサに従って状況を決定する。すなわち、感知モジュール２２０は、車両の速度又は車両の概ねの動きを決定するために、車両１００のＩＭＵセンサ、又は他のセンサから情報を取得することができる。更なる態様において、感知モジュール２２０は、状況を決定するために、トランスミッションの状態（例えば、パーク又はドライブ）又は他の側面を決定し得る。いずれにせよ、感知モジュール２２０は、状況を使用して許可されていない行為の重大度を決定する。例えば、車両１００が停止しており、かつ駐車状態にある場合、シートベルトのラッチを外すこと、ドアのロックを解除すること／開けること、他の制御装置（例えば、窓、ＨＶＡＣなど）と相互作用することは、危険性が低いと考えられ得る。しかしながら、車両１００が一旦走行状態になると、上述した行為のいくつかは危険性が高くなる。さらに、車両１００が車道速度で走行中になると、その行為は更に危険性を伴う可能性がある。

【0040】

したがって、感知モジュール２２０は、文脈に対応する段階的反応に従って応答を生成することができる。一手法において、反応は、可聴警告又は触覚警告であり得る概ねの警告を定義する第１段階を含む。第１段階の警告は、概ね穏やかであり、緊急性を示さない強度レベル（例えば、音量、振動）で提供され得る。第２段階は、より緊急性の高い警告（例えば、音量／振動の増加）を定義し、ドアのロック、窓のロック、ＨＶＡＣやインフォテインメントなどの制御装置のロックなど、１つ以上の車両システムの自動制御を更に含み得る。第３段階は、高速走行や困難な運転条件下（例えば、雪、雨など）での走行を示す状況に対応する、より緊急性の高い反応を定義することができる。例えば、第３段階は、より激しい音量／振動によって前段階よりも緊急性の高い警告を示し得る。第３段階は、緊急停車又は停止などの車両１００自体の自律制御に加えて、車両システムの前述した自動制御を更に含んでもよい。このようにして、監視システム１７０は、同乗者と車両１００全体の安全性を向上させるために、許可されていない行為を特定し、適切な応答を提供することができる。

【0041】

車両構成要素との相互作用を感知することによって車両内の同乗者の安全性を向上させる追加的な態様について、図３に関連して説明する。図３は、同乗者による許可されていない行為を感知することに関連する方法３００のフローチャートを示す。方法３００は、監視システム１７０の視点で論じられる。方法３００は、監視システム１７０と組み合わせて論じられるが、方法３００は、監視システム１７０内で実施されることに限定されず、代わりに、方法３００を実施し得るシステムの一例であることが理解されるべきである。

【0042】

３１０で、感知モジュール２２０は、レーダ２６０から、車両１００の客室に関するレーダデータ２４０を取得する。前述のように、感知モジュール２２０は、同乗者の位置及び様々な車両構成要素との相互作用に関連する車両１００の内部のリアルタイム評価を提供するために、レーダデータ２４０を繰り返し取得する。したがって、レーダデータ２４０の取得は、方法３００の更なる機能に合わせて連続的に示されているが、感知モジュール２２０は、レーダデータ２４０の取得を、開示された更なる機能のうちの１つ以上と並行して実行してもよい。

【0043】

さらに、レーダデータ２４０自体は、概して、車両１００内の全ての座席領域を包含する領域を対象とする。したがって、レーダ２６０からのレーダデータ２４０は、様々な車両構成要素に対する同乗者の動き及び位置を含んだ、同乗者に関する情報を含む。さらに、レーダデータ２４０には、監視対象の車両構成要素や車両１００の他の側面などの静的構成要素の観察結果も含まれる。概ねの特性として、感知モジュール２２０は、レーダデータ２４０を使用して、客室内の静的な物体と動的な物体を区別することができ、それによって同乗者の動きの特定を単純化することができる。

【0044】

３２０において、感知モジュール２２０は、レーダデータ２４０に従って客室の現在の状態を決定する。本開示で使用されるように、現在の状態を決定することは、概して、事前設定（例えば、車両構成要素の位置を特定すること）を実行すること、同乗者の占有状態及び位置を決定すること、車両の状況を決定すること、及び同乗者による車両構成要素との相互作用を感知することを含むが、これらに限定されない複数のタスクに対応することに留意されたい。したがって、３２０において、感知モジュール２２０は、レーダデータ２４０を処理して、現在の状態を形成する客室及び車両１００全般に関するいくつかの異なる側面を決定する。

【0045】

一構成では、感知モジュール２２０は、最初に客室内の同乗者の位置を特定することによって現在の状態を決定する。一手法では、同乗者の位置を特定することは、その中に人が存在することに対応する特徴を有するレーダデータ２４０内のパターンをクラスタ化、セグメント化、及び分類することができる検出モデル２５０に従ってレーダデータ２４０を処理することを含む。したがって、感知モジュール２２０は、同乗者の特定から、場所を決定し、同乗者と、アクセスが制限されている様々な車両構成要素とを関連付けることができる。概して、同乗者の最初の特定及び車両構成要素との関連付けは、初期化機能として行われ、その後、動きがある場合に同乗者を更に追跡するため位置を更新することを含み得る。

【0046】

さらに、感知モジュール２２０は、同乗者の年齢、又は少なくとも同乗者が子供であるか大人であるかを推定することもできる。この決定から、感知モジュール２２０は、同乗者がどの車両構成要素と相互作用してもよいか、又は相互作用してはならないのかを更に絞り込むことができ、それによって、特定の同乗者に対する許可されない行為を定義することができる。前述のように、感知モジュール２２０は、同乗者の大きさに従って同乗者の年齢を推定することができ、年齢を推定する際に座席配置も考慮することができる。すなわち、同乗者がチャイルドシートに座っている場合、感知モジュール２２０は、同乗者が子供であると結論付け得る。このようにして、感知モジュール２２０は、同乗者の近くにあるどの車両構成要素を監視するかを更に絞り込むことができる。

【0047】

感知モジュール２２０は、車両１００の状況に従って現在の状態を更に定義してもよい。感知モジュール２２０は、少なくとも一手法において、車両１００の走行状態（すなわち、トランスミッションギア－パーク、ドライブ、リバース）及び現在の速度を含む車両１００のダイナミクスを決定することによって、状況を決定する。更なる手法では、感知モジュール２２０は、テレマティクスデータ、ＩＭＵデータなどの追加データを活用してもよい。いずれにせよ、概して、状況によって、感知モジュール２２０は同乗者による特定の行為がより危険な場合（例えば、シートベルトのラッチを外すこと）を認識する。

【0048】

更に別の態様では、感知モジュール２２０は、監視対象の同乗者に対応する車両構成要素に関連する車両１００内の位置にバウンディングボックスを定義する。バウンディングボックスは、概して、車両構成要素を取り囲み、レーダ２６０に対する少なくとも奥行きに従って定義される。一構成では、感知モジュール２２０は、車両構成要素との相互作用が生じる車両構成要素に関する空間を概ね捕捉するようにバウンディングボックスを画定する。このように、感知モジュール２２０は、同乗者が特定の構成要素と概ねどのように相互作用するかに依存し得る定義された距離（例えば、８．０ｃｍ）だけ車両構成要素から外側に拡張するようにバウンディングボックスを定義することができる。このように、バウンディングボックスは、車両構成要素に近接する三次元空間であってもよく、その空間内で同乗者が動くことは、車両構成要素と相互作用する試みであると見なされる。いずれにせよ、特定の奥行き及び特定の大きさでバウンディングボックスを定義することで、感知モジュール２２０が、介在する構造物の存在に関係なく、異なる奥行きに従ってレーダデータ２４０を解析できるため、衣服、座席、玩具、及びその他の物体などの障害物が同乗者の直接の視界を遮る場合に、同乗者の観察が容易になる。

【0049】

したがって、感知モジュール２２０は、レーダデータ２４０を更に処理して、車両構成要素に関連した許可されていない行為を示す同乗者の動きを特定する。例えば、感知モジュール２２０は、同乗者の異なる部分に対応する一連のボクセルを特定するように機能する検出モデル２５０を実装する。一構成では、より強度の高い（すなわち、より多くの動き）ボクセルは、手の動きに関連付けられ、より強度の低いボクセルは、腕、肩、胴体、及び頭部の動きに関連付けられ得る。いずれにしても、検出モデル２５０は、同乗者の動きが車両構成要素との相互作用をいつ示すかを決定するために、同乗者の異なる部分に関連するボクセルのパターンを特定する。概して、検出モデル２５０は、特定の動きがある行為に関して学習された動きとどの程度密接に対応するかに関連して信頼スコアを提供することによって動きを評価することができる。

【0050】

特定の動きの評価に加えて、感知モジュール２２０は、同乗者が車両構成要素に関連するバウンディングボックスの上にどれだけの時間滞留するかを評価するタイミング構成要素も実装することができる。すなわち、同乗者が相互作用の意図なしに車両構成要素上に一瞬手を出す可能性がある場合に、相互作用の肯定的な特定を回避するために、感知モジュール２２０は、一態様では、許可されていない行為を特定するための相互作用の時間を定義する。このようにして、感知モジュール２２０は、同乗者がいつ車両構成要素と相互作用しようとしているかを正確に特定することができる。

【0051】

３３０において、感知モジュール２２０は、現在の状態が、同乗者が許可されていない行為に関連する閾値を満たすことを示すかを特定する。概して、閾値は、同乗者による車両構成要素との相互作用を定義する。したがって、相互作用を定義することは、概して、（例えば、検出モデル２５０従って）動きを特定すること、及び、相互作用の時間を更に満たすことを含む。したがって、バウンディングボックス内の動き及びタイミングが閾値を満たす場合、感知モジュール２２０は、３４０で論じたように、次に応答を提供する。閾値を満たさない場合、感知モジュール２２０は、３１０～３３０において、レーダデータ２４０の取得及びレーダデータの分析を繰り返す。

【0052】

３４０において、感知モジュール２２０は、許可されていない行為に対処する応答を生成する。様々な実施態様において、感知モジュールは、可聴警告を提供するためのスピーカーシステム、操作者の座席／ハンドル内のハプティクス、又は許可されていな行為に関する警告を操作者に提供するための別のシステムなどの車両システムを制御することによって、応答を生成する。前述したように、感知モジュール２２０は、段階的反応及びダイナミクスに従って応答を生成し得る。すなわち、車両１００が現在走行中であるか駐車中かに応じて、感知モジュール２２０は、ダイナミクスによって定義される危険性の高さと反応とを関連付ける段階に従って異なる反応を選択することができる。このように、感知モジュール２２０は、例えば、車両１００が高速道路を走行中であるときに、駐車中である場合と比べてより高い危険性をよりよく回避するため、反応をエスカレートさせ得る。このようにして、監視システム１７０は、車両構成要素に関連する許可されていな行為を特定することにより、同乗者の安全性を向上させる。

【0053】

図４～図５を参照して、同乗者の安全性を向上させるために監視システム１７０がどのように機能するかの追加例について説明する。図４は、客室を図面４００として示す。図面４００に示すように、子供である同乗者４１０は、後ろ向きのチャイルドシート４２０に座っている。したがって、監視システム１７０は、レーダ２６０からレーダデータ２４０を取得し、同乗者４１０の位置、同乗者４１０の推定年齢、及び潜在的な安全リスクのために同乗者が相互作用すべきでない付近の車両構成要素を含む現在の状態を特定するように機能する。つまり、図４の例では、監視システム１７０は、同乗者４１０の手の届く範囲にある可能性のあるドアハンドルとロックを特定し、ドアハンドルとロックに関するバウンディグボックス４３０を生成して監視空間を定義する。このように、監視システム１７０は、バウンディグボックス４３０を監視し、レーダデータ２４０はチャイルドシート４２０を通り越してバウンディグボックス４３０の領域を感知することができるため、チャイルドシート４２０がレーダ２６０からの直接な照準線を部分的に遮っていても、監視を行うことができる。このように、監視システム１７０が閾値を満たす相互作用を特定すると、監視システム１７０は、車両１００の状況に従って、操作者に対して警告を生成し、及び／又は、ドアが開かないようにチャイルドセーフティロックを自動的に作動させる。当然のことながら、車両１００の状況（例えば、車両が移動中であるか駐車中であるか）に応じて、監視システム１７０は、ロックを自動的に作動させる後者の応答を見送ってもよい。

【0054】

図５は、同乗者５１０が後部座席に座っている客室の図面５００を示す。よって、レーダデータ２４０の評価に基づいて、監視システム１７０は、同乗者５１０がシートベルラッチと相互作用すべきではないと決定し、したがって、シートベルトラッチに関するバウンディグボックス５２０を定義する。前述のように、バウンディングボックス５２０は、レーダ２６０に対する客室内の奥行きに従って定義されるため、感知モジュール２２０は、コート、毛布、及び／又は他の物体などの妨害物を通り越して、同乗者によるシートベルラッチとの相互作用を特定することができる。したがって、同乗者５１０の動き及びシートベルトのラッチを外すという許可されていない行為に対応するタイミングを感知すると、概して、車両が走行中には危険であるため、監視システム１７０は、同乗者５１０がシートベルトのラッチを外そうとしていることを操作者に知らせるため、操作者に警告を提供することができる。

【0055】

ここで、本明細書に開示されるシステム及び方法が動作しうる環境例として、図１のシステムについて詳細に論じる。ある場合には、車両１００は、自律モード、一つ以上の半自律動作モード、及び／又は手動モードの間で選択的に切り替わるように構成される。このような切り替えは、現在知られている、又は後に開発される適切な方法で実施することができる。「手動モード」は、車両の運行及び／又は操作のすべて又は大部分が、ユーザ（例えば、人間のドライバ）から受け取った入力に従って実行されることを意味する。一つ以上の構成において、車両１００は、手動モードのみで動作するように構成された従来の車両であってもよい。

【0056】

一つ以上の実施形態において、車両１００は、自律車両である。本明細書で使用される場合、「自律車両」とは、自律モードで動作する車両を意味する。「自律モード」は、人間のドライバからの入力を最小限に、又は全く行わずに車両１００を制御するために、一つ以上のコンピュータシステムを使用して走行ルートに沿って車両１００を運行及び／又は操作することを指す。一つ以上の実施形態において、車両１００は、高度に自動化されているか又は完全に自動化されている。一実施形態において、車両１００は、一つ以上のコンピュータシステムが走行ルートに沿った車両の運行及び／又は操作の一部を実行し、車両操作者（すなわち、ドライバ）が、走行ルートに沿った車両１００の運行及び／又は操作の一部を実行するために車両に入力を提供する、一つ以上の半自律動作モードで構成される。

【0057】

車両１００は、一つ以上のプロセッサ１１０を含んでもよい。一つ以上の構成において、プロセッサ１１０は、車両１００のメインプロセッサであってもよい。例えば、プロセッサ１１０は、電子制御ユニット（ＥＣＵ）であってもよい。車両１００は、一つ以上の種類のデータを記憶するための一つ以上のデータストア１１５を含んでもよい。データストア１１５は、揮発性及び／又は不揮発性メモリを含んでもよい。適切なデータストア１１５の事例は、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（リードオンリーメモリ）、ＰＲＯＭ（プログラマブルリードオンリーメモリ）、ＥＰＲＯＭ（消去可能プログラマブルリードオンリーメモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブルリードオンリーメモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、又は任意の他の適切な記憶媒体、又は任意のそれらの組み合わせを含む。データストア１１５はプロセッサ１１０の構成要素であってもよく、又は、データストア１１５はプロセッサ１１０で使用するためにプロセッサ１１０に動作可能に接続されてもよい。この説明の全体にわたって用いられる「動作可能に接続される」又は「通信可能に接続される」という用語は、直接の物理的接触のない接続を含む、直接的又は間接的な接続を含んでもよい。

【0058】

一つ以上の構成において、一つ以上のデータストア１１５は、地図データ１１６を含んでもよい。地図データ１１６は、一つ以上の地理的領域の地図を含んでもよい。ある場合には、地図データ１１６は、一つ以上の地理的領域内の、道路、交通管制機器、路面標識、構造物、地物、及び／又はランドマークに関する情報又はデータを含んでもよい。地図データ１１６は、任意の適切な形であってもよい。ある場合には、地図データ１１６は、領域の空中写真を含んでもよい。ある場合には、地図データ１１６は、３６０度の地上景観を含む、領域の地上景観を含んでもよい。地図データ１１６は、地図データ１１６に含まれる、及び／又は地図データ１１６に含まれる他の物と関連する一つ以上の物の測定値、寸法、距離及び／又は情報を含んでもよい。地図データ１１６は、道路形状に関する情報を有するデジタル地図を含んでもよい。地図データ１１６は、高品質であっても、及び／又は非常に詳細であってもよい。

【0059】

一つ以上の構成において、地図データ１１６は、一つ以上の地形図１１７を含んでもよい。地形図１１７は、一つ以上の地理的領域の、地面、地形、道路、表面及び／又は他の特徴に関する情報を含んでもよい。地形図１１７は、一つ以上の地理的領域の高度データを含んでもよい。地図データ１１６は、高品質であっても、及び／又は非常に詳細であってもよい。地形図１１７は、一つ以上の地表面を定義することができ、地表面は、地表面を定義する、舗装道路、未舗装道路、土地及び他のものを含んでもよい。

【0060】

一つ以上の構成において、地図データ１１６は、一つ以上の固定障害物地図１１８を含んでもよい。固定障害物地図１１８は、一つ以上の地理的領域の中に設置される一つ以上の固定障害物に関する情報を含んでもよい。「固定障害物」は、一定期間にわたって位置が変化しないか又は実質的には変化しない、及び／又は、一定期間にわたって大きさが変化しないか又は実質的には変化しない物体である。固定障害物の事例は、木、ビルディング、縁石、フェンス、ガードレール、中央分離帯、電柱、像、記念碑、標識、ベンチ、家具、郵便受け、大きな岩、丘陵を含む。固定障害物は、地面の上に広がる物体でありうる。固定障害物地図１１８に含まれる一つ以上の固定障害物は、位置データ、大きさデータ、寸法データ、素材データ、及び／又はそれと関連した他のデータを有してもよい。固定障害物地図１１８は、一つ以上の固定障害物の測定値、寸法、距離及び／又は情報を含んでもよい。固定障害物地図１１８は、高品質であってもよく、及び／又は非常に詳細であってもよい。固定障害物地図１１８は、地図を作られた領域の中の変化を反映するために更新されてもよい。

【0061】

一つ以上のデータストア１１５は、センサデータ１１９を含んでもよい。この文脈において、「センサデータ」は、車両１００が備えているセンサに関する任意の情報を意味し、能力及びそのようなセンサに関する他の情報を含む。後述するように、車両１００は、センサシステム１２０を含んでもよい。センサデータ１１９は、センサシステム１２０の一つ以上のセンサに関係してもよい。例えば、一つ以上の構成において、センサデータ１１９は、センサシステム１２０の一つ以上のライダセンサ１２４の情報を含んでもよい。

【0062】

ある場合には、地図データ１１６及び／又はセンサデータ１１９の少なくとも一部は、車両１００に搭載された一つ以上のデータストア１１５に配置されてもよい。代わりに、又は、加えて、地図データ１１６及び／又はセンサデータ１１９の少なくとも一部は、車両１００から離れて設置される一つ以上のデータストア１１５に配置されてもよい。

【0063】

上述のように、車両１００は、センサシステム１２０を含んでもよい。センサシステム１２０は、一つ以上のセンサを含んでもよい。「センサ」とは、何かを検出及び／又は感知できる任意の機器、構成要素、及び／又はシステムを意味する。一つ以上のセンサは、リアルタイムで検出及び／又は感知するように構成されてもよい。本明細書で使用される場合、「リアルタイム」という用語は、特定のプロセス又は決定が行われるのに充分即時であるとユーザ又はシステムが感知する、又はプロセッサが何らかの外部プロセスについて行くことができる、処理応答性のレベルを意味する。

【0064】

センサシステム１２０が複数のセンサを含む構成において、センサは、互いに独立して動作してもよい。あるいは、二つ以上のセンサが、互いに共同して動作してもよい。このような場合には、二つ以上のセンサは、センサネットワークを形成してもよい。センサシステム１２０及び／又は一つ以上のセンサは、プロセッサ１１０、データストア１１５及び／又は車両１００の別の要素（図１に示すあらゆる要素を含む）に動作可能に接続されてもよい。センサシステム１２０は、車両１００の少なくとも一部の外部環境のデータを取得してもよい。

【0065】

センサシステム１２０は、任意の適切なタイプのセンサを含んでもよい。異なるタイプのセンサの種々の例が、本明細書において記載される。しかしながら、実施形態は記載される特定のセンサに限定されないことが理解されよう。センサシステム１２０は、一つ以上の車両センサ１２１を含んでもよい。車両センサ１２１は、車両１００自体に関する情報を検出し、判定し、及び／又は、感知してもよい。一つ以上の構成において、車両センサ１２１は、例えば慣性加速度に基づいて、車両１００の位置及び方向の変化を検出及び／又は感知するように構成されてもよい。一つ以上の構成において、車両センサ１２１は、一つ以上の加速度計、一つ以上のジャイロスコープ、慣性計測装置（ＩＭＵ）、自律航法システム、全地球的航法衛星システム（ＧＮＳＳ）、全地球測位システム（ＧＰＳ）、ナビゲーションシステム１４７、及び／又は他の適切なセンサを含んでもよい。車両センサ１２１は、車両１００の一つ以上の特徴を検出及び／又は感知するように構成されてもよい。一つ以上の構成において、車両センサ１２１は、車両１００の現在の速度を決定するために、速度計を含んでもよい。

【0066】

代わりに、又は、加えて、センサシステム１２０は、運転環境データを取得及び／又は感知するように構成される一つ以上の環境センサ１２２を含んでもよい。「運転環境データ」は、自律車両が設置される外部環境又はその一つ以上の部分に関するデータ又は情報を含む。例えば、一つ以上の環境センサ１２２は、車両１００の外部環境の少なくとも一部における障害物及び／又はそのような障害物に関する情報／データを検出、定量化及び／又は感知するように構成されてもよい。そのような障害物は、静止対象物及び／又は動的対象物であってよい。一つ以上の環境センサ１２２は、車両１００の外部環境の他のもの、例えば、車線マーカ、標識、交通信号、交通標識、車線境界線、横断歩道、車両１００に近接する縁石、道路外の物体など、を検出、測定、定量化、及び／又は感知するように構成されてもよい。

【0067】

センサシステム１２０のセンサの種々の例が、本明細書において記載される。センサの例は、一つ以上の環境センサ１２２及び／又は一つ以上の車両センサ１２１の一部であってもよい。しかしながら、実施形態は記載される特定のセンサに限定されないことが理解されよう。

【0068】

例えば、一つ以上の構成において、センサシステム１２０は、一つ以上のレーダセンサ１２３、一つ以上のライダセンサ１２４（例えば、４ビームＬｉＤＡＲ）、一つ以上のソナーセンサ１２５、及び／又は一つ以上のカメラ１２６を含んでもよい。一つ以上の構成において、一つ以上のカメラ１２６は、高ダイナミックレンジ（ＨＤＲ）カメラ又は赤外線（ＩＲ）カメラであってもよい。

【0069】

車両１００は、入力システム１３０を含んでもよい。「入力システム」は、情報／データが機械に入力されることを可能にする任意の機器、構成要素（ｃｏｍｐｏｎｅｎｔ）、システム、要素（ｅｌｅｍｅｎｔ）、又は、それらによる構成物又はグループを含む。入力システム１３０は、車両搭乗者（例えば、ドライバ又は同乗者）からの入力を受信してもよい。車両１００は、出力システム１３５を含んでもよい。「出力システム」は、情報／データが車両搭乗者（例えば、人、車両搭乗者など）に示されることを可能にする機器又は構成要素を含む。

【0070】

車両１００は、一つ以上の車両システム１４０を含んでもよい。一つ以上の車両システム１４０の種々の例が、図１に示される。しかしながら、車両１００は、より多くの、より少ない、又は異なる車両システムを含んでもよい。特定の車両システムは個別に定義されるが、それぞれの又は任意のシステム又はその一部は、車両１００内のハードウェア及び／又はソフトウェアを介して別の方法で結合又は分離されてもよいことを理解されたい。車両１００は、推進システム１４１、ブレーキシステム１４２、ステアリングシステム１４３、スロットルシステム１４４、動力伝達システム１４５、信号システム１４６、及び／又はナビゲーションシステム１４７を含んでもよい。これらのシステムのそれぞれは、現在公知であるか又は後に開発される、一つ以上の機器、構成要素及び／又はそれらの組み合わせを含んでもよい。制動システム１４２は、概して、制動操作中に車両１００のタイヤが滑らないように機能するアンチロックブレーキシステム（ＡＢＳ）を更に具現化することができる。すなわち、ＡＢＳは、車輪のスリップを検出するように機能し、車輪のスリップを防止するように制動を調整し、それにより、概して、様々な条件下で制動距離を改善する。さらに、ブレーキシステム１４２及び／又は自律走行モジュール１６０は、車両全体の安定性を維持するために車両１００の個々の車輪を選択的に制動するように機能する電子安定制御（ＥＳＣ）システムを含むことができる。

【0071】

ナビゲーションシステム１４７は、現在公知であるか又は後に開発される、一つ以上の機器、アプリケーション、及び／又はそれらの組み合わせを含んでもよく、車両１００の地理的な位置を決定、及び／又は車両１００の走行ルートを決定するように構成される。ナビゲーションシステム１４７は、車両１００の走行ルートを決定する一つ以上の地図作成アプリケーションを含んでもよい。ナビゲーションシステム１４７は、全地球測位システム、ローカル測位システム、又は地理位置情報システムを含んでもよい。

【0072】

プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、種々の車両システム１４０及び／又はその個別構成要素と通信するように、動作可能に接続されてもよい。例えば、図１に戻り、プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、車両１００の移動、速度、操作、車体の向き、方向などを制御するために、様々な車両システム１４０から情報を送信及び／又は受信するように通信してもよい。プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、これらの車両システム１４０の一部又は全部を制御してもよく、したがって、部分的に、又は完全に自律的であってもよい。

【0073】

プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、種々の車両システム１４０及び／又はその個別構成要素と通信するように、動作可能に接続されてもよい。例えば、図１に戻り、プロセッサ１１０、監視システム１７０、及び／又は自律運転モジュール１６０は、車両１００の移動、速度、操作、車体の向き、方向などを制御するために、様々な車両システム１４０から情報を送信及び／又は受信するように通信してもよい。プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、これらの車両システム１４０の一部若しくは全部を制御してもよい。

【0074】

プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、車両システム１４０及び／又はその構成要素のうちの一つ以上を制御することによって、車両１００の運行及び／又は操作を制御するように動作可能でありうる。例えば、自律モードで動作するときは、プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、車両１００の方向及び／又は速度を制御してもよい。プロセッサ１１０、監視システム１７０及び／又は自律運転モジュール１６０は、車両１００を（例えば、エンジンに供給される燃料の供給を増加させることによって）加速させ、（例えば、エンジンに供給される燃料の供給を減少させることによって、及び／又はブレーキをかけることによって）減速させ、及び／又は（例えば、２つの前輪の向きを変えることによって）方向を変えさせてもよい。本明細書で使用される場合、「させる（ｃａｕｓｅ）」又は「させる（ｃａｕｓｉｎｇ）」とは、イベント又はアクションが生じるように、又は、少なくともそのようなイベント又はアクションが発生する可能性のある状態になるように、直接的又は間接的な仕方で、させる（ｍａｋｅ）、強制する（ｆｏｒｃｅ）、強制する（ｃｏｍｐｅｌ）、指示する（ｄｉｒｅｃｔ）、命令する（ｃｏｍｍａｎｄ）、指導する（ｉｎｓｔｒｕｃｔ）、及び／又は可能にする（ｅｎａｂｌｅ）、ことを意味する。

【0075】

車両１００は、一つ以上のアクチュエータ１５０を含んでもよい。アクチュエータ１５０は、プロセッサ１１０及び／又は自律運転モジュール１６０からの信号又は他の入力の受信に応答するように、車両システム１４０又はその構成要素のうちの一つ以上を修正、調整及び／又は変更するように動作可能な任意の要素又は要素の組み合わせであってもよい。任意の適切なアクチュエータを用いてもよい。例えば、ほんの数例をあげると、一つ以上のアクチュエータ１５０は、モータ、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド及び／又は圧電アクチュエータを含んでもよい。

【0076】

車両１００は一つ以上のモジュールを含んでもよく、その少なくとも一部は本明細書において記載される。モジュールは、プロセッサ１１０によって実行されるときに、本明細書において記載される種々の過程の一つ以上を実行するコンピュータ可読のプログラムコードとして実装されてもよい。モジュールの一つ以上はプロセッサ１１０の構成要素であってもよく、又は、モジュールの一つ以上は、プロセッサ１１０が動作可能に接続される他の処理システム上で実行されるか、及び／又は、他の処理システムの間に分散されてもよい。モジュールは、一つ以上のプロセッサ１１０によって実行可能な命令（例えば、プログラムロジック）を含んでもよい。代わりに、又は、加えて、一つ以上のデータストア１１５がそのような命令を含んでもよい。

【0077】

一つ以上の構成において、本明細書に記載されるモジュールの一つ以上は、人工知能要素又は計算知能要素、例えば、ニューラルネットワーク、ファジー論理、又は他の機械学習アルゴリズムを含み得る。さらに、一つ以上の構成において、一つ以上のモジュールが、本明細書に記載される複数のモジュールの間に分散されてもよい。一つ以上の構成において、本明細書に記載される２つ以上のモジュールが単一モジュールに組み合わされてもよい。

【0078】

車両１００は、一つ以上の自律運転モジュール１６０を含み得る。自律運転モジュール１６０は、センサシステム１２０、及び／又は、車両１００及び／又は車両１００の外部環境に関する情報を捕捉することができる任意の他の種類のシステムからデータを受信するように構成され得る。一つ以上の構成において、自律運転モジュール１６０は、一つ以上の運転場面モデルを生成するために、受信したデータを用いることができる。自律運転モジュール１６０は、車両１００の位置及び速度を決定することができる。自律運転モジュール１６０は、障害物の位置、障害物、又は、交通標識、樹木、低木、近隣の車両、歩行者などを含む他の環境特徴を決定することができる。

【0079】

自律運転モジュール１６０は、地図の生成又は地図データにおける車両１００の位置の決定に用いるために、車両１００の位置及び方向、複数の衛星からの信号若しくは車両１００の現在の状態を決定する若しくはその環境に対する車両１００の位置を決定するために使用できる任意の他のデータ及び／又は信号に基づいてグローバル座標での車両位置を推定するために、プロセッサ１１０、及び／又は本明細書に記載されるモジュールの一つ以上によって使用される車両１００の外部環境内の障害物の位置情報を受信及び／又は決定するように構成され得る。

【0080】

自律運転モジュール１６０は、独立して又は監視システム１７０と共同で、センサシステム１２０によって取得されたデータ、運転場面モデル、及び／又は任意の他の適切な情報源からのデータに基づいて、走行経路、車両１００の現在の自律運転操作、将来の自律運転操作、及び／又は現在の自律運転の修正を決定するように構成されてもよい。「運転操作」は、車両の運動に影響を及ぼす一つ以上の動作を意味する。運転操作の例には、ほんの少しの可能性を挙げると、加速、減速、ブレーキ、方向転換、車両１００の横方向の移動、走行車線の変更、走行車線への合流、及び／又は後退が含まれる。自律運転モジュール１６０は、決定された運転操作を実行するように構成されてもよい。自律運転モジュール１６０は、直接的又は間接的に、そのような自律運転操作を実行させてもよい。本明細書で使用される場合、「させる（ｃａｕｓｅ）」又は「させる（ｃａｕｓｉｎｇ）」とは、イベント又はアクションが生じるように、又は、少なくともそのようなイベント又はアクションが発生する可能性のある状態になるように、直接的又は間接的な仕方で、させる（ｍａｋｅ）、命令する（ｃｏｍｍａｎｄ）、指導する（ｉｎｓｔｒｕｃｔ）、及び／又は可能にする（ｅｎａｂｌｅ）、ことを意味する。自律運転モジュール１６０は、様々な車両機能を実行するように、及び／又は、車両１００又はその一つ以上のシステム（例えば、一つ以上の車両システム１４０）にデータを送信し、データを受信し、相互作用し、及び／又は制御するように構成されてもよい。

【0081】

詳細な実施形態が本明細書において開示される。しかしながら、開示される実施形態は単なる例と意図されていることを理解されたい。したがって、本明細書において開示される特定の構造及び機能の詳細は、限定するものと解釈されるべきではなく、単に特許請求の範囲の根拠として、及び、実質的に任意の適切に詳細な構造において本明細書の態様をさまざまに使用することを当業者に教示するための代表的な根拠と解釈されるべきである。さらに、本明細書において用いられる用語及び表現は、限定するものではなく、むしろ可能な実装の理解可能な説明を提供することを意図している。種々の実施形態が図１から図５に示されるが、実施形態は図示の構造又はアプリケーションに限定されない。

【0082】

図のフローチャート及びブロック図は、種々の実施形態に係わるシステム、方法及びコンピュータプログラム製品の可能な実装の構成、機能及び動作を示す。この点に関して、フローチャート又はブロック図の各ブロックは、指定された論理的機能を実装するための一つ以上の実行可能命令を含む、コードのモジュール、区分、又は一部を表してもよい。また、一部の別の実施態様では、ブロック内に示される機能が図中に示される順序と異なる順序で実行される可能性があることにも留意されたい。例えば、連続して示される２つのブロックは、実際は、実質的に並行して実行されることもあり、又は、関係する機能によって、ブロックは時々逆順で実行されることもある。

【0083】

上述のシステム、構成要素、及び／又は過程は、ハードウェア又はハードウェアとソフトウェアの組み合わせで実現されてもよく、一つの処理システム内で集中方式で実現されても、相互接続されたいくつかの処理システムに異なる要素が分散する分散方式で実現されてもよい。本明細書において記載される方法を実行するように適合された任意の種類の処理システム又は別の装置が適している。ハードウェアとソフトウェアの典型的な組み合わせは、読み込まれ実行されると、本明細書に記載の方法を実行するように処理システムを制御する、コンピュータが使用可能なプログラムコードを備えた処理システムであってもよい。システム、構成要素、及び／又は過程も、機械によって読み取り可能で、本明細書に記載の方法及び過程を実行するように機械によって実行可能な命令のプログラムを有形に具現した、コンピュータプログラム製品又は他のデータプログラム記憶装置などのコンピュータ可読記憶装置に組み込まれてもよい。これらの要素は、本明細書において記載される方法の実施を可能にするすべての特徴を備え、処理システムに読み込まれるとこれらの方法を実施することが可能なアプリケーション製品に組み込まれてもよい。

【0084】

さらに、本明細書に記載される構成は、コンピュータ可読プログラムコードが具現される、例えばそこに記憶される、一つ以上のコンピュータ可読媒体に具現されるコンピュータプログラム製品の形態をとってもよい。一つ以上のコンピュータ可読媒体の任意の組合せが用いられてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。「コンピュータ可読記憶媒体」という語句は、非一時的な記憶媒体を意味する。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、又は半導体の、システム、装置、又は機器、又はそれらの任意の適切な組み合わせであってもよいが、それらに限定されない。コンピュータ可読記憶媒体のより多くの具体例（網羅的ではないリスト）は、ポータブルコンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、半導体ドライブ（ＳＳＤ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯用コンパクトディスク－リードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、光記憶装置、磁気記憶装置、又は前記の任意の好適な組み合わせ、を含む。この文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置又は機器で、又はそれらに関連して用いるために、プログラムを含むか又は記憶可能な任意の有形の媒体であってもよい。

【0085】

概して、本明細書で用いられるモジュールは、特定のタスクを実行するか又は特定のデータ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造、などを含む。更なる態様において、メモリは、言及されたモジュールを概して記憶する。モジュールと関係したメモリは、プロセッサ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、又は別の適切な電子記憶媒体の中に組み込まれたバッファ又はキャッシュでもよい。さらに別の態様では、本開示によって構想されるモジュールは、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）のハードウェア要素として、プログラマブルロジックアレイ（ＰＬＡ）として、又は開示された機能を実行するための定義された構成セット（例えば、命令）とともに組み込まれた別の適切なハードウェア要素として実装される。

【0086】

コンピュータ可読媒体上に具現されるプログラムコードは、無線、有線、光ファイバ、ケーブル、ＲＦ、など、又は前記の任意の好適な組み合わせ、を含むがこれらに限定されない任意の適切な媒体を用いて送信されてもよい。本構成の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋又は同種のものなどのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語、を含む、一つ以上のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは、スタンドアロンソフトウェアパッケージとして、全体がユーザのコンピュータ上で動作してもよく、一部がユーザのコンピュータ上で動作してもよく、一部がユーザのコンピュータ上で一部がリモートコンピュータ上で動作してもよく、あるいは全体がリモートコンピュータ又はサーバ上で動作してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）などの任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、あるいは、外部コンピュータに接続されてもよい（例えば、インターネットサービスプロバイダを使用したインターネット経由で）。

【0087】

本明細書で使用される場合、用語「ａ」及び「ａｎ」は、一つ以上として定義される。本明細書で使用される場合、用語「複数」は、二つ以上として定義される。本明細書で使用される場合、「別の」という用語は、少なくとも第２以上として定義される。本本明細書で使用される場合、用語「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」は、備える（ｃｏｍｐｒｉｓｉｎｇ）（すなわち、解放語）として定義される。本本明細書で使用される場合「・・・及び・・・の少なくとも一つ」という語句は、関連するリストされた項目の一つ以上のあらゆるすべての可能な組合せを指し、包含する。例えば、「Ａ、Ｂ、及びＣの少なくとも一つ」という語句は、Ａだけ、Ｂだけ、Ｃだけ、又はそれらの任意の組み合わせ（例えば、ＡＢ、ＡＣ、ＢＣ又はＡＢＣ）を含む。

【0088】

本明細書の態様は、その精神又は本質的な属性から逸脱することなく、他の形態で具現することができる。したがって、本発明の範囲を示すものとしては、前述の明細書ではなく、以下の特許請求の範囲を参照すべきである。
本開示は以下の態様を含む。
例１． 同乗者と車両との相互作用を感知するための監視システムであって、
一つ以上のプロセッサと、
前記一つ以上のプロセッサに通信可能に接続されたメモリであって、前記一つ以上のプロセッサによって実行されると、前記一つ以上のプロセッサに、
前記車両のレーダから、前記車両の客室に関するレーダデータを取得すること、
前記レーダデータに従って前記客室の現在の状態を決定すること、及び、
前記現在の状態が、許可されていない行為に関する閾値を前記同乗者が満たしていることを示すことを特定することに応答して、前記許可されていない行為に対処する応答を生成すること、を行わせる命令を含む感知モジュールを記憶する該メモリと、を備える監視システム。
例２． 前記感知モジュールは、前記同乗者が、前記同乗者に対して制限されている車両構成要素と相互作用しているかを決定する命令を含む、前記同乗者が前記閾値を満たしていることを特定する命令を含む、例１に記載の監視システム。
例３． 前記閾値は前記同乗者による前記車両の車両構成要素との相互作用を定義し、
前記感知モジュールは、前記車両構成要素に関連する障害物を通り越して前記同乗者を観察することを提供するための前記レーダに対する前記車両構成要素の奥行きを含む、前記同乗者に対する前記車両構成要素を特定する命令を含む命令であって、前記現在の状態を決定する命令、を含む、例１に記載の監視システム。
例４． 前記感知モジュールは、前記許可されていない行為に関して前記車両の操作者に警告を提供することを含む前記応答であって、車両システムを制御する命令を含む前記応答を生成する命令を含み、
前記許可されていない行為には、シートベルトのラッチを外すこと、ドアを開くこと、ドアのロック解除、及び車両制御装置との相互作用が含まれる、例１に記載の監視システム。
例５． 前記感知モジュールは、少なくとも前記車両のダイナミクスを示す前記車両の状況を決定する命令を含む、前記現在の状態を決定する命令を含み、
前記感知モジュールは、警告を提供する命令を含む段階的反応及び前記ダイナミクスに従って前記応答を生成し、前記許可されていない行為を防止するために、前記許可されていない行為に関連する車両システムを制御する命令、を含む前記応答を生成する命令を含む、例１に記載の監視システム。
例６． 前記感知モジュールは、前記同乗者に関する特徴及び前記同乗者がチャイルドシートに着座しているかを決定することを含む、前記レーダデータから前記客室内の同乗者の位置を特定する命令を含む前記現在の状態を決定する命令を含む、例１に記載の監視システム。
例７． 前記感知モジュールは、機械学習アルゴリズムである検出モデルを使用して、車両構成要素に関連する前記許可されていない行為を示す前記同乗者の動きを感知するための命令を含む、前記現在の状態が前記閾値を満たすことを特定する命令を含み、
前記感知モジュールは、監視すべき前記許可されていない行為に関連する領域を定義するために、前記車両構成要素の周囲にバウンディングボックスを定義する命令を含む、前記現在の状態を決定する命令を含む、例１に記載の監視システム。
例８． 前記レーダは、ミリ波（ＭＭＷ）レーダ及び超広帯域（ＵＷＢ）レーダの内の一つである、例１に記載の監視システム。
例９． 一つ以上のプロセッサによって実行されると、前記一つ以上のプロセッサに、
車両のレーダから、前記車両の客室に関するレーダデータを取得すること、
前記レーダデータに従って前記客室の現在の状態を決定すること、
前記現在の状態が、許可されていない行為に関する閾値を同乗者が満たしていることを示すことを特定することに応答して、前記許可されていない行為に対処する応答を生成すること、を実行させる命令を含む、非一時的なコンピュータ可読媒体。
例１０． 前記同乗者が前記閾値を満たすことを特定する前記命令は、前記同乗者が、前記同乗者に対して制限されている車両構成要素と相互作用しているかを決定する命令を含む、例９に記載の非一時的なコンピュータ可読媒体。
例１１． 前記閾値は前記同乗者による前記車両の車両構成要素との相互作用を定義し、
前記現在の状態を決定する前記命令は、前記車両構成要素に関連した障害物を通り越して前記同乗者を観察することを提供するための前記レーダに対する前記車両構成要素の奥行きを含む、前記同乗者に対する前記車両構成要素を特定する命令を含む、例９に記載の非一時的なコンピュータ可読媒体。
例１２． 前記応答を生成する前記命令は、前記許可されていない行為に関して前記車両の操作者に警告を提供すること含む、車両システムを制御する命令を含み、
前記許可されていない行為には、シートベルトのラッチを外すこと、ドアを開くこと、ドアのロック解除、及び車両制御装置との相互作用が含まれる、例９に記載の非一時的なコンピュータ可読媒体。
例１３． 前記現在の状態を決定する前記命令は、少なくとも前記車両のダイナミクスを示す前記車両の状況を決定する命令を含み、
前記応答を生成する前記命令は、警告を提供する命令を含む段階的反応及び前記ダイナミクスに従って前記応答を生成し、前記許可されていない行為を防止するために前記許可されていない行為に関連付けられた車両システムを制御する命令を含む、例９に記載の非一時的なコンピュータ可読媒体。
例１４． 車両のレーダから、前記車両の客室に関するレーダデータを取得すること、
前記レーダデータに従って前記客室の現在の状態を決定すること、及び、
前記現在の状態が、許可されていない行為に関する閾値を同乗者が満たしていることを示すことを特定することに応答して、前記許可されていない行為に対処する応答を生成することを含む方法。
例１５． 前記同乗者が前記閾値を満たすことを特定することは、前記同乗者が、前記同乗者に対して制限されている車両構成要素と相互作用しているかを決定すること含む、例１４に記載の方法。
例１６． 前記閾値は前記同乗者による前記車両の車両構成要素との相互作用を定義し、
前記現在の状態を決定することは、前記車両構成要素に関連した障害物を通り越して前記同乗者を観察することを提供するために前記レーダに対する前記車両構成要素の奥行きを含む、前記同乗者に対する前記車両構成要素を特定することを含む、例１４に記載の方法。
例１７． 前記応答を生成することは、前記許可されていない行為について前記車両の操作者に警告を提供すること含む、車両システムを制御することを含み、
前記許可されていない行為にはシートベルトのラッチを外すこと、ドアを開けること、ドアのロック解除、及び車両制御装置との相互作用が含まれる、例１４に記載の方法。
例１８． 前記現在の状態を決定することは、少なくとも前記車両のダイナミクスを示す前記車両の状況を決定すること含み、
前記応答を生成することは、警告を提供することを含む段階的反応及び前記ダイナミクスに従って前記応答を生成し、前記許可されていない行為を防止するため、前記許可されていない行為に関連付けられた車両システムを制御することを含む、例１４に記載の方法。
例１９． 前記現在の状態を決定することは、前記レーダデータから前記客室内の同乗者の位置を特定することを含み、前記同乗者に関する特徴及び前記同乗者がチャイルドシートに着座しているかを決定することを含む、例１４に記載の方法。
例２０． 前記現在の状態が前記閾値を満たすことを特定することは、機械学習アルゴリズムである検出モデルを使用して、車両構成要素に関連する前記許可されていない行為を示す前記同乗者の動きを感知することを含み、
前記現在の状態を決定することは、監視すべき前記許可されていない行為に関連する領域を定義するために、前記車両構成要素の周囲にバウンディングボックスを定義することを含む、例１４に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】