特表2023-518310自動運転車両におけるユーザアラートネス改良の方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-28
(54)【発明の名称】自動運転車両におけるユーザアラートネス改良の方法およびシステム
(51)【国際特許分類】
G08G 1/09 20060101AFI20230421BHJP
G16Y 10/40 20200101ALI20230421BHJP
G16Y 20/20 20200101ALI20230421BHJP
G16Y 40/10 20200101ALI20230421BHJP
【ＦＩ】
G08G1/09 V
G16Y10/40
G16Y20/20
G16Y40/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022556646
(86)(22)【出願日】2021-03-18
(85)【翻訳文提出日】2022-11-11
(86)【国際出願番号】 GB2021050681
(87)【国際公開番号】W WO2021186186
(87)【国際公開日】2021-09-23
(31)【優先権主張番号】2004123.2
(32)【優先日】2020-03-20
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】522369957
【氏名又は名称】オート テレマティクス エルティーディー
【氏名又は名称原語表記】ＡＵＴＯ ＴＥＬＥＭＡＴＩＣＳ ＬＴＤ
【住所又は居所原語表記】５ Ｄｒｉｆｆｉｅｌｄ Ｔｅｒｒａｃｅ， Ｙｏｒｋ Ｙｏｒｋｓｈｉｒｅ ＹＯ１０ ４ＤＳ Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ
(74)【代理人】
【識別番号】110002745
【氏名又は名称】弁理士法人河崎特許事務所
(72)【発明者】
【氏名】ライト， アンドリュー・ウィリアム
(72)【発明者】
【氏名】シヴィタルスキ， ジリアン
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB05
5H181BB20
5H181CC02
5H181CC04
5H181CC11
5H181CC15
5H181CC17
5H181CC27
5H181EE02
5H181FF04
5H181FF12
5H181FF13
5H181FF22
5H181FF27
5H181FF33
5H181JJ28
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5H181LL08
5H181LL09
5H181MA44
5H181MC27
(57)【要約】
運転期間中に半自動運転車両がどのように自動運転されているかについて、車両内ユーザ警告システムを提供するポータブル電子モニタデバイス。デバイスは、車両に着脱可能に、かつ安定して取り付け可能であり：車両の外側の外部環境および外部環境内での車両の動きをセンシングする、少なくとも１つのセンサを含むセンサセットと、ユーザ入力コマンドを受信し警告出力を届けるインターフェースと、センサセットおよびインターフェースと操作可能に接続されたプロセッサと、ユーザ入力コマンドを受信し警告出力を届けるインターフェースと、センサセットおよびインターフェースと操作可能に接続されたプロセッサと、を含み、センサセットが、外部環境内での運転期間中の半自動運転車両の自動操作をモニタリングし、運転期に発生している外部環境に対する車両の自動運転挙動についての運転イベントを示すセンサデータを生成するように構成される。プロセッサが、運転期間中のセンサデータを処理して、検出された外部環境における車両の自動運転挙動を、特定の運転イベントにおいて予期される自動運転車両の運転挙動のモデルと比較し、検出された自動運転挙動が、予期される自動運転車両の運転挙動から、閾値を超え逸脱するか、危険な運転イベントを識別し、危険な運転イベントが検出された場合、危険な運転イベントの発生について、ドライバーに注意喚起するように、インターフェースを通じて警告アラートを発するように構成される。
【選択図】図２Ｂ
【選択図】図２Ｂ
【特許請求の範囲】
【請求項1】
運転期間中に半自動運転車両がどのように自動運転されているかについて、車両内ユーザ警告システムを提供するポータブル電子モニタデバイスであって、前記デバイスは、前記車両に着脱可能、かつ安定して取り付け可能であり、
前記車両の外側の外部環境および前記外部環境内での前記車両の動きをセンシングする、少なくとも１つのセンサを含むセンサセットと、
ユーザ入力コマンドを受信し警告出力を届けるインターフェースと、
前記センサセットおよび前記インターフェースと操作可能に接続されたプロセッサと、を含み、
前記センサセットが、前記外部環境内での前記運転期間中の前記半自動運転車両の前記自動操作をモニタリングし、前記運転期間中に発生している前記外部環境に対する前記車両の自動運転挙動についての運転イベントを示すセンサデータを生成するように構成され；
前記プロセッサが、
前記運転期間中の前記センサデータを処理して、検出された前記外部環境における前記車両の自動運転挙動を、特定の運転イベントにおいて予期される自動運転車両の運転挙動のモデルと比較し、
前記検出された自動運転挙動が、前記予期される自動運転車両の運転挙動から、閾値を超え逸脱するか、危険な運転イベントを識別し、
危険な運転イベントが検出された場合、前記危険な運転イベントの発生について、前記ドライバーに注意喚起するように、前記インターフェースを通じて警告アラートを発するように構成された、ポータブル電子モニタデバイス。
【請求項2】
前記少なくとも１つのセンサが、近接センサを含み、前記近接センサが、赤外線センサ、カメラ、および／または超広帯センサの少なくとも１つを含む、請求項１に記載のポータブル電子モニタデバイス。
【請求項3】
前記センサセットが、少なくとも１つの外部天候モニタリングセンサを含む、請求項１または２に記載のポータブル電子モニタデバイス。
【請求項4】
前記ポータブルモニタデバイスが、前記モニタデバイスへのユーザインターフェースを与えるパーソナル通信デバイスへのローカルワイヤレスコミュニケーションリンクを含む、請求項１から３のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項5】
前記センサセットが、少なくとも１つの位置センサを含み、前記少なくとも１つの位置センサが、ジャイロスコープ、磁気センサ、高度計、ジオロケーションセンサまたは加速度計、を含む、請求項１から４のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項6】
前記センサセットが、オーディオセンサを含み、前記センサが、オーディオ信号を含むデータを含む、請求項１から５のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項7】
前記インターフェースが、タッチスクリーンおよびラウドスピーカーを含む、請求項１から６のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項8】
前記インターフェースが、前記車両の表面に画像を投影し、ヘッドアップディスプレイを作成するように構成されたプロジェクタを含む、請求項１から７のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項9】
前記モニタデバイスが、リモートサーバとの通信のためのワイヤレスコミュニケーションエンジンを含む通信デバイスであり、前記ワイヤレスコミュニケーションエンジンが、前記車両が移動している前記外部環境についての情報を受信するように構成された、請求項１から８のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項10】
前記車両の自動運転挙動を学習しモデル化するためのニューラルネットワークとして動作するように構成された人工知能（ＡＩ）エンジンを含み、前記プロセッサが、操作可能に前記ＡＩエンジンに接続されている、請求項１から９のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項11】
前記ＡＩエンジンが、予期される車両の運転挙動をモデルとするように学習されたニューラルネットワークを含む、請求項１０に記載のポータブル電子モニタデバイス。
【請求項12】
前記ニューラルネットワークが、現在の運転期以前に、前記車両の手動および／または自動操作から収集したセンサデータを使用して学習された、請求項１１に記載のポータブル電子モニタリングネットワーク。
【請求項13】
前記現在の運転期以前に収集した前記センサデータが、危険な運転イベントが認識されなかった１つまたはそれ以上の運転期にセンシングされたものとして確認されたデータである、請求項１２に記載のポータブル電子モニタリングネットワーク。
【請求項14】
前記ニューラルネットワークおよびセンサデータに基づいて、前記ＡＩエンジンが、前記特定運転イベントにおいて予期される自動運転車両運転挙動の前記モデルを生成するように構成された、請求項１１から１３のいずれか一項に記載のポータブル電子モニタリングネットワーク。
【請求項15】
前記プロセッサが、前記特定運転イベントの閾値を決定し、前記検出された自動運転挙動と、前記特定運転イベントにおいて予期される自動運転車両の運転挙動の前記モデルとの前記比較において、逸脱が発生したことを示した場合、
前記逸脱と前記閾値を比較し、前記逸脱が前記閾値を超えているかどうかを決定するように構成された、請求項１から１４のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項16】
前記閾値が、前記運転イベント、および、以下からなる群から選択される少なくとも１つのその他パラメータに基づいて決定される、請求項１５に記載のポータブル電子モニタデバイス：前記ドライバーのリアクション時間；前記車両の自動運転レベル；前記車両の状態；道路タイプ；天候条件；および１つまたはそれ以上のユーザ設定。
【請求項17】
前記少なくとも１つのその他パラメータが、前記ドライバーのリアクション時間を含み、前記センサセットが、前記車両の内部環境をセンシングする少なくとも１つのセンサを含み、前記プロセッサが、前記車両の内部環境をセンシングする前記センサからセンシングされた現在および／またはヒストリカルセンサデータに基づいて前記ドライバーのリアクション時間を決定するように構成された、請求項１６に記載のポータブル電子モニタデバイス。
【請求項18】
前記運転イベントが、車両操縦を含み、前記閾値が、前記操縦中の車両スピード、前記操縦中の車両ブレーキング、および前記操縦中の車両ステアリング角度のうちの１つまたはそれ以上に基づく、請求項１６または１７に記載のポータブル電子モニタデバイス。
【請求項19】
前記運転イベントが、別車両との相互作用を含み、前記閾値が、前記相互作用期間中の１または各車両の前記スピード、前記相互作用期間中のブレーキング、前記その他車両の前記近接、前記その他車両の前記移動方向、前記その他車両の前記ロケーション、前記その他車両が自動的に操作されているまたは操作できると認識されるかどうか、および／または前記その他車両の前記挙動の１つまたはそれ以上に基づく、請求項１６から１８のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項20】
前記プロセッサが、前記特定運転イベントの分類フレームワークを決定し、
前記分類フレームワークに基づいて、前記検出された自動運転挙動の前記予期される自動運転挙動からの前記逸脱に値を割当て、
前記値を前記予め決定された閾値と比較するように構成され、前記閾値が、前記分類フレームワークの値である、請求項１５から１９のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項21】
前記分類フレームワークが、複数の離散カテゴリー値を含む、請求項２０に記載のポータブル電子モニタデバイス。
【請求項22】
前記分類フレームワークが、連続的数値を含む、請求項２０に記載のポータブル電子モニタデバイス。
【請求項23】
複数の閾値が、危険な運転イベントを識別するために与えられ、各閾値が、異なる警告信号に対応する、請求項１から２２のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項24】
前記センサセットが、前記車両の内部環境をセンシングする少なくとも１つのセンサを含む、請求項１から２３のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項25】
前記センサセットが、さらに前記運転期間中に前記車両の内部環境をモニタリングし、前記運転期間中の前記ドライバーの現在の注意状態を示すセンサデータを生成するように構成された、請求項２３に記載のポータブル電子モニタデバイス。
【請求項26】
前記プロセッサが、前記外部環境内での前記半自動運転車両の前記現在運転に対して前記ドライバーに求められる注意状態を決定し；
前記ドライバーの前記現在注意状態と前記ドライバーに求められる注意状態を比較し；
前記現在注意状態が前記求められる注意状態から閾値を超え逸脱する値であれば、警告アラート信号を発生するように構成された、請求項２４に記載のポータブル電子モニタデバイス。
【請求項27】
前記求められる注意状態が、１つまたはそれ以上の車両パラメータに基づいて決定される、請求項２６に記載のポータブル電子モニタデバイス。
【請求項28】
前記１つまたはそれ以上の車両パラメータが、前記車両の自動運転レベル、車両スピード、車両占有レベル、および／または自動車両運転の質を含む、請求項２７に記載のポータブル電子モニタデバイス。
【請求項29】
前記求められる注意状態が、１つまたはそれ以上の外部環境パラメータに基づいて決定される、請求項２６から２８のいずれか一項に記載のポータブル電子モニタデバイス。
【請求項30】
前記１つまたはそれ以上の外部環境パラメータが、道路タイプ、道路の質、交通密度、天候タイプ、前記環境がどのぐらい都会または田舎かの分類、近隣におけるその他車両の運転挙動、および／または前記１つまたはそれ以上の危険な運転イベントおよび／またはその他脅威の存在を含む、請求項２９に記載のポータブル電子モニタデバイス。
【請求項31】
前記プロセッサが、危険な運転イベントが検出された場合に、前記車両の手動コントロール復帰が必要となるまでの時点を決定し、遅くとも前記時点以前に、前記警告信号を発生するように構成された、請求項１から３０のいずれか一項に記載のポータブル電子モニタデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動運転車両におけるユーザアラートネス改良および維持の方法およびシステムに関する。より詳細には、本開示は、自動運転車両の運転モニタリング、および、手動介入を必要とし得る、ハザード、脅威、危険、または状況の可能性をユーザにアラートすることに関する。本発明は、レベル２の自動運転車両およびレベル３の自動運転車両に特に適用できるが、どのような手動または自動運転車両でも使用し得る。
【背景技術】
【0002】
車両の自動運転のレベルは、ソサエティ・オブ・オートモーティブ・エンジニアズ（ＳＡＥ）・インターナショナルにより定義されており、車両の自動運転がなく常に手動コントロールが求められるレベル０から、完全自動運転が達成され手動支援を必要としない、レベル５まである。
【0003】
手動操作車両から自動運転車両への移行は、レベル１の自動運転を達成する小さい、段階的変化で始まる。クルーズコントロールは、車両のスピードを求められるレベルに維持する、１９４０年代および５０年代に開発された、車両における自動運転形態である。クルーズコントロールは、レベル１の自動運転要件を満たさないが、以降、近年になり、アダプティブクルーズコントロールが出現し、その他車両に合わせて車両が自動的にスピードを適用する。通常タスクにおいてドライバー（以降はユーザと言及する）をアシストする、パーキングアシスタンスおよびレーンアシスタンス等のその後の開発は、２１世紀の開発であるが、レベル１車両ではまだユーザの意識が常に求められる。
【0004】
ＳＡＥ分類におけるレベル２では、特定状態における部分的オートメーションが紹介された。Ｔｅｓｌａ（登録商標）のオートパイロットシステムが、レベル２システムの一例である。オートパイロットシステムは、車両の舵取りおよびスピードを規制することにより、特定の状況下で車両を操作する。オートパイロットは、完全自動システムを真似ているが、その機能は、設計対象となる特定状況外では限定されている。よって、ユーザはまだ、車両運転中に注意を払うことが求められる。
【0005】
残念ながら、そのようなシステムが与える完全自動の幻想は、ユーザがシステムの限界を理解していなければ危険となる可能性がある。車両が手動コントロールに復帰できず、自動運転が継続し、最後には誤動作または操作し、ユーザ、車両同乗者またはその他道路ユーザに深刻な怪我を引き起こすという、注目を集めた事象があった。
【0006】
いくつかの車両においては自動運転レベル３がすでに達成され、初のレベル４車両が数年以内に市場に流通すると予期される。これらのシステムは、幅広いシチュエーションおよび状況においてより高い能力を有するが、特定時においてはまだ手動コントロールが求められる。車両が手動コントロールに復帰できなければ、ユーザは危険にさらされる可能性がある。
【0007】
さらに、半自動運転車両は、道路交通事象を大幅に減少すると予期されるが、道路で車両がさらされる潜在的な危険の種類は膨大である。レベル５の自律が達成されるまで、車両システムは完全無欠とはならないと想定される。車両が快適に操作されるといったシチュエーションは、たとえば、センサでマイナーな誤動作が発生するといったことがあれば、予期されない問題を引き起こすことがある。
【0008】
さらに一般的なことで言えば、社会における自動運転車両の文脈を念頭に置くことが重要である。これらは主に交通手段であり、そのように受け入れられる必要がある。受け入れられるには、車両ユーザおよびドライバー、同乗者、その他車両ユーザ／操作者、そして歩行者を含む、全ての道路ユーザが、自動運転車両が安全であることを信頼するということに依存している。よって、どのようなものであれ、自動運転車両への信頼を高めることが求められる。
【発明の概要】
【0009】
発明の一態様では、運転期間中に半自動運転車両がどのように自動運転されているかについて、車両内のユーザ警告システムを提供するポータブル電子モニタデバイスを与える。デバイスは、車両に着脱可能に、かつ安定して取り付け可能である。デバイスは、車両の外側の外部環境および外部環境内での車両の動きをセンシングする、少なくとも１つのセンサを含むセンサセットを含む。デバイスは、ユーザ入力を受信し出力を届けるインターフェースを含む。デバイスは、センサセットおよびインターフェースと操作可能に接続されたプロセッサを含む。センサセットは、外部環境内での運転期間中の半自動運転車両の自動操作をモニタリングし、運転期間中に発生している外部環境に対する車両の自動運転挙動についての運転イベントを示すセンサデータを生成するように構成されている。プロセッサは、運転期間中のセンサデータを処理して、検出された外部環境における車両の自動運転挙動を、特定の運転イベントにおいて予期される自動運転車両の運転挙動のモデルと比較し、検出された自動運転挙動が、予期される自動運転車両の運転挙動から、閾値を超え逸脱するか、危険な運転イベントを識別し、危険な運転イベントが検出された場合、インターフェースを通じて危険な運転イベントの発生をドライバーにアラートする警告アラートを発生するように構成されている。
【0010】
上述デバイスを提供することが、自動運転モード時に車両が正しく動作しているということを車両のドライバーまたはユーザが確かにすることを可能にする点で有意義である。デバイスは、車両の運転によりクリティカルに反応するように、外部の車両イベントおよび脅威に対し許容度レベルが低いように構成され得る。さらなる、独立した警告システムを有することにより、ユーザはこれらが安全であり、彼らの車両の運転が別個のシステムにより検討され、チェックされていうことを知ることで安心できる。これに関し、モニタデバイスは、車両そのものをコントロールする役割は果たさないが、必要な時に自身でコントロールできるように（すなわち車両の自動運転モードを無効にし、車両をドライバーのコントロール下に戻す）ドライバーをアラートする。デバイスは、ドライバー自身の車両の運転の監督に加えて、追加レベルのセキュリティを加える。よって、ユーザは、絶対に必要でない限り、車両とのかかわりを少なくし得る。いくつかの状況において、デバイスが与える追加のセキュリティは、保険料を低くし得る。
【0011】
上述は半自動運転車両および自動運転について言及しているが、デバイスは、車両が手動で運転されており、ユーザがドライバーでない場合にも使用し得る。たとえば、ライドシェアのシチュエーションでは、デバイスはドライバーの運転が求められる基準を満たしているかをチェックするように使用し得る。
【0012】
少なくとも１つのセンサは、近接センサを含み得る。近接センサは、赤外線センサ、カメラ、および／または超広帯センサを含み得る。センサセットは、少なくとも１つの外部天候モニタリングセンサを含み得る。少なくとも１つの外部天候モニタリングセンサは、気圧センサおよび／または環境光センサを含み得る。センサセットは、少なくとも１つの位置センサを含み得る。少なくとも１つの位置センサは、ジャイロスコープ、磁気センサ、高度計、ジオロケーションセンサ、および／または加速度計を含み得る。センサセットは、オーディオセンサを含み得る。センサデータは、オーディオ信号を含み得る。これらセンサのいくつかは、デバイスのカメラ、および、キャプチャされた画像を処理し特定の測定をもたらすデバイスのプロセッサにより実行されるソフトウエアアルゴリズムの組み合わせで実行できることが理解される。たとえば、いくつかの実施形態において、近接センサは、外部環境にある車両の画像をキャプチャするカメラおよび画像内の車両の示すサイズから車両の近接を決定するアルゴリズムにより実行できる。そのほかの例は、ソフトウエアプログラムを使用して、カメラによりキャプチャされた画像の環境光を輝度の関数として決定し得る環境光センサ、を含む。
【0013】
いくつかの実施形態において、ポータブルモニタデバイス（スマートフォン等の）は、モニタデバイスへのユーザインターフェースを与えるパーソナル通信デバイスへのローカルワイヤレスコミュニケーションリンクを含む。これにより、ポータブルモニタデバイスのサイズおよびコストを有利に減少し、ほとんどのドライバーがスマートフォンを所持していることが利用できる。しかし、その他の実施形態では、ポータブルモニタデバイスは、ユーザインターフェースを含むことができ、いくつかの実施形態においては、ダウンロード可能なアプリでプログラムされたスマートフォンそのものとなり得る。この選択肢により、デバイスそのものを与える必要がなく、単にドライバーの汎用スマートフォンがダウンロード可能なソフトウエアによりモニタデバイスとして機能するように構成されるため、さらにコストが減少される。
【0014】
インターフェースは、いくつかの実施形態において、タッチスクリーンおよびラウドスピーカーを含み得る。インターフェースは、いくつかの実施形態において、車両の表面（フロントガラス等の）に画像を投影し、ヘッドアップディスプレイを作成するように構成されたプロジェクタを含み得る。
【0015】
任意に、ポータブル電子モニタデバイスは、リモートサーバとの通信のためのワイヤレスコミュニケーションエンジンを含み、ワイヤレスコミュニケーションエンジンは、車両が移動している外部環境についての情報を受信するように構成されている。
【0016】
任意に、ポータブル電子モニタデバイスは、車両の自動運転挙動を学習しモデル化するためのニューラルネットワークとして動作するように構成されたＡＩエンジンを含み、プロセッサが、操作可能にＡＩエンジンに接続されている。ＡＩエンジンは、予期される車両の運転挙動をモデルとするように学習されたニューラルネットワークを含み得る。ニューラルネットワークは、現在の運転期以前に、車両の手動および／または自動操作から収集したセンサデータを使用して学習され得る。現在の運転期以前に収集したセンサデータは、危険な運転イベントが認識されなかった１つまたはそれ以上の運転期間中にセンシングされたものとして確認されたデータとなり得る。ニューラルネットワークおよびセンサデータに基づいて、ＡＩエンジンは、特定運転イベントにおいて予期される自動運転車両運転挙動のモデルを生成するように構成され得る。
【0017】
任意に、プロセッサは、特定運転イベントの閾値を決定し、検出された自動運転挙動と、特定運転イベントにおいて予期される自動運転車両の運転挙動のモデルとの比較において、逸脱が発生したことを示した場合、逸脱と閾値を比較し、逸脱が閾値を超えているかどうかを決定するように構成されている。
【0018】
閾値は、運転イベント、および、以下からなる群から選択される少なくとも１つのその他パラメータに基づいて決定され得る：ドライバーのリアクション時間；車両の自動運転レベル；車両の状態；道路タイプ；天候条件；および１つまたはそれ以上のユーザ設定。少なくとも１つのその他パラメータは、ドライバーのリアクション時間を含み、センサセットは、車両の内部環境をセンシングする少なくとも１つのセンサを含み得る。プロセッサは、車両の内部環境をセンシングするセンサからセンシングされた現在および／またはヒストリカルセンサデータに基づいてドライバーのリアクション時間を決定するように構成され得る。運転イベントは、車両操縦を含み、閾値は、１つまたはそれ以上の：操縦中の車両スピード；操縦中の車両ブレーキング；および操縦中の車両ステアリング角度、に基づき得る。運転イベントは、別車両との相互作用を含み、閾値が、１つまたはそれ以上の以下に基づき得る：相互作用期間中の１または各車両のスピード；相互作用期間中のブレーキング；その他車両の近接；その他車両の移動方向；その他車両のロケーション；その他車両が自動的に操作されているまたは操作できると認識されるかどうか；および／またはその他車両の挙動。
【0019】
プロセッサは、特定運転イベントの分類フレームワークを決定し；分類フレームワークに基づいて、検出された自動運転挙動の予期される自動運転挙動からの逸脱に値を割当て；値を予め決定された閾値と比較するように構成され得、閾値が、分類フレームワークの値である。分類フレームワークは、複数の離散カテゴリー値を含み得る。分類フレームワークは、連続的数値を含み得る。
【0020】
複数の閾値が、危険な運転イベントを識別するために与えられ得る。複数の閾値の各閾値が、異なる警告信号に対応し得る。
【0021】
任意に、センサセットは、車両の内部環境をセンシングする少なくとも１つのセンサを含む。センサセットは、運転期間中に車両の内部環境をモニタリングし、運転期間中のドライバーの現在の注意状態を示すセンサデータを生成するように構成され得る。プロセッサは、外部環境内での半自動運転車両の現在運転に対してドライバーに求められる注意状態を決定し；ドライバーの現在注意状態とドライバーに求められる注意状態を比較し、現在注意状態が求められる注意状態から閾値を超え逸脱する値であれば、警告アラート信号を発生するように構成され得る。求められる注意状態は、１つまたはそれ以上の車両パラメータに基づいて決定され得る。１つまたはそれ以上の車両パラメータは、車両の自動運転レベル、車両スピード、車両占有レベル、および／または自動車両運転の質を含み得る。求められる注意状態は、１つまたはそれ以上の外部環境パラメータに基づいて決定され得る。
【0022】
１つまたはそれ以上の外部環境パラメータは、道路タイプ、道路の質、交通密度、天候タイプ、環境がどのぐらい都会または田舎かの分類、近隣におけるその他車両の運転挙動、および／または１つまたはそれ以上の危険な運転イベントおよび／またはその他脅威の存在を含み得る。
【0023】
プロセッサは、危険な運転イベントが検出された場合に、車両の手動コントロール復帰が必要となるまでの時点を決定し、遅くとも時点以前に、警告信号を発生するように構成され得る。
【0024】
いくつかの実施形態においてデバイスはスマートフォンであり、ダウンロード可能なアプリケーションにより構成され得る。
【図面の簡単な説明】
【0025】
以下、本発明の実施態様を、添付の図を参照し、例示のみのために記載する。
【発明を実施するための形態】
【0026】
先行技術の説明
図１Ａは、半自動運転車両情報交換の既知のシステム１０を示す。システム１０は、自律システムコンテンツプロバイダサーバ１６にワイヤレスに接続された、そこに設けられた自律システム１４を有する、半自動運転車両１２を含む。通信ネットワーク１８は、インターネット等の広域ネットワークである。車両１２とサーバ１６間の通信は、たとえば、３Ｇ／４Ｇ／５Ｇ等の好適なワイヤレス通信プロトコル、または、地域のＷｉ－Ｆｉエリア（Ｗｉ－Ｆｉホットスポット）を使用した通信ネットワーク１８を通じて許可され、これらでワイヤレスメッシュネットワークが形成されている。
図１Ａは、半自動運転車両情報交換の既知のシステム１０を示す。システム１０は、自律システムコンテンツプロバイダサーバ１６にワイヤレスに接続された、そこに設けられた自律システム１４を有する、半自動運転車両１２を含む。通信ネットワーク１８は、インターネット等の広域ネットワークである。車両１２とサーバ１６間の通信は、たとえば、３Ｇ／４Ｇ／５Ｇ等の好適なワイヤレス通信プロトコル、または、地域のＷｉ－Ｆｉエリア（Ｗｉ－Ｆｉホットスポット）を使用した通信ネットワーク１８を通じて許可され、これらでワイヤレスメッシュネットワークが形成されている。
【0027】
図１Ａの設定を与えるには、図１Ｂにおいて半自動運転車両１２を模式的により詳細に描く。以下の段落は、図１Ａおよび１Ｂの両方について言及する。図１Ｂの車両１２は、四輪２０（図１Ｂでは２つが示されている）を有し、内部２２が従来の方法で配置されている。内部２２は、フロントシート２４のセット、バックシート２６のセット、およびダッシュボード３０に取り付けられたステアリングホイール２８を有するものとして描かれている。内部２２には、アクセルおよびブレーキペダル等のユーザにより手動で車両１２を操作するのに使用されるもの、そして、インジケーター、ウインドスクリーンワイパー操作物、またはヘッドライトボタン等の付随的運転スイッチを含め、ここに描かれたもの以外の要素が含まれるということが理解される。以下ユーザ３２として言及される、車両１２のドライバーは、フロントシート２４に着席する。本願でユーザ３２として言及されるのが、手動コントロールが求められる場合に、車両１２を特に手動でコントロールする操作者となる、車両１２の操作者である。車両１２の内部２２は、異なるレイアウトになり得る。
【0028】
自律システム１４は、車両１２内に与えられる。自律システム１４は、特定状態および状況における自動運転等の、その車両１２に特定の、自動または半自動運転機能を与えるために、車両１２に統合される。自律システム１２は、（たとえばカメラおよび近接センサ等の）複数の車両搭載センサ３４および／または（車両状態や動きについての複数のパラメータを生成する）エンジン管理システム３６からのセンサデータを受信し、内部または自律コンテンツプロバイダサーバ１６等の遠隔システムからのデータを参照して、車両１２の運転コントロールに受信したデータを利用する。車両１２は、よって、半自動運転であり、少なくともＳＡＥインターナショナルスケールによるレベル２の自律に分類できる。したがって、自律が許可されている状態下で、ユーザは、車両１２を手動で操作する必要がない。
【0029】
図１Ａに示す通り、半自動運転車両１２の自動運転に関する、自律システム１４による指示およびデータは、通信ネットワーク１８を通じてワイヤレスにやりとりされる。これに関し、自律システム１４は、通信ネットワーク１８を通じて自律システムコンテンツプロバイダサーバ１６と通信するための、ビルトインのワイヤレストランスミッタおよびレシーバ（図示せず）を有する。半自動運転車両１２は、その環境をセンシングし、自律システム１４を使用して環境に関するセンサデータを照合できる。車両１２は、照合されたセンサデータに基づいて、与えられたシチュエーションに反応する。反応は（たとえば、車両コントロール反応）、典型的には、最短反応時間で自律システム１４内でローカルに決定されるが、ある種の反応では、シチュエーションが一刻を争う即時反応を必要としなければ、遠隔処理システムにて遠隔に決定し得る。自律システムコンテンツプロバイダサーバ１６は、遠隔処理システムであり、ここからの指示により、自律システム１４を通じて車両を操作し得る。たとえば、遠隔処理システムは、交通情報にアクセスし得、起こり得る交通状態を予期して車両スピード調整を行うように指示を発する。加えて、自律システムコンテンツプロバイダサーバ１６は、車両１２内で自律システム１４によってローカルに決断できるように、自律システム１４にマッピング情報等の情報を提供し得る。自律システム１４により半自動運転車両１２で集められたデータは、解析または後々の使用のために、自律コンテンツサーバプロバイダ１６にアップロードもし得る。
【0030】
１つのみの半自動運転車両１２が示されているが、本実施形態では、複数のその他半自動運転車両（図示せず）が、典型的には、通信ネットワークを通じて第一のコンテンツプロバイダサーバと通信している。別の実施形態では、複数の完全自動運転車両も与えられる。同様に、別の実施形態では、複数の自律コンテンツプロバイダサーバが与えられ、各自律コンテンツプロバイダサーバが、異なるセットの半自動運転車両に接続される。
【0031】
全ての半自動運転車両（すなわちＳＡＥレベル１から４）において、ユーザは、特定状況（たとえば、そのセンサ入力に基づいて自律システムが間違いを起こした場合）においては車両の手動コントロールができる必要があり、そのような手動オーバーライドコントロールをするためにアラートであり準備ができている必要がある。半自動運転車両とは、手動的および自動的の両方の操作が可能な車両である、という定義がここに適用される。下位レベルでは、ユーザも、たとえば、（車両またはユーザによって）エラーが発生した、または危険な運転シチュエーションを防ぐために手動コントロールが求められる、と決定された場合、コントロールを再開するために、車両の運転をモニタリングする必要がある。しかしながら、半自動運転車両の自動レベルが高いほど、ユーザは、自律システムが車両をコントロールすることにより信頼をおくため、典型的には、ユーザが運転状況に注意を払うことが少なくなる。しかしながら、これがまさに問題となり、ユーザが半自動運転車両の間違いに気が付かないというより大きなリスクがあるがため、結果として、車両が事故またはクラッシュを引き起こし得る。
【0032】
本実施形態は、既知の半自動運転車両でこの問題を克服することに関する。半自動運転車両が自動的に動作しているとき、半自動運転車両の運転およびユーザの挙動に監督を与えるために、独立した、監視モニタリングシステムを与える。モニタリングシステムは、自身のセンサセットおよびそのセンサセットから受信したデータを処理する能力を有するポータブルモバイル通信デバイスで実施される。この例としては、たとえばスマートフォンがあり得るが、これに限定されない。ポータブルモバイル通信デバイスは、その車両の自律システムをモニタリングするために車両に着脱可能に与えられる。ポータブルデバイスは、使用において、（たとえばホルダまたはマウントにより）車両に着脱可能に取り付けられまたは固定され、ポータブルモバイル通信デバイスが車両周りの環境をモニタリングするためにそのセンサを使用できるように、典型的にはフロントガラスに位置する。いくつかの実施形態において、ポータブルモバイル通信デバイスは、ダウンロードされたアプリケーションを実行する、リアおよびフロントカメラ付きスマートフォンを含み、ダウンロードされたアプリケーションで、半自動運転車両が自律システムにより運転されている運転期間中、スマートフォンがモニタリングシステムとして動作するように構成する。スマートフォンの実施形態は、後に詳しく説明する。
【0033】
好ましくは、監視モニタリングシステムにより与えられた監督は、車両の自動操作に影響することなく、自律システムのオペレーションにより決定されたものよりも、よりハザードに対し厳格かつ慎重であり得る。本実施形態は、車両に備え付けられた自律システムに比較して、車両ハザードおよび運転イベントについて高いレベルの警戒を可能にする。これにより、監視モニタリングシステムは、運転環境の注視を維持し、ユーザの安全なコンパニオンとして役するにおいて、より一層の安全性を与えることが可能となる。加えて、そのような半自動運転車両および自律システムに適用される基準は現在ないが、本実施形態は、異なる車両に統合される全ての異なるプロプライエタリシステムを、独立した非プロプライエタリシステムを使用してモニタリングする方法を与える。換言すると、監視モニタリングシステムは、車両の自動運転をモニタリングし、その自律が危険な運転につながるものではないことを確かにするように動作できる。危険な運転イベントが識別された場合、システムは、その統合されたセンサセットおよびインターフェースを使用しユーザをアラートするために機能する。
【0034】
したがって、本実施形態は、全ての製造業者に彼らの独立したこれら自律システムの開発を変える必要なしに、自動および半自動運転車両における全ての自律システムに渡り一貫した基準を与えるのに有利な方法を提供する。さらなる利点としては、自律システムにさらに別の安全性を与えることができ、これにより車両保険料も低減／減少できる。また、ユーザは、独立して自身の感覚を使用して集めることができるデータおよび独立した監視モニタリングシステムにより集められたデータの両方をモニタリングできれば、車両の自律性により一層の信頼感を感じ得る。
【0035】
図２Ａおよび図２Ｂに監視モニタリングシステムを示す。図２Ａは、半自動運転車両情報交換のシステム３８を示す。システム３８は、図１Ａの既知のシステムと共通して、自律システムコンテンツプロバイダサーバ１６にワイヤレスに接続され、そこに設けられた自律システム１４を有する、半自動運転車両１２を含む。通信ネットワーク１８は、インターネット等の広域ネットワークである。車両１２とサーバ１６間の通信は、たとえば、３Ｇ／４Ｇ／５Ｇ等の好適なワイヤレス通信プロトコル、または、地域のＷｉ－Ｆｉエリア（Ｗｉ－Ｆｉホットスポット）を使用した通信ネットワークを通じて許可され、これらでワイヤレスメッシュネットワークが形成されている。図２Ａが図１Ａと異なる点としては、自動運転車両１２内に、通信ネットワーク１８を通じて、監視システムコンテンツプロバイダサーバ４２にワイヤレスに接続された監視モニタリングシステム４０も設けられているという点が挙げられる。適切な場合、監視モニタリングシステム４０によって集められた、車両１２が自動的にオペレーションしている時の車両１２のオペレーションおよびユーザの挙動に関するモニタリングデータは、通信ネットワーク１８を通じて交信される。監視モニタリングシステム４０は、集められたモニタリングデータをローカルで解析、および／または遠隔解析（特により高い処理能力が求められる場合）のために集められたデータを監視システムコンテンツプロバイダサーバ４２に通信する。
【0036】
監視モニタリングシステム４０は、自動運転車両１２内でユーザ３２の前に、すなわち車両１２のフロントガラスに着脱可能にマウントされているものとして図２Ｂに示されている。図２Ｂには、図１Ｂに示され説明されたのと同様に、車両１２内に自律システム１６、ビルトインセンサ３４、エンジン管理システム３６およびユーザ３４が示されている。マウント４４から、監視モニタリングシステム４０は、車両１２の内部、車両１２の外部環境、および外部環境中の車両１２の自動運転一般、の１つまたはそれ以上をモニタリングする。概して、外部環境のモニタリングは、車両１２の前方移動方向モニタリングを含むが、いくつかの実施形態においては、適切なハードウエアを使用して外部環境から車両１２の横側、車両１２の後側、そして車両下側もモニタリングされる。追加のハードウエアの使用およびシステムハードウエアのモニタリングは、のちに図３および３Ａを参照して述べる。
【0037】
その監督の役割では、監視モニタリングシステム４０は、自律システム１４とは独立して、ユーザ３２、車両１２、または車両の自動運転継続にリスクとなり得る半自動運転車両１２の少なくとも１つをモニタリングする。本明細書中で監視モニタリングシステム４０の独立性を述べるとき、監視モニタリングシステム４０は、自律システム１６からの入力または自律システム１６への出力なしにデータを別個にモニタリングおよび解析することを意味する。モニタリングの任務に加えて、監視モニタリングシステム４０は、必要に応じ識別されたハザードにユーザの注意を向けるアラートも与える。「ユーザ」および「ドライバー」という用語は、本明細書中で相互変換可能に使用される。
【0038】
監督を提供するため、監視モニタリングシステム４０は、センサデータを使用してハザード可能性をモニタリングする。監視モニタリングシステム４０は、少なくとも２つの運転モードの１つまたはそれ以上で自律システム１６を解析するように操作し得、運転モードでは、異なるセンサセットが、ハザードを決定するために監視モニタリングシステム４０によって使用される関連データを与える。監視実施形態または監視構成（運転モード）では、監視モニタリングシステム４０は、自律システム１６とは完全に別個のものである。このモードでは、監視モニタリングシステム４０は、車両１２のビルトインセンサ３４の一部をなさないセンサのセットからデータを受信し、自律システム１４の一部をなさない処理および通信システムを使用してデータを処理および通信する。換言すると、監視モード運転では、監視モニタリングシステム４０および自律システム１４は、同じシステムまたはデータを一切シェアしない。あるいは、上述の監視モニタリング実施形態の確認実施形態または確認構成（運転モード）として、監視モニタリングシステム４０は、自律システム１４が下す決断が受信したデータに基づいて予期されたものであることを確かにするために、自律システムが受信したデータをモニタリングおよび解析してオブザーバーの役割を果たし得る。本実施形態で、監視モニタリングシステム４０および自律システム１４は、データストリームをシェアするが、データを別個に処理通信するよう動作する。このために、監視モニタリングシステム４０は、いくつかの点で、車両１２とインターフェースするように構成されている。いくつかの実施形態において、監視モニタリングシステム４０は、ＵＳＢポートで、または車両のオン・ボード・ダイアグノーシス（ＯＢＤ）ポートを使用して車両１２に接続されている。以下の説明において、監視モニタリングシステムが前者（監視モニタリング実施形態）であり、自律システムから完全に独立したものであると推定されるが、同じコンセプトが同様に後者システム（確認実施形態）に適用され得るということが理解される。
【0039】
監視モニタリングシステム４０は、車両ハードウエアで実行するソフトウエアとして、および／または専用モジュール付きの別個のハードウエアおよび／または特注ソフトウエアとして車両１２に組み込み可能である。上述の、非限定の例では、監視モニタリングシステムは、スマートフォン等のポータブル電子モニタデバイス、特に本実施形態ではポータブル通信デバイス（本明細書中でモバイル通信デバイスまたはモバイルデバイスとしても言及される）を含む。このモバイルデバイスは、関連監督機能を与えることができるように専用機能モジュールおよび／またはダウンロードされたカスタムソフトウエア（アプリケーション）を有する。モバイルデバイスを監視モニタリングシステムの一部として与えることは自律システムからの独立を可能にし、また、車両に依存しないことを可能にする：すなわちモバイルデバイスは、どのような半自動運転車両でも、独立した車両の運転監督を与えるように構成可能である。モバイルデバイスは、監視モニタリングシステムの役目を果たすのに求められる監督機能およびアラート機能を可能にするセンサおよび出力ハードウエアを与える。モバイルという用語は、デバイスがユーザにとってポータブルであり、率直な方法で車両から取り外しができ、どのようなユーザでも、訓練された技術者を必要とせずに取り外しできることを意味する。
【0040】
この形態の監視アシスタンスにモバイルデバイスを使用することは、充分なセンシング、処理、およびアラートハードウエアが好適に与えられていることを確かにする。モバイルデバイスがユーザの個人的なスマートフォンである場合、ユーザは常時デバイスを所持する可能性が高く、たとえば車両１２のダッシュボードに取り付けられたスマートフォンホルダに置くことによりシステムをどのような所望の車両でも比較的容易にユーザによりセットアップできる。特徴について、以降の図を参照して以下にシステムの利点をさらに説明する。
【0041】
図３に示す通り、例示としてのモバイルデバイス５０は、モニタリングシステム５４に接続されたメインプロセッサ５２を含む。モニタリングシステム５４は、外部環境モニタリングプロセッサ５４ａ、ユーザモニタリングプロセッサ５４ｂ、および車両モニタリングプロセッサ５４ｃの形態のサブプロセッサを含む。使用において、モニタリングシステム５４は、モバイルデバイス５０が監視モニタリングシステム４０として機能するようにメインプロセッサ５２を通じて図３に示すモバイルデバイス５０のその他モジュールと相互作用する。モニタリングシステム５４は、センサ５６および／またはモバイルデバイス５０のその他モジュールからデータを受信し、受信したデータを解析する。モニタリングシステム５４により解析、および生成されメインプロセッサ５２に送られた結果に基づいて、メインプロセッサ５２は、車両１２の半自動運転について取るべきアクションを決定する。
【0042】
モバイルデバイス５０内で、メインプロセッサ５２は、アラートシステム５８、ナビゲーションシステム６０、ユーザインターフェース６２、通信エンジン６４、およびデータストレージ６６とも通じている。アラートシステム５８は、本実施形態では、そのビルトインユーザインターフェース６２を使用してコントロール信号を作成しモバイルデバイス５０がセンサリアラートを発生するための、信号ジェネレータ（図示せず）を含む。このセンサリアラートは、モバイルデバイス５０の振動モーターを通じてのモバイルデバイス５０のバイブレーション、モバイルデバイス５０のラウドスピーカーから発生される聴覚アラート、および／またはユーザの注意を引くイルミネーションフラッシュ等の、モバイルデバイス５０のディスプレイの特定のイルミネーションで作成される視覚的アラートであり得る。その他実施形態では、モバイルデバイス５０は、ユーザインターフェースを有さない場合があり、その代わりに、モバイルデバイス５０とのインターフェースに、ユーザの個人的モバイル通信デバイス（スマートフォン等の）のユーザインターフェースを使用し得る。本実施形態で、個人的なユーザのスマートフォンは、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）接続でワイヤレスに、操作可能にモバイルデバイスに接続し得る。
【0043】
図３のモバイルデバイス５０は、複数の異なるセンサ５６を有する。モバイルデバイス５０のセンサ５６として選択し得るセンサセット６８を図３Ａに示す。センサ７０のコアセットは、図３Ａにおいて点線で示す。センサのコアセット７０は、１つまたはそれ以上のカメラ７２、１つまたはそれ以上のマイク７４、１つまたはそれ以上の加速度計７６、ジャイロスコープ７８、および、ナビゲーションシステム６０のセンサ：モバイルデバイス５０の現在ロケーションを決定するためのＧＰＳレシーバ等のロケーション決定センサ８０、およびジオグラフィックコンパス８２またはモバイルデバイス５０の磁気センサを使用したコンパス機能を含む。地上無線ポジショニングシステム、ドップラー効果を使用したロケーションセンサまたはＷｉ－Ｆｉホットスポットロケーションセンサ等の、その他形態のジオグラフィックロケーション決定センサも与えることができる。点線の外のモバイルデバイス５０の非コアセンサは、デバイス５０の海抜を決定する高度計８４を含む。これにより、モバイルデバイス５０の地理上位置決定にアシスタンスを与え、外部天候条件をよりよく理解するのに助けとなる。また別のセンサは、気圧センサ８６であり、モバイルデバイス５０が曝されている現在の大気圧を示すために与えられ、また外部天候条件の決定および裏付けの助けになる。環境光センサ８８は、外部ライティング状態を決定するように構成し得、利用可能環境光での現在の視認性に基づいた安全な閾値を調整するのに助けとなる。赤外線近接センサ９０は、車両１２内のサブジェクトの存在検出を可能にするか、または、たとえば、劣悪な環境光状態で、リア向き（車両に対し）カメラでキャプチャされた車両１２のドライバーの位置画像を裏付けする。１つまたはそれ以上の超広帯（ＵＷＢ）センサ９２は、センサ（車両１２に存在する占有者および車両１２の近隣に存在するオブジェクト、たとえば、その他車両またはオブジェクト）視野内のオブジェクトを検出するために与えられる。明らかに、ＵＷＢセンサ９２は指向性を持つため、車両１２の内部と車両１２の外部両方をモニタリングする場合、反対の方向を向くそのようなＵＷＢセンサ９２が２つ求められる。カメラによりキャプチャされた視覚的画像とは異なり、これらは環境光条件下でセンシティブではなく、これに対し、カメラベースの技術は暗い環境では実行できないため、パルスレーダー伝送と反射を使用する、１つまたはそれ以上のＵＷＢセンサ９２を使用することが有利である。
【0044】
図３Ａに示す上述のセンサセット６８は、本発明における異なる実施形態で、異なる組み合わせで提供できる。センサのコアセット７０が図３Ａにおいて点線で示されているが、高度計８４または気圧センサ８６の使用は、いくつかの実施形態においては必要でない。同様に、画像処理アルゴリズムを使用して、キャプチャされたカメラ画像で環境光レベルを検出し得るため、環境光センサ８８およびＩＲ近接センサ９０は、いくつかの実施形態においては任意である。最後に、その他の実施形態でＵＷＢセンサ９２をセンサのコアセット７０と共に使用することも、任意であるが、これは、車両１２の内部外部両方で、暗ライトまたは視認性の乏しい状態で、オブジェクトのロケーションを判断するのに有意義な利点がある。
【0045】
監視モニタリングシステム４０のセンサ５６およびモニタリング一般的能力を考慮するにあたって、監視モニタリングシステム４０が最低限モニタリングするのは、車両１２の前方移動方向の外部環境である。可能な場合、監視モニタリングシステム４０は、車両１２の後方移動方向、および／または車両１２の横方向両側でも外部環境をモニタリングするようにも構成される。監視モニタリングシステム４０がモバイルデバイス５０に組み込まれる場合、オリジナルのモバイルデバイス５０にワイヤレスまたはその他方法で接続するさらなるモバイルデバイスを与えることにより、車両１２に対し異なるエリアをモニタリングできる、等の追加のモニタリング能力を達成する。たとえば、監視モニタリングシステム４０が、車両１２の横方向両側の外部環境をモニタリングするように構成されている実施形態の場合、ドライバーおよび同乗者側の横窓を通じて外部環境をモニタリングするために、横向きカメラモジュールがモバイルデバイス５０に接続される。監視モニタリングシステム４０が車両１２の後側の外部環境をモニタリングするように構成されている実施形態では、車両１２の後側の監督を与えるために、車両１２内リアウインドスクリーン近くにカメラモジュールがマウントされている。横向きおよびリア向きカメラモジュールは、追加のモバイルデバイスに組み込み得る。さらに、近年のスマートフォンではよくあるように、監視モニタデバイス４０が同じ方向を向いた異なる視野の複数のカメラを有する場合、監視モニタリングシステムにより、異なる目的で異なるカメラによりキャプチャされた画像が使用される。たとえば、広角レンズ付きカメラは、視野が広く、横向きカメラの必要無しに、車両１２の横側における外部アクティビティがキャプチャできる。同様に、監視モニタデバイスにおいて、フロントガラスまたはダッシュボードに取り付けられたリア向きカメラ（車両に対して）が、車両１２のリアウインドシールドを通じて、外部において車両１２の後ろで発生しているアクティビティを見れるようなシチュエーションにおいては、望遠レンズ（ズームレンズ）が有用である。
【0046】
図３に戻り、ユーザインターフェース６２は、ユーザがモバイルデバイス５０にコマンドを入力することを可能にし、センサリアラート等の情報の出力をユーザにすることを可能にする。通信エンジン６４は、図２Ａに示す通り、通信ネットワーク１８を通じて、モバイルデバイス監視モニタリングシステム４０とコンテンツプロバイダサーバ４２の間の通信を可能にする。
【0047】
代替の実施形態または追加で、データストレージ６６は、メインプロセッサ５２上で実行された時にモバイルデバイス５０が監視モニタリングシステム４０として機能することを可能にするモニタリングソフトウエアプログラムを格納する。たとえば、（Ａｐｐ Ｓｔｏｒｅ（登録商標）等の）コンテンツプロバイダからダウンロード可能なアプリケーションまたは「アプリ」を、実行可能なモニタリングソフトウエアプログラム、そしてユーザによって実行することが選択可能として格納し得る。
【0048】
図３に示す本実施形態はまた、ニューラルネットワークとして操作するように構成された専用ＡＩ（人工知能）プロセッサ９４を含む。ＡＩエンジンとしても言及されるＡＩプロセッサ９４は、自動運転期に自律システム１４に実行された、センサ５６によって作成されたデータの解析に使用される。運転パターンと、特に、自律システムが異なる運転イベント（急に別車両が当該車両前でレーン変更する等の）にどのように反応するかをモニタリングでき、この車両の自律システム１４がどのように機能するかを説明するモデル（図示せず）を決定できる。特に重大な運転イベントが発生したとき、どのように自律システムが動作するのか、のこのモデルを蓄積して、自律システム１４がどのようにリアクションするかを予測するのに使用できる。このようなモデルをそして、半自動運転車両１２の予測モデルとして、監視モニタリングシステム４０がユーザに介入するようアラートを発生する必要があるかどうかをその他方法でするのより早く、決定するのに、メインプロセッサ５２で使用できる。アラートは、早期に発生され、これは監視モニタリングシステム４０が、自律システム１４がとるリアクションに対してではなく、自律システム１４がどのアクションをとるかの予測モデルを使用して、予測でアクションするためである。半自動運転に加えて、ある事象におけるユーザの介入までの反応時間をモニタリングし、与えられた事象に対する可能性の高い反応時間を決定するのに使用できる。ユーザが異なれば、反応時間も異なり、たとえば反応が遅いドライバーは、アラート発生も先回りしてなど、アラート発生タイミングもそのように調整できる。モバイルデバイス５０で作成されたこの車両１２の学習されたＡＩモデルを、監視システムコンテンツプロバイダサーバ４２にアップロードし、求められる場合、後の使用および保存に使用できる。ＡＩエンジンは、ニューラルネットワークを含み、ニューラルネットワークとして操作する。ニューラルネットワークは、車両運転中に集められたデータを使用して車両挙動をモデル化するように学習される。データが集められた期間の運転は、自動運転または手動運転であり得る。どちらの状況においても、ユーザは、データが集められた運転期間中に、危険なまたは予期されない運転イベントが発生しなかったことを、ユーザインターフェースを通じて確認を求められる。すなわち、学習期間中に、ユーザは学習運転期の開始を確認するために車両に存在する。ユーザは、学習運転期間中ずっと車両の運転に注意を払う（手動運転の場合は通常通り、または、自動的に動作している場合は自動運転に）。学習運転期終了時に、デバイスは学習運転期に集められたデータがニューラルネットワークの学習に好適であることを、ユーザからの確認を求めて認定する。ユーザが適切であることを確認したら、ＡＩエンジンが集められたデータに基づいてニューラルネットワークをアップデートする。そうでなければ、データは破棄される。ユーザは、車両所有者または技師であり得る。いくつかの状況において、ニューラルネットワークは、操作される車両のタイプについてのユーザ入力に基づいて、同じタイプの車両から集められ、デバイスにダウンロードされたデータで学習し得る。
【0049】
図３のモバイルデバイス５０は、例として挙げられ、その他の実施形態では、監視モニタリングシステム４０の運転をさらに高めるために、モバイルデバイス５０は、図示されない追加のモジュールを組み込み、および／または追加のモジュールに接続されるということが理解される。たとえば、車両フロントガラスにヘッドアップディスプレイを作成するように構成された、プロジェクタ等の追加のアラートモジュール、またはライト２セットで、１つをモバイルデバイス５０のどちらの側にでも配置し、モバイルデバイス５０とペアリングして、ユーザにリアルタイムのハザードトラッキングを与える。そのような追加のモジュールは、モバイルデバイス５０に組み込み得る、すなわち、一体化され得るか、モバイルデバイス５０がマウントされているクレードルまたはホルダに組み込み得るか、または車両１２のその他どこにでも、組み込み得る。
【0050】
監視モニタリングシステム４０は、１つまたはそれ以上の監視処理に従って操作され、その例を図４から１１のフローチャートに挙げる。図４から１１の処理それぞれは、図３に示す監視モバイル通信デバイス５０に関し説明されるが、処理は、監視モニタリングシステム４０のどのような形態にも、特にポータブルシステムに適用し得る、ということが理解される。
【0051】
図４は、Ａから始まる、デバイスセットアップのための予備的方法を示す流れ図である。方法４００の第一段階で、工程４０２で、車両１２において、モバイルデバイス５０が構成される。工程４０２におけるモバイルデバイス５０の構成は、少なくとも１つの構成処理を含む。様々な構成処理について、以下に述べる。
【0052】
１つの構成処理において、モバイルデバイス５０は、正しく完全なモニタリングを可能にするために、車両１２にてポジショニングをすることにより構成される。この処理において、モバイルデバイス５０がスマートフォンの場合、処理は、モバイルデバイス５０のリアカメラが車両１２の外部を向く（前方向き）ように、そしてモバイルデバイス５０のフロントカメラがデバイススクリーンと共に車両１２の内部、特にユーザ（車両１２に対しリア方向向き）を向くように、クレードルまたはホルダを使用して、モバイルデバイス５０を車両１２に着脱可能にマウントすること、を含む。クレードルまたはホルダの好適ロケーションは、たとえば車両ダッシュボードまたはフロントウインドスクリーンとなる。図２Ｂは、１つのポジション可能性を示し、モバイルデバイス５０が、フロントガラス近くに位置し、前方道路そして車両１２内部を良好に見渡せる。
【0053】
その他の構成処理では、構成４００が、センサ５６のキャリブレーションを行い、正しく位置されているかを確かにするために、モバイルデバイス５０で構成処理を行うことを含む。モバイルデバイス５０の構成が部分的にでも正しくなければ、ユーザに構成を修正する指示を与える。モバイルデバイス５０は、車両１２の外部環境を向くように位置された、デバイスの５０リア向きカメラ７２から受信した画像を解析する。画像解析は、運転表面および車両１２に対するモバイルデバイス５０の向きと角度が正しいこと、そして画像中（つまりカメラの視野）に後の処理でエラーを引き起こす可能性のある障害物が無いことを決定するために行われる。同様に、ＵＷＢセンサ９２が使用される場合、（たとえばダッシュボードに）視野を邪魔する、結果を変えてしまい得るオブジェクトが無いことを確かにするように構成することが重要である。モバイルデバイス５０は、車両１２のユーザを向くように構成されている、モバイルデバイス５０の前方向きカメラから得られた画像も解析し得る。解析では、たとえば、ステアリングホイール上のユーザの手が画像中で明確に視認できるか、そしてユーザの顔が画像中で明確に視認できるか、そして、障害物が存在しないことを決定し得る。ユーザの識別およびトラッキングにリア向きカメラで得られた画像に顔認証を採用し得、顔認証は、キャプチャされた画像が、ＡＩプロセッサ９４が学習された、予め保存された画像セットにマッチするかを決定するのに、ＡＩプロセッサ９４を使用できる。ユーザは、顔認証向けにパーフェクトにカメラに合わせていないことがあるため、これは特に有用であり、部分的画像でＡＩプロセッサ９４を使用してユーザのアイデンティティを決定するのは特に有用である。ユーザはまた、車両１２の運転中外部環境を見る必要があるため、ユーザが車両窓を通して重大な障害物の無い視界を確保するようにモバイルデバイス５０が構成され（位置され）、たとえば、モバイルデバイス５０は、前方の道路が見えるように、ユーザの周辺視野内のロケーションに位置され得るということが理解される。
【0054】
さらなる構成処理では、構成は、データエントリー期を含む。データエントリー期において、ユーザによって、または自動的に、パラメータが設定され、監視モニタリングシステムを当該車両に、そしてセットアップを車両１２内のモバイルデバイス５０に構成する。モバイルデバイス５０がその運転に設定を適用できるように、車両タイプ、車両自動運転レベル、車両１２内におけるモバイルデバイス５０とユーザの相対位置、求められるレベルの監視、ユーザのアイデンティティ、同乗者のアイデンティティ、および車両１２の目的地および／または予測ルート等の、パラメータがセットされる。これに対し、モバイルデバイス５０は、１つまたはそれ以上のこれらパラメータに沿って受信した情報をどのように処理するかを適用する。ひとつの例として、設定されている車両タイプに対し、監視モニタリングシステム４０は、監視システムコンテンツプロバイダサーバ４２と通信し、その車両タイプ、その車両１２が操作される自律のタイプ、および、車両が特定シチュエーションに対しどのような反応をするかについての関連情報といった関連データにアクセスする。これに関し、その車両１２が操作される自律のタイプは、車両製造業者提供の予め決定された情報または以前にその他ユーザにより作成され監視システムコンテンツプロバイダサーバ４２にアップロードされているＡＩモデルを確認することにより、利用可能であり得る。モバイルデバイス５０は、以前にその車両１２の運転を監視したかどうかを決定するために、そして記録された以前の車両１２の運転の詳細について、自身が格納するデータ（モバイルデバイス５０そのものにか、または自律システムコンテンツプロバイダサーバから）にアクセスする。モバイルデバイス５０は、車両の運転が予期しなかったものであったか、または誤動作が発生したケースを思い出す。この情報は、モバイルデバイス５０で以前に作成され、監視システムコンテンツプロバイダサーバ４２にアップロードされたこの車両１２の、学習されたＡＩモデルでも利用可能であり得る。したがって、モバイルデバイス５０中にすでに存在しなくとも、この情報は監視システムコンテンツプロバイダサーバ４２からダウンロード可能である。
【0055】
さらに別の構成処理では、１つまたはそれ以上のモバイルデバイス５０の特徴を運転期間中無効にすることを含む。この処理のいくつかの実施形態において、１つまたはそれ以上の特徴を無効にすることは、ユーザの気が散らないよう、通知受け取りや、ユーザのセンシティブデータが適切に保護されるよう、特定ロケーションへのデータ通信等、モバイルデバイス５０の機能を自動的に無効にすることを含む。あるいは、またはこれに加えて、無効にすることは、自身の好みに合わせてユーザが無効にする特徴をおよび／または有効にする特徴を識別することを含む。アラートの音量、アラートのタイプ、またはユーザインターフェースのグラフィックの配置等のその他のユーザの好みも、個人設定の調整か、事前に決定されたプロフィールの有効化、またはその他の方法を通じて、この段階で構成可能である。
【0056】
構成は、車両１２が運転（運転期開始前）を始める前に実行されるのが好ましいが、車両１２が自動的に動作している間にも実行できる。モバイルデバイス５０は、車両１２が自動的に動作している間に再構成し得る。いくつかの実施形態において、モバイルデバイス５０は、ユーザが車両１２内に存在することを自動的に決定し、自律システム１４の監視機能を実行することを希望するか、確認をユーザに求める。
【0057】
車両１２内でモバイルデバイス５０が構成されると、新たな運転期が開始し、監視モニタリングシステム４０により工程４０４にてこれが決定される。監視モニタリングシステム４０により新たな運転期が開始し、決定されると、モバイルデバイス５０は、そのメイン機能である、車両１２の動作している状態のモニタリングを与えることを開始し、ユーザに警告するために、これにしたがったモニタリングデータを解析する。
【0058】
工程４０４にて、ユーザがユーザインターフェースを通じて新たな運転期が始まったことを物理的にモバイルデバイス５０に示すことにより、またはモバイルデバイス５０が自動機能により運転期の開始を識別することにより、新たな運転期の開始が決定される。モバイルデバイス５０による自動決定は、車両１２運転期の開始を示す動きが識別された、事前に決定されたスピードでの車両１２の動き、車両１２でのデバイスに対するユーザの存在、および／または運転期が始まったことをその他示すもの等、車両１２においてデバイスの構成の完了が成功したことに基づいて実行される。たとえば、自動決定のために、モバイルデバイス５０は、モバイルデバイス５０の加速度計を通じて、車両１２の前方への加速をセンシングする。デバイスが新たな運転期の開始を自動的に検出する場合、車両１２による予め決定されたレベルを超えるこの加速が、新たな運転期が始まったことを示すとされる。
【0059】
工程４０４において新たな運転期の開始が決定された後、モバイルデバイス５０が工程４０６でモニタリングデータを集める。モニタリングデータは、センサ５６、ナビゲーションシステム６０、ユーザインターフェース６２、通信エンジン６４、および外部の、接続されたセンサ等のその他データ受信モジュール、の１つまたはそれ以上を使用してモバイルデバイス５０により集め得るデータである。モニタリングデータの収集は、工程４０６で開始し、モニタリングデータの収集は、処理における後の各工程中で継続すると予期される。換言すると、モニタリングデータは、運転期間中継続的に集められる。
【0060】
モニタリングデータは、例として１つまたはそれ以上の以下を含む：前方向きおよび／またはリア向きカメラ７２により得られた静止画像および／またはビデオ、１つまたはそれ以上のＵＷＢセンサ９２からのレーダーデータ、１つまたはそれ以上のマイク７４から得られたサウンドデータ、モバイルデバイス５０内の１つまたはそれ以上の加速度計７６から得られた加速データ、モバイルデバイス５０内のコンパス８２、ＧＰＳシステム８０、またはジャイロスコープ７８、高度計８４またはその他センサから集められた相対および絶対オリエンテーション、海抜およびロケーション、を含む位置データ、通信ネットワーク１８を通じて得られた交通情報および／または天候情報、気圧センサ８６からの天候データ、および道路のスピード制限データ、および人口または道路周辺のエリアタイプ等の、ロケーションに関するデータ。人口またはエリアタイプに関するモニタリングデータを受信することは、車両１２が置かれている状況におけるハザードまたは脅威のタイプを理解するのに重要である。ハザードタイプへのアクセスには、エリアタイプもまた重要である。このタイプのモニタリングデータは、典型的には、モバイルデバイス５０の外部ソースから受信される。外部ソースから受信したモニタリングデータのそのほかの例は、スマートウオッチ等の、車両１２内のウエアラブルデバイスまたはその他接続されたデバイスからのデータを含み、たとえばユーザの心拍など、ユーザ（ドライバー）のバイオメトリックパラメータを決定する。
【0061】
工程４０６でモニタリングデータを集めることが、工程４０８においてモバイルデバイス５０がＢ、Ｃ、Ｄ、Ｅ、Ｆ、またはＧで示す処理の１つまたはそれ以上の解析処理を実行することを可能にし、それぞれの処理は図５から１０に示されている。各解析処理Ｂ～Ｇは、異なるモニタリング機能を与え、メインプロセッサ５２および／またはモニタリングソフトウエアプログラムを実行するＡＩプロセッサ９４によって実行される。いくつかの処理の実行において、いくつかのまたはすべてのデバイス５０のパーツは、特にＡＩプロセッサ９４、メインプロセッサ５２、およびモニタリングシステム５４は、方法の結果を与え、適切な解析を実行するためにシンクロして動作し得る。ＡＩプロセッサ９４は特に、車両のアクション解析、および車両１２によって行われることが予期されるアクションのシミュレーションを、自律システムと比較することに使用される。使用において、ＡＩプロセッサ９４は、その処理能力という点で、車両１２のコントロールができるということを除いて、自律システム１４と同等または実質的同等と考えられる。
【0062】
解析処理Ｂ～Ｇは、互いに排他的ではないため、どのような組み合わせでも、同時にまたは個々に実行できる。処理が同時に行われる場合、モバイルデバイス５０が安全に優先順位をもって対応し、データ移動および利用可能な処理能力を最適化することを確かにするために、解析のヒエラルキー、すなわちどの処理が優先されるか、を実行し得る。１つまたはそれ以上の任意処理Ｂ～Ｇおよび任意アラートプロセスＨ（図１１）が、運転期が終了するまで繰り返し実行されることが予期される。上記にユーザによってまたは自動的にどのように運転期開始が示されるかを述べた。同様に、ユーザがモバイルデバイス５０を通じて終了を示したとき、またはモバイルデバイス５０が車両１２がアクティブでないことをセンサデータ収集を通じて検出した場合、すなわちアクティブに運転されていない、たとえば静止してイグニションがオフになっているなど自動的に決定されたとき、運転期終了が決定される。
【0063】
図４の処理に続き得る、図５および６の解析処理ＢおよびＣは、車両１２の内部または運転一般ではなく、概して車両１２の外部環境をモニタリングする方法である。求められる場合に、車両１２が運転されている間、脅威またはハザードを識別し、これらの脅威についてユーザをアラートするために、外部環境をモニタリングする。自律システム１４が作動している期間のモニタリングが特に関心ごとであるが、監視モニタリングシステム４０が作動している期間は、ユーザが半自動運転車両１２で手動的運転をしている時も、運転期全体をカバーし得る。これは、たとえば、運転中に気が散り、彼らの運転に対する注意が準最適である場合にユーザをアラートするという利点がある。これらの場合、監視モニタリングシステム４０が危険を識別すると、監視モニタリングシステム４０が、ユーザに適切なアクションをとるようにアラートできる。
【0064】
図４の処理に続く図５において、モバイルデバイス５０は、工程５０２で、工程４０８で集められたモニタリングデータを解析する。解析は、外部環境における車両１２に対する脅威を識別するために、この工程５０２で実行される。
【0065】
その後、識別された脅威の深刻度が、ユーザにアラートを要する程度かを工程５０８で決定する。ｙｅｓの場合、工程５１０でアラート処理が始まる。アラート処理５１０の例を図１１において文字Ｈとして挙げ、後に説明する。脅威がアラートを要するぐらいの深刻なものでなければ、モバイルデバイス５０で実行されている処理は工程５０２に戻り、集められたデータの解析を継続する。
【0066】
工程５０２において、脅威の識別は、好ましくは外部環境に関連するモニタリングデータを解析し、外部環境のオブジェクトまたは特徴そしてオブジェクトが行っているアクションを識別し、そして１つまたはそれ以上のオブジェクトまたは特徴が脅威を構成するかどうかを決定すること、を含む。
【0067】
工程５０４での脅威のカテゴリー化は、概してどのぐらいすぐにアクションをとる必要があるかに則している。カテゴリー化の例は、３つのレベルの脅威を含む：別車両がモニタリングされている車両１２の前で急な方向転換をする、等の差し迫った脅威；積極的にモニタリングされている車両１２に対して別車両が不規則な動きをしているが、危険な行為には及んでいない等の、中期的脅威の識別；積極的にモニタリングされている車両１２に対し、道路の先に交通渋滞の確認をする等の、長期的脅威の識別。脅威の識別は、車両１２のロケーション、道路タイプ、道路表面の質、車両タイプ、車両自動運転レベル、現在スピード、加速、移動方向、占有またはその他運転パラメータ、および／または日中の時間帯、季節、交通データ、または道路の質等のその他見解等の、多様な車両および環境パラメータに依存している。
【0068】
工程５０６において、カテゴリー化された個々の脅威に基づいて脅威レベルが決定される。実施形態において、脅威のカテゴリー化および決定は、脅威に関し受信したデータの解析に基づいて各特徴またはオブジェクトに対し、脅威レベルを割当て、そして、外部環境において識別された個々の見解に対し、モニタリングされている車両１２に対するリスクに対応する値を割当ることを含む。全般的脅威レベルは、よって、脅威レベル全般が外部環境に割当て可能なように、個々の見解に対し割当てされた値の合計、平均、および／または最大値等の関数である。実施形態において、脅威レベルは、新たな個々の脅威が識別された都度、脅威レベルを上げることにより決定され（そして個々の脅威が通過したことが識別されたときに脅威レベルを下げる）、脅威レベルは、運転期開始時にはベースリファレンスレベルから開始される。脅威レベルが上げられるまたは下げられる値は、脅威のカテゴリー化に依存している。その他の実施形態において、脅威レベルは、モバイルデバイス５０に適用された予測メカニズムにより決定され、これにより、可能性のある結果が識別され、この可能性のある結果に基づいて、脅威レベルが割当てられる。これらの予測結果は、予め決定されているか、またはＡＩプロセッサ９４の使用および解析により決定され得る。いくつかの実施形態において、脅威レベルは、予め決定されたシナリオの識別により割当てられる。
【0069】
いくつかの例において、監視モニタリングシステム４０は、近くの車両が手動的または自動的に操作されているかどうかを識別し、このデータに基づいて脅威を識別する：手動的に操作される車両は、自動的に動作している車両よりも、脅威を発生する可能性が高く、自動的に動作している車両よりも、高いレベルまたはカテゴリーの脅威であると識別される。この決定に、そしてその他脅威の識別に、車両トラッキングデータが使用される。監視モニタリングシステム４０は、１つまたはそれ以上の車両トラッキングを行うように構成可能であり、これは、以下を含み得る：その他車両の数および密度を決定すること、そして、その他車両のその数または密度が平均値よりも高い場合に脅威を決定すること；周辺車両のスピードを識別することおよび車両一般のスピードに基づいてまたはそのエリアの速度規制に対し脅威を決定することー全ての車両が制限速度より上で走行している場合、そうでない場合に割当てられるのに比較して、その環境における脅威レベルは高くなる；高速道路設定において、特定車両の挙動を経過的にトラッキングし、その車両が不規則なふるまいをしているかどうか、識別すること。車両は、道路において最も一般的なものであるが、その他オブジェクトも存在することがある；監視モニタリングシステム４０は、いくつかの実施形態において、センサデータを使用して動物またはがれき等の道路における車両以外の異物を識別し、脅威としてカテゴリー化するように構成されている。天候およびその厳しさについても同じことがいえ、これも脅威レベルを割当てできる。
【0070】
脅威の識別が多様な環境および車両パラメータに依存しているのと同じように、脅威レベルのカテゴリー化および／または割当てにも１つまたはそれ以上の同じパラメータを使用し得る。
【0071】
工程５０８において、その脅威が、ユーザに対するアラートが必要なものかどうかが決定される。これは、アラート状態の設定により行われる。脅威レベルが使用される場合、アラート状態は、状態についての予め決定された閾値または閾値のセットおよび／または脅威レベルの値を比較する対象のパラメータを含む。脅威がカテゴリー化される場合、アラート状態は、１つの特定カテゴリーの脅威の識別または１つのカテゴリー内の予め決定された脅威数の識別および／または時間的脅威の識別、つまり予め決定された期間に存続した脅威タイプを含む。いくつかの実施形態において、アラート状態は、車両１２の運転パラメータに基づく重み付け値を含む。車両密度が高いことは、高スピードで移動する車両に比較して、静止している車両にとっては低リスクであることが多く、よって、アラート状態の定義には、異なるセンサパラメータの組み合わせが使用できる。アラート状態は、車両のデータストレージに格納されている予め決定された脅威またはシナリオを識別することを含み得る。脅威レベルを比較する対象の複数のアラート状態を与えることも可能である。これは図１１を参照しさらに詳しく述べる。
【0072】
外部環境における脅威の識別に加えて、車両１２の内部にも脅威が存在する可能性がある。図６に示す、内部モニタリング処理６００では監視モニタリングシステム４０のセンサを使用して、ユーザの挙動が識別された脅威に対する反応に適切であることを確かにするために、ユーザをモニタリングする。換言すると、処理６００は、与えるアラートをより適切なものにするために、車両１２の外部環境および内部両方ともをモニタリングする処理である。
【0073】
車両１２の外部環境および内部（内部環境）に関し集められたモニタリングデータは、工程６０２において、脅威およびユーザ挙動を識別するために、少なくとも解析される。脅威レベルの決定は、工程６０４として、ここでは別個の工程として示されている。図５の工程５０２、５０４および５０６に対し上述の脅威レベルの決定は、この処理６００における脅威レベル決定にも適用される。
【0074】
図６の工程６０４で脅威レベルを決定し、工程６０６で脅威レベルに適切な、求められるユーザアラートネスが決定される。換言すると、監視モニタリングシステム４０は、ユーザが識別された脅威または脅威レベルに対し適切に対応するために、ユーザがどのようにふるまうべきかを識別する。
【0075】
同時に、監視モニタリングシステム４０は、工程６０８において、車両１２の内部に関して集められたモニタリングデータを解析することにより、現在のユーザアラートネスを決定する。一例として、（車両のメインの動きの方向に対して）リア向きのカメラがユーザモニタリングに使用される。カメラにより得た画像または画像シーケンスの解析は、監視モニタリングシステムのユーザモニタリングプロセッサにより、以下のようなユーザアラートネス（注意）を表すデータのパターン（シグニファイア）を識別することにより解析される：車両１２内のユーザのポジション；ユーザの体の位置；ユーザの向いている方向；ユーザの目が開いているか、または閉じているか；ユーザの目が（開いている場合）フォーカスされているか；ユーザの手がどこにあるか、そして手がステアリングホイール上にあるか；本、モバイルデバイス５０、食べ物、または飲み物等の、ユーザが相互作用しているアイテム；車両１２内にその他同乗者がいるか、そしてユーザがその他同乗者と相互作用しているか；ユーザのまばたきレート；ユーザのアラートに対する物理的反応スピード；あくび、そしてユーザがどのぐらいの頻度であくびをしているか；そしてユーザの胸部の画像解析に基づいたユーザの呼吸レート。ユーザのモニタリングは、監視モニタリングシステムのマイクによっても行われる。監視モニタリングシステムのマイクからのサウンドデータは、以下のようなユーザアラートネスのシグニファイアを決定するのに解析される：ユーザの呼吸レート；ユーザがその他同乗者と話しているか；ユーザがアラートに対して発声による反応をしているか。いくつかの場合において、サウンドデータは、音声を認識し、ユーザが外部環境に対して注意を払っているかを決定するために、会話のトピックを決定するのに解析される。監視モニタリングシステム４０はまた、車両１２内のその他デバイスから受信したデータを、ユーザアラートネスのシグニファイアを識別するために、解析することもできる。ユーザの心拍、呼吸レート、分泌、カフェインレベル、アルコールレベル、および／または血中酸素レベル等の、ユーザのバイオメトリックパラメータを識別するために、ウエアラブルデバイス（図示せず）からのデータを解析し得る。
【0076】
本明細書中ではユーザアラートネスとしているが、ユーザアラートネスは、ユーザが車両１２内でいかにすばやくタスクを実行できるか、特に、アラート状態の発生に対して、ユーザがいかに素早く車両１２の手動コントロールに戻れるか、に影響を与え得るユーザの挙動のどのような見解をも包含するということが想定される。たとえば、車両１２のペダル上に足を置き、ステアリングホイール上に手を置いており、注意が道路に注がれている、といった、ユーザが通常の運転ポジションにある場合、ユーザは、即時に素早く手動コントロールに戻れると考えられる。監視モニタリングシステム４０はよって、たとえばＡＩプロセッサを使用して、全体的なアラートネスの決定のために、ユーザが以前どのようにアラートに反応したかの、保存された例も使用するが、これは、比較的アラート（警戒状態）であると決定された場合でも、ユーザによっては、正しい方法でアラートに即座に反応できない場合があるからである。さらに、それぞれのユーザは、アラートに対し異なる反応時間を有すため、過去の応答時間について何等かの理解があることは、ユーザの反応が間に合うように、たとえば、運転ハザードを避けるために、監視モニタリングシステム４０がどのぐらい早くアラートを発生するかを決定するのに助けになる。
【0077】
したがって、ユーザアラートネスは、アラートネスレベルまたは値の観点で、または手動コントロールに戻るのにまたはその他タスクを実行するのに予期される反応時間、の観点でカテゴリー化できる。上述の技術は、工程６０６で決定される、求められるユーザアラートネスの決定にも適用される。
【0078】
工程６０６および６０８で、脅威レベルに対し、ユーザに求められるアラートネス、そして実際のユーザのアラートネスが両方とも決定されると、監視モニタリングシステム４０は、工程６１０にて比較を実行することにより、現在のアラートネスが、求められるアラートネスに合っているかを決定する。
【0079】
ユーザのアラートネスが求められるレベルに合致しない場合、工程５１０で内部モニタリング処理６００が進行し、図１１のプロシージャＨ等のアラートプロシージャに進む。ユーザのアラートネスが求められるレベルに合致する場合、処理６００は工程６０２で解析工程に戻り、求められるレベルに合致していることを確かにするために、脅威およびユーザのアラートネスのモニタリングを継続する。
【0080】
いくつかの実施形態において、ユーザの挙動およびアラートネスをパッシブにモニタリングするように、監視モニタリングシステムのセンサからのセンサデータを使用する代わりに、監視モニタリングシステム４０は、ユーザが正しいアラートネスレベルにあることを確かにするために、ユーザインターフェースを通じて、ユーザからの入力を求める。そのようなデバイスでは、脅威レベルに対し求められるアラートネスは、決定され、監視モニタリングシステム４０からのユーザ入力リクエストに対するユーザの反応に基づく。たとえば、ユーザは、ユーザインターフェースを通じての相互作用か、またはアラートネスおよび注意を示すために特定フレーズを話すことにより定期的に監視モニタリングシステム４０に「チェックイン」する必要がある。ユーザが求められる通りに予め決定された期限までに監視モニタリングシステム４０と対話しなければ、ユーザの現在アラートネスは、脅威レベルに対し求められるユーザアラートネスに合致しないと決定される。
【0081】
ユーザの挙動を考えるとき、いくつかの状況では、ユーザが安全でない挙動をすることがあり、内部で脅威を発生させ、異なる脅威が発生したときに安全に手動コントロールに戻らないことにより、ユーザ自身の安全に対する脅威、または車両１２に対する脅威となる。外部環境において脅威またはハザードが識別されていなくても、ユーザがアラートである状態を維持すること、少なくとも、車両内部で車両１２の運転継続にとってリスクとなり得る挙動をしないことが重要である。したがって、図７において示された処理Ｄ７００は、ユーザ挙動をモニタリングし、ユーザ挙動が安全なものであるかどうかを決定する。
【0082】
プロセスＤ７００は、工程７０２において、ユーザ挙動を決定するために集められたデータのモニタリングおよび解析で開始する。ユーザ挙動は、典型的には、図６のプロセスＣ６００でユーザアラートネスが決定されるのと同様に識別されるが、どのようなユーザ挙動のカテゴリー化でも使用し得るということが理解される。特に、車両１２の内部をモニタリングする監視モニタリングシステム４０のセンサから集められたデータを使用して、ユーザがどのようにふるまっているかを識別する。ユーザの挙動には、カテゴリーまたは挙動レベルを割当て得、安全でない挙動は、図６または図７においてカテゴリー化され得るレベルのアラートネスとなる。
【0083】
処理７００は、継続し、工程７０４において、監視モニタリングシステム４０がユーザの挙動が安全なものであるかどうかを決定する。ユーザの挙動が安全なものであると決定された場合、処理７００は工程７０２に戻り、ユーザの挙動のモニタリングおよび解析が継続する。工程７０４において、ユーザの挙動が安全なものでないと決定された場合、図１１のＨ５１０のアラートプロセスが始まるか、またはその他アラート処理が始まる。
【0084】
安全でない挙動のカテゴリー化は、本非限定の実施形態において、車両１２の自動運転レベルに依存する。たとえば、レベル４の車両において、ユーザが運転期に本を読んでいることがある場合は安全でない挙動のカテゴリーに入らないが、この挙動はレベル２の車両においては許容されるカテゴリーに入らない。睡眠、シートベルト非着用、または飲酒等のいくつかのアクションは、全レベルの車両において典型的には禁止されている。
【0085】
図７に示す処理７００は、ユーザが車両１２の操作に安全であるかどうかを識別するためにその他処理の前に実行されると想定されるが、適切な時はいつでも実行できる。
【0086】
安全でないふるまいは、ユーザのみならず、車両１２もまた、安全でないふるまいができる。自律システムによる不規則なまたは危険な車両コントロールは、安全でない挙動を構成し得る。監視システムは、実際の運転結果が、予期される運転結果から逸脱した場合に、危険な運転イベントが発生したかどうか決定できる権限をもち、車両の挙動および車両が曝されている運転イベントをモニタリングする。このデータに基づいて、システムは挙動を車両の誤動作とすることができる。図８に示すプロセスＥ８００は、車両の自動運転で予期されるものからの逸脱を識別するために、誤動作を識別するために、そしてそれに応じてユーザをアラートするために、自律システムのコントロール下にある車両１２の挙動をモニタリングするために与えられる。
【0087】
図８において、工程８０２でプロセッサによりモニタリングデータを受信し、集められたモニタリングデータに対し、解析を実行する。解析では、少なくとも１つの運転イベントに対し車両１２の運転挙動を識別する。解析はそして、予期される車両挙動のモデルとの比較に使用される。車両の運転挙動そして予期される挙動からの逸脱に基づいて、工程８０４において、危険な運転イベントがあったかどうかを識別する。車両１２が予期されないまたは未知のまたは不規則な様子にふるまっている場合、車両が誤動作している可能性がある。
【0088】
危険な運転イベントは、検出された自動運転挙動を、特定運転イベントにおいて予期される自動運転車両の運転挙動モデルと比較することにより識別される。検出された挙動がモデルから逸脱していたら、車両で危険な運転イベントがあった可能性がある。逸脱は、運転イベントが危険なものとして分類されるべきかどうかを決定するために、運転イベントに対する閾値と比較される。
【0089】
一般的に、予期される運転挙動のモデルは、運転イベントに対して反応するためのルールまたはルールのセットである。車両が制限速度セットを有する地域で運転されている場合、等の運転イベントに対し、モデルは、車両が制限速度セットであるいはそれより下で移動すべきであるというルールである。モデルが個々のルールである、これらのタイプのイベントでは、逸脱は、制限速度を超えることとして決定できる。閾値はそして、制限速度、道路タイプ、そしてその他要素によって、危険なスピードレベルとして設定できる。閾値は、許可された制限速度を超えるパーセンテージであり得る。その他の実施形態において、運転イベントは、シミュレーション技術およびＡＩエンジンを使用した車両挙動のモデリングが求められる、複雑なシチュエーションを含む。たとえば、複数の車両が移動しており、道路の一部を避けるような一時的指示があるといった、複雑な臨時交通システムをナビゲートするためには、予期される車両反応をマッピングするために、ＡＩエンジンのモデリング機能を使用し得る。車両が何か異なることをして逸脱が発生すると、プロセッサは、閾値の値によって危険な運転イベントが発生したと決定し得る。
【0090】
逸脱は、分類フレームワークとの比較により、量り得る。換言すると、プロセッサは、特定の運転イベントにおいて比較できる逸脱に対するスケールを決定する。分類フレームワークを作成することにより、逸脱には、以下が割当て可能である：単一の統一閾値と比較し得る正規化された値、イベントに特定される予め決定されたまたは可変の閾値と比較可能な値、および／またはカテゴリー閾値と比較可能なカテゴリー。よって、分類は、逸脱を数量化するもの、そして閾値も含む。いくつかの実施形態において、複数の閾値が与えられ、各閾値は、システムが発生し、ユーザに与える（後述）異なるアラートに対応する。
【0091】
逸脱は、特定状況における車両のアクションに基づいているが、比較の対象となる閾値は、その他基準に基づき得る。特に、閾値は、監視システムが、ユーザに警告する必要があり、手動コントロールを再開する必要があると決定するまでに車両の運転がどのぐらい危険であるかのメジャーとしてみなすことができる。よって、システムは、起こっている運転イベントのタイプ、外部要因、車両のオペレーションおよびその他のみならず、どのぐらい瞬時に手動コントロールに復帰できるかに影響するその他要因、そして手動コントロールが再開した場合に脅威に対する反応に対してどのぐらいユーザに求められるかも考慮する必要がある。よって、閾値は、ドライバーの反応時間；車両の自動レベル；車両状態；道路タイプ；天候条件；および１つまたはそれ以上のユーザ設定を含む、１つまたはそれ以上の運転パラメータ、にも基づいている。閾値が反応時間に基づいている場合、システムは、現在の挙動に基づいてユーザがどのぐらい瞬時に手動コントロールに戻れるかを決定するのに内部モニタリングセンサを使用する。ユーザ設定は、システムが、車両の挙動に対しどの程度クリティカルであるべきかを示す設定に関わるものであり得る。
【0092】
モデルと比較し、車両１２が正常に予期される通りの振る舞いをしている場合、または少なくとも正常な運転の範疇内であると考えられる場合、すなわち危険な運転イベントまたは逸脱も識別されない場合、処理は工程８０２のモニタリングデータ受信および解析に戻る。車両１２が危険な運転イベントに分類される不規則な挙動を示した場合、方法８００は、図１１のアラートプロセスＨ等の工程５１０のアラート処理に移行する。
【0093】
上述の通り、いくつかの危険な運転イベントは、個々のたまに発生し得るものであるが、その他は車両誤動作を示すものであるか、またはそれにより引き起こされたものであり得る。そのような誤動作の非限定の例としては、自律システムが車両１２を現在ロケーションの道路制限速度より上のスピードで操作していることが挙げられる。監視モニタリングシステム４０を使用して図８の処理８００が実行された場合、工程８０２の、モニタリングデータの解析では、ナビゲーションメタデータに基づいて、現在ロケーションの制限速度、そして受信したナビゲーションデータおよび／または画像データに基づいて現在の車両のスピード１２を決定する。比較により、車両の現在スピードが、現在ロケーションの制限速度を超えていることが明らかになる。制限速度が３０マイル／時間である歩行者エリアで、この制限速度がコンスタントに超過されている場合、監視モニタリングシステム４０は、そのような超過が不適切であると識別し、車両１２において誤動作があったかもしれないと結論する。監視モニタリングシステム４０はよって、アラート処理に従って１つまたはそれ以上のアラートモジュールを使用してユーザをアラートする。しかしながら、制限速度が７０マイル／時間である高速道路の設定において、監視モニタリングシステム４０は、車両１２がこの制限速度を超過していると識別するが、車両１２に対し内側のレーンに重荷車両が位置することや、レーン変更を試みている車両が存在することも識別する。これらの状況において、短期または一時的な制限速度の超過は概して容認され、監視モニタリングシステム４０によって誤動作と分類されない。監視モニタリングシステム４０は、工程８０２にて現在車両１２のスピードのモニタリングを継続し得、超過が継続しているかを識別し、制限速度の超過が理由の無いものであると見受けられたら、工程５１０でアラート処理を開始する。
【0094】
誤動作のそのほかの例は、加速度計によって識別された車両１２のぎくしゃくした動きが挙げられ、停止サインで完全停止できていない、道路わきの警告サインまたはアラートを見落とす、横断する歩行者に停止しない、曲がるところを逃す、または高速道路で正しいレーンから外れる等がある。これらは自律システムのコントロールオペレーションの誤動作である。車両１２の一般的オペレーションにおける誤動作も監視モニタリングシステム４０によって識別可能である。たとえば、車両１２のノイズを記録し、エンジン問題および／またはタイヤ問題および／または車両１２のメインハードウエアにおける排気口問題等の可能性を識別するべく解析できる。同様に、たとえば平らでない道路表面によって引き起こされた垂直加速の頻出が動きの吸収が欠如していることを示す等、加速度計を使用して車両のサスペンションの問題を検出できる。
【0095】
車両の誤動作は、システマティックな誤動作またはランダムな誤動作であり得る。たとえば、センサが作動していないか、自律システムに欠陥のある測定値を返している場合、車両１２は、長期間予期されない様子でシステマティックに機能している。センサが一時的に不明瞭になるか、マイナーな障害がすぐに修正されていれば、誤動作はランダムで、短期のことであり得る。監視モニタリングシステム４０は、そのデータの解析において、外部環境における比較可能な脅威または発生事象への反応として、２つまたはそれ以上の車両挙動のインシデンスを比較し、誤動作が繰り返されているかまたはエラーが修正されたかどうかを識別できる。したがって、新たなモニタリングデータを受信したとして、継続処理となる工程８０２における解析では、モニタリングデータに基づいて結果を瞬時に決定する必要があるが、ランダムな誤動作の問題とシステマティックな誤動作の問題をよりよく区別するために、一定期間を通して決定する必要もある。監視モニタリングシステム４０は、識別された障害にしたがって行動する。
【0096】
システマティックな障害が発生した場合、工程５１０でユーザに与えられたアラートは、障害がランダムな誤動作問題によるものである場合よりも緊急または高いレベルであり得る。明らかにランダムなエラーに対しては、監視モニタリングシステム４０は、工程８０２にて、誤動作が再度識別された場合、そしてより深刻な、システマティックな誤動作に発展した場合、自律システムの運転を、誤動作の可能性に特に注意して、モニタリングを継続し得る。
【0097】
誤動作は従来の運転からの変更であるとは限らないということが重要である。誤動作は、車両の処理機能または自律システムにプログラムされた情報の間違いまたは欠如でも発生する可能性がある。このタイプの誤動作の例として、車両のスピードを下げる必要がある特定タイプの道路表面を車両が認識していないことが挙げられ、たとえば、平らでない臨時道路表面または石畳みの道路表面、これらのタイプの道路表面に近づいている時に不適切な車両のスピード減少につながる。このタイプの誤動作のその他の例としては、道路表面が風化した田舎エリア等の、道路のマーキングが明確でない例が挙げられる。これらの発生は、自身の自律システムによる車両の運転が障害でなくても、誤動作とみなされる。
【0098】
図８の処理の間、監視モニタリングシステム４０は、車両１２の誤動作が、外部環境での発生または車両１２そのものからのサインによって先行された等の、特定状態に対するものであることを決定する。たとえば、外部環境で一般的に発生するのは、雪等の降水である。車両はまた、監視モニタリングシステム４０により検出可能な繰り返しのノイズの形態で誤動作のサインを発生することがある。図９は、車両誤動作につながりかねない、これらの先行状態のモニタリング方法Ｆ９００を与える。状態は、現在の車両１２に限らず、同タイプの車両に影響する状態も、および／または半自動運転車両一般も含む。つまり、監視モニタリングシステム４０は、現在車両１２の以前の誤動作、同じタイプまたは同じ自動運転レベルの他の類似車両における誤動作、および／または半自動運転車両一般における既知の欠陥、に基づいて状態を知り得る。そのような状態をモニタリングすることにより、方法Ｆ９００はアクションを起こすのにシチュエーションが深刻になりすぎる前に、ユーザをアラートすることにより、車両がそのような状態下で誤動作することを予防することも可能にする。
【0099】
方法９００は、工程９０２で、車両が以前に誤動作を起こした予め決定された状態に注視して、モニタリングデータを解析することにより開始する。工程９０２の解析は、１つまたはそれ以上の予め決定された状態を識別するために行われる。識別は、１つまたはそれ以上の以下を含み得る：ローカルで保存された予め決定された状態にアクセスすること；監視システムコンテンツプロバイダサーバ４２から定期的に（新たな運転期が始まるたびに、または毎日等の予め決定された期間で）アップデートされた予め決定された状態のリストにアクセスすること；および／または、通信ネットワークを通じてコンテンツサーバへの接続が確立されたときに、監視システムコンテンツプロバイダサーバ４２から監視モニタリングシステム４０へ、予め決定された状態のアップデートされたリストを含むプッシュデータパッケージを受信すること。
【0100】
予め決定された状態が識別された場合、監視モニタリングシステム４０は、工程９０４にて、状態の深刻度を設立し、工程９０４で、それに応じたカテゴリー化を行う。工程９０４のカテゴリー化は、脅威レベルが割当てられたのと同じまたは実質的に同様の脅威レベルの割当て、個別のカテゴリーの割当て；予め決定された状態のアップデートされたリストに基づくカテゴリー化；および／またはアップデートされたリストに不随するデータパッケージ内のデータに基づくカテゴリー化、を含む。
【0101】
同時に、工程９０６で、状態に対する深刻度アクションレベルも識別される。実施形態において、深刻度アクションレベルは、アクセスできる状態であり、予め決定された状態とともに保存されるように、予め決定された状態のアップデートされたリストの受信と共に監視システムコンテンツプロバイダサーバ４２から監視モニタリングシステム４０に届けられる。別選択枝として、または追加で、監視モニタリングシステム４０は、状態が識別されたまたはアクションレベルが計算されたときはいつでも、監視システムコンテンツプロバイダサーバ４２からアクションレベルにアクセスし得、アクションレベルは、車両１２のロケーション、道路表面、車両ダメージ、または自律モードで車両１２の運転に影響を与えるその他パラメータ等のその他パラメータに依存する可変であり得る。
【0102】
状態の深刻度をカテゴリー化し、アクションレベルにアクセスしたら、深刻度およびアクションレベルは、工程９０８で比較される。状態の深刻度がアクションレベルより大きいか同じである場合、監視モニタリングシステム４０は、工程５１０でアラート処理に入り、また、工程９１０において、状態および状態に対する車両の反応をより詳細に特にモニタリングする。状態の深刻度がアクションレベルより大きくなく、同じでもない場合、アラート処理は開始されず、工程９１０で、より詳細な状態がモニタリングされる。これらの工程の後、監視モニタリングシステム４０は、工程９０２に戻ることにより、モニタリングされたデータの解析、特に状態およびその他監視モニタリングシステム４０により集められたデータの解析、を継続する。
【0103】
いくつかの実施形態において、監視モニタリングシステム４０は、予め決定された状態が識別されたということについて、そして状態の深刻度にかかわらず方法の開始においてモニタリングされているということをユーザにアラートする。
【0104】
現在車両１２の誤動作モニタリングに加えて、この方法は、特定状態において現在車両１２をリスクにさらすその他車両の識別にも使用し得る。予め決定された状態は、氷が張った状態等の手動車両でよりリスクが高くなる場合、または同じ条件下で以前誤動作したという理由で、特定操作システムで操作している自動操作車両で重大なリスクがある場合、で構成可能である。
【0105】
道路車両における自律は、多くの道路交通事象を防ぐのに効果的となることが予期される。しかしながら、自動的に行為する車両が、単体で事象の一部となり得るか、その他半自動運転または自動運転車両、または歩行者、手動的に操作される車両を巻き込む可能性がまだあり得る。監視モニタリングシステム４０は、事象が発生した場合に重要な監督を与える。
【0106】
図１０の処理Ｇ４０８が、特に保険目的で事象が適切に記録されたことを確かにするために、実行される。図１０において、工程１００２で事象を識別するためにデータが解析される。「事象」という用語は、少なくとも衝突、そして任意にニアミスおよび突然の誤動作を含むと意図される。衝突およびニアミスは、監視モニタリングシステム４０からの加速度計データを、監視モニタリングシステム４０からの画像およびノイズデータと合わせたものに基づいて識別できる。
【0107】
事象が識別された場合、監視モニタリングシステム４０は、工程１００４で、事象に関連すると考えられるデータ全てにアクセスする。特に、デバイスは、データが集められた後に、予め決定された期間保存されるバッファを利用して、事象につながる過去のデータにアクセスする。監視モニタリングシステム４０は工程１００６でその後事象とその原因を解析する。いくつかの実施形態において、工程１００６は、任意であり、解析は後の段階で実行されるか、全く行われない。
【0108】
データおよび行われた解析は工程１００８で、より安全で永久的な保存場所へと送られる。これは、監視モニタリングシステム４０内のメモリロケーションにデータを保存し、および／または後のアクセスのために通信ネットワークを通じて監視モニタリングシステム４０から遠隔のサーバおよびデータベースに通信することを含み得る。データを確保したら、監視モニタリングシステム４０は、工程１０１０で、事象の識別およびそれが安全に保存されたことをユーザにアラートする。
【0109】
いくつかの実施形態において、方法はまた、ユーザの怪我を識別するためにチェックを実行することを含む。工程１００２で、事象が識別された場合、そして事象が深刻であることを示す、１つまたはそれ以上の予め決定された緊急状態に合致する場合、監視モニタリングシステム４０によってユーザの健康を評価し、事象が発生したこと、事象が何であったか、何人のユーザ車両にいるか、事象がどこで起こったか、そして緊急サービスをアシストするその他適切な関連情報を緊急サービスに自動的にアラートし得る。緊急サービスの自動アラートは、事象が歩行者との衝突である場合にも与えることができる。
【0110】
図５から図１０の上述の各方法がその他のものとは独立したものである場合、各処理の異なる要素を組み合わせることができるか、または同時に処理し得るということが理解される。いくつかの場合、処理は利用可能データに基づいて階級的に実行されるか、または現在の同時処理に反応してアラートが優先される。たとえば、ユーザにとって先にある交差点より車両の誤動作可能性パラメータがより喫緊なものであれば、車両誤動作に基づいてユーザにアラート処理を与える処理が優先付けられ得る。いくつかの実施形態において、複数の脅威または誤動作可能性が識別された場合、脅威または誤動作発生可能性のパラメータをそれぞれに割当て得、そして可能性パラメータに応じてアラートを優先付けできる。可能性パラメータの代わりに、脅威または誤動作を無視すると起こり得る結果の深刻度パラメータを割当て得る。いくつかの実施形態において、可能性パラメータと深刻度パラメータとを組み合わせ得る。
【0111】
ユーザへのアラートは、複数の異なる方法のいずれによっても届け得る。監視モニタリングシステム４０において、アラートシステムは、どのハードウエアでユーザをアラートするかを決定するアラートモジュールを含む。特にデバイスがモバイルデバイス５０である場合、アラートモジュールは、以下に接続されることが想定される：監視モニタリングシステム４０の１つまたはそれ以上のラウドスピーカー、監視モニタリングシステム４０のディスプレイまたはインターフェース、監視モニタリングシステム４０のバイブレーションジェネレータ、１つまたはそれ以上のデバイスカメラのフラッシュ、および／または、その他バイブレーションジェネレータ、ラウドスピーカー、またはディスプレイ、または警告をフラッシュするライト等の外部警告デバイスを使用してユーザをアラートするように構成されたウエアラブル等の、外部デバイスと通信するための通信エンジン。
【0112】
ディスプレイまたはラウドスピーカーを通じてユーザをアラートする場合、監視モニタリングシステム４０は、何がユーザに求められているのかを示す、または明確に脅威を識別する、および／またはユーザの注意を道路に戻すような、警告ノイズを示す警告メッセージを与える。そのような警告をラウドスピーカーを通じて与えるためにスピーチ合成を使用し得、ユーザが監視モニタリングシステム４０と対話するように、ユーザは声で応答し得る。
【0113】
図１１は、アラート処理の例、Ｈ１１００を示す。処理は、監視モニタリングシステム４０がどのようにユーザをアラートすべきか、そしてユーザがアクションを起こさなければアラートをエスカレートするように指令する。
【0114】
アラート処理１１００は、識別された脅威、事象、挙動、または決定された状態に対し、適切なアラートレベルで開始し、そして工程１１０２で初期アラートレベルｎが設定される。アラートレベルは、運転期の開始時には０に設定し得る。
【0115】
そして工程１１０４で脅威に対し適切な最大アラートレベル、ｎｍａｘが決定される。最大アラートレベルは、ユーザが前回アラートに対しアクションを起こさなければシステムがエスカレートできるアラートレベルである。
【0116】
工程１１００および１１０２でｎおよびｎｍａｘを決定したら、工程１１０４でユーザに監視モニタリングシステム４０または接続されたデバイスを通じてアラートレベルｎに従ったアラートが送られる。アラートは、対応する脅威タイプに特定のものであり得る。たとえば、アラートレベルｎを使用して、その期間、大きさまたは明るさ、繰り返し回数、または一度に何種類の異なる種類のアラートを使用するか等のアラートのパラメータを決定できる。先に交通渋滞、等の低レベルの脅威が識別された場合、すなわちｎ値が低い場合、ラウドスピーカーを通じてユーザに標準の音量で脅威が識別されたことを通知するのみ等、アラートを低いレベルのアラートとし得る。近隣車両に不規則な動きがみられる等の、高レベルの脅威の場合、すなわちｎ値が高い場合、監視モニタリングシステム４０は、スクリーンおよびラウドスピーカーの両方を通じて、高音量高輝度で繰り返し脅威の識別をユーザに即時にアラートし得る。
【0117】
工程１１０４でアラートが送られると、新たなユーザ挙動を識別するために、工程１１０６で監視モニタリングシステム４０はアラート以降に受信したデータを解析する。ここで、監視モニタリングシステム４０は、ユーザがアラートに反応したかを識別するためにデータを集める。
【0118】
監視モニタリングシステム４０は、工程１１０８で、ユーザ挙動にアラートに対する反応が識別されたかを決定する。アラートへの反応は、脅威タイプ、またはアラートレベルに依存し得る。いくつかの実施形態において、脅威が特に深刻である場合、ユーザは、直ちに車両１２の手動コントロールに戻るように求められ得る。その他状況において、ユーザが注意を道路に向けることは、監視モニタリングシステム４０にとって充分な反応となり得る。求められる反応は、いくつかの実施形態においては、口頭または監視モニタリングシステム４０インターフェースへの入力による、脅威またはアラートを認識するよりポジティブなユーザの確認アクションであり得る。
【0119】
工程１１０８で反応または少なくとも適切な反応が検出されたら、監視モニタリングシステム４０は、工程１１１０でアラートおよび到達されたアラートレベルを記録し、工程４０８でＢからＧ等の解析処理を使用して環境解析を継続する。監視モニタリングシステム４０は、ユーザが求められるように行動している限りさらなるアラートを送らない。
【0120】
工程１１０８で反応が検出されなかった、または不適切な反応が検出された場合、工程１１１２でデバイスは脅威がまだ存在するかどうかをチェックする。脅威が終了し、もはや存在しない場合は、アラートの理由とアラートレベルが工程１１１０で記録される。脅威がまだ存在し、克服または回避されていない場合、監視モニタリングシステム４０は、工程１１１４で、ｎがｎｍａｘであるかをチェックする。ｎが最大アラートレベルでなければ、工程１１１６でｎを１増加し、工程１１０４に戻り工程１１０４で増加されたｎ値にしたがってユーザに新たなアラートを送る。ｎがｎｍａｘである場合、工程１１１４で決定されたようにアラートが繰り返され、そしてもしアラートが十分に深刻なものである場合、工程１１１８でエスカレーションプロシージャに入る。エスカレーションは、緊急システムへのアラートまたは車両コントロールシステムに遠隔にアクセスして道路わきに寄せるコマンドを伴い得る。
【0121】
監視モニタリングシステムは、ユーザがすぐに使用可能であることが想定されるが、いくつかの実施形態においてユーザはシステムを学習し得る。機械学習アルゴリズムを使用して、監視モニタリングシステム４０は、車両１２の手動および自動運転モードにおける運転をモニタリングし得、ユーザのアクション例としてモニタリングし得る。これら状況にあるユーザおよび車両１２から得られた学習データを使用して、監視モニタリングシステム４０は、その後そのモニタリングを調整し、そしてユーザおよび車両１２へのアラートをし得る。
【0122】
特に、システムは、脅威およびハザードをモニタリングし、識別された脅威およびハザードをユーザの応答反応と関連づけ得る。システムは、よってユーザが特定ハザードを認識していることを示す識別子を抽出するようにユーザをモニタリングできる。監視モニタリングシステムとして機能しているとき、システムは、ハザードをモニタリングし、メモリからそのハザードへの反応に対応するユーザ識別子にアクセスし、ユーザのモニタリングデータを、ユーザ識別子が存在するかを決定するために解析し、存在しない場合は、ユーザにハザードをアラートするようにデータを解析し得る。異なるユーザは異なる習慣や異なるボディランゲージを有する可能性が高いため、これは特に有用である。このようなシステムは、ユーザが酔っているまたはユーザが運転継続困難に疲労している等のユーザの劣悪な挙動をよりよく検出することも可能にし得る。
【0123】
さらに、システムはまた、ユーザのシチュエーションに対する反応、そしてとるべき関連の回避アクションに基づいて、脅威の知識も得られる。これは、そして自律の状況に適用し得る。多くの異なるドライバーからのデータを構文解析することより、大量の学習データを集め得、これで監視モニタリングシステムで使用する機械学習アルゴリズムをさらに精緻化する。
【0124】
いくつかの状況において、機械学習をユーザからの低レベル半自動運転車両の手動コントロールにおける学習データと組み合わせて使用することは、高レベル自動運転車両のシステム学習に充分なデータ収集を可能にし得る。反対も同様に、高レベル車両でのシステムの学習を、低レベルシステムで使用できる。
【0125】
上述は自動運転車両に対する監視モニタリングシステム４０のユーザを説明しているが、監視モニタリングシステム４０は、手動コントロール状態にも使用し得る。監視モニタリングシステム４０は、ユーザがアラートで気が散らないように運転後に解析を与えることによりユーザが運転向上にも使用し得る。監視モニタリングシステム４０のユーザが車両のドライバーでなく同乗者である場合、監視モニタリングシステム４０は、ドライバーが危険な運転をしている場合にユーザにアラートし得る。たとえば、タクシー／ライドシェアサービスにおいて、ユーザは、新たな運転期を開始し、ドライバーが考慮していない脅威の可能性を秘匿的に警告され得る。したがって、タクシー／ライドシェアサービスの運転の質向上にフィードバックを使用し得る。得られたデータは、ドライバーへのレーティングシステムへと変換でき、セントラルデータベースにロードできる。そのようなシステムは、ウエブサイトにリンクでき、独立したドライバーの評価を与え、顧客候補および従業員が同じように閲覧できるレーティングを与える。これは、Ｕｂｅｒ（登録商標）、Ｌｙｆｔ（登録商標）およびその他のドライバーを全く同じ方法で、商業目的でライドシェアの会社が介入すること無しにモニタリングする「クロスプラットフォームのレーティング」として利点がある。
【0126】
したがって、そのようなシステムは、保険目的で独立した車両の運転挙動モニタリングも与え得る。保険料は、自動的に操作される車両のすべてのドライバーには当然低くなろうが、ドライバーによっては安全度が高く、彼らの保険料はさらに安くなり得る。
【0127】
スマートフォン等のモバイルデバイス５０の使用は、車両同士の通信においてもより可能性を広げる。特定ロケーションで１つのデバイスによって識別された脅威は、反対方向に通過するその他車両のデバイスにも通信し得、その先の脅威に対する準備ができる。そのような通信は、通信ネットワークを通じてまたはＢｌｕｅｔｏｏｔｈ（登録商標）等のよりローカルな通信プロトコルで達成できる。
【0128】
本明細書にて使用される「インターフェース」という用語は、いくつかの異なる実施形態可能性を包含する広い用語であるということが理解される。たとえば、１つの実施形態において、インターフェースは、モニタデバイスとして機能する、モバイル通信デバイスのタッチスクリーン等の、ユーザインターフェースであり得る。別の実施形態では、スクリーンおよびキーボードまたは別選択枝のディスプレイおよびユーザがコマンドを入力できるボタン等の、相互作用アクチュエータであり得る。さらなる実施形態において、ユーザ相互作用インターフェースは、モバイルモニタデバイスとは物理的に別個であるが機能的そして操作的にモニタデバイスへインターフェースを通じてリンク可能なデバイスに与えることができる。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図3A】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】