ホーム > 特許ランキング > ウェイモ エルエルシー
特表2022-552609運転者支援を使用する異常な運転者挙動の検出および対処
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-19
(54)【発明の名称】運転者支援を使用する異常な運転者挙動の検出および対処
(51)【国際特許分類】
G08G 1/00 20060101AFI20221212BHJP
B60W 40/08 20120101ALI20221212BHJP
B60W 50/14 20200101ALI20221212BHJP
B60W 60/00 20200101ALI20221212BHJP
【ＦＩ】
G08G1/00 D
B60W40/08
B60W50/14
B60W60/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022515680
(86)(22)【出願日】2020-10-13
(85)【翻訳文提出日】2022-05-06
(86)【国際出願番号】 US2020055373
(87)【国際公開番号】W WO2021076492
(87)【国際公開日】2021-04-22
(31)【優先権主張番号】62/915,134
(32)【優先日】2019-10-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/065,722
(32)【優先日】2020-10-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】シルバー，デイビッド，ハリソン
【テーマコード（参考）】
3D241
5H181
【Ｆターム（参考）】
3D241BA70
3D241CE02
3D241CE03
3D241CE04
3D241CE05
3D241DC25Z
3D241DC33Z
3D241DC34Z
3D241DC35Z
3D241DC39Z
3D241DC40Z
3D241DC44Z
3D241DC46Z
3D241DC51Z
3D241DC59Z
3D241DD02Z
3D241DD05Z
5H181AA01
5H181AA05
5H181AA06
5H181AA07
5H181BB04
5H181BB05
5H181BB13
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181EE13
5H181FF04
5H181FF05
5H181FF10
5H181LL01
5H181LL02
5H181LL04
5H181LL20
5H181MB11
(57)【要約】
本技術は、運転者の異常な挙動の識別と対処に関連する。様々な運転操作を、異なる時間スケールおよび運転距離にわたって評価することができる（９０２、９０６）。システムは、運転エラーと最適ではない操作を検出することができ、運転エラーと最適ではない操作は、車載の運転者支援システムによって評価され、予想される運転者の挙動モデルと比較される（９０８）。この比較の結果は、運転者に警告するか、または即座に修正運転行動を実行するために使用され得る（９１２、９１４）。比較の結果は、リアルタイムまたはオフラインのトレーニングまたはセンサの較正の目的でも使用することができる（９１２、９１４）。挙動モデルは、運転者固有のものであってもよいか、または多くの運転者からの集約情報に基づく基準の運転者モデルであってもよい。これらのアプローチは、乗用車、バス、貨物トラック、他の車両の運転手に採用することができる。
【選択図】図９
【選択図】図９
【特許請求の範囲】
【請求項1】
方法であって、１つ以上のプロセッサによって、車両の運転者によって実行された運転行動の状態追跡を実行することと、
前記１つ以上のプロセッサによって、前記車両の知覚システムからセンサ情報を受信することと、
前記１つ以上のプロセッサによって、所定の時間フレームまたは走行距離の一方または両方の間の前記運転行動の前記状態追跡に基づいて、１つ以上の異常な運転行動が実行されていることを判定することと、
前記１つ以上のプロセッサによって、前記判定された異常な運転行動を挙動モデルと比較することと、
前記１つ以上のプロセッサによって、前記比較に基づいて不一致信号を作成することであって、前記不一致信号が、前記挙動モデルに対する運転者のパフォーマンスの逸脱を示すことと、
前記１つ以上のプロセッサによって、前記不一致信号に応答して１つ以上のクラスの行動の中から行動を選択することと、
前記選択された行動を実行することと、を含む、方法。
【請求項2】
前記挙動モデルが、前記車両の前記運転者以外の複数の運転者からの情報に基づく集約モデルである、請求項１に記載の方法。
【請求項3】
前記挙動モデルが、前記車両の前記運転者の過去の運転履歴に基づく、前記運転者に固有のものである、請求項１に記載の方法。
【請求項4】
前記１つ以上の異常な運転行動が実行されていることを判定することが、前記知覚システムのいくつかのセンサ、前記知覚システムの各センサの精度、センサ視野、または前記車両の周りのセンサ配置のうちの少なくとも１つを評価することを含む、請求項１に記載の方法。
【請求項5】
前記１つ以上の異常な運転行動が実行されていることを判定することが、車線逸脱、車線内でのよろめき、速度プロファイル、制動プロファイル、または方向転換プロファイルのうちの少なくとも１つを評価することを含む、請求項１に記載の方法。
【請求項6】
前記１つ以上の異常な運転行動が実行されていることを判定することが、運転者行動の前記状態追跡を、地図情報および前記受信したセンサ情報のうちの少なくとも１つと比較することを含む、請求項１に記載の方法。
【請求項7】
前記１つ以上のクラスの行動が、前記運転者への警告、前記車両の自律動作、または他の車両への警告のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項8】
前記状態追跡に基づいて前記知覚システムの１つ以上のセンサの較正を実行することをさらに含む、請求項１に記載の方法。
【請求項9】
前記選択された行動を実行することが、修正運転行動を自律的に実行すること、または前記判定された異常な運転行動に関して前記運転者に警告を提供することのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項10】
車両用の制御システムであって、前記制御システムが、挙動モデルを記憶するように構成されたメモリと、
前記メモリに動作可能に結合された１つ以上のプロセッサであって、前記１つ以上のプロセッサが、
前記車両の運転者によって実行された運転行動の状態追跡を実行することと、
前記車両の知覚システムからセンサ情報を受信することと、
所定の時間フレームまたは走行距離の一方または両方の間の前記運転行動の前記状態追跡に基づいて、１つ以上の異常な運転行動が実行されていることを判定することと、
前記判定された異常な運転行動を前記挙動モデルと比較することと、
前記比較に基づいて不一致信号を作成することであって、前記不一致信号が、前記挙動モデルに対する運転者のパフォーマンスの逸脱を示すことと、
前記不一致信号に応答して、１つ以上のクラスの行動から行動を選択することと、
前記選択した行動を実行することと、を行うように構成されている、プロセッサと、を備える、制御システム。
【請求項11】
前記挙動モデルが、前記車両の前記運転者以外の複数の運転者からの情報に基づく集約モデルである、請求項１０に記載の制御システム。
【請求項12】
前記挙動モデルが、前記車両の運転者の過去の運転履歴に基づく、前記運転者に固有のものである、請求項１０に記載の制御システム。
【請求項13】
１つ以上の異常な運転行動が実行されていることを判定することが、前記知覚システムのいくつかのセンサ、前記知覚システムの各センサの精度、センサ視野、または前記車両の周りのセンサ配置のうちの少なくとも１つを評価することを含む、請求項１０に記載の制御システム。
【請求項14】
１つ以上の異常な運転行動が実行されていることを前記判定することが、車線逸脱、車線内でのよろめき、速度プロファイル、制動プロファイル、または方向転換プロファイルのうちの少なくとも１つを評価することを含む、請求項１０に記載の制御システム。
【請求項15】
１つ以上の異常な運転行動が実行されていることを判定することが、運転者行動の前記状態追跡を、地図情報および前記受信したセンサ情報のうちの少なくとも１つと比較することを含む、請求項１０に記載の制御システム。
【請求項16】
前記１つ以上のクラスの行動が、前記運転者への警告、前記車両の自律動作、または他の車両への警告のうちの少なくとも１つを含む、請求項１０に記載の制御システム。
【請求項17】
前記制御システムが、前記状態追跡に基づいて前記知覚システムの１つ以上のセンサの較正を実行するようにさらに構成されている、請求項１０に記載の制御システム。
【請求項18】
前記選択された行動の実行が、修正運転行動を自律的に実行すること、または前記判定された異常な運転行動に関して前記運転者に警告を提供することのうちの少なくとも１つを含む、請求項１０に記載の制御システム。
【請求項19】
前記知覚システムをさらに備える、請求項１０に記載の制御システム。
【請求項20】
部分的に自律的な運転モードで動作している間、運転者の異常な運転行動を評価するように構成された車両であって、請求項１０に記載の制御システム、前記知覚システム、および前記制御システムに動作可能に結合された運転システムを含む、車両。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年１０月８日に出願された米国特許出願第１７／０６５，７２２号および２０１９年１０月１５日に出願された米国仮特許出願第６２／９１５，１３４号の出願日の優先権と利益を主張するものであり、それらの全開示は、参照により本明細書に組み込まれる。
本出願は、２０２０年１０月８日に出願された米国特許出願第１７／０６５，７２２号および２０１９年１０月１５日に出願された米国仮特許出願第６２／９１５，１３４号の出願日の優先権と利益を主張するものであり、それらの全開示は、参照により本明細書に組み込まれる。
【背景技術】
【0002】
既存の車載最新運転者支援システム（ＡＤＡＳ）は、特定の運転タスクを自動化し得る。例えば、ＡＤＡＳは、車線逸脱警告および前方衝突警告を介して、前方の車両に近づきすぎることに関する警告を提供し得る。他の例では、ＡＤＡＳは、自動車線追跡、自動制動、および高度なクルーズコントロール機能を介して運転を調整することもできる。他のシステムも、運転者の目の動きと、手がハンドル上にあるかどうかを追跡し得るが、これは、注意力を評価するために使用され得る。これらのアプローチは、短い時間スケール、例えば、前の数秒間の瞬間的な車両の状態に従って動作し得る。ただし、このようなアプローチでは、特定の繰り返し挙動のロバストな評価を提供し、またはルート計画や他の運転操作でその評価を使用することができない場合がある。
【発明の概要】
【0003】
本技術は、部分的に自律運転モードで実行することができる、または最新運転者支援システムを含む車両での運転者の異常な挙動を識別して対処することに関連する。これには、乗客用車両、バス、貨物用車両などが含まれ得る。本技術の態様によれば、運転者の操作は、有意の時間スケール、例えば、数十秒、数分、数時間以上にわたって評価され得る。評価では、運転者のエラーや、「エラー」の閾値レベルに達しない可能性のある最適ではない操縦など、異なる要因が考慮される。運転者のエラーには、１つ以上の車線逸脱、近づきつつある障害物に対する制動遅延、信号機や標識に従わないことなどが含まれる。最適ではない操縦には、車線逸脱警告をトリガーしない、車線から逸脱せずに車線内でよろめくか、またはさもなければドリフトすることが含まれる場合がある。他の最適ではない操縦には、突然の車線変更、信号無視、急ブレーキ、ギクシャクとしたブレーキ／ガタガタしたブレーキなどが含まれる。これらのいずれかまたはすべては、車載運転者支援システムによって評価され、予想される運転者の挙動のモデルと比較される。この比較の結果として生成された情報は、様々な方面で使用され得る。例えば、車載システムは、即座に修正運転行動を実行し、および／または、運転者に警告し得る。また、オフライントレーニングやセンサ較正の目的で使用することもできる。本技術のこれらの態様および他の態様は、以下でさらに考察される。
【0004】
一態様によれば、方法が提供される。この方法は、１つ以上のプロセッサによって、車両の運転者によって実行された運転行動の状態追跡を実行することと、１つ以上のプロセッサによって、車両の知覚システムからセンサ情報を受信することと、を含む。この方法はまた、１つ以上のプロセッサによって、所定の時間フレームまたは走行距離の一方または両方の間の運転行動の状態追跡に基づいて、１つ以上の異常な運転行動が実行されていることを判定することと、１つ以上のプロセッサによって、判定された異常な運転行動を挙動モデルと比較することと、を含む。この方法は、比較に基づいて不一致信号を作成することをさらに含む。不一致信号は、挙動モデルに対する運転者のパフォーマンスの逸脱を示す。この方法は、不一致信号に応答して１つ以上のクラスの行動の中から行動を選択し、次に選択された行動を実行することを含む。
【0005】
一例では、挙動モデルは、車両の運転者以外の複数の運転者からの情報に基づく集約モデルである。別の例では、挙動モデルは、車両の運転者の過去の運転履歴に基づく、当該運転者に固有のものである。
【0006】
１つ以上の異常な運転行動が実行されていることを判定することは、知覚システムのいくつかのセンサ、知覚システムの各センサの精度、センサ視野、または車両の周りのセンサ配置のうちの少なくとも１つを評価することを含み得る。１つ以上の異常な運転行動が実行されていることを判定することは、車線逸脱、車線内でのよろめき、速度プロファイル、制動プロファイル、または方向転換プロファイルのうちの少なくとも１つを評価することを含み得る。そして、１つ以上の異常な運転行動が実行されていることを判定することは、運転者行動の状態追跡を、地図情報および受信したセンサ情報のうちの少なくとも１つと比較することを含み得る。
【0007】
１つ以上のクラスの行動は、運転者への警告、車両の自律動作、または他の車両への警告のうちの少なくとも１つを含み得る。
【0008】
この方法は、状態追跡に基づいて知覚システムの１つ以上のセンサの較正を実行することをさらに含み得る。そして、選択された行動を実行することは、修正運転行動を自律的に実行すること、または判定された異常な運転行動に関して運転者に警告を提供することのうちの少なくとも１つを含み得る。
【0009】
別の態様によれば、車両用の制御システムが提供される。制御システムは、挙動モデルを記憶するように構成されたメモリと、メモリに動作可能に結合された１つ以上のプロセッサで構成され得る。１つ以上のプロセッサは、車両の運転者によって実行される運転行動の状態追跡を実行し、車両の知覚システムからセンサ情報を受信し、所定の時間フレームまたは走行距離の一方または両方の間の運転行動の状態追跡に基づいて、１つ以上の異常な運転行動が実行されていることを判定するように構成されている。プロセッサはまた、判定された異常な運転行動を挙動モデルと比較し、比較に基づいて不一致信号を作成するように構成されている。不一致信号は、挙動モデルに対する運転者のパフォーマンスの逸脱を示す。プロセッサはさらに、不一致信号に応答して、１つ以上のクラスの行動の中から行動を選択し、選択した行動を実行するように構成されている。選択された行動を実行することは、車両の運転システムに修正行動をとるように指示することによって、または車両のユーザインターフェースを介して判定された異常な運転行動に関して運転者に警告を提供することによって、修正運転行動を自律的に実行することのうちの少なくとも１つを含み得る。
【0010】
一例では、挙動モデルは、車両の運転者以外の複数の運転者からの情報に基づく集約モデルである。別の例では、挙動モデルは、車両の運転者の過去の運転履歴に基づく、当該運転者に固有のものである。
【0011】
１つ以上の異常な運転行動が実行されていることを判定することは、知覚システムのいくつかのセンサ、知覚システムの各センサの精度、センサ視野、または車両の周りのセンサ配置のうちの少なくとも１つを評価することを含み得る。代替的または追加的に、１つ以上の異常な運転行動が実行されていることを判定することは、車線逸脱、車線内でのよろめき、速度プロファイル、制動プロファイル、または方向転換プロファイルのうちの少なくとも１つを評価することを含む。そして、１つ以上の異常な運転行動が実行されていることを判定することは、運転者行動の状態追跡を、地図情報および受信したセンサ情報のうちの少なくとも１つと比較することを含み得る。
【0012】
１つ以上のクラスの行動は、運転者への警告、車両の自律動作、または他の車両への警告のうちの少なくとも１つを含み得る。
【0013】
制御システムは、状態追跡に基づいて知覚システムの１つ以上のセンサの較正を実行するようにさらに構成され得る。
【0014】
制御システムは、知覚システムをさらに含み得る。
【0015】
そして、別の態様によれば、車両は、部分的に自律的な運転モードで動作している間、運転者の異常な運転行動を評価するように構成されている。この車両は、上述され、かつ以下に詳細に説明される、制御システム、知覚システム、および運転システムを含む。
【図面の簡単な説明】
【0016】
【図1A-B】本技術の態様で使用するために構成された例示的な乗客型車両を示す。
【図1C-D】本技術の態様で使用するために構成された例示的な貨物型車両を示す。
【図2】本技術の態様による例示的な乗客型車両のシステムのブロック図である。
【図3A-B】本技術の態様による例示的な貨物型車両のシステムのブロック図である。
【図4】本技術の態様による例示的なドリフティングシナリオを示す。
【図5】本技術の態様による例示的な制動シナリオを示す。
【図6】本技術の態様による例示的な速度プロファイルを示す。
【図7A-B】本開示の態様に応じて、近くの車両に警報を発する例を示す。
【図8A-B】本技術の態様による例示的なシステムを示す。
【図9】本技術の態様による例示的な方法を示す。
【発明を実施するための形態】
【0017】
車載運転者支援システムは、時間の経過に伴う運転者の車両操作に関する情報を評価する。評価には、特定の行動（または非行動）を記憶された運転者の挙動モデルと比較することが含まれ得る。挙動モデルは、運転者の過去の行動や運転習慣に基づくもの、一般的な運転の予想に基づく基準モデル、または他の要因に基づき得る。運転エラーと最適ではない運転の一方または両方が評価に含まれる場合がある。その結果、システムは、車両の操作が異常であると判断する場合があり、その場合、修正行動または運転者または他の人への警告が実行され得る。
【0018】
例示的な車両システム
図１Ａは、セダン、ミニバン、スポーツユーティリティビークル（ＳＵＶ）、または他の車両などの例示的な乗客用車両１００の斜視図を示す。図１Ｂは、乗客用車両１００の上から見た図を示す。乗客用車両１００は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができ、これらのセンサは、車載ＡＤＡＳシステムまたは半自律運転モードで車両を操作することができる他のシステムによって使用され得る。例えば、ルーフトップユニット１０２は、ライダーセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および／または音響センサを含むことができる。車両１００の前端部に位置付けられたセンサユニット１０４、ならびに車両の運転者側および乗客側のユニット１０６ａ、１０６ｂは、各々、ライダー、レーダー、カメラおよび／または他のセンサを組み込むことができる。例えば、ユニット１０６ａは、車両のクォーターパネルに沿って運転者のサイドドアの前に位置付けられてもよい。図１Ｂに示すように、センサユニット１０８は、バンパー上またはバンパーに隣接してなど、車両１００の後方に沿って、位置決められてもよい。いくつかの例では、乗客用車両１００はまた、車両の内部空間（図示せず）に関する情報を取得するための様々なセンサも含むことができる。
図１Ａは、セダン、ミニバン、スポーツユーティリティビークル（ＳＵＶ）、または他の車両などの例示的な乗客用車両１００の斜視図を示す。図１Ｂは、乗客用車両１００の上から見た図を示す。乗客用車両１００は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができ、これらのセンサは、車載ＡＤＡＳシステムまたは半自律運転モードで車両を操作することができる他のシステムによって使用され得る。例えば、ルーフトップユニット１０２は、ライダーセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および／または音響センサを含むことができる。車両１００の前端部に位置付けられたセンサユニット１０４、ならびに車両の運転者側および乗客側のユニット１０６ａ、１０６ｂは、各々、ライダー、レーダー、カメラおよび／または他のセンサを組み込むことができる。例えば、ユニット１０６ａは、車両のクォーターパネルに沿って運転者のサイドドアの前に位置付けられてもよい。図１Ｂに示すように、センサユニット１０８は、バンパー上またはバンパーに隣接してなど、車両１００の後方に沿って、位置決められてもよい。いくつかの例では、乗客用車両１００はまた、車両の内部空間（図示せず）に関する情報を取得するための様々なセンサも含むことができる。
【0019】
図１Ｃ～図１Ｄは、トラクタトレーラトラックなどの貨物用車両１５０の例を示す。トラックは、例えば、シングル、ダブル、またはトリプルのトレーラを含むことができ、または商用重量クラス４～８などの別の中型または大型トラックであり得る。図示するように、トラックは、トラクタユニット１５２と、単一の貨物ユニットまたはトレーラ１５４と、を含む。トレーラ１５４は、輸送する貨物のタイプに応じて、完全に密閉されるか、フラットベッドのように開くか、または部分的に開くことができる。この例では、トラクタユニット１５２は、エンジンおよびステアリングシステム（図示せず）と、運転者および任意の乗客のための運転室１５６と、を含む。
【0020】
トレーラ１５４は、キングピンとして知られるヒッチングポイント１５８を含む。キングピン１５８は、通常、中実のスチールシャフトとして形成され、トラクタユニット１５２に方向転換可能に取り付けられるように構成される。特に、キングピン１５８は、運転室の後方に装着された第５輪として知られるトレーラ連結部１６０に取り付ける。ダブルまたはトリプルトラクタトレーラの場合、第２のおよび／または第３のトレーラは、先頭のトレーラへの単純なヒッチ接続を有してもよい。または代替的に、各トレーラは、独自のキングピンを有してもよい。この場合、少なくとも第１および第２のトレーラは、次のトレーラに連結するように配置された第５輪タイプの構造を含むことができる。
【0021】
図示するように、トラクタは、トラクタに沿って配設された１つ以上のセンサユニット１６２、１６４を有してもよい。例えば、１つ以上のセンサユニット１６２を運転室１５６の屋根または頂部部分に配設することができ、１つ以上の側方センサユニット１６４を運転室１５６の左側および／または右側に配設することができる。センサユニットは、運転室１５６の他の領域に沿って、例えば、前方バンパーまたはボンネットエリアに沿って、運転室の後方に、第５輪に隣接して、シャーシの下などに位置付けられてもよい。トレーラ１５４はまた、例えば、トレーラに沿って、例えば、トレーラ１５４の側方パネル、前方、後方、屋根、および／またはアンダーキャリッジに沿って、配設された１つ以上のセンサユニット１６６を有し得る。
【0022】
図１Ａ～図１Ｂの乗客用車両のセンサユニットのように、貨物用車両の各センサユニットは、例えば、ライダー、レーダー、カメラ（例えば、光学もしくは赤外線）、音響センサ（例えば、マイクロフォンもしくはソナータイプセンサ）、慣性センサ（例えば、加速度計、ジャイロスコープ、など）、または他のセンサ（例えば、ＧＰＳセンサなどの測位センサ）などの１つ以上のセンサを含み得る。本開示のある態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。
【0023】
上記のように、本技術は、最新運転者支援システム（ＡＤＡＳ）および自動運転モードで少なくとも部分的な自律性を提供することができる他のシステムに適用可能である。部分的な自律運転モードで動作する車両では、異なる程度の自律性が発生する可能性がある。米国高速道路交通安全事業団および自動車技術者協会は、どれだけ多く、またはどれだけ少なく、車両が運転を制御するかを示すために、様々なレベルを特定した。例えば、レベル０は自動化されておらず、運転手は、運転に関連するすべての決定を行う。最も低い半自律モードであるレベル１は、クルーズコントロールなど、何らかの運転支援を含む。レベル２は、特定の運転操作の部分的な自動化を有し、レベル３は、必要に応じて運転者席の人が制御することが可能であり得る条件付きの自動化を伴う。対照的に、レベル４は、車両が、選んだ条件で支援なしで運転することができる高度な自動化レベルである。本明細書に記載されているアーキテクチャ、構成要素、システム、および方法は、これらのモードのいずれかで機能することができる。これらのシステムは、本明細書では概して運転者支援システムと称される。
【0024】
図２は、運転者支援を可能とするための、乗客用車両１００などの例示的な車両の様々な構成要素およびシステムを有するブロック図２００を示す。図示するように、ブロック図２００は、１つ以上のプロセッサ２０４、メモリ２０６、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイスなどの１つ以上のコンピューティングデバイス２０２を有する制御システムを含む。メモリ２０６は、１つ以上のプロセッサ２０４によってアクセス可能な情報を記憶し、その情報には、プロセッサ２０４によって実行されるかまたは他の方法で使用され得る命令２０８およびデータ２１０が含まれる。コンピューティングシステムは、運転者支援を提供するとき、または部分的に自律運転モードで動作するときに、車両の１つ以上の動作を制御し得る。
【0025】
メモリ２０６は、プロセッサ２０４によって実行されるかまたは他の方法で使用され得る命令２０８およびデータ２１０を含む、プロセッサ２０４によってアクセス可能な情報を記憶する。例として、データ２１０は、運転挙動と関連する１つ以上の挙動モデルを含み得る。メモリ２０６は、コンピューティングデバイス可読媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのものであり得る。メモリは、ハードドライブ、メモリカード、光ディスク、ソリッドステートなどの非一過性の媒体である。システムは、前述の異なる組み合わせを含むことができ、それにより、命令およびデータの異なる部分が異なるタイプの媒体に記憶される。
【0026】
命令２０８は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」、「モジュール」、および「プログラム」という用語は、本明細書では区別なく使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされる、スクリプトもしくは独立したソースコードモジュールのコレクションを含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。データ２１０は、命令２０８に従って、１つ以上のプロセッサ２０４によって検索、記憶、または修正され得る。一例では、メモリ２０６の一部または全部は、車両診断および／または検出されたセンサデータを記憶するように構成されたイベントデータレコーダまたは他のセキュアデータストレージシステムであってもよく、実装に応じて、車両に搭載されてもよく、または遠隔地にあってもよい。
【0027】
プロセッサ２０４は、市販されているＣＰＵなどの、任意の従来のプロセッサであってもよい。代替的に、各プロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図２は、コンピューティングデバイス２０２のプロセッサ、メモリ、および他の要素が同じブロック内にあることを機能的に示すが、そのようなデバイスは、実際には、同じ物理的ハウジング内に格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含んでもよい。同様に、メモリ２０６は、プロセッサ２０４のものとは異なるハウジング内に位置するハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解されよう。
【0028】
一例では、コンピューティングデバイス２０２は、車両が様々な運転者支援動作を実行することができるように、車両１００に組み込まれた運転コンピューティングシステムを形成し得る。運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、コンピューティングデバイス２０２は、（車両の制動を制御するための）減速システム２１２、（車両の加速を制御するための）加速システム２１４、（車輪の向きおよび車両の方向を制御するための）ステアリングシステム２１６、（方向指示器を制御するための）合図システム２１８、（車両をある場所にまたは物体の周りにナビゲートするための）ナビゲーションシステム２２０、および（例えば、車両の姿勢を含む、車両の位置を決定するための）測位システム２２２を含む、運転システムを含む、車両の様々なシステムと通信可能であってもよい。
【0029】
コンピューティングデバイス２０２はまた、部分的な自律運転モードで、メモリ２０６の命令２０８に従って、車両の動き、速度などを制御するために、（車両の環境内の物体を検出するための）知覚システム２２４、動力システム２２６（例えば、バッテリおよび／またはガソリンもしくはディーゼル動力エンジン）、ならびにトランスミッションシステム２３０に動作可能に連結される。車輪／タイヤ２２８は、トランスミッションシステム２３０に連結され、コンピューティングデバイス２０２は、タイヤ空気圧、バランス、および運転に影響を与え得る他の要因に関する情報を受信することが可能であり得る。
【0030】
コンピューティングデバイス２０２は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス２０２は、地図情報およびナビゲーションシステム２２０からのデータを使用して、車両を目的場所にナビゲートし得る。コンピューティングデバイス２０２は、測位システム２２２を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム２２４を使用して、物体を検出し、物体に応答することができる。そうするために、コンピューティングデバイス２０２は、車両を（例えば、加速システム２１４によってエンジンに提供される燃料または他のエネルギーを増加させることによって）加速し、（例えば、エンジンに供給される燃料を低減し、ギヤを切り替え、および／または減速システム２１２によって制動をかけることによって）減速し、（例えば、ステアリングシステム２１６によって、車両１００の前輪または他の車輪の方向を転換することによって）方向を変更し、（例えば、合図システム２１８の方向指示器を点灯することによって）そのような変更を合図し得る。したがって、加速システム２１４および減速システム２１２は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置または他のタイプのトランスミッションシステム２３０の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス２０２はまた、車両を操縦するために、車両のトランスミッションシステム２３０を制御し得る。
【0031】
ナビゲーションシステム２２０は、ある場所までのルートを決定し、たどるために、コンピューティングデバイス２０２によって使用され得る。この点について、ナビゲーションシステム２２０および／またはメモリ２０６は、地図情報、例えば、コンピューティングデバイス２０２が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、車道、区画線、交差点、横断歩道、速度制限、交通信号機、建物、標識、リアルタイムの交通情報、植生、または他のそのような物体ならびに情報の形状および標高を識別し得る。区画線は、実線または破線の、二重または単一の車線境界線、実線または破線の車線境界線、反射板などの特徴を含み得る。所定の車線は、車線の境界を画定する、左および／または右の車線境界線または他の区画線と関連付けられ得る。このため、ほとんどの車線は、１つの車線ラインの左端と、別の車線ラインの右端とによって境界付けられ得る。
【0032】
最新運転者支援システムの一部であるか、またはそれと連動して機能することができる知覚システム２２４は、１つ以上の車載センサ２３２を含む。センサは、車両の外部の物体を検出するために使用し得る。検出された物体は、他の車両、道路上の障害物、交通信号機、標識、樹木などであり得る。センサ２３２はまた、雪、雨、水しぶき、または道路上の水たまり、氷、または他の材料などの、気象状況の特定の態様を検出することもできる。
【0033】
単なる例として、知覚システム２２４は、１つ以上のライダーセンサ、レーダーユニット、カメラ（例えば、中性密度フィルタ（ＮＤ）フィルタ付きまたは無しの光学イメージングデバイス）、測位センサ（例えば、ジャイロスコープ、加速度計、および／または他の慣性構成要素）、赤外線センサ、音響センサ（例えば、マイクロフォンまたはソナートランスデューサ）、および／もしくはコンピューティングデバイス２０２によって処理され得るデータを記録する他の任意の検出デバイスを含み得る。知覚システム２２４のそのようなセンサは、車両の外部の物体、およびそれらの特徴、例えば、場所、向き、サイズ、形状、タイプ（例えば、車両、歩行者、自転車運転者など）、進行方向、車両に対する移動速度を検出することができる。知覚システム２２４はまた、車両内の他のセンサを含み、客室内などの車両内の物体および状態を検出することもできる。例えば、そのようなセンサは、運転者の位置、運転者の手がハンドル上にあるかどうか、視線方向などを検出し得る。知覚システム２２４のさらに別のセンサ２３２は、車輪２２８の回転速度、減速システム３１２による制動の量またはタイプ、および車両自体の装備と関連付けられる他の要因を測定し得る。
【0034】
センサからの生データおよび前述の特性は、知覚システム２２４によって処理され、および／またはデータが知覚システム２２４によって生成されるときに、周期的または連続的にコンピューティングデバイス２０２に、さらなる処理のために送信され得る。コンピューティングデバイス２０２は、測位システム２２２を使用して、車両の場所を判定し、知覚システム２２４を使用して、以下でさらに考察されるように、運転者の挙動の評価に従って物体を検出および応答することができる。加えて、コンピューティングデバイス２０２は、個々のセンサ、特定のセンサアセンブリ内のすべてのセンサ、または異なるセンサアセンブリもしくは他の物理的ハウジング内のセンサ間の較正を実行してもよい。
【0035】
図１Ａ～図１Ｂに示すように、知覚システム２２４の特定のセンサは、１つ以上のセンサユニットに組み込まれ得る。一例では、これらは車両のサイドビューミラーに組み込まれてもよい。別の例では、他のセンサがルーフトップハウジング１０２の一部であってもよい。コンピューティングデバイス２０２は、車両上に位置付けられた、または別途、車両に沿って分散されたセンサユニットと通信することができる。各ユニットは、上述したもののような１つ以上のタイプのセンサを有することができる。
【0036】
図２に戻ると、コンピューティングデバイス２０２は、上述のプロセッサおよびメモリ、ならびにユーザインターフェースサブシステム２３４などのコンピューティングデバイスに関連して通常使用されるすべての構成要素を含むことができる。ユーザインターフェースサブシステム２３４は、１つ以上のユーザ入力２３６（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）、ならびに１つ以上の表示デバイス２３８（例えば、画面を有するモニタ、または情報を表示するように動作可能な他の任意の電気デバイス）を含んでもよい。この点について、内部の電子ディスプレイは、車両の車内（図示せず）に位置付けられてもよく、車両内の乗客に情報を提供するためにコンピューティングデバイス２０２によって使用されてもよい。スピーカ２４０および／または運転者に触覚フィードバックを提供するための触覚アクチュエータ２４１などの他の出力デバイスもまた、乗客用車両内に配置され得る。
【0037】
乗客用車両はまた、通信システム２４２も含む。例えば、通信システム２４２はまた、他のコンピューティングデバイス、例えば、車両内の乗客コンピューティングデバイス、道路上の別の近くの車両内などの車両外部のコンピューティングデバイス、および／または遠隔サーバシステムとの通信を容易にするために、１つ以上の無線構成を含むこともできる。無線ネットワーク接続は、Ｂｌｕｅｔｏｏｔｈ（商標）、Ｂｌｕｅｔｏｏｔｈ（商標）ローエネルギー（ＬＥ）、携帯電話接続、ならびにインターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業独自の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉおよびＨＴＴＰ、ならびに前述の様々な組み合わせなどの短距離通信プロトコルを含む、様々な構成およびプロトコルを含み得る。
【0038】
図３Ａは、車両、例えば図１Ｃの車両１５０の様々な構成要素およびシステムを有するブロック図３００を示す。一例として、車両は、例えば、ＡＤＡＳと組み合わせて１つ以上の部分的な自律動作モードで動作するように構成されたトラック、農機具、または建設機械であり得る。ブロック図３００に示すように、車両は、１つ以上のコンピューティングデバイスの制御システム、例えば、１つ以上のプロセッサ３０４、メモリ３０６、ならびに図２に関して上で考察された構成要素２０２、２０４、および２０６に類似または同等の他の構成要素を含むコンピューティングデバイス３０２を含む。この例において、制御システムは、貨物用車両のトラクタユニットの電子制御ユニット（ＥＣＵ）を構成し得る。命令２０８と同様に、命令３０８は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令のセットであってもよい。同様に、データ３１０は、命令３０８に従って、１つ以上のプロセッサ３０４によって検索、記憶、または修正され得る。
【0039】
一例では、コンピューティングデバイス３０２は、車両１５０に組み込まれた運転コンピューティングシステムを形成し得る。図２に関して上で考察された配置と同様に、ブロック図３００の運転コンピューティングシステムは、運転動作を実行するために、車両の様々な構成要素と通信することができる。例えば、コンピューティングデバイス３０２は、減速システム３１２、加速システム３１４、ステアリングシステム３１６、合図システム３１８、ナビゲーションシステム３２０、および測位システム３２２を含む運転システムなど、車両の様々なシステムと通信することができ、これらは各々、図２に関して上で考察されたように機能することができる。
【0040】
コンピューティングデバイス３０２はまた、知覚システム３２４、動力システム３２６、およびトランスミッションシステム３３０にも動作可能に連結される。車輪／タイヤ３２８の一部または全部は、トランスミッションシステム３３０に連結され、コンピューティングデバイス３０２は、タイヤ空気圧、バランス、回転量、および運転に影響を与え得る他の要因に関する情報を受信することが可能であり得る。コンピューティングデバイス２０２のように、コンピューティングデバイス３０２は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス３０２は、地図情報およびナビゲーションシステム３２０からのデータを使用して、車両を目的場所にナビゲートするように支援し得る。
【0041】
知覚システム３２４は、最新運転者支援システムの一部であるか、またはそれと連動して機能することができる。知覚システム２２４と同様に、知覚システム３２４はまた、車両外部の物体、車両内部の物体または状態、および／または、車輪および減速システム３１２などの特定の車両機器の動作を検出するための、上述したような１つ以上のセンサまたは他の構成要素も含む。例えば、図３Ａに示すように、知覚システム３２４は、１つ以上のセンサアセンブリ３３２を含む。各センサアセンブリ２３２は、１つ以上のセンサを含む。一例では、センサアセンブリ３３２は、トラック、農機具、建設機械などのサイドビューミラーに組み込まれたセンサタワーとして配置されてもよい。センサアセンブリ３３２はまた、図１Ｃ～図１Ｄに関して上述したように、トラクタユニット１５２またはトレーラ１５４上の異なる場所に位置決めすることもできる。コンピューティングデバイス３０２は、トラクタユニット１５２およびトレーラ１５４の両方に位置付けられるセンサアセンブリと通信することができる。各アセンブリは、上述したもののような１つ以上のタイプのセンサを有することができる。
【0042】
また、図３Ａには、トラクタユニットとトレーラとの間の接続のための連結システム３３４が示される。連結システム３３４は、１つ以上の動力および／または空気圧接続（図示せず）、ならびにトレーラのキングピンに接続するためのトラクタユニットの第５輪３３６を含むことができる。通信システム２４２に相当する通信システム３３８も、車両システム３００の一部として示される。同様に、ユーザインターフェース２３４と同等のユーザインターフェース３３９もまた、車両の運転者および任意の乗客との対話のために含まれ得る。
【0043】
図３Ｂは、図１Ｃ～図１Ｄのトレーラ１５４などのトレーラのシステムの例示的なブロック図３４０を示す。図示するように、システムは、１つ以上のプロセッサ３４４、メモリ３４６、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイスなどの１つ以上のコンピューティングデバイスのＥＣＵ３４２を含む。メモリ３４６は、１つ以上のプロセッサ３４４によってアクセス可能な情報を記憶し、その情報には、プロセッサ３４４によって実行されるかまたは他の方法で使用され得る命令３４８およびデータ３５０が含まれる。図２および３Ａのプロセッサ、メモリ、命令、およびデータの説明は、図３Ｂのこれらの要素に適用される。
【0044】
ＥＣＵ３４２は、トレーラユニットから情報および制御信号を受信するように構成される。ＥＣＵ３４２の車載プロセッサ３４４は、減速システム３５２、合図システム２５４、および測位システム３５６を含む、トレーラの様々なシステムと通信することができる。ＥＣＵ３４２はまた、トレーラの環境内の物体を検出するための１つ以上のセンサを備える知覚システム３５８、およびローカルの構成要素に動力を供給する動力システム２６０（例えば、バッテリ電源）に動作可能に連結することもできる。トレーラの車輪／タイヤ３６２の一部または全部は、減速システム３５２に連結され、プロセッサ３４４は、タイヤ空気圧、バランス、車輪速度、および自律モードでの運転に影響を与える可能性のある他の要因に関する情報を受信し、その情報をトラクタユニットの処理システムに中継することができる。減速システム３５２、合図システム３５４、測位システム３５６、知覚システム３５８、動力システム３６０、および車輪／タイヤ３６２は、図２および図３Ａに関して上述したような様式で動作することができる。
【0045】
トレーラはまた、着陸装置のセット３６６、および連結システム３６８も含む。着陸装置は、トラクタユニットから切り離されたときに、トレーラの支持構造を提供する。連結システム３３４の一部である連結システム３６８は、トレーラとトラクタユニットとの間の接続を提供する。したがって、連結システム３６８は、接続区分３７０（例えば、動力および／または空気圧リンク用）を含むことができる。連結システムは、トラクタユニットの第５輪と接続するように構成されたキングピン３７２も含む。
【0046】
例示的な実装形態
本技術の態様によれば、運転者による運転エラーおよび最適ではない操縦に関する情報は、例えば、車載運転者支援システムまたは車両の他のシステムによって、時間の経過とともに追跡される。この情報は、車両によって記憶され、および／または遠隔システムと共有され得、例えば、修正運転行動を実行し、運転者に警告し、トレーニングを提供し、車両の知覚システムなどのセンサを較正する。取得した情報、車両、および走行に関する特定の詳細を匿名化することを含み得る。情報は、ストレージまたは送信プロセスの一部として暗号化され得る。
本技術の態様によれば、運転者による運転エラーおよび最適ではない操縦に関する情報は、例えば、車載運転者支援システムまたは車両の他のシステムによって、時間の経過とともに追跡される。この情報は、車両によって記憶され、および／または遠隔システムと共有され得、例えば、修正運転行動を実行し、運転者に警告し、トレーニングを提供し、車両の知覚システムなどのセンサを較正する。取得した情報、車両、および走行に関する特定の詳細を匿名化することを含み得る。情報は、ストレージまたは送信プロセスの一部として暗号化され得る。
【0047】
図４に示される一例４００では、知覚システムは、単独で、または位置決めシステムおよび／またはナビゲーションシステムなどの他のシステムと組み合わせて、車道の車線における車両の相対位置を追跡し得る。示されているように、車両は車線内をドリフトする可能性があるが、車線逸脱警告をトリガーせずに、区画線を越えることはできない。瞬時または短期（例えば、２～３秒）の評価では、問題が識別されない場合がある。ただし、３０秒以上など、複数のブロックまたは少なくとも１／４マイルにわたるより長い評価では、繰り返しまたは周期的なドリフトが識別される場合がある。これは、運転者の不注意、車輪アライメントの悪さ、または他の問題が原因である可能性がある。
【0048】
図５に示す別の例５００では、車両の前方衝突警告システムは、運転者がブレーキをかけなかったかどうかだけでなく、制動に対する運転者の反応時間が通常の（基準の）運転者よりも著しく長かったかどうかを追跡することができる。この例は、遅れての、急制動、繰り返し制動、理想的（基準）制動という、３つの制動パターンを示している。遅い、急制動は、注意力の欠如、運転者の視界の障害、ある車両の予期せぬ車線への方向転換、一時停止の標識を通過することなどが原因である可能性がある。ここで、システムは様々な要因を評価する場合がある。例えば、制動が制動を開始する時間の基準閾値を超えたか？どのくらいの制動力（減速）がかかったか？制動はスムーズ（連続）であったか、それともギクシャクした（ガタガタタイプの制動）であったか？知覚システムからの追加の詳細は、他の車両による妨害または予期しない行動があったかどうかについての情報を提供し得る。上記の状況と同様に、瞬時または短期間の評価により、非常に小さなデータセットに基づいて運転者の挙動が異常であった（または異常ではなかった）と判定される場合がある。長期または長距離の評価により、運転者の挙動パターンを識別することができる。
【0049】
図６に示されるさらなる例６００では、車載システムが走行速度を追跡する。時間の経過に伴う車両の速度の追跡（速度プロファイル）は、道路のタイプ（例えば、高速道路対路面道路）、交通量、太陽のまぶしさや照明不足を引き起こす可能性のある時刻、信号機および標識の検出、および他の要因に関連して評価され得る。
【0050】
これらおよび他の運転状況では、車載システムは状態追跡と挙動分析を用いて、運転者が許容される運転挙動のある範囲（または他のメトリック）内で操作しているかどうかを判定する。これは、短期間の状態（例えば、酔っている、眠気、不注意）または他の要因（例えば、経験が限られている新しい運転者、レンタカーなどの特定の車両を初めて使用する、天気など）が原因で運転者の行動が異常であることを示している可能性がある。
【0051】
状態追跡および挙動分析アプローチは、期待される挙動のモデルを作成（または受信）する場合がある。異常な挙動の数および／またはタイプは、所定の時間フレームまたは走行距離の一方または両方にわたって追跡することができる。例えば、運転者は、選択した距離（例えば、４マイルの一本道）または時間（例えば、５分間の期間の）にわたって、２つの車線の逸脱と車線内でのよろめきの３つの事例を有する場合がある。または、代替的に、運転者は走行全体にわたって評価される場合がある。走行は、仕事への毎日のドライブ、またはバスルートの運転や長距離貨物の配達など、数時間または数日かかるより長い走行である可能性がある。さらに、評価は、毎週または毎月など、定期的に行われる場合がある。
【0052】
これらのイベントが発生したという判定は、分析の１つの要因である。個々の行動および全体的な運転操作は、基準の運転者の挙動モデルに対してランク付けおよび／または比較することができる。このモデルは、多くの運転者の集約された匿名化された運転情報に基づく一般的なモデルである可能性がある。代替的に、モデルは、例えば、特定の運転者の過去の運転履歴に基づく、当該特定の運転者に固有のものである場合もある。
【0053】
一例では、時刻がモデルの要因であり、例えば、夜間は特定の障害の可能性を高めるだけでなく、運転者の視界を低下させる可能性がある。気象条件は、視界に影響を与える可能性のあるもう１つの要因である。そして、運転者の年齢や経験は追加の要因である。さらに、時期（季節）、地理（例えば、丘陵と平坦）、道路のタイプ（例えば、風が強いのと直線、狭い車線と広い車線）、および他の情報も評価され得る。このような要因の任意の組み合わせを、基準の挙動モデルまたは運転者固有の挙動モデルに組み込み得る。例として、車間距離、制動反応時間、速度プロファイル、または車線内のドリフト量を、ハードリミット、スコア、確率分布などに割り当てることができ、これを使用して、特定の時間または距離にわたる運転者の挙動が異常であるかどうかを評価することができる。
【0054】
挙動分析では、車両で使用されるセンサおよび他の機器のタイプなどの追加情報も考慮する場合がある。例えば、あるタイプのセンサ（例えば、レーダー）の精度は数メートルほどであるのに対し、別のタイプのセンサ（例えば、ライダーまたは光学カメラ）の精度は、数センチメートルまたは数ミリメートルほどであり得る。特定のセンサの視野（ＦＯＶ）が制限されている場合がある。ここで、センサがメートルレベルの精度を有している場合、車載知覚システムは、運転者が車線内でよろめいていることを、許容できる程度の確実性の範囲内で判定することができない可能性がある。さらには、センサに死角があり、知覚システムが複数の車線の逸脱または急ブレーキがあった理由を許容可能な程度の確実性の範囲内で判定するのを妨げる場合がある。例として、運転者の操作または反応がより深刻な（異常な）ほど、システムはその動作の原因についてより知りたりと思う場合がある。したがって、車両上のセンサの数、精度、ＦＯＶ、および／または配置も評価に考慮され得る。車両のサイズ、制動距離、視認性（例えば、ピックアップトラックとコンパクトカー）など、車両自体に関する情報も適用され得る。このような情報は、トラックおよびバスなどの商用車に特に役立つ場合がある。
【0055】
また、例えば地図データおよび知覚情報を鑑みて運転活動を評価することにより、状況に応じて行動を評価することも適切であり得る。したがって、システムは、車線内のよろめきの一部が、車線の狭小化または隣接する路肩の損失をもたらした建設によるものであると判定し得る。これには、受信した地図または交通情報のいずれかにより、建設を認識している運転者支援システムが含まれ得る。知覚システムによって取得されたデータの分析から、例えば１つ以上の建設車両、建設機械または標識、破片、または他の建設ゾーン、または車両の後ろのテールゲートの存在の検出から、運転環境に関するリアルタイム情報を取得する運転者支援システムも含まれる場合がある。例えば、開示全体が参照により本明細書に組み込まれている、米国特許第９，９３７，９２４号の建設ゾーンの考察、および米国特許第１０，１６８，７０６号のテールゲーティングの考察を参照されたい。これらのタイプの状況では、システムはよろめきが異常であるとはみなさない場合がある。車線逸脱の場合、運転者の行動は、別の車両が予期しない車線変更を行ったか、運転者の車両の横方向または後ろに近づきすぎたことが原因である可能性がある。これを考えると、運転者の挙動の評価は、単一のインシデントに対してロバストである必要がある。つまり、よろめきや急（または緩）制動の孤立したケースを伴う通常の運転プロファイルは、道路状況への応答である可能性が高く、そのような行動が数分ごとに１回発生する別の運転プロファイルは潜在的な障害を示唆している。
【0056】
それにもかかわらず、バスの運転手、配達員、またはトレーラトラックの運転手などのフリート運転には、より長い評価期間が望ましい場合がある。このような状況では、システムは、数時間、数日、数週間など、個々の運転者の運転データを集約する場合がある。また、例えば特定の期間（例えば、朝または夕方のラッシュ）に、同じルードに沿った、フリートの多くの運転者のデータを集約する場合もある。このような場合、新しい運転者を他の運転者の基準と照らし合わせて評価し、閾値の操作基準（例えば、速度、繰り返し制動、車線変更など）を超えるように車両を操作しているかどうかを判定することができる。この情報に基づいて、トレーニングおよび／または介入を提供され得る。
【0057】
さらに、ＡＤＡＳまたは自律運転システムの高度化は、運転者の行動を評価するために必要とされるコンテキストの量に影響を与える可能性がある。例として、減速センサのみに依存するレベル２タイプのＡＤＡＳシステムでは、潜在的な割込み、歩道から道路に歩行者が入った場合に、人間の運転者が突然ブレーキをかけた理由などについて十分なコンテキストがない場合がある。ここで、ＡＤＡＳシステムでは、行動が異常であるかどうかを判定することが可能になるように、信号対ノイズの比率を向上させるために、例えば数分（または数マイル）など、より長い期間にわたって逸脱を追跡する必要があり得る。時間スケールが長いほど、ローカルコンテキストの問題は少なくなる。例えば、時間的に分離された（例えば、数分または数時間離れた）複数の制動インシデントは、特定のインシデントが発生した理由を車載システムが評価しなくても、異常な動作を示している可能性がある。
【0058】
対照的に、よりロバストな部分的または完全に自律的なレベル３、４または５のシステムは、制動イベントの背後にある理由をよりよく理解し得る。例えば、急激な減速の検出に加えて、知覚システム（例えば、ライダー、レーダーおよび／またはカメラセンサ）は、隣接する車線の車両が運転者の車線に移動し始めたこと、または歩行者が縁石を降りて横断歩道に入る準備をしていることを検出し得る例として、車線変更を繰り返したり、トラフィックの内外をよろめいたりする別の車は、運転手の反応を変える可能性があり得る。そのため、運転者が信号で他の車両の後ろまたは隣にいる場合、運転者は他の車両に多くの時間を与えて、信号が変わったら引き離させることができる。車載システムが他の車両に関する特定の演繹的情報を理解していない限り、この遅延は遅い反応のように見える場合がある。このような場合、車載挙動予測モデルは、他の車両または歩行者が運転者の走行車線に入る、または他の行動をとる可能性を提供し得る。ここで、より高度な車載システムは、制動や方向転換が外部環境の他の行為者やイベントと相関している場合と、明確な原因がないように見える場合とを区別することができる。このような場合、システムは、運転者の応答が単一のインシデントの行動の予測範囲または閾値範囲内にあるかどうかを判定し得る。
【0059】
状態追跡および挙動分析の１つの結果は、運転者がどのように上手に（または下手に）様々な行動を実行したか、または特定の条件に応答したかを示すエラー信号または他のタイプの不一致信号である可能性がある。システムは、センサ情報（例えば、カメラおよび／またはライダー情報）を使用して、車線内の位置を判定する。車線の中心からの車両の離脱は、車線変更とよろめきの２つの操作に分類される。１つのシナリオでは、車線変更は、１つの車線の中心から別車線への完全な遷移によって分類されるが、よろめきは、動きが発生した車線の中心に戻る動きである。よろめきは、例えば、車線の中心からの横方向の距離の量、および／またはよろめき中の「ギクシャク」の量に関する横方向の加速度情報に基づいて、動きの重大度に従って分類することができる。分類では、よろめきが閾値を超えているかどうかも考慮する場合がある。代替的または追加的に、より重大なよろめきは、それほど重大でないよろめきよりも重く加重され得る。他のシナリオでは、急速な速度変化（例えば、少なくとも５～１０ｍｐｈの速度の複数回の増加）または急制動（例えば、１０～１５ｍｐｈの速度の低下）などの他の運転行動を分類し得る。さらに他のシナリオでは、車線変更時に方向指示器を使用できない、センサによって検出された道路状況がそのような制動が発生する必要があることを示しているときに制動を開始できないなど、非行動を分類することができる。
【0060】
これらのシナリオでは、システムは、時間と走行距離に応じてインデックスを付けられ得る運転ログを維持することができ、このログでは、よろめきや他の運転行動および／または非行動が運転ログのイベントとしてラベル付けされる。運転ログはインシデントによって照会され得る。例えば、所定の時間内のよろめきの数、または所定の走行距離を照会し得る。この情報は、車載または遠隔のデータベースに記憶され得る。例として、情報は、運転者固有の動作モデルと組み合わせて記憶され得る。情報は、運転プランナーや行動予測モジュールなどの車載システムによって照会され得る。
【0061】
運転者の行動をより長期的に分析する場合、例えば、数週間または数か月にわたって、運転者による特定の行動に低下があるかどうかを判定することが可能であり得、これは、対処すべき他の問題を示している可能性がある。例えば、システムは、特定の行動（例えば、制動、車線変更、完全停止後の進行など）で反応時間が遅くなったかどうかを評価され得る。長期的には、システムは周期的なパターンを探すこともされ得る。例えば、商用運転の状況では、システムは時間の経過に伴うパフォーマンスだけでなく、シフト内、または昼と夜などの運転者のパフォーマンスのプロファイルを測定され得る。
【0062】
運転者の行動が異常であり、閾値または他の許容可能な行動の範囲外であるとシステムが判定すると、車両によって１つ以上の異なる行動がとられる可能性がある。行動の１つのクラスには、運転者に警告することが含まれ、例えば、運転者に注意を向けさせたり、車を止めさせたりする。ここで、聴覚的、視覚的および／または触覚的フィードバックは、個々の行動（例えば、車線内よろめきまたは急制動）、または繰り返される行動（例えば、複数の車線の逸脱または黄色ライトで減速しないこと）に関して運転者に提供され得る。別のクラスの行動には、車両の自律動作が含まれる。ここで、車両の速度が制限され、または時間の経過とともに車両の速度が低下して完全に停止する場合がある。代替的に、車両の自律能力に応じて、運転の部分的または完全な自律制御を引き継ぐ場合がある。
【0063】
さらなるクラスの行動には、他の運転者への警告が含まれる。例えば、図７Ａ～図７Ｂの例に示されるように、これは、ハザードライト（図７Ａの７００）をオンにするか、またはヘッドライトの向き／パターン（図７Ｂの７１０）を変更することによって行うことができる。他の車両は、Ｖ２Ｖ通信システムを介して警告を受けることができる。以下で考察される図８Ａ～図８Ｂに示すように、遠隔システムやサービス、例えば、運転者支援、フリート管理、法執行機関なども警告を受ける場合がある。挙動関連情報のログは、将来の分析、挙動モデルの改良、および他の目的のために、車両または遠隔システムに記憶され得る。
【0064】
上記のクラスの行動に加えて、状態追跡と挙動分析は、リアルタイムまたはオフラインの運転者トレーニングに使用され得る。例えば、取得した情報を使用して、初心者の運転者や再トレーニングが必要であり得る他の運転者をトレーニングすることができる。これは、車載フィードバック（例えば、聴覚、視覚、および／または触覚フィードバック）またはオフラインで運転者に提供されたレポートを介して行うことができる。地域の運転規制などの情報は、このようなトレーニングで用いられ得る。ただし、車両内トレーニングは、車載運転者支援システムの高度さに依存する場合があり得る。例えば、レベル２タイプの部分自律システムではこのようなトレーニングをサポートすることができない場合があるが、レベル３またはレベル４タイプのシステムでは、特定の手動運転操作中に運転者をトレーニングすることができる。
【0065】
最後に、取得した運転情報を使用して、車両のシステム自体を較正または監視するのを補助し得る。例えば、システムが車線の左側で繰り返しよろめきを検出したが、右側では検出しなかった場合、これは、測位センサ（例えば、加速度計やジャイロスコープ）が適切に較正されていないか、車輪が位置合わせされていないか、カメラの付帯的なパラメータがもはや十分に較正されていないことを示している可能性がある。または、１つのブレーキセンサが急制動を検出したが、他のブレーキセンサおよび／または加速度計が検出しなかった場合は、ブレーキセンサを交換する必要があることを示している可能性がある。運転者の行動は、問題が運転行動、センサの故障、または他の問題によるものかどうかを判定するときに、別の信号またはタイブレーカとして使用される場合もある。例えば、レーダーベースの制動システムが常に車両にブレーキをかけたり減速させたりしようとするが、カメラベースのシステムはそうしない（またはその逆）場合、運転者の行動を使用して、どのセンサが誤動作の可能性があるかを判定することができる。
【0066】
上記のように、本技術は、乗用車、バス、ＲＶ、トラック、または他の貨物を運ぶ車両など、様々なタイプの車両に適用可能である。車両の動作に車輪のスリップ情報を使用することに加えて、この情報は、フリートの一部である車両などの他の車両と共有することもできる。
【0067】
この一例が、図８Ａおよび図８Ｂに示される。特に、図８Ａおよび図８Ｂは、それぞれ、ネットワーク８１６を介して接続された複数のコンピューティングデバイス８０２、８０４、８０６、８０８、およびストレージシステム８１０を含む例示的なシステム８００のイラストおよび機能図である。システム８００はまた、車両８１２および８１４も含み、これらは、それぞれ、図１Ａ～図１Ｂおよび図１Ｃ～図１Ｄの車両１００および１５０と同じまたは同様に構成され得る。車両８１２および／または車両８１４は、車両のフリートの一部であり得る。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、典型的なシステムは、これよりもはるかに多くのものを含むことができる。
【0068】
図８Ｂに示すように、コンピューティングデバイス８０２、８０４、８０６、および８０８の各々は、１つ以上のプロセッサ、メモリ、データ、および命令を含むことができる。そのようなプロセッサ、メモリ、データ、および命令は、図２に関して上で説明したものと同様に構成することができる。
【0069】
様々なコンピューティングデバイスおよび車両は、ネットワーク８１６などの１つ以上のネットワークを介して通信することができる。ネットワーク８１６、および介在するノードは、Ｂｌｕｅｔｏｏｔｈ（商標）、Ｂｌｕｅｔｏｏｔｈ ＬＥ（商標）、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、１つ以上の企業独自の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉおよびＨＴＴＰ、ならびに前述の様々な組み合わせなどの短距離通信プロトコルを含む、様々な構成およびプロトコルを含み得る。そのような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送信することができる任意のデバイスによって容易に行われることができる。
【0070】
一例では、コンピューティングデバイス８０２は、複数のコンピューティングデバイス、例えば、負荷分散サーバファームを有する１つ以上のサーバコンピューティングデバイスを含み得、このサーバコンピューティングデバイスは、他のコンピューティングデバイスとの間でのデータの受信、処理、および送信の目的のためにネットワークの異なるノードと情報を交換する。例えば、コンピューティングデバイス８０２は、ネットワーク８１６を介して、車両８１２および／または車両８１４のコンピューティングデバイス、ならびにコンピューティングデバイス８０４、８０６、および８０８と通信することができる１つ以上のサーバコンピューティングデバイスを含み得る。例えば、車両８１２および／または車両８１４は、サーバコンピューティングデバイスによって様々な場所に配車され得る車両のフリートの一部であり得る。この点において、サーバコンピューティングデバイス８０２は、乗客を乗車および降車させるために、または貨物を収集および配送するために、車両を異なる場所に配車するために使用することができる配車サーバコンピューティングシステムとして機能してもよい。さらに、サーバコンピューティングデバイス８０２は、ネットワーク８１６を使用して、他のコンピューティングデバイスのうちの１つのユーザまたは車両の乗客に情報を送信および提示することができる。この点において、コンピューティングデバイス８０４、８０６、および８０８は、クライアントコンピューティングデバイスと考えることができる。
【0071】
図８Ａに示すように、各クライアントコンピューティングデバイス８０４、８０６、および８０８は、それぞれのユーザ８１８による使用を意図されたパーソナルコンピューティングデバイスであり得、パーソナルコンピューティングデバイスに接続して通常使用される構成要素のすべてを有しており、これらには、１つ以上のプロセッサ（例えば、中央処理ユニット（ＣＰＵ））、データおよび命令を記憶するメモリ（例えば、ＲＡＭおよび内蔵ハードドライブ）、ディスプレイ（例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能なスマートウォッチディスプレイなどの他のデバイス）、ならびにユーザ入力デバイス（例えば、マウス、キーボード、タッチスクリーン、またはマイクロフォン）が含まれる。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含むことができる。
【0072】
クライアントコンピューティングデバイスは各々、フルサイズのパーソナルコンピューティングデバイスを含み得るが、これらはインターネットなどのネットワークを介してサーバと無線でデータを交換することができるモバイルコンピューティングデバイスを代替的に含み得る。単なる例として、クライアントコンピューティングデバイス８０６および８０８は、携帯電話、もしくはワイヤレス対応のＰＤＡ、タブレットＰＣ、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ）、もしくはインターネットもしくは他のネットワークを介して情報を取得することができるネットブックなどのデバイスであってもよい。
【0073】
いくつかの例では、クライアントコンピューティングデバイス８０４は、管理者またはオペレータが配車された車両の運転者と通信するために使用する遠隔支援ワークステーションであり得る。図８Ａ～図８Ｂには単一の遠隔支援ワークステーション８０４のみが示されているが、所定のシステムには、任意の数のそのようなワークステーションを含めることができる。さらに、操作ワークステーションはデスクトップコンピュータとして図示されるが、操作ワークステーションは、ラップトップ、ネットブック、タブレットコンピュータなどの様々なタイプのパーソナルコンピューティングデバイスを含み得る。
【0074】
ストレージシステム８１０は、サーバコンピューティングデバイス８０２によってアクセス可能な情報を記憶することができる、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュドライブおよび／またはテープドライブなどの任意のタイプのコンピュータ化されたストレージを有し得る。さらに、ストレージシステム８１０は、同じまたは異なる地理的場所に物理的に位置し得る、複数の異なるストレージデバイス上にデータが記憶される分散ストレージシステムを含み得る。ストレージシステム８１０は、図１６Ａ～図１６Ｂに示すようにネットワーク８１６を介してコンピューティングデバイスに接続され得、および／またはコンピューティングデバイスのいずれかに直接接続されるかまたは組み込まれ得る。
【0075】
ストレージシステム８１０は、様々なタイプの情報を記憶し得る。例えば、ストレージシステム８１０は、車両８１２または８１４などの車両によって使用され、そのような車両を自律運転モードで動作させる自律車両制御ソフトウェアも記憶することができる。ストレージシステム８１０はまた、運転者固有または基準の運転モデルを記憶することができる。モデル情報は、必要に応じて特定の車両またはフリートと共有され得る。追加の運転情報が取得されると、リアルタイム、定期的、またはオフラインで更新され得る。ストレージシステム８１０はまた、車両８１２および８１４の地図情報、ルート情報、制動および／または加速プロファイル、気象情報などを含むことができる。この情報は、例えば、車載コンピューターシステムによって、特定の運転者によるリアルタイム運転中などの挙動分析を支援するために、車両８１２および８１４と共有され得る。
【0076】
遠隔支援ワークステーション８０４は、記憶された情報にアクセスし、それを使用して、単一の車両または車両のフリートの動作を支援することができる。遠隔アシスタンスは、車載ユーザインターフェースを介して運転者と直接通信するために使用することも、運転者のクライアントコンピューティングデバイスを介して間接的に通信するために使用することもできる。ここで、例えば、現在の運転操作、トレーニングなどに関する情報が運転者に提供され得る。
【0077】
図９は、上の考察による例示的な動作方法９００を示す。ブロック９０２に示されるように、この方法は、車両の運転者によって実行される運転行動の状態追跡を実行する。ブロック９０４で、センサ情報は、車両の知覚システムから受信される。ブロック９０６で、方法は、所定の時間フレームまたは走行距離の一方または両方の間の運転行動の状態追跡に基づいて、１つ以上の異常な運転行動を判定する。ブロック９０８で、判定された異常な運転行動が挙動モデルと比較される。ブロック９１０で、比較に基づいて不一致信号が作成される。不一致信号は、動作モデルに対する運転者のパフォーマンスの逸脱を示す。ブロック９１２において、行動は、不一致信号に応答して、１つ以上のクラスの行動の中から選択される。そして、ブロック９１４で、選択された行動が実行される。選択された行動には、自律的に修正運転行動をとること、または異常な運転行動に関して運転者に警告を提供することが含まれ得る。
【0078】
別段の記載がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施されてもよい。上で考察された機能のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載の例、ならびに「など」、「含む」などと表現された節の提示は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの１つだけを例示することが意図される。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。図９に例示された方法を含む、上述されたプロセスまたは他の動作は、本明細書で特に明記しない限り、異なる順序で、または同時に実行されてもよい。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【国際調査報告】