IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウェイモ エルエルシーの特許一覧

特許7565919運転手の疲労を検出し、動的に緩和するためのシステムおよび方法
<>
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図1
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図2
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図3A
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図3B
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図4
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図5
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図6
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図7A
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図7B
  • 特許-運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-03
(45)【発行日】2024-10-11
(54)【発明の名称】運転手の疲労を検出し、動的に緩和するためのシステムおよび方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20241004BHJP
【FI】
G08G1/16 F
【請求項の数】 15
(21)【出願番号】P 2021531784
(86)(22)【出願日】2019-12-17
(65)【公表番号】
(43)【公表日】2022-02-02
(86)【国際出願番号】 US2019066739
(87)【国際公開番号】W WO2020131803
(87)【国際公開日】2020-06-25
【審査請求日】2021-07-29
(31)【優先権主張番号】16/226,322
(32)【優先日】2018-12-19
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ハッチングス,キース
(72)【発明者】
【氏名】マーケイ,ジュリアン
(72)【発明者】
【氏名】ネメック,フィリップ
(72)【発明者】
【氏名】カヴリエ,ハンス-オラフ
(72)【発明者】
【氏名】パニグラヒ,サスワット
(72)【発明者】
【氏名】ヒューバート,ルノー-ローランド
(72)【発明者】
【氏名】エングストローム,ヨハン
【審査官】増子 真
(56)【参考文献】
【文献】国際公開第2015/145606(WO,A1)
【文献】特開2001-014599(JP,A)
【文献】特開2017-067850(JP,A)
【文献】特開2018-151910(JP,A)
【文献】特開2014-081856(JP,A)
【文献】特開2005-004414(JP,A)
【文献】米国特許第06154123(US,A)
【文献】中国特許出願公開第107633657(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G10L 15/00 - 17/26
B60R 21/00 - 21/13
B60R 21/34 - 21/38
H04N 7/18
G10L 13/00 - 13/10
G10L 19/00 - 99/00
(57)【特許請求の範囲】
【請求項1】
自動運転システムのための動的な対話型認知タスク方法であって、
前記自動運転システムの1つ以上のプロセッサによって、前記自動運転システムの人間の運転手によるタスクに関連付けられたタスク要求メトリックを決定することであって、前記タスク要求メトリックが、前記運転手による前記タスクの実行からの経過時間、または前記運転手による前記タスクの実行以降に前記自動運転システムによって移動した距離のうちの少なくとも1つを含む、ことと、
前記1つ以上のプロセッサによって、前記タスク要求メトリックを閾値と比較することと、
前記1つ以上のプロセッサによって、前記比較の結果に基づいて、前記タスク要求メトリックが前記閾値よりも大きい場合に前記運転手への対話型認知タスクを開始することであって、前記対話型認知タスクの複雑さは、少なくとも運転の状況に基づいて決定される、ことと、を含む、動的な対話型認知タスク方法。
【請求項2】
前記タスク要求メトリックが、前記運転手によるコメント、コメント評価、または前記自動運転システムの搭乗者への前記自動運転システムの使用のリクエストのうちの1つに関連付けられた値を含む、請求項1に記載の動的な対話型認知タスク方法。
【請求項3】
前記閾値が、少なくとも10分の時間閾値を含む、請求項1に記載の動的な対話型認知タスク方法。
【請求項4】
前記閾値が、少なくとも10マイルの距離閾値を含む、請求項1に記載の動的な対話型認知タスク方法。
【請求項5】
前記対話型認知タスクを開始することが、前記運転手からの応答を必要とするタスクを開始することを含む、請求項1に記載の動的な対話型認知タスク方法。
【請求項6】
前記応答を必要とするタスクを開始することは、前記運転手からの前記応答の一部として運動スキルおよび認知スキルの使用を必要とするタスクを開始することを含む、請求項5に記載の動的な対話型認知タスク方法。
【請求項7】
前記対話型認知タスクを開始することは、ボタン押しタスクを完了するための前記運転手への音声リクエストを生成することを含む、請求項1に記載の動的な対話型認知タスク方法。
【請求項8】
前記自動運転システムによって、開始された前記対話型認知タスクに対する前記運転手からの応答を監視することと、所定の制限時間内に応答がない場合にフォローアップの対話型認知応答を発行することと、をさらに含む、請求項1に記載の動的な対話型認知タスク方法。
【請求項9】
前記タスクは、前記自動運転システムの車両の操作に関連する一次タスク、および前記対話型認知タスクを含む、請求項1に記載の動的な対話型認知タスク方法。
【請求項10】
前記一次タスクの少なくとも複雑さに基づいて、前記対話型認知タスクの複雑さを決定することをさらに含む、請求項9に記載の動的な対話型認知タスク方法。
【請求項11】
前記対話型認知タスクを開始する頻度が前記比較の前記結果に基づいて調整可能である、請求項1に記載の動的な対話型認知タスク方法。
【請求項12】
別の一次タスクが制限時間内に前記自動運転システムによって検出された場合、前記対話型認知タスクをキャンセルすることをさらに含む、請求項9に記載の動的な対話型認知タスク方法。
【請求項13】
自動運転システムのための動的な対話型認知タスク方法であって、
前記自動運転システムの1つ以上のプロセッサによって、前記自動運転システムの人間の運転手による少なくとも1つのタスクに関連付けられたタスク要求メトリックを監視することであって、前記タスク要求メトリックが、前記運転手による前記タスクの実行からの経過時間、または前記運転手による前記タスクの実行以降に前記自動運転システムによって移動した距離のうちの少なくとも1つを含む、ことと、
前記1つ以上のプロセッサによって、前記監視されたタスク要求メトリックを閾値と比較することと、
前記1つ以上のプロセッサによって、前記比較の結果に基づいて、前記タスク要求メトリックが前記閾値よりも大きい場合に前記自動運転システムを使用して、対話型認知タスクを開始することであって、前記対話型認知タスクの複雑さは、少なくとも運転の状況に基づいて決定される、ことと、を含む、動的な対話型認知タスク方法。
【請求項14】
前記タスク要求メトリックが、前記運転手によるコメント、コメント評価、または搭乗者への前記自動運転システムの使用のリクエストのうちの1つを含む、請求項13に記載の動的な対話型認知タスク方法。
【請求項15】
前記タスクは、前記自動運転システムの車両の操作に関連する一次タスク、および前記対話型認知タスクを含む、請求項13に記載の動的な対話型認知タスク方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2018年12月19日に出願された米国出願第16/226,322号の利益を主張するものであり、その開示全体は参照により本明細書に組み込まれる。
【背景技術】
【0002】
人間の運転手を必要としない車両などの自律型車両が、ある場所から別の場所への搭乗者または物品の輸送を補助するために使用することができる。そのような車両は、搭乗者が乗車場所または目的地などのいくつかの初期入力を提供し得、車両がその場所に車両自体を操縦する、完全な自律モードで動作し得る。しかし、状況によっては、人間の運転手が車両のコンパートメント内に配置され得る。このような状況では、運転手は、車両の操作を補助したり、何らかの方法で搭乗者を補助したりする必要があり得る(「補助運転手」)。前者に関しては、これは、例えば、車両のテスト走行中に起こり得る。後者に関しては、そのような状況は、例えば、搭乗者が問題を抱えている、または懸念している、またはそうでなければ不快である場合に生じ得る。ここでは、車両内において人間の運転手が搭乗者と話して、車両が正常に機能していることで搭乗者を安心させたり、乗車中に搭乗者をチェックしたり、および/または車両に問題が発生した場合もしくは緊急時に搭乗者に指示を提供したりし得る。補助運転手は、運転中に常に認知的に関与しているとは限らない場合があり、疲労したり、気が散る作業に従事したり、自動化に過度に依存する可能性があり得る。前述のことは自律型車両に関して議論されてきたが、そのような疲労は、非自律型車両を操作する運転手の要因にもなり得る。
【発明の概要】
【0003】
開示された技術の一態様は、自動運転システムのための動的な対話型認知タスク方法を提供する。この方法は、自動運転システムの1つ以上のプロセッサによって、一次タスクに関連付けられた一次タスク要求メトリックを判定することと、1つ以上のプロセッサによって、一次タスク要求メトリックを閾値と比較することを含む。この方法はまた、自動運転システムの運転手への対話型認知タスクを開始するために、1つ以上のプロセッサによって、比較の結果に基づいて、自動運転システムをトリガーすることを含み得る。
【0004】
本技術のこの態様において、一次タスク要求メトリックは、運転手によるコメント、コメント評価、または自動運転システムの搭乗者への自動運転システムの使用のリクエストのうちの1つに関連付けられた値を含む。加えて、一例として、閾値は、少なくとも10分の時間閾値を含む。閾値は、少なくとも10マイルの距離閾値も含み得る。
【0005】
さらに、対話型認知タスクをトリガーすることは、運転手からの応答を必要とするタスクを開始することを含む。加えて、応答を必要とするタスクを開始することは、運転手からの応答の一部として運動スキルおよび認知スキルの使用を必要とするタスクを開始することを含み得る。
【0006】
さらなる例として、対話型認知タスクをトリガーすることは、運転手が非視覚的なボタン押しタスクを完了するための音声リクエストを生成することを含み得る。
【0007】
この方法は、自動運転システムによって、開始された対話型認知タスクへの運転手からの応答を監視し、所定の制限時間内に応答がない場合にフォローアップの対話型認知応答を発行することもさらに含み得る。
【0008】
追加の例において、方法は、一次イベントの少なくとも複雑さに基づいて、対話型認知タスクの複雑さを判定することをさらに含み得る。さらに、対話型認知タスクを開始するために、自動運転システムをトリガーすることに関連付けられた頻度は、比較の結果に基づいて、調整可能である。この方法はまた、別の一次タスクイベントが制限時間内に自動運転システムによって検出された場合に、対話型認知タスクをキャンセルすることをさらに含み得る。加えて、一次タスク要求メトリックは、自動運転システムによって移動した時間または自動運転システムによって移動した距離のうちの少なくとも1つを含み得る。
【0009】
別の態様において、本技術は、自動運転システムのための動的な対話型認知タスク方法を提供し、自動運転システムの1つ以上のプロセッサによって、少なくとも1つの一次タスクに関連付けられた一次タスク要求メトリックを監視することと、1つ以上のプロセッサによって、監視された一次タスク要求メトリックを閾値と比較することと、1つ以上のプロセッサによって、比較の結果に基づいて、自動運転システムを使用して対話型認知タスクを開始することを含む。
【0010】
さらに、本技術のこの態様によれば、一次タスク要求メトリックは、自動運転システムの運転手による一次タスク要求イベントの実行以降の移動距離を含む。さらに、一次タスク要求メトリックは、自動運転システムの運転手による一次タスク要求イベントの実行以降の経過時間を含む。一次タスク要求メトリックは、運転手によるコメント、コメント評価、または搭乗者への自動運転システムの使用のリクエストのうちの1つをも含み得る。
【0011】
別の態様において、本技術は、運転手の不注意を管理する方法を含む。この方法は、1つ以上のプロセッサによって、運転手の眼の片方または両方の画像を取得して、運転手の実際の視線方向またはパターンを判定することと、1つ以上のプロセッサによって、車両の計画されたルートおよび車両の外部環境における物体に基づいて、運転手の予想される視線方向またはパターンを判定することと、1つ以上のプロセッサによって、実際の視線方向またはパターンを予想される視線方向またはパターンと比較することと、を含み得る。この方法は、運転環境の運転手の視覚的スキャニングが運転手の不注意を示していると判定すると、是正措置を取ることも含む。
【0012】
さらに本技術のこの態様によれば、運転環境の運転手の視覚的スキャニングが予想される視線方向またはパターンからずれているか否かを判定することは、計画された運転経路を所与とした予想される視線方向またはパターンを判定するために、環境統計に基づく規範モデルを使用することを含み得る。運転環境の運転手の視覚的スキャニングが予想される視線方向またはパターンからずれているか否かを判定することは、予想される視線方向またはパターンを判定するために、人間の視覚行動統計に基づく規範的なモデルを使用することも含み得る。
【0013】
さらにまた、画像を取得することは、運転手の眼の片方または両方が閉じているかを監視することを含み得る。加えて、運転手は、非自律型車両の運転手または自律型車両の動作を監視する補助運転手を含み得る
【図面の簡単な説明】
【0014】
図1】本開示の態様による、例示的な車両の機能図である。
図2】本開示の態様による車両の例示的な外観図である。
図3A-3B】本開示の態様による車両の内部図の例である。
図4】本開示の態様による、システムの例示的な絵図である。
図5】本開示の態様による、システムの例示的な機能図である。
図6】本開示の態様による例示的なフロー図である。
図7A-7B】本開示の態様による例示的なフロー図である。
図8】本開示の態様による例示的なフロー図である。
【発明を実施するための形態】
【0015】
概要
本技術は、自律型システムにおける運転手の疲労と注意散漫の検出、管理、および軽減に関する。一部の自律型システムは、人間による監視を必要とする。例えば、部分的もしくは完全に自律的な運転または自動運転システム(SDS)が可能な車両においては、車両の動作を監視および監督するために、補助または安全運転手が車両のコンパートメントに乗車することがあり得る。自律型車両は通常、車両操作、例えば、SDSの監視に関連する一次タスクに対して、補助運転手側の対話を必要とすることが少ないか、場合によっては、まったく必要としないため、補助運転手は受動的疲労、例えば、刺激不足または負荷不足による疲労を経験し得る。このように、受動的疲労が生じるリスクだけでなく、運転手の注意散漫や自動化への過度の依存のような、自動化監視タスクへの不注意を引き起こすその他の現象が増加する。これにより、必要に応じて車両操作に関連する一次タスクを引き継ぐ補助運転手の能力が対応して低下し得る。
【0016】
一例において、一次タスク要求(補助運転手の対話性のレベル)に関連して二次タスクまたはいわゆる対話型認知タスク(ICT)を導入する、車両またはSDS内の1つ以上のコンピューティングデバイスは、自律型システムにおける受動的疲労を低減および/または回避する動的なアプローチを提供し得る。より具体的には、1つ以上のコンピューティングデバイスは、SDS車両の操作に関連する一次タスク、およびSDSを用いて運転手によって実行される二次タスクの実行に関する情報を監視および/または受信し得る。一次タスクおよび/または二次タスクの実行は、一次タスク要求のようなメトリックを介して測定され得、これにより、運転手の対話性のレベルの測定値が提供される。次に、コンピューティングデバイス(複数可)は、一次タスク要求に関連して二次タスクを体系的に変化させ得る。例えば、時間閾値または距離閾値は、一次タスク要求に関連付けられ得る。運転手が時間閾値または距離閾値内にてSDSと対話しなかった場合、コンピューティングデバイス(複数可)は、そこで、二次タスクまたはICTをトリガーし得る。
【0017】
一次タスク要求は、コメント、運転の質の評価、顧客移動中といった、対話型マーカに基づき得る。コメントマーカは、対話期間の尺度(例えば、補助運転手が最後にSDSと対話してからの経過時間)を含み得る。運転の質の評価は、補助運転手からのコメントの重要性の尺度であり得る。顧客移動中とは、搭乗者にとっての自動運転システムの使用のリクエストの尺度である。タスク要求の他の指標には、速度、道路の複雑さ、および/または車および歩行者への近さのような運転条件が含まれ得、環境の複雑さのこの態様および他の態様も、一次タスク要求を推測する際に使用し得る。概して、二次タスクまたはICTは、運転手の運動スキルまたは認知スキルに関与し得る活動を含む。ICTの例には、音声リクエストに応じて運転手に特定のボタン(例えば、音量を上げる)を押すことを必要とすることが含まれる。この例において、ボタンを押すことは運動スキルに関与し、音声リクエストを理解することは認知スキルに関与する。他のICTには、他の適切な車両制御、例えば、ワイパーブレードのオン/オフの切り替え、特定のラジオ局へのラジオのチューニングなどが含まれ得る。
【0018】
実施例として、時間閾値は、運転手の最後の対話から20分(またはそれ以上もしくはそれ未満)、または運転手の最後の対話から10マイル(またはそれ以上もしくはそれ未満)に設定され得る。運転手の対話を判定し、一次タスク要求に関するフィードバックを受信するために、コンピューティングデバイスは、SDSを定期的にポーリングしてもよい。運転手が20分または10マイル以内に対話しなかった場合、コンピューティングデバイスまたはSDSによってICTがトリガーされ得る。ICTは、特定の物理的または画面上のボタンを押す、またはより一般的には移動を必要とするタスクを完了するように運転手に促す音声リクエストを含み得る。運転手が所定の制限時間(例えば、10秒)内にICTに応答しない場合、または正しく応答しない場合、コンピューティングデバイス、またはより一般的にはSDSが別のICTまたはフォローアップICTを発行し得る。フォローアップICTに対して応答がない場合、または正しくない応答が受信された場合、SDSまたはコンピューティングデバイスは追加のアクションを開始し得る。
【0019】
このような追加のアクションには、ディスパッチャが運転手に連絡するか、ビデオ監視システムを起動して運転手の注意力の状態を判定できるように、ディスパッチャに警告することが含まれ得る。他のアクションには、眠っている運転手でさえ目を覚ますことを目的とした独特のアラームを鳴らす、大音量の音楽を流す、または運転席を振動させることが含まれ得る。また、ICTトリガー基準は、運転手のICT実行履歴に応じて調整される場合があり、最近のエラー/ミスまたは応答時間が遅い運転手は、より頻繁にICTを受信し得ることに留意されたい。ディスパッチャまたはSDSは、例えば、休憩やストレッチなど、運転手の注意を促す対策を提案することもあり得る。ICT実行が疲労度の高いことを示している場合、車両を道の片側に寄せるなどのより積極的な対策が開始され得る。
【0020】
全般的に、この技術により、二次タスク要求の増加が一次タスク要求に反比例するようになる。例えば、車両の操作により注意を払う必要があり、したがって、一次タスク要求が比較的高い場合(例えば、交通量の多い交差点での運転)、二次タスク要求とICTの頻度を減らして、運転手が一次タスクに集中しやすくさせることができる。逆に、一次タスク要求が低い場合(空いている高速道路での運転)、ICTの頻度および複雑さが増加し得る。複雑さの増大は、音声リクエストを完了するために、より複雑な運動スキルを必要とすることを含み得る(例えば、ボタンを第1の方向に動かし、同じまたは異なるボタンを第2の方向に動かす)。一次タスク要求は二次タスクまたはICTを開始するか否かを判定する際の入力であるため、システムは、運転手が一次タスクに従事している場合に二次タスクまたはICTの開始を回避し得る。
【0021】
上記の例は一定の時間および/または距離を閾値として提供しているが、閾値はまた、車両の動作条件または運転手のプロファイルに基づいて複雑性および頻度が変化し得る。例えば、SDSまたはコンピューティングデバイスが、車両が通常は速い時間で距離閾値を越えたと判定した場合(例えば、8分未満で10マイルは80mphの速度に相関する)、それは車両が高速で移動していることを示すと考えられ得るため、補助運転手の知覚された注意力レベルに応じて、より頻繁にICTを発行する必要があり得る。さらに、運転手のプロファイルが、運転手が高速道路の運転でより早く退屈することを示している場合、ICTの頻度および複雑さが、そのような運転手をより完全に従事させ続けるために増加し得る。また、複雑さと頻度は、運転手の経験に基づいて変化し得る。例えば、新しい運転手の場合、ICTはトレーニング中に、またはより経験豊富な運転手と比較して、より頻繁にトリガーされ得る。ICTの頻度および複雑さは、時間帯(例えば、疲労度が時間帯によって異なり得る)、食事時間の近接、または休憩の近接によっても変化し得る。
【0022】
運転の状況の複雑さは、ICTのタイミングまたは複雑さを判定する際の入力としても役立ち得る。例えば、ICTの発生は、補助運転手が車両の操作に従事する必要がある運転の状態または状況の後に生じるが、その間では生じないようにタイミングを計ることができる。例えば、ICTの発生は、車が交差点を通過している間ではなく、その後に発生するようにタイミングを計ることができる。または、赤信号で車が停止している間に、ICTが発生し得る。加えて、自律型車両のルートがわかっているとき、複雑な運転シナリオが発生する前にICTをトリガーすることもでき、それにより、より複雑な運転の状況の前に、1つ以上のICTの開始が発生する。その他の入力には、地図データ、道路形状、および車両周囲の物体が含まれ得る。このように、ICTは、より複雑な運転の状況の前に警戒を強化するのに役立ち得る。
【0023】
別の態様では、本技術は、完全もしくは部分的な自律型モードで動作するように構成された、または手動操作用に構成された車両において、補助運転手の運転手疲労を受動的に検出することに関する。視線パターンは、例えば、注意散漫のような、認知状態の信頼できる指標として機能し得る。視線パターンは、疲労の信頼できる指標としても機能し得る。例えば、疲労した運転手は、通常、道路を注意深く監視するのではなく、一方向、例えば、真っ直ぐ前方を凝視する。自律型車両には、車両周囲の物体などを検出し、車両に関するシーンの理解を導き出すことができるセンサおよびシステムが含まれており、運転手の視線方向を検出し得る。そのため、車両の1つ以上のコンピューティングデバイスは、導き出されたシーンの理解に基づいて、運転手について、予想されるもしくは規範的な視線方向、方向のパターン、方向のグループ、または方向のシーケンス(本明細書ではまとめて「視線方向またはパターン」と呼ぶ)を含む、1つ以上の予想視線方向を判定し得る。運転手の視線パターンが予想視線パターンと十分に相関していない場合のような、運転手が予想される視線方向またはパターンを1回以上見ていない場合、これは受動的疲労の指標として機能し得る。
【0024】
例えば、車両の知覚システムから導出されたシーンの理解が、車両の外で自然に発生する刺激に基づいて、運転手が特定の方向を見ている必要があることを示している場合、運転手の実際の視線方向またはパターンをその特定の方向またはパターンと比較して、運転手の注意力、したがって受動的疲労の尺度を提供し得る。さらなる例として、運転手が右折している場合、運転手は対向車のために主に左を見ていると予想される。しかし、検出された運転手の視線方向またはパターンが、運転手がまっすぐ前を見ていることを示している場合、運転手が運転作業に十分に従事していないことを示し得る(例えば、警戒の低下または疲労のために)。システムは、運転手がいつどこを見ていると予想されるかを判断できるため、運転手の警戒および/または疲労を受動的に動的に評価することができる。実際の視線方向(または視線方向のパターン)は、車両のコンパートメント内のカメラを使用して検出され得る。
【0025】
異なるモデルを使用して、視野内の視覚刺激を仮定して、運転手がどこを見るべきかを判定および/または割り当てることができる。このような視覚的スキャニングの規範モデルは、人間の運転手の記録された注意配分行動(疲労データと注意深い運転データを使用)に基づき得るが、運転環境統計からも導出され得る。モデルは、機械学習または他の統計的手法を使用して、そのようなデータの統計的特性を学習し、所定の運転シナリオにおける運転手、例えば、補助運転手の適切な視線方向またはパターンを判定することができる。人間のデータに基づく規範なスキャニングモデルは、同様のシナリオで注意深い運転手に関連する視覚的なスキャニングパターンを再現するようにモデルをトレーニングすることによって確立され得る。代替として、規範なスキャニングモデルは、運転状況が、通常、計画された経路と、計画された経路に関連する周囲の物体および道路インフラ要素とを含む、という原則にしたがって環境統計に基づいて確立され得る。統計的特性には、例えば、計画された経路に対して他の物体または道路インフラ要素が通常現れる場所、それらの場所の頻度、物体がそれらの場所に近づく速度、および/またはそれらの場所に近づくときのそのような物体の行動などが含まれ得る。そのような統計的特性は、以下で説明するように、自律型車両のフリートを操作している間に収集されたデータに基づいてモデル化され得る。したがって、所定の状況に対して予想されるスキャニングモデルを開発し、実際の運転手の測定された視覚的なスキャニングパターンを評価するためのベンチマークとして使用し得る。このようにして、規範なスキャニングモデルに基づく運転手の予想視線方向またはパターン間のずれは、運転手が注意または視線方向を適切に割り当てているか否かを判定するために、車両のビデオ、スチルカメラ、または他の視線検出システムによって測定された運転手の実際の視線方向またはパターンと比較され得る。他のモデル(例えば、機械学習モデル)を使用して、実際の視線方向およびパターンと比較するために、予想されるまたは規範な視線方向またはパターンに関する同様の入力を提供することができる。
【0026】
上記の機能は、SDSまたは自律型車両の受動的な運転手の疲労を動的に検出し、監視し、および管理する。このシステムは、実際の視線方向を検出し、それを運転手が見るべき場所、例えば、予想されるまたは規範な視線方向またはパターンと比較することにより、運転手の疲労状態を監視することを可能にする。次に、実際の視線方向またはパターンと、予想されるまたは規範な視線方向またはパターンとの間のずれが、運転手が疲労している場合があるという指標として使用され、運転手に認知負荷の増加をトリガーし得る。また、このシステムは、運転手の対話パターン(例えば、従事している対従事していない)を使用して運転手の状態を監視および評価し、その評価を使用して、運転手の認知負荷を増加させる必要性を判定することを可能にする。また、技術の動的な性質により、運転手が従事している場合には二次的なタスクの要求が回避されるため、安全になり得る(例えば、一次的なタスクの要求が比較的高い期間中)。この技術は、ICTまたは二次タスクが開始される方法だけでなく、システムが一次タスク要求および/または車両の動作条件にしたがってICTの複雑さおよび頻度を動的に調整できるようにするという点でも動的である。システムの監視態様は、運転手の疲労状態をより確実に判定するために使用でき、ICTのトリガーとして使用できる。したがって、監視システムと管理システム(例えば、タスクの発行)は、相互に補完するために協調して使用され得る。
【0027】
例示的なシステム
図1に示されるように、本開示の一態様による車両100は、様々な構成要素を含む。本開示の特定の態様は、特定のタイプの車両に関して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であり得る。車両は、1つ以上のコンピューティングデバイス、例えば、1つ以上のプロセッサ120、メモリ130、および汎用コンピューティングデバイスに通常存在する他の構成要素を含むコンピューティングデバイス110を有し得る。
【0028】
メモリ130は、1つ以上のプロセッサ120によってアクセス可能な情報を記憶し、その情報には、プロセッサ120によって実行または別様に使用され得る命令132およびデータ134が含まれる。メモリ130は、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ROM、RAM、DVD、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。
【0029】
命令132は、プロセッサにより直接的に(マシンコードなど)または間接的に(スクリプトなど)実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接的な処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。
【0030】
データ134は、命令132にしたがって、プロセッサ120によって検索、記憶、または修正されてもよい。一例として、メモリ130のデータ134は、所定のシナリオを記憶し得る。所与のシナリオは、物体のタイプ、車両に対する物体の場所の範囲、ならびに自律型車両が物体の周囲を操縦できるか否か、物体が方向指示器を使用しているか否か、物体の現在の場所に関連する信号機の状態、物体が一時停止標識に接近しているか否かなどの他の要因を含むシナリオ要件一式を識別し得る。要件は、「右方向指示器がオン」または「右折専用車線」、または「車両100の現在の経路から20~60度オフセットされる角度で配向される進行方向を有する」などの別個の値を含み得る。いくつかの例では、所定のシナリオは、複数の物体に関する同様の情報を含んでもよい。
【0031】
1つ以上のプロセッサ120は、市販されているCPUなどの任意の従来のプロセッサであってもよい。あるいは、1つ以上のプロセッサは、ASICまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図1は、コンピューティングデバイス110のプロセッサ、メモリ、および他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。一例として、内部電子ディスプレイ152は、高帯域幅または他のネットワーク接続を介してコンピューティングデバイス110とインターフェースし得る、それ自体のプロセッサまたは中央処理装置(CPU)、メモリなどを有する専用コンピューティングデバイスによって制御され得る。いくつかの例では、このコンピューティングデバイスは、ユーザのクライアントデバイスと通信することができるユーザインターフェースコンピューティングデバイスであり得る。同様に、メモリは、コンピューティングデバイス110の筐体とは異なる筐体内に位置するハードドライブ、または他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解されよう。
【0032】
コンピューティングデバイス110は、上述したプロセッサおよびメモリ、ならびにユーザ入力装置150(例えば、マウス、キーボード、タッチスクリーン、および/またはマイクロフォン)および様々な電子ディスプレイ(例えば、画面を有するモニタ、または情報を表示するように動作可能である任意の他の電気デバイス)などの、コンピューティングデバイスと接続して通常使用されるすべての構成要素を含み得る。この例では、車両は、内部電子ディスプレイ152、ならびに1つ以上のスピーカ154を含み、情報または視聴覚体験を提供する。この点について、内部電子ディスプレイ152は、車両100の車内に配置されてもよく、コンピューティングデバイス110によって使用されて、車両100内の搭乗者に情報を提供してもよい。車両はまた、車両から離れたデバイスとの通信および/または車両の様々なシステム間の通信を容易にするために、1つ以上の無線ネットワーク接続156を含み得る。
【0033】
一例では、コンピューティングデバイス110は、車両100に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、車両のさまざまな構成要素およびシステムと、例えば、無線(無線ネットワーク接続156を介して)および/または有線接続(コントローラエリアネットワーク(CAN)バスまたは他の通信のような)で通信し得る。例えば、コンピューティングデバイス110は、車両の搭乗者からの連続的または定期的な入力を要求しない、または必要としない自律運転モードにおいて、メモリ130の命令132にしたがって車両100の移動、速度などを制御するための、減速システム160(車両の制動を制御するための)、加速システム162(車両の加速を制御するための)、ステアリングシステム164(車輪の配向および車両の方向を制御するための)、シグナリングシステム166(方向指示器を制御するための)、ナビゲーションシステム168(車両を場所または物体の周りにナビゲートするための)、測位システム170(車両の位置を判定するための)、知覚システム172(車両の外部環境における物体を検出するための)、および動力システム174(例えば、バッテリおよび/またはガスもしくはディーゼルエンジン)などの、車両100の様々なシステムと通信し得る。これらのシステムに加えて、コンピューティングデバイスは、対話型認知タスク(ICT)システム178(運転手の疲労を検出および追跡するため、ならびに車両100との認知的および他のタスク指向の対話、そのような対話の間の時間または距離など)と通信し得る。ICTシステムは、ビデオまたはスチルカメラ、ボタン、スイッチ、ダイヤルまたはその他のアクチュエータ、および車内の他の構成要素からの信号を使用して、その機能を実行することができる。これらのシステムは、コンピューティングデバイス110の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両100を制御するための自律運転コンピューティングシステムとして、この場合も、コンピューティングデバイス110の中に組み込まれてもよい。さらに、または代替として、これらのシステムのそれぞれは、プロセッサおよびメモリを有する1つ以上のコンピューティングデバイスを含み、ここで説明するこれらのシステムの機能を可能にするために、コンピューティングデバイス110のプロセッサ120およびメモリ130と同じまたは同様に構成されてもよい。
【0034】
コンピューティングデバイス110は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス110は、地図情報およびナビゲーションシステム168からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス110は、車両の場所を判定するために測位システム170を使用し、その場所に安全に到着するために、必要に応じて、物体を検出し、かつ物体に応答するために知覚システム172を使用し得る。そうするために、コンピューティングデバイス110は、車両を、加速させ(例えば、加速システム162により、エンジンに提供される燃料または他のエネルギーを増加させることによって)、減速させ(例えば、エンジンに供給される燃料を低減させ、ギヤを切り替え、および/または減速システム160により制動をかけることによって)、方向転換させ(例えば、ステアリングシステム164により、車両100の前輪または後輪の向きを変えることによって)、これらの変更を合図(例えば、シグナリングシステム166の方向指示器を点灯することによって)させ得る。このため、加速システム162および減速システム160は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。ここでも、これらのシステムを制御することによって、コンピューティングデバイス110はまた、車両を自律的に操縦するために、車両の動力伝達装置を制御し得る。
【0035】
一例として、コンピューティングデバイス110は、車両の速度を制御するために、減速システム160および加速システム162と対話し得る。同様に、ステアリングシステム164は、車両100の方向を制御するために、コンピューティングデバイス110によって使用され得る。例えば、車両100が乗用車またはトラックのように道路上で使用するように構成されている場合、ステアリングシステムは、車両を転回するために車輪の角度を制御するための構成要素を含み得る。シグナリングシステム166は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、他の運転手または車両に車両の意図を伝えるために、コンピューティングデバイス110によって使用され得る。
【0036】
ナビゲーションシステム168は、ある場所までのルートを判定して、辿るために、コンピューティングデバイス110によって使用され得る。この点について、ナビゲーションシステム168および/またはデータ134は、地図情報、例えば、コンピューティングデバイス110が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、車道の形状および高さ、車線マーカ、交差点、横断歩道、速度制限、信号機、建物、標識、リアルタイムもしくは履歴の交通情報、植生、または他のそのような物体ならびに情報を識別し得る。車線マーカは、実線または破線の二重または単一の車線境界線、実線または破線の車線境界線、反射板などの特徴を含み得る。所与の車線は、車線の境界を画定する、左右の車線境界線または他の車線マーカと関連付けられ得る。このため、ほとんどの車線は、1つの車線境界線の左端と別の車線境界線の右端によって境界付けられ得る。上述のように、地図情報は、過去の同様の時間における特定の乗車場所からの既知の交通もしくは混雑情報および/またはおよび交通機関スケジュール(電車、バスなど)を記憶し得る。この情報は、コンピューティングデバイス110によって受信された情報によってリアルタイムでも更新され得る。
【0037】
一例として、詳細な地図情報は、1つ以上の道路グラフ、または道路、車線、交差点、およびこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的場所などの情報と関連付けられ得、いずれにせよ、他の関連する特徴にリンクされ、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含んで、特定の道路グラフの特徴の効率的な検索を可能にし得る。
【0038】
知覚システム172はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部の物体を検出するために1つ以上の構成要素を含む。例えば、知覚システム172は、1つ以上のLIDARセンサ、ソナーもしくは他の音響デバイス、レーダーユニット、カメラ(例えば、ビデオまたはスチル、可視線または赤外線)、および/またはコンピューティングデバイス110によって処理され得るデータを記録する任意の他の検出デバイスを含んでもよい。知覚システムのセンサは、物体、および、場所、配向、サイズ、形状、タイプ(例えば、車両、歩行者、自転車にのる人など)、進行方向、速度、加速度、加速度の変化レート、減速度、減速度の変化レートなどのそれらの特性を検出し得る。センサおよび/または前述の特性からの未加工データは、記述関数、ベクトル、および/または境界ボックスに定量化または配置され、知覚システム172によって生成されると、さらなる処理のために定期的かつ継続的にコンピューティングデバイス110に送信され得る。
【0039】
さらなる詳細を以下で考察するが、コンピューティングデバイス110は、車両の場所を判定するために測位システム170を使用し、その場所に安全に到着するために、必要に応じて、物体を検出し、かつ物体に応答するために知覚システム172を使用し得る。
【0040】
例えば、図2は、車両100の例示的な外観図である。この例では、屋根上部筐体210およびドーム状筐体212は、LIDARセンサ、ならびに様々なカメラおよびレーダーユニットを含み得る。さらに、車両100の前端部に位置する筐体220、ならびに車両の運転手側および助手席側の筐体230、232は、それぞれ、LIDARセンサを格納することができる。例えば、筐体230は、運転手ドア250の前部に位置している。車両100はまた、これも車両100の屋根上に配置されたレーダーユニットおよび/またはカメラのための筐体240、242も含む。追加のレーダーユニットおよびカメラ(図示せず)は、車両100の前端および後端に、ならびに/または屋根もしくは屋根上の筐体210に沿った他の位置に配置することができる。車両100はまた、ドア250、252、ホイール260、262などの典型的な乗用車の多くの特徴を含む。
【0041】
図3Aおよび図3Bは、車両100の例示的な内部図または構成である。図3Aに示すように、内部300Aは、1つ以上のボタン、例えば、ボタンL1、L2、L3、およびL4を含む領域306を含む。ボタンL1、L2、L3、およびL4は、押しボタンまたはトグルボタンを含見える。これらのボタンは、ICTタスクシステムによって開始された音声コメントに応答するために用意された特定のボタンであり得る。ただし、それらは、他の車の機能に関連付けられたボタンも含み得る。これらのボタンに加えて、領域308には、オーディオシステムの制御に加えて、またはその代わりに、音量調整、オーディオモード調整(例えば、オーディオソースを衛星ラジオから音楽プレーヤに切り替える)、ラジオ局のチューニングなどを含む、車のオーディオシステムに関連付けられた機能を操作するために使用され得る、ボタンセットが含まれる。他の例では、領域308のボタンは、速度計、タコメータなどを含む表示領域310に関連付けられる機能を制御し得る。例えば、領域308のボタンは、表示領域301の表示モード間の切り替えを可能にし得る。領域306のボタン(またはボタン306)および領域308のボタン(またはボタン308)は、ステアリングホイール312上またはそれに隣接して配置されているように示されているが、運転席に座っている間、ステアリングホイール312に向かって座っている補助運転手が便利かつ安全に届く範囲内のどこに位置付けてもよい。
【0042】
内部300Aは、コンピューティングデバイス110によって、またはICTシステム172もしくは他のサウンドによって、もしくはそれを介して開始される、音楽、電話、音声リクエストを提供することができるスピーカ314も含む。画面318も提供され得る(例えば、タッチセンシティブスクリーン)。フロントガラスワイパー制御アーム320およびヘッドライト/インジケータ制御アーム322も、ステアリングホイール312の近くに設けられている。ビデオまたはスチルカメラ326も設けられており、少なくとも車内に乗っている補助運転手を見ることができる。ブレーキペダルおよびアクセルペダル328も設けられており、例えば、車が自律的に動作している場合にブレーキまたは加速設定を無効にするために使用され得るか、または自動車を手動運転モードで操作るために使用され得る。同様に、ステアリングホイール312は、車両100の安全な操作のために、必要に応じて、補助運転手が操作し得る。
【0043】
図3Bは、車両100の別の例示的な内部図または構成300Bを示す。ここで、内部300Bは、スピーカ314、ビデオカメラ326、ならびにブレーキペダルおよびアクセルペダル328を含み、これらは内部300Aに関して述べたものと同様の機能を有する。内部300Bは、図示のように、車両100に関連付けられた特徴および/または機能を選択するために使用できる様々なボタンおよびノブを含む領域336も含む。例えば、領域336は、ボタン338および338を含み得る。これらのボタンは、上述のボタンL1、L2を含み得る。L3、L4のような他のボタンは示されていないが、これらも領域336に提供され得る。領域336はまた、様々なノブまたは他のアクチュエータ339、339、および339を含み得る。ノブ339は、ラジオ局の選択、音楽チャンネル、音量制御、および車両100の操作に関連する他の機能などの機能を制御し得る。ボタン338と同様にノブ339とのユーザの対話は、画面342、344を介して表示され得る。画面342、344は、例えば、音楽選択、音量制御、Lボタン操作、フロントガラスのワイパー操作など、車両に関連する様々な機能をコントローラとすることができるタッチセンシティブ画面も含み得る。
【0044】
車両100のコンピューティングデバイス110はまた、輸送サービスの一部であるコンピューティングデバイスならびに他の車両のものなど、他のコンピューティングデバイスのような他のコンピューティングデバイスとの間で情報を受信または転送し得る。図4および図5は、それぞれ、例示的なシステム400の絵図および機能図であり、システムは、ネットワーク460を介して接続された複数のコンピューティングデバイス410、420、430、440、および記憶システム450を含む。システム400は、車両100、および車両100と同じまたは同様に構成され得る車両100A、100Bも含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、通常のシステムは、これよりもはるかに多くのものを含み得る。
【0045】
図5に示されるように、コンピューティングデバイス410、420、430、440の各々は、1つ以上のプロセッサ、メモリ、データ、および命令を含むことができる。かかるプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス110の1つ以上のプロセッサ120、メモリ130、データ134、および命令132と同様に構成されてもよい。
【0046】
ネットワーク460および仲介ノードは、ブルートゥース(商標)、ブルートゥース(商標)LE、インターネット、World Wide Web、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1社以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFi、およびHTTP、ならびに上記の様々な組み合わせなどの短距離通信プロトコルを含む様々な構成およびプロトコルを含んでもよい。そのような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送信することができるいずれかのデバイスによって容易に行われ得る。
【0047】
一例では、1つ以上のコンピューティングデバイス410は、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークの異なるノードと情報を交換する、例えば、負荷分散サーバファームなど、複数のコンピューティングデバイスを有する1つ以上のサーバコンピューティングデバイスを含んでもよい。例えば、1つ以上のコンピューティングデバイス410は、ネットワーク460を介して、車両100のコンピューティングデバイス110、または車両100A、100Bの同様のコンピューティングデバイス、ならびにコンピューティングデバイス420、430、440と通信可能な1つ以上のサーバコンピューティングデバイスを含み得る。例えば、車両100、100A、100Bは、サーバコンピューティングデバイス410からの情報を送信および受信することができる車両のフリートの一部であり得る。これに関して、サーバコンピューティングデバイス410は、フリート管理システムとして機能することができ、各サーバコンピューティングデバイスは、フリート管理システムの1つ以上の役割を実行するように機能する。加えて、フリート管理システムのサーバコンピューティングデバイスは、ネットワーク460を使用して、コンピューティングデバイス420、430、440のディスプレイ424、434、444のようなディスプレイ上に、ユーザ422、432、442などのユーザに情報を送信および提示し得る。この点について、コンピューティングデバイス420、430、440は、クライアントコンピューティングデバイスとみなされ得る。
【0048】
図4に示されるように、各クライアントコンピューティングデバイス420、430、440は、ユーザ422、432、442が使用することを意図されたパーソナルコンピューティングデバイスであってもよく、1つ以上のプロセッサ(例えば、中央処理装置(CPU))、データおよび命令を記憶するメモリ(例えば、RAMおよび内蔵ハードドライブ)、ディスプレイ424、434、444などのディスプレイ(例えば、画面を有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能である他のデバイス)、スピーカ、およびユーザ入力デバイス426、436、446(例えば、マウス、キーボード、タッチスクリーン、またはマイクロフォン)を含む、パーソナルコンピューティングデバイスと接続して通常使用されるすべての構成要素を有し得る。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含んでもよい。
【0049】
クライアントコンピューティングデバイス440はまた、顧客サービス担当者用のワークステーションであってもよい。この点に関して、ユーザ422は、以下でさらに論じられるように、サーバコンピューティングデバイスによって接続された場合に、車両100、100A、および100Bの搭乗者と通信したり、運転手を補助したりできる顧客サービス担当者またはディスパッチャであり得る。さらに、クライアントコンピューティングデバイス440は、例えば、ネットワーク460を介してフリート管理システムのサーバコンピューティングデバイス410と通信することにより、記憶システム450に記憶されているフリートの車両に関する情報にユーザ422がアクセスできるようにし得る。ここでも、図4および図5には単一の顧客サービスワークステーションのみが示されているが、システムは実際には数十または数百のそのようなワークステーションおよび顧客サービス担当者を含み得る。
【0050】
クライアントコンピューティングデバイス420、430、および440は、各々、フルサイズのパーソナルコンピューティングデバイスを含んでもよいが、代替的に、インターネットなどのネットワークを介してサーバコンピューティングデバイス(サーバコンピューティングデバイス410のような)とデータを無線で交換することが可能であるモバイルコンピューティングデバイスを含んでもよい。単なる例として、クライアントコンピューティングデバイス420は、携帯電話、または無線対応PDA、タブレットPC、ウェアラブルコンピューティングデバイスもしくはシステムなどのデバイス、またはインターネットもしくは他のネットワークを介して情報を取得することができるネットブックであってもよい。別の例では、クライアントコンピューティングデバイス430は、図5に示されるように、スマートウォッチとして示されるウェアラブルコンピューティングシステムであってもよい。一例として、ユーザは、小型キーボード、キーパッド、マイクロフォンを使用して、カメラを用いる視覚信号、またはタッチスクリーンを使用して、情報を入力し得る。
【0051】
メモリ130と同様に、記憶システム450は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能メモリ、および読み出し専用メモリなどの、サーバコンピューティングデバイス410によりアクセス可能である情報を記憶することができる、任意のタイプのコンピュータ化された記憶装置であり得る。さらに、記憶システム450は、データが、同じまたは異なる地理的位置に物理的に配置され得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含んでもよい。記憶システム450は、図4および図5に示すように、ネットワーク460を介してコンピューティングデバイスに接続され得、かつ/またはコンピューティングデバイス110、410、420、430、440などのいずれかに直接接続されるか、もしくは組み込まれ得る。
【0052】
記憶システム450は、以下でより詳細に説明されるように、様々なタイプの情報を記憶することができる。この情報は、本明細書で記載する特徴のうちの一部またはすべてを実行するために、フリート管理システムのような、1つ以上のサーバコンピューティングデバイス、および/またはクライアントコンピューティングデバイス440のような、1つ以上のクライアントコンピューティングデバイスによって、検索または別様にアクセスされ得る。
【0053】
加えて、記憶システム450の情報は、上述のように、フリートの各車両の状態および特徴についての情報、ならびに上述の地図情報を記憶し得る。フリートの車両が走り回ると、それらの車両は、フリート管理システムの1つ以上のサーバコンピューティングデバイス410に、それらのステータスを常におよび/または定期的に配信することができる。これには、例えば、車両が現在移動中であるか否か(例えば、搭乗者および/または貨物を輸送している)、車両の現在の目的地、および/または車両の1つ以上の追加の将来の目的地(以下でさらに論じる)、車両にメンテナンスのニーズがあるか否かなどが含まれ得る。一例として、メンテナンスのニーズには、車両が冷却もしくは日よけ、給油もしくは充電、清掃、定期検査(非常に多くの時間、移動、またはマイルの使用後)、センサの再較正(障害または定期的なメンテナンスに対処するため)または他のメンテナンスを必要としているか否かが含まれ得る。1つ以上のサーバコンピューティングデバイス410は、この情報を記憶システム450に記憶し得る。
【0054】
記憶システム450は、補助運転手に関する情報も記憶し得る。このような情報には、運転手のプロフィール(年齢、話す言語、経験レベル、連絡先情報など)、運転手のシフト情報(例えば、運転手のシフトが開始/終了する時間、最後の休憩からの時間など)が含まれ得る。ユーザのプライバシーが確実に保護されるように、保護が実施される。例えば、補助運転手は、自分自身に関する特定の情報の保存を明確に許可する必要があり得る。追加の保護には、個人を特定できる情報の匿名化、データの集約、個人情報のフィルタリング、個人属性を削除するための個人情報の暗号化、ハッシュもしくはフィルタリング、情報の保存の制限期間、またはデータの使用もしくは共有の制限が含まれる。
【0055】
記憶システム450は、顧客サービスのリクエストに関する情報も記憶し得る。この情報には、例えば、リクエストのタイプ、リクエストがどのように発信されたか、リクエストに関連付けられたフリートの車両、リクエストが生成された日時(タイムスタンプ)、関連する優先レベル、リクエストがキューに割り当てられているか否か(もしそうなら、2つ以上のキューがあるかどうか)、リクエストが完了したか否かなどが含まれ得る。加えて、記憶システム450はまた、前述のキューおよび/または以下でさらに論じるようにキューに関する情報を格納するために使用され得る。
【0056】
記憶システム450は、ユーザ442のような顧客サービス担当者またはディスパッチャに関する情報も記憶し得る。これには、サービスを受けたリクエストの数、顧客サービス担当者が以前に通信したサーバの搭乗者(またはユーザ)、ならびに、経験のレベル、ランキングまたは評価、スキルセット、資格認定、話す言語、または他のそのような特性などの顧客サービス担当者の特性のような、各顧客サービス担当者の情報が含まれ得る。補助運転手と同様に、顧客サービス担当者またはディスパッチャに関する個人情報も、強化された保護の対象となり得る。
【0057】
輸送サービスをユーザに提供するために、記憶システム450の情報は、フリート管理システムについてユーザを識別するために使用することができる資格証明のようなユーザアカウント情報(例えば、従来の単一要素認証の場合のユーザ名およびパスワードなどの識別子、ならびにランダムな識別子、生体認証などのような多要素認証において通常使用される他のタイプの資格証明)を含み得る。ユーザアカウント情報はまた、ユーザの名前、連絡先情報、ユーザのクライアントコンピューティングデバイス(または、同じユーザアカウントで複数のデバイスが使用されている場合はデバイス)の識別情報などの個人情報、ユーザに関する1つ以上の固有の信号、ユーザが1つ以上の異なる所定のレベルのサービスを選択することを選択した否か、またはそうでなければアクセシビリティサービスが必要か否か、ならびに他のユーザのプリファレンスまたは設定データを含み得る。
【0058】
メモリ130と同様に、記憶システム450は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能メモリ、および読み取り専用メモリなどの、サーバコンピューティングデバイス410によりアクセス可能である情報を記憶することができる、任意のタイプのコンピュータ記憶装置であり得る。さらに、記憶システム450は、データが、同じまたは異なる地理的位置に物理的に配置され得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含んでもよい。記憶システム450は、図4および図5に示すように、ネットワーク460を介してコンピューティングデバイスに接続され得、かつ/またはコンピューティングデバイス110、410、420、430、440などのいずれかに直接接続されるか、もしくは組み込まれ得る。
【0059】
例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実行される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。例えば、図6は、車両100、100A、または100B内のコンピューティングデバイス110の1つ以上のプロセッサのような、1つ以上のプロセッサによって実行され得る例示的なフロー図600であり、1つ以上の車両100、100Aおよび/または100Bにおける運転手の疲労を監視および軽減する。フロー図600は、サーバ410上のプロセスとして実行され得る。このような実装では、各車がサーバ401にデータを提供することができ、サーバがフロー図600のプロセスを実行して、例えば、日時、運転手の経験、最後のICTからの時間など、または全体を通してさらに説明するように、その他の考慮事項と組み合わせてICTを管理する。
【0060】
図6のブロック610に示すように、コンピューティングデバイス110は、車両またはSDSとの運転手の対話を監視する。これらの対話には、車両の操作に関連する一次タスクの実行、または運転手による対話を刺激するためにコンピューティングデバイス110またはSDSによって開始される二次またはICTタスクの実行が含まれる。一次タスクには、車両の操作に関するコメントを提供する運転手、運転の質の評価、または搭乗者を目的地まで運ぶために使用される車両が含まれ得る。二次タスクまたはICTには、通常、運転手の運動スキルまたは認知スキルに関与するタスクが含まれる。運動スキルには、例えば、ボタンを押す、ロッカースイッチを切り替える、手足を動かすというような、筋肉の使用を伴う行為が含まれる。認知スキルは脳の使用に基づいており、考える、読む、記憶する、推論する、または注意を向ける、のうちの1つ以上が必要になり得る。一例として、認知スキルは、リクエストについて考え、それを記憶し、リクエストされた行為を完了するのに十分長く注意を集中することを伴うため、特定のボタンを押すなどの行為を実行するリクエストに応じて求められる。
【0061】
コンピューティングデバイスは、一次タスク要求メトリックを使用して、一次タスクおよび/または二次タスクの実行を測定し得る。一次タスク要求メトリックは、一次タスクまたは二次タスクが補助運転手によって最後に実行されてからの移動距離および/または移動時間の測定値を含み得る。距離測定値は、移動距離を追跡する車両システムにリンクされたカウンタによって累積され得る。次に、カウンタは、コンピューティングデバイス110へ移動距離を提供し得る。代替的に、車両システムは、それ自体が距離カウンタを実装することができるコンピューティングデバイス110に信号を提供し得る。移動時間は、コンピューティングデバイス110を介して実装されるタイマーを使用するか、またはその出力をコンピューティングデバイス110に供給するタイマーを有して追跡できる。コンピューティングデバイス110は、これらの機能を実行するデバイスを定期的にポーリングすることによって、またはリアルタイムでそのような情報を提供する接続を介して、カウンタまたはタイマー情報を受信し得る。一次タスク要求メトリックは、一次タスクの実行と二次タスクの実行の両方の測定値を含み得る。ただし、メトリックは、一次タスクまたは二次タスクのいずれかの測定のみを含み得る。加えて、2つの別個の要求メトリック、例えば、二次タスクのみのメトリックまたは一次タスクのみのメトリック、がコンピューティングデバイスによって追跡されてもよい。
【0062】
図6のブロック620に示すように、測定された一次タスク要求メトリックは閾値と比較される。一次タスク要求メトリックに距離および時間の両方の測定値が含まれる例においては、1つのシナリオでは、距離閾値を10マイルに設定し得、時間閾値を20分に設定し得る。距離閾値は、あるレベルのランダム性を組み込んで、例えば、+/-3マイル(例えば、最大30%のばらつき)で変化し得る。例えば、距離閾値が最初に10マイルに設定されている場合、タスクが実行されると7マイルにリセットされ得、リセット後に次のタスクが受信されると、閾値は10マイル戻され、その後13マイルにリセットされ得るなど。ランダム性の導入は、タスクを完了する必要がある正確な時間または距離を知ることにより、運転手がシステムを回避するトレーニングを避けるのに役立つ。
【0063】
時間閾値は、例えば、距離閾値が有用な閾値ではないことが判明し得るような交通パターンのために所与の距離を移動するのに時間がかかりすぎ得る状況を考慮する厳しい制限時間である。加えて、距離閾値に関して上述したものと同様に、タイミング閾値に関してランダム性の尺度を導入し得る。例えば、タイミング閾値には最大30%(またはそれ以上)のばらつきがあり得る。
【0064】
図6のブロック630に示すように、一次タスクまたは二次タスクのいずれかが実行されてから移動した距離または時間がそれぞれの閾値を満たすか、または超える場合、コンピューティングデバイス110は、二次タスクまたは運転手による完了のためのICTを開始する。例えば、コンピューティングデバイス110は、運転手に対して「L2ボタンを押してください」というリクエストをスピーカ314を通じて開始し得る。次に、運転手には、リクエストされたアクションを完了するために、所定の時間、例えば、10秒が与えられる。運転手の応答に応じて、追加のICTが発行され得るか、運転手が疲労していると判定された場合に対策が講じられ得るか、またはブロック610でシステムがカウンタをリセットして監視プロセスを開始し得る。
【0065】
上述したように、一次タスク要求メトリックには、一次タスクの実行を監視する構成要素が含まれる。そのため、ICTまたは二次タスクの開始は、一次タスクが実行される頻度に関連して動的に変化する。例えば、運転の状況が、時間または距離の閾値制限内で車両またはSDSとの定期的な対話を必要とする場合(例えば、一次タスクの実行に対する要求が比較的高い場合)、ICTは発行されない。対照的に、一次タスクの実行に対する要求が低い場合、ICTはより定期的に発行される。したがって、二次タスク要求は、一次タスク要求に関連して動的に変化する。これに関して、本開示の一態様においては、二次タスク要求は一次タスク要求に反比例して増加する。これにより、さまざまなレベルの疲労に対してより効果的な対処が可能になる。さらに、本開示にしたがって実施されるシステムは、運転手が非常に従事している場合(例えば、一次タスク要求が高い)には、一次タスク要求が開始または発行されないため、より安全であり得る。
【0066】
システムはまた、運転の状況やその他の要因に基づいて、ICTもしくは二次タスクの複雑さ、またはタスクが開始される頻度を適応させることにより、受動的疲労を動的に管理および軽減し得る。例えば、シーンの理解(例えば、車両の近傍にある外部物体の位置と動き)、走行中の地形またはルート、運転手のプロフィール、気象条件、車両の速度、時間帯、交通状況などの要因。実際には、これらの要因は運転手の状況に影響を与え得るので、運転手によるさまざまなレベルの警戒または注意が必要になる。例えば、知覚システム172が、車両が複雑な環境にあるような複数の物体を含む車両の近傍のシーンを示す場合、ICTのタイミングおよび複雑さは、そのような環境に適応するように調整され得る。別の例として、車両が比較的長い移動をしている場合、ICTの頻度と複雑さは、移動距離または移動時間の長さに比例して増加し得る。別の例として、夜間の運転では、ICTの頻度と複雑さが増すことも必要になり得る。前述の要因は、上述され、サーバ410またはディスパッチャによって設定される距離および時間の閾値を設定する際に考慮され得る。
【0067】
より複雑なICTの例としては、例えば、L2を1回、L3を2回、L4を3回押す、2つ以上のボタンが操作されるシーケンスを含み得る。別の例として、ICTは、ラジオを特定の局の周波数に同調させるリクエストを含み得る。他の例としては、フロントガラスのワイパーを操作する、特定の窓を開くなどを含む。別の例として、SDSは環境を感知できるため、ICTは、運転手に運転環境のシーンまたは物体を報告または説明するように求めることを含み得る。このようなICTの実行が不十分であることは、疲労または注意散漫により警戒が不十分であることを示し得る。コンピューティングデバイス110が、リクエストされたタスクが完了したことを示す情報を受信できる限り、車両の安全な動作に影響を与えない車両の任意の機能をICTで使用し得る。その際、疲労を軽減する認知的関与を提供するICTを使用し得る。
【0068】
別の例において、図7Aおよび図7Bは、車両100、100A、または100B内のコンピューティングデバイス110の1つ以上のプロセッサのような、1つ以上のプロセッサによって実行され得る動作のさらなる例示的なフロー図700であり、1つ以上の車両100、100Aおよび/または100Bにおける運転手の疲労を監視および軽減する。図7Aのブロック710に示すように、コンピューティングデバイス110は、ひし形710で、ICTシステムを開始するかどうかを判定する。この判定を行う際に、処理デバイスは、車両が動いているかどうか、駐車ブレーキが解除されているかどうか、運転手が二人いるかどうか、車両内に搭乗者がいるかどうか、車両が手動モードまたは部分的に自動モードかどうか、または補助運転手がいないかどうかを判定することができる。例えば、車両が静止しているか動いていない場合、処理はライン715を介してひし形710に戻る。他方、車両が動いている場合、処理はブロック720に進む。同様に、駐車ブレーキが解除されている場合、プロセスはブロック720に進む。同様に、他のパラメータが、車両に補助運転手が1人おり、車両に搭乗者がおらず、車が手動モードではないため、ICTシステムが関与する必要があることを示している場合、処理はブロック720に進む。この点に関して、別の運転手または搭乗者が車両内にいる場合、ICTシステムが関与する必要がない場合があり、これは、車内に別の人がいることで、補助運転手はより警戒して、注意深くなる可能性が高いと予想されるためである。車が搭乗者の乗車場所に近づいた場合、または車が搭乗者の乗車場所に駐車すると、ICTシステムも停止し得る。
【0069】
ブロック720にてICTシステムが開始されると、コンピューティングデバイス110は、運転手との対話についてSDSを監視するか、または運転手とSDSとの対話を示す情報をSDSから受信し、距離カウンタおよび監視タイマーを開始する。上述したように、対話は、一次タスクまたは二次タスク/ICTを含むことができる。
【0070】
ひし形726で示されるように、距離カウンタまたは監視タイマーがそれぞれの距離または時間の閾値に達する前に適切な運転手の対話が検出された場合、プロセスはライン728を介してブロック720に戻り、距離カウンタおよび監視タイマーがリセットされる。上述したように、適切な運転手の対話には、一次タスクまたは二次タスクのいずれかの実行が含まれる。距離カウンタまたは監視タイマーが閾値に達する前に運転手の対話が検出されない場合、処理はブロック730に進む。上述のように、時間閾値は通常、厳しい制限時間に設定される。これは、交通パターンが原因で所与の距離を移動するのにより時間がかかり得、距離閾値があまり役に立たないかもしれない状況を考慮するためである。
【0071】
ブロック730において、第1のICTまたは二次タスクがコンピューティングデバイス110によって開始され、ICT応答タイマーが開始される。例えば、運転手が「L2ボタンを押してください」とリクエストされ得る。次に、その運転手は、ICT応答タイマーによって測定される時間とともに応答を記録するために、所定の時間、例えば、10~30秒を有する。
【0072】
ひし形734に示すように、ICT応答タイマーがタイムアウトする前に運転手が正しい応答を提供した場合、ライン739を介して示すように、処理はブロック720に戻る。他方、運転手が正しくない回答をするか、またはICT応答タイマーがタイムアウトした場合、処理は図7Bにおけるブロック750に進む。
【0073】
ブロック750において、第2のICTまたは二次タスクが開始され、応答タイマーがリセットされる。第2のICTは、通常、第1のICTとは異なる。例えば、「L3ボタンを押してください」とリクエストされ得る。ひし形754に示すように、応答がタイムアウトする前に運転手が正しい応答を提供した場合、プロセスはライン755で示すようにブロック720に戻る。他方、運転手が正しくない回答をするか、または応答タイマーがタイムアウトした場合、処理はブロック760に進む。
【0074】
ブロック760で、コンピューティングデバイスは、通信を開始するか、または通信をディスパッチャに送信し得る。通信は、電子メール、テキストメッセージ、または電話であり得る。その後、ディスパッチャは運転手に連絡を取り、運転手の注意力のレベルを尋ね、注意力を高めるための対策、例えば、休憩、ストレッチなどを採用するよう提案し得る。第2のICTがタイムリーで正しい応答を獲得できない場合、イベントはブロック768でログに記録されることにも留意されたい。
【0075】
ブロック760は、第2のICTがタイムリーに応答しない場合にディスパッチャへの通信が開始されることを示しているが、いくつかの例ではシステムが第3のICTでプロセスをループする場合があり、他の例では、ディスパッチャに連絡する前に、またはそれに加えて、他の対策が採用され得ることに留意されたい。例えば、車両内のラジオまたは音楽プレーヤの音量を、寝ている人でも起きるレベルまで上げることができる。代替的に、運転席側の窓を十分に開いて外気を取り込んでもよく、ホーンを鳴らしてもよい。本質的に、車両の操作に影響を与えるか、または運転手(または搭乗者)の安全を損なうことのないSDSを介してアクセス可能な車両機能が、補助運転手の注意を引くために開始され得る。そのような対策が採用される場合、追加のICTの開始および応答の待機を含む追加のステップがフロー700に追加され得る。ただし、最終的に応答がない場合は、ディスパッチャに連絡される。
【0076】
別の例において、図8に示す例示的なフロー図800は、車両100、100A、および/または100Bの1つ以上における潜在的な運転手の疲労を検出するために、車両100、100A、または100B内のコンピューティングデバイス110の1つ以上のプロセッサのような、1つ以上のプロセッサによって、実行され得るさらなるシナリオを示している。ブロック810では、例えば、図3のカメラ326を使用して、運転手の実際の視線方向(または視線方向のパターン)が監視される。カメラ326は、眼(複数可)のデジタル画像をキャプチャするように、運転手の眼の片方または両方に焦点を合わせ得る。次に、コンピューティングデバイス110は、デジタル画像情報を使用して、運転手の実際の視線方向を計算することができる。並行して、ブロック820にて、コンピューティングデバイスまたはSDSは、計画された運転経路および運転経路に沿った車両の近くにある物体に関する情報を受信し得る。測定された視線方向と周囲の物体の位置を組み合わせて、運転手が見ている物体を特定できる。運転手がサングラスを着用している場合、赤外線などの光の波長がサングラスを通過するようにエミッターを選択し得る。それ以外の場合は、カメラを適切に配置して、運転手の視線方向をキャプチャできるようにする必要がある。
【0077】
ブロック840において、計画された運転経路および物体に関する情報は、規範なスキャニングモデルによって定義されるように、予想されるまたは規範な視線方向またはパターンを判定するために使用される。規範な視線方向またはパターンは、例えば、モデルに十分な信頼性がある場合、状況によっては最適な視線方向と見なされ得る。規範なスキャニングモデルは、実際の人間のスキャニングデータから開発された視覚的スキャニングモデルに基づいておよび/または環境統計に基づいて判定され得る。運転における視覚的スキャンの基本的な役割は、計画または予測された運転経路の不確実性を減らすことである。この不確実性は、(1)運転経路に関する不確実性、および(2)運転経路に対する車両外部の物体の位置および動きに関する不確実性に分けられ得る。所与の運転状況では、計画された経路を横断することに関する不確実性を最小限に抑えるように機能する、環境を視覚的にスキャニングするための戦略が採用され得る。このような戦略は、運転の状況の統計的特性(例えば、他の物体が現れ得る場所、速度、挙動など)によって判定され得る。例えば、運転手が2車線の道路を左折する場合、運転手は少なくとも1回は左右を見るであろう。人間の運転手は、経験を通じてこれらの統計的特性を時間とともに学習するため、経験豊富な注意深い運転手から記録された視覚的スキャニングパターンに基づいて、規範なスキャニングモデルを導き出し得る。これらの統計的特性はまた、SDSフリート管理プラットフォームの一部として収集されたデータから推定され、最適なスキャングが所与のシナリオで計画された経路に関連する不確実性を最小限に抑えるという原則に基づいて、人間のデータを使用せずに、特定の運転の状態または状況について予想される視覚的スキャニングモデルを導き出すために使用され得る。スキャニングモデルは、予想される運転経路および運転経路に沿った物体を所与とした、運転の状況を仮定した、予想される視線方向またはパターンを導き出すために使用される。
【0078】
ブロック860において、予想される視線方向またはパターンをベンチマークとして使用して、カメラ326によって検出された実際の視線方向またはパターンと比較し得る。実際の視線方向またはパターンとベンチマークとの間にずれがある場合、ブロック880において、ICTシステムは、運転手へのICTリクエストを開始するために、前述のように開始され得る。運転手の実際の視覚的スキャニングパターンと予想されるモデルによって規定されたものとの間のずれは、安全運転をサポートするために注意を適切に割り当てる能力が低下していることを示しており、それは、(とりわけ)運転手の注意散漫、疲労、または自動化への過度の依存に関連している場合がある(例えば、テスト運転手が自律運転モードで動作している車両を過信し始めるにつれて、道路を適切にスキャニングしていない)。
【0079】
前述の開示は、自動運転システムの文脈で論じられた。ただし、前述の方法およびプロセスは非SDSシナリオで実装できることに留意されたい。例えば、図3Aにおける車両は、ICTシステムが完全に従事している間、手動モードで操作され得る。この場合、図6図8の方法ステップは、車両が手動で操作される場合の運転手の疲労を軽減するために、実施され実践されてもよい。
【0080】
別段の記載がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施されてもよい。上述の特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題の限定としてではなく、例示としてみなされるべきである。加えて、本明細書に記載された例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの1つだけを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。
図1
図2
図3A
図3B
図4
図5
図6
図7A
図7B
図8