特許 6976358 車両の占有率確認方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6976358

(24)【登録日】2021年11月11日

(45)【発行日】2021年12月8日

(54)【発明の名称】車両の占有率確認方法およびシステム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20211125BHJP

   G08G 1/13 20060101ALI20211125BHJP

【ＦＩ】

   G08G1/09 V

   G08G1/13

【請求項の数】18

【全頁数】31

(21)【出願番号】特願2019-568643(P2019-568643)

(86)(22)【出願日】2018年6月27日

(65)【公表番号】特表2020-527774(P2020-527774A)

(43)【公表日】2020年9月10日

(86)【国際出願番号】US2018039860

(87)【国際公開番号】WO2019013980

(87)【国際公開日】20190117

【審査請求日】2020年2月5日

(31)【優先権主張番号】62/531,152

(32)【優先日】2017年7月11日

(33)【優先権主張国】US

(31)【優先権主張番号】15/681,041

(32)【優先日】2017年8月18日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ハーバック，ジョシュア

【審査官】 田中 純一

(56)【参考文献】

【文献】 特開２０１６−１１５３６４（ＪＰ，Ａ）

【文献】 特開２０１５−２００９３３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０３０１６９８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０１９７４８８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００７／０１０９１０７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − ９９／００

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０１Ｃ ２３／００ − ２５／００

Ｂ６０Ｗ １０／００ − １０／３０

Ｂ６０Ｗ ３０／００ − ６０／００

(57)【特許請求の範囲】

【請求項1】

方法であって、
車両内に位置付けられたカメラから、コンピューティングシステムにおいて、前記車両内側の占有率を表す画像を受信することであって、前記コンピューティングシステムが、前記車両からの遠隔場所に位置づけられることと、
前記画像を受信することに応答して、前記コンピューティングシステムによって、前記車両内の乗客数を推定することと、
前記コンピューティングシステムによって、グラフィックユーザインターフェース上に、前記推定された乗客数を表す対応するテキストとともに前記画像を表示することと、
前記グラフィックユーザインターフェースにおいて、前記推定された乗客数が正確であり所望の占有率を満たしていることの確認または否定を受信することと、
前記コンピューティングシステムから前記車両に、前記確認または否定を示す情報を送信することであって、前記推定された乗客数が正確であり所望の占有率を満たしていることの確認を受信することに応答して、前記車両が自動運転操作を実行することと、を含む、方法。

【請求項2】

前記カメラは、前記カメラが前記車両内部に向かって配向されるように、前記車両内部に取り付けられている、請求項１に記載の方法。

【請求項3】

センサから、前記車両内部の動きを示すセンサデータを受信することと、
前記車両内の動きを示す前記センサデータを受信することに応答して、前記カメラに信号を送信して、１つ以上の画像を捕捉することと、をさらに含む、請求項１に記載の方法。

【請求項4】

前記センサが、前記車両内に位置付けられた近接センサに対応する、請求項３に記載の方法。

【請求項5】

前記センサが、前記車両のシートベルトに関連付けられた触覚センサに対応し、
内部の動きを示す前記センサデータが、前記シートベルトの検出された使用に対応する、請求項３に記載の方法。

【請求項6】

前記グラフィックユーザインターフェースにおいて、前記車両内の１人以上の乗客のそれぞれの位置を示す入力を受信することをさらに含み、
前記確認または否定を示す情報が、前記車両内の前記１人以上の乗客の前記それぞれの位置をさらに示す、請求項１に記載の方法。

【請求項7】

前記車両内側の前記占有率を表す画像を受信することが、
前記車両内側の前記占有率を表す音声データを受信することをさらに含み、
ディスプレイインターフェース上に前記画像を表示することが、
前記コンピューティングシステムによって、音声インターフェースを介して前記音声データを提供することをさらに含む、請求項１に記載の方法。

【請求項8】

前記推定された乗客数を表す対応するテキストとともに前記画像を表示することが、
１つ以上の拡張グラフィックスを含むように前記画像を修正することと、
前記修正された画像を前記グラフィカルユーザインターフェースにおいて表示することと、をさらに含む、請求項１に記載の方法。

【請求項9】

前記１つ以上の拡張グラフィックスが、前記車両の場所を示すグラフィックテキストを含む、請求項８に記載の方法。

【請求項10】

前記確認または否定を示す情報が、前記車両に位置付けられる少なくとも１人の乗客の識別情報をさらに含む、請求項１に記載の方法。

【請求項11】

前記車両に位置付けられる少なくとも１人の乗客の前記識別情報を受信することに応答して、前記車両が、前記少なくとも１人の乗客に固有の所与の自動運転操作を実行することをさらに含む、請求項１０に記載の方法。

【請求項12】

前記所望の占有率が、前記車両が前記自動運転操作を実行する前に、前記車両を占有すべき乗客の人数を表す、請求項１に記載の方法。

【請求項13】

システムであって、
車両と、
前記車両からの遠隔場所に位置づけられるコンピューティングシステムであって、グラフィカルユーザインターフェースを含むコンピューティングシステムと、
非一時的コンピュータ可読媒体と、
プログラム命令であって、
車両内に位置付けられたカメラから、前記車両内側の占有率を表す画像を受信することと、
前記画像を受信することに応答して、前記車両内の乗客数を推定することと、
前記グラフィカルユーザインターフェース上に、前記推定された乗客数を表す対応するテキストとともに前記画像を表示することと、
前記グラフィカルユーザインターフェースにおいて、前記推定された乗客数が正確であり所望の占有率を満たしていることの確認または否定を受信することと、
前記車両に前記確認または否定を示す情報を送信することであって、前記推定された乗客数が正確であり所望の占有率を満たしていることの確認を受信することに応答して、前記車両が、自動運転操作を実行することと、を行うように、前記コンピューティングシステムによって実行可能な前記非一時的コンピュータ可読媒体上に格納されているプログラム命令と、を備える、システム。

【請求項14】

前記プログラム命令が、
前記車両外部に結合されたカメラから少なくとも１人の乗客を示す画像を受信することと、
前記少なくとも１人の乗客を示す前記画像を受信することに応答して、前記車両内に位置付けられた前記カメラに信号を送信して、１つ以上の画像を捕捉することと、を行うように、前記コンピューティングシステムによってさらに実行可能である、請求項１３記載のシステム。

【請求項15】

前記プログラム命令が、
前記車両内に位置付けられたメディアシステムへの修正を検出することと、
前記メディアシステムへの前記修正を検出することに応答して、前記車両内に位置付けられた前記カメラに信号を送信して、１つ以上の画像を捕捉することと、を行うように、前記コンピューティングシステムによってさらに実行可能である、請求項１３記載のシステム。

【請求項16】

前記プログラム命令が、
前記車両の座席内に位置付けられたセンサから少なくとも１人の乗客を示すセンサ測定値を受信することと、
前記センサ測定値を受信することに応答して、前記車両内に位置付けられた前記カメラに信号を送信して、１つ以上の画像を捕捉することと、を行うように、前記コンピューティングシステムによってさらに実行可能である、請求項１３に記載のシステム。

【請求項17】

非一時的コンピュータ可読媒体であって、コンピューティングシステムに、
車両内に位置付けられたカメラから、前記車両内側の占有率を表す画像を受信することと、
前記画像を受信することに応答して、前記車両内の乗客数を推定することと、
グラフィカルユーザインターフェース上に、前記推定された乗客数を表す対応するテキストとともに前記画像を表示することであって、前記グラフィカルユーザインターフェースは、前記車両からの遠隔場所に位置づけられることと、
前記グラフィカルユーザインターフェースにおいて、前記推定された乗客数が正確であり所望の占有率を満たしていることの確認または否定を受信することと、
前記車両に前記確認または否定を示す情報を送信することであって、前記推定された乗客数が正確であり所望の占有率を満たしていることの確認を受信することに応答して、前記車両が自動運転操作を実行することと、を含む機能を実行させるように、１つ以上のプロセッサによって実行可能な命令がその中に格納されている、非一時的コンピュータ可読媒体。

【請求項18】

前記車両内の動きを示すセンサデータを受信することと、
前記車両内の動きを示す前記センサデータを受信することに応答して、前記カメラに信号を送信して、１つ以上の画像を捕捉することと、をさらに含む、請求項１７に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本特許出願は、２０１７年７月１１日に出願された米国仮特許出願第６２／５３１，１５２号および２０１７年８月１８日に出願された米国特許出願第１５／６８１，０４１号に対する優先権を主張し、各々の内容全体は参照により本明細書に組み込まれる。

【背景技術】

【0002】

車両は、物体や人の輸送など、様々な種類のタスクを完了するために使用されている。技術の進歩により、一部の車両は、車両が部分的または完全な自律モードで動作することを可能にし得るように構成されている。部分的または完全な自律モードで動作する場合、車両操作のナビゲーションの態様の一部またはすべては、従来の人間の運転者ではなく車両制御システムによって制御される。車両の自律動作は、車両の周囲環境を検知するシステムを伴ってもよく、コンピューティングシステムが、所望の目的地に到達するためのナビゲーションルートを計画し、安全に実行することを可能にする。

【発明の概要】

【0003】

例示的な実施態様は、車両の占有率確認に関連している。自律または半自律動作が可能な車両は、車両センサから周囲環境のセンサ測定値を使用して、乗客を所望の目的地に安全に輸送できる。自律動作は、車両が運転手サービスと同様の方法で輸送を提供することを可能にし得るため、車両の車両制御システム（または別のシステム）が、車両の現在の占有率が所望の占有率（例えば、予想される乗客数）を満たしているかどうかの確認を支援する必要がある状況が発生し得る。特に、車両制御システムと別のコンピューティングシステム間の通信は、人間のオペレータがコンピューティングシステムを使用して、車両内部を示す画像、および車両のカメラや他のセンサによって潜在的に捕捉および提供される他の情報を見ることを可能にし得る。車両から画像および他の情報を受信するコンピューティングシステムは、オペレータが車両の現在の占有率が所望の占有率を満たしていることを確認し得るオペレータ入力を提供することを、さらに可能にし得る。オペレータのコンピューティングシステムから車両制御システムにおいてオペレータ入力を受信すると、車両は、それに応答して自律動作または一連の動作を実行できる。

【0004】

一態様では、例示的な方法が提供される。方法は、コンピューティングシステムにおいて車両内に位置付けられたカメラから、車両内側の占有率を表す画像を受信し、画像の受信に応答して、コンピューティングシステムによって、ディスプレイインターフェース上に画像を表示することを含むことができる。方法は、占有率が所望の占有率を満たしていることを確認するオペレータ入力をコンピューティングシステムにおいて受信し、かつコンピューティングシステムから車両に占有率確認を送信することをさらに含むことができる。占有率確認の受信に応答して、場合によっては、車両は、自動運転操作を実行する。

【0005】

別の態様では、例示的なシステムが提供される。システムは、車両、コンピューティングシステム、非一時的コンピュータ可読媒体、およびコンピューティングシステムによって実行可能な非一時的コンピュータ可読媒体に格納されたプログラム命令を含み、車両内に位置付けられたカメラから、車両内側の占有率を表す画像を受信し、画像の受信に応答して、ディスプレイインターフェースに画像を表示する。プログラム命令は、コンピューティングシステムによってさらに実行可能であり、占有率が所望の占有率を満たしていることを確認するオペレータ入力を受信し、車両に占有率確認を送信する。場合によっては、占有率確認の受信に応答して、車両は、自動運転操作を実行する。

【0006】

さらに別の実施例では、コンピューティングシステムに機能を実行させるためにコンピューティングシステムによって実行可能なプログラム命令がその中に格納された例示的な非一時的コンピュータ可読媒体が提供される。機能は、車両内に位置付けられたカメラから車両内側の占有率を表す画像を受信し、画像の受信に応答して、ディスプレイインターフェース上に画像を表示することを含むことができる。機能は、占有率が所望の占有率を満たしていることを確認するオペレータ入力を受信し、かつ車両に占有率確認を送信することをさらに含むことができる。場合によっては、占有率確認の受信に応答して、車両は、自動運転操作を実行する。

【0007】

さらなる態様では、車両の占有率確認のための手段を有する別の例示的なシステムが提供される。システムは、車両内に位置付けられたカメラから車両内側の占有率を表す画像を受信する手段と、画像の受信に応答してディスプレイインターフェース上に画像を表示する手段とを含むことができる。システムはまた、占有率が所望の占有率を満たしていることを確認するオペレータ入力を受信する手段、および車両に占有率確認を送信する手段を含むことができる。占有率確認の受信に応答して、場合によっては、車両は、自動運転操作を実行する。

【0008】

前述の概要は例示のみを目的としており、決して限定することを意図したものではない。上記の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および以下の詳細な説明を参照することにより明らかになるであろう。

【図面の簡単な説明】

【0009】

【図1】例示的な実施態様による、車両を示す機能ブロック図である。

【図2】例示的な実施態様による、車両の物理的構成の概念図である。

【図3A】例示的な実施態様による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。

【図3B】例示的な実施態様による、コンピューティングシステムの構成要素を示す簡略ブロック図を示している。

【図4】例示的な実施態様による、車両の占有率確認方法のフローチャートである。

【図5】例示的な実施態様による、車両内部の概念図である。

【図6】例示的な実施態様による、車両内部の別の概念図である。

【図7】例示的な実施態様による、車両外部の概念図である。

【図8】例示的な実施態様による、コンピュータプログラムの図である。

【発明を実施するための形態】

【0010】

以下の詳細な説明では、本明細書の一部を形成する添付図面を参照する。図では、文脈からそうでないことが示されていない限り、同様の記号は通常、同様の構成要素を識別している。詳細な説明、図、および特許請求の範囲に記載されている例示的な実施形態は、限定することを意図していない。

【0011】

本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本開示の態様は、本明細書で一般的に説明され、図面に示されているように、様々な異なる構成で配置、置換、組み合わせ、分離、および設計することができ、そのすべてが本明細書で明示的に企図されていることが容易に理解されるであろう。

【0012】

前述のように、コンピューティング、センサ、その他の技術の最近の進歩により、車両が運転者からの入力を必要とせずに場所間を自律的に移動することが可能となっている。車両センサから周囲環境の測定値をほぼリアルタイムで処理することにより、自律車両は、障害物を避け、交通要件を順守しながら、乗客や物体を場所間で輸送できる。車両の制御を車両制御システムに移行することは、乗客が運転以外のタスクに注意を向けることを可能にする。

【0013】

自律車両の進展は、車両シェアリングの使用の増加に貢献している。車両シェアリングは、多くの場合、潜在的な乗客からの要求を受信し、近くの車両を派遣して位置特定し、乗車させ、および少額の料金と引き換えに乗客に１回限りの乗車を提供するように構成されるシステム全体によって一元管理される車両群を伴い得る。

【0014】

車両群内において、各車両は、乗客からの乗車要求を満たすことができる。例えば、乗客は、スマートフォンアプリケーションまたは別のコンピューティングデバイスを使用して、車両群を管理するシステムに要求を提出できる。要求は、システムが要求を完了するのを支援するための情報、例えば乗客の現在の場所、輸送を受ける予定の乗客数、車両が乗客を降車させるための１つ以上の所望の目的地などを含んでもよい。要求の受信に応答して、システムは、乗客の現在の場所にすばやく走行し、それに従って１人以上の乗客を１つ以上の所望の目的地に自律的に輸送できる車両群内の車両を識別および派遣することができる。乗車要求を完了した後、車両は、その後他の乗客に輸送を提供するために派遣されてもよい。

【0015】

車両シェアリング車両群の一部として動作するか、独立して動作するかにかかわらず、自律または半自律動作が可能な車両は、車両の車両制御システムが追加の支援を必要とする状況に遭遇する場合がある。特に、車両制御システムが車両の現在の占有率が所望の占有率を満たしているかどうかを確認する支援を必要とする状況が発生する可能性がある。例えば、車両制御システムは、乗客に輸送を提供する前に、正しい数の乗客が現在車両内に位置付けられており、輸送の準備ができている（例えば、座席に座屈している）ことを確認する支援を要求してもよい。そのような状況では、乗客の正しい数（つまり、所望の占有率）は、元の輸送要求または乗客が提出した他の入力、車両内側で利用可能な座席の数、および／または他の潜在的なパラメータに依存する場合がある。

【0016】

いくつかの実施態様では、支援を受けるために、車両制御システムは、支援要求を別のコンピューティングシステムまたは複数の他のコンピューティングシステムに送信することができる。特に、支援要求は、支援を提供するためにコンピューティングシステムまたはコンピューティングシステムを使用する人間のオペレータを求めてもよい。例えば、車両制御システムが、車両の占有率が所望の占有率を満たしていることを確認する支援を必要とする状況では、車両制御システムは、車両センサからの画像またはその他のセンサデータとともに支援要求を提出することができ、これにより、コンピューティングシステムまたは人間のオペレータは、車両の占有率が所望の占有率を満たしているかどうかを確認することを可能にし得る。

【0017】

一実施例として、支援要求には、車両内の物体または乗客を含む車両内部を示す画像が含まれてもよく、また車両制御システムによって最初に決定された車両にＸ人の乗客がいるかどうかを確認するためにコンピューティングシステムまたは人間のオペレータに尋ねる質問を含んでもよい。他の実施例では、車両制御システムは、車両制御システムによって以前に決定された初期推定を提供することなく、乗客の数を決定する支援を要求してもよい。例えば、車両制御システムは、「現在、車両内に何人の乗客が位置付けられているか」を問い合わせる支援についての要求を提供してもよい。車両制御システムは、輸送のために車両を使用する乗客の体験を改善するのに役立てるために車両制御システムが利用し得る他の情報を決定する支援を要求してもよい。

【0018】

いくつかの実施例では、車両制御システムは、支援を受けるために車両から遠隔に位置付けられたコンピューティングシステムとの無線通信に従事してもよい。特に、車両制御システムは、無線通信を介してコンピューティングシステムに画像または他の情報を提供してもよく、無線通信は、ソフトウェアを利用して車両制御システムを支援するように構成されてもよい。例えば、コンピューティングシステムは、コンピュータビジョンを使用して車両によって提供される画像を分析して、現在車両を占有している乗客の数を決定してもよい。他の実施例では、支援を受信するために、車両制御システムは、有線接続を介して１つ以上のコンピューティングシステムと通信してもよい。一実施例として、車両制御システムは、車両内の１人以上の乗客から支援を受けるために、車両内に位置付けられたコンピューティングシステムと通信してもよい。

【0019】

さらなる実施例では、車両内部を示す画像または車両から他の情報を受信すると、コンピューティングシステムは、人間のオペレータがレビューし、コンピューティングシステムを介して車両制御システムに潜在的に支援を提供することを可能にし得るグラフィックユーザインターフェースを使用して画像および他の情報を表示するように構成することができる。「人間のオペレータ」という用語は、車両に何らかの形の支援を提供するために、コンピューティングシステムを使用して車両内部を示す画像または車両によって提供されるその他の情報を確認し得る人を表す。例えば、人間のオペレータは、車両の現在の占有率が車両の現在の状況に対する所望の占有率を満たしていることを確認または拒否するために、車両から情報を受信するコンピューティングシステムを利用してもよい。入力に応答して、車両情報を表示するように構成されたコンピューティングシステムは、オペレータ入力を車両制御システムに中継して、車両制御システムが入力に基づいてそれに応じて続行することを可能にし得る。

【0020】

実施例では、様々な理由により、車両制御システムが何らかの形で支援を要求する場合がある。例えば、上で示したように、車両制御システムは、車両が所定数の乗客を輸送することを保証するための事前ナビゲーションチェックとして、現在の占有率が所望の占有率を満たしているかどうかを確認する支援を要求してもよい。

【0021】

同様に、他の状況では、車両制御システムは、特定の場所に出入りした乗客の数を決定するために、車両の現在の占有率を確認できる。例えば、車両は、３人の乗客を場所間で乗車させ輸送するための要求を受信し、受け入れてもよい。最初に乗客を乗車させた後、車両制御システムは、車両が乗客を１つ以上の降車場所に輸送し始める前に、実際に３人の乗客（つまり、所望の占有率）が実際に車両を占有していることを確認するための支援要求を送信する。車両制御システムはまた、乗客がすべて降車場所で車両を出たことを確認するために、１つ以上の後続の要求を送信することができる。

【0022】

いくつかの例示的な実施態様では、車両の所望の占有率は、車両の現在の状況または将来の状況に依存して異なる場合がある。例えば、所望の占有率は、自律車両によって元々受け入れられた乗車要求に依存する場合がある。より具体的には、乗車要求は、輸送を望む乗客の数および乗客の１つ以上のそれぞれの場所を指定する場合があるある。したがって、所望の占有率は、指定された場所で車両に入ることを想定されている乗客の数を反映することができる。

【0023】

他の実施例では、車両制御システムは、車両が自律制御ストラテジーを開始する前に、少なくとも１人の乗客が所与の場所で車両に入ることを必要とする所望の占有率を有し得る。所望の占有率は、車両制御システムが、車両が少なくとも輸送を要求した乗客に輸送を提供することを保証するように構成され得る。一実施例として、車両制御システムは、乗客が車両に入ると、乗客または車両センサから入力を受信することができる。乗客の存在を示す入力に応答して、車両制御システムは、支援を利用して、乗客が所望の目的地への輸送の準備ができていることを確認することができる。さらなる実施例では、車両制御システムは、占有率が他の潜在的な要因に依存する所望の占有率を満たすことを確認するように構成されてもよい。

【0024】

さらなる例示的な実施態様では、輸送を提供する前に、車両制御システムは、特定の乗客が車両内側に位置することを決定するように構成され得る。その結果、車両制御システムは、１人以上の乗客の身元を確認する支援を要求する場合がある。例えば、車両制御システムは、乗客の乗車要求を満たすために割り当てられた車両に正しい乗客が入ることを保証するための支援を求めてもよい。

【0025】

いくつかの実施例では、乗客の識別に関する支援を得るために、車両制御システムは、画像または情報を表示できる別のコンピューティングシステムに画像または他の情報を提供し、人間のオペレータが乗客を識別するのに役立つことを可能にし得る。支援の受信に応答して、車両制御システムは、正しい乗客（輸送を要求した乗客）が車両内にいることの確認、ナビゲーション操作または降車場所などの決定、輸送の支払いを促進するため、または可能なその他の理由など、様々な理由で乗客の識別物を使用することができる。

【0026】

支援を受けることに応答して、車両は、１つ以上の自律動作を実行できる。特に、自律動作は、状況、提供される確認または支援、またはその他のパラメータ（乗客の数、車両の場所など）に依存して変化する場合がある。いくつかの実施例では、自律動作は、１人以上の乗客を１つ以上の目標場所に輸送することを伴い得る。そのような状況では、車両は、要求された所望の目的地に乗客を安全に輸送することを伴うナビゲーション操作を実行することができる。さらなる実施例では、車両制御システムは、車両の現在の設定（例えば、音楽、温度）を調整するために乗客の識別物を利用し、乗客の体験を向上させることができる。例えば、車両制御システムは、輸送中に乗客が好む特定の設定を指定する乗客のアカウントにアクセスしてもよい。

【0027】

いくつかの実施例では、車両制御システムは、現在車両を占有している乗客が、車両が輸送を提供する準備ができているかどうかを確認するための支援要求を提出することができる。特に、車両制御システムは、乗客がシートベルトを使用しているかどうかを確認するために、コンピューティングシステムまたはコンピューティングシステムを利用する人間のオペレータに対する要求を提出してもよい。コンピューティングシステムから（またはコンピューティングシステムを介して人間のオペレータから）すべての乗客が走行の準備ができていることを示す確認（例えば、座ったり、座屈したり）に応答して、車両制御システムは、輸送を開始できる。

【0028】

別の例示的な実施態様では、車両制御システムは、車両を出るすべての乗客が車両内に物品（例えば、財布、携帯電話、およびバッグ）を残していないことを確認するための支援要求を提出し得る。例えば、車両制御システムは、車両からの輸送を受けた後、乗客が車両内に私物を残していないことを確認するために、人間のオペレータからの支援要求を提出することができる。車両制御システムは、人間のオペレータ（またはコンピューティングシステム）が直近の乗客が置き忘れた可能性のある物品を識別することを可能にし得る要求とともに、１つ以上の画像をコンピューティングシステムに送信できる。乗客から車両に物品が残っていないことを示す確認をコンピューティングシステム（またはコンピューティングシステムを介した人間のオペレータ）から受信すると、車両制御システムは、自律動作（例えば、新規乗客の乗車）を開始することができる。

【0029】

さらなる実施例では、車両制御システムは、支援を利用して車両の状態を維持するのに役立ち得る。例えば、車両制御システムは、車両内側の１人以上の乗客の行動または挙動を監視する支援を要求する場合がある。車両制御システムは、人間のオペレータが車両を占有している乗客の行動または挙動を見て監視することを可能にするコンピューティングシステムに画像または映像／音声を提供することができる。例えば、車両制御システムは、コンピューティングシステムとのライブ通信セッションを確立して、乗客と人間のオペレータがほぼリアルタイムで通信することを可能にし得る。一実施例として、車両制御システムは、無線通信接続を確立して、人間のオペレータが医療施設への輸送を受ける乗客を監視することを可能にし得る。この実施例では、人間のオペレータは、輸送を受ける乗客に支援または快適性を提供し得る。別の実施例では、車両制御システムは、無線通信接続を確立して、人間のオペレータ（例えば、親）が現在車両を占有している乗客（例えば、その親の子供が学校への輸送を受ける）による活動を見ることを可能にし得る。

【0030】

ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装されるか、または自動車の形態をとることができるが、他の例示的なシステムは、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバー、ボート、スノーモービル、航空機、ＲＶ車、遊園地車両、農機具、建設機械、路面電車、ゴルフカート、列車、トロリー、およびロボットデバイスなどの他の車両に実装されるか、または形態をとることができる。他の車両も同様に可能である。

【0031】

ここで図面を参照すると、図１は、自律モードで完全にまたは部分的に動作するように構成され得る例示的な車両１００を示す機能ブロック図である。より具体的には、車両１００は、コンピューティングシステム（すなわち、車両制御システム）から制御命令を受信することにより、人間との対話なしに自律モードで動作し得る。したがって、車両１００は、追加の確認を必要とする状況で支援を求めるように構成されてもよい。

【0032】

自律モードにおける動作の一部として、車両１００は、センサを使用して周囲環境の物体を検出し、場合によっては識別して安全なナビゲーションを可能にし得る。いくつかの実施態様では、車両１００はまた、運転者が車両１００の動作を制御することを可能にするサブシステムを含むことができる。

【0033】

図１に示すように、車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、周辺機器１０８、電源１１０、コンピュータシステム１１２、データストレージ１１４、ユーザインターフェース１１６などのサブシステムを含むことができる。他の実施例では、車両１００は、より多くのまたはより少ないサブシステムを含むことができ、それぞれが複数の要素を含むことができる。

【0034】

車両１００のサブシステムおよび構成要素は、様々な方法で相互接続されてもよい。さらに、本明細書で説明する車両１００の機能は、追加の機能的または物理的構成要素に分割するか、実施態様内でより少ない機能的または物理的構成要素に組み合わせることができる。

【0035】

推進システム１０２は、車両１００に動力を供給するように動作可能な構成要素を含むことができ、他の可能な構成要素の中でも、エンジン／モータ１１８、エネルギー源１１９、トランスミッション１２０、およびホイール／タイヤ１２１を含むことができる。例えば、エンジン／モータ１１８は、エネルギー源１１９を機械的エネルギーに変換することができる。したがって、エンジン／モータ１１８は、他のオプションの中でも特に、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの１つまたは組み合わせに対応することができる。例えば、推進システム１０２は、ガソリンエンジンと電気モータの両方など、複数の種類のエンジン／モータを含んでもよい。

【0036】

エネルギー源１１９は、車両１００の１つ以上のシステム（例えば、エンジン／モータ１１８）に全体的または部分的に動力を供給できるエネルギー源を表す。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラーパネル、バッテリー、および／または他の電力源に対応することができる。いくつかの実施態様では、エネルギー源１１９は、燃料タンク、バッテリー、コンデンサ、および／またはフライホイールの組み合わせを含み得る。

【0037】

トランスミッション１２０は、エンジン／モータ１１８から車輪／タイヤ１２１および／または車両１００の他のシステムに機械的動力を送信することができる。したがって、トランスミッション１２０は、他の可能な構成要素の中でも、ギアボックス、クラッチ、差動装置、およびドライブシャフトを含むことができる。ドライブシャフトは、１つ以上の車輪／タイヤ１２１に接続する車軸を含んでもよい。

【0038】

車両１００の車輪／タイヤ１２１は、様々な構成を有し得る。例えば、車両１００は、他の可能な構成の中でも、一輪車、自転車／オートバイ、三輪車、または自動車／トラックの四輪形式で存在してもよい。したがって、車輪／タイヤ１２１は、様々な方法で車両１００に接続することができ、金属やゴムなどの異なる材料で存在することができる。

【0039】

センサシステム１０４は、とりわけ、全地球測位システム（ＧＰＳ）１２２、慣性測定ユニット（ＩＭＵ）１２４、レーダ１２６、レーザ距離計／ＬＩＤＡＲ１２８、カメラ１３０、操舵センサ１２３、およびスロットル／ブレーキセンサ１２５などの様々な種類のセンサを含むことができる。センサシステム１０４はまた、車両１００の内部システム（例えば、酸素モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗）を監視するように構成されたセンサを含み得る。

【0040】

ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能な送受信機を含むことができる。ＩＭＵ１２４は、１つ以上の加速度計および／またはジャイロスコープを使用する構成を有してもよく、慣性加速度に基づいて車両１００の位置および向きの変化を検知してもよい。例えば、ＩＭＵ１２４は、車両１００が静止しているまたは動いている間に車両１００のピッチおよびヨーを検出することができる。

【0041】

レーダ１２６は、車両１００のローカル環境内で、無線信号を使用して、物体の速度および方向を含む物体を検知するように構成されたシステムを表してもよい。したがって、レーダ１２６は、無線信号を送信および受信するように構成されたアンテナを含み得る。いくつかの実施態様では、レーダ１２６は、車両１００の周囲環境の測定値を取得するように構成された搭載可能なレーダシステムに対応し得る。

【0042】

レーザ距離計／ＬＩＤＡＲ１２８は、システム構成要素の中でも特に、１つ以上のレーザ光源、レーザスキャナ、および１つ以上の検出器を含み、コヒーレントモード（例えば、ヘテロダイン検出を使用）またはインコヒーレント検出モードで動作し得る。カメラ１３０は、車両１００の環境の画像を捕捉するように構成された１つ以上のデバイス（例えば、スチルカメラまたはビデオカメラ）を含み得る。

【0043】

操舵センサ１２３は、車両１００の操舵角度を検知することができ、操舵ホイールの角度を測定すること、または操舵ホイールの角度を表す電気信号を測定することを伴ってもよい。いくつかの実施態様では、操舵センサ１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定してもよい。操舵センサ１２３は、操舵ホイールの角度、操舵ホイールの角度を表す電気信号、および車両１００のホイールの角度の組み合わせ（またはサブセット）を測定するように構成されてもよい。

【0044】

スロットル／ブレーキセンサ１２５は、車両１００のスロットル位置またはブレーキ位置のいずれかの位置を検出してもよい。例えば、スロットル／ブレーキセンサ１２５は、アクセルペダル（スロットル）とブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル（スロットル）の角度および／またはブレーキペダルの角度を表し得る電気信号を測定してもよい。スロットル／ブレーキセンサ１２５はまた、エンジン／モータ１１８（例えば、バタフライバルブまたはキャブレター）にエネルギー源１１９の変調を提供する物理的機構の一部を含み得る車両１００のスロットルボディの角度を測定してもよい。

【0045】

加えて、スロットル／ブレーキセンサ１２５は、車両１００のローター上の１つ以上のブレーキパッドの圧力、またはアクセルペダル（スロットル）とブレーキペダルの角度の組み合わせ（またはサブセット）、アクセルペダル（スロットル）およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、および少なくとも１つのブレーキパッドが車両１００のローターに加える圧力を測定することができる。他の実施形態では、スロットル／ブレーキセンサ１２５は、スロットルまたはブレーキペダルなどの車両のペダルに加えられる圧力を測定するように構成されてもよい。

【0046】

制御システム１０６は、操舵ユニット１３２、スロットル１３４、ブレーキユニット１３６、センサ融合アルゴリズム１３８、コンピュータビジョンシステム１４０、ナビゲーション／経路指定システム１４２、および障害物回避システム１４４など、車両１００のナビゲーションを支援するように構成された構成要素を含むことができる。より具体的には、操舵ユニット１３２は、車両１００の方向を調整するように動作可能であり得、スロットル１３４は、エンジン／モータ１１８の動作速度を制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速させることができ、これは、摩擦を使用して車輪／タイヤ１２１を減速させることを伴い得る。いくつかの実施態様では、ブレーキユニット１３６は、車両１００のシステムによる後続の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換することができる。

【0047】

センサ融合アルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム１０４からのデータを処理できる他のアルゴリズムを含むことができる。いくつかの実施態様では、センサ融合アルゴリズム１３８は、個々の物体および／または特徴の評価、特定の状況の評価、および／または所与の状況内の潜在的影響の評価など、着信センサデータに基づく評価を提供し得る。

【0048】

コンピュータビジョンシステム１４０は、物体、環境物体（例えば、停止照明、道路境界など）、および障害物を決定するために画像を処理および分析するように動作可能なハードウェアおよびソフトウェアを含むことができる。したがって、コンピュータビジョンシステム１４０は、例えば、物体の認識、環境のマッピング、物体の追跡、物体の速度の推定等のために、物体認識、動きからの構造（ＳＦＭ）、ビデオトラッキング、およびコンピュータビジョンで使用される他のアルゴリズムを使用することができる。

【0049】

ナビゲーション／経路指定システム１４２は、車両１００の運転経路を決定することができ、これには、動作中にナビゲーションを動的に調整することを伴ってもよい。したがって、ナビゲーション／経路指定システム１４２は、車両１００をナビゲートする他のソースの中でも特に、センサ融合アルゴリズム１３８、ＧＰＳ１２２、およびマップからのデータを使用することができる。障害物回避システム１４４は、センサデータに基づいて潜在的な障害物を評価し、車両１００のシステムに潜在的な障害物を回避させるか、またはその他の場合、交渉させることができる。

【0050】

図１に示すように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、および／またはスピーカ１５２などの周辺機器１０８を含むことができる。周辺機器１０８は、ユーザがユーザインターフェース１１６と対話するための制御または他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザに情報を提供し得る。ユーザインターフェース１１６はまた、タッチスクリーン１４８を介してユーザからの入力を受け入れてもよい。周辺機器１０８はまた、車両１００が他の車両デバイスなどのデバイスと通信することを可能にし得る。

【0051】

無線通信システム１４６は、直接または通信ネットワークを介して１つ以上のデバイスと無線で通信してもよい。例えば、無線通信システム１４６は、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラー通信、またはＷｉＭＡＸまたはＬＴＥなどの４Ｇセルラー通信を使用することができる。あるいは、無線通信システム１４６は、ＷｉＦｉまたは他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信してもよい。

【0052】

無線通信システム１４６はまた、例えば、赤外線リンク、ブルートゥース、またはＺｉｇＢｅｅを使用してデバイスと直接通信してもよい。本開示の文脈内で、様々な車両通信システムなどの他の無線プロトコルが可能である。例えば、無線通信システム１４６は、車両および／または路側局間の公衆および／または私的データ通信を含むことができる１つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含むことができる。

【0053】

車両１００は、構成要素に動力を供給するための電源１１０をさらに含むことができる。電源１１０は、いくつかの実施態様では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成された１つ以上のバッテリーを含み得る。車両１００はまた、他の種類の電源を使用してもよい。例示的な実施態様では、電源１１０およびエネルギー源１１９は、単一のエネルギー源に統合されてもよい。

【0054】

車両１００はまた、その中に記載されている動作などの動作を実行するコンピュータシステム１１２を含むことができる。したがって、コンピュータシステム１１２は、データストレージ１１４などの非一時的コンピュータ可読媒体に格納された命令１１５を実行するように動作可能な少なくとも１つのプロセッサ１１３（少なくとも１つのマイクロプロセッサを含み得る）を含み得る。いくつかの実施態様では、コンピュータシステム１１２は、分散方式で車両１００の個々の構成要素またはサブシステムを制御するよう機能し得る複数のコンピューティングデバイスを表してもよい。

【0055】

いくつかの実施態様では、データストレージ１１４は、図１に関連して上記で説明したものを含む、車両１００の様々な機能を実行するためにプロセッサ１１３によって実行可能な命令１１５（例えば、プログラムロジック）を含み得る。データストレージ１１４はまた、推進システム１０２、センサシステム１０４、制御システム１０６、および周辺機器１０８の１つ以上にデータを送信し、データを受信し、対話し、および／または制御するための命令を含む追加の命令を含むことができる。

【0056】

命令１１５に加えて、データストレージ１１４は、他の情報の中でも特に道路地図、経路情報などのデータを格納することができる。そのような情報は、自律モード、半自律モード、および／または手動モードでの車両１００の動作中に、車両１００およびコンピュータシステム１１２によって使用され得る。

【0057】

車両１００は、車両１００のユーザに情報を提供し、またはユーザからの入力を受信するためのユーザインターフェース１１６を含むことができる。ユーザインターフェース１１６は、タッチスクリーン１４８に表示できるコンテンツおよび／またはインタラクティブ画像のレイアウトを制御するか、その制御を可能にし得る。さらに、ユーザインターフェース１１６は、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、およびスピーカ１５２などの周辺機器１０８のセット内の１つ以上の入力／出力デバイスを含むことができる。

【0058】

コンピュータシステム１１２は、様々なサブシステム（例えば、推進システム１０２、センサシステム１０４、および制御システム１０６）ならびにユーザインターフェース１１６から受信した入力に基づいて、車両１００の機能を制御することができる。例えば、コンピュータシステム１１２は、推進システム１０２および制御システム１０６によって生成される出力を推定するために、センサシステム１０４からの入力を利用してもよい。実施形態に依存して、コンピュータシステム１１２は、車両１００およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピュータシステム１１２は、センサシステム１０４から受信した信号に基づいて車両１００の一部またはすべての機能を無効にすることができる。

【0059】

車両１００の構成要素は、それぞれのシステム内またはシステム外の他の構成要素と相互接続された方式で機能するように構成され得る。例えば、例示的な実施形態では、カメラ１３０は、自律モードで動作する車両１００の環境の状態に関する情報を表し得る複数の画像を捕捉することができる。環境の状態には、車両が動作している道路のパラメータが含まれる場合がある。例えば、コンピュータビジョンシステム１４０は、道路の複数の画像に基づいて勾配（傾斜）または他の特徴を認識し得る場合がある。

【0060】

加えて、ＧＰＳ１２２とコンピュータビジョンシステム１４０により認識される特徴との組み合わせは、特定の道路パラメータを決定するためにデータストレージ１１４に格納された地図データとともに使用されてもよい。さらに、レーダユニット１２６は、車両の周囲に関する情報も提供することができる。言い換えれば、様々なセンサ（入力指示センサおよび出力指示センサと呼ばれ得る）とコンピュータシステム１１２の組み合わせは、相互作用して車両を制御するために提供される入力の指示または車両の周囲の指示を提供することができる。

【0061】

いくつかの実施形態では、コンピュータシステム１１２は、無線システム以外のシステムによって提供されるデータに基づいて様々な物体についての決定を行うことができる。例えば、車両１００は、車両の視野内の物体を検知するように構成されたレーザまたは他の光学センサを有してもよい。コンピュータシステム１１２は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を決定することができ、様々な物体までの距離および方向情報を決定することができる。コンピュータシステム１１２はまた、様々なセンサからの出力に基づいて、望ましい物体であるか望ましくない物体であるかを決定することができる。

【0062】

図１は、車両１００の様々な構成要素、すなわち、無線通信システム１４６、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６を車両１００に統合されているように示しているが、これらの構成要素の１つ以上を車両１００とは別に搭載または関連付けることができる。例えば、データストレージ１１４は、部分的または完全に、車両１００とは別個に存在し得る。したがって、車両１００は、別個にまたは一緒に位置し得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線および／または無線方式で互いに通信可能に結合され得る。

【0063】

図２は、車両２００の例示的な物理的構成を示しており、これは、図１を参照して説明した車両１００の１つの可能な物理的構成を表し得る。実施形態に依存して、車両２００は、他の可能な構成要素の中でも、センサユニット２０２、無線通信システム２０４、無線ユニット２０６、偏向器２０８、およびカメラ２１０を含むことができる。例えば、車両２００は、図１に記載された構成要素の要素の一部またはすべてを含んでもよい。図２では車両２００が車として示されているが、車両２００は、他の可能な実施例では、例えばトラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、ロボットデバイスなど、実施例内の他の構成を有することができる。

【0064】

センサユニット２０２は、車両２００の周囲環境の情報を捕捉するように構成された１つ以上のセンサを含み得る。例えば、センサユニット２０２は、他の可能な種類のセンサの中でも、カメラ、レーダ、ＬＩＤＡＲ、距離計、無線デバイス（例えば、ブルートゥースおよび／または８０２．１１）、および音響センサの任意の組み合わせを含み得る。

【0065】

いくつかの実施態様では、センサユニット２０２は、センサユニット２０２内のセンサの向きを調整するように動作可能な１つ以上の可動マウントを含むことができる。例えば、可動マウントは、車両２００の周りの各方向から情報を取得するためにセンサをスキャンできる回転プラットフォームを含んでもよい。センサユニット２０２の可動マウントはまた、特定の角度および／または方位角の範囲内においてスキャン方式で可動であってもよい。

【0066】

いくつかの実施態様では、センサユニット２０２は、センサユニット２０２を車の屋根の上に取り付けることを可能にする機械的構造を含むことができる。加えて、実施例では他の取り付け場所も可能である。

【0067】

無線通信システム２０４はまた、図２に示すように車両２００に対する場所を有し得るが、実施態様内で異なる場所も有することができる。無線通信システム２００は、他の外部または内部デバイスと通信し得る１つ以上の無線送信機および１つ以上の受信機を含むことができる。例えば、無線通信システム２０４は、他の可能なエンティティの中で、ユーザのデバイス、他の車両、および道路要素（例えば、標識、交通信号）と通信するための１つ以上の送受信機を含み得る。したがって、車両２００は、専用狭域通信（ＤＳＲＣ）、無線周波数識別（ＲＦＩＤ）、およびインテリジェント輸送システムに向けられた他の提案された通信規格などの通信を促進する１つ以上の車両通信システムを含み得る。

【0068】

カメラ２１０は、車両２００のフロントガラス上の場所など、車両２００に対して様々な位置を有することができる。したがって、カメラ２１０は、車両２００の環境の画像を捕捉することができる。図２に示すように、カメラ２１０は、車両２００に対して前方視界から画像を捕捉してもよいが、実施態様内では、カメラ２１０の他の取り付け場所（可動マウントを含む）および視野角が可能である。いくつかの実施例では、カメラ２１０は、１つ以上の可視光カメラに対応してもよい。代替的または追加的に、カメラ２１０、は赤外線検知機能を含んでもよい。カメラ２１０はまた、調整可能な視野を提供し得る光学系を含んでもよい。

【0069】

図３Ａは、例示的な実施態様による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、遠隔コンピューティングシステム３０２、サーバコンピューティングシステム３０６、および車両２００は、ネットワーク３０４を介して無線通信することができる。

【0070】

車両２００は、場所間で乗客または物体を輸送することができ、上述の車両のいずれか１つ以上の形態をとることができる。自律モードで動作する場合、車両２００は、乗客の有無にかかわらずナビゲートして、車両２００が所望の目的地間で乗客を乗車および降車させることを可能にし得る。

【0071】

遠隔コンピューティングシステム３０２は、本明細書で説明するものを含むがこれに限定されない、遠隔支援技術に関連する任意の種類のデバイスを表してもよい。実施例では、遠隔コンピューティングシステム３０２は、（ｉ）車両２００に関連する情報を受信し、（ｉｉ）人間のオペレータが情報を認識し、情報に関連する応答を入力し得るインターフェースを提供し、および（ｉｉｉ）応答を車両２００または他のデバイスに送信するように構成された任意の種類のデバイスを表してもよい。したがって、遠隔コンピューティングシステム３０２は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバなどの様々な形態をとることができる。いくつかの実施例では、遠隔コンピューティングシステム３０２は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。

【0072】

遠隔コンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含むことができる。少なくとも、遠隔コンピューティングシステム３０２は、本明細書で説明する様々な動作を実行するように構成されたプロセッサを含むことができる。いくつかの実施態様では、遠隔コンピューティングシステム３０２はまた、タッチスクリーンおよびスピーカなどの入力／出力デバイスを含むユーザインターフェースを含み得る。他の実施例も可能である。

【0073】

遠隔コンピューティングシステム３０２の位置は、実施例内で異なり得る。例えば、遠隔コンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を利用する車両２００からの遠隔位置を有し得る。別の実施例では、遠隔コンピューティングシステム３０２は、車両２００とは物理的に分離されているが、車両２００の乗客または運転者として人間のオペレータが対話できる車両２００内側のコンピューティングデバイスに対応してもよい。いくつかの実施例では、遠隔コンピューティングシステム３０２は、車両２００の乗客によって動作可能なタッチスクリーンを備えたコンピューティングデバイスであり得る。

【0074】

いくつかの実施態様では、遠隔コンピューティングシステム３０２によって実行される本明細書に記載の動作は、追加的または代替的に車両２００によって（すなわち、車両２００の任意のシステムまたはサブシステムによって）実行され得る。言い換えれば、車両２００は、車両の運転者または乗客が対話し得る遠隔支援機構を提供するように構成されてもよい。

【0075】

ネットワーク３０４は、遠隔コンピューティングシステム３０２と車両２００との間の無線通信を可能にし得るインフラストラクチャを表す。ネットワーク３０４はまた、サーバコンピューティングシステム３０６と遠隔コンピューティングシステム３０２との間、およびサーバコンピューティングシステム３０６と車両２００との間の無線通信を可能にし得る。

【0076】

サーバコンピューティングシステム３０６は、ネットワーク３０４を介して遠隔コンピューティングシステム３０２および車両２００と（またはおそらくは遠隔コンピューティングシステム３０２および／または車両２００と直接）無線通信するように構成されてもよい。サーバコンピューティングシステム３０６は、車両２００およびその遠隔支援に関する情報を受信、保存、決定、および／または送信するように構成された任意のコンピューティングデバイスを表してもよい。したがって、サーバコンピューティングシステム３０６は、遠隔コンピューティングシステム３０２および／または車両２００によって実行されるものとして本明細書で説明される任意の動作またはそのような動作の一部を実行するように構成され得る。遠隔支援に関連する無線通信の実施態様には、サーバコンピューティングシステム３０６を使用するものと使用しないものがある。

【0077】

サーバコンピューティングシステム３０６は、本明細書で説明する様々な動作を実行するように構成されたプロセッサ、および遠隔コンピューティングシステム３０２および車両２００から情報を受信し、そこに情報を提供するための無線通信インターフェースなどの、遠隔コンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含むことができる。上述の様々なシステムは、様々な動作を実行することができる。これらの動作と関連する機能について説明する。

【0078】

いくつかの実施例では、遠隔コンピューティングシステム（例えば、遠隔コンピューティングシステム３０２またはおそらくはサーバコンピューティングシステム３０６）は、２つのモードのうちの１つで動作し得る。これらのモードの第１は、本質的に、（車両および／または遠隔コンピューティングシステムの）人間のオペレータが車両に遠隔支援サポートを提供するための手段として機能し、特に、占有率の検出または乗客の識別信頼性が低いシナリオで機能し得る。遠隔コンピューティングシステムは、人間のオペレータがこのサポートをほぼリアルタイムで、またはリアルタイムよりも低い頻度で提供することを可能にし得る。

【0079】

これらの２つのモードの第２は、少なくとも、人間のオペレータに注意を喚起するための手段として役立つ。人間のオペレータは、車両の乗客または運転手であってもよいし、車両から遠隔に位置するが車両（およびおそらく他の車両も）に遠隔支援を提供する責任を負う第三者であってもよい。人間のオペレータが何人であるかに関係なく、人間のオペレータが最小限の遅延で最適な遠隔支援を提供できるように、人間のオペレータに注意を喚起することが望ましい。

【0080】

例えば、車両が一定時間（例えば、１時間）に遠隔支援を要求せず、したがって、車両に遠隔支援を提供するタスクを担当する人間のオペレータが遠隔支援行動を取得していないシナリオがあり得る。これは、人間のオペレータが疲労したり、そうでない場合に注意力が低下したりする場合に十分な長さである。これらのシナリオおよび他の可能なシナリオでは、この間、遠隔コンピューティングシステムを介して、警報を維持するために警報データを使用してオペレータに定期的にプロンプトを表示することが望ましい場合がある。警戒データは、確認済みまたは未確認の物体識別に関するアーカイブされた画像、音声、または映像など、確認済みまたは未確認の物体識別に関する生成された自然言語質問を含む様々な形態をとり得る。

【0081】

遠隔支援タスクはまた、人間のオペレータが車両の動作を制御する命令（例えば、識別された乗客に関連する特定の目的地へ走行するように車両に命令）を提供することを含み得る。いくつかのシナリオでは、車両自体が、物体の識別に関連する人間のオペレータのフィードバックに基づいて、自身の動作を制御することができる。例えば、車両の占有率が所望の占有率を満たしているという確認を受信すると、車両制御システムは、車両に乗客を要求された目的地まで安全に輸送させることができる。

【0082】

図３Ｂは、例示的なコンピューティングシステム３５０の例示的な構成要素を示す簡略ブロック図を示している。遠隔コンピューティングシステム３０２、またはおそらくはサーバコンピューティングシステム３０６の一方または両方は、コンピューティングシステム３５０の形態をとることができる。

【0083】

コンピューティングシステム３５０は、少なくとも１つのプロセッサ３５２およびシステムメモリ３５４を含むことができる。例示的な実施形態では、コンピューティングシステム３５０は、プロセッサ３５２およびシステムメモリ３５４、ならびにコンピューティングシステム３５０の他の構成要素を通信可能に接続し得るシステムバス３５６を含むことができる。所望の構成に依存して、プロセッサ３５２は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせを含むがこれらに限定されない任意の種類のプロセッサであり得る。さらに、システムメモリ３５４は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）またはそれらの任意の組み合わせを含むがこれらに限定されない、現在既知または今後開発される任意の種類のメモリであり得る。

【0084】

コンピューティングシステム３５０は、様々な他の構成要素を含むことができる。例えば、コンピューティングシステム３５０は、グラフィックディスプレイ３６０およびスピーカ３６２を（Ａ／Ｖポート３６４を介して）制御するためのＡ／Ｖ処理ユニット３５８、他のコンピューティングデバイス３６８に接続するための１つ以上の通信インターフェース３６６、および電源３７０を含み得る。

【0085】

グラフィックディスプレイ３６０は、ユーザインターフェースモジュール３６２によって提供される様々な入力領域の視覚的描写を提供するように配置することができる。例えば、ユーザインターフェースモジュール３６２は、ユーザインターフェースを提供するように構成されてもよく、グラフィックディスプレイ３６０は、ユーザインターフェースの視覚的描写を提供するように構成されてもよい。ユーザインターフェースモジュール３６２は、１つ以上のユーザインターフェースデバイス３６８からデータを受信し、データを送信する（または互換性がある）ようにさらに構成されてもよい。

【0086】

さらに、コンピューティングシステム３５０はまた、１つ以上のデータストレージデバイス３７４を含むことができ、これは、リムーバブルストレージデバイス、非リムーバブルストレージデバイス、またはそれらの組み合わせとすることができる。リムーバブルストレージデバイスおよび非リムーバブルストレージデバイスの例は、フレキシブルディスクドライブやハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタルビデオディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、および／または現在既知または今後開発される他のストレージデバイスを含む。

【0087】

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、また。は他のデータなどの情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含むことができる。例えば、コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリテクノロジー、ＣＤ−ＲＯＭ、デジタルビデオディスク（ＤＶＤ）またはその他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ディスクストレージデバイス、あるいは所望の情報を格納するために使用でき、コンピューティングシステム３００からアクセスできる現在既知または今後開発される任意の他の媒体の形態をとることができる。

【0088】

例示的な実施形態によれば、コンピューティングシステム３５０は、システムメモリ３５４（および／または場合によっては別のデータ記憶媒体）に格納され、プロセッサ３５２によって実行可能であり、図４に関して説明される機能を含むがこれらに限定されない、本明細書で説明される様々な機能を促進する。プログラム命令３７６を含むことができる。コンピューティングシステム３５０の様々な構成要素は分散構成要素として示されているが、そのような構成要素はいずれも、コンピューティングシステムの所望の構成に従って物理的に統合および／または分散され得ることを理解されたい。

【0089】

図４は、例示的な実施態様による車両の占有率確認方法のフローチャートである。方法４００は、ブロック４０２、４０４、４０６、および４０８のうちの１つ以上によって示すように、１つ以上の動作、機能、または行動を含み得る例示的な方法を表し、それぞれが他の可能なシステムの中で図１、２、３Ａ、３Ｂに示すシステムのいずれかによって実行される。

【0090】

当業者は、本明細書で説明されるフローチャートが本開示の特定の実施態様の機能および動作を示すことを理解するであろう。これに関して、フローチャートの各ブロックは、プロセス内の特定の論理機能またはステップを実施するための１つ以上のプロセッサによって実行可能な１つ以上の命令を含むモジュール、セグメント、またはプログラムコードの一部を表してもよい。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージデバイスなど、任意の種類のコンピュータ可読媒体に保存されてもよい。

【0091】

さらに、各ブロックは、プロセス内の特定の論理機能を実行するために配線される回路を表すことができる。当業者によって理解されるように、代替の実施態様は、本出願の例示的な実施態様の範囲内に含まれ、機能は、示されているかまたは議論されているものから順不同で実行され得、関連する機能に依存して、実質的に同時または逆の順序を含む。

【0092】

プロック４０２で、方法４００は、車両内に位置付けられたカメラから、車両内側の占有率を表す画像を受信することを含む。上述のように、車両の車両制御システムまたは他のシステムは、車両制御システムまたは他のシステムが支援を求める状況に遭遇する場合がある。特に、車両制御システムは、１つ以上の他のコンピューティングシステムに支援要求を提出することができる。他のコンピューティングシステムまたはコンピューティングシステムを使用する人間のオペレータが支援を提供できるようにするため、車両制御システムはまた、支援要求とともに画像やその他のセンサデータなどの情報をコンピューティングシステムに提供することができる。結果として、コンピューティングシステムは、提供された情報を利用するか、または車両を支援するために人間のオペレータが使用するための情報を表示することができる。

【0093】

いくつかの例示的な実施態様では、車両制御システムは、車両内側の占有率を表す１つ以上の画像を他の１つ以上のコンピューティングシステムに提供することができる。画像は、車両内部を示してもよく、コンピューティングシステムまたは人間のオペレータが、車両の現在の占有率が所望の占有率を満たすかどうかを決定するのに役立つことを可能にし得る。例えば、コンピューティングシステムは、カメラが車両内部を示す画像を捕捉するように、車両内部に取り付けられた車両カメラから画像を受信してもよい。

【0094】

さらなる実施例では、コンピューティングシステムは、車両カメラシステムの１つ以上のカメラから捕捉された複数の画像を受信してもよい。例えば、コンピューティングシステムはまた、第１のカメラから車両内側の占有率を示す第１の画像を受信し、第２のカメラから占有率を示す第２の画像を受信することができる。実施例では、第１のカメラおよび第２のカメラは、各カメラが車両内部の同じ領域を示す画像を捕捉するような向きを有してもよく、または画像が車両内部の異なる部分を示すように異なる向きを有してもよい。

【0095】

加えて、いくつかの例示的な実施態様では、コンピューティングシステムは、車両制御システムから追加情報を受信することができる。例えば、車両制御システムは、コンピューティングシステムに音声データを送信することができる。音声データは、１つ以上のマイクロフォンによって車両内部で捕捉された音、音声、およびその他のノイズに対応することができる。したがって、コンピューティングシステムは、対応する画像の有無にかかわらず音声データを受信することができる。

【0096】

さらなる実施例では、コンピューティングシステムは、車両制御システムから他の種類の情報（例えば、異なるセンサ測定値）を受信することができる。特に、センサは、種類、検出方法、車両に対する配置、捕捉された情報、ならびに他の潜在的なパラメータにおいて異なり得る。例えば、コンピューティングシステムは、センサ（例えば、カメラ、モーションセンサ）の組み合わせから車両の現在の占有率を示すのに役立つ情報を受信することができる。

【0097】

実施例では、車両から画像またはその他のデータを受信するコンピューティングシステムの位置が異なる場合がある。例えば、いくつかの実施例では、コンピューティングシステムは、車両から離れた遠隔場所に位置を有し得る。遠隔位置では、コンピューティングシステムは、車両制御システムまたは車両の別のシステムとの無線通信を使用して画像と情報を受信することができる。他の実施例では、コンピューティングシステムは、車両内に位置付けることができ、有線接続を介して車両制御システムまたは車両の別のシステムから情報を受信することができる。コンピューティングシステムが車両内に位置付けられると、コンピューティングシステムは、１人以上の乗客が入力を提供し、車両制御システムまたは車両の他のシステムからの出力を観察することを可能にし得る。さらなる実施例では、車両制御システムは、車両内に位置付けられたコンピューティングシステムおよび車両からの遠隔場所に位置付けられたコンピューティングシステムを含み得る複数のコンピューティングシステムと通信することができる。

【0098】

実施例では、車両内側の占有率を示す画像または他のセンサデータは、車両の現在の占有率または以前の測定値を表すことができる。例えば、いくつかの実施例では、車両制御システムは、車両によって以前の乗客に提供された以前の輸送中に捕捉された画像を提供することができる。他の実施例では、車両制御システムは、車両の現在の占有率および状況を示し得る画像および他の情報を提供してもよい。

【0099】

ブロック４０４で、方法４００は、画像の受信に応答して、ディスプレイインターフェース上に画像を表示することを含む。車両制御システムまたは車両の他のシステムから画像またはその他の情報を受信した後、コンピューティングシステムは、他のオプションの中でも特に、発光ダイオードディスプレイ（ＬＥＤ）またはタッチスクリーンなどのディスプレイインターフェースを介して画像およびその他の情報を表示するように構成することができる。情報を表示することに加えて、コンピューティングシステムはまた、人間のオペレータが情報を操作することを可能にし得るインターフェースを含むことができる。例えば、インターフェースは、人間のオペレータがコンピューティングシステムによって表示される画像または情報の特定の部分に焦点を合わせることを可能にし得る。

【0100】

いくつかの実施例では、コンピューティングシステムは、画像を表示する前に、コンピュータビジョンまたは他の技術を使用して車両から受信した着信画像を処理することができる。一実施例として、コンピューティングシステムは、コンピュータビジョンを使用して、画像内に示された乗客に焦点を合わせてもよい。他の実施例では、コンピューティングシステムは、コンピュータソフトウェアを利用して、受信した画像の他の態様に焦点を合わせることができる。

【0101】

加えて、コンピューティングシステムは、コンピュータビジョンをさらに使用して、車両内側の現在の占有率が所望の占有率を満たしていることを確認するのに役立つか、信号または他のマーカーを介して画像を見る人間のオペレータをガイドするのに役立つことができる。例えば、コンピューティングシステムは、コンピュータビジョンを使用して、車両から受信した所与の画像内に捕捉された各乗客の顔の周りにボックスを配置してもよい。

【0102】

いくつかの実施例では、コンピューティングシステムはまた、車両から受信した１つ以上の画像を修正して、表示時に１つ以上の拡張グラフィックスをさらに含めることができる。例えば、コンピューティングシステムは、車両の場所を示すグラフィックテキストを含む拡張グラフィックスを追加するか、または車両制御システムが車両内側に存在すると推定した乗客の数を示すことができる。別の実施例では、コンピューティングシステムは、人間のオペレータが回答するために車両制御システムによって提供される要求を指示するテキストを含んでもよい。例えば、コンピューティングシステムは、車両制御システムが車両内側に存在すると推定した乗客の数が正確であることを確認または拒否するように人間のオペレータに要求するテキストを含んでもよい。したがって、コンピューティングシステムは、修正された画像および他の情報をディスプレイインターフェースに表示してもよい。

【0103】

さらなる実施例では、コンピューティングシステムはまた、システムインターフェースを介して他のセンサデータ、音声データ、または他の情報を提供することができる。例えば、コンピューティングシステムは、視聴覚形式の音声データと画像を提供してもよい。さらなる実施例ではまた、コンピューティングシステムは、車両の乗客がほぼリアルタイムでコンピューティングシステムを介して人間のオペレータと通信できるように、人間のオペレータが、車両の音声システムまたは視聴覚システムとほぼリアルタイムの無線通信を行うことを可能にし得る。

【0104】

ブロック４０６で、方法４００は、占有率が所望の占有率を満たしていることを確認するオペレータ入力を受信することを含む。車両の占有率を表す画像または他のセンサデータを表示した後、コンピューティングシステムは、人間のオペレータからオペレータ入力を受信することができる。特に、人間のオペレータは、支援を提供するために、コンピューティングシステムを使用して車両から受信した画像やその他の情報を確認する人に対応することができる。

【0105】

コンピューティングシステムで受信されるオペレータ入力は、元々車両によって提供された支援要求に依存する場合がある。例えば、車両制御システムが、現在の占有率が車両の現在の所望の占有率を満たしているかどうかの確認を求める要求をコンピューティングシステムに送信する状況では、コンピューティングシステムは、現在の占有率が所望の占有率を満たしていることを確認または拒否するオペレータ入力を受信することができる。同様に、車両制御システムからの元の要求が、過去の占有率が過去の所望の占有率を満たしていることを確認する支援を求める場合、オペレータ入力は、過去の占有率が以前の所望の占有率を満たしたかどうかを確認することができる。例えば、オペレータ入力は、車両が最近完了した乗車要求において、要求されたとおりに車両が正しい数の乗客を輸送したことを確認してもよい。

【0106】

いくつかの実施例では、車両からの支援要求は、１人以上の乗客の身元または乗客プロファイルの確認などの追加情報を要求する場合がある。車両制御システムは、乗客の識別物または乗客プロファイルを使用して、他の可能性の中でも、正しい乗客が車両にいることを確認するのに役立つか、乗客を降車させるための最終目的地を決定するか、設定を調整するか、または乗車料の支払いを促すことができる。したがって、車両からコンピューティングシステムにおいて受信した支援要求が追加情報を要求する状況では、コンピューティングシステムは、追加情報を提供するオペレータからオペレータ入力を受信することができる。例えば、オペレータ入力により、車両内の１人以上の乗客の身元または乗客プロファイルを確認することができる。

【0107】

他の実施例では、オペレータ入力は、車両内の乗客の位置を識別し、または乗客がシートベルトを使用して座屈して輸送の準備ができていることを示すなど、他の情報を提供することができる。さらなる実施例では、オペレータ入力は、車両が利用するために、またはコンピューティングシステムがその所与の支援要求に関連してメモリに保存するために人間のオペレータが自発的に提供した追加情報を含んでもよい。

【0108】

コンピューティングシステムは、実施例内の様々な種類のインターフェースを使用してオペレータ入力を受信することができる。例えば、コンピューティングシステムは、人間のオペレータがコンピューティングシステムに入力を提供することを可能にし得るタッチスクリーンまたは他の物理的インターフェースを含むことができる。加えて、コンピューティングシステムはまた、他の可能性の中でも、マイクロフォンまたはモーションセンサを使用して、人間のオペレータからも動きまたは音声入力を受信することができる。

【0109】

人間のオペレータはまた、実施例によって異なる場合がある。例えば、状況によっては、人間のオペレータは、単一の車両または複数の車両に支援を提供するように割り当てられた人である場合がある。一実施例として、人間のオペレータは、１つ以上の車両からの遠隔場所でコンピューティングシステムを使用する人であってもよく、特定の地理的エリア（例えば、都市の制限内）で動作する車両群に支援を提供するために割り当てられてもよい。

【0110】

別の実施例では、人間のオペレータは、車両または車両の動作に対する権利の所有者であり得る。例えば、車両制御システムは、人間のオペレータが他の潜在的な乗客の輸送を行うために車両を貸している状況で、人間のオペレータからの支援を求めてもよい。

【0111】

さらなる実施例では、コンピューティングシステムを使用する人間のオペレータは、支援を要求している車両内の乗客であってもよい。特に、車両の車両制御システムは、有線または無線接続を介してコンピューティングシステムを介して人間のオペレータと通信することができる。したがって、人間のオペレータとして機能する乗客は、車両の現在の占有率が所望の占有率（例えば、輸送を要求するすべての乗客が車両内にいる）を満たしているかどうかを確認するのに役立ち得る。状況によっては、乗客は、身元情報、降車先の目的地、または支払い関連情報などの追加情報を車両制御システムに提供することができる。

【0112】

上記のように、オペレータ入力は、車両の占有率が所望の占有率を満たしているかどうかを確認できる。実施例では、所望の占有率は変化する場合があり、車両によって実行される乗車要求、車両の種類などの様々な要因に依存する場合がある。例えば、状況によっては、所望の占有率は、車両が乗客を輸送し始める前に車両制御システムが車両を占有すると予想する乗客の量を表してもよい。

【0113】

一実施例として、車両は、全体で３人の乗客の輸送を求める潜在的な乗客からの乗車要求を満たすために派遣されてもよい。したがって、乗客の乗車場所に到着すると、車両制御システムは、３人の乗客が実際に車両を占有していることを確認するまで、乗客の輸送を待機してもよい。そのような状況では、車両制御システムは、３人の乗客が車両内に位置付けられているかどうかを確認して、所望の占有率が満たされていることを確認するために、人間のオペレータに支援を要求する場合がある。

【0114】

別の例示的な実施態様では、車両制御システムは、車両が自律制御動作を実行する前に少なくとも１人の乗客が車両を占有することを要求するように所望の占有率を設定することができる。次に、少なくとも１人の乗客を待機することにより、車両制御システムは、車両からの輸送を要求した１人以上の乗客が車両内で準備ができる前に、乗車場所から離れることを控える場合がある。したがって、人間のオペレータは、車両が提供する画像またはその他の情報を確認して、車両に少なくとも１人の乗客が含まれているかどうかを確認することができる。

【0115】

さらなる例示的な実施態様では、車両制御システムは、車両の現在の占有率が、複数の乗客（例えば、少なくとも２人の乗客）を含む所望の占有率を満たすことを要求することができる。例えば、合計３人の乗客を乗車場所から目的地まで輸送するように乗客が車両を事前予約した状況では、所望の占有率では、車両が自律運転を実行する前に３人の乗客が車両内側に位置する必要があり得る。

【0116】

ブロック４０８で、方法４００は、コンピューティングシステムから車両に占有率確認を送信することを含む。コンピューティングシステムは、車両制御システムまたは車両の別のシステムに占有率確認または他の情報を送信してもよい。

【0117】

いくつかの実施例では、コンピューティングシステムから占有率確認または他の情報を受信すると、車両制御システムは、車両に１つ以上の自動運転操作を実行させてもよい。例えば、車両制御システムは、車両内側の現在の占有率が所望の占有率を満たしていると決定した後に、乗客が要求する１つ以上の目的地に１人以上の乗客を自律的に輸送することができる。

【0118】

上述のように、コンピューティングシステムは、例内の様々な方法で車両（例えば、車両制御システム）に占有率確認を提供することができる。いくつかの実施例では、コンピューティングシステムは、車両への無線通信を介して占有率確認を送信することができる。無線通信の種類は、車両の受信システムに対するコンピューティングシステムの近接度に依存する場合がある。他の実施例では、コンピューティングシステムは、車両との有線接続を確立してもよい。例えば、コンピューティングシステムが車両内または近くに位置付けられている状況では、コンピューティングシステムは車両に接続し、有線接続を介して占有率確認を提供してもよい。

【0119】

上述のように、車両は占有率確認に応答して自律動作を実行することができる。占有率確認が、占有率が所望の占有率を満たすことができないことを示す場合、車両は、特定の操作を実行するように構成されてもよい。例えば、車両は、占有率が所望の占有率を満たすことを示す別の確認をコンピューティングシステムから受信するまで静止したままであってもよい。他の実施例では、車両は、走行中に停止するか、占有率が所望の占有率を満たしていないという表示の受信に応答して別の動作を実行することができる。さらなる実施例では、車両は、潜在的な乗客からの別の乗車要求を受け入れ、占有率が所望の占有率を満たしていないという表示の受信に応答してその乗客を乗車させてもよい。

【0120】

他の実施例では、車両は、占有率が所望の占有率を満たしているという確認の受信に応答して、１つ以上の自律動作を実行することができる。例えば、コンピューティングシステムから確認を受信すると、車両は、１人の乗客または複数の乗客を１つ以上の所望の場所（例えば、１人以上の乗客のために要求された降車場所）にナビゲートおよび輸送することができる。一実施例として、車両は、第１の乗客によって要求された第１の降車場所で第１の乗客を降車させ、第２の乗客によって要求された第２の降車場所で第２の乗客を降車させてもよい。この実施例では、場合によっては、車両制御システムは、コンピューティングシステムに要求を提出して、第１の降車場所に到達した後に現在の占有率を確認し、第２の降車場所へ走行する前に第１の乗客が車両を出たことを確認してもよい。

【0121】

さらなる例示的な実施態様では、方法４００は、車両内の動きを示すセンサデータを受信し、それに応じてカメラに信号を送信して１つ以上の画像を捕捉することをさらに含むことができる。例えば、コンピューティングシステムは、車両内に位置付けられた近接センサから車両内の動きを示すセンサデータを受信してもよい。それに応答して、コンピューティングシステムは、車両カメラシステムに信号を送信して、車両内部を示す１つ以上の画像を捕捉して提供してもよい。追加の実施例では、車両制御システムは、車両内の動きを示すセンサデータを受信し、カメラシステムに車両内部を示す画像を捕捉させてもよい。車両制御システムは、支援要求とともに画像をコンピューティングシステムに応じて提供してもよい。

【0122】

別の例示的な実施態様では、方法４００は、車両内の乗客の存在を示し得る触覚センサからセンサデータを受信することをさらに含むことができる。例えば、コンピューティングシステムまたは車両制御システムは、１つ以上のシートベルトの使用または座席に位置付けられた触覚センサからの測定値を示すセンサデータを受信してもよい。したがって、センサデータを使用して、車両内の現在の占有率が所望の占有率を満たしているかどうかを確認することができる。さらなる実施例では、コンピューティングシステムまたは車両制御システムは、車両内の１つ以上のシートベルトの使用の検出に応答して、カメラに車両内部を示す１つ以上の画像を捕捉させてもよい。

【0123】

さらなる例示的な実施態様では、車両制御システムから情報および支援要求を受信するコンピューティングシステムは、人間のオペレータからの入力に依存することなく支援を提供することができる。特に、コンピューティングシステムは、着信画像または他のセンサ情報を処理して、車両の占有率が所望の占有率を満たしているかどうかを確認するのに役立ち得る。さらなる実施例では、コンピューティングシステムはまた、車両制御システムによって要求された場合に、車両を占有している１人以上の乗客を識別する支援を提供することができる。例えば、コンピューティングシステムは、１人以上の乗客を識別するために、乗客の画像を潜在的な乗客の画像を含むデータベースと比較できるソフトウェアを利用してもよい。データベースは、車両サービスを利用した以前の乗客またはデータベースに情報を提供した乗客に基づいて作成することができる。いくつかの実施例では、人間のオペレータは、車両を占有する１人以上の乗客の身元または乗客プロファイルを決定する場合にデータベースを使用できる。

【0124】

いくつかの例示的な実施態様では、支援を要求するとき、車両制御システムは、自然言語質問を生成し、コンピューティングシステムに提供することができる。例えば、車両制御システムは、「現在、車両を占有している３人の乗客がいるか？」または「これは乗客の『名前』か？」などの質問でコンピューティングシステムに問い合わせることができる。次に、コンピューティングシステムは、人間のオペレータが１つ以上の質問を表示して、「はい」または「いいえ」の確認を表示し、車両制御システムに送り返すことができる。「はい」または「いいえ」の確認に関連付けられたバイナリ形式は、車両制御システムがそれに応答して適切な自律動作を続行することを可能にし得る。さらなる実施例では、コンピューティングシステムは、支援要求がコンピューティングシステムを使用する人間のオペレータに対する自然言語質問として現れるように、車両制御システムからの支援要求を定式化することができる。

【0125】

さらなる実施例では、車両制御システムは、乗客のデバイス間の通信の確立を試みることにより、乗客に関する追加情報を収集することができる。例えば、車両制御システムは、乗客のデバイス（例えば、スマートフォン、ウェアラブルコンピューティングデバイス）との接続を確立することを要求する問い合わせを送信することができる。接続を確立すると、車両制御システムは、特定の乗客が車両内にいると決定し、乗客に追加情報（例えば、車両の使用に関連する乗客のプロファイル）を要求することができる。接続は、ブルートゥース、ＷｉＦｉ、または別の形式のピアツーピア通信を使用して確立することができる。例えば、車両制御システムは、特定の音声信号を送信することにより乗客のデバイスと接続し、そのデバイスは接続を確立することにより応答する。

【0126】

いくつかの例示的な実施態様では、車両制御システムまたは車両の他のシステムは、車両制御システムによって行われた決定が閾値信頼レベル未満で失敗したという決定に応答して、１つ以上のコンピューティングシステムに支援要求を提出してもよい。例えば、車両制御システムは、３人の乗客が現在車両を占有していると推定してもよいが、推定が所定の閾値信頼レベルを下回ると決定してもよい。それに応答して、車両制御システムは、３人の乗客が現在車両を占有しているかどうかを確認するために支援要求を送信することができる。車両制御システムは、他の状況でも同様の要求を送信することができる。例えば、車両を占有している乗客の乗客プロファイルを識別しようとするとき、車両制御システムは、識別プロセスが閾値信頼レベルを下回る信頼レベルをもたらす場合に支援を求めてもよい。

【0127】

いくつかの例示的な実施態様では、単一のセンサまたは複数のセンサは、車両内部の画像を捕捉してコンピューティングシステムに送信するために内部カメラをトリガするセンサデータを捕捉することができる。例えば、カメラは、車両内の音声（例えば、乗客の声）を検出するマイクロフォンに応答して、車両内部の画像を捕捉することができる。別の実施例では、カメラは、車両に入る１人以上の潜在的な乗客の画像を捕捉する外部カメラに応答して、車両の占有率を示す画像を捕捉することができる。例えば、車両システムは、外部カメラで捕捉された画像を分析し、１つ以上の内部カメラに信号を送信して、車両の現在の占有率を示す画像を捕捉してもよい。

【0128】

図５は、例示的な実施態様による、車両２００内部の概念図５００である。車両２００は、車両制御システムが支援要求とともに別のコンピューティングシステムに提供する情報を収集するために利用し得る構成要素を含む。例えば、車両は、人間のオペレータが車両の占有率が所望の占有率を満たしているかどうかを決定するために確認および利用する別のコンピューティングシステムによって表示できる画像および音声を捕捉し得るカメラ５０８およびマイクロフォン５１０を含む。

【0129】

図５に示すように、車両２００内部は、触覚センサ５０４ならびにマルチメディアシステム５０６、カメラ５０８、およびマイクロフォン５１０で構成される操舵ホイール５０２を含む。これらのセンサは、車両２００の現在の占有率を表す情報を捕捉および提供し得る潜在的なセンサを表す。構成要素を組み合わせた実施態様を含む、追加の構成が可能である。例えば、マルチメディアシステム５０６、カメラ５０８、およびマイクロフォン５１０は、別個の構成要素ではなく、単一のシステムとして動作し得る。

【0130】

操舵ホイール５０２に結合された触覚センサ５０４は、車両２００内側の乗客の存在を示す操舵ホイール５０２を掴む乗客の手を検出することができる。例えば、触覚センサ５０４は、車両２００が自律動作と手動動作とを切り替えることができる状況で車両２００の占有率を表すのを支援することができる。さらなる実施例では、車両２００が手動モードで動作するように構成されている場合、触覚センサ５０４は運転者の存在を示してもよい。いくつかの実施態様では、車両２００は、操舵ホイール５０２を欠いている場合がある。その結果、車両２００は、他の位置に触覚センサ５０４を含んでもよい。

【0131】

さらなる実施例では、触覚センサ５０４は、少なくとも１人の潜在的な乗客の存在を検出してもよい。乗客の検出の受信に応答して、車両制御システムは、１つ以上のカメラ５０８に車両２００内部を示す画像を捕捉させてもよい。

【0132】

車両２００の中央に位置付けられて示されるマルチメディアシステム５０６は、乗客が車両２００の現在のマルチメディア設定を変更することを可能にし得る音声および映像要素を含むことができる。マルチメディアシステム５０６の構成要素は、車両２００の占有率を示し得る情報を捕捉してもよい。例えば、マルチメディアシステム５０６は、乗客が温度、音声（例えば音楽）またはマルチメディアシステム５０６により生成される視聴覚などの車両２００の設定を調整するとき、少なくとも１人の乗客の存在を検出することができる。マルチメディアシステム５０６での修正に応答して、１つ以上のカメラ５０８は、車両２００の現在の占有率を示す画像を捕捉するように構成され得る。

【0133】

場合によっては、マルチメディアシステム５０６は、車両２００の他のセンサによって捕捉されたデータを統合することができる。例えば、マルチメディアシステム５０６は、カメラ５０８によって捕捉された映像およびマイクロフォン５１０によって捕捉された音声を利用することができる。さらなる実施例では、マルチメディアシステム５０６は、乗客が他のコンピューティングデバイス（例えば、遠隔コンピューティングシステム３０２）との無線通信に従事することを可能にし得る。例えば、乗客は、コンピューティングシステム３０２に位置付けられた人間のオペレータとの視聴覚通信に従事してもよい。これにより、乗客は、コンピューティングシステムのオペレータに支援を要求することができる。

【0134】

カメラ５０８は、車両２００の現在の占有率を表す画像または映像を捕捉および伝達することができ、これにより、人間のオペレータが車両２００内部を見ることを可能にし得る。したがって、人間のオペレータは、車両２００を占有する乗客の数を決定し、または１人以上の乗客を識別することを支援し得る。カメラ５０８の向きおよび位置は、実施例内で異なり得る。

【0135】

加えて、車両２００内部に位置付けられたマイクロフォン５１０は、乗客の声または他の音声（例えば、乗客がマルチメディアシステム５０６で音楽をオンにする）を含む、車両２００内で発生する音声を捕捉することができる。情報は、マイクロフォン５１０によって捕捉された異なる音声に基づいて複数の乗客の存在を伝達してもよい。

【0136】

図６は、例示的な実施態様による、車両２００内部の別の概念図６００である。図５に示される表現と同様に、概念図６００は、別のコンピューティングシステムに情報を提供するために使用できる車両２００のセンサのレイアウトを表し、人間のオペレータが車両２００の車両制御システムを支援するために使用することを可能にし得る。したがって、車両２００内部には、カメラ６０２、マルチメディアシステム６０４、シートベルトセンサ６０６、および車両２００の座席内に位置付けられた触覚センサ６０８が含まれる。カメラ６０２およびマルチメディアシステム６０４は、図５に関して説明したカメラ５０８およびマルチメディアシステム５０６と同様である。

【0137】

シートベルトセンサ６０６は、シートベルトの使用に基づいて車両２００内側の乗客の存在を検出することができる。特に、各シートベルトセンサ６０６は、乗客がシートベルトを使用したことを検出することができる。シートベルトセンサ６０６がレセプタクルに示されているが、それらは実施例内の他の位置（例えば、シートベルトのストラップ上）を有してもよい。カメラ６０２は、乗客による使用を検出するシートベルトセンサ６０６に応答して、車両２００内部を示す１つ以上の画像／映像を捕捉するためにトリガされてもよい。さらなる実施例では、車両制御システムは、現在使用中のシートベルトの数に基づいて、車両２００を現在占有している乗客の数を予測することができる。

【0138】

車両２００の座席は、車両２００内の乗客の存在を測定し得る触覚センサ６０８を含む。場合によっては、触覚センサ６０８は、乗客の体重を示す情報を提供することができ、これは、遠隔の人間のオペレータが乗客に関する追加情報（例えば、乗客が大人か子供か）を決定するのに役立ち得る。カメラ６０２は、触覚センサ６０８が乗客の存在を検出することに応答して、車両２００内部を示す１つ以上の画像／映像を捕捉するためにトリガされてもよい。さらなる実施例では、車両制御システムは、触覚センサ６０８を使用して乗客を検出する座席の数に基づいて、車両２００を現在占有している乗客の数を予測してもよい。

【0139】

いくつかの例示的な実施態様では、車両制御システムによって１つ以上の他のコンピューティングシステムに提供される占有率情報は、車両２００外部に位置付けられた１つ以上のセンサからの測定値を含むことができる。例えば、図７は、カメラ７０２、ドアハンドルセンサ７０４、および近接センサ７０６を示す車両２００外部の概念図７００である。車両２００のこれらの外部センサは、車両２００の占有率が所望の占有率を満たすかどうかの決定を支援するのに役立ち得る、車両２００に出入りする乗客に関する情報を捕捉するように構成されてもよい。他の実施例では、車両２００外部は、他の潜在的な構成で配置されたより多い、またはより少ないセンサを有してもよい。

【0140】

各カメラ７０２は、車両２００の単一のドアまたは複数のドアの近くのエリアの画像を捕捉するように位置付けられてもよい。そのような構成により、カメラ７０２は、車両２００に出入りする乗客の画像および／または映像を捕捉することができる。その結果、コンピューティングシステム３０２は、カメラ７０２から車両２００の１つ以上のドアを介して車両２００に入る１人以上の乗客の画像および／または映像を受信することができる。例示的な実施態様では、車両２００に出入りする１人以上の乗客の画像を捕捉する１つ以上のカメラ７０２に応答して、車両２００内部を示す画像を捕捉するように内部カメラを構成することができる。

【0141】

ドアハンドルセンサ７０４は、車両２００のドアを開いて入る乗客の手を検出することができる。車両２００は、同様に、ドアの内部ハンドルに位置付けられたドアハンドルセンサを含んでもよい。近接センサ７０６は、地面に近い車両２００のベース部に位置付けられて示されている。ドアハンドルセンサ７０４と同様に、近接センサ７０６は、乗客が車両２００に近づくにつれて潜在的な乗客の存在を検出することができる。さらなる実施例では、外部カメラは、車両の環境に十分な照明がない場合（夜間など）に車両に出入りする乗客の画像をカメラが捕捉することを可能にするレンズおよびその他の要素を有してもよい。いくつかの実施例では、車両２００に出入りする乗客を検出するドアハンドルセンサ７０４または近接センサ７０６に応答して、画像および音声を捕捉するように内部カメラおよびマイクロフォンを構成することができる。

【0142】

例えば、車両からの遠隔場所に位置付けられたコンピューティングシステム（例えば、遠隔コンピューティングシステム３０２）は、車両の少なくとも１つのセンサから占有率情報を受信することができる。遠隔コンピューティングシステム３０２は、占有率情報を利用して無線通信を介して車両の１つ以上のシステムと通信し得る人間のオペレータに関連付けられてもよい。

【0143】

図８は、例示的な実施態様によるコンピュータプログラムの概略図である。いくつかの実施態様では、開示された方法は、機械可読形式の非一時的コンピュータ可読記憶媒体、あるいは他の非一時的媒体または製品上に符号化されたコンピュータプログラム命令として実施することができる。

【0144】

例示的な実施態様では、コンピュータプログラム製品８００は、１つ以上のプロセッサによって実行されると、図１〜７に関して上記で説明した機能または機能の一部を提供し得る１つ以上のプログラミング命令８０４を含む信号担持媒体８０２を使用して提供される。

【0145】

いくつかの実施例では、信号担持媒体８０２は、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリ、遠隔（クラウドなど）に保存する構成要素などの、非一時的コンピュータ可読媒体８０６を包含してもよい。いくつかの実装形態では、信号担持媒体８０２は、メモリ、読み取り／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなど（これらに限定されない）のコンピュータ記録可能媒体８０８を包含してもよい。

【0146】

いくつかの実施態様では、信号担持媒体８０２は、限定ではないが、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）などの通信媒体８１０を包含してもよい。同様に、信号担持媒体８０２は、遠隔ストレージ（例えば、クラウド）に対応してもよい。コンピューティングシステムは、情報の送信または受信など、クラウドと情報を共有できる。例えば、コンピューティングシステムは、クラウドから追加情報を受信して、センサまたは別のエンティティから取得した情報を増やすことができる。したがって、例えば、信号担持媒体８０２は、通信媒体８１０の無線形態により伝達されてもよい。

【0147】

１つ以上のプログラミング命令８０４は、例えば、コンピュータ実行可能命令および／またはロジック実施命令であってもよい。いくつかの実施例では、図１のコンピュータシステム１１２などのコンピューティングデバイスは、コンピュータ可読媒体８０６、コンピュータ記録可能媒体８０８、および／または通信媒体８１０のうちの１つ以上によってコンピュータシステム１１２に伝達されたプログラミング命令８０４に応答して、様々な動作、機能、または行動を提供するように構成することができる。

【0148】

非一時的コンピュータ可読媒体はまた、複数のデータストレージ要素および／またはクラウド（例えば、遠隔）に分散することができ、それらは互いに遠隔に位置してもよい。格納された命令の一部またはすべてを実行するコンピューティングデバイスは、図２に示す車両２００などの車両であってもよい。あるいは、格納された命令の一部またはすべてを実行するコンピューティングデバイスは、サーバなどの別のコンピューティングデバイスであってもよい。

【0149】

上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、および方法の様々な特徴および機能を説明している。本明細書では様々な態様および実施形態が開示されたが、他の態様および実施形態も明らかであろう。本明細書で開示される様々な態様および実施形態は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲は添付の特許請求の範囲によって示される。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】