特許 7426471 自動運転車インタラクションシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-24

(45)【発行日】2024-02-01

(54)【発明の名称】自動運転車インタラクションシステム

(51)【国際特許分類】

   B60Q 1/50 20060101AFI20240125BHJP

   G08G 1/16 20060101ALI20240125BHJP

   B60Q 1/26 20060101ALI20240125BHJP

   G06V 10/22 20220101ALI20240125BHJP

   G06V 20/52 20220101ALI20240125BHJP

   G06V 40/20 20220101ALI20240125BHJP

【ＦＩ】

B60Q1/50 Z

G08G1/16 C

B60Q1/26 Z

G06V10/22

G06V20/52

G06V40/20

【請求項の数】 20

(21)【出願番号】P 2022504134

(86)(22)【出願日】2019-08-09

(65)【公表番号】

(43)【公表日】2022-11-29

(86)【国際出願番号】 US2019046045

(87)【国際公開番号】W WO2021029860

(87)【国際公開日】2021-02-18

【審査請求日】2022-07-22

(73)【特許権者】

【識別番号】592051453

【氏名又は名称】ハーマン インターナショナル インダストリーズ インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】クラッツ， スヴェン

(72)【発明者】

【氏名】ヴァーベック， ジョセフ

(72)【発明者】

【氏名】マルティ， ステファン

【審査官】塩治 雅也

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１６４３４４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１５３７１４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１６７６４８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／００４３１７３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｑ １／００－１／５６

Ｇ０８Ｇ １／１６

Ｇ０６Ｖ １０／２２

Ｇ０６Ｖ ２０／５２

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

自動運転車とのインタラクションを容易にするためのシステムであって、前記システムは、
前記自動運転車に含まれ、投影ヘイリングエリアに対応するセンサデータを生成するように構成されたセンサと、
前記自動運転車に含まれ、前記自動運転車に近接する表面に前記投影ヘイリングエリアを生成するように構成された投影システムであって、前記投影ヘイリングエリアは、乗車を要求するために人が入らなければならないエリアを示す、投影システムと、
前記自動運転車に含まれるプロセッサであって、前記プロセッサは、
前記投影システムが前記投影ヘイリングエリアを投影した後に、
前記センサデータを分析して、前記投影ヘイリングエリア内の人を検出すること、及び、
前記投影ヘイリングエリア内の前記人を検出したことに応じて、確認応答インジケータを出力させること
を行うための命令を実行するように構成されている、プロセッサと
を備える、システム。

【請求項2】

前記プロセッサは、前記投影システムに、前記自動運転車に近接する前記表面上に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、請求項１に記載のシステム。

【請求項3】

前記プロセッサは、前記投影システムに、前記自動運転車が指定された場所の近くに位置していることを検出したことに応じて、前記自動運転車に近接する前記表面上に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、請求項２に記載のシステム。

【請求項4】

前記プロセッサは、前記投影システムに、前記自動運転車が前記人に対して移動している間に、前記表面の静止部分に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、請求項２に記載のシステム。

【請求項5】

前記プロセッサは、前記指定された場所で特定の乗り手をピックアップするための命令を受信したことに応じて、前記自動運転車に前記指定された場所まで運転させるための命令を実行するようにさらに構成されている、請求項３に記載のシステム。

【請求項6】

前記プロセッサは、乗車要求が前記投影ヘイリングエリア内の前記人によって実行されることを判定するための命令を実行するようにさらに構成されている、請求項１に記載のシステム。

【請求項7】

前記乗車要求は、前記投影ヘイリングエリア内の前記人によって実行される身体的ジェスチャを含む、請求項６に記載のシステム。

【請求項8】

前記プロセッサは、前記センサからの画像データに基づいて前記乗車要求を判定するための前記命令を実行するように構成されている、請求項７に記載のシステム。

【請求項9】

前記乗車要求は、前記投影ヘイリングエリア内の前記人による口頭の発話を含む、請求項６に記載のシステム。

【請求項10】

前記プロセッサは、前記センサに含まれる少なくとも１つのマイクロフォンからの音声データに基づいて前記乗車要求を判定するための前記命令を実行するように構成されている、請求項９に記載のシステム。

【請求項11】

自動運転車とのインタラクションを容易にするためのシステムであって、前記システムは、
前記自動運転車に近接する表面に投影ヘイリングエリアを生成するように構成された投影システムであって、前記投影ヘイリングエリアは、乗車を要求するために人が入らなければならないエリアを示す、投影システムと、
前記投影ヘイリングエリアに対応するセンサデータを生成するように構成されたセンサと、
プロセッサであって、前記プロセッサは、
前記投影システムが前記投影ヘイリングエリアを投影した後に、
前記センサからセンサ入力を受信すること、
前記センサ入力に基づいて、前記投影ヘイリングエリア内の人を検出すること、及び、
前記投影ヘイリングエリア内の人を検出したことに応じて、自動運転車を前記投影ヘイリングエリアに接近させる乗車要求信号を生成して確認応答インジケータを出力させること
を行うための命令を実行するように構成されている、プロセッサと
を備える、システム。

【請求項12】

前記プロセッサと前記センサとが前記自動運転車の外部の固定構造に含まれている、請求項１１に記載のシステム。

【請求項13】

前記投影ヘイリングエリア内の前記人を検出することは、乗車要求が前記投影ヘイリングエリア内の前記人によって実行されることを判定することを含む、請求項１２に記載のシステム。

【請求項14】

前記乗車要求は、前記投影ヘイリングエリア内の前記人によって実行される身体的ジェスチャと、前記投影ヘイリングエリア内の前記人によって発音される口頭の発話とのうちの１つを含む、請求項１３に記載のシステム。

【請求項15】

前記乗車要求信号を生成することは、前記自動運転車が前記人に乗車を提供することを前記投影ヘイリングエリア内の前記人が要求したと判定することを含む、請求項１１に記載のシステム。

【請求項16】

自動運転車とのインタラクションを容易にするための方法であって、前記方法は、
前記自動運転車に近接する表面上にヘイリングエリアを投影することであって、前記ヘイリングエリアは、乗車を要求するために人が入らなければならないエリアを示す、ことと、
前記ヘイリングエリアを投影した後に、
１つまたは複数のセンサを介して、前記ヘイリングエリア内に配置された人を検出すること、
乗車要求が前記人によって実行されたと判定すること、及び、
自動運転車が前記ヘイリングエリアに接近して確認応答インジケータを前記人に出力するようにさせる乗車要求信号を生成すること
を行うことと
を含む、方法。

【請求項17】

前記乗車要求信号を生成することは、前記乗車要求信号を前記自動運転車に送信することと、前記乗車要求信号を前記自動運転車の外部にある管理エンティティに送信することとのうちの１つを含む、請求項１６に記載の方法。

【請求項18】

前記ヘイリングエリア内の前記人を検出したことに応じて、前記１つまたは複数のセンサを調整して前記ヘイリングエリアに焦点を合わせることをさらに含む、請求項１６に記載の方法。

【請求項19】

前記確認応答インジケータを前記人に出力することは、前記ヘイリングエリア内の前記人に見える確認応答インジケータを生成することと、前記ヘイリングエリア内の前記人に聞こえる確認応答インジケータを生成することと、前記ヘイリングエリア内の前記人が感じ取ることができる確認応答インジケータを生成することとのうちの少なくとも１つを含む、請求項１６に記載の方法。

【請求項20】

前記ヘイリングエリア内の前記人に見える前記確認応答インジケータを生成することは、前記ヘイリングエリアの視覚的特徴を修正することを含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、概して自動運転車に関し、より具体的には、自動運転車インタラクションシステムに関する。

【背景技術】

【0002】

周囲を感知し、人の入力をほとんど、またはまったく必要とせずに移動できる自動運転車は、走行をより安全かつ容易にすることを目的として開発されている。例えば、自動走行車のフリートは、近いうちに自動ライドヘイリングサービスとして採用される可能性がある。

【0003】

自動走行車は通常、様々なセンサを使用して、適切なナビゲーション経路、潜在的な障害物、及び関連する標識を識別する。例えば、自動走行車に一般的に組み込まれている技術には、レーダー、ライダー、ソナー、全地球測位システム（ＧＰＳ）ベースのナビゲーション、走行距離測定、慣性計測などがある。このように装備されていることで、自動運転車は、道路やその他のナビゲーション経路内またはその近くにいる歩行者やその他の人を検出して回避するのに適している。

【0004】

しかしながら、ドライバーがいないので、自動走行車が要求された場所または特に目標となる場所に到着すると、自動走行車と外部の乗客または歩行者とのインタラクションが問題になる可能性がある。例えば、要求している乗り手が、到着した自動走行車と通信するように特別に設計されたデバイスを持っていなければ、自動走行車は、要求している乗り手を近くの他の人と区別することはできない。

【0005】

上記に照らして、自動走行車や他の自動運転車とインタラクトするためのより効果的な技術が有用となろう。

【発明の概要】

【課題を解決するための手段】

【0006】

様々な実施形態は、自動運転車とインタラクトするためのシステムを示している。システムには、自動運転車に含まれ、投影ヘイリングエリアに対応するセンサデータを生成するように構成されたセンサと、自動運転車に含まれ、自動運転車に近接する表面に投影ヘイリングエリアを生成するように構成された投影システムと、自動運転車に含まれ、センサデータを分析して、投影ヘイリングエリア内の人を検出し、投影ヘイリングエリア内の人を検出したことに応じて、確認応答インジケータを出力させるための命令を実行するように構成されたプロセッサと、が含まれている。

【0007】

開示された実施形態の少なくとも１つの利点は、自動運転車にサービスを要求する乗り手が、自動運転車とインタラクトするために自動運転車を待つ場所を、容易に識別できることである。別の利点は、その場所にいるときに、乗り手または他のユーザが、例えばジェスチャまたは口頭の発話によって、簡単に、直感的に、そして特別な通信機器なしで、自動運転車と直接通信できることである。さらなる利点は、自動運転車が乗り手／ユーザを検出したとき、及び／または乗り手／ユーザからの通信を受けたときに、乗り手または他のユーザが、自動運転車からの視覚及び／または聴覚確認応答を受け取ることができることである。

【0008】

１つまたは複数の実施形態の上記に列挙した特徴を詳細に理解できるようにするために、上記で簡潔にまとめた１つまたは複数の実施形態のより具体的な説明を、ある特定の実施形態を参照して行い得、その一部を添付図面に示している。しかしながら、添付図面が典型的な実施形態のみを示しており、したがって、いかなる方法でもその範囲を限定するものと解釈されるべきではなく、その理由は、様々な実施形態の範囲には他の実施形態も包含されるためである、ということに留意されたい。
本発明は、例えば、以下を提供する。
（項目１）
自動運転車とのインタラクションを容易にするためのシステムであって、
前記自動運転車に含まれ、投影ヘイリングエリアに対応するセンサデータを生成するように構成されたセンサと、
前記自動運転車に含まれ、前記自動運転車に近接する表面に前記投影ヘイリングエリアを生成するように構成された投影システムと、
前記自動運転車に含まれ、
前記センサデータを分析して、前記投影ヘイリングエリア内の人を検出し、
前記投影ヘイリングエリア内の前記人を検出したことに応じて、確認応答インジケータを出力させるための命令を実行するように構成されたプロセッサと、
を含む、前記システム。
（項目２）
前記プロセッサは、前記投影システムに、前記自動運転車に近接する表面上に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、項目１に記載のシステム。
（項目３）
前記プロセッサは、前記投影システムに、前記自動運転車が指定された場所の近くに位置していることを検出したことに応じて、前記自動運転車に近接する前記表面上に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、項目２に記載のシステム。
（項目４）
前記プロセッサは、前記投影システムに、前記自動運転車が前記人に対して移動している間に、前記表面の静止部分に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、項目２に記載のシステム。
（項目５）
前記プロセッサは、前記指定された場所で特定の乗り手をピックアップするための命令を受信したことに応じて、前記自動運転車に前記指定された場所まで運転させるための命令を実行するようにさらに構成されている、項目２に記載のシステム。
（項目６）
前記プロセッサは、乗車要求が前記投影ヘイリングエリア内の前記人によって実行されることを判定するための命令を実行するようにさらに構成されている、項目１に記載のシステム。
（項目７）
前記乗車要求は、前記投影ヘイリングエリア内の前記人によって実行される身体的ジェスチャを含む、項目６に記載のシステム。
（項目８）
前記プロセッサは、前記センサからの画像データに基づいて前記乗車要求を判定するための前記命令を実行するように構成されている、項目７に記載のシステム。
（項目９）
前記乗車要求は、前記投影ヘイリングエリア内の前記人による口頭の発話を含む、項目６に記載のシステム。
（項目１０）
前記プロセッサは、前記センサに含まれる少なくとも１つのマイクロフォンからの音声データに基づいて前記乗車要求を判定するための前記命令を実行するように構成されている、項目９に記載のシステム。
（項目１１）
自動運転車とのインタラクションを容易にするためのシステムであって、
ヘイリングエリアに対応するセンサデータを生成するように構成されたセンサと、
プロセッサであって、
前記センサからセンサ入力を受信し、
前記センサ入力に基づいて、前記ヘイリングエリア内の人を検出し、
前記ヘイリングエリア内の前記人を検出したことに応じて、自動運転車を前記ヘイリングエリアに接近させる乗車要求信号を生成して確認応答インジケータを出力させるための命令を実行するように構成された、前記プロセッサと、
を含む、前記システム。
（項目１２）
前記プロセッサと前記センサとが前記自動運転車の外部の固定構造に含まれている、項目１１に記載のシステム。
（項目１３）
前記ヘイリングエリア内の前記人を検出することは、乗車要求が前記投影ヘイリングエリア内の前記人によって実行されることを判定することを含む、項目１２に記載のシステム。
（項目１４）
前記乗車要求は、前記投影ヘイリングエリア内の前記人によって実行される身体的ジェスチャと、前記投影ヘイリングエリア内の前記人によって発音される口頭の発話とのうちの１つを含む、項目１３に記載のシステム。
（項目１５）
前記乗り手要求信号を生成することは、前記自動運転車が前記人に乗車を提供することを前記ヘイリングエリア内の前記人が要求したと判定することを含む、項目１１に記載のシステム。
（項目１６）
自動運転車とのインタラクションを容易にするための方法であって、
前記自動運転車に近接する表面上にヘイリングエリアを投影することと、
１つまたは複数のセンサを介して、前記ヘイリングエリア内に配置された人を検出することと、
乗車要求が前記人によって実行されたと判定することと、
自動運転車が前記ヘイリングエリアに接近して確認応答インジケータを前記人に出力するようにさせる乗車要求信号を生成することと、
を含む、前記方法。
（項目１７）
前記乗車要求信号を生成することは、前記乗車要求信号を前記自動運転車に送信することと、前記乗車要求信号を前記自動運転車の外部にある管理エンティティに送信することと、のうちの１つを含む、項目１６に記載の方法。
（項目１８）
前記ヘイリングエリア内の前記人を検出したことに応じて、前記センサを調整して前記ヘイリングエリアに焦点を合わせることをさらに含む、項目１６に記載の方法。
（項目１９）
前記確認応答インジケータを前記人に出力することは、前記ヘイリングエリア内の前記人に見える確認応答インジケータを生成することと、前記ヘイリングエリア内の前記人に聞こえる確認応答インジケータを生成することと、前記ヘイリングエリア内の前記人が感じ取ることができる確認応答インジケータを生成することと、のうちの少なくとも１つを含む、項目１６に記載のシステム。
（項目２０）
前記ヘイリングエリア内の前記人に見える前記確認応答インジケータを生成することは、前記ヘイリングエリアの視覚的特徴を修正することを含む、項目１９に記載のシステム。

【図面の簡単な説明】

【0009】

【図1】様々な実施形態による、本開示の１つまたは複数の態様を実装するように構成された自動運転車（ＡＶ）インタラクションシステムを示す概略図である。

【図2】本開示の１つまたは複数の実施形態による、図１のＡＶインタラクションシステムにおけるＡＶの概略図である。

【図3】本開示の一実施形態による、図１のＡＶインタラクションシステムにおけるコンピューティングデバイスの概念的なブロック図である。

【図4】Ａ～Ｃは、本開示の一実施形態による、ＡＶ搭載投影システムによって生成されたヘイリングエリアを概略的に示す。

【図5】本開示の一実施形態による、１つまたは複数のＡＶと固定構造との間に分散されているＡＶインタラクションシステムを概略的に示す。

【図6】本開示の様々な実施形態による、自動運転車とのインタラクションを容易にするための方法ステップのフローチャートである。

【発明を実施するための形態】

【0010】

明確にするために、該当する場合、図面間で共通の同一の要素を指定するために、同一の参照番号を使用している。ある実施形態の特徴は、さらなる詳述なしに、他の実施形態に組み込まれ得ることが企図される。

【0011】

図１は、様々な実施形態による、本開示の１つまたは複数の態様を実装するように構成された自動運転車（ＡＶ）インタラクションシステム１００を示す概略図である。ＡＶインタラクションシステム１００は、乗り手１０２がいかなる種類の特殊な通信装置も装備する必要なしに、自動運転車１０１と乗り手１０２または乗車見込み客との間のインタラクションを可能にする。そのようなインタラクションは、限定するものではないが、ＡＶ１０１が乗り手１０２を検出すること、乗り手１０２を乗り手１０２の近くにいる他の人から区別すること、乗り手１０２によって乗車要求が実行されていると判定すること、乗り手１０２から乗車要求情報を受信すること、及び／または、乗り手１０２に聞こえる、及び／または見える確認応答インジケータを生成すること、を含むことができる。ＡＶインタラクションシステム１００によって可能にされるさらなるインタラクションには、限定するものではないが、乗り手１０２が身体的ジェスチャ及び／または口頭の発話を介して乗車要求を生成することと、乗り手１０２がＡＶ１０１から確認応答インジケータを受信することとが含まれる。確認応答インジケータは、ＡＶ１０１が、乗車要求は乗り手１０２によって生成されたと判定したときに、及び／またはＡＶ１０１が乗り手１０２を検出したときに、ＡＶ１０１によって生成することができる。

【0012】

動作中、ＡＶインタラクションシステム１００は、ヘイリングエリア１５０を適切な表面に投影させ、乗り手１０２がヘイリングエリア１５０の境界内に存在する場合、乗り手検出システムに、乗り手１０２がいつ乗車要求を生成するかを判定させる。様々な実施形態によれば、ヘイリングエリア１５０は、乗り手からＡＶへの、及び／またはＡＶから乗り手へのインタラクションのために明示的に指定された領域である。したがって、人がヘイリングエリア１５０によって示される一時的な「ホットスポット」に足を踏み入れると、適切に構成されたＡＶは、その人を検出し、例えば、音声コマンドを聞くために、及び／または手や腕のジェスチャを見守るために、光学または音声センサの焦点をその人に合わせることができる。ＡＶインタラクションシステム１００は、限定するものではないが、コンピューティングデバイス１２０、１つまたは複数のセンサ１３０、及びいくつかの実施形態では、視覚投影システム１４０を含む。

【0013】

ＡＶ１０１は、自動運転車または自動走行車、トラック、船舶、垂直離着陸（ＶＴＯＬ）タクシー、ドローンなど、任意のコンピュータ操作車両とすることができる。図１に示される実施形態では、ＡＶ１０１は、ＡＶ制御システム１０３を含む、自動運転タクシーなどの自動走行車である。ＡＶ１０１は、車道上及び車道に隣接する周囲の環境を感知し、環境を通る適切なナビゲーション経路を決定し、人の入力をほとんどまたはまったく必要とせずに移動することができる。本明細書で使用される場合、ナビゲーション経路は、任意の道路、車道、私道、駐車場の自動車通路、またはＡＶ１０１による移動に適した他の経路を含むことができるが、これらに限定されない。ＡＶ１０１の一実施形態は、図２と併せて以下に説明される。

【0014】

図２は、本開示の１つまたは複数の実施形態による、ＡＶ１０１の概略図である。ＡＶ１０１は、限定するものではないが、ＡＶセンサ２３０、ＡＶ制御システム１０３、及びコンピューティングデバイス１２０を含む。いくつかの実施形態では、ＡＶ１０１は、視覚投影システム１４０、及び／または確認応答出力システム２１０をさらに含む。

【0015】

確認応答出力システム２１０は、特定の乗り手１０２に情報を提供して、ヘイリングエリア１５０内の乗り手１０２の検出及び／または乗り手１０２からの乗車要求の受信など、１つまたは複数の特定の条件を確認するように構成されている。確認応答出力システム２１０は、そのような確認応答を生成するための１つまたは複数の出力デバイスを含むことができるが、これに限定されない。例えば、確認応答出力システム２１０は、乗り手１０２へのテキストベース及び／またはアイコンベースのメッセージを表示するためのビデオ画面または他の表示デバイスや、例えば、「使用中」、「利用可能」、「ルート上」、「今停止中」など、ＡＶ１０１の特定の状態を示すための色分けされた照明システムなどを含むことができる。代替的または追加的に、確認応答出力システム２１０は、乗り手１０２への聴覚確認応答を生成する指向性スピーカーなどの音声出力デバイスを含むことができる。例えば、ＡＶ制御システム１０３がヘイリングエリア１５０で乗り手１０２を検出したとき、特定の音または聞こえる単語（複数可）を乗り手１０２に向けることができ、ＡＶ制御システム１０３が乗り手１０２から乗車要求を受け取ったとき、異なる音または聞こえる単語（複数可）を乗り手１０２に向けることができる。代替的または追加的に、確認応答出力システム２１０は、乗り手１０２に触覚確認応答を生成する超音波トランスデューサなどの触覚出力デバイスを含むことができる。例えば、超音波トランスデューサは、触覚振動または圧力として復調される超音波信号を乗り手１０２の表面に向けることができる。したがって、一実施形態では、超音波トランスデューサは、身体の触覚タップなどの確認応答インジケータとして、乗り手１０２に特定の触覚によって引き起こされた圧力または感覚を経験させることができる。あるいは、いくつかの実施形態では、触覚出力デバイスは、乗り手１０２に触覚タップを体験させるように構成されたエアパフジェネレータを含むことができる。

【0016】

ＡＶセンサ２３０は、ＡＶ１０１が現在占有している道路またはナビゲーション経路、及び／またはそのような道路またはナビゲーション経路に隣接するエリアを含むがこれらに限定されない、ＡＶ１０１を取り巻く環境に関連する様々な特性を測定するように構成された、異なるセンサのアレイを含むことができるが、これらに限定されない。ＡＶセンサ２３０には、光学センサ（可視光または赤外線）、音響センサ（超音波センサ、アクティブソナーなど）、レーダーセンサ、ライダーセンサ、深度センサ、立体画像センサ、地形マッピングセンサ、テレマティックセンサ、受信機、衛星ベースのナビゲーションシステムなどが含まれ得るが、これらに限定されない。ＡＶセンサ２３０は、ＡＶ１０１を取り巻く３６０°パノラマからセンサデータを受信し、処理のためにセンサデータをＡＶ制御システム１０３に送信するように構成される。

【0017】

ＡＶ制御システム１０３は、ＡＶ１０１の全体的な操作及びナビゲーションを管理するように構成されたコンピュータベースのシステムである。ＡＶ制御システム１０３は、コンピュータシステムの任意の技術的に可能なタイプを含むことができるが、いくつかの実施形態では、ＡＶ制御システム１０３は、図３に関連して以下でより詳細に説明されているコンピューティングデバイス１２０と同様のコンピューティングデバイスを含むことができる。動作時に、ＡＶ制御システム１０３は、ＡＶセンサ２３０からセンサデータを受信し、そのデータを処理してＡＶ１０１の現在の運転アクションとナビゲーション経路を識別するように構成されている。本開示の文脈において、「運転アクション」は、方向転換、合流、往来中の運転、速度及び車線位置の維持、他の車両とのキャラバン、指定された場所へのナビゲート及び／または車両の操作に関連するその他のアクションを含み得る。ＡＶ制御システム１０３はまた、ＡＶセンサ２３０からのセンサデータを処理して、現在進行中の運転アクションに関連する潜在的に危険な運転状態を識別するように構成することができる。通常、このような運転条件には、道路上であろうと道路に近い歩道であろうと、車両、自転車、スクーター、セグウェイ、または歩行者などの他の道路利用者の存在、位置、及び速度が含まれる。あるいは、いくつかの実施形態では、歩行者、車両、及び他の潜在的に危険な運転状態の存在の検出は、ＡＶセンサ２３０によって実行され得る。あるいは、いくつかの実施形態では、そのような機能は、ＡＶセンサ２３０及びＡＶ制御システム１０３によって共有されるか、またはそれらの間で分割され得る。

【0018】

図１に戻ると、センサ１３０は、ＡＶ１０１と乗り手１０２の間のインタラクションを可能にし、限定するものではないが、ヘイリングエリア１５０及び／またはヘイリングエリア１５０内に配置された１人または複数の人に関連付けられた画像、ビデオ、及び／または音声データを生成することができる１つまたは複数のカメラまたはマイクロフォンを含む。代替的または追加的に、いくつかの実施形態では、センサ１３０は、ヘイリングエリア１５０に向けられた近接センサを含む。いくつかの実施形態では、センサ１３０は、指向性センサ及び／または可動カメラや指向性マイクロフォンなどの向きが変化するセンサを含む。そのような実施形態では、ＡＶ１０１が１人または複数の潜在的な乗り手１０２を含むエリアに近づくにつれて、センサ１３０の向きを変更することができ、その結果、センサ１３０によって生成された画像、ビデオ、及び／または音声データは、ヘイリングエリア１５０内の１人または複数の人に対するものであり、ヘイリングエリア１５０外の１人または複数の人の画像、ビデオ、及び／または音声データはわずかであるかまたは含まれない。

【0019】

ＡＶインタラクションシステム１００の少なくとも一部分がＡＶ１０１に組み込まれている実施形態では、センサ１３０はまた、ＡＶ１０１に含まれ、例えば、ＡＶ１０１に組み込まれる、ＡＶ１０１の外面に結合される、などである。さらに、そのような実施形態では、センサ１３０は、ＡＶセンサ２３０を含み得るか、またはそれに結合され得る。したがって、そのような実施形態では、センサ１３０によって生成された画像、ビデオ、及び／または音声データは、ＡＶセンサ２３０によってすでに生成されたデータを含むことができる。

【0020】

ＡＶインタラクションシステム１００の一部分がＡＶ１０１の外部にある実施形態では、センサ１３０のいくつかは、ＡＶ１０１の外部にある固定構造（図１には示されていない）に含めることができる。例えば、固定構造は、ヘイリングエリア１５０を含む、自動運転車の乗り手のための指定されたピックアップエリアであり得る。そのような実施形態では、センサ１０３に含まれるビデオカメラ及び／またはマイクロフォンを固定構造に含めることができ、それにより、必ずしもヘイリングエリア１５０の近くにあるとは限らない１つまたは複数のＡＶ１０１に通信される乗り手１０２からの乗車要求を可能にする。

【0021】

視覚投影システム１４０は、ＡＶ１０１に近接する歩道の一部分などの適切な表面に光を向け、したがって、ヘイリングエリア１５０を生成するように構成された、光学投影システムである。例えば、いくつかの実施形態では、視覚投影システム１４０は、１つまたは複数の画像、幾何学的パターンまたは形状、及び／または、一連のライン及び／またはカーブを、歩道の一部分に投影してヘイリングエリア１５０を生成するように構成されている。そのような実施形態では、ヘイリングエリア１５０は、光の投射によって生成される。その結果、ヘイリングエリア１５０を形成する幾何学パターン及び／または形状は、ＡＶ１０１に対して位置を変更でき、及び／または外観が変更され得る。例えば、そのような実施形態では、ヘイリングエリア１５０の一部またはすべての部分は、特定の状況で乗り手１０２に見える確認応答インジケータの一部として、点滅し、色を変化させ、またはアニメーション部分を含むことができる。いくつかの実施形態では、ＡＶ制御システム１０３は、例えば、乗り手１０２からの乗車の受け入れを求めるために、ヘイリングエリア１５０を積極的に生成させる。そのような実施形態では、そのような積極的な乗り手の獲得は、見込まれる乗り手１５０の周りのヘイリングエリア１５０の生成、及び提案された乗車の受け入れまたは拒否を示す特定の口頭の発話または身体的ジェスチャを検出する試みを含むことができる。

【0022】

視覚投影システム１４０は、レーザー投影システム、液晶ディスプレイ（ＬＣＤ）プロジェクタ、３次元（３Ｄ）対応プロジェクタ、ビデオプロジェクタ、または歩道の一部分などの表面に画像を投影することができる他の技術的に実現可能なシステムを含むがこれらに限定されない。いくつかの実施形態では、視覚投影システム１４０は、投影マッピングを使用してそのような表面に画像を投影するように構成され、画像を投影するエリアを感知するための１つまたは複数の深度センサを含む。さらに、そのような実施形態では、視覚投影システム１４０は、投影面の検出された不規則性を補償する画像を投影するように構成されている。したがって、そのような実施形態では、補正された画像は、投影面の不規則な形状（湾曲、傾斜など）を、及び／または投影面上の障害物やその他の物体（ベンチ、ゴミ箱、岩など）の存在を補償する、視覚投影システム１４０によって投影面に投影される。このようにして、例えば水平方向の正方形の投影が修正され、その結果、乗り手１０２は、表面の不規則な形状または障害物の存在にもかかわらず、投影される元の画像に近似する補正された画像を提示される。

【0023】

コンピューティングデバイス１２０は、本明細書で説明されるように、ＡＶインタラクションシステム１００、インタラクションセンサ１３０、及び視覚投影システム１４０の動作のための命令を実行するように構成された任意の計算プラットフォームであり得る。コンピューティングデバイス１２０の一実施形態は、図３と併せて以下に説明される。

【0024】

図３は、本開示の一実施形態に係る、コンピューティングデバイス１２０の概念的ブロック図である。コンピューティングデバイス１２０は、本明細書に記載の本開示の少なくとも１つの態様を実装するように構成されている。コンピューティングデバイス１２０は、乗り手インタラクションアプリケーション３２１、センサモジュール３２２、投影システムモジュール３２３、ジェスチャ認識モジュール３２４及び／または音声認識モジュール３２５に関連する命令を含むがこれらに限定されない、アプリケーションプログラムを実行することができる任意のタイプのデバイスであり得る。例えば、限定はしないが、コンピューティングデバイス１２０は、電子タブレット、スマートフォン、ラップトップコンピュータなどであり得る。あるいは、コンピューティングデバイス１２０は、マイクロプロセッサなどのスタンドアロンチップとして、または特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）などとして実装されるより包括的なソリューションの一部として実装され得る。概して、コンピューティングデバイス１２０は、ＡＶインタラクションシステム１００の動作全体を連動させるように構成される。示されるように、コンピューティングデバイス１２０は、限定するものではないが、処理ユニット３１０、入出力（Ｉ／Ｏ）デバイス３２０、及びメモリデバイス３３０を含む。

【0025】

処理ユニット３１０は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、ＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、任意の他のタイプの処理ユニット、または異なる処理ユニットの組み合わせとして実装され得る。一般に、処理ユニット３１０は、本明細書に記載の図１のＡＶインタラクションシステム１００の動作を容易にするためにデータを処理及び／またはソフトウェアアプリケーションを実行することが可能な任意の技術的に実現可能なハードウェアユニットであり得る。処理ユニット３１０は、コンピューティングデバイス１２０に物理的に埋め込まれてもよく、クラウドベースのコンピューティング環境の一部であってもよく、及び／またはモバイルコンピューティングデバイスもしくはウェアラブルコンピューティングデバイスなど、ＡＶインタラクションシステム１００の外部のコンピューティングデバイスの一部であってもよい。いくつかの実施形態では、処理ユニット３１０は、ＡＶ１０１に含まれる車載インフォテインメントシステムの要素であるか、またはＡＶ制御システム１０３の要素である。とりわけ、限定するものではないが、処理ユニット３１０は、乗り手インタラクションアプリケーション３２１、センサモジュール３２２、投影システムモジュール３２３、ジェスチャ認識モジュール３２４及び／または音声認識モジュール３２５に関連する命令を実行するように構成され得る。

【0026】

乗り手インタラクションアプリケーション３２１は、ＡＶインタラクションシステム１００の動作を管理するように構成される。いくつかの実施形態では、乗り手インタラクションアプリケーション３２１はセンサ１３０から画像及び／または音声データを受信し、そのようなデータを解釈し、乗り手１０２が乗車要求を実行したかどうかを判定する。例えば、そのような実施形態では、乗り手インタラクションアプリケーション３２１は、センサ１３０から画像データを受信し、ジェスチャ認識モジュール３２４を介して、乗り手１０２がＡＶ１０１からの乗車の要求を示すジェスチャを実行したかどうかを判定することができる。代替的または追加的に、そのような実施形態では、乗り手インタラクションアプリケーション３２１は、センサ１３０から音声データを受信し、音声認識モジュール３２５を介して、乗り手１０２がＡＶ１０１からの乗車の要求を示す口頭発話を発音したかどうかを判定することができる。そのような実施形態では、センサ１３０に含まれる１つまたは複数の指向性マイクロフォンは、ヘイリングエリア１５０の外の人によって発音される口頭の発話を実質的に低減し、及び／または排除する、選択的音声データを提供することができる。

【0027】

さらに、いくつかの実施形態では、乗り手インタラクションアプリケーション３２１は、センサ１３０から画像データを受信し、そのようなデータを解釈し、乗り手１０２がヘイリングエリア１５０内に位置するかどうかを判定する。したがって、そのような実施形態では、乗り手インタラクションアプリケーション３２１は、乗り手１０２がヘイリングエリア１５０内に配置されていることに基づいて、乗り手１０２を乗り手１０２の近くにいる他の人から区別する。代替的または追加的に、いくつかの実施形態では、乗り手インタラクションアプリケーション３２１は、乗り手１０２に聞こえる、及び／または見える確認応答インジケータを生成する。そのような実施形態では、確認応答インジケータは、確認応答出力システム２１０によって生成された視覚、聴覚、及び／または触覚確認応答であり得る。代替的または追加的に、ヘイリングエリア１５０が視覚投影システム１４０によって生成された投影ヘイリングエリアである実施形態では、確認応答インジケータは、ヘイリングエリア１５０の色の変化、特定の部分の点滅またはアニメーションなど、ヘイリングエリア１５０の外観の変化を含むことができる。触覚確認応答の場合、確認応答出力システム２１０に含まれる超音波トランスデューサは、乗り手１０２に触覚タップまたは他の触覚確認応答を体験させる。

【0028】

いくつかの実施形態では、乗り手インタラクションアプリケーション３２１は、コンピューティングデバイス１２０、ＡＶ制御システム１０３、及び／またはＡＶ１０１及びＡＶインタラクションシステム１００の外部にあるライドヘイリング管理エンティティの間の通信を容易にするように構成されたアプリケーションプログラミングインタフェース（ＡＰＩ）を含む。例えば、ＡＰＩは、乗り手インタラクションアプリケーション３２１によって受信された乗車要求情報が、ヘイリングエリア１５０の近くにある他のＡＶにさらに配信するために、ライドヘイリング管理エンティティに通信されることを可能にすることができる。

【0029】

センサモジュール３２２は、画像及び／または音声データの受信を含む、センサ１３０の動作を制御するように構成される。センサ１３０が可動カメラまたは指向性マイクロフォンなどの１つまたは複数の指向性センサを含む実施形態では、センサモジュール３２２はまた、そのような指向性センサの現在の向きを制御するように構成され得る。投影システムモジュール３２３は、視覚投影システム１４０の動作を制御するように構成されており、これには、ヘイリングエリア１５０に適した表面への配向が含まれる。ジェスチャ認識モジュール３２４は、センサ１３０から画像データを受信し、そのような画像データに基づいて、乗り手１０２が、乗車要求に対応する身体的な手、腕、頭、または他のジェスチャを実行したかどうかを判定するように構成される。認識可能なジェスチャの例には、乗り手１０２が乗車を望んでいることを示すヘイリングジェスチャ、及び乗り手１０２が乗車を望まないことを示すウェーブオフジェスチャが含まれるが、これらに限定されない。ウェーブオフジェスチャは、例えば、ＡＶ制御システム１０３がヘイリングエリア１５０を積極的に生成させるときなど、ＡＶ制御システム１０３が乗り手１０２を暗黙的または明示的に要請した状況で認識され得る。ウェーブオフジェスチャは、乗車を望まないにもかかわらず、不用意にヘイリングエリア１５０に立っている人の状況でも認識され得る。ジェスチャ認識モジュール３２４は、そのようなジェスチャが検出されたときに乗り手インタラクションアプリケーション３２１に通知するようにさらに構成される。音声認識モジュール３２５は、センサ１３０から音声データを受信し、そのような画像音声データに基づいて、乗り手１０２が「ダウンタウンへの乗車を希望します」または「乗車が必要です」などの乗車要求に対応する口頭発話を発声したかどうかを判定するように構成される。音声認識モジュール３２５は、そのような口頭の発話が検出されたときに乗り手インタラクションアプリケーション３２１に通知するようにさらに構成され、いくつかの実施形態では、目的地情報などの追加情報が乗車要求に含まれる。

【0030】

メモリ３３０は、ランダムアクセスメモリ（ＲＡＭ）モジュール、フラッシュメモリユニット、または任意の他の種類のメモリユニット、あるいはこれらの組み合わせを含むことができ、そして単一のメモリモジュールまたはメモリモジュールの集合を含むことができる。示されるように、いくつかの実施形態では、乗り手インタラクションアプリケーション３２１、センサモジュール３２２、投影システムモジュール３２３、ジェスチャ認識モジュール３２４、及び／または音声認識モジュール３２５のいくつかまたは全ては、動作中にメモリ３３０に常駐することができる。

【0031】

Ｉ／Ｏデバイス３２０は、キーボード、マウス、タッチ感知画面、マイクロフォンなど、入力を受け取ることが可能なデバイス、ならびに、表示画面、ラウドスピーカー（ヘッドフォンベースのシステムに関連したラウドスピーカーを含む）など、出力を提供することが可能な少なくとも１つのデバイスを含む。表示画面は、ＡＶインタラクションシステム１００に組み込まれてもよく、コンピュータモニタ、ビデオ表示画面、別個のハンドヘルドデバイスに組み込まれた表示装置、または他の任意の技術的に実現可能な表示画面などの、ＡＶインタラクションシステム１００の外部のものでもよい。いくつかの実施形態では、Ｉ／Ｏデバイス３２０は、センサ１３０のうち１つまたは複数、及び／またはＡＶセンサ２３０のうち１つまたは複数を含む。

【0032】

図３に示される実施形態では、コンピューティングデバイス１２０は、単一の統合されたデバイスとして示されている。他の実施形態では、本明細書に記載のコンピューティングデバイス１２０の機能の一部またはすべては、センサ１３０に統合されたコンピューティングデバイス、ＡＶ制御システム１０３に統合されたコンピューティングデバイス、及び／または視覚投影システム１４０に統合されたコンピューティングデバイスなどの、複数のコンピューティングデバイスとして実装することができる。

【0033】

いくつかの実施形態では、ヘイリングエリア１５０は、ＡＶ１０１が動いている間、投影面上の固定位置に投影される。そのような実施形態では、ヘイリングエリア１５０は、ＡＶ１０１がそれに対して移動する間、静止したままであり得る。そのような実施形態の１つを図４Ａ～４Ｃに示す。

【0034】

図４Ａ～４Ｃは、本開示の一実施形態による、ＡＶ搭載投影システムによって生成されたヘイリングエリア４５０を概略的に示す。例えば、いくつかの実施形態では、ヘイリングエリア４５０は、屋根に取り付けられた投影システムによって、及び／または適切に構成されたヘッドライトに組み込まれた投影システムによって、適切な表面に投影することができる。そのような各投影システム１４０の実施例を図２に示す。示されているように、ヘイリングエリア４５０がＡＶ搭載投影システムによって投影されると、ＡＶ１０１が動いている間でも、ヘイリングエリア４５０は静止したままであるようにヘイリングエリア４５０を生成できる。すなわち、ＡＶ１０１が道路４０２または他のナビゲーション経路に沿って、道路４０２に隣接して配置された特定の位置４０１を通過するとき、ヘイリングエリア４５０は、位置４０１がヘイリングエリア４５０内に配置されるように、ＡＶ１０１から投影される。そのような実施形態では、視覚投影システム１４０の投影マッピング機能は、静止したヘイリングエリア４５０の投影を可能にする。

【0035】

例えば、ＡＶ１０１が複数の潜在的な乗り手が立っているエリアをゆっくりと通り過ぎるとき、ヘイリングエリア４５０は、潜在的な乗り手に対して実質的に静止したままであるように投影され、したがって、ＡＶ１０１に対して動いている。ヘイリングエリア４５０は位置４０１に対して静止しているため、位置４０１の近くにいる潜在的な乗り手は誰でもすぐにヘイリングエリア４５０を見ることができる。さらに、潜在的な乗り手がＡＶ１０１を呼びたいとき、潜在的な乗り手は、ＡＶ１０１が通り過ぎる間、ヘイリングエリア４５０が静止しているので、ヘイリングエリア４５０に容易に足を踏み入れることができる。通常、ＡＶ１０１は、位置４０１の近くにあるとき、比較的低速で移動しており、その結果、潜在的な乗り手には、ＡＶ１０１が乗り手ピックアップのために別の場所に移動する前に、ヘイリングエリア４５０に足を踏み入れる十分な時間がある。

【0036】

いくつかの実施形態では、位置４０１は、１つまたは複数の要因に基づいて、ＡＶインタラクションシステム１００によって選択される。例えば、いくつかの実施形態では、ＡＶインタラクションシステム１００は、位置４０１に近接した１人または複数の潜在的な乗り手１０２を検出したことに応じて、位置４０１を選択する。したがって、そのような一実施形態では、ＡＶインタラクションシステム１００は、道路４０２に近接する歩行者の検出に応じて位置４０１を選択し、乗り手１０２を積極的に獲得しようとする。別のそのような実施形態では、位置４０１は、バス停または空港タクシーゾーンなどの特定の場所または場所のカテゴリであり、ＡＶインタラクションシステム１００は、そのような特定の場所に存在する乗り手１０２に応じて位置４０１を選択する。代替的または追加的に、いくつかの実施形態では、ＡＶインタラクションシステム１００は、位置４０１が一時的な駐車、停止、及び／または荷物の積み下ろしが許可されている道路４０２の一部に対応するということを検出したのに応じて、位置４０１を選択する。代替的にまたは追加的に、いくつかの実施形態では、ＡＶインタラクションシステム１００は、ＡＶ１０１が、例えば、ＡＶ１０１とＡＶインタラクションシステム１００の外部にあるライドヘイリング管理エンティティから位置４０１に進むことを指定する命令を受信することに応じて、位置４０１を選択する。代替的または追加的に、いくつかの実施形態では、ＡＶインタラクションシステム１００は、特定の乗り手から位置４０１またはその近くで会うための要求を受信したことに応じて、位置４０１を選択する。

【0037】

いくつかの実施形態では、ＡＶインタラクションシステムの一部は、ＡＶ１０１の外部にある固定構造に組み込まれている。例えば、いくつかの実施形態では、図１の１つまたは複数のセンサ１３０、及び／または図１の投影システム１４０は、ＡＶライドヘイリング位置などの固定構造に組み込まれている。このような一実施形態は、図５と併せて以下に説明される。

【0038】

図５は、本開示の一実施形態による、１つまたは複数のＡＶ５０１と固定構造５１０との間に分散されているＡＶインタラクションシステム５００を概略的に示す。ＡＶ５０１は、ＡＶインタラクションシステム１００の１つまたは複数のコンポーネントがＡＶ５０１に含まれず、代わりに固定構造５１０に組み込まれることを除いて、図１のＡＶ１０１と実質的に類似している。図５に示される実施形態では、ＡＶ５０１は、センサ５３０、確認応答出力システム２１０、ＡＶ制御システム１０３、及びコンピューティングデバイス１２０を含む。固定構造５１０は、センサ５３１と、視覚投影システム５４０と、通信モジュール５２５を含むか、または通信モジュール５２５に通信可能に結合されたコンピューティングデバイス５２０とを含む。固定構造５１０は、空港または鉄道駅の歩道側の近くなど、任意の適切な道路またはナビゲーション経路の近くに配置することができる。

【0039】

ＡＶ５０１のセンサ５３０は、乗り手５０２によるジェスチャの検出など、ＡＶ５０１とヘイリングエリア５５０内に位置する乗り手５０２との間のインタラクションを可能にするように構成される。このように、センサ５３０は、ナビゲーション及び操作のためにＡＶ５０１によって用いられるセンサの一部または全部、ならびに図１のセンサ１３０に関して上述したセンサの一部またはすべてを含むことができる。例えば、一実施形態では、ＡＶ５０１は、画像データを生成するためのナビゲーションのためにＡＶ５０１と共に使用するようにすでに構成された光学センサを採用し、さらに、乗り手５０２からの聴覚入力を音声データとして受信するための１つまたは複数のマイクロフォンを含む。

【0040】

センサ５３０とは対照的に、センサ５３１は、乗り手５０２と、固定構造５１０に含まれるＡＶインタラクションシステム５００の部分との間のインタラクションを可能にするように構成される。センサ５３１は、ヘイリングエリア５５０、及び／またはヘイリングエリア５５０内に配置された１人または複数の人、すなわち乗り手５０２に関連付けられた画像、ビデオ、及び／または音声データを生成することができる、１つまたは複数のカメラまたはマイクロフォンを含むことができる。したがって、センサ５３１は、ヘイリングエリア５５０の境界内に足を踏み入れ、指定された身体的ジェスチャ（例えば、手または腕の合図）を実行するか、または指定された口頭の発話（例えば、「乗車が必要です」）を発音することによって、人がＡＶインタラクションシステム５００と対話することを可能にする。このようにして、乗り手５０２は、固定構造５１０の視線内にあるか、または固定構造５１０の近くに位置するＡＶがない場合でも、ＡＶ５０１から、及び／またはＡＶのフリートから乗車を要求できる。

【0041】

コンピューティングデバイス５２０は、ＡＶインタラクションシステム５００の特定の機能を実行するように構成される。そのような機能には、限定するものではないが、ヘイリングエリア５５０内の人の検出、ヘイリングエリア５５０内の人によって乗車要求が実行されたという判定、自動運転車をヘイリングエリア５５０に接近させる乗車要求信号の生成、及び／または、ヘイリングエリア５５０内の人に対する、聴覚及び／または視覚確認応答インジケータなどのインジケータ出力の指示が含まれ得る。いくつかの実施形態では、コンピューティングデバイス５２０は、センサ５３１によって生成された画像データからジェスチャを検出することに基づいて、及び／またはセンサ５３１によって生成された音声データから特定の口頭の発話を検出することに基づいて、人が乗車要求を実行したことを判定するように構成される。ヘイリングエリア５５０内の人のための聴覚及び／または視覚確認応答インジケータは、ヘイリングエリア５５０の外観の変化、または乗り手５０２に対する特定の音または聞こえる単語の方向の変化を含むことができるが、これらに限定されない。例えば、ヘイリングエリア５５０の一部またはすべての部分は、点滅するか、色を変えるか、または乗り手５０２に見える確認応答インジケータの一部としてアニメーション化された部分を含めることができる。

【0042】

通信モジュール５２５は、技術的に実現可能な任意の無線通信システムを介して、コンピューティングデバイス５２０とコンピューティングデバイス１２０との間の通信を可能にするように構成される。例えば、いくつかの実施形態では、通信モジュール５２５は、電波を介したコンピューティングデバイス５２０とコンピューティングデバイス１２０との間の直接通信を可能にするように構成される。代替的または追加的に、いくつかの実施形態では、通信モジュール５２５は、セルラー通信を介してコンピューティングデバイス５２０とコンピューティングデバイス１２０との間の無線通信を可能にするように構成される。代替的または追加的に、いくつかの実施形態では、通信モジュール５２５は、ＡＶインタラクションシステム５００の外部にあるライドヘイリング管理エンティティ５６０を介して、コンピューティングデバイス５２０とコンピューティングデバイス１２０との間の通信を可能にするように構成される。

【0043】

図５に示される実施形態において、コンピューティングデバイス１２０はまた、ＡＶインタラクションシステム５００の特定の機能を実行するように構成されているが、全般に図１に関連して上述したすべての機能ではない。例えば図５に示されている実施形態では、コンピューティングデバイス１２０は、投影システムにヘイリングエリア５５０を生成させるように構成されていない。追加的または代替的に、コンピューティングデバイス１２０は、ヘイリングエリア５５０をピックアップ場所として示す乗車要求信号を受信するように構成することができる。そのような実施形態では、乗車要求信号は、無線通信を介して通信モジュール５２５から直接、またはＡＶの１つまたは複数のフリートに関連付けられた通信システムなどのライドヘイリング管理エンティティ５６０から受信することができる。さらに、いくつかの実施形態では、コンピューティングデバイス１２０は、例えばジェスチャ検出及び／または顔認識を介して、ヘイリングエリア５５０に接近するときに乗り手５０２を検出するように構成される。そのような実施形態では、コンピューティングデバイス１２０は、確認応答として出力システム２１０を介して特定の乗り手５０２に情報を提供し、及び／または特定の乗り手５０２にＡＶ５０１がその特定の乗り手５０２のために指定されていることを通知するように構成することができる。

【0044】

いくつかの実施形態では、例えば、乗り手が固定構造５１０の特定の距離内にあるとき、ヘイリングエリア５５０が一時的に投影される。あるいは、ヘイリングエリア５５０は、ヘイリングエリア５５０の境界を示すマーキング、適切な標識、及び／または投影システム５４０からの継続的投影などの恒久的なインジケータを介して示される。いくつかの実施形態では、コンピューティングデバイス５２０は、乗り手５０２がヘイリングエリア５５０内で最初に検出されたときに第１の確認応答インジケータを生成し、乗り手５０２による乗車要求が検出されたときに第２の確認応答インジケータを生成するようにさらに構成される。そのような実施形態では、第１及び第２の確認応答インジケータは、図１と併せて上記で説明したような聴覚及び／または視覚インジケータであり得る。

【0045】

図６は、本開示の様々な実施形態による、自動運転車とのインタラクションを容易にするための方法ステップのフローチャートである。方法ステップは図１～図５のシステムに関して説明しているが、方法ステップを任意の順序で実行するように構成されるあらゆるシステムが、様々な実施形態の範囲内にあることを当業者は理解するであろう。

【0046】

示されるように、方法６００は、ステップ６０１で始まり、そこでは、ＡＶインタラクションシステム、例えば、ＡＶインタラクションシステム１００またはＡＶインタラクションシステム５００が、ヘイリングエリアを生成する。ＡＶ１０１が視覚投影システム１４０を含む実施形態では、視覚投影システム１４０は、光を適切な表面、例えば、ＡＶ１０１に近接する歩道の一部分に向けて、ヘイリングエリア１５０を生成する。そのような実施形態では、ＡＶインタラクションシステムは、ＡＶ１０１が指定された場所に到着したときなど、特定の状況下でヘイリングエリア１５０を生成することができる。ＡＶインタラクションシステムが視覚投影システム５４０を備えた固定構造５１０を含む実施形態では、ＡＶインタラクションシステムは、連続的に、または人が固定構造５１０の近くにいることが検出されたときに、ヘイリングエリア５５０を生成し得る。

【0047】

ステップ６０２において、ＡＶインタラクションシステムは、ヘイリングエリア内の人を検出する。いくつかの実施形態では、ＡＶ１０１に含まれるコンピューティングデバイス１２０は、ＡＶ１０１から投影されるヘイリングエリア１５０内の乗り手１０２を検出する。そのような実施形態では、コンピューティングデバイス１２０は、センサ１３０からの画像及び／または他のセンサデータに基づいてそのような判定を行う。他の実施形態では、コンピューティングデバイス５２０は、固定構造５１０の近くに配置されているヘイリングエリア５５０内の乗り手５０２を検出する。そのような実施形態では、コンピューティングデバイス５２０は、センサ５３０からの画像及び／または他のセンサデータに基づいてそのような判定を行う。

【0048】

ステップ６０３において、ＡＶインタラクションシステムは、ヘイリングエリア１５０の乗り手１０２またはヘイリングエリア５５０の乗り手５０２に見える、及び／または聞こえる確認応答インジケータなどの第１の確認応答インジケータを生成する。ＡＶインタラクションシステムは、ヘイリングエリア内の人を検出したことに応じて、第１の確認応答インジケータを生成する。したがって、人は、ＡＶインタラクションシステムが、人が乗車要求を実行したかどうかを判定するために、ヘイリングエリアを監視していることを認識する。

【0049】

ステップ６０４において、ＡＶインタラクションシステムは、乗車要求がヘイリングエリア内の人によって実行されたと判定する。ヘイリングエリア外のすべての人は、ＡＶインタラクションシステムによって無視される。したがって、ヘイリングエリア内の人だけのジェスチャ及び／または口頭の発話が分析されるので、乗車要求が実行されたと判定することは、計算上、大幅に簡素化される。ＡＶインタラクションシステムがＡＶ１０１に組み込まれている実施形態では、コンピューティングデバイス１２０は、センサ１３０からの画像及び／またはセンサ音声データに基づいて乗車要求が実行されたことを判定する。あるいは、ＡＶインタラクションシステム５００が１つまたは複数のＡＶ５０１と固定構造５１０との間に分散されている実施形態では、コンピューティングデバイス５２０は、センサ５３０からの画像及び／または音声データに基づいて乗車要求が実行されたことを判定する。

【0050】

いくつかの実施形態では、ＡＶインタラクションシステムは、特定のモデルまたはスタイルのＡＶに対する乗り手要求、最短時間で到着できるＡＶ、最も低い料金で乗車を提供できるＡＶ、ＡＶの特定のフリートに属するＡＶなどの、追加の乗車要求情報を受信する。例えば、いくつかの実施形態では、ＡＶインタラクションシステムは、聞こえるコマンドを介して乗り手から、乗り手に関連付けられたモバイルコンピューティングデバイスから、乗り手に関連付けられたマトリックスバーコードまたはその他の機械可読光学ラベルからなど、追加の乗車要求を受信する。

【0051】

ステップ６０５において、ＡＶインタラクションシステムは、乗車要求がステップ６０４で実行されたとの判定に応じて、乗車要求信号を生成する。ＡＶインタラクションシステムがＡＶ１０１に組み込まれている実施形態では、コンピューティングデバイス１２０は、乗車要求信号を生成してＡＶ制御システム１０３に送信し、ＡＶ１０１はそれに従って応答する。例えば、ＡＶ１０１は乗り手１０２に安全に接近する。あるいは、ＡＶインタラクションシステム５００が１つまたは複数のＡＶ５０１と固定構造５１０との間に分散される実施形態では、コンピューティングデバイス５２０は、直接またはライドヘイリング管理エンティティ５６０を介して、乗車要求を１つまたは複数のＡＶ５０１に送信する。いずれの場合も、少なくとも１つのＡＶ５０１がそれに従って応答し、固定構造５１０にナビゲートする。

【0052】

ステップ６０６において、ＡＶインタラクションシステムは、出力をヘイリングエリア内の人に向ける。したがって、潜在的な乗り手は、乗車要求がＡＶインタラクションシステムによって受信されたことを容易に判断することができる。例えば、ＡＶインタラクションシステムは、ヘイリングエリアの人からの乗車要求が受信されたことの視覚または聴覚確認応答などの第２の確認応答インジケータを生成させる。ＡＶインタラクションシステムがＡＶ１０１に組み込まれている実施形態では、コンピューティングデバイス１２０は、第２の確認応答インジケータを確認応答出力システム２１０によって生成させる。あるいは、ＡＶインタラクションシステム５００が１つまたは複数のＡＶ５０１と固定構造５１０との間に分散されている実施形態では、コンピューティングデバイス５２０は、視覚投影システム５４０、固定構造５１０に関連付けられたラウドスピーカーなどによって第２の確認応答インジケータを生成させる。

【0053】

要約すると、様々な実施形態は、自動運転車とインタラクトするためのシステム及び技術を記載している。実施形態では、特定のヘイリングエリアは、適切なセンサによって人の存在について監視され、ヘイリングエリア内で人が検出されるとき、センサは、乗車要求を実行している人の検出を可能にする。さらに、人がヘイリングエリア内で最初に検出されたときに、及び／または乗車要求が検出されたときに、視覚及び／または聴覚確認応答はヘイリングエリア内の人に向けられる。ヘイリングエリアは、事前に指定されたエリアにすることも、自動運転車に含まれる投影システムによって生成することもできる。

【0054】

開示された実施形態の少なくとも１つの技術的改善は、自動運転車にサービスを要求する乗り手が、自動運転車とインタラクトするためにどの場所で自動運転車を待つかを、容易に識別できることである。別の利点は、その場所にいるときに、サービスを要求している乗り手が、例えばジェスチャまたは口頭の発話によって、簡単に、直感的に、そして特別な通信機器なしで、自動運転車と直接通信できることである。さらなる利点は、自動運転車が乗り手を検出したとき、及び／または乗り手からの通信を受けたときに、乗り手が、自動運転車から視覚及び／または聴覚確認応答を受け取ることができることである。

【0055】

１．いくつかの実施形態では、自動運転車とインタラクトするためのシステムは、前記自動運転車に含まれ、投影ヘイリングエリアに対応するセンサデータを生成するように構成されたセンサと、前記自動運転車に含まれ、前記自動運転車に近接する表面に前記投影ヘイリングエリアを生成するように構成された投影システムと、前記自動運転車に含まれ、前記センサデータを分析して、前記投影ヘイリングエリア内の人を検出し、前記投影ヘイリングエリア内の前記人を検出したことに応じて、確認応答インジケータを出力させるための命令を実行するように構成されたプロセッサと、を含む。

【0056】

２．前記プロセッサは、前記投影システムに、前記自動運転車に近接する表面上に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、条項１に記載のシステム。

【0057】

３．前記プロセッサは、前記投影システムに、前記自動運転車が指定された場所の近くに位置していることを検出したことに応じて、前記自動運転車に近接する前記表面上に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、条項１または２に記載のシステム。

【0058】

４．前記プロセッサは、前記投影システムに、前記自動運転車が前記人に対して移動している間に、前記表面の静止部分に前記投影ヘイリングエリアを生成させるための命令を実行するようにさらに構成されている、条項１～３のいずれかに記載のシステム。

【0059】

５．前記プロセッサは、前記指定された場所で特定の乗り手をピックアップするための命令を受信したことに応じて、前記自動運転車に前記指定された場所まで運転させるための命令を実行するようにさらに構成されている、条項１～４のいずれかに記載のシステム。

【0060】

６．前記プロセッサは、乗車要求が前記投影ヘイリングエリア内の前記人によって実行されることを判定するための命令を実行するようにさらに構成されている、条項１～５のいずれかに記載のシステム。

【0061】

７．前記乗車要求は、前記投影ヘイリングエリア内の前記人によって実行される身体的ジェスチャを含む、条項１～６のいずれかに記載のシステム。

【0062】

８．前記プロセッサは、前記センサからの画像データに基づいて前記乗車要求を判定するための前記命令を実行するように構成されている、条項１～７のいずれかに記載のシステム。

【0063】

９．前記乗車要求は、前記投影ヘイリングエリア内の前記人による口頭の発話を含む、条項１～８のいずれかに記載のシステム。

【0064】

１０．前記プロセッサは、前記センサに含まれる少なくとも１つのマイクロフォンからの音声データに基づいて前記乗車要求を判定するための前記命令を実行するように構成されている、条項１～９のいずれかに記載のシステム。

【0065】

１１．いくつかの実施形態では、自動運転車とのインタラクションを容易にするためのシステムは、ヘイリングエリアに対応するセンサデータを生成するように構成されたセンサと、前記センサからセンサ入力を受信し、前記センサ入力に基づいて、前記ヘイリングエリア内の人を検出し、前記ヘイリングエリア内の前記人を検出したことに応じて、自動運転車を前記ヘイリングエリアに接近させる乗車要求信号を生成して確認応答インジケータを出力させるための命令を実行するように構成されたプロセッサと、を含む。

【0066】

１２．前記プロセッサと前記センサとが前記自動運転車の外部の固定構造に含まれている、条項１１に記載のシステム。

【0067】

１３．前記ヘイリングエリア内の前記人を検出することは、乗車要求が前記投影ヘイリングエリア内の前記人によって実行されることを判定することを含む、条項１１または１２に記載のシステム。

【0068】

１４．前記乗車要求は、前記投影ヘイリングエリア内の前記人によって実行される身体的ジェスチャと、前記投影ヘイリングエリア内の前記人によって発音される口頭の発話とのうちの１つを含む、条項１～１３のいずれかに記載のシステム。

【0069】

１５．前記乗り手要求信号を生成することは、前記自動運転車が前記人に乗車を提供することを前記ヘイリングエリア内の前記人が要求したと判定することを含む、条項１～１４のいずれかに記載のシステム。

【0070】

１６．自動運転車とのインタラクションを容易にするための方法であって、前記自動運転車に近接する表面上にヘイリングエリアを投影することと、１つまたは複数のセンサを介して、前記ヘイリングエリア内に配置された人を検出することと、乗車要求が前記人によって実行されたと判定することと、自動運転車が前記ヘイリングエリアに接近して確認応答インジケータを前記人に出力するようにさせる乗車要求信号を生成することと、を含む、前記方法。

【0071】

１７．前記乗車要求信号を生成することは、前記乗車要求信号を前記自動運転車に送信することと、前記乗車要求信号を前記自動運転車の外部にある管理エンティティに送信することと、のうちの１つを含む、条項１６に記載の方法。

【0072】

１８．前記ヘイリングエリア内の前記人を検出したことに応じて、前記センサを調整して前記ヘイリングエリアに焦点を合わせることをさらに含む、条項１６または１７に記載の方法。

【0073】

１９．前記確認応答インジケータを前記人に出力することは、前記ヘイリングエリア内の前記人に見える確認応答インジケータを生成することと、前記ヘイリングエリア内の前記人に聞こえる確認応答インジケータを生成することと、前記ヘイリングエリア内の前記人が感じ取ることができる確認応答インジケータを生成することと、のうちの少なくとも１つを含む、条項１６～１８のいずれかに記載のシステム。

【0074】

２０．前記ヘイリングエリア内の前記人に見える前記確認応答インジケータを生成することは、前記ヘイリングエリアの視覚的特徴を修正することを含む、条項１６～１９のいずれかに記載のシステム。

【0075】

任意の請求項に列挙した任意の請求項要素、及び／または本出願に記載した任意の要素の、任意の方法での任意の組み合わせ及びすべての組み合わせは、本発明及び保護の企図した範囲内に入る。

【0076】

様々な実施形態の説明は、例示の目的で提示しているが、網羅的であることも、開示した実施形態に限定されることも意図していない。多くの修正例及び変形例は、説明した実施形態の範囲及び主旨から逸脱することなく当業者には明白であろう。

【0077】

本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはすべて一般的に「モジュール」もしくは「システム」と本明細書では称し得るソフトウェア態様及びハードウェア態様を組み合わせた実施形態の形を取り得る。さらに、本開示に記載の任意のハードウェア及び／またはソフトウェア技術、プロセス、機能、コンポーネント、エンジン、モジュール、あるいはシステムは、回路または回路のセットとして実装され得る。さらに、本開示の態様は、少なくとも１つのコンピュータ可読媒体であって、コンピュータ可読プログラムコードがそこに具現化された、該少なくとも１つのコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態を取り得る。

【0078】

少なくとも１つのコンピュータ可読媒体の任意の組み合わせが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）には、少なくとも１つの電線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、または前述の任意の好適な組み合わせが含まれるであろう。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる使用または併用のためにプログラムを含むまたは記憶することができる任意の有形媒体であり得る。

【0079】

本開示の態様は、本開示の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／またはブロック図を参照して上記に説明している。フローチャート図及び／またはブロック図の各ブロック、ならびにフローチャート図及び／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実装できることは理解されよう。これらのコンピュータプログラム命令を、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供することにより、それらの命令が、そのコンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行された場合に、フローチャート及び／またはブロック図の１つまたは複数のブロックに規定された機能／行為を実装することが可能になるマシンが生成され得る。そのようなプロセッサは、限定はしないが、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルプロセッサもしくはゲートアレイであり得る。

【0080】

図中のフローチャート及びブロック図は、本開示の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能性、及び動作を示している。この点で、フローチャートまたはブロック図の各ブロックは、規定された論理的な機能（複数可）を実装するための少なくとも１つの実行可能命令を含むモジュール、セグメント、またはコードの一部を表し得る。また、一部の代替的な実施態様では、ブロックに記載した機能は、図に記載した順序とは異なる順序で起こり得ることに留意されたい。例えば、連続して示される２つのブロックは、実際には、ほぼ同時に実行されてもよく、または関与する機能に応じて、ブロックは時に逆の順序で実行されてもよい。ブロック図及び／またはフローチャート図の各ブロック、ならびにブロック図及び／またはフローチャート図のブロックの組み合わせは、特定の機能もしくは動作を実行する専用ハードウェアベースシステム、または専用ハードウェア及びコンピュータ命令の組み合わせにより、実施され得ることにも留意されたい。

【0081】

上記は本開示の実施形態を対象としているが、本開示の他の実施形態及びさらなる実施形態は、その基本的な範囲から逸脱することなく考案され得、その範囲は、添付の特許請求の範囲によって決定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】