特許 7145971 自律車両による乗客認識のための方法および車両システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-22

(45)【発行日】2022-10-03

(54)【発明の名称】自律車両による乗客認識のための方法および車両システム

(51)【国際特許分類】

   G08G 1/123 20060101AFI20220926BHJP

   G06Q 50/30 20120101ALI20220926BHJP

   G16Y 10/40 20200101ALI20220926BHJP

   G16Y 20/20 20200101ALI20220926BHJP

   G16Y 40/10 20200101ALI20220926BHJP

【ＦＩ】

G08G1/123 A

G06Q50/30

G16Y10/40

G16Y20/20

G16Y40/10

【請求項の数】 11

(21)【出願番号】P 2020559395

(86)(22)【出願日】2019-02-04

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 EP2019052603

(87)【国際公開番号】W WO2019206478

(87)【国際公開日】2019-10-31

【審査請求日】2020-10-23

(31)【優先権主張番号】102018206344.3

(32)【優先日】2018-04-25

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100195408

【弁理士】

【氏名又は名称】武藤 陽子

(72)【発明者】

【氏名】ブロット，グレゴール

(72)【発明者】

【氏名】ボルヒャース，ロベルト

【審査官】貞光 大樹

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１５３７１４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｑ １０／００ － １０／１０

Ｇ０６Ｑ ３０／００ － ３０／０８

Ｇ０６Ｑ ５０／００ － ９９／００

Ｇ１６Ｙ １０／００ － ４０／６０

(57)【特許請求の範囲】

【請求項1】

自律車両（１６）の外部のサーバユニットおよび／または車両内部の制御ユニット（１２，２０）による乗客認識のための方法（１）であって、
－ 輸送すべき人物（１４）の写真を中央サーバ（１２）に送るステップ（２）と、
－ 前記輸送すべき人物（１４）のおおよその位置を決定するステップ（３）と、
－ 前記自律車両（１６）を予め決定されたおおよその位置に接近させるステップ（４）と、
－ 前記おおよその位置に近接する前記自律車両（１６）が、前記輸送すべき人物（１４）から第１距離範囲内のときに、可能性のある複数の人物を考慮して、前記輸送すべき人物（１４）の精密な位置を、車両内部のセンサシステム（１８）により、色特徴およびテクスチャ特徴に基づいて、ならびに／または歩き方に基づいて確定するステップ（５）と、
－ 前記自律車両（１６）が、前記第１距離範囲よりも狭い第２距離範囲内のときに、前記確定された輸送すべき人物（１４）の同一性を顔認識によってチェックするステップ（６）と、
－前記自律車両（１６）を前記輸送すべき人物（１４）の乗車範囲内に位置決めするステップ（７）とを有する方法。

【請求項2】

前記車両内部のセンサシステム（１８）が、少なくとも１つのカメラ、ＬＩＤＡＲセンサ、および／または少なくとも１つのレーダセンサを有する、請求項１に記載の方法。

【請求項3】

前記輸送すべき人物（１４）の前記写真が、前記輸送すべき人物（１４）により、画像撮影機能またはアプリを備えたポータブル機器で撮影されて、送られる、請求項１または２に記載の方法。

【請求項4】

前記輸送すべき人物（１４）の前記位置のおおよその決定が、画像撮影機能を備えたポータブル機器のＧＰＳデータにアクセスすることによって、または滞在場所を送ることによって実施される、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記輸送すべき人物（１４）の前記位置のおおよその決定が、前記内部の制御ユニット（２０）または前記外部のサーバユニット（１２）によって実施される、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記輸送すべき人物（１４）の前記位置を確定するため、および前記確定された輸送すべき人物（１４）の同一性をチェックするため、前記自律車両（１６）により、少なくとも１つの車両外部のセンサシステム（２２）のファイルにアクセスされる、請求項１から５のいずれか一項に記載の方法。

【請求項7】

人物認識のためおよび人物位置特定のため、前記自律車両（１６）に、クラウド（１２）内に格納されたファイルへのアクセスが提供される、請求項６に記載の方法。

【請求項8】

色特徴およびテクスチャ特徴に基づく前記人物認識と、顔認識とが、前記外部のサーバユニット（１２）によってまたは前記車両内部の制御ユニット（２０）によって実施される、請求項７に記載の方法。

【請求項9】

前記人物認識のためおよび前記人物位置特定のため、前記自律車両（１６）に、センサへのアクセスおよび検索機能および／またはほかの車両の保存されたデータとのデータ交換が提供される、請求項７または８に記載の方法。

【請求項10】

前記輸送すべき人物（１４）が、前記自律車両（１６）によって見つけ出せない場合に報告を受ける、請求項１から９のいずれか一項に記載の方法。

【請求項11】

請求項１から１０のいずれか一項に記載の方法（１）を実施するための車両システム（１０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律車両による乗客認識のための方法およびこの方法を実施するための車両システムに関する。

【背景技術】

【0002】

自律車両は、その多くの好ましい特性によって次第に重要性を増している。自律車両は、既に多くのセンサを装備しており、かつ適切で確実な軌道を確定するためにセンサデータ、車両カメラ、およびＧＰＳデータを活用する。これまでのコンセプトでは、運転機能は自律車両によって担われ、その一方で運転者は室内にいることが企図されている。その代わりに自律車両は運転者または乗員なしでも、例えば乗員を規定のスタート地点、例えば停留地でピックアップし、かつ規定のゴール、例えばさらなる停留地へ連れて行くために、規定の道のりを走行することができる。大都市での駐車状況は、多くの場所で問題があり、それにより一部では、駐車場と本来の目的地の間の長い距離を徒歩で行かなければならない。とりわけ身体障害者にとって、さらに子供連れの若い家族にとっても、または重い手荷物を運ばなければならない場合に、長い道のりは大きな負担となり得る。

【0003】

自律車両により運転者または乗客を、可変に選択可能なまたは動的に変化する場所で個別にピックアップすることは、目下のところ知られていない。この場合に、とりわけ道端での群衆または人々の集団の中の運転者または特定の乗員を見つけ出し、一義的に識別することは、特別な技術的挑戦である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の基礎となる課題は、自律車両による乗客の的確な識別およびピックアップのための方法および車両システムを提案することに見いだせる。

【課題を解決するための手段】

【0005】

この課題は、独立請求項のそれぞれの対象によって解決される。本発明の有利な形態は、それぞれに従属する従属請求項の対象である。

【0006】

本発明の一態様によれば、自律車両による乗客認識のための方法が提供される。１つのステップでは、輸送すべき人物の少なくとも１枚の写真が中央サーバに送られる。

【0007】

さらなるステップでは、輸送すべき人物のおおよその位置が決定される。

【0008】

自律車両が、輸送すべき人物の予め決定されたおおよその位置へと制御され、またはその位置に接近する。

【0009】

続いてまたはその最中に、輸送すべき人物の精密な位置が、車両内部のセンサシステムにより、色特徴およびテクスチャ特徴に基づいて、ならびに／または歩き方に基づいて確定される。

【0010】

さらなるステップでは、確定された輸送すべき人物の同一性が顔認識によってチェックされる。

【0011】

最後に自律車両が、輸送すべき人物の乗車範囲内に位置決めされる。

【0012】

現在は、乗客または運転者（以下では、運転者が乗客とも見なされる）が下車または乗車する場合には、運転者は、このために空けられた空き地に自分の非自律車両を停車させて、乗客の下車または乗車の終了を待たなければならない。乗車の場合には、予め取り決められた停留位置で待つのが一般的である。その際、取り決められた場所に最初に乗客が到着して車両を待つか、または車両が乗客の前の取り決められた場所に到着して乗客の到着を待つ。自律車両により、乗客移送場所の決定の新たな動的な可能性が開かれ、この場合、運転者も乗客として移送または輸送することができ、かつ車両は自律的に、および運転者なしで、運転者を探し出すことができる。

【0013】

本発明による方法では、収容すべき乗客の写真が、例えばスマートフォンおよびアプリを使って撮影されて、中央サーバに送られる。それに基づいてシステムが、いったい誰を再発見またはピックアップしなければならないか、およびその人物がどのような外見かを知る。スマートフォンによるこの最初の撮影は、任意のほかのカメラシステムによっても達成され得る。

【0014】

乗客がピックアップ工程を始める場合、乗客はシステムに乗客の大まかな位置を知らせることができる。その代わりに、乗客または所望の場所の大まかなまたはおおよその位置を得るため、乗客のスマートフォンのＧＰＳ信号が使用され得る。自律車両は、定められた時点に、乗客に大まかに接近できる。

【0015】

大まかに設定された位置の周りでこの人物を見つけるために、車載センサ、例えばカメラ、それも車両外部のカメラも用いることができ、このカメラは、クラウドによってネットワーク化もされている。

【0016】

これにより迅速で、複雑でない乗客入れ替えまたは乗客収容のための動的な停留位置が、自律車両によって決定および実行され得る。自律車両は、駐車することなく、どこでも乗客を探し出して移送することができる。このために自律車両は停留するだけでよい。

【0017】

自律車両は、１人または複数の乗客を、大まかな検索範囲設定に従って独力で見つけるので、乗客は予め定められた駐車場で車両を待たなくてよくなる。乗客は、例えば予めシステムに通知した道路に沿って歩くことができ、自律車両は、乗客移送を可能にするため、乗客を独力で見つけて乗客の隣で停車する。

【0018】

乗客入れ替えのための正確な位置を自律車両に知らせるため、人物再認識により、その場面の画像から運転者および／または乗客を検出、再発見、および位置特定する機能が、自律車両および／または運転システムに実装され得る。この場合、輸送すべき人物の的確な位置特定は、色特徴および／もしくはテクスチャ特徴に基づいて、ならびに／または人物の歩き方に基づいて行われ得る。例えば、いわゆる自撮り写真だけでなく、この人物のビデオを、車両内部または外部の制御ユニットによって評価することができ、これにより運動パターンをベースとして人物の同一性が確定され得る。これによりとりわけ、輸送すべき人物を周囲または大勢の人々の中で識別でき、したがって位置特定もできる。歩き方に基づいて人物を再認識するために、例えば機械学習、コンピュータビジョン、ディープラーニング、およびその類似物が用いられ得る。

【0019】

これに加えて本方法により、自律車両によって身体障害者を、正確に彼らが自力ではそれ以上位置を変えられない位置で、収容することができる。

【0020】

本方法の１つの例示的実施形態に従えば、車両内部のセンサシステムは、少なくとも１つのカメラ、ＬＩＤＡＲセンサ、および／または少なくとも１つのレーダセンサを有する。これに関し車両内部のセンサシステムは、３６０°の視界も可能にし得る。探している乗客の色特徴およびテクスチャ特徴を考慮して、センサシステムにより周辺環境が走査または検索され得る。

【0021】

本方法のさらなる１つの例示的実施形態によれば、輸送すべき人物のポートレート写真が、輸送すべき人物により、画像撮影機能またはアプリを備えたポータブル機器で撮影されて、自律車両に直接的または間接的に送られる。これにより、どの人物が再発見されなければならないか、およびその人物がどのような外見かがシステムに送られ得る。スマートフォンによる最初の撮影は、ほかのカメラシステムによっても高度な完璧さで達成され得る。

【0022】

本方法のさらなる１つの例示的実施形態に従えば、輸送すべき人物の位置のおおよその決定は、画像撮影機能を備えたポータブル機器のＧＰＳデータにアクセスすることによって、または滞在場所を送ることによって実施される。おおよその位置は、例えばＳＭＳ、Ｅメールのようなテキストメッセージによって、または輸送すべき乗客の音声メッセージによって自律車両に知らせることができる。これにより乗客は、住所、道路、周囲もしくは周辺環境、目立つ点、または名所、およびその類似物を、おおよその位置として自律車両に知らせることができる。この知らされた位置に到達すると、例えば車両センサシステムによって詳細検索を開始でき、それにより自律車両によって乗客の精密な位置が確定され得る。その代わりにまたはそれに加えて、大まかな位置特定を得るために、乗客のポータブル機器のＧＰＳ信号が使用され得る。

【0023】

さらに、乗客の計画可能なピックアップが、電子カレンダーの読み出しによって実現でき、この計画可能なピックアップの場合、規定の期日に応じて自動的に、自律車両によって所望の場所で乗客が予測される。

【0024】

本方法のさらなる１つの例示的実施形態に従えば、輸送すべき人物の位置のおおよその決定は、内部の制御ユニットまたは外部のサーバユニットによって実施される。これにより、車両は必要な計算を制御機器によって自ら処理でき、または計算集約的なタスクを外部のサーバユニットに移行させ得る。これは、例えば複雑なアルゴリズムによる顔認識または膨大な車両外部で確定された画像データの評価であり得る。

【0025】

本方法のさらなる１つの例示的実施形態によれば、輸送すべき人物の位置を確定するため、および確定された輸送すべき人物の同一性をチェックするため、自律車両により、少なくとも１つの車両外部のセンサシステムのファイルにアクセスされる。さらに、インフラセンサシステムおよびほかの車両の車両センサシステムのネットワーク化により、ほかの自律車両が、乗客を収容している車両について情報を得ることができ、かつ支障のない交通の流れが可能になるよう、計画軌道を早めに適合することができる。さらに、このようなネットワーク化およびセンサフュージョンをベースとして、乗客のより迅速なおよび／またはより的確な識別および測位を可能にするデータ交換が実現され得る。

【0026】

本方法のさらなる１つの例示的実施形態に従えば、人物認識のためおよび人物位置特定のため、自律車両に、クラウド内に格納されたファイルへのアクセスが提供される。これにより自律車両は、ほかの道路使用者またはトラフィックユニットの収集データにアクセスでき、例えば乗客の識別または測位を実施できる。

【0027】

本方法のさらなる１つの例示的実施形態によれば、色特徴およびテクスチャ特徴に基づく人物認識と、顔認識とは、外部のサーバユニットによってまたは車両内部の制御ユニットによって実施される。これにより、本方法の計算集約的なステップを、外部のサーバユニットの固定の計算ユニットに移行させることができ、よって車両内部の制御ユニットはさほど高性能でなく設計され得る。これにより、より割安に設えられた車両装備が用いられ得る。

【0028】

本方法のさらなる１つの例示的実施形態に従えば、人物認識のためおよび人物位置特定のため、自律車両に、センサへのアクセスおよび検索機能および／またはほかの車両の保存されたデータとのデータ交換が提供される。

【0029】

人物の検出、再認識、および位置特定のためのセンサとして、第一に車両の車載カメラが用いられ得る。

【0030】

その代わりにまたはそれに加えて、外部のビデオ監視カメラ（例えば電柱上または家壁での）が、本方法の枠内で用いられ得る。同様にさらなる拡張段階では、人物を再認識するために、ネットワーク化されて連携している様々な車両が共にそのセンサデータをクラウドに送信でき、これらの車両は、この人物に対してそれぞれ運転依頼を受けておらず、したがってシステムの最適化された安定性に寄与している。

【0031】

本方法のさらなる１つの例示的実施形態によれば、輸送すべき人物が、自律車両によって見つけ出せない場合に報告を受ける。自律車両による乗客の識別および測位が中断される場合またはエラーになる場合、乗客に報告が知らされ得ることが好ましい。その後、乗客によって新たなおおよその位置を車両に送ることができ、それにより、車両によって本方法が改めて少なくとも部分的に実施され得る。

【0032】

本発明のさらなる一態様に従えば、本発明による方法を実施するための車両システムが提供される。この車両システムは、車両センサシステムおよび車両内部の制御ユニットを備えた少なくとも１つの自律車両を有している。この車両システムは、車両外部のサーバユニットをさらに有している。少なくとも１つの自律車両は通信ユニットを介し、サーバユニットと、データを伝送する通信接続を確立できる。この車両システムはそれだけでなく、任意選択で使用可能なインフラセンサシステムを有することができ、このインフラセンサシステムはサーバユニットによって評価可能である。

【0033】

以下に、非常に簡略化した概略図に基づいて本発明の好ましい例示的実施形態をより詳しく解説する。

【図面の簡単な説明】

【0034】

【図1】一実施形態による本発明による方法を具体的に説明するための概略的なフロー図である。

【図2】一実施形態による本発明による車両システムの概略的な平面図である。

【発明を実施するための形態】

【0035】

図では、同じ構造要素はそれぞれ同じ符号を有している。

【0036】

図１は、一実施形態による本発明による方法１を具体的に説明するための概略的なフロー図を示している。構造上の特徴は、図２に示した本発明による車両システム１０に関連している。

【0037】

ステップ２では、輸送すべき人物の少なくとも１枚の写真が、車両システム１０の中央サーバ１２に送られる。これは、例えば乗客１４のいわゆる自撮り写真であることができ、この自撮り写真がクラウド１２または車両外部のサーバユニット１２に送られる。外部のサーバユニット１２では、人物１４の認識データが生成され得る。これは、構造上の特徴またはテクスチャ特徴であり得る。

【0038】

さらなるステップ３では、輸送すべき人物１４のおおよその位置が決定される。おおよその位置とは、例えば、人物１４が自律車両１６によってピックアップされるべき道路または人物１４の周囲であり得る。このおおよその位置は、例えば乗客１４のポータブル機器のＧＰＳ信号の利用によって確定され得る。しかしながらＧＰＳセンサの民間使用の場合、少なくとも数メートルの誤りが存在し続け、この誤りは、局地的な実情によってより顕著であり得る。

【0039】

さらなるステップ４では、自律車両１６が、輸送すべき人物１４の予め決定されたおおよその位置へと制御され、またはその位置に接近する。

【0040】

続いて５でまたは４の最中に、輸送すべき人物１４の精密な位置が、車両内部のセンサシステム１８により、色特徴およびテクスチャ特徴に基づいて確定される。センサシステム１８は、車両内部の制御ユニット２０とつながっており、かつ制御ユニット２０によって評価され得る。制御ユニット２０はそれだけでなく、図示されていない通信装置を有しており、この通信装置により、外部のサーバユニット１２とワイヤレス通信接続が確立され得る。

【0041】

これに関しサーバユニット１２は、インフラのセンサシステム２２とも通信しており、かつインフラのセンサシステム２２を読み出して評価することができる。通信接続は矢印によって明確化されている。

【0042】

さらなるステップ６では、確定された輸送すべき人物１４の同一性が顔認識によってチェックされる。

【0043】

最後に７では自律車両１６が、輸送すべき人物１４の乗車範囲内に位置決めされる。

【0044】

以下に、一実施形態による本発明による方法１を詳細に説明する。

【0045】

乗客１４の検出、再認識、および位置特定には、コンピュータビジョン、機械学習、および人工知能の領域からの手法が用いられ得る。本方法は、２つの範囲、すなわち近距離範囲および遠距離範囲に分かれている。

【0046】

近距離範囲は、顔再認識方法を用い得るほど乗客１４の顔がカメラまたは車両センサシステム１８に近い範囲である。この範囲内では、人物１４を間違えない確率が非常に高い。

【0047】

遠距離範囲は、顔再認識方法を用い得ないほど乗客１４の顔がカメラ１８から遠く離れている範囲である。遠距離範囲内では、人物を再認識するために、画像からの色特徴およびテクスチャ特徴が使用される。このシステム１０は、近距離範囲内での再認識が可能になるまでは、遠距離範囲内で、場面内の人々の密度に応じ、可能性のある複数の乗客を考慮しなければならない。

【0048】

乗客１４の位置特定に成功した後、自律車両は、乗客１４の隣で停留するため、乗客１４のために設けられたドアが乗客１４のすぐ隣にくるように、かつ乗客１４が楽に車両１６内に乗車できるように、自律車両の目標軌道を適合することができる。

【0049】

車両１６が、近距離範囲内の乗客１４をいっこうに捕捉できない場合には、乗客１４のスマートフォンへの逆方向チャネルを介し、乗客１４が道路の方を見るよう要求することができ、それにより乗客１４の顔が再認識され得る。

【0050】

乗客１４が収容されると、交通を不必要に長く遮断しないため、車両１６はさらに先へ進む。

【図1】

【図2】