特表 2023-505167 モバイル端末を用いて車両についての遠隔制御される駐車操縦を実行する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-08

(54)【発明の名称】モバイル端末を用いて車両についての遠隔制御される駐車操縦を実行する方法及びシステム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20230201BHJP

   G06F 3/048 20130101ALI20230201BHJP

【ＦＩ】

H04Q9/00 301B

G06F3/048

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022533104

(86)(22)【出願日】2020-11-04

(85)【翻訳文提出日】2022-06-02

(86)【国際出願番号】 EP2020080874

(87)【国際公開番号】W WO2021110340

(87)【国際公開日】2021-06-10

(31)【優先権主張番号】102019133223.0

(32)【優先日】2019-12-05

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】398037767

【氏名又は名称】バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】ハイム・エーリク

【テーマコード（参考）】

5E555

5K048

【Ｆターム（参考）】

5E555AA16

5E555AA74

5E555BA23

5E555BB04

5E555BC01

5E555CA13

5E555CA42

5E555CB16

5E555CC01

5E555EA22

5E555FA00

5K048AA05

5K048BA42

5K048BA48

5K048DA01

5K048DB01

5K048DC01

5K048FB10

5K048FB15

5K048HA01

5K048HA02

(57)【要約】

【課題】遠隔制御される駐車操縦を機能的な安全性を維持しつつ快適に実行可能とする。
【解決手段】車両１についての遠隔制御される駐車操縦を実行する方法であって、モバイル端末８を有するユーザが車両１の外部におり、車両１の運転者アシストシステムを用いて駐車操縦のための軌道を計画するステップと、運転者アシストシステムを用いて、計画された軌道に沿って車両１を操縦するステップと、モバイル端末８のカメラを用いて、車両１と、車両１の周囲５とを表す画像データを検出するステップと、画像データに基づき、モバイル端末８の表示装置に表示を提供するステップとを含む、前記方法において、計画された軌道に沿った操縦が、計画された軌道に沿った操縦中の車両１の移動を表す、ユーザによってモバイル端末８において行われる操作入力がモバイル端末８を用いて検知される限り行われ、そうでない場合には操縦が中断される。

【特許請求の範囲】

【請求項1】

車両（１）についての遠隔制御される駐車操縦を実行する方法であって、モバイル端末（８）を有するユーザ（７）が車両（１）の外部におり、以下のステップ：
－車両（１）の運転者アシストシステム（２）を用いて駐車操縦のための軌道を計画するステップと、
－運転者アシストシステム（２）を用いて、計画された軌道に沿って車両（１）を操縦するステップと、
－モバイル端末（８）のカメラ（９）を用いて、車両（１）と、車両（１）の周囲（５）とを表す画像データを検出するステップと、
－画像データに基づき、モバイル端末（８）の表示装置に表示を提供するステップと
を含む、前記方法において、
－計画された軌道に沿った操縦が、計画された軌道に沿った操縦中の車両（１）の移動を表す、ユーザ（７）によってモバイル端末（８）において行われる操作入力がモバイル端末（８）を用いて検知される限り行われ、そうでない場合には操縦が中断されることを特徴とする方法。

【請求項2】

計画された軌道を表す軌道シンボル（１８）がモバイル端末（８）の表示部に示されることを特徴とする請求項１に記載の方法。

【請求項3】

操作入力として、ユーザ（７）の少なくとも１本の指によるスワイプ動作がモバイル端末（８）の検出装置（１１）を用いて検知される限り、操縦が行われ、スワイプ動作が、計画された軌道に沿った車両（１）の移動を表すことを特徴とする請求項１又は２に記載の方法。

【請求項4】

操作入力として、モバイル端末（８）の動きが検知される限り、操縦が行われ、モバイル端末（８）の動きが、計画された軌道に沿った車両（１）の移動を表すことを特徴とする請求項１～３のいずれか１項に記載の方法。

【請求項5】

車両（１）の外部輪郭を表す車両シンボル（２０）がモバイル端末（８）の表示部に示され、車両シンボル（２０）が表示部における車両（１）の模写と重なっている限り、操縦が行われることを特徴とする請求項４に記載の方法。

【請求項6】

操作入力の実行を評価するフィードバックが、モバイル端末（８）を用いてユーザ（７）へ出力されることを特徴とする請求項１～５のいずれか１項に記載の方法。

【請求項7】

駐車操縦が、所定の操作速度で操作入力が行われる限り行われ、そうでなければ操縦が中断されることを特徴とする請求項１～６のいずれか１項に記載の方法。

【請求項8】

軌道の計画前に、画像データに基づき、モバイル端末（８）を用いて、駐車操縦についてのゴールとしての少なくとも１つの駐車範囲（１５）が検知され、該少なくとも１つの駐車範囲（１５）が、選択のためにユーザへ提示されることを特徴とする請求項１～７のいずれか１項に記載の方法。

【請求項9】

運転者アシストシステム（２）の少なくとも１つの周囲センサ（４）による測定に基づき駐車操縦についてのゴールとして検知される少なくとも１つの駐車範囲（１５）の位置が、モバイル端末（８）の表示装置（１０）に表示されることを特徴とする請求項１～８のいずれか１項に記載の方法。

【請求項10】

車両（１）についての遠隔制御される駐車操縦を実行するシステム（２１）であって、モバイル端末（８）を有するユーザ（７）が車両（１）の外部におり、
－駐車操縦のための軌道を計画し、計画された軌道に沿って車両（１）を操縦するための運転者アシストシステム（２）と、
－車両（１）及び車両（１）の周囲（５）を表す画像データを検出するためのカメラ（９）と、画像データに基づき表示を提供するための表示装置（１０）とを有するモバイル端末（８）と
を含むシステムにおいて、
－ユーザによってモバイル端末（８）において行われる、計画された軌道に沿った操縦中の車両（１）の移動を表す操作入力が検知されるようにモバイル端末（８）が構成されており、
－計画された軌道に沿った操縦が、モバイル端末（８）が操作入力を検知する限り行われ、そうでなければ中断されるように行われるよう、運転者アシストシステム（２）が構成されている
ことを特徴とするシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイル端末を有するユーザが車両外部にいる、車両についての遠隔制御される駐車操縦を実行する方法に関するものである。当該方法は、車両の運転者アシストシステムを用いて、駐車操縦のための軌道を計画すること、及び計画された軌道に沿って車両を操縦することを含んでいる。さらに、方法は、モバイル端末のカメラを用いて、車両と、車両の周囲とを表す画像データを検出することを含んでいる。そのほか、方法は、画像データに基づき、モバイル端末の表示装置に表示を提供することを含んでいる。さらに、本発明は、車両についての遠隔制御される駐車操縦を実行するシステムに関するものである。

【背景技術】

【0002】

車両の動作時にユーザあるいは運転者を補助する異なる運転者アシストシステムが従来技術から知られている。ここでは、いわゆる遠隔制御される駐車操縦を行うことが可能な運転者アシストシステムあるいはシステムが注目される。このような駐車操縦においては、運転者アシストシステムを用いて、例えば駐車スペースへ車両を操縦することが可能である。駐車操縦中には、ユーザあるいは車両の運転者は車両の外部にいる。当該自動化された駐車操縦の実行時には、適当な操作がユーザによってモバイル端末において行われる。

【0003】

このために、モバイル端末において適当なキー（ボタン）が継続的に押されることが例えば従来技術から知られている。さらに、モバイル端末としてスマートフォンが用いられ、スマートフォンの接触感応式のディスプレイにおいて適当な操作入力が行われることが従来技術から知られている。例えば、１本の指で円状のスワイプ動作を行うことが可能である。当該操作入力が行われる限り、運転者アシストシステムを用いた自動化された駐車操縦が行われる。操作入力が止まると、走行操縦あるいは駐車操縦が中断され、車両が制動される。モバイル端末及びモバイル端末における適当な操作によって、いわばデッドマンスイッチが実現され、これにより、駐車操縦中の機能的な安全性を確保することができる。駐車操縦全体の間にこのような操作を行ったユーザは、当該操作を不快に感じることがあり得る。これは、特に、行われる駐車操縦が所定の継続時間、例えば２０秒よりも長い場合である。

【0004】

当該問題に対応するために、モバイル端末としてスマートフォンが用いられるシステムが従来技術から知られている。スマートフォンのカメラによって、車両あるいは車両の周囲を表す画像の時系列を検出することが可能である。また、この場合、検出される画像において車両が十分に検出されたかどうかをチェックすることが可能である。例えば、画像内容全体における車両の画像の割合があらかじめ設定可能な閾値を上回っているか、又は下回っている場合には、自律して制御される車両の前進を中断又は中止することができる。このような方法は、例えば特許文献１に開示されている。

【0005】

さらに、モバイル端末あるいはスマートフォンによって記録される画像が駐車範囲あるいは対応する空間を測量するために用いられる方法が従来技術から知られている。これについて、車両がスペースに収まるかどうかを特定する方法が特許文献２に記載されている。当該方法は、車両が移動すべき空間の画像を検出すること、及び画像に基づき空間の三次元的な図示をシミュレーションすることを含んでいる。さらに、当該方法は、三次元的な図示を用いて空間の寸法を特定すること、及び空間の寸法を車両の寸法と比較することを含んでいる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】独国特許出願公開第１０２０１２０１６８６８号明細書

【特許文献2】欧州特許出願公開第３１０１５９３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の課題は、冒頭に挙げた種類の遠隔制御される駐車操縦を機能的な安全性を維持しつついかにしてユーザによってより快適に実行可能であるかという解決手段を示すことにある。

【課題を解決するための手段】

【0008】

当該課題は、本発明により、独立請求項による特徴を有する方法及びシステムによって解決される。本発明の有利な発展形態は、従属請求項の対象である。

【0009】

本発明による方法は、車両についての遠隔制御される駐車操縦を実行するために用いられ、モバイル端末を有するユーザは、車両の外部にいる。当該方法は、車両の運転者アシストシステムを用いて、駐車操縦のための軌道を計画することを含んでいる。さらに、方法は、運転者アシストシステムを用いて、計画された軌道に沿って車両を操縦することを含んでいる。そのほか、方法は、モバイル端末のカメラを用いて、車両と、車両の周囲とを表す画像データを検出すること、及び画像データに基づき、モバイル端末の表示装置に表示を提供することを含んでいる。このとき、計画された軌道に沿った操縦が、計画された軌道に沿った操縦中の車両の移動を表す、ユーザによってモバイル端末において行われる操作入力がモバイル端末を用いて検知される限り行われ、そうでない場合には操縦が中断されるようになっている。

【0010】

方法を用いて、遠隔制御される駐車操縦が行われることとなる。当該駐車操縦は、例えば、車両が駐車スペースへ操縦される駐車（入庫）操縦であってよい。また、駐車操縦は、例えば、車両が駐車スペースから操縦される入庫操縦であってよい。駐車操縦中には、車両は、運転者アシストシステムを用いて自動化されて、あるいは自律して操縦される。これは、運転者アシストシステムが、車両の長手方向の運転及び横方向の運転に介入することができることを意味する。駐車操縦のために、運転者アシストシステムを用いて軌道が計画される。このために、例えば１つ又は複数の周囲センサによって、車両の周囲を表すセンサデータを提供することが可能である。特に、運転者アシストシステムを用いて、センサデータに基づいて物体あるいは障害物及び車両の周囲におけるその位置を検知することが可能である。そして、検知された物体及び車両の既知の寸法に基づき、駐車操縦のための軌道を計画することが可能である。

【0011】

駐車操縦中には、ユーザあるいは車両の運転者は車両の外部にいる。ユーザは、駐車操縦中にモバイル端末を片手又は両手で保持することができる。モバイル端末は、特にスマートフォン、タブレットコンピュータ又はこれらに類するものである。モバイル端末はカメラを含み、当該カメラを用いて、車両の周囲及び車両を表す画像データあるいは一連の画像を撮影することが可能である。さらに、モバイル端末は、適当な表示が提供され得る表示装置あるいはディスプレイを含んでいる。例えば、表示装置には、モバイル端末のカメラによって撮影される画像データを継続的に表示することが可能である。このとき、駐車操縦中に車両がモバイル端末のカメラの検出範囲にあるかどうかを公知の態様でチェックすることが可能である。したがって、車両の所定の範囲がモバイル端末のカメラによって検出されるかどうか、及び／又は表示装置に表示されるかどうかがチェックされる。これが満たされない場合には、駐車操縦を中止することが可能である。この目的のために、車両が画像データにおいて検知される、画像処理又は物体認識の公知の方法を用いることができる。

【0012】

さらに、自動化された、あるいは自律した駐車操縦中に、ユーザによって、モバイル端末における、あるいはモバイル端末による所定の操作入力が行われるようになっている。操作入力が止まると、走行操縦が中断され、車両が制動される。このとき、本発明によれば、ユーザによって行われる操作入力が計画された軌道に沿った操縦中の車両の移動を表すようになっている。したがって、駐車操縦中には、ユーザによって所定の操作入力が行われる必要がある。当該操作入力は、計画された駐車操縦のために個別に設定されることが可能である。行われる操作入力は、自律して行われる駐車操縦中の車両の移動を表すことができる。操作入力時には、特に計画された軌道に沿った移動、あるいはモバイル端末への現実に実行される軌道の模写に沿った移動がユーザによって実行される。操作入力中には、いわば（仮想的に）駐車操縦の実行中の車両の移動がユーザによってエミュレート又は模倣されることが可能である。

【0013】

ユーザの操作入力がこの所定の操作入力から偏差する場合には、車両の操縦あるいは遠隔制御される駐車操縦の実行を中断することが可能である。操作の実行中には、いわば、駐車操縦中にモバイル端末を用いてユーザが車両をアクティブに制御することができるという感覚がユーザにもたらされる。このようにして、駐車操縦中にユーザが車両の移動及び車両の周囲を監視することを達成することが可能である。したがって、ユーザがその注意を駐車操縦に向けることを確保することができる。加えて、例えばキー（ボタン）が押されるか、又は駐車操縦とは無関係な動きがモバイル端末において行われる公知の方法に比べて、ユーザは操作入力を不快なものと感じないという利点が得られる。したがって、遠隔制御される駐車操縦中に機能的な安全性を確保し、デッドマンスイッチの機能を提供することが可能である。

【0014】

操作入力中には、操作入力を表すデータをモバイル端末によって継続的に運転者アシストシステムへ伝達することが可能である。これに代えて、又はこれに加えて、計画された軌道における車両の位置を表すデータを運転者アシストシステムによってモバイル端末へ伝達することが可能である。したがって、操作入力が車両の移動を表すかどうか、あるいは操作入力によって車両の移動がエミュレートされるかどうかをチェックすることが可能である。

【0015】

好ましくは、計画された軌道を表す軌道シンボルがモバイル端末の表示部に示される。上述したように、モバイル端末のカメラによって撮影された画像エータに基づいて表示を提供することが可能である。したがって、当該表示は、スマートフォンによる写真の撮影において知られているように、周囲及び車両を表示することが可能である。当該表示部には、更に軌道シンボルを示すことも可能である。したがって、軌道シンボルは、表示された画像データに重ねられることが可能である。軌道シンボルは、曲線の形状を有することができるとともに、自律した駐車操縦中に車両が走行する軌道を表すことが可能である。また、軌道シンボルは適当な矢印を有しており、当該矢印は、駐車操縦中の車両の走行方向を表す。軌道シンボルは、モバイル端末あるいはモバイル端末の演算装置を用いて特定されることが可能である。このとき、計画された軌道を表す適当なデータを運転者アシストシステムからモバイル端末へ伝達するように構成されることが可能である。そして、軌道シンボルは、モバイル端末の演算装置を用いて、周囲及び車両の二次元的な図示を考慮して表示装置に示されることが可能である。軌道シンボルによって、ユーザがどのように操作入力を実行したかがいわばユーザに示される。したがって、遠隔制御される駐車操縦中にユーザが必要な操作入力を行うことを保証することが可能である。

【0016】

一実施形態によれば、操作入力として、ユーザの少なくとも１本の指によるスワイプ動作がモバイル端末の検出装置を用いて検知される限り、操縦が行われ、スワイプ動作が、計画された軌道に沿った車両の移動を表す。したがって、モバイル端末の検出装置を用いて、操作入力としてのスワイプ動作を検出することが可能である。当該スワイプ動作においては、ユーザは、少なくとも１本の指で検出装置に沿ってなでることができる。検出装置は、特にモバイル端末あるいはスマートフォンの接触感応式のディスプレイの一部であってよく、接触感応式のディスプレイは、同時にモバイル端末の表示装置を含んでいる。このようなスワイプ動作は、従来技術から知られたスワイプ動作に比べて、当該スワイプ動作が駐車操縦を表すとともに車両をアクティブに制御するという印象をユーザに与えるという利点を有している。

【0017】

上述のように、モバイル端末の当該表示装置には、軌道シンボルを示すことができるか、あるいは軌道シンボルが図示される画像データに重なることができる。このとき、特に、軌道シンボルに沿ったスワイプ動作が行われるようになっている。したがって、操作入力時あるいはスワイプ動作時には、表示された、あるいは示された軌道シンボルを、いわば指でトレースすることが可能である。また、このとき、軌道シンボルに加えて位置シンボルが示されるように構成することが可能である。当該位置シンボルは、軌道における車両の現在の位置を表すことができる。自律した駐車操縦中には、位置シンボルの位置は、軌道に沿って変更されることが可能である。軌道に対する車両の現在の位置を表すデータは、運転者アシストシステムからモバイル端末へ伝達されることが可能である。そして、位置シンボルを、データに基づき、モバイル端末を用いて特定及び示すことが可能である。位置シンボルによって、操作入力のために、ユーザがその指をどこに位置決めする必要があるかがいわばユーザに示される。これに代えて、当該位置シンボルがユーザの操作入力によって、あるいは軌道シンボルに沿ったスワイプ動作によって変位し得るように構成されることが可能である。したがって、操作入力が単純で直感的な態様でユーザへ示される。加えて、操作入力が設定に対応して行われるか銅かを容易にチェックすることが可能である。スワイプ動作が、表示された軌道シンボルあるいは表示された位置シンボルから偏差すると、駐車操縦を中止することが可能である。

【0018】

示された軌道シンボルからスワイプ動作が明らかに偏差する場合には、自律的な駐車操縦を中断することが可能である。ユーザが検出装置において例えば少なくとも１本の指で任意のスワイプ動作を行う場合に、駐車操縦を中断することが可能である。同様に、ユーザが少なくとも１本の指を検出装置あるいは接触感応式のディスプレイから離す場合に、駐車操縦を中断することも可能である。駐車操縦が中断されると、ユーザは、これについての適当な情報によって通知されることが可能である。そして、ユーザが操作入力を行うか、あるいは継続すると、駐車操縦あるいは走行操縦が再び続行されることができる。

【0019】

代替的な一実施形態によれば、操作入力として、モバイル端末の動きが検知される限り、操縦が行われ、モバイル端末の動きが、計画された軌道に沿った車両の移動を表す。操作入力を実行する他の態様は、モバイル端末全体あるいはスマートフォン全体を動かすことである。したがって、自律的な駐車操縦の実行中には、ユーザによって車両の方向へ向けられたモバイル端末全体を動かすことができ、ここで行われる操作入力によって、駐車操縦中の車両の移動が模倣される。ここでも、当該操作入力中に車両の所定の割合がモバイル端末のカメラによって検出されるかどうかを継続的にチェックするように構成することが可能である。これが満たされない場合には、駐車操縦を中止することが可能である。したがって、ユーザがモバイル端末によって車両を制御することができることがいわば（仮想的に）ユーザへもたらされる。このようにして、駐車操縦中の機能的な安全性を確保することが可能である。モバイル端末あるいはスマートフォンの動きは、モバイル端末の少なくとも１つのモーションセンサによって継続的に特定されることができる。少なくとも１つのモーションセンサによって、動き、加速度及び／又は傾斜を検出することが可能である。公知のスマートフォン又はタブレットコンピュータは、通常、このようなモーションセンサを含んでいる。したがって、方法の実行のために当該モバイル端末を改造する必要はない。

【0020】

ここで、特に、車両の外部輪郭を表す車両シンボルがモバイル端末の表示部に示され、車両シンボルが表示部における車両の模写と本質的に重なっている限り、操縦が行われるようになっている。車両シンボルは、提供される表示に関して車両の外部輪郭を表すことができる。換言すれば、車両シンボルは、画像データにおいて車両の外部輪郭を表すことが可能である。表示における車両シンボルの位置は、駐車操縦中の車両の現在の位置に依存して特定されることができる。駐車操縦の実行中には、表示において、車両シンボルが車両の画像と本質的に重なっているように、あるいは車両の模写又はその所定の割合が車両シンボル内に位置しているようにユーザによってモバイル端末が保持あるいは動かされているかどうかをチェックすることができる。表示において車両シンボルと車両の模写の間に所定の偏差が認識される場合には、駐車操縦が中断され得る。

【0021】

表示において車両シンボルが車両の模写と重なると、駐車操縦を再び続行することが可能である。この場合、車両シンボルが車両の模写と再び一致するようにユーザがモバイル端末を動かす必要がある。したがって、車両シンボルは、いわば車両の模写へ「はめ込まれる」ことが可能である。車両シンボルと車両の模写の一致が認識されると、モバイル端末を用いて対応するフィードバックを出力することができる。当該フィードバックは、視覚的、聴覚的（音響的）及び／又は触覚的になされ得る。駐車操縦を初めて開始するために、このようなアプローチを設定することも可能である。自動化された駐車操縦を開始するために、表示装置において車両シンボルと車両の模写が一致するように、ユーザはモバイル端末の向きを調整することができる。

【0022】

さらに、操作入力の実行を評価するフィードバックがモバイル端末を用いてユーザへ出力されれば有利である。上述したように、駐車操縦が中断される場合には、ユーザに適当に通知されることが可能である。この目的のために、モバイル端末を用いて適当なフィードバックをユーザへ出力することが可能である。当該フィードバックは、例えば表示部における適当な示唆によって視覚的に、例えば適当な音出力によって聴覚的に、及び／又は例えば適当な振動アラームによって触覚的に、又はこれらに類するものによって出力されることが可能である。操作入力の実行中に適当な示唆をユーザへ出力するように構成することも可能である。当該示唆は、例えば、どのように操作入力が行われるべきかという情報を含むことができる。当該示唆は、特に、操作入力が実行される方向又は速度についての示唆を含むことができる。さらに、実行される操作入力が所定の操作入力とどのくらい良好に一致するかというフィードバックをユーザへ示すように構成することも可能である。ここで、例えば色彩表示を用いることができる。このようにして、操作入力の実行時にユーザを補助することが可能である。

【0023】

さらに、駐車操縦が、所定の操作速度で操作入力が行われる限り行われ、そうでなければ中断されれば有利である。操作入力が実行される操作速度は、特に、駐車操縦の実行中の車両の現在の速度に依存する。したがって、特に、操作入力が駐車操縦中の車両の速度を表すように、操作入力が実行されるべきである。したがって、操作入力の実行が正確であるときにユーザが駐車操縦中の車両の移動を制御する印象がユーザに与えられる。ここでも、操作速度を設定し、あるいは操作入力の操作速度を評価する適当な示唆あるいはフィードバックをユーザへ出力するようにすることも可能である。したがって、操作入力の実行時にユーザを補助することが可能である。

【0024】

別の一実施形態では、軌道の計画前に、画像データに基づき、モバイル端末を用いて、駐車操縦についてのゴールとしての少なくとも１つの駐車範囲が検知され、該少なくとも１つの駐車範囲が、選択のためにユーザへ提示される。ユーザが車両の外部にいれば、当該ユーザは、モバイル端末あるいはスマートフォンを所望の駐車範囲の方向へ向けることができる。駐車範囲は、特に駐車スペースであり得る。そして、駐車範囲を表す画像データを、モバイル端末のカメラを用いて提供することが可能である。そして、画像データに基づき、駐車範囲あるいは駐車スペースをモバイル端末を用いて測量することができる。この目的のために、画像処理あるいは物体認識に基づき、公知の方法、例えば「ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ（ＳＦＭ）」又はこれに類するものを用いることが可能である。そして、駐車範囲あるいは駐車スペースの測量後、駐車範囲が車両にとって適切であるかどうかを、車両の既知の寸法に基づき、モバイル端末を用いてチェックすることが可能である。駐車範囲が車両の駐車に十分な寸法であれば、モバイル端末の表示においてこのことをユーザへ適当に表示することが可能である。例えば、駐車面が緑色に示される適当なオーバーレイを行うことができる。駐車面の寸法が車両にとって十分でない場合には、このことを、表示において、あるいは適当なオーバーレイを用いて赤色として示すことが可能である。

【0025】

また、車両の駐車に適切であると認識された駐車面を選択する可能性をユーザに提供することが可能である。これにつづき、選択された駐車面及び／又は選択された駐車面の寸法を表す適当な情報をモバイル端末から車両あるいは運転者アシストシステムへ伝達することが可能である。このために、特に、車両とモバイル端末の間の相対位置が特定されるように構成されている。モバイル端末と車両の間の相対位置を特定するために、例えば適当なデータを交換することが可能である。そして、異なる時点で交換されるデータのランタイムに基づき、車両とモバイル端末の間の相対位置を三角測量を用いて算出することが可能である。これに代えて、又はこれに加えて、車両の位置及び／又はモバイル端末の位置を特定するために、例えばＧＰＳのような衛星支援された位置特定システムを用いることが可能である。したがって、例えば、所望の駐車面あるいは駐車スペースを駐車操縦のゴールとして車両の周囲センサによってあらかじめ認識及び／又は測量する必要がない。同様に、駐車面に合わせて車両を位置決めする必要がない。したがって、遠隔制御される駐車操縦の機能を拡張することができる。

【0026】

別の実施形態によれば、運転者アシストシステムの少なくとも１つの周囲センサによる測定に基づき駐車操縦についてのゴールとして検知される少なくとも１つの駐車範囲の位置が、モバイル端末の表示装置に表示される。適当な駐車面あるいは駐車スペースは、運転者アシストシステムの周囲センサによって測量されることが可能であるとともに、駐車操縦のための可能なゴールとして認識されることができる。このとき、認識された駐車面を表す適当なデータあるいは情報を運転者アシストシステムからモバイル端末へ伝達することが可能である。そして、当該データに基づき、適当な表示あるいはオーバーレイを表示部に提供することができ、当該表示部によって、認識した駐車範囲がユーザへ表示される。認識された駐車面がモバイル端末の表示部における表示範囲の外にある場合には、当該認識された駐車面が周囲におけるどの箇所にあるか、あるいはユーザがモバイル端末をどの方向へ移動させる必要があるかという適当な示唆をユーザへ出力することが可能である。これによっても、遠隔制御される駐車操縦の機能を更に拡張することができる。

【0027】

本発明によるシステムは、車両についての遠隔制御される駐車操縦を実行するために用いられ、モバイル端末を有するユーザは、車両の外部にいる。当該システムは、駐車操縦のための軌道を計画するため、及び計画された軌道に沿って車両を操縦するための車両の運転者アシストシステムを含んでいる。さらに、システムは、車両及び車両の周囲を表す画像データを検出するカメラと、画像データに基づき表示を提供する表示装置とを有するモバイル端末を含んでいる。このとき、モバイル端末は、計画された軌道に沿った操縦中の車両の移動を表す、モバイル端末においてユーザによって行われる操作入力を認識するように構成されている。さらに、運転者アシストシステムは、モバイル端末が操作入力を認識しない場合には操縦を中断するために、モバイル端末が操作入力を認識する限り計画された軌道に沿った操縦が行われるように構成されている。

【0028】

運転者アシストシステムは少なくとも１つの周囲センサを備えており、当該周囲センサを用いて、車両の周囲を検出することができる。特に、周囲及び周囲における物体を表すセンサデータを少なくとも１つの周囲センサによって提供することが可能である。少なくとも１つの周囲センサは、レーダセンサ、ライダ（Ｌｉｄａｒ）センサ、超音波センサ及び／又はカメラとして形成されることができる。さらに、運転者アシストシステムは制御機器を備えることができ、当該制御機器を用いて、センサデータを評価することが可能である。加えて、車両を自動化して、又は自律して操縦するために、制御機器によって制御信号を出力することが可能である。したがって、車両の長手方向の運転（ガイド）及び横方向の運転（ガイド）を引き継ぐことが可能である。加えて、周囲において検出される物体に基づき、制御機器によって、駐車操縦のための軌道を演算することが可能である。加えて、運転者アシストシステムは、データをワイヤレス（無線）で送信及び／又は受信するために、通信ユニットを備えることができる。

【0029】

モバイル端末は、特にスマートフォン又はタブレットとして形成されることが可能である。モバイル端末は、表示を提供するための表示装置と、操作を検出するための検出装置とを備えることが可能である。さらに、モバイル端末は、車両及び車両の周囲の画像データを提供することが可能なカメラを含んでいる。さらに、モバイル端末は少なくとも１つのモーションセンサを含んでおり、当該モーションセンサを用いて、モバイル端末の運動（モーション）を検出することができる。運転者アシストシステムの通信装置とワイヤレスでデータを交換することができるように、モバイル端末も通信装置を備えることができる。また、モバイル端末は、データ伝達のために、カメラと、表示装置と、検出装置と、通信装置とに接続された演算装置を含んでいる。演算装置は、モバイル端末あるいはスマートフォンのプロセッサによって形成されることが可能である。

【0030】

方法を実行するために、あるいはシステムを動作させるために、モバイル端末と車両の間の相対位置を特定することが可能である。このために、異なる時点で通信装置を介してワイヤレスでデータを交換することができ、及び／又はＧＰＳデータを使用することが可能である。車両に対するモバイル端末の相対的な位置は、三角測量を用いて特定されることが可能である。さらに、モバイル端末の少なくとも１つのモーションセンサのデータを考慮に入れることが可能である。モバイル端末に対する車両の相対的な位置特定のために、ニューラルネットワークに基づく画像処理の方法が使用されるように構成することも可能である。モバイル端末がステレオカメラを備え、ステレオカメラの画像データに基づいて相対位置が特定されるように構成することも可能である。

【0031】

異なる画像あるいは画像データにおいて車両の位置を特定するために、オプティカルフローの手法を用いることが可能である。したがって、車両は、動画において追跡あるいはトラッキングされることが可能である。車両に対するカメラ位置あるいはモバイル端末の相対位置が特定されると、上述の軌道シンボル及び／又は車両シンボルを特定及びオーバーレイすることが可能である。ここでは、例えばピンホールカメラモデルに基づき特定されることが可能なカメラの視野のみが必要となる。当該視野は、カメラの解像度、ピクセルサイズ及び焦点距離に基づき演算されることが可能である。正確な大きさで、及び正確な位置でシンボル又はオーバーレイを表示するためには、既知の視野によって、代数変換、例えば回転及び変換のみが必要である。モバイル端末の動きの形態での操作入力をチェックするために、モーションセンサのデータ及びオプティカルフローの方法を使用することが可能である。通常のスマートフォンのプロセッサは、方法の上述のステップを実行するために適当な演算性能を有している。

【0032】

本発明の別の一態様は、モバイル端末の演算装置及び運転者アシストシステムの制御機器によるプログラムの実行時に、本発明による方法及びその有利な形態をプログラムに実行させるコマンドを含むコンピュータプログラムに関するものである。さらに、本発明は、モバイル端末の演算装置及び運転者アシストシステムの制御機器による実行時に、本発明による方法及びその有利な形態をプログラムに実行させるコマンドを含むコンピュータ読取可能な（メモリ）媒体に関するものである。

【0033】

本発明による方法に関して提示される好ましい実施形態及びその利点は、本発明によるシステム、本発明によるコンピュータプログラム及び本発明によるコンピュータ読取可能な（メモリ）媒体にも対応して当てはまる。

【0034】

本発明の別の特徴は、特許請求の範囲、図面及び図面による説明から明らかである。本明細書において上述した特徴及び特徴の組合せ並びに以下において図面による説明及び／又は図面において単に示される特徴及び特徴の組合せは、本発明の範囲を逸脱することなく、それぞれ記載された組合せにおいてのみならず、他の組合せ又は単独で使用可能である。

【0035】

本発明を、好ましい実施例に基づいて、添付の図面を参照しつつ詳細に説明する。

【図面の簡単な説明】

【0036】

【図1】運転者アシストシステムを有する車両と、車両の周囲における、モバイル端末を有するユーザとを概略的に示す図である。

【図2】モバイル端末と、モバイル端末の各構成要素とを概略的に示す図である。

【図3】モバイル端末のカメラによって撮影される、車両の周囲における駐車範囲を示す図である。

【図4】車両についての自動化された駐車操縦の実行中に軌道シンボルが表示されるモバイル端末を示す図である。

【図5】車両についての自律した駐車操縦の実行中に車両シンボルが表示されるモバイル端末の表示（部）を示す図である。

【図6】別の一実施形態による図５に従うモバイル端末における表示（部）を示す図である。

【発明を実施するための形態】

【0037】

各図では、同一又は機能的に同一の要素には同一の参照符号が付されている。

【0038】

図１には、ここでは乗用車として形成された車両１が概略的な図示で平面図において示されている。車両１は、同様に電子制御機器３を含む運転者アシストシステム２を含んでいる。さらに、運転者アシストシステム２は少なくとも１つの周囲センサ４を含んでおり、当該周囲センサを用いて、車両１の周囲５を検出することができる。本実施例では、運転者アシストシステム２は、例えばレーダセンサとして形成されることが可能な２つの周囲センサ４を含んでいる。さらに、運転者アシストシステム２は通信装置６を含んでおり、当該通信装置を用いて、データをワイヤレスで送受信可能である。

【0039】

車両１の周囲５を表すセンサデータは、周囲センサ４によって提供されることが可能である。当該センサデータは、周囲センサ４から制御機器３へ伝達されることができる。さらに、運転者アシストシステム２を用いて、駐車操作のための軌道を計画することが可能である。当該駐車操作時には、車両１は、例えば駐車スペースへ駐車（入庫）され、又は駐車スペースから出されること（出庫）が可能である。加えて、運転者アシスト装置２は、別の周囲センサ４、例えば複数の超音波センサを備えることができ、当該超音波センサによって、駐車操作の実行中に車両１の周囲５における物体あるいは障害物を検出することが可能である。駐車操作中に車両１を自動化して、又は少なくとも部分的に自律して操作するために、制御機器３を用いて、適当な制御信号を車両１の操舵部、駆動モータ（駆動エンジン）及び／又はブレーキシステムへ伝達することができる。

【0040】

車両１の周囲５には、モバイル端末８を持ったユーザ７がいる。特にスマートフォン又はタブレットコンピュータとして形成されることができる当該モバイル端末８は、図２に概略的に図示されている。モバイル端末８及び運転者アシストシステム２は、共にシステム２１を形成している。モバイル端末８はカメラ９を含んでおり、当該カメラを用いて、周囲５及び車両１の画像あるいは画像データを提供することが可能である。さらに、モバイル端末８は表示装置１０を含んでおり、当該表示装置を用いて、表示を提供することができる。当該表示は、カメラ９によって記録される画像データに基づいて提供されることが可能である。そのほか、モバイル端末８は検出装置１１を含んでおり、当該検出装置を用いて、表示装置１０における操作入力を検出することができる。本例では、表示装置１０及び検出装置１１は、接触感応式のディスプレイによって形成されている。

【0041】

そのほか、モバイル端末８はモーションセンサ１２を含んでおり、当該モーションセンサを用いて、モバイル端末８の運動（モーション）を検出することができる。モーションセンサ１２によって、モバイル端末８の回転、傾斜、加速度又はこれらに類するものを検出することが可能である。モーションセンサ１２を用いて、モバイル端末８全体の運動の形態で操作入力を検出することが可能である。また、モバイル端末８は通信装置１３を含んでおり、当該通信装置は、運転者アシストシステム２の通信装置６とワイヤレスでデータを交換するために用いられる。最後に、モバイル端末８は演算装置１４を含んでおり、当該演算装置は、カメラ９と、表示装置１０と、検出装置１１と、モーションセンサ１２と、データ伝達のための通信装置１３と接続されている。

【0042】

モバイル端末８と車両１の間の相対的な位置を特定することができるように、対応するデータが、モバイル端末８の通信装置１３と運転者アシストシステム２の通信装置６の間で異なる時点で交換されることが可能である。それぞれの位置あるいは互いに対する相対的な位置を特定するために、車両１及びモバイル端末８の適当なＧＰＳ受信器を用いるように構成されることも可能である。また、モバイル端末８に対する車両１の位置は、画像データ及び適当な画像処理に基づいて特定されることが可能である。

【0043】

図３には、車両１の周囲５と、表示装置１０に周囲５の一部が表示されるモバイル端末８とが示されている。ここでは、モバイル端末８あるいはスマートフォンは、車両１について適切な駐車面１５を探索するために用いられる。ここでは、ユーザ７は、車両１の周囲にいるとともに、可能な駐車面１５がカメラ９の検出範囲あるいは視野に位置するようにモバイル端末８を位置決めする。画像処理の適当な方法によって、駐車スペースあるいは駐車面１５を測量することができ、モバイル端末の演算装置１４によって、駐車面１５の寸法が車両１を駐車面１５に駐車するのに十分であるかどうかをチェックすることが可能である。

【0044】

駐車面１５の寸法が車両１を駐車させるのに十分であれば、このことをユーザへ適当に表示することが可能である。本例では、車両１に対して選択された駐車面１５が適切であることを表すシンボル１６がユーザへ示される（オーバーレイされる）。このとき、当該シンボル１６が適当な色、例えば緑色で表示されるように構成することが可能である。選択された駐車面１５が、寸法について、車両１を駐車面１５に駐車するのに十分でない場合には、適当なシンボル１６を赤色で表示することが可能である。さらに、モバイル端末８の表示装置１０には、ユーザに対して別のシンボル１７が示され、したがって、当該駐車箇所あるいは駐車面１５を選択する可能性がユーザに提供される。ユーザ７が駐車面１５を選択した場合、対応するデータをモバイル端末８から運転者アシストシステム２へ伝達することが可能である。当該データは、駐車面１５の位置及び寸法を表すことができる。そして、これにつづき、運転者アシストシステム２を用いて、駐車面１５への走行操縦あるいは駐車操縦のための軌道を算出することが可能である。

【0045】

図４には、車両１の周囲５と、車両１及び周囲５の一部が更に表示されたモバイル端末８とが示されている。ここでは、運転者アシストシステム２を用いて、駐車操縦が現に実行される。このとき、車両１は、少なくとも部分的に自律して駐車スペースへ後方に操縦される。ここで、車両１の少なくとも所定の部分がカメラ９の検出範囲へ位置するか、あるいは表示装置１０に表示されるまで、駐車装置を実行することが可能である。その他の場合には、駐車操縦を中断することができる。加えて、モバイル端末８において所定の操作入力がユーザ７によって行われる限り、駐車操縦が実行されるように構成されている。このとき、操作入力は、当該操作入力が駐車操縦中に車両１の移動を表し、あるいはエミュレートするように構成されている。

【0046】

本例では、駐車操縦中には、表示装置１０に更に軌道シンボル１８が示される。当該軌道シンボル１８は、駐車操縦中の車両の推移あるいは移動を表す。このとき、駐車操縦中に、操作入力として、ユーザ７が検出装置１１あるいは接触感応式のディスプレイにおいて少なくとも１本の指でスワイプ動作を行うように構成されており、スワイプ動作は、軌道シンボル１８に沿って行われる。換言すれば、ユーザ７は、操作入力中に、表示装置１０における軌道シンボル１８を指でトレースする。本例では、更に位置シンボル１９が示されており、当該位置シンボルは、軌道における車両１の現在の位置を表すことが可能である。

【0047】

図５には、別の一実施形態による駐車操縦における、車両１の周囲５と、車両１及び周囲５の一部を表示するモバイル端末８とが示されている。ここでも、車両１は、少なくとも部分的に自律して駐車スペースへ後方に操縦される。本例においても、軌道シンボル１８及び位置シンボル１９が示される。この場合、更に車両シンボル２０が示されており、当該車両シンボルは、車両１の外部輪郭あるいは車両１の模写を表示装置１０に表す。この場合、車両シンボル２０が表示装置１０における車両１の模写と一致すると、運転者アシストシステム２を用いて駐車操縦を開始することが可能である。車両１の操縦中には、ここでは、操作入力としてモバイル端末８全体を動かす。このとき、当該操作入力中の動きは、計画された軌道に沿って行われる。モバイル端末８の動きは、ここでは矢印シンボル２１によって示されている。対応する矢印シンボル２１は、表示装置１０においてもユーザに示されることが可能である。モバイル端末８の動きは、位置センサ１２を用いて継続的に特定されることが可能である。

【0048】

本例では、車両シンボル２０が車両１の模写と一致するようにユーザがモバイル端末８を動かす必要がある。車両シンボル２０と車両１の模写の間に所定の偏差が存在する場合には、駐車操縦が中断され、車両１が制動される。このことが、ここでは図６において明示されている。このとき、車両シンボル２０は、表示装置１０における車両１の模写からの明らかな偏差を有している。この場合、車両シンボル２０が車両１の模写と一致されれば、駐車操縦を再び継続することが可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】