特許 6104279 運転者通知方法および運転者通知装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6104279

(24)【登録日】2017年3月10日

(45)【発行日】2017年3月29日

(54)【発明の名称】運転者通知方法および運転者通知装置

(51)【国際特許分類】

   B60K 35/00 20060101AFI20170316BHJP

   G08G 1/09 20060101ALI20170316BHJP

【ＦＩ】

   B60K35/00 A

   G08G1/09 H

【請求項の数】10

【全頁数】9

(21)【出願番号】特願2014-550658(P2014-550658)

(86)(22)【出願日】2012年11月6日

(65)【公表番号】特表2015-504815(P2015-504815A)

(43)【公表日】2015年2月16日

(86)【国際出願番号】EP2012071925

(87)【国際公開番号】WO2013102508

(87)【国際公開日】20130711

【審査請求日】2014年7月4日

(31)【優先権主張番号】102012200133.6

(32)【優先日】2012年1月5日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100099483

【弁理士】

【氏名又は名称】久野 琢也

(72)【発明者】

【氏名】トーマス フューラー

【審査官】 田中 将一

(56)【参考文献】

【文献】 特開２００５−０６９７７６（ＪＰ，Ａ）

【文献】 特開２０１１−１１９９１７（ＪＰ，Ａ）

【文献】 特開２００５−０９８９１４（ＪＰ，Ａ）

【文献】 特開２００５−０７０２３１（ＪＰ，Ａ）

【文献】 特開２００９−２５１９６８（ＪＰ，Ａ）

【文献】 特開２００６−２４２８８９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０２５３４８９（ＵＳ，Ａ１）

【文献】 特開２００８−２６５７４９（ＪＰ，Ａ）

【文献】 特開平１０−０２６５４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｋ ３５／００ − ３７／０６

Ｇ０８Ｇ １／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

運転者通知方法（５００）において、
・自動車（１０５）の外部領域（２００）の画像（２０５）をスキャンするステップ（５０５，５１０）と、
・前記画像（２０５）中にて、情報表示が整合される表示面（２２０）を求めるステップ（５２０）と、
・前記自動車（１０５）の走行状況を求めるステップ（５３０）と、
・前記自動車（１０５）の運転者に向けた個人的な情報（２２５）を当該走行状況に依存して選択することにより決定するステップ（５３５）であって、当該走行状況が所定の走行状況である場合には、前記情報（２２５）を、緊急性を示す標識が付された短時間のメッセージに限定することにより決定するステップ（５３５）と、
・前記画像（２０５）の前記表示面（２２０）の領域において前記情報（２２５）を挿入するステップ（５４５）と、
・前記画像（２０５）を前記運転者へ出力するステップ（５５０）と
を有することを特徴とする運転者通知方法（５００）。

【請求項2】

前記表示面（２２０）は、前記画像（２０５）上に表示されるオブジェクト（２１０）の表面（２１５）を含む、
請求項１記載の運転者通知方法（５００）。

【請求項3】

挿入される前記情報（２２５）の表示は、前記自動車（１０５）に対する前記オブジェクト（２１０）の前記表面（２１５）の位置および寸法に、透視図法的に整合されている、
請求項２記載の運転者通知方法（５００）。

【請求項4】

前記運転者通知方法（５００）はさらに、前記自動車（１０５）外部のソースから前記情報（２２５）を引き出すステップ（５２５）を含む、
請求項１から３までのいずれか１項記載の運転者通知方法（５００）。

【請求項5】

前記走行状況は、走行目的、時刻および走行速度のうち少なくとも１つを含む、
請求項１から４までのいずれか１項記載の運転者通知方法（５００）。

【請求項6】

コンピュータプログラムが処理装置上で実行されるときに、請求項１から５までのいずれか１項記載の運転者通知方法（５００）を実施するためのプログラムコード手段を含む、コンピュータプログラム。

【請求項7】

請求項６記載のコンピュータプログラムが記憶されている、コンピュータ読取り可能なデータ媒体。

【請求項8】

運転者通知を行うためのシステム（１００）であって、
・自動車（１０５）の外部領域（２００）の画像（２０５）をスキャンするための撮像装置（１１５，１２０）と、
・前記自動車（１０５）の運転者に向けた個人的な情報（２２５）を決定するための決定装置（１３０）と、
・処理装置（１１０）と
を有し、
前記決定装置（１３０）は、
・前記自動車（１０５）の走行状況を求め、
・前記情報（２２５）を当該走行状況に依存して選択することにより決定し、当該走行状況が所定の走行状況である場合には、前記情報（２２５）を、緊急性を示す標識が付された短時間のメッセージに限定することにより決定する
ように構成されており、
前記処理装置（１１０）は、
・前記画像（２０５）中にて、情報表示が整合される表示面（２２０）を求め、
・前記画像（２０５）の前記表示面（２２０）の領域において前記情報（２２５）を挿入する
ように構成されており、
前記システム（１００）はさらに、
・前記画像（２０５）を前記運転者へ出力するための出力装置（１３５）
を有する
ことを特徴とする、システム（１００）。

【請求項9】

前記出力装置（１３５）はヘッドアップディスプレイを含む、
請求項８記載のシステム（１００）。

【請求項10】

前記システム（１００）はさらに、前記自動車（１０５）外部のソースから前記情報（２２５）を受信するための受信装置（１３０）を有する、
請求項８又は９記載のシステム（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は運転者通知方法および運転者通知装置に関する。とりわけ本発明は、独立請求項に記載の特徴を有する、自動車の運転者へ個人的な情報を出力するための方法および装置に関する。

【0002】

従来技術
自動車の運転者へ情報を出力するために、光学的、音響的または触覚的な出力装置を用いることが公知である。これらの装置はまず第一に、自動車の走行状態に関する情報を出力するために用いられ、たとえば、光学的な速度指示器（タコメータ）や、車線から逸れることを警告する触覚的警報等が用いられる。このような情報を出力することは、自動車の周辺における出来事から運転者の注意を逸らしてしまうという危険性をはらんでいるので、このような出力は常に用心深く行わなければならない。また、特定のケースでは法的ルールにも留意しなければならず、たとえば、走行中のナビゲーションシステムの操作が禁止されている国も幾つかある。

【0003】

それゆえ、運転者に関する情報ではあるが自動車の運転に必要な行動には直接関係ない情報は、しばしば、自動車の運転者に伝達されないことが多くなる。その際には、運転者が自動車の運転に関して現在とっている行動以上の情報も、運転者へ提供することが望ましい。それゆえ本発明の課題は、自動車の運転者に対して個人的な運転者通知を行うための方法および装置を実現することである。

【0004】

本発明では前記課題は、請求項１の特徴を有する方法と、請求項８の特徴を有するシステムとによって解決される。従属請求項に有利な実施形態が記載されている。

【0005】

本発明の運転者通知方法は、自動車の外部領域の画像をスキャンするステップと、当該画像中にて、整合する表示面を決定するステップと、当該自動車の運転者に向けた個人的な情報を特定するステップと、前記表示面の領域において前記画像に前記情報を挿入するステップと、前記画像を前記運転者へ出力するステップとを有する。

【0006】

このような方法により、自動車の運転に必要な行動から運転者の注意を大きく逸らすことなく、運転者に個人的な情報を光学的に提供することができる。このことにより、自動車の交通安全性を補償することができ、また、運転者の注意を逸らすことを防止するための法的ルールを遵守することもできる。

【0007】

有利な実施形態では、前記表示面は、画像上にて表示されるオブジェクトの表面を含む。この場合には、前記方法は画像中のオブジェクトの認識を行い、検出したオブジェクトの表面を前記表示面として準備することができる。このようにして、整合する表示面を簡単に発見することができる。さらに、前記オブジェクトの表面は、自動車の操縦に重要な情報を僅かのみ含むかまたは全く含まないことも可能であり、これにより、個人的な情報を重畳しても、実質的に、運転者にとって情報の損失とならないようにすることができる。他の１つの実施形態では、前記個人的な情報により、オブジェクトの表面上に広告情報を重畳することができる。

【0008】

有利には、挿入される前記情報の表示は、自動車に対する前記オブジェクトの表面の位置および寸法に、透視図法的に整合される。このようにして、前記個人的な情報の出力は周辺の知覚可能なオブジェクトと一致するように行うことができ、これにより、運転者によるこの情報の受容を容易にすることができる。

【0009】

前記情報は、自動車外部のソースから引き出すことができる。とりわけ、前記個人的な情報を運転者に対して提供する前記コンピュータまたはコンピュータネットワークから、前記情報をたとえば無線データ転送等により引き出すことができ、たとえば、カレンダー情報、交友情報、リマインダー、または個人向けの広告を、運転者に控えめに通知することができる。

【0010】

さらに有利な実施形態では、前記方法は、自動車の走行状況を求め、当該走行状況に依存して、挿入すべき前記情報を選択することを含む。たとえば、走行状況が複雑であるため、運転者がより注意しなければならない状況である場合、前記個人的な情報を、緊急性を示す標識が付された短時間のメッセージに限定することができる。しかし、たとえば、日中かつ良好な視界で、交通量がごく少ない自動車道上で一定の速度で運転している場合等、走行状況が単純である場合には、前記情報をより複雑にすることができ、または、当該情報を切り替える頻度を高くすることができる。

【0011】

前記走行状況はたとえば、走行目的、時刻または走行速度に基づいて求めることができる。このようにして、運転者の情報オーバーフローを一層良好に防止することができる。さらに、前記個人的な情報を前記走行状況に合わせて出力することもでき、こうすることにより、たとえば通勤経路上にてアポイントメントの最新予定を出力することができ、また、休暇中の運転時に目的地の個人向けの天候情報を出力することもできる。

【0012】

コンピュータプログラム製品は、当該コンピュータプログラム製品が処理装置上で実行されるとき、または、コンピュータ読取り可能なデータ媒体上に記憶されているときに、上述の方法を実施するためのプログラムコード手段を含む。

【0013】

前記コンピュータプログラム製品はとりわけ、自動車に組み込まれた処理装置上で実行することができ、この処理装置は場合によっては、たとえばナビゲーションシステム等の他のシステムも制御するものである。前記コンピュータプログラム製品はまた、自動車から取り外し可能なコンピュータ上で実行することもできる。その際には前記出力装置として、組み込まれた出力装置を使用するか、または、自動車内に固定的に取り付けられた出力装置を使用することができる。

【0014】

本発明の運転者通知システムは、自動車の外部領域の画像をスキャンするための撮像装置と、当該自動車の運転者に向けた個人的な情報を決定するための決定装置と、前記画像中において、整合する表示面を決定して前記情報を当該表示面の領域に挿入するための処理装置と、前記画像を前記運転者へ出力するための出力装置とを有する。

【0015】

有利な実施形態では、前記システムは自動車内に固定的に設置されている。このような構成により、とりわけ、自動車の他のシステムとのネットワーク接続を容易にし、たとえば、自動車の走行状況を求めるのを改善ないしは簡略化することができる。

【0016】

特に有利な実施形態では、前記出力装置はいわゆるヘッドアップディスプレイを含む。このような光学的出力装置により、目視で直接知覚可能な周辺環境に、生成された画像を重畳することができる。その際にはとりわけ、周辺の一部領域においてのみ、たとえば英数字出力によって重畳を行うことができる。コンテキストに応じて目視で知覚可能なオブジェクトに他の情報を重畳することは、拡張現実（「augmented reality」）と称される。この技術は有利には、本発明の出力を運転者に対して実施するために用いることができる。

【0017】

さらに、前記システムは有利には、自動車外部のソースから情報を受信するための受信装置も含む。前記受信装置はとりわけ、コンピュータまたはコンピュータネットワークに接続された単方向または双方向のデジタルデータインタフェースを含むことができる。前記コンピュータネットワークは、たとえばインターネットである。

【0018】

以下、図面を参照して本発明をより詳細に説明する。

【図面の簡単な説明】

【0019】

【図1】運転者通知システムを示す。

【図2】視覚で知覚可能な情報に、出力された個人的な情報を重畳したものの一例を示す。

【図3】視覚で知覚可能な情報に、出力された個人的な情報を重畳したものの一例を示す。

【図4】視覚で知覚可能な情報に、出力された個人的な情報を重畳したものの一例を示す。

【図5】図１のシステム上にて実行される方法のフローチャートである。

【0020】

実施例の詳細な説明
図１に、運転者通知システム１００を示す。自動車１０５には、処理装置１１０と、第１のカメラ１１５と、第２のカメラ１２０と、インタフェース１２５と、受信装置１３０と、出力装置１３５とが搭載されている。システム１００の他の異なる実施形態では、図中の構成要素の全てを設置しなくてもよい場合があり、以下、これについて詳細に説明する。

【0021】

処理装置１１０は有利にはプログラマブルマイクロコンピュータを含む。１つの実施形態では、前記処理装置１１０は自動車１０５に固定的に搭載されており、当該処理装置１１０に接続された装置とともに、さらに他の処理タスクおよび制御タスクを実行することができる。たとえば前記処理装置１１０は、自動車１０５に搭載されたナビゲーションシステムまたは娯楽用システムの一部とすることができる。

【0022】

第１のカメラ１１５および第２のカメラ１２０は、自動車１０５の外部領域の複数の画像ないしは合成画像を出力するように構成されており、これら２つのカメラに代えてステレオカメラを用いてもよい。有利には、カメラ１１５および１２０の視角は、自動車１０５の運転者の視角に可能な限り正確に合致する。カメラ１１５および１２０の向きは有利には、前方に向かって走行方向にされており、また、両カメラ１１５，１２０が相互にずらして取り付けられていることにより、両カメラ１１５，１２０により同時に撮像された画像を相互に重畳して奥行情報を求めることもできる。合成画像の奥行情報は、両カメラ１１５，１２０において、ないしは、これに代わるステレオカメラにおいて求めるか、または、処理装置１１０を用いて求めることができる。他の実施形態では１つのカメラ１１５のみが設けられており、当該カメラ１１５により出力された画像の奥行情報は、たとえば幾何学的な距離推定により求めることができる。

【0023】

オプションであるインタフェース１２５は、自動車１０５の走行状態を示すデータを供給するように構成されている。このデータは、位置、速度、加速度、プランニングされたルート、時刻、外部温度、照明状態、自動車１０５の動作に重要な他のパラメータを含むことができる。この供給された情報に基づいて、処理装置１１０は自動車１０５の走行状態を求めることができる。

【0024】

受信装置１３０もまたオプションであり、自動車１０５の運転者に向けた個人的な情報を受け取るように構成されている。受信装置１３０は有線または無線で、自動車１０５に搭載されたデータメモリに、たとえばアポイントメントを管理するために、たとえば移動電話機またはパーソナルコンピュータに接続することができる。しかし、受信装置１３０がネットワークからデータを無線で受信するように構成することも可能である。このネットワークはたとえば無線通信網を含むことができ、この無線通信網は場合によってはインターネットに接続されていることがある。１つの有利な実施形態では、前記受信装置１３０は、個人的なデータを出力する他のコンピュータへ、処理装置１１０からの個人的なデータの問合せを転送するように構成されている。

【0025】

出力装置１３５は光学的出力装置であり、有利には、カラー出力機能を有する出力装置である。この出力装置１３５は、自動車１０５の運転者が当該出力装置１３５を読み取りやすいように設けられている。簡単な実施形態では、出力装置１３５は自由に観ることが可能なディスプレイであり、たとえば液晶ディスプレイ等である。有利な実施形態では出力装置１３５は、情報を運転者の視界に映し込むように構成された、いわゆるヘッドアップディスプレイを含む。その場合には、前記カメラ１１５および１２０の視界は、運転者の視界の主な部分を含んでおり、これにより、自動車１０５の周辺から直接知覚可能である光学的情報を、カメラ１１５，１２０により出力された画像に基づいて出力装置１３５により重畳することができる。このような重畳により、自動車１０５の周辺のどのオブジェクトを運転者が見えるようにするか、また、どのオブジェクトが画像の情報によって全部または一部重畳されるかが決定される。

【0026】

図２〜５に、視覚で知覚可能な情報に、出力された個人的な情報を重畳したものの一例を示す。図中にはそれぞれ、自動車１０５の前方の領域２００であって、当該自動車１０５の運転者が視線を走行方向に向けたときに見える領域２００を示している。カメラ１１５，１２０によって撮像され図１の処理装置１１０により処理された画像２０５は、この領域２００から得られたものである。有利には、領域２００から直接知覚することができるオブジェクトと、画像２０５中における当該オブジェクトの表示とが合同になり、画像２０５の追加的な情報が、運転者の視界の予め定められた面に入るように、画像２０５を領域２００に重畳させる。他の１つの実施形態では、画像２０５の全部が運転者に対して再生されるのではなく、直接目視できるオブジェクトに密着するように重なる追加的情報のみを含む。

【0027】

図２〜４の各図にはそれぞれ、オブジェクト２１０と、当該オブジェクト２１０の面２１５と、情報２２０のグラフィック表示とが示されている。こうするためには、処理装置１１０はそれぞれ、画像２０５上にてオブジェクト認識を行う。認識された各オブジェクト２１０ごとに、整合表示面２２０を決定する基準となる１つまたは複数の表面２１５を特定することができる。こうするためには、１つまたは複数のオブジェクト２１０の複数の面２１５を統合することができる。

【0028】

図２では、オブジェクト２１０はガードレールを含んでおり、表示面２２０はこのガードレールの表面のうち目視可能な部分に相当する。表示面２２０上に表示されている情報２２５はたとえば、自動車１０５の運転者が行わなければならない、予約期限が来た旅行の予約に関するものである。

【0029】

図３では、オブジェクト２１０は貨物自動車であり、面２１５はこの貨物自動車後部の外表面となっている。ここで表示されている個人的な情報２２５はたとえば、自動車１０５の運転者の、注文期限が来たチケット注文に関するものであり、これは前記後部の外表面に重畳されている。

【0030】

図４では、オブジェクト２１０は、自動車１０５前方にある道路の一部分であり、道路の表面が表示面２２０を成す。ここで表示されている個人的な情報２２５はたとえば、運転者に提供される一般的な製品情報に関するものである。

【0031】

図５は、図１の自動車１０５の運転者に運転者通知を行うための方法５００のフローチャートである。方法５００はとりわけ、図１のシステム１００の処理装置１１０上で実行するために構成されている。

【0032】

方法５００はステップ５０５〜５５０を含んでおり、最も簡単でありかつ最も実施可能性が高い実施形態において必要とされるステップは、太線で囲まれたステップのみである。残りの他のステップはオプションであり、他の実施形態ではこのオプションのステップを省略することも可能である。

【0033】

ステップ５０５および５１０では、カメラ１１５と１２０とを用いてそれぞれ画像２０５を、可能な限り同時に生成する。１つのカメラ１１５のみを使用する場合には、ステップ５０５と５１０とは一致する。

【0034】

次のステップ５１５において、画像２０５上に表示されているオブジェクト２１０を検出するため、オブジェクト認識を行う。画像２００が前記２つのカメラ１１５，１２０を用いて、ないしはステレオカメラを用いて撮像されたものである場合には、その前に事前に、画像２００の奥行情報の検出を行い、ステップ５１５におけるオブジェクト認識はさらに、この奥行情報にも基づいて行うことができる。

【0035】

次にステップ５２０において、画像２０５内における整合表示面を求める。こうするためには、ステップ５１５において検出されたオブジェクトの各表面を用いる。１つのオブジェクト２１０の１つの面２１５が、もしくは、１つまたは複数のオブジェクト２１０の複数の面２１５が、１つの前記表示面２２０を構成することができる。

【0036】

ステップ５２５では、ここまでで説明したステップ５０５〜５２０に関係なく、自動車１０５の運転者に向けた個人的な情報を引き出す。有利には、この個人的な情報は図１の受信装置１３０を用いて受信される。さらに、ステップ５３０において、画像２０５に含まれる情報に基づき、および／または、インタフェース５２５を介して自動車１０５の他のシステムから供給された情報に基づき、自動車１０５の走行状態を検出することもできる。

【0037】

ステップ５３５において、前記ステップ５２５にて引き出された情報に基づき、表示すべき個人的な情報を選択する。場合によっては、ステップ５３０において検出された、自動車１０５の走行状態に基づき、前記表示すべき個人的な情報の選択を行うこともできる。

【0038】

オプションのステップ５４０では、前記ステップ５３５にて選択した情報を、前記表示面２２０上にて表示するために、遠近図法的に拡大、縮小、回転または変形させることができる。

【0039】

後続のステップ５４５において、前記情報を画像２０５中に挿入し、その後、ステップ５５０において自動車１０５の運転者に対して出力する。可能な出力例は、図２〜４に示されている。

【図1】

【図2】

【図3】

【図4】

【図5】