特許 7158521 車両用のビューイングシステム、およびビューイングシステムによって表示される画像領域間で切り換える方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-13

(45)【発行日】2022-10-21

(54)【発明の名称】車両用のビューイングシステム、およびビューイングシステムによって表示される画像領域間で切り換える方法

(51)【国際特許分類】

   B60R 1/25 20220101AFI20221014BHJP

   G06T 1/00 20060101ALI20221014BHJP

   G09G 5/00 20060101ALI20221014BHJP

   G09G 5/36 20060101ALI20221014BHJP

   G09G 5/377 20060101ALI20221014BHJP

   H04N 7/18 20060101ALI20221014BHJP

   B60R 1/20 20220101ALI20221014BHJP

【ＦＩ】

B60R1/25

G06T1/00 330Z

G09G5/00 530T

G09G5/36 520P

G09G5/36 520L

H04N7/18 J

H04N7/18 F

B60R1/20 100

【請求項の数】 17

【外国語出願】

(21)【出願番号】P 2021045042

(22)【出願日】2021-03-18

(65)【公開番号】P2021155033

(43)【公開日】2021-10-07

【審査請求日】2021-03-18

(31)【優先権主張番号】10 2020 107 789.0

(32)【優先日】2020-03-20

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】500020380

【氏名又は名称】メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲー

【氏名又は名称原語表記】ＭＥＫＲＡ Ｌａｎｇ ＧｍｂＨ ＆ Ｃｏ． ＫＧ

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】ヴェルナー・ラング

(72)【発明者】

【氏名】ステファン・バウアー

(72)【発明者】

【氏名】アンドレアス・エンツ

(72)【発明者】

【氏名】マティアス・ツィンク

【審査官】村山 禎恒

(56)【参考文献】

【文献】国際公開第２０１９／１７２１１７（ＷＯ，Ａ１）

【文献】特開２０１６－１１０６４８（ＪＰ，Ａ）

【文献】特開２０１６－１６８８７７（ＪＰ，Ａ）

【文献】特開２０１９－０８３４２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １／００－１／３１

Ｇ０６Ｔ １／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

牽引車両と前記牽引車両に旋回可能に装着されたトレーラとを有する車両内の表示デバイスにおいて第１の画像領域と第２の画像領域との間で表示を切り換える方法であって、
第１の画像取得デバイスによって第１の取得領域の第１の画像データを取得するステップと、
第２の画像取得デバイスによって前記第１の取得領域と重なる第２の取得領域の第２の画像データを取得するステップであり、前記第１および第２の画像取得デバイスが、相異なる光学的特性を有する、ステップと、
前記第１および第２の画像データを処理して、前記第１の画像データから前記第１の画像領域を抽出し、前記第２の画像データから前記第２の画像領域を抽出するステップと、
前記表示デバイスの同一の表示領域内に前記第１の画像領域および／または前記第２の画像領域を表示するステップと、
前記牽引車両と前記トレーラとの間の旋回角を旋回角決定デバイスによって継続的に決定するステップと、
定義済み旋回角Ｋ_Ｄによって決定される切換え条件に基づいて、前記第１の画像領域の表示と、前記第２の画像領域の表示とを切り換える、またはクロスフェードするステップであり、前記切換え時に、前記表示デバイス上でユーザによって知覚される画像であって、前記第１の画像データから抽出した前記第１の画像領域の画像と、前記第２の画像データから抽出した前記第２の画像領域の画像とがほぼ一致するように、前記第１の画像領域の前記第１の画像データが前記第２の画像領域の前記第２の画像データに対応するステップと
を含む方法。

【請求項2】

瞬間的に決定された旋回角が前記定義済み旋回角Ｋ_Ｄより上または下であるとき、前記切替えが実施される、
請求項１に記載の方法。

【請求項3】

前記定義済み旋回角Ｋ_Ｄが、旋回角下限Ｋ_Ｕおよび旋回角上限Ｋ_Ｏを有する旋回角範囲Ｋ_Ｂ内にあり、前記切換えまたはクロスフェーディングが、
前記第１の画像領域の前記表示がアクティブ化されているときに、前記旋回角が前記定義済み旋回角Ｋ_Ｄに達し、かつ最後の切換え以降に少なくとも１回は前記旋回角下限Ｋ_Ｕに達したとき、前記第２の画像領域の前記表示のアクティブ化に切り換え、
前記第２の画像領域の前記表示がアクティブ化されているときに、前記旋回角が前記定義済み旋回角Ｋ_Ｄに達し、かつ最後の切換え以降に少なくとも１回は前記旋回角上限Ｋ_Ｏに達した場合、前記第１の画像領域の前記表示のアクティブ化に切り換える、
ように実施される、
請求項１または２に記載の方法。

【請求項4】

デフォルト設定が、前記旋回角が前記定義済み旋回角Ｋ_Ｄまたは前記旋回角上限Ｋ_Ｏのどちらかに達するまで前記第１の画像領域が表示される設定である、
請求項１から３のいずれか一項に記載の方法。

【請求項5】

牽引車両と前記牽引車両に旋回可能に装着されたトレーラとを有する車両のためのビューイングシステムであって、
第１の取得領域の第１の画像データを取得するための少なくとも１つの第１の画像取得デバイスと、
前記第１の取得領域と重なる第２の取得領域の第２の画像データを取得するための少なくとも１つの第２の画像取得デバイスであり、前記第１および第２の画像取得デバイスが、相異なる光学的特性を有する、少なくとも１つの第２の画像取得デバイスと、
前記第１および第２の画像データを処理して、前記第１の画像データから第１の画像領域を抽出し、前記第２の画像データから第２の画像領域を抽出するための手段と、
表示デバイスの同一の表示領域内に前記第１の画像領域および前記第２の画像領域の少なくとも一方を表示するための表示デバイスと、
前記牽引車両と前記トレーラとの間の旋回角を継続的に決定するための旋回角決定デバイスまたは方法と、
定義済み旋回角Ｋ_Ｄによって決定される切換え条件に基づいて、前記第１の画像領域の表示と、前記第２の画像領域の表示とを切り換える、またはクロスフェードするための表示切換えデバイスであり、前記表示デバイス上でユーザによって知覚される画像であって、前記第１の画像データから抽出した前記第１の画像領域の画像と、前記第２の画像データから抽出した前記第２の画像領域の画像とがほぼ一致するように、前記切換え時に、前記第１の画像領域の前記第１の画像データが前記第２の画像領域の前記第２の画像データに対応する、表示切換えデバイスと
を備えるビューイングシステム。

【請求項6】

前記第１および第２の画像領域に対応する画像データが、それぞれ前記表示デバイスの前記表示上で最大で３０ピクセル異なる、
請求項５に記載のシステム。

【請求項7】

前記第１および第２の画像取得デバイスの間の距離が、１０ｍｍから５００ｍｍの間の範囲内にあることが好ましい、
請求項５または６に記載のシステム。

【請求項8】

前記第１および第２の画像取得デバイスの光軸が、その開口角に応じて、０°から６０°の位置合せ角度で互いに位置合せされる、
請求項５から７のいずれか一項に記載のシステム。

【請求項9】

前記第１および第２の画像取得デバイスのそれぞれの前記位置合せ角度が、前記第１および第２の画像領域内の等しいピクセル座標／画像データに対応する、前記表示デバイス上に表示される基準点（Ｐ）によって決定される、
請求項８に記載のシステム。

【請求項10】

前記基準点が、トレーラ高および／またはトレーラ長に応じて、事前定義されるか、または調節可能である、
請求項９に記載のシステム。

【請求項11】

前記基準点が、車道に垂直であり、前記定義済み旋回角Ｋ_Ｄで前記トレーラの後縁部の領域内の地点を通り、前記第１または第２の画像取得デバイスを通る平面上に置かれる、
請求項１０に記載のシステム。

【請求項12】

前記基準点が、前記第１または第２の画像取得デバイスから間隔を置かれ、前記定義済み旋回角Ｋ_Ｄで前記トレーラの前記後縁部の前記領域内にある、
請求項１１に記載のシステム。

【請求項13】

前記第１および第２の画像取得デバイスの前記光学的特性が、相異なる角度分解能、開口角、および／またはひずみを有する、
請求項５から１２のいずれか一項に記載のシステム。

【請求項14】

前記定義済み旋回角Ｋ_Ｄが、旋回角下限Ｋ_Ｕおよび旋回角上限Ｋ_Ｏを有する旋回角範囲Ｋ_Ｂ内にある、
請求項５から１３のいずれか一項に記載のシステム。

【請求項15】

前記定義済み旋回角Ｋ_Ｄが、前記旋回角範囲Ｋ_Ｂ内で前記車両の運転状況に応じて変化する、
請求項１４に記載のシステム。

【請求項16】

前記表示切換えデバイスが、請求項１から３のいずれか一項に記載の方法に従って、前記第１および第２の画像領域の間の切換えを制御するように適合される、
請求項５から１５のいずれか一項に記載のシステム。

【請求項17】

請求項５から１６のいずれか一項に記載のビューイングシステムであるミラー置換システムを備える車両。

【発明の詳細な説明】

【技術分野】

【0001】

メインカメラと、たとえば広角カメラとを使用する、一般に知られているビューイングシステムは、たとえば車両内のミラー置換システムとして使用される。このケースで使用されるメインカメラはメイン取得領域を撮像し、広角カメラは広角取得領域を撮像する。たとえば、ＵＮ／ＥＣＥ－Ｒ４６によれば、車両側面視野および／または視野をドライバに提供するために、メイン視野がＧｒｏｕｐ ＩＩ視野を表し、広角視野がＧｒｏｕｐ ＩＶ視野を表す。

【0002】

ある運転状況では、車両の周りの他の領域を見るために、メインカメラの表示される視野を変更することが必要である。そのような運転状況の一例は、車両のトレーラがメイン取得領域内にさらに移動するカーブ走行であり、その結果として、メイン取得領域が表示することのできる、関係する周囲の情報が少なくなる、またはもはや表示することができない。

【0003】

具体的な１つの問題は、たとえば前述のＧｒｏｕｐ ＩＩ視野の要件を満たすように、可能な最高の解像度を達成するために、または可能な最も鮮明な高解像度画像を達成するために、メインカメラの開口角が極度に制限されることである。

【0004】

前述のカーブ走行などの特殊な運転状況では、特に旋回トレーラを有する車両に設けられたメインカメラおよび広角カメラを使用するビューイングシステムでは、メインカメラの取得領域の限界に急速に達し、関係する情報を表示するために広角カメラの取得領域に切り換えることが必要となる可能性がある。

【先行技術文献】

【特許文献】

【0005】

【文献】独国特許出願公開第１０２０１００３２４１１号明細書

【文献】独国特許出願公開第１０２０１５２１８０３３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、牽引車両と牽引車両に旋回可能に取り付けられたトレーラとを有する車両のドライバが相異なる光学的性質を有するカメラ間の適切な切換えによっていつでも車両の周囲、特に後方トレーラ領域を知覚することを可能にするビューイングシステム、特に間接的ビューイングシステムを提供することである。

【0007】

本発明の別の目的は、車両のドライバが相異なる光学カメラの取得領域間の変化を実質的に知覚しないような形で、ビューイングシステムの表示デバイスにおいて画像領域間で切り換えるための方法を提供することである。本発明の別の目的は、本発明によるビューイングシステムであるミラー置換システムを有する車両を提供することである。

【課題を解決するための手段】

【0008】

上記の目的は、請求項１の特徴を有する方法、請求項４の特徴を有するビューイングシステム、および請求項１６の特徴を有する車両によって解決される。好ましい実施形態が従属請求項で与えられる。

【0009】

本発明の一実施形態による方法は、牽引車両と牽引車両に旋回可能に装着されたトレーラとを有する車両内の表示デバイスにおいて第１の画像領域と第２の画像領域との間で表示を切り換える。牽引車両に装着されたモニタなどの表示デバイス上でドライバに表示される第１の画像領域が、たとえば、第１の取得領域の第１の画像データを第１の画像取得デバイスによって取得および処理することによって得られる。表示デバイス上に表示され得る第２の画像領域が、第２の取得領域の、第２の画像取得デバイスによって取得された第２の画像データから抽出される。第２の画像取得デバイスによって取得され得る第２の画像領域は、第１の画像取得デバイスによって取得され得る第１の画像領域と重なる。第１の画像取得デバイスと第２の画像取得デバイスは、相異なる開口角、ひずみ曲線、および／または角度分解能などの相異なる光学的性質を有することが好ましい。車両の牽引車両に装着されることが好ましい第１および第２の画像取得デバイスの光学的性質は、法的規制、具体的には欧州の、たとえば国連欧州経済委員会（ＵＮ／ＥＣＥ）のＲｕｌｅ Ｎｏ．４６（Ａｄｄｅｎｄｕｍ ４５、Ｒｅｖｉｓｉｏｎ ６）によって規定される法的規制を満たすようなものであることが好ましい。この規則では、たとえば、（ＥＣＥ－Ｒ４６「Ｍａｉｎ ｍｉｒｒｏｒ（ｌａｒｇｅ） ｇｒｏｕｐ ＩＩ」による）メインミラー（大）および（ＥＣＥ－Ｒ４６「Ｗｉｄｅ－ａｎｇｌｅ ｍｉｒｒｏｒ ｇｒｏｕｐ ＩＶ」による）広角ミラーが、他のミラーに加えて設けられる。本発明による第１の画像取得デバイスは、たとえば、上記のＲｕｌｅで定義されるＧｒｏｕｐ ＩＩ視野を取り込むことのできるメインカメラであり、本発明による第２の画像取得デバイスは、たとえば、ＵＮ／ＥＣＥ－Ｒ４６で定義されるＧｒｏｕｐ ＩＶ視野による広角視野用の広角カメラである。追加または代替として、車両の周りの（法律または規制によって要求されない）他の視野が取り込まれ、表示され得る。

【0010】

本発明の方法では、前述の第１の画像領域および／または第２の画像領域が、表示デバイスの同一の表示領域内に表示される。たとえばＬＥＤディスプレイである表示デバイスは、たとえば相異なる画像取得デバイスによって取り込まれた複数の画像データが同一の表示領域内に表示され得るように設計されることが好ましい。本発明の方法によれば、第１の画像領域または第２の画像領域のどちらかがディスプレイパネル上に表示される。本発明の方法によれば、画像領域が、第１の画像領域と第２の画像領域との間のこの切換えをユーザがほとんど気付かず、または知覚しないような形で適合および／またはクロスフェードされることが好ましい。第１のカメラによって取り込まれた画像領域と、第２のカメラによって取り込まれた領域との間の領域では、画像性質（および画像取得デバイスの性質）が非常に似ており、または同一であるため、ドライバが切換えおよび／またはクロスフェーディングに気付くのは、この領域内の第１の画像と第２の画像との間に相違があるときに綿密に見るときだけである。この文脈での切換えまたはフェードという用語は、厳密な時間分解能であっても第１の画像領域のみ、または第２の画像領域のみが表示される、第１の画像領域と第２の画像領域との間の「突然の」切換えと、厳密な時間分解能で、第１の画像領域が徐々にフェードアウトし、第２の画像領域によってフェードオーバされる、第１の画像領域と第２の画像領域との間の「スムーズな」切換えのどちらも含む。

【0011】

本発明の方法によれば、牽引車両とトレーラとの間の旋回角が、旋回角決定デバイスによってさらに継続的に決定される。旋回角決定デバイスは、たとえば、牽引車両およびトレーラのホイールまたは車軸の回転速度情報を取得して、回転速度情報から旋回角を計算するプロセッサである。牽引車両とトレーラとの間の旋回角を決定することは一般に知られており、たとえば取り込まれた画像からの画像認識によってトレーラの後縁部を検出することなどの他の技法でも決定され得る。たとえば既存のセンサ（ＡＢＳ）を使用する、他の旋回角決定方法が可能である。

【0012】

本発明の方法によれば、切換え条件に基づいて、第１の画像領域の表示と第２の画像領域の表示との間の切換えが実施される。一実施形態によれば、この切換え条件は、たとえば牽引車両とトレーラとの間の定義済み旋回角である。本発明による切換えは、切換え時に、第１および第２の画像データに基づいて表示デバイス上でユーザによって知覚され得る画像がほぼ一致するような形で、第１の画像領域の第１の画像データが第２の画像領域の第２の画像データに対応するような形で実施される。言い換えれば、第１および第２の画像データから抽出された第１および第２の画像領域が、特に画像の光学的性質に関して、画像相違が可能な最小のものとなるような形で車両のドライバに表示され、その結果、切換え前にドライバに表示される画像が、切換え後に表示される画像とほぼ一致する。

【0013】

本発明による方法の別の開発によれば、現在決定された旋回角が定義済み旋回角より上または下である場合、第１の画像領域の表示と第２の画像領域の表示との間で切換えが実施される。定義済み旋回角は、旋回角下限および旋回角上限を有する旋回角範囲内にあることが好ましく、それによって、定義済み旋回角の周りの現在の旋回角の小さい変化について２つの画像領域間の一定の切換えを防止するようにしきい値範囲が定義され得る。第１の画像領域の表示と第２の画像領域の表示との間のそのような高速の切換えは、表示デバイス上の「ちらつき」としてドライバには知覚されることになる。

【0014】

上記の「ちらつき」を防止するために、旋回角が旋回角範囲の下限に達したとき、第１の画像取得デバイスが第１の画像領域を表示するようにアクティブ化されることが好ましい。第１の画像取得デバイスが既にアクティブである場合、すなわち第１の画像領域が表示される場合、第１の画像取得デバイスはアクティブのままである。一方、第２の画像取得デバイスがアクティブである場合、すなわち第２の画像領域が表示される場合、システムは第１の画像取得デバイスに切り替わる。その後で、瞬間屈曲角が定義済み屈曲角に達したとき、第１の画像取得デバイスから第２の画像取得デバイスへの切換えが行われる。

【0015】

瞬間旋回角が旋回角上限に達したとき、第２の画像取得デバイスがアクティブ化される。第２の画像取得デバイスが既にアクティブである場合、第２の画像取得デバイスはアクティブのままである。一方、第１の画像取得デバイスがアクティブである場合、システムは第２の画像取得デバイスに切り替わる。その後で、瞬間屈曲角が定義済み屈曲角に達したとき、第２の画像取得デバイスから第１の画像取得デバイスへの切替えが行われる。アクティブの画像取得デバイスとは、画像取得デバイスによって取り込まれた画像が表示されることを意味する。

【0016】

瞬間旋回角が、あらかじめ、すなわち最後の切換え操作以降に、旋回角下限または旋回角上限に達することなく定義済み旋回角に達した場合、切換えは行われず、それにより、瞬間旋回角が定義済み旋回角の周りでわずかに変化するだけである場合、第１の画像領域の表示と第２の画像領域の表示との間の急速な切換えが防止される。

【0017】

デフォルト設定によれば、瞬間旋回角が定義済み旋回角または旋回角上限のどちらかに達するまで、第１の画像領域が表示される。車両が駐車されるとき、現在のシステムステータス、すなわち、たとえば現在の旋回角、現在表示されている画像領域または画像情報、現在アクティブ化されている表示などについての情報などが記憶される。車両が駐車され、現在の旋回角が定義済み旋回角を超過した、または旋回角上限に達した後に、車両が始動した場合、たとえば第２の画像領域が、この第２の画像領域が駐車前に保存された場合に表示される。

【0018】

画像領域間で切り換えるための本発明に従って上記で説明した方法は、たとえば本発明の一実施形態によるビューイングシステムで使用され得る。

【0019】

本発明の実施形態によるビューイングシステムは、牽引車両と牽引車両に旋回可能に取り付けられたトレーラとを有する車両のために使用される。実施形態によれば、ビューイングシステムは、第１の取得領域の第１の画像データを取り込むための少なくとも１つの第１の画像取得デバイスと、第１の取得領域と交わる第２の取得領域の第２の画像データを取り込むための少なくとも１つの第２の画像取得デバイスとを備え、第１の画像取得デバイスと第２の画像取得デバイスが相異なる光学的特性を有することが好ましい。前述のように、第１の画像取得デバイスは、たとえばメインカメラであり、第２の画像取得デバイスは広角カメラである。メインカメラは、たとえば、第２の画像取得デバイスよりも小さい開口角および高い解像度を有し得る。光学的特性または性質は、たとえば、角度分解能、開口角、および／またはひずみを含む。

【0020】

第１および第２の画像取得デバイスは、たとえば、光学画像センサと、レンズなどの対応する光学系とを有する。

【0021】

本明細書において視野またはビューイング領域に言及される場合、これは、それぞれの国の規制、たとえば欧州では前述のＥＣＲ－Ｒ４６で定義される、対応するビューイング領域、好ましくはこれらの法的規制で表示について規定されるもの（視野）を指す。

【0022】

本発明の実施形態によるビューイングシステムは、第１および第２の画像データを処理して、第１の画像データから第１の画像領域を得て、第２の画像データから第２の画像領域を得るためのデバイスをさらに備える。第１および第２の画像領域は、それらがほぼ一致する画像を提供するようなものである。

【0023】

本発明の実施形態によるビューイングシステムは、第１の画像領域および第２の画像領域をそれぞれ同一の表示領域内に表示するための表示デバイスをさらに備える。第１の画像領域および第２の画像領域を同一の表示領域内に表示することにより、ある運転状況に応じて、第１の画像取得デバイス（高解像度のメインカメラ）の画像、または第２の画像取得デバイス（より低解像度の広角カメラ）の画像のどちらかが表示されるような形で、車両の環境がドライバに表示され得る。

【0024】

実施形態によるビューイングシステムは、牽引車両とトレーラとの間の旋回角を継続的に決定するための旋回角決定デバイスをさらに備える。旋回角決定デバイスは、たとえば、単独で牽引車両とトレーラとの間の旋回角を能動的に決定し得るか、または旋回角についての情報を含む信号を外部デバイスから受信し得る。

【0025】

好ましい実施形態によるビューイングシステムは、切換え条件に基づいて、第１の画像領域の表示と第２の画像領域の表示との間で切り換えるための表示切換えデバイスをさらに備える。切換え条件は、たとえば、屈曲角決定デバイスによって決定または受信された定義済み屈曲角である。前述の方法に従って、すなわち好ましくは、切換え時に、第１および第２の画像データに基づいて表示デバイス上でユーザによって知覚され得る画像がほぼ一致するような形で、第１の画像領域の第１の画像データが第２の画像領域の第２の画像データに対応するような形で、切換えが実施される。これにより、ユーザが画像領域間の切換えにほとんど気付かない／知覚しないことが保証される。これは、具体的には、第１および第２の画像領域で、対応する画像データの相違が、好ましくは表示デバイス上で最大で３０ピクセルであることによって達成され、これは、たとえば０．１８５２５ｍｍのピクセル中心距離を有する表示デバイスのケースでは、５．５５７５ｍｍの距離を意味する。表示デバイスおよび／または表示デバイスの閲覧者までの距離に応じて、前述の最大ピクセル数は変わることがある。

【0026】

本実施形態によるビューイングシステムでは、たとえば、第１の画像取得デバイスと第２の画像取得デバイスとの間の距離は、１０ｍｍから５００ｍｍの範囲内にあることが好ましく、すなわち画像取得デバイスが、互いに最大でこの距離で車両に配置されることが好ましい。２つの画像取得デバイスが互いに近づくほど、第１の画像領域と第２の画像領域との間の切換え時に、可能な限り一致する画像をユーザに表示することが容易となることに留意されたい。

【0027】

前述のように、第１の画像取得デバイスの第１の画像取得領域と、第２の画像取得デバイスの第２の画像取得領域は重なり、その結果、実質的に同一の画像内容を有するが、相異なる光学的特性または性質で取り込まれた／取得された画像領域を表示デバイス上に表示することが可能となる。好ましい実施形態によれば、第１および第２の画像取得デバイスは、たとえば相異なる開口角を有し、第１および第２の画像取得デバイス内の光軸が、その開口角に応じて、好ましくは０°から６０°の位置合せ角度で互いに位置合せされる。これにより、第１および第２の画像取得デバイスを使用することによって、車両の隣の、それに対応して広い領域を取り込むことが可能となる。

【0028】

好ましい実施形態のビューイングシステムによれば、第１および第２の画像取得デバイスの位置合せの角度を、たとえばビューイングシステムの開発者により、表示デバイス上に基準点を表示することによって適切に決定することが可能であり、基準点は、第１および第２の画像領域内の同一のピクセル座標／画像データに対応する。それによって、好ましくは画像取得デバイスが車両上で互いに固定的に調節されるか、または代替として、可動カメラのケースでは、車両ユーザによって機械的に調節可能である。これは、たとえば、ビューイングシステムのユーザがトレーラのリア領域などの任意の地点を基準点として選択できることを意味し、その結果、第１および第２の画像領域の画像データは、切換え時にこの基準点で可能な限り厳密に合致する。

【0029】

基準点の前述のユーザ定義済み設定の代替として、基準点は、事前定義されるか、またはトレーラ高および／またはトレーラ長あるいは他の車両幾何形状に応じて、さらに設定され得ることが可能である。

【0030】

本実施形態のビューイングシステムによれば、具体的には、基準点が、定義済み旋回角でトレーラの後縁部の領域内の地点を通り、第１および第２の画像取得デバイスを通る、車道に垂直な平面上に置かれる。これにより、たとえば、ビューイングシステムのユーザが望み通りに基準点をこの平面に移動し、切換え時に、表示される画像データがほぼ同一となる適切な基準点を定義することが可能となる。トレーラの後縁部を観測することができるように、たとえば、基準点は、第１または第２の画像取得デバイスから間隔を置かれ、トレーラの後縁部の領域内で定義済み旋回角で設定されることが好ましい。

【0031】

車両またはトレーラの隣または後方の可能な限り広い領域を表示することができるように、第１および第２の画像取得デバイスの光学的性質は、角度分解能、開口角、および／またはひずみの点で相異なることが好ましい。

【0032】

本発明によれば、第２の画像取得デバイスは、たとえば第１の画像取得デバイスほど高い解像度ではないか、または同一の解像度であり、その結果、費用対効果の高いシステムが全体的に作成され得る。

【0033】

好ましい実施形態によるビューイングシステムでは、切換え条件を定義する定義済み旋回角が、旋回角下限および旋回角上限を有する旋回角範囲内で定義される。本発明による方法を参照して上記で説明したように、これにより、瞬間旋回角が定義済み旋回角の周りにわずかに変化するだけである場合にユーザが不快なものとして知覚することになる、第１の画像領域の表示と第２の画像領域の表示との間の急速な切換えが防止される。

【0034】

本実施形態のビューイングシステムによれば、定義済み旋回角が運転状況に応じて旋回角範囲内で変化することも可能である。このようにして、様々な運転状況に応答して、画像領域間の切換えが行われるべき最適な旋回角を決定することが可能である。

【0035】

本発明によれば、ミラー置換システム、すなわち前述のビューイングシステムであるカメラ／モニタシステムがさらに車両に設けられる。

【0036】

以下では、添付の図を参照しながら単に例として本発明が説明され、添付の図では、同一の参照符号が同一または類似の構成要素を示す。

【図面の簡単な説明】

【0037】

【図1】本発明の一実施形態によるビューイングシステムの概略表現である。

【図2】図１に示されるビューイングシステムを使用する車両の上面図である。

【図3】図２に示される車両の側面図である。

【図4】第１の運転条件による、図１に示されるビューイングシステムを備える車両の上面図である。

【図5】図４に示される第１の運転状態での取得領域および画像領域の表示の概略表現である。

【図6】第２の運転状態による、図１によるビューイングシステムを備える車両の上面図である。

【図7】切換え時の、図６に示される第２の運転状態での取得領域および画像領域の表示の概略表現である。

【図8】第３の運転状態による、図１によるビューイングシステムを備える車両の上面図である。

【図9】切換え時間後の、図８に示される第３の運転状態での取得領域および画像領域の表示の概略表現である。

【図10】本発明の好ましい実施形態による表示の切換えを示す図である。

【図11】図１０に示される切換え方法を示すための、図１によるビューイングシステムを備える車両の上面図である。

【図12】切換え時の図７と類似の、取得領域および画像領域の表示の別の図である。

【図13】相異なるひずみ曲線を有する第１および第２の画像領域のマッピングを示すための例示的表現である。

【図14】本発明の一実施形態による方法の簡略化した概略表現である。

【発明を実施するための形態】

【0038】

図１は、表示デバイス１ａ、１ｂと、画像取得デバイス２ａ、２ｂ、３ａ、３ｂと、処理デバイス４ａ、４ｂとを備える本発明の一実施形態によるビューイングシステムを示す。

【0039】

好ましくは、画像取得デバイス２ａ、３ａは車両の一方の側面に配置され、処理デバイス４ａを介して表示デバイス１ａに接続される。画像取得デバイス２ｂ、３ｂは、たとえば図２に示されるように、車両の反対側の側面に配置され、処理デバイス４ｂを介して表示デバイス１ｂに接続される。好ましい実施形態によれば、処理デバイス４ａ、４ｂは、詳細には図示されていない旋回角決定デバイスと、画像データ処理デバイスと、表示切換えデバイスとを備える。

【0040】

簡単のために、表示デバイス１ａ、画像取得デバイス２ａ、３ａ、および処理デバイス４ａのみが以下で説明される。しかしながら、この説明は、車両の反対側の側面の表示デバイス１ｂ、画像取得デバイス２ｂ、３ｂ、および処理デバイス４ｂに同様に当てはまる。

【0041】

図１に示されるように、実施形態によれば、２つの画像取得デバイス２ａ、３ａが、車両の一方の側面に設けられる。任意の数の別の画像取得デバイスが使用され得る。実施形態によれば、画像取得デバイス２ａ、３ａは、好ましくは１０ｍｍから５００ｍｍの間の範囲内で互いに空間的に間隔を置かれる。画像取得デバイス２ａは、たとえば低解像度の広角カメラであり、画像取得デバイス３ａは、たとえば高解像度のメインカメラである。実施形態によれば、２つの画像取得デバイスは相異なる光学的特性／性質を有する。

【0042】

処理デバイス４ａは、前述の表示切換えデバイス（図示せず）を備え、画像取得デバイス２ａによって取り込まれた画像と、画像取得デバイス３ａによって取り込まれた画像との間で切り換えるように適合され、各画像は表示デバイス１ａ上に表示される。好ましい実施形態では、表示デバイス１ａは、画像取得デバイス２ａによってピックアップされた画像、または画像取得デバイス３ａによってピックアップされた画像のどちらかを表示するための単一の表示領域／パネルを有する。表示デバイス１ａはまた、画像取得デバイス２ａ、２ｂによって取り込まれた同一または異なる画像が表示され得る複数の表示領域／パネルを有し得る。たとえば、表示デバイス１ａは、車両用のミラー置換システムとして働く。

【0043】

図２に示されるように、車両は、たとえば、牽引車両５と、牽引車両５に旋回可能に取り付けられたトレーラ６とを備える。

【0044】

図１に示される、第１の画角α１を有する画像取得デバイス２ａは、第１の取得領域の第１の画像データを取得するために使用され、図２では、水平に、すなわち平坦な路面に対してほぼ平行に延びる、画角の投影α１＊を見ることができる。第２の画角γ１を有する画像取得デバイス３ａは、第１の取得領域と交わる第２の取得領域の第２の画像データを取得するために使用され、画角の投影γ１＊が図２に示されており、前述のように、第１および第２の画像取得デバイス２ａ、３ａは相異なる光学的特性を有する。

【0045】

具体的には、図２に示されるように、たとえば、画像取得デバイス２ａの開口角は画像取得デバイス３ａの開口角よりも大きい。したがって、第２の取得領域は第１の取得領域よりも広い。本実施形態によれば、画像取得デバイス３ａは高解像度カメラであり、画像取得デバイス２ａは、より低解像度の広角カメラである。図２は、水平面内の第１および第２の取得領域を示す。

【0046】

図３は、図２に示される車両を、平坦な路面に対してほぼ垂直に延びる、画像取得デバイス２ａ、３ａの画角の対応する垂直投影γ２＊、α２＊と共に示す。図３では、画像取得デバイス２ａのみが示されている。

【0047】

前述のように、画像取得デバイス３ａは、その取得領域で、ＥＣＥ－Ｒ４６による「ｍａｉｎ ｍｉｒｒｏｒ（ｌａｒｇｅ） ｇｒｏｕｐ ＩＩ」に対応する視野をカバーし、画像取得デバイス２ａは、その取得領域で、（ＥＣＥ－Ｒ４６「ｗｉｄｅ－ａｎｇｌｅ ｍｉｒｒｏｒ ｇｒｏｕｐ ＩＶ」による）広角ミラーに対応する視野をカバーする。他の適切な定義済み視野が、各国の規制に従って画像取得デバイス２ａ、３ａによってカバーされ得る。

【0048】

図２および３に示されるように、画像取得デバイス２ａ、３ａは、それぞれの取得領域が水平面内で重なり、取得領域が垂直面内で重なるような形で配置される。

【0049】

図１に示される処理デバイス４ａは、適切な切換え条件が満たされるとき、第１の取得領域内に位置する画像領域と、第２の取得領域内に位置する、対応する画像領域との間で切り換える表示切換えデバイス（図示せず）を備え、表示デバイス１ａ上に画像領域を表示する。切換え条件は、たとえば、以下で説明するように、牽引車両５とトレーラ６との間で定義される旋回角である。

【0050】

図４は、第１の運転状態の牽引車両５およびトレーラ６を有する、図２および３に示される車両の上面図を示す。第１の運転状態は、具体的には、牽引車両５とトレーラ６との間で旋回角が０°に等しくなるようなものである。

【0051】

第１の運転状態では、図５に示されるように、第１の画像領域７が、表示デバイス１ａ上で車両のドライバに表示される。第１の画像領域７は、実施形態によれば、トレーラ６の後方領域が表示されるように、第１の取得領域の画像データから抽出される。図５は、左側の破線内で、画像取得デバイス３ａによってカバーされ得る第１の取得領域を示す。本実施形態によれば、図４に示される運転状況では、第１の画像領域７（図５の左側の輪郭で示される領域）が、図５の右側に示されるように、表示デバイス１ａ上で車両のドライバに表示される。このようにして表示される画像（図５の右側）は高解像度を有することが好ましい。

【0052】

図５は、第２の画像取得デバイス２ａによって表示可能な第２の取得領域を中央にさらに示す。図に概略的に示されるように、第２の取得領域は、基準点Ｋ、Ｐ、Ｂ、およびＴによって示されるように、第１の取得領域よりも広角である。

【0053】

図６を参照すると、旋回角Ｋが牽引車両５とトレーラ６との間で形成される、第２の運転状況が示されている。本実施形態によれば、旋回角Ｋは、処理デバイス４ａ、４ｂの前述の旋回角決定デバイスによって継続的に決定される。

【0054】

図５と図７の比較からわかるように、旋回角Ｋが増加するにつれて、第１の画像領域７がトレーラ端部と共に移動し（トレーラ追跡）、図７の左側では、第１の画像取得デバイス３ａの取得領域の画像データの外側領域、より厳密にはセンサの外側領域に達し、同時に、トレーラ６は、以下でより詳細に定義される旋回角Ｋ_Ｄに達する。図６に示される運転状況では、さらに、図７（中央）に示されるように、広角画像取得デバイス２ａによって取得された画像データから抽出される第２の画像領域８が表示され得る。したがって、図７の左側に示される第１の画像領域７は、図７の中央に示される第２の画像領域８に対応する。図７の左側に示されるように、第１の画像領域７は第１の取得領域の区間に対応し、図７の中央に示される第２の画像領域８は第２の取得領域の区間に対応し、第１の画像領域７の画像データと、第２の画像領域８の画像データは、表示デバイス上に表示されるときに観測者にとって同一の画像に見えるという点で互いに対応する。したがって、第１および第２の画像領域７、８はほぼ一致するが、相異なる解像度を有する。

【0055】

図７は、具体的には、第１の画像領域７のディスプレイが第２の画像領域８のディスプレイに切り替わる切換え点を示す。図７の右側では、画像領域７および８の模式化した画像内容が、例示のために、その元の取得領域の線のタイプで同時に示されている（図の左側および中央）。

【0056】

図７は、トレーラ６上の任意の基準点を示す地点９を左側にさらに示す。図７は、トレーラ６上の同一の基準点を示す地点１０を中央に示す。

【0057】

図７の右側からわかるように、切換え時またはフェード時に、これらの２つの基準点９、１０は実質的に同一の位置にある。２つの地点９、１０の変位は実質的に、画像取得デバイスの互いの間の距離および配向角、ならびにひずみ、開口角、角度分解能などの画像取得デバイスの光学的性質に依存する。

【0058】

図６は、実施形態によれば、トレーラ６の後縁部の領域内の地点を通り、第１の画像取得デバイス３ａを通る平面Ｅ上にある基準点Ｐをさらに示す。この基準点Ｐは、図７の左側および中央にも示されており、それぞれの画像領域７、８内に含まれる。第１および第２の画像取得デバイス２ａ、３ａのそれぞれの配向角が、第１および第２の画像領域７、８内の同一のピクセル座標に対応する、表示デバイス上に表示される基準点Ｐによって決定される。

【0059】

図７の右側に示されるように、第１の画像領域７のディスプレイが、切換え時に、ユーザによって知覚される画像がほぼ一致するような形で、第２の画像領域８のディスプレイに切り替わる。具体的には、ユーザに対してそのような印象または知覚を与えるために、第１および第２の画像領域７、８内の対応する画像データの相違が、たとえば表示デバイス上で最大で３０ピクセルである。図７の右側では、たとえば、前述の基準点９および１０が、あるピクセル数だけ間隔を置かれる。基準点Ｐでは、第１および第２の画像領域の対応するピクセルはほぼ同一であり、基準点Ｐからの距離が増加するにつれて、第１および第２の画像領域の対応するピクセル間の距離が増加する。

【0060】

図８は、図６と比較して、牽引車両５とトレーラ６との間の旋回角がさらに増大している第３の運転状況を示す。図９に示されるように、この運転状況では、図７で切り替わった、広角画像取得デバイス２ａの第２の画像領域８が表示される。図９の左側に示されるように、トレーラ６の後縁部は第１の取得領域の外側にあるので、第１の画像取得デバイス３ａは、トレーラ６の後縁部をもはや取得することができない。

【0061】

したがって、図９は、右側で、図５および７に示されるように、高解像度画像取得デバイス３ａの第１の画像領域７の表示から切り替わった、広角画像取得デバイス２ａの第２の画像領域８の表示をビューイングシステムのユーザに示す。切換えタイミングは、好ましい実施形態による旋回角によって定義される切換え条件に応じて決定される。

【0062】

図１０および１１を参照して、切換え条件が牽引車両とトレーラとの間の旋回角に依存する方法が説明される。

【0063】

実施形態によれば、切換え条件は、具体的には定義済み旋回角Ｋ_Ｄに依存し、定義済み旋回角Ｋ_Ｄは、図１０および１１に示されるように、旋回角下限Ｋ_Ｕおよび旋回角上限Ｋ_Ｏを有する所定の旋回角範囲Ｋ_Ｂ内にある。

【0064】

図１０では、実線は第１の画像取得デバイスのアクティブ化を示し、点線は第２の画像取得デバイスのアクティブ化を示し、黒点は両方の画像取得デバイス間の切換えを示し、円は画像取得デバイスの現在のアクティブ化状態を維持することを示す。

【0065】

図１０に示されるように、牽引車両５とトレーラ６との間の瞬間旋回角が旋回角下限Ｋ_Ｕに達したとき、第１の画像取得デバイス２ａがアクティブ化され、図５に示されるように、第１の画像領域７が表示デバイス上に表示される。図１０に示されるように、次いで瞬間旋回角が最初に定義済み旋回角Ｋ_Ｄに達したとき、第２の画像取得デバイスに切り替わり、図９に示されるように、第２の画像領域８が表示デバイス上に表示される。前述のように、この切換え点が図７に示されている。

【0066】

図１０に示されるように、瞬間旋回角が旋回角上限Ｋ_Ｏに達し、次いで再び定義済み旋回角Ｋ_Ｄに達したとき、再び第１の画像取得デバイスに切り替わる。

【0067】

図１０に示されるように、第１の画像取得デバイスと第２の画像取得デバイスとの間の切換えは、定義済み旋回角Ｋ_Ｄに達し、かつ以前に少なくとも１回は旋回角下限または上限に達しているときにのみ行われる。このようにして、第１の画像取得デバイスと第２の画像取得デバイスとの間の急速な連続する切換えが防止される。

【0068】

図１０では、画像取得デバイスのアクティブ化間の切換えが、以下の規則で要約される。

【0069】

規則Ｉａ：「旋回角が旋回角下限Ｋ_Ｕに達したとき、第１の画像取得デバイスがアクティブ化される（第１の画像取得デバイスが既にアクティブである場合、第１の画像取得デバイスはアクティブのままであり、第２の画像取得デバイスがアクティブである場合、第１の画像取得デバイスに切り替わる）」

【0070】

規則Ｉｂ：「定義済み旋回角Ｋ_Ｄに達したとき、第１の画像取得デバイスから第２の画像取得デバイスへの後続の切換え」

【0071】

規則ＩＩａ：「旋回角が旋回角上限Ｋ_Ｏに達したとき、第２の画像取得デバイスがアクティブ化される（第２の画像取得デバイスが既にアクティブである場合、第２の画像取得デバイスはアクティブのままであり、第１の画像取得デバイスがアクティブである場合、第２の画像取得デバイスに切り替わる）」

【0072】

規則ＩＩｂ：「定義済み旋回角Ｋ_Ｄに達したとき、第２の画像取得デバイスから第１の画像取得デバイスへの後続の切換え」

【0073】

規則ＩＩＩ：「旋回角が、旋回角下限Ｋ_Ｕまたは旋回角上限Ｋ_Ｏに最初に達することなく定義済み旋回角Ｋ_Ｄに達した場合、切替えは行われない」

【0074】

図１１および１２は、トレーラ６の後縁部に設けられるように選択された基準点Ｐをさらに示す。たとえば、実施形態によれば、基準点Ｐは、表示デバイス上でユーザまたはドライバに表示される。ユーザまたはドライバは、基準点Ｐを自由に選んで、たとえば図１１に示されるように、基準点Ｐをトレーラ６の後縁部に置くことができる。図１２に示されるように、前述のように第１の画像領域から第２の画像領域に切り換えるとき、特にトレーラ６の縁部は、第１の画像領域と第２の画像領域との間でほぼ同一に表示され、その結果ユーザは、基準点で第１の画像領域と第２の画像領域との間の相違またはピクセル変位をほとんど知覚することができない。

【0075】

このようにして、ユーザは、切換え時に可能な限り「一致して」表示されるべき適切な領域を選択し得る。

【0076】

図１３は、ほぼ一致する画像（可能な最小の画像相違）が生成されるような形で、第１の画像領域７と第２の画像領域８とを互いにマッピングするための例示的方法を示す。

【0077】

前述のように、実施形態によれば、図１３の左上に示されるように、第１の撮像領域が高解像度画像取得デバイスによって取り込まれるのに対して、図１３の右上に示されるように、第２の撮像領域が広角画像取得デバイスによって取り込まれる。それぞれの距離Ａ１からＡ４は、画像取得デバイス３ａの光軸１１に対する、図中で長方形で示される第１の画像領域７のそれぞれの辺の距離に対応する。それに対応して、図１３の右上隅のＢ１からＢ４は、第２の画像取得デバイス２ａの光軸１２からの、長方形の第２の画像領域８の辺のそれぞれの距離を示す。

【0078】

前述のように、好ましい実施形態によれば、２つの画像取得デバイスが相異なる光学的性質、たとえば相異なるひずみ曲線を有するので、図１３に示されるように、例として、実質的に一致する画像が知覚され得るような形で、第１の画像領域７と第２の画像領域８が、図１３に示されるひずみ曲線に従って互いの上に撮像され得る。

【0079】

図１３に示される画像取得デバイスのひずみ曲線は例に過ぎない。適切なひずみ曲線を使用することにより、たとえば、必要な場合、または要求される場合、すなわち車両環境の検出されたサブ領域内にある、車両環境の非常に重要な領域内で、非常に高い解像度を達成することが可能である。

【0080】

図１４は、牽引車両とトレーラとの間の旋回角に応じた、２つの対応する画像領域の表示間の切換えを示すための一実施形態による前述の方法を非常に簡略化した形で示す。

【0081】

ステップＳ１では、前述のように、相異なる光学的特性、相異なる取得領域を有し、相異なるビューイング領域をカバーする画像取得デバイスから第１および第２の画像データが取得される。ステップＳ２では、前述のように、画像情報の点で互いに対応する第１および第２の画像領域が、取得された画像データから抽出される。ステップＳ３では、前述のように、第１または第２の画像領域が、ディスプレイ上で、同一の表示領域上、または互いに分離された相異なる表示領域上のどちらかで表示される。たとえば、高解像度画像が、ある表示領域上に表示され得、広角画像が、その隣の表示領域上に表示され得る。好ましい実施形態によれば、前述のように、対応する第１および第２の画像領域が、同一の表示領域上で表示またはクロスフェードされる。ステップＳ４では、前述のように旋回角が決定される。ステップＳ５では、前述のように、旋回角に基づく切換え条件が満たされるかどうかが判定される。条件が満たされる場合、ステップＳ６で切換えが実施され、以前に表示されなかった画像領域が表示される。条件が満たされない場合、ステップＳ７で、以前に表示された画像領域の表示が続行される。

【0082】

原開示のために、実施形態および／または請求項での特徴の組合せとは無関係に特許請求される発明を限定するために、本明細書および／または請求項で開示されるすべての特徴が互いに別々のものであり、独立したものとみなされるべきであることを明確に強調しておく。原開示のために、特許請求される発明を限定するために、特に範囲指示の限定としても、すべての範囲指示または単位のグループの指示が、任意の可能な中間値または単位のサブグループを開示することを明示しておく。

【符号の説明】

【0083】

１ａ、１ｂ 表示デバイス
２ａ、２ｂ 第１の画像取得デバイス
３ａ、３ｂ 第２の画像取得デバイス
４ａ、４ｂ 処理デバイス
５ 牽引車両
６ トレーラ
７ 第１の画像領域
８ 第２の画像領域
９ 基準点
１０ 基準点
１１ 光軸
１２ 光軸
Ｅ 平面
Ｐ 基準点
α１＊ 第１の投影
γ１＊ 第２の投影

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】