特許 7444902 モバイルプラットフォーム周辺部の不明領域の調和された表現を実施する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】モバイルプラットフォーム周辺部の不明領域の調和された表現を実施する方法

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240228BHJP

   H04N 23/698 20230101ALI20240228BHJP

   H04N 23/60 20230101ALI20240228BHJP

   H04N 23/63 20230101ALI20240228BHJP

   G06T 1/00 20060101ALI20240228BHJP

   G06T 3/00 20240101ALI20240228BHJP

【ＦＩ】

H04N23/698

H04N23/60 500

H04N23/63

G06T1/00 330A

G06T3/00 780

【請求項の数】 13

(21)【出願番号】P 2021567063

(86)(22)【出願日】2020-05-20

(65)【公表番号】

(43)【公表日】2022-07-13

(86)【国際出願番号】 EP2020064016

(87)【国際公開番号】W WO2020239555

(87)【国際公開日】2020-12-03

【審査請求日】2021-11-10

(31)【優先権主張番号】19177339.9

(32)【優先日】2019-05-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】フリーベ・マルクス

(72)【発明者】

【氏名】ゴター・チェタン

(72)【発明者】

【氏名】プラバカー・パヴァン・ナグ

(72)【発明者】

【氏名】ランジャン・アビシェ

【審査官】高野 美帆子

(56)【参考文献】

【文献】英国特許出願公開第０２５５９７５８（ＧＢ，Ａ）

【文献】英国特許出願公開第０２５５９７６０（ＧＢ，Ａ）

【文献】特開２０１７－０９１２８４（ＪＰ，Ａ）

【文献】特開２０１１－１１４５３６（ＪＰ，Ａ）

【文献】特開２００２－３２４２３５（ＪＰ，Ａ）

【文献】特開２０１３－１１５７３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

モバイルプラットフォーム（２００）の周辺部の、モバイルプラットフォーム（２００）の第１撮像装置及び第２撮像装置の撮影の対象領域内で不明領域（２０ａ，２０ｂ）を表す方法であって、前記不明領域とは、前記第１撮像装置及び前記第２撮像装置にてある時点に撮像された画像に表されていない、前記周辺部の領域である、前記方法が、
第１撮像装置及び第２撮像装置の前記対象領域内で第２タイムステップにおいて不明な、前記周辺部の第２不明領域（２０ｂ）と、第１撮像装置及び第２撮像装置の対象領域内で第１タイムステップにおいて不明な、前記周辺部の第１不明領域（２０ａ）との差である、デルタ領域（Ａ－Ｂ）を決定するステップ（Ｓ１）であって、前記第１タイムステップは前記第２タイムステップより早いステップである、前記デルタ領域（Ａ－Ｂ）を決定するステップ（Ｓ１）と、
デルタ領域（Ａ－Ｂ）を持つ、第１撮像装置の１画像と第２撮像装置の１画像との重なりである、第１重なり画像（Ａ）と第２重なり画像（Ｂ）を決定するステップ（Ｓ２）であって、第１撮像装置の前記１画像及び第２撮像装置の前記１画像が前記第１タイムステップで撮影される、第１重なり画像（Ａ）と第２重なり画像を決定するステップ（Ｓ２）と、
前記第１撮像装置によって撮像された画像及び前記第２撮像装置によって撮像された画像の光学的特性の差を決定するステップ（Ｓ３）と、
前記第１重なり画像（Ａ）と前記第２重なり画像（Ｂ）の少なくとも１枚の中の光学的特性の差が、調和されるステップ（Ｓ４）であって、
前記第１重なり画像（Ａ）と前記第２重なり画像（Ｂ）との少なくとも一方が、光学的特性の前記差と、第１不明領域（２０ａ）の残りの領域（Ｃ）に対する距離を使って前記光学的特性の勾配について調和され、前記残りの領域（Ｃ）は、前記第１不明領域（２０ａ）の、前記第１重なり画像（Ａ）と前記第２重なり画像（Ｂ）に相当しない領域であり、
前記第１重なり画像（Ａ）と前記第２重なり画像（Ｂ）の調和に、前記勾配の値と向きに相当する、第１重なり画像（Ａ）又は第２重なり画像（Ｂ）の、各画素の光学的特性の値の調整が含まれる、前記調和されるステップ（Ｓ４）と、
前記光学的特性の前記差が調和された、前記第１重なり画像（Ａ）と前記第２重なり画像（Ｂ）の少なくとも１枚に基づいて、前記第２タイムステップで撮像された前記第２不明領域（２０ｂ）を表すステップと
を備える、モバイルプラットフォーム（２００）の周辺部の、モバイルプラットフォーム（２００）の第１撮像装置及び第２撮像装置の対象領域について不明領域（２０ａ，２０ｂ）を表す方法。

【請求項2】

光学的特性の前記差が、第１撮像装置の画像内の少なくとも１つの第１基準領域（Ｒｆ）と第２撮像装置の画像内の少なくとも１つの第２基準領域（Ｒｓ）との比較によって決定される、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの第１基準領域（Ｒｆ）と前記少なくとも１つの第２基準領域（Ｒｓ）が、前記周辺部の、双方の撮像装置の対象領域が重なっている領域である、請求項２に記載の方法。

【請求項4】

前記光学的特性が、輝度値と色彩値との少なくとも一方である、請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記デルタ領域（Ａ－Ｂ）が、前記モバイルプラットフォーム（２００）のモーションデータを用いて決定される、請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記第１撮像装置の前記対象領域が、前記モバイルプラットフォーム（２００）の前方の範囲であり、かつ前記第２撮像装置の前記対象領域が、前記モバイルプラットフォームの移動方向に沿った範囲である、請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記第２不明領域（２０ｂ）が、調和された第２重なり画像（Ｂ）と、第１重なり画像（Ａ）と、前記残りの領域（Ｃ）を表す区域とによって表される、請求項１から６のいずれか１項に記載の方法。

【請求項8】

前記第２不明領域（２０ｂ）の表示が、車両のパワーサイクルの間、保存される、請求項７に記載の方法。

【請求項9】

前記第２不明領域（２０ｂ）の表示が、前記モバイルプラットフォーム（２００）の画面（２２０）上に示される、請求項１から８のいずれか１項に記載の方法。

【請求項10】

請求項１から９のいずれか１項に記載の方法を実施するように構成されている、サラウンドビューシステム（２１０）。

【請求項11】

前記第１不明領域（２０ａ）及び前記第２不明領域（２０ｂ）を可視化する画面（２２０）と、請求項１０に記載のサラウンドビューシステム（２１０）を装備している、車両（２００）であるモバイルプラットフォーム（２００）。

【請求項12】

コンピュータプログラムがコンピュータによって実施される時、前記コンピュータに請求項１から９のいずれか１項に記載の方法を実行させる命令を備える、コンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムが保存されている、コンピュータに可読な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイルプラットフォームの周辺部の不明領域を表す方法に関する。その不明領域は、モバイルプラットフォームの第１及び第２撮像装置の対象領域について不明である（はっきりしていない）とする。

【背景技術】

【0002】

ここでいう「モバイルプラットフォーム」とは、少なくとも一部自動化された可動システムでよく、例えば、少なくとも一部自動化された車両と、運転者支援システムとを備えた車両の少なくとも一方であり得る。

【0003】

そのような車両は、車両の周辺部を可視化する運転者支援システムを備えてよい。そのような運転者支援システムは、サラウンドビューシステムとも呼ばれ、通常、１台又は複数台の、例えば、カメラやビデオシステムのような車両に、例えば車両上部に取付けられることがある撮像装置を備えていて、これらの撮像装置は、周辺環境に対して、異なる視野を提供するか、異なる視野角を可能にするものである。異なる撮像装置の対象領域は、異なっている。ここで、対象領域とは、領域内に物理的に存在している対象を、撮像装置が撮像できる領域を意味する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

物理的かつ光学的な制限ゆえ、そのような撮像装置は、一般的に「死角」領域を持つ。「死角」領域とは、そのような撮像装置の実際の画像について周辺環境に、不明領域が存在していることを意味する。これは、例えば、モバイルプラットフォームの下の地面、例えば、車両自体によって隠された車両の下の地面の領域などであり得る。

【0005】

双方の対象領域が重なっている領域であっても、周辺の異なる領域に向けられた異なる撮像装置によって撮影されたロー（未処理）画像間で光学特性が異なり得る。異なる撮像装置から、合成区間で光学特性を持つそのような画像に基づいて、不明領域を表現用に画像を合成すると、異なる撮像装置からの各区域が、合成画像の全体的な視覚上の品質を劣化させる。

【0006】

車両のボンネットの下の領域は、駐車やオフロードの条件下においてそのような不明領域の画像を利用するので、非常に重要である。モバイルプラットフォームの周りの異なる撮像装置の画像の光学的特性の違いは、作成された画像の品質の問題を含む使用された各撮像装置の輝度の差、色彩の差、並びに、例えば、影又はその他の周辺部の条件に関係しているかもしれず、それらは画像の合成を妨げ、又は邪魔となるおそれがある。

【課題を解決するための手段】

【0007】

したがって、本発明の課題は、独立請求項に記載されているモバイルプラットフォームの周辺部の不明な領域を描写する方法と、サラウンドビューシステムと、モバイルプラットフォームと、コンピュータプログラムと、コンピュータ可読記憶媒体とを提供することにある。

【0008】

本発明の有利な発展形態は、従属請求項に記載されている。明細書と、特許請求の範囲と、図に開示されている、少なくとも２つの特徴の全ての組み合わせは、本発明の範囲内である。繰り返しを避けるため、方法に関連して開示される特徴は、言及されるシステムに対しても、適応され、請求され得る。

【0009】

方法を説明するために、方法のステップは、ある１順序で開示されるが、この順序に制限されると理解するべきではなく、当業者であれば誰もが理解できるように、本発明の目的は、複数の異なる順序によって達成可能である。

【0010】

本発明の複数の観点は、例えば、車両などモバイルプラットフォームの不明領域を次のように以前の画像を合成して表すようにしてよいことに基づく。実際の（現時点の）不明領域は、画像を撮影する撮像装置による以前のステップで撮影されて、可視であったときの画像データによって、不明領域を表すように、合成される。これは、第１と第２タイムステップとの間における撮像装置を含むモバイルプラットフォームの動きに起因して、第２タイムステップで不明領域が、第１タイムステップで撮像装置の対象領域内で可視であったかもしれないことを意味する。

【0011】

本発明の一つの観点は、モバイルプラットフォームの周辺部のモバイルプラットフォームの第１及び第２撮像装置の対象領域についての不明領域を表す方法に関する。

【0012】

本方法の１ステップでは、周辺部の第２不明領域と周辺部の第１不明領域との差であるデルタ領域が決定される。第２不明領域は、第２タイムステップにおいて第１及び第２撮像装置の対象領域に対して不明である。加えて、周辺部の第１不明領域は、第１タイムステップにおいて第１及び第２撮像装置の対象領域に対して不明である。

【0013】

他のステップでは、デルタ領域を持つ、第１撮像装置の画像と第２撮像装置の画像の重なりとして、第１重なり画像及び第２重なり画像が決定される。これら画像は、第１タイムステップで撮影される。

【0014】

他のステップでは、第１及び第２撮像装置の画像の光学的特性の差が決定される。

【0015】

他のステップでは、少なくとも１枚の重なり画像内の光学的特性の差が、調和される。

【0016】

このような不明領域は、モバイルプラットフォームの周辺全体を表す画像を生成する個々の撮像装置の物理的制限の結果である。加えて、１台より多い撮像装置を用い、個々の撮像装置が、モバイルプラットフォームに対して異なる方向に向けられていても、周辺部の領域には、撮像装置の対象領域について不明領域があるかもしれない。

【0017】

撮像装置の対象領域とは、その撮像装置が、その領域において対象（複数）の画像を作成できる領域である。

【0018】

この文脈において、モバイルプラットフォームは、少なくとも部分的に自動化された機能に関する少なくとも部分的に自動化されたシステムを備えているが、モバイルプラットフォームには、運転者支援システムを備える車両と、他のモバイルマシンも包含される。このようなモバイルプラットフォームのさらなる例としては、複数のセンサーを利用する運転支援システム、例えば、ロボット掃除機やロボット芝刈り機などのモバイルマルチセンサーロボット、マルチセンサー監視システム、製造機、パーソナルアシスタントやアクセス制御システムなどが挙げられる。これらのシステムのそれぞれは、完全に、又は、部分的に自動化されたシステムであり得る。

【0019】

ある一つの観点によれば、少なくとも第２不明領域を調和させる方法は、撮像装置のロー画像の撮像装置によって使用される光学システムに起因した可能性がある光学的歪みを補償する方法を含む。

【0020】

画像の光学的特性は、一般的に、該画像の個々の画素の色と輝度との少なくとも一方によって表される。一枚の画像の最小単位の光学的特性以外にも、構造や影の領域のような画素のグループに関連する光学的特性もあり得る。

【0021】

光学的特性の調和とは、第１光学的特性を有する画像のある位置から第２光学特性を有する画像の別の位置へと、光学的特性を連続的かつ滑らかに遷移することであり得る。画像を調和させるための技術は多種多様である。このような調和の例としては、第２重複領域との調和、異なる方向に関する調和、不明領域内及び不明領域外の認識された勾配に関する調和などを挙げられる。

【0022】

異なる撮像装置の画像の区域を合成するこのような方法によれば、不明領域を、例えその領域が、モバイルプラットフォームの使用した撮像装置の実際の画像において対象領域外であったとしても表せるようにする。使用されている撮像装置に対して領域が不明でなかった時点における少なくとも２台の撮像装置の画像の不明領域に当たる区域の不明領域を表す区域を調和して、その領域の描写品質を向上できる。

【0023】

第１及び第２撮像装置の画像の光学的特性の差は、光学的特性の滑らかな遷移に適切な画像の領域を用いて決定されてよい。領域の選択においては、実際に撮像装置によって撮影された周辺部の画像内の滑らかな遷移も考慮してよい。このように合成され調和された不明領域の表示の、例えば車両内部の画面上における可視化により、車両の同乗者又は運転者に対して、不明領域を表すピクチャに邪魔な粗いコントラストを有さない快適なピクチャを提供できる。これにより、不明領域の表示が、特に車両のボンネット領域において、改善される。

【0024】

他の観点では、光学的特性の差は、第１撮像装置の画像内の少なくとも一つの第１基準領域と第２撮像装置の画像内の少なくとも一つの第２基準領域との比較によって決定される。

【0025】

不明領域外の画像の領域の光学的特性を参照することにより、不明領域外の表示を、使われる撮像装置の実際の対象領域に自動的に適合されるという有利点を与える。

【0026】

他の観点では、第１基準領域と第２基準領域は、第１撮像装置及び第２撮像装置の対象領域から選択される。ここでは双方の対象領域は、重なっている。

【0027】

少なくとも２台の撮像装置の画像の光学的特性の差を、これら装置の重なっている対象領域から決定することにより、双方の画像の光学的特性を良好に表せる。これは、組み合わせられた画像の粗いコントラストが邪魔になり得る位置（ここでは、異なる撮像装置の両方の画像が互いに隣同士）の光学的特性の差を決定してよい。

【0028】

他の観点によれば、第１及び第２撮像装置の画像の光学的特性の差は、基準領域内の光学的特性の平均化によって決定される。これにより、差の決定の精度を改善できる。

【0029】

他の観点によれば、基準領域は、同じ大きさを有していて、周辺部の対応する対象領域内において互いに重なり合っている。

【0030】

他の観点によれば、周辺部の不明領域を表示する上述の方法は、異なる基準領域を用いて複数回実行してよい。光学的特性の差は、周辺部の異なる方向に対して特徴付けられるが、重なり画像のうちの少なくとも１枚における調和は、異なる方向に対する光学的特性の差を考慮し、それに応じて実施される。

【0031】

更なる観点によれば、第１重なり画像と第２重なり画像の少なくとも一方は、光学的特性の差と不明領域に関する長さによって定義される光学的特性の勾配によって調和される。

【0032】

決定された光学的特性の差に基づくそのような勾配の定義は、前方の境界線又はあるところの境界線のような、例えば不明領域の境界線でよく、境界線の全体又は部分でよい。

【0033】

ある観点によれば、第２不明領域の調和は、第１重なり画像と第２重なり画像との境界において隣の第２重なり画像の画素を、決定されている第１撮像装置の光学的特性に基づいて調整することによる第２重なり画像の調和を、含む。

【0034】

第１重なり画像と第２重なり画像との境界線から出発し、それぞれ、第２不明領域の前方の境界線に対して平行な第２重なり画像の画素は、第２不明領域の側方の境界の画素が第２撮像装置の光学的特性に対して適合されるように、その光学的特性に基づいて線形的に調整される。その間にある全ての画素は、結果として得られた勾配に従って適合される。

【0035】

第２重なり画像の残りの領域は、第２撮像装置固有の特性に対して適合されてよい。

【0036】

これは、少なくとも１枚の調和用の重なり画像内には、滑らかな遷移が得られることを意味する。勾配は、第１及び第２撮像装置の光学的特性の差の絶対値と、例えば、上述のように、不明領域の長さの半分によって定義される距離とを考慮して、計算してよい。

【0037】

さらなる観点によれば、第１又は第２重なり画像の調和は、勾配の値と向きに応じた、第１又は第２重なり画像の各画素の光学的特性値の調整を含む。
各画素の光学的特性の値の調整は、以下の一次式１を用いることにより計算できる。

【0038】

【数1】

ＯＰが光学的特性を示すところで、１画素は、決定されたＯＰ１から距離１－ｔを、もしくは決定されたＯＰ２のところから距離ｔを持つように調整される。ＯＰ２とＯＰ１は、それぞれのところでの、第１及び第２撮像装置の画像の光学的特性を示す。

【0039】

不明領域外の基準領域の光学的特性の差に基づいて、強さと方向に関する勾配に合わせて重なり画像の各画素の光学的特性の値を適合させることの有利点は、光学的特性の滑らかな遷移である。ここでは、この遷移は、モバイルプラットフォームの周辺部を表す実際の基準領域の光学的特性に合わせられてよい。

【0040】

さらなる観点によれば、光学的特性は、輝度値と色彩値の少なくとも一方である。

【0041】

上述のように、個々の画素の光学的特性は、輝度値及び色彩値によって与えられる。色彩値は、使用されているモデルに依存し、一般的に、三色用の三つの値を包含している。輝度と個別の色の調和は、異なる技術を用いて実施できるが、調和用の式１を用いることにより、小さな労力と良好な結果において、簡単かつ迅速に実施できる。即ち、上述のように、決定された勾配を使用し画素を線形的に調整することにより、全ての個別の色も、輝度と同じ方法によって調和させてよい。

【0042】

さらなる観点によれば、デルタ領域は、モバイルプラットフォームのモーションデータを用いることにより、決定される。

【0043】

不明領域は、例えば、第１タイムステップの時点において、少なくとも２台の撮像装置の対象領域の一部ではない領域である可能性がある。モバイルプラットフォームが動いている場合、不明領域も動いていて、第２タイムステップにて、上述と同じ方法によって定義される。第１タイムステップの不明領域を定義した後、周辺部の位置データを、モバイルプラットフォームのモーションデータ使用の元、第２タイムステップ用に更新してよい。モバイルプラットフォームのモーションデータを決定するには、例えば、エゴ（自車両）モーションデータ、コントロールエリアネットワーク（ＣＡＮ）バスのデータを、デルタ領域決定に使用してよい。ＣＡＮデータは、例えば、ステアリングデータやスピードデータなどを含み、エゴ（自車両）モーションは、画像から決定されたモーションデータに関連している。

【0044】

運動ベクトルが、双方のタイムステップ間の動きの間隔と方向を与えるのであれば、運動ベクトルは、第１タイムステップ時点の不明領域を第２タイムステップ時点の不明領域へ移動するために定義してよい。

【0045】

さらなる観点によれば、第１撮像装置は、モバイルプラットフォームの前方方向を指し、そして、第２撮像装置は、少なくとも部分的に、モバイルプラットフォームの移動方向を指す。

【0046】

第２撮像装置が、プラットフォームの移動方向を少なくとも部分的に示している場合、第２撮像装置の画像は、第１タイムステップ時点において、実際の不明領域と重さなっていて、そして画像は、不明領域の表現に必要な重なり領域を提供してよい。

【0047】

さらなる観点によれば、第２不明領域は、調和された第２重なり画像と、第１重なり画像と、第１不明領域を表す区域とによって表される。

【0048】

モバイルプラットフォームが、真っ直ぐに動いている場合、不明領域が、モバイルプラットフォームの前方に向けられた撮像装置のデータによって更新されるため、不明領域の描写を調和する必要は無い。
モバイルプラットフォームが別の方向に旋回している場合は、不明領域を更新するために、異なる撮像装置に由来する画像データが必要となる。

【0049】

不明領域の描写を完全に更新するには、以前の不明領域の区域と、モバイルプラットフォームの前方に向けられている第１撮像装置の画像の区域と、第２撮像装置の画像の区域、即ち、第２重なり領域が必要となる。この第２重なり領域は、上述のように、他の区域と少なくとも２台の撮像装置の実際の画像の適合用に調和される。

【0050】

方法のさらなる観点を以下に概略的に示す。
モバイルプラットフォームの前方、右側及び左側の画像データｉ。
時点ｔにおけるｉ＿ｆ，ｉ＿ｒ，ｉ＿ｌと、
時点ｔ－１におけるｉ＿ｆ［ｔ－１］，ｉ＿ｒ［ｔ－１］，ｉ＿ｌ［ｔ－１］が、
４枚のローサラウンドカム画像によって提供される。

【0051】

そして、時点ｔ－１の不明領域のパッチ画像ｇ［ｔ－１］。
投影面用の輝度と、色彩の調和の少なくとも一方が、モバイルプラットフォームのモーションデータｍｖ＿ｘ，ｍｖ＿ｙを用いて適用される。

【0052】

運動ベクトルが、画像パッチ内にある場合、パッチは
ｇ［ｘ，ｙ，ｔ］＝ｇ［ｘ＋ｍｖ＿ｘ，ｙ＋ｍｖ＿ｙ，ｔ－１］を用いて変換される。

【0053】

運動ベクトルが、画像パッチ外にある場合、モーションデータｍｖ＿ｘ，ｍｖ＿ｙを用い、パッチは
ｇ［ｘ，ｙ，ｔ］＝ｉ＿ｆ，ｉ＿ｒ，ｉ＿ｌ，ｉ＿ｒ［ｘ＋ｍｖ＿ｘ，ｙ＋ｍｖ＿ｙ，ｔ－１］を用いて変換される。

【0054】

方法の他の観点をステップ毎に概略的に示す。
－車両、オン（起動する）
－サラウンドビューシステム、オン（起動する）
－複数カメラからのライブカメラデータの連続的キャプチャを行う
－複数カメラからの前フレームデータを保持する
－車両からのエゴ（自車両の）モーション情報を監視する
－以前保存されたロー（未処理）データからの画像を調和する
－履歴の地面ビューを作成する
－明るさを修正した地表面の死角地点をレンダリングする
１台のモバイルプラットフォームは、モバイルプラットフォームの下の不明領域を除く、モバイルプラットフォームの周辺全体を扱うべく異なる方向に向けられた４台の撮像装置を備えてよい。駐車目的又は野外活動用に、車両の運転者にとって、不明領域の表現にアクセスできることは支援になり得る。

【0055】

さらなる観点によれば、不明領域の表現は、車両のパワーサイクルの間、保存される。これにより、駐車位置からの発車支援用に、例えば、前の運転時の車両の駐車位置の不明領域に関する情報を提供できる。

【0056】

さらなる観点によれば、不明領域の表現は、モバイルプラットフォームの画面上に表示される。このピクチャとしての画面上での表現は、運転者を、駐車又は野外活動において支援する。

【0057】

本発明のさらなる観点は、上述の方法に係る方法を実施するように構成された装置に関する。この様な装置は、方法を実施する、容易にアクセス可能、かつ、持ち運び可能な方法を可能にする。

【0058】

本発明のさらなる観点は、プログラムが、コンピュータによって実施されるとき、コンピュータに上述の方法を実行させる命令を有するコンピュータプログラムに関する。

【0059】

本発明のさらなる観点は、上述のコンピュータプログラムが保存されている、コンピュータに可読な記憶媒体に関する。

【0060】

以下、本発明の例示的実施形態を詳細に参照し、その例を添付の図に示す。

【図面の簡単な説明】

【0061】

【図1】第１及び第２不明領域を含む左に曲がるモバイルプラットフォームの上視図を示す。

【図2】画面とサラウンドビューシステムを備えた車両を示す。

【図3】周辺の不明領域を表すステップを示す。

【発明を実施するための形態】

【0062】

これらの図は、単なる概略図であり、本発明を説明するためだけのものである。本発明の利点と特徴、並びに、その実施方法は、添付図を参照し説明される以下の実施形態によって開示される。しかしながら、本発明は、様々な形態において実施でき、本明細書に記載の実施形態に限定されると解釈されるべきではない。

【0063】

本発明の実施形態を説明するために図面に開示された形状、サイズ、比率、角度、および数は単なる一例であり、したがって、本発明は、図示された詳細に限定されない。単数形の用語には、特に言及されていない限り、複数形も含まれ得る。ある要素を構成する際は、その要素は、それが明示されていない場合も、あるエラー範囲を包含しているものとする。

【0064】

本明細書においては、「第１」、「第２」などの用語を用いて様々な要素を説明しているが、これらの要素が、これらの用語によって限定されるべきものでないことは自明である。これらの用語は、各々の要素を互いに区別するためにのみ使用されている。例えば、本発明の範囲から逸脱することなく、第１要素が、第２要素と記され得るし、同様に、第２要素が、第１要素と記され得る。

【0065】

本発明の実施形態は、互いに独立して実施可能である、又は互いに依存する関係において実施可能である。

【0066】

図１は、上述のように定義された第１タイムステップ時のモバイルプラットフォームに関する地面の平面上の不明領域２０ａの上視図を示している。モバイルプラットフォームは、運転者支援システムと、サラウンドビューシステムの少なくとも一方を備えてよい。この実施形態例においては、モバイルプラットフォームは、少なくとも４台のモバイルプラットフォームに対して４つの異なる方向に向けられ、モバイルプラットフォームのその時点における周辺のサラウンドビューを可能にする撮像装置を備える。撮像装置は、モバイルプラットフォームの前方方向にある対象領域Ｆが、モバイルプラットフォームの前方に向けられた撮像装置によって扱われるように配置されている。モバイルプラットフォームの後方の対象領域Ｂは、モバイルプラットフォームの後方に向けられている撮像装置によって扱われる。対象領域Ｌと対象領域Ｒは、モバイルプラットフォームの左側と右側の対象領域であり、モバイルプラットフォームから左側向きの撮像装置、右側向きの撮像装置によって扱われる。

【0067】

各撮像装置の対象領域は重なりがあってよいが、周辺部の表現用に、上述の領域Ｆ，Ｂ，ＬとＲは図１に示すように決め、これら領域間の境界線１１，１２，１３，１４となっている。

【0068】

モバイルプラットフォームの、例えば左方向への動きに起因して、図１に示されているように、第１不明領域２０ａの第２不明領域２０ｂへの変換となる。これは、撮像装置がモバイルプラットフォームと一緒に動いているため、対応する第２不明領域２０ｂを定義する個々の撮像装置の新しい対象領域になるからである。

【0069】

第１不明領域２０ａの与えられている表示を、モバイルプラットフォームが新しい位置へ動いて第２不明領域２０ｂが得られた後に更新するには、第２不明領域２０ｂの表示は、図１に示すように３つの区域Ａ，Ｂ及びＣから合成してよい。

【0070】

ステップＳ１では、デルタ領域Ａ－Ｂが決定される。デルタ領域Ａ－Ｂは、
第２タイムステップにおける第１撮像装置Ｆ及び第２撮像装置Ｌの領域の対象領域について不明である、周辺部の第２不明領域２０ｂと、
第１タイムステップにおける第１撮像装置Ｆと第２撮像装置Ｌの対象領域についての周辺部の第１不明領域２０ａと
の差（違い）である。

【0071】

ステップＳ２では、デルタ領域Ａ－Ｂを伴う、第１撮像装置の画像と第２撮像装置の画像の重なりである、第１重なり画像Ａ及び第２重なり画像Ｂが、決定される。それら画像は両方、第１タイムステップにて撮影される。
第１撮像装置の画像は、モバイルプラットフォームの前方撮像装置の対象領域Ｆの画像であり、
第２撮像装置の画像は、モバイルプラットフォームの左側撮像装置の対象領域Ｌの画像である。
第１重なり領域Ａ及び第２重なり領域Ｂを定義する区域は、２つの重なり領域Ａ、Ｂの合計として、デルタ領域Ａ－Ｂを持つ２画像の重なりによって定義される。

【0072】

第１重なり領域Ａと第１不明領域２０ａの表示に依然残る不明領域Ｃの光学的特性は、第１不明領域２０ａの表示用画像データがモバイルプラットフォームの前方の対象領域Ｆに向けられた撮像装置からの画像に基づいてよいので、互いについて既に適合されていてよい。

【0073】

モバイルプラットフォームの左側の対象領域Ｌに向けられている第２撮像装置の画像の重なりである第２重なり領域Ｂの光学的特性は、モバイルプラットフォームの前方の対象領域に向けられている第１撮像装置の画像の光学的特性と異なっていることがある。

【0074】

ステップＳ３では、第１及び第２撮像装置の画像の光学的特性の差が決定される。

【0075】

特に、この光学的特性の差は、第１撮像装置Ｆの画像内の少なくとも１つの第１基準領域Ｒｆと第２撮像装置Ｌの画像内の少なくとも１つの第２基準領域Ｒｓとの比較によって特定されてよい。

【0076】

特に、少なくとも第１基準領域Ｒｆと少なくとも第２基準領域Ｒｓは、双方の撮像装置の対象領域が重なる、周辺部の領域Ｒｆ－Ｒｓである。即ち、例えば境界線１１では、この例では前方の対象領域Ｆに向けられている撮像装置である第１撮像装置の対象領域と、この例では左側の対象領域Ｌに向けられている撮像装置である第２撮像装置の対象領域の双方が、重なっていることを意味する。周辺部の表示に、これら対象領域が互いに隣り合うところ、境界線、例として線１１がある。
この基準領域は、第１不明領域２０ａから任意の距離と任意の位置、例えば、第１不明領域２０ａの直ぐ隣りで境界線１１にあってよい。

【0077】

特に、第１撮像装置の画像と第２撮像装置の画像の光学的特性の差の決定用に、第１と第２撮像装置の画像の光学的特性の差は、第１基準領域Ｒｆと第２基準領域Ｒｓの光学的特性を平均化することによって決定してよい。

【0078】

特に、２つの基準領域Ｒｆ，Ｒｓは、同じ大きさで、周辺部の対応する対象領域内で互いに重なっている。

【0079】

第２重なり画像Ｂは、上述した光学的特徴の差と第１不明領域に関する長さによって定義される光学的特徴の勾配について調和される。特に、この長さは、不明領域の前方から不明領域の後方までの距離の半分でよい。

【0080】

特に、第２重なり画像の調和は、その勾配の値と向きに相当する、第２重なり画像の各画素の光学的特性の値の調整を含む。即ち、第２重なり画像の各画像画素は、そこにおいて、不明領域の中央までの輝度差が決定される重なり領域内の点からの距離に対応する光学的特性に対して、前方撮像装置の画像の光学的特性に対して決定された値から出発して、左側撮像装置の光学的特性に対して決定された値に至るまで、調和される。

【0081】

第１重なり画像Ａと第２重なり画像Ｂとの境界線１１から出発し、それぞれ、第２不明領域２０ｂの前方の境界線に対して平行な第２重なり画像Ｂの画素は、第２不明領域の側方の境界の画素が第２撮像装置の光学的特性に対して適合されるように、その光学的特性に基づいて線形的に調整される。その間にある全ての画素は、結果として得られた勾配に従って適合される。各画素の光学的特性の値の調整は、以下の一次式１を用いて計算できる。

【0082】

【数2】

式中、ｔは、上述のＯＰ１とＯＰ２に対する典型的な距離である。

【0083】

式中、ＯＰ１とＯＰ２は、第１基準領域Ｒｆと第２基準領域Ｒｓの光学的特性である。第２重なり画像の残りの領域は、第２撮像装置の特定の特性に対して適合される。

【0084】

これは、少なくとも１枚の調和用の重なり画像内には、滑らかな遷移が得られることを意味している。

【0085】

図２は、画面２２０とサラウンドビューシステムを備えた車両２００を模式的に示す。

【0086】

図３は、上述のステップＳ１からＳ４を含む方法を模式的に示す。
以下に、本願発明を別の観点１）―１５）で列挙する。
１） モバイルプラットフォーム（２００）の周辺部の、モバイルプラットフォーム（２００）の第１撮像装置及び第２撮像装置の対象領域について不明領域（２０ａ，２０ｂ）を表す方法が、
第１撮像装置及び第２撮像装置の対象領域について第２タイムステップにおいて不明な、前記周辺部の第２不明領域（２０ｂ）と、第１撮像装置及び第２撮像装置の対象領域について第１タイムステップにおいて不明な、前記周辺部の第１不明領域（２０ａ）との差である、デルタ領域（Ａ，Ｂ）を決定するステップ（Ｓ１）と、
デルタ領域（Ａ，Ｂ）を持つ、第１撮像装置の１画像と第２撮像装置の１画像との重なりである、第１重なり画像（Ａ）と第２重なり画像（Ｂ）を決定するステップ（Ｓ２）であって、第１撮像装置の前記１画像及び第２撮像装置の前記１画像が前記第１タイムステップで撮影される、第１重なり画像（Ａ）と第２重なり画像を決定するステップ（Ｓ２）と、
第１撮像装置及び第２撮像装置の画像の光学的特性の差を決定するステップ（Ｓ３）と、
少なくとも１枚の前記重なり画像（Ａ，Ｂ）内の光学的特性の差が、調和されるステップ（Ｓ４）と
を備える、モバイルプラットフォーム（２００）の周辺部の、モバイルプラットフォーム（２００）の第１撮像装置及び第２撮像装置の対象領域について不明領域（２０ａ，２０ｂ）を表す方法。
２） 光学的特性の前記差が、第１撮像装置の画像内の少なくとも１つの第１基準領域（Ｒｆ）と第２撮像装置の画像内の少なくとも１つの第２基準領域（Ｒｓ）との比較によって決定される、上述の１）に記載の方法。
３） 前記少なくとも第１基準領域（Ｒｆ）と前記少なくとも第２基準領域（Ｒｓ）が、前記周辺部の、双方の撮像装置の対象領域が重なっている領域である、上述の２）に記載の方法。
４） 第１重なり画像（Ａ）と第２重なり画像（Ｂ）との少なくとも一方が、光学的特性の前記差と第１不明領域（２０ａ）に関する長さによって定義される光学的特徴の勾配について調和される、上述の１）から３）のいずれか１つに記載の方法。
５） 第１重なり画像（Ａ）又は第２重なり画像（Ｂ）の調和が、前記勾配の値と向きに相当する、第１重なり画像（Ａ）又は第２重なり画像（Ｂ）の、各画素の光学的特性の値の調整を含む、上述の４）に記載の方法。
６） 前記光学的特性が、輝度値と色彩値との少なくとも一方である、上述の１）から５）のいずれか１つに記載の方法。
７） 前記デルタ領域（Ａ，Ｂ）が、前記モバイルプラットフォーム（２００）のモーションデータを用いて決定される、上述の１）から６）のいずれか１つに記載の方法。
８） 前記第１撮像装置が、前記モバイルプラットフォーム（２００）の前方方向を指していて、かつ前記第２撮像装置が、少なくとも部分的に、前記モバイルプラットフォームの移動方向を指している、上述の１）から７）のいずれか１つに記載の方法。
９） 前記第２不明領域（２０ｂ）が、調和された第２重なり画像（Ｂ）と、第１重なり画像（Ａ）と、第１不明領域（Ｃ）を表す区域とによって表される、上述の１）から８）のいずれか１つに記載の方法。
１０） 前記第２不明領域（２０ｂ）の表示が、車両のパワーサイクルの間、保存される、上述の９）に記載の方法。
１１） 前記第２不明領域（２０ｂ）の表示が、前記モバイルプラットフォーム（２００）の画面（２２０）上に示される、上述の１）から１０）のいずれか１項に記載の方法。
１２） 上述の１）から１１）のいずれか１つに記載の方法を実施するように構成されているサラウンドビューシステム（２１０）。
１３） 前記不明領域（２０ａ，２０ｂ）を可視化する画面（２２０）と、請求項１２に記載のサラウンドビューシステム（２１０）を装備している、好ましくは車両（２００）であるモバイルプラットフォーム（２００）。
１４） コンピュータプログラムがコンピュータによって実施される時、前記コンピュータに上述の１）から１１）のいずれか１つに記載の方法を実行させる命令を備える、コンピュータプログラム。
１５） 上述の１４）に記載のコンピュータプログラムが保存されている、コンピュータに可読な記憶媒体。

【図1】

【図2】

【図3】