特許 5667629 車両周辺のモニタ方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5667629

(24)【登録日】2014年12月19日

(45)【発行日】2015年2月12日

(54)【発明の名称】車両周辺のモニタ方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20150122BHJP

   H04N 7/18 20060101ALI20150122BHJP

   B60R 1/00 20060101ALI20150122BHJP

   B60R 21/00 20060101ALI20150122BHJP

【ＦＩ】

   G08G1/16 C

   H04N7/18 J

   B60R1/00 A

   B60R21/00 626G

【請求項の数】2

【全頁数】8

(21)【出願番号】特願2012-523219(P2012-523219)

(86)(22)【出願日】2010年7月20日

(65)【公表番号】特表2013-501280(P2013-501280A)

(43)【公表日】2013年1月10日

(86)【国際出願番号】EP2010004415

(87)【国際公開番号】WO2011015283

(87)【国際公開日】20110210

【審査請求日】2012年3月29日

(31)【優先権主張番号】102009036200.2

(32)【優先日】2009年8月5日

(33)【優先権主張国】DE

【前置審査】

(73)【特許権者】

【識別番号】598051819

【氏名又は名称】ダイムラー・アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｄａｉｍｌｅｒ ＡＧ

(74)【代理人】

【識別番号】100090583

【弁理士】

【氏名又は名称】田中 清

(74)【代理人】

【識別番号】100098110

【弁理士】

【氏名又は名称】村山 みどり

(72)【発明者】

【氏名】ヨアヒム・グローガー

(72)【発明者】

【氏名】トーマス・ルーラント

【審査官】 東 勝之

(56)【参考文献】

【文献】 特開２００７−１０４３７３（ＪＰ，Ａ）

【文献】 特開２００７−１８０７２０（ＪＰ，Ａ）

【文献】 特開２００８−０４８３１７（ＪＰ，Ａ）

【文献】 特開２００８−０４８３４５（ＪＰ，Ａ）

【文献】 特開２００７−０８９０８１（ＪＰ，Ａ）

【文献】 特開２００６−１２１５８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００ − １／１６

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２６５

(57)【特許請求の範囲】

【請求項1】

各々の検知範囲が少なくとも部分的に重なり合って重複部分を形成する少なくとも１つの第１の画像取込み装置（１）と少なくとも１つの第２の画像取込み装置（２）とを用いて、車両（Ｆ）の周辺（Ｕ）及びその周辺にある物体（Ｏ１、Ｏ２）が検知され、前記画像取込み装置（１、２）によって検知された個々の画像から、画像処理装置を使って、前記車両（Ｆ）及びその周辺（Ｕ）を鳥瞰図で示した全体画像（Ｇ）を生成する、車両（Ｆ）の周辺（Ｕ）のモニタ方法であって、
前記物体を実際と同じ形で全体画像に表示するため、検出された前記物体（Ｏ１、Ｏ２）の位置に応じて、全体画像の中で、第１の個別画像範囲（ＥＢ１）と第２の個別画像範囲（ＥＢ２）との間において、前記車両（Ｆ）上の起点から前記全体画像（Ｇ）の画像周縁まで伸びる少なくとも１つの境界線（Ｌ１〜Ｌ３）が、前記物体（Ｏ１、Ｏ２）から逸れて通るように設けられること、および
前記境界線（Ｌ１〜Ｌ３）とそれぞれの前記物体（Ｏ１、Ｏ２）との間に、許容範囲（Ｔ１〜Ｔ３）が形成されていることを特徴とする方法。

【請求項2】

一方の前記画像取込み装置（１、２）の個別画像範囲（ＥＢ１、ＥＢ２）が、他方の前記画像取込み装置（１、２）の少なくとも１つの個別画像範囲（ＥＢ１、ＥＢ２）によって分断された形で表示されるように、前記全体画像（Ｇ）が前記物体（Ｏ１、Ｏ２）の位置に応じて分割されることを特徴とする、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両周辺のモニタ方法に関し、各々の検知範囲が少なくとも部分的に重なり合って重複部分を形成する少なくとも１つの第１の画像取込み装置と１つの第２の画像取込み装置とを用いて、周辺及びその周辺にある物体が検知され、この画像取込み装置によって検知された個々の画像から、画像処理装置を使って、車両及びその周辺を鳥瞰図で示した全画像が生成される。

【0002】

物品運送又は旅客輸送用の車両は、しばしば、車両サイズが大きく、及び／又は見通しが悪いという特徴を持つ。そのため、運転者にとって、特にこれらの車両の運転は非常に難しい。従って、車両及びその周辺、とりわけ車両の後方又は側方周辺が鳥瞰図で画面に表示され、運転者が車両及びその周辺全体を見ることができるのは有利である。

【背景技術】

【0003】

従来技術から、車両周辺のこの種のモニタ及び表示のための様々な方法及び装置が知られており、車両の運転者には、特に車両及びその周辺の画像が鳥瞰図で示される。これにより、例えば車両を運転している場合など、走行中に運転者のアシスタント機能及びサポートとして働く広範囲の視界が運転者に提供される。さらに、特に視界の悪い大型車両において、周辺を見わたすことが困難であるせいでしばしば発生する事故を回避することができる。この場合、車両及び車両周辺が表示される鳥瞰図による全体画像は、互いに隣接しているか、又は重なり合っている複数の画像を収集することによって検出される。

【0004】

特許文献１から、沿道のパノラマビュー又はオールラウンドビューを生成する方法が知られている。この場合、レーザースキャナによってレーザースキャンデータが無作為に検知されるが、この場合、レーザースキャナは車両に配置され、それぞれのサンプリングに位置データと位置特定データとが割り当てられている。さらに、同じく車両に配置されているカメラにより、少なくとも１つの画像シーケンスが検知され、画像シーケンスの各画像には、位置データと位置特定データとが割り当てられている。レーザースキャンデータから表面が検出され、この表面の位置は、レーザースキャンデータに割り当てられた位置データ及び位置特定データに応じて検出される。パノラマビュー又はオールラウンドビューは、前述した表面に対して、少なくとも１つの画像シーケンスから、これらの画像の位置に応じて、及び各画像に割り当てられている位置データ及び位置特定データに応じて決定される。

【0005】

さらに、特許文献２から車両周辺を表示するための装置が公開されている。この装置は、車両の側面に配置され、第１の画像を取り込むために設けられている第１の取込み装置を有している。さらに、第２の画像を取り込むための第２の取込み装置が設けられており、この第２の取込み装置は、第１の取込み装置に対応して配置されている。さらに、取り込まれた画像を表示するため、及び車両周辺を表示するための表示装置が設けられている。画像処理装置を用いて、第１と第２の画像との境界線が、これらの画像から形成される全体画像において、第１のカメラの位置と第２のカメラの位置とを互いに結んでいる直線と境界線とが一致するように決定される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２００８／１５０１５３Ａ１号パンフレット

【特許文献2】米国特許出願公開第２００６／０１９２６６０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、従来技術に対して改善された車両周辺のモニタ方法を提供するという課題に基づいている。

【課題を解決するための手段】

【0008】

この課題は、本発明に基づき、請求項１に示されている特徴を有する方法によって解決される。

【0009】

本発明の有利な実施形態は、従属請求項の対象である。

【0010】

車両周辺をモニタする本方法では、各々の検知範囲が少なくとも部分的に重なり合って重複部分を形成する少なくとも１つの第１の画像取込み装置と１つの第２の画像取込み装置とを用いて、周辺及びその周辺にある物体が検知され、この画像取込み装置によって検知された個々の画像から、画像処理装置を使って、車両及びその周辺を鳥瞰図で示した全画像が合成される。

【0011】

この重複部分にある物体、例えば、人間、障害物又はその他の対象物など、地表面から隆起している物体を、特に全長の長い車両の場合でも、確実に、完全に、また実際と同じ形で全体画像に表示するため、本発明に基づき、検出された物体の位置に応じて、全体画像の中で、第１の個別画像範囲と第２の個別画像範囲との間における、起点から全体画像の画像周縁まで伸びる境界線が、物体から逸れて通るように可変的に設けられている。

【0012】

この場合、互いに隣接する個々の画像部分を鳥瞰図による全体画像にまとめる場合、画像取込み装置の重複部分に生じる非連続性、特に歪み及び／又は中断箇所により、物体の表示が崩れ、不完全なものになるおそれがあるが、特に有利な方法では、このような非連続性は全体画像内に示される物体について不利に現れない。特に、全体画像における物体の不完全かつ非連続的な表示が回避され、それは、境界線が物体に接触しないように可変的に設定されることにより、最適な、すなわち完全かつ連続的な物体の外観が全体画像に反映されるからである。

【0013】

本発明の実施例を、図に基づいて以下に詳しく説明する。

【図面の簡単な説明】

【0014】

【図1】車両と、その周辺及び物体が鳥瞰図によって示される、従来技術による全体画像の部分概略図である。

【図2】第１と第２の個別画像範囲との間にある可変的に設定可能な境界線を備えた全体画像の部分概略図である。

【図3】より多くの個別画像範囲に分けられている全体画像の分割概略図である。

【図4】全体画像の第１の個別画像範囲と第２の個別画像範囲との間にある、直角に曲がった境界線の概略図である。

【図5】全体画像の第１の個別画像範囲と第２の個別画像範囲との間にある、曲線状の境界線の概略図である。

【発明を実施するための形態】

【0015】

互いに対応する部品は、全ての図の中で同一の記号が付されている。

【0016】

図１には、車両Ｆ、その周辺Ｕ及び物体Ｏ１が鳥瞰図によって示される、従来技術による全体画像Ｇの部分図が示されている。

【0017】

車両Ｆの前方端部には、第１の画像取込み装置１が配置され、車両Ｆの右側には第２の画像取込み装置２が配置されており、これらの装置によって車両Ｆ及びその周辺Ｕが検知可能である。この場合、画像取込み装置１及び２の取込み範囲は、少なくとも部分的に重なり合っている。

【0018】

画像取込み装置１及び２は、それぞれ広い取込み範囲を有しているカメラであるのが好ましい。この場合、従来のカメラの他に、全方向性カメラも可能である。これらは、例えばモザイクベースのカメラ、回転式カメラ、特殊な広角レンズ、いわゆる魚眼レンズ付きカメラであり得るか、又は反射屈折光学系に基づくカメラでもよい。

【0019】

画像取込み装置１及び２は、車両Ｆ、その周辺Ｕ及び物体Ｏ１の個々の画像を取り込み、これらの個々の画像は、詳しく図示されていない画像処理装置によって全体画像Ｇに変換される。この全体画像Ｇは、車両Ｆ、その周辺Ｕ、及び人間の他に障害物又はその他の対象物でもあり得る物体Ｏ１を、ある観察点から見た鳥瞰図によって表示する。個々の画像は、画像処理装置を用いて、個々の画像を仮想の基準面に投影することによって変換される。

【0020】

この仮想基準面は、特に車両Ｆの路面の高さ、すなわち地表面となる底面に位置する面である。

【0021】

地表面から隆起している、すなわち地表面から突出している物体Ｏ１は、画像取込み装置１及び２によって様々な角度から取り込まれるため、物体Ｏ１が境界線Ｌの付近又は境界線Ｌ上に直接ある場合、全体画像Ｇでは視覚的に崩れた、及び／又は少なくとも部分的に不完全な物体Ｏ１が表示される可能性がある。この場合、境界線Ｌは、第１の画像取込み装置１によって取り込まれて基準面に投影された第１の個別画像範囲ＥＢ１と、第２の画像取込み装置２によって取り込まれて基準面に投影された第２の個別画像範囲ＥＢ２とを分離している。

【0022】

全体画像Ｇの物体Ｏ１が視覚的に崩れて、及び／又は少なくとも部分的に不完全に表示されるのを防ぐため、検出された物体Ｏ１の全体画像Ｇにおける位置に応じて、境界線Ｌ１は、この境界線が物体Ｏ１を逸れて通るように設定される。

【0023】

図２では、物体Ｏ１を逸れて通っているこの種の境界線Ｌ１が示されており、境界線Ｌ１は、常に、物体Ｏ１がこの境界線によって分断されないか、又はこの境界線と接触しないように通っている。

【0024】

境界線Ｌ１をこのように設定するために、まず、車両Ｆの周辺における物体Ｏ１の位置が検出されるが、これは、画像取込み装置１及び２と画像処理装置とによって行われる。車両Ｆの周辺における物体Ｏ１の位置と、すでに分かっている画像取込み装置１及び２の方向とから、次に、物体Ｏ１を全体画像Ｇにおいてどの位置に表示するかが調べられる。

【0025】

全体画像Ｇにおける物体Ｏ１のこの位置に応じて、個別画像範囲ＥＢ１及びＥＢ２は、これらが作成される際、境界線が物体Ｏ１を逸れて通るように画像処理装置によって計算される。画像取込み装置１、２が、それらの取込み範囲に重複部分が生じるように調整されているため、この重複部分では、周辺Ｕとこの周辺にある物体Ｏ１とが両方の画像取込み装置１、２によって取り込まれることから、この境界線Ｌ１の可変的経過が可能となる。

【0026】

図示されている実施例においては、境界線Ｌ１が直線として形成されており、この境界線は、物体Ｏ１がこの線に触れないように、車両Ｆの前方コーナー上にある該境界線の起点を中心に旋回している。

【0027】

さらに、境界線Ｌ１と物体Ｏ１との間には、許容範囲Ｔ１が形成されている。従って、車両Ｆ及び物体Ｏが動いている場合にも、車両Ｆ、その周辺Ｕ及び物体Ｏ１を全体画像Ｇに最適に表示することが常に確実に行われる。

【0028】

図３は、車両Ｆ、その周辺Ｕ及び２つの物体Ｏ１、Ｏ２を含む全体画像Ｇを示し、全体画像Ｇは複数に分割されている。両方の物体Ｏ１、Ｏ２を正しく全体画像Ｇに表示するため、第１の個別画像範囲ＥＢ１は、第２の個別画像範囲ＥＢ２によって分断された形で全体画像Ｇに表示されており、この場合、物体Ｏ２は第２の個別画像範囲ＥＢ２に表示されるが、第１の個別画像範囲ＥＢ１によって周縁を取り囲まれているようになっている。

【0029】

さらに、第２の個別画像範囲ＥＢ２も、第１の個別画像範囲ＥＢ１によって分断された形で表示されており、この場合、第１の物体Ｏ１は第１の個別画像範囲ＥＢ１に表示されるが、第２の個別画像範囲ＥＢ２によって周縁を取り囲まれているようになっている。

【0030】

別の表現を用いると、全体画像Ｇの面上で、個別画像範囲ＥＢ１とＥＢ２とが何度も交互に入れ替えられている。

【0031】

この場合、個別画像範囲ＥＢ１、ＥＢ２は、それぞれ、境界線Ｌ１〜Ｌ３によって互いに分離され、このとき、境界線Ｌ１〜Ｌ３は、物体Ｏ１、Ｏ２に接触せず、境界線Ｌ１〜Ｌ３と物体Ｏ１、Ｏ２との間に許容範囲Ｔ１〜Ｔ４が形成されるように通っている。境界線Ｌ１〜Ｌ３から、物体Ｏ１、Ｏ２の最適な表示が結果として生じ、それは、これらの物体を明確に、正確かつ完全に取り込んでいるそれぞれの画像取込み装置１、２の視点でこれらの物体が表示されるからである。

【0032】

図４は、車両Ｆの前方コーナー上の起点と全体画像Ｇの画像周縁との間にあるもう１つの境界線Ｌ１の変化を示している。この場合、境界線Ｌ１は長方形の一部分を描くように通っており、物体Ｏ１は全体画像Ｇの中で境界線Ｌ１の上方にあり、許容範囲Ｔ１は物体Ｏ１と境界線Ｌ１との間に形成されている。

【0033】

詳しく図示されていない発展形態では、代替の方法として、境界線が多角形の形を作って１つ又は複数の物体の周りを通ることができるため、常に、最適かつ完全に物体を全体画像Ｇに表示することが可能になっている。

【0034】

図５には、車両Ｆ、その周辺Ｕ及び物体Ｏ１、Ｏ２を示す全体画像Ｇが示されており、このとき、境界線Ｌ１は、第１の物体Ｏ１が第１の個別画像範囲ＥＢ１において境界線Ｌ１の上方にあり、第２の物体Ｏ２が全体画像Ｇにおいて境界線Ｌ１の下方にあるように、曲線を描いて通っている。さらに、境界線Ｌ１の起点も車両Ｆの前方コーナーから第１の画像取込み装置１の方向にずれているため、変更された仮想の観察ポイントが全体画像Ｇに生じている。これにより、物体Ｏ１、Ｏ２の表示を、さらに改善することができる。

【符号の説明】

【0035】

１ 画像取込み装置
２ 画像取込み装置
ＥＢ１、ＥＢ２ 個別画像範囲
Ｆ 車両
Ｇ 全体画像
Ｌ１〜Ｌ３ 境界線
Ｏ１、Ｏ２ 物体
Ｔ１〜Ｔ４ 許容範囲
Ｕ 周辺

【図1】

【図2】

【図3】

【図4】

【図5】