特許 7184779 ミラー代替カメラのビデオシーケンスの再生を検査する装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】ミラー代替カメラのビデオシーケンスの再生を検査する装置および方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221129BHJP

   H04N 17/00 20060101ALI20221129BHJP

   H04N 5/232 20060101ALI20221129BHJP

   B60R 1/06 20060101ALI20221129BHJP

   B60R 1/26 20220101ALI20221129BHJP

【ＦＩ】

H04N7/18 J

H04N17/00 200

H04N7/18 B

H04N5/232 990

H04N5/232 290

B60R1/06 D

B60R1/26

【請求項の数】 8

(21)【出願番号】P 2019540044

(86)(22)【出願日】2018-04-06

(65)【公表番号】

(43)【公表日】2020-07-02

(86)【国際出願番号】 DE2018200034

(87)【国際公開番号】W WO2018206059

(87)【国際公開日】2018-11-15

【審査請求日】2021-03-02

(31)【優先権主張番号】102017207792.1

(32)【優先日】2017-05-09

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(72)【発明者】

【氏名】ツィナー・ヘルゲ

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２００４－３２８２４６（ＪＰ，Ａ）

【文献】特開２０１６－１３４６５７（ＪＰ，Ａ）

【文献】特開２０１７－２１６５１８（ＪＰ，Ａ）

【文献】特開２０１０－１８８９０３（ＪＰ，Ａ）

【文献】特開２００７－３１８４８０（ＪＰ，Ａ）

【文献】特開２００８－２８３４３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ５／２３２

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

車両用ミラー代替カメラのビデオシーケンスの再生を検査する装置において：
－像を撮影し、画像データを供給するように構成され、さらに、撮影される前記像を変更するために、カメラの運動動作によりカメラの視野の移動を実施するように構成される可動カメラ装置（１０）と；
－前記カメラ装置（１０）と接続され、得られた前記画像データに基づいてビデオシーケンスを生成するように構成される画像データ処理装置（２０）と；
－生成された前記ビデオシーケンスを表示するように構成される出力装置（３０）と；
－前記カメラ装置（１０）を制御して運動動作させ、運動動作の前に撮影された前の像とは異なる像が撮影され、表示される前記ビデオシーケンスをカメラの運動動作前後に撮影された像の画像比較により検査し、ビデオシーケンスのフリーズを識別するように構成される診断装置（４０）と、
を備え、
前記診断装置（４０）は、乗員による前記出力装置（３０）とのアイコンタクトが認識された場合、表示される前記ビデオシーケンスの検査を実施するように構成される装置（１）。

【請求項2】

車両用ミラー代替カメラのビデオシーケンスの再生を検査する装置において：
－像を撮影し、画像データを供給するように構成され、さらに、撮影される前記像を変更するために、カメラの運動動作によりカメラの視野の移動を実施するように構成されるサイドミラー代替カメラとしての可動カメラ装置（１０）と；
－前記カメラ装置（１０）と接続され、得られた前記画像データに基づいてビデオシーケンスを生成するように構成される画像データ処理装置（２０）と；
－生成された前記ビデオシーケンスを表示するように構成される出力装置（３０）と；
－前記カメラ装置（１０）を制御してカメラを車体の方に向けるように運動動作させ、運動動作の前に撮影された前の像とは異なる像が撮影され、カメラを車体の方に向けるときのカメラの角度に基づいて一義的に決定される車体の一部の像が予め記憶されており、表示される前記ビデオシーケンスをカメラの運動動作前後に撮影された像の画像比較により検査し、ビデオシーケンスのフリーズを識別するように構成される診断装置（４０）と、を備える装置（１）。

【請求項3】

前記診断装置（４０）は、乗員による前記出力装置（３０）とのアイコンタクトが認識された場合、表示される前記ビデオシーケンスの検査を実施するように構成される、請求項２に記載の装置。

【請求項4】

前記診断装置（４０）は、表示される前記ビデオシーケンスの検査を所定の時間間隔内で反復して実施するように構成される、請求項１～３のいずれか１項に記載の装置。

【請求項5】

前記診断装置（４０）は、表示される前記ビデオシーケンスの検査を主流の走行状況に基づいて、かつ／または主流の走行状態に基づいて実施するように構成される、請求項１～４のいずれか１項に記載の装置。

【請求項6】

ミラー代替カメラと、請求項１～５のいずれか１項に記載の装置とを備えるミラーモニタシステム。

【請求項7】

車両用ミラー代替カメラのビデオシーケンスの再生を検査する方法において：
－像を撮影し、撮影される前記像を変更するために、カメラの運動動作によりカメラの視野の移動を実施するように構成される可動カメラ装置（１０）を用いて画像データを供給するステップ（Ｓ１）と；－得られた前記画像データに基づいてビデオシーケンスを生成するステップ（Ｓ２）と；－生成された前記ビデオシーケンスを表示するステップ（Ｓ３）と；
－前記カメラ装置（１０）を制御して運動動作させ、運動動作の前に撮影された前の像とは異なる像が撮影され、表示される前記ビデオシーケンスをカメラの運動動作前後に撮影された像の画像比較により検査し、ビデオシーケンスのフリーズを識別するステップ（Ｓ４）と、
を備え、
生成された前記ビデオシーケンスを表示するための出力装置（３０）との乗員によるアイコンタクトが認識された場合、表示される前記ビデオシーケンスの検査を実施するように構成される方法。

【請求項8】

車両用ミラー代替カメラのビデオシーケンスの再生を検査する方法において：
－像を撮影し、撮影される前記像を変更するために、カメラの運動動作によりカメラの視野の移動を実施するように構成されるサイドミラー代替カメラとしての可動カメラ装置（１０）を用いて画像データを供給するステップ（Ｓ１）と；－得られた前記画像データに基づいてビデオシーケンスを生成するステップ（Ｓ２）と；－生成された前記ビデオシーケンスを表示するステップ（Ｓ３）と；
－前記カメラ装置（１０）を制御してカメラを車体の方に向けるように運動動作させ、運動動作の前に撮影された前の像とは異なる像が撮影され、カメラを車体の方に向けるときのカメラの角度に基づいて一義的に決定される車体の一部の像が予め記憶されており、表示される前記ビデオシーケンスをカメラの運動動作前後に撮影された像の画像比較により検査し、ビデオシーケンスのフリーズを識別するステップ（Ｓ４）と、
を備える方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サイドミラー代替品およびバックミラー代替品用のシステムに関する。

【0002】

特に、本発明は、車両用ミラー代替カメラのビデオシーケンスの再生を検査する装置および方法に関する。

【背景技術】

【0003】

サイドミラーおよびバックミラーは、ますますカメラモニタシステムにより代替可能になってきている。そのようなミラー代替システムはカメラとモニタを有し、例えば車両用サイドミラーおよびバックミラーを代替する。

【0004】

空気力学的に有利であり、それにより燃費が低減されることに加え、カメラが代替されることによって初めて可能になる技術的な改良点も存在する。

【0005】

サラウンドビューシステムにおける複数のカメラの画像はフュージョンされるが、つまりまとめて搭載され、妨害となる歪みまたは画像の影響が差し引かれ、運転者にとっての眩しさが回避される。

【0006】

一般的なミラーの代替物とシステムが略１００％機能するための、カメラと表示用の拡張機能を開発し、システムを不具合なく構成する必要がある。従来のミラーには関係がないものの、ミラー代替システムには一層問題となっている知られた課題とは、とりわけ、画像処理システムのエラーにより表示の際に画像がフリーズすることである。

【0007】

道路走行中、運転者はそのようなエラーが存在するかどうかきわめて迅速に見きわめるべきだが、非常に緩やかに変化するか、またはまったく変化がない背景、例えば車両の出車または駐車の際、静止画像はおそらくはミラー代替システムのエラーでもある可能性がある。

【0008】

運転者は例えばミラーモニタを見て、危険がないと判断して狭い所から発進する。しかしこの時は静止画像であった可能性があるのである。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明の課題は、運転支援システム用の改善されたカメラ機能を提供することである。

【課題を解決するための手段】

【0010】

本課題は、独立請求項の主題により解決される。発展形態と実施形態が従属請求項、明細書および図面の図から見出される。

【0011】

本発明の第１態様は、車両用ミラー代替カメラのビデオシーケンスの再生を検査する装置に関する。

【0012】

本装置は、撮像し、画像データを供給するように構成される可動カメラ装置と；さらに、カメラ装置と接続され、得られた画像データに基づいてビデオシーケンスを生成するように構成される画像データ処理装置と；さらに、生成されたビデオシーケンスを表示するように構成される出力装置と；さらに、カメラ装置を運動動作させ、かつ／またはビデオシーケンス生成時に画像移動を発生させ、表示されるビデオシーケンスを検査するように構成される診断装置と、を備える。

【0013】

本発明は、例えば、車両用カメラモニタシステムのビデオデータのフリーズを識別する技術システムと方法を提案する。

【0014】

ここで、本発明は、例えば、自動および自立した反復テストを提案する。

【0015】

本発明は、例えば、カメラの運動動作または画像移動を用いて、画像比較により、ミラー代替システムの静止画像またはフリーズ画像を同定することを提案する。

【0016】

さらに、本方法は、運転者に危険を喚起する可能性を構成する。

【0017】

本発明は、まさに機能安全性の向上も必要とされるミラー代替システムに提供される。

【0018】

提案される方法および手順は、ミラー代替システムの不具合の可能性を低減することを可能にする。

【0019】

画像のフリーズによるエラーが発生した際、一方で、システムは自立して回復できるか、またはエラーを診断することができ、他方で、運転者に対して技術的な信頼と新しいシステムを提供することができる。

【0020】

これにより、ミラー代替物を適用するデジタルシステムの受け入れ性を改善することができる。

【0021】

本発明は、自動車においてさらに一層重要性が増している撮像カメラシステムの安全性の向上に貢献する。本発明は、乗物における他の撮像システム、例えばレーダまたは超音波に基づく撮像センサシステムに適用可能である。

【0022】

本発明は、カメラまたはミラー代替システムの安全性を向上させる解決手段を提供する。さらに本発明は、技術システムにより引き起こされる事故を回避でき、運転者または乗員にエラーの存在と不在を表示することができ、安全なシステムへの信頼を生み出すことができる。

【0023】

本発明の有利な形態はサブクレームから見出される。

【0024】

本発明の有利な形態において、診断装置は、乗員による出力装置とのアイコンタクトが認識された場合、表示されるビデオシーケンスの検査を実施するように構成される。

【0025】

本発明の有利な形態において、診断装置は、トリガイベントが確認された場合、表示されるビデオシーケンスの検査を実施するように構成される。トリガイベントとして、走行状況、走行状態、運転者の挙動または周期的に実施されるシステム検査が含まれてよい。

【0026】

本発明の有利な形態において、診断装置は、表示されるビデオシーケンスの検査を所定の時間間隔内で反復して実施するように構成される。

【0027】

本発明の有利な形態において、診断装置は、表示されるビデオシーケンスの検査を主流の走行状況に基づいて、かつ／または主流の走行状態に基づいて実施するように構成される。

【0028】

本発明の有利な形態において、可動カメラ装置は、撮影された像を変更するために、カメラの視野の移動を実施するように構成される。言い換えると、カメラ装置のパン、例えば所定の角度範囲での移動が実施される。

【0029】

記載される形態と発展形態は任意に組み合わされてよい。

【0030】

本発明のさらなる可能な形態、発展形態および実装は、明示して言及されない、上記または以下に実施形態に関して記載される本発明の特徴の組み合わせも含む。

【0031】

添付の図面により、本発明の実施形態はさらに理解されるだろう。

【0032】

添付の図面は実施形態を例示し、明細書とともに本発明の概念の解釈に役立つものである。

【0033】

他の実施形態および多くの言及される有利な点は、図面の図を参照して得られる。図面の図に示される要素は、必ずしも互いに縮尺通りに示されているわけではない。

【図面の簡単な説明】

【0034】

【図1】図１は、本発明を説明するための、カメラを備えるシステム全体、または略してＭＲＳ、英語では「Ｍｉｒｒｏｒ Ｒｅｐｌａｃｅｍｅｎｔ Ｓｙｓｔｅｍ」の概略図である。

【図2】図２は、本発明を説明するための、ミラー代替カメラの概略図である。

【図3】図３は、本発明の１つの実施形態例による、２つの時間的に連続して撮影された画像の時間的な連続性を明らかにするためのタイムラインの概略図である。

【図4】図４は、本発明のさらなる実施形態例による、他の視野範囲を有するカメラレンズの変更を例示する概略図である。

【図5】図５は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図である。

【図6】図６は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図である。

【図7】図７は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図である。

【図8】図８は、本発明のさらなる実施形態例による、ミラー代替カメラの搭載の１つの可能性の概略図である。

【図9】図９は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図である。

【図10】図１０は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する装置の概略図である。

【図11】図１１は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図である。

【発明を実施するための形態】

【0035】

図面の図中、同一の参照符号は、別段の記載がない限り、同一または機能が同一の要素、部材、部品または方法ステップを示す。

【0036】

車両または乗物とは、例えば車両または例えばセーリング機能を有するハイブリッド車両などのハイブリッド車両、例えば自動二輪車、バスもしくはトラックまたは自転車に関する。

【0037】

ミラー代替カメラのビデオシーケンスの再生を検査する装置は、さらなるカメラおよびセンサに基づくシステムに適用可能である。

【0038】

基本的に、本方法はレーダセンサまたはライダーセンサにも転用でき、その場合ミラー代替カメラのビデオシーケンスの再生を検査する装置を適用可能である。

【0039】

センサはそれ自体が可動に構成される必要がないのは、乗物それ自体が可動オブジェクトとして使用され、またはドア、電動スクリーン、尾灯、方向指示器といった乗物の一部が、撮影された像の範囲に応じて可動オブジェクトとして使用されるためである。

【0040】

図１は、本発明を説明するための、カメラを備えるシステム全体、ミラー代替システム、または略してＭＲＳ、英語では「Ｍｉｒｒｏｒ Ｒｅｐｌａｃｅｍｅｎｔ Ｓｙｓｔｅｍ」を記載する概略図である。

【0041】

図１はカメラ、または乗物に搭載され所定の視野範囲もしくは視野を有するカメラ装置も示す。

【0042】

また、画像データ処理装置、ＭＲＳと、画像データまたはビデオシーケンスを表示する出力装置の形態を有するディスプレイが図示されている。

【0043】

図２は、本発明を説明するための、ミラー代替カメラの概略図を示す。

【0044】

図２は、ミラーカメラの例示的な視界の図を示す。

【0045】

これにより、ほとんどの場合で乗物の一部または部分領域も可視であり、つまり、そのような周囲が可視の場合、それにより運転者はカメラが向けられている方向をより良好に確認できる。

【0046】

記載される方法は：
ｉ）様々なフレームを撮影し、時間の経過に関して互いに比較し；かつ／または
ｉｉ）カメラを自動的に位置合わせするか、または運動動作させ、画像を互いに比較する、システムを記載するものである。

【0047】

本発明は、カメラが操作中そして画面に表示中に運動動作され、表示とシステム全体を検査するように構成されるメカニズムを提案する。また、複数のカメラも対応して制御可能であり、このカメラを用いた検査用の運動動作が実施可能である。

【0048】

この場合、カメラまたはレンズが例えば左方向または右方向に運動動作し、他の場面を撮影する。このようにして、場面が静止している場合にも、つまり、乗物の移動がない場合にも、または撮影された場面に種々雑多なオブジェクトがある場合にも、新しいオブジェクトにカメラの焦点が合わせられる。

【0049】

したがって、運動動作の前に撮影された、その前の画像とは異なる画像が撮影される。

【0050】

例えば、カメラは車体の方に向けることができる。これは、このときにつねに或る背景が予想されるためである。

【0051】

また、この背景は予め記憶されておいてよく、極端な濃霧と強雨を除いて、カメラの角度に基づいて一義的にも決定されえる。

【0052】

図３は、本発明の１つの実施形態例による、２つの時間的に連続して撮影された像の時間的な連続性を明らかにするためのタイムラインの概略図を示す。

【0053】

図３は、２つの連続する画像の比較を示す。これは、画像処理システムのフリーズまたは画像処理システムの画像の欠落を識別するための方法であってもよい。

【0054】

この場合、カメラシステムにより時間的に連続する画像が記憶され、これらの連続して撮影された画像は、続いて、ソフトウェアに基づく画像処理方法を用いて演算システムで互いに比較される。

【0055】

図４は、本発明のさらなる実施形態例による、他の視野範囲を有するカメラレンズの変更を例示する概略図を示す。

【0056】

図４は、カメラが運動動作すると、図１の視野とは異なる他の視野が生じることを例示する。

【0057】

図５は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図を示す。

【0058】

図５は、撮影された像を時間の経過に関して簡単に画像比較する際に生じえる複雑な点を示す。

【0059】

例えば、駐車スペースまたは駐車場から出発する場合、撮影の時点でカメラの視野において、ほとんどまたはまったく移動しないオブジェクトを識別する必要があることが起こりえる。

【0060】

カメラは図示されるように時間的に連続する画像を撮影し、これらの撮影された像を比較する。

【0061】

この場合、カメラは差分を発見しておらず、カメラモニタシステムがフリーズしている場合がありえるが、そうでない場合、つまり示されるオブジェクトが移動していない場合もありえる。

【0062】

図６は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図を示す。

【0063】

図７は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法を開始する、「Ｔｒｉｇｇｅｒ」とも称される、起こりえるトリガイベントを示す。

【0064】

図７は、車両側方の特定の一部または部分領域の撮影または像を用いて、移動の識別をより迅速かつ確実に見きわめる、本発明の実施形態を示す。

【0065】

図８は、カメラが１つの形態（ここではミラー）で固定されて搭載される場合のさらなる可能性を示す。

【0066】

本発明の１つの実施形態例によると、さらに、ミラー調整を介して、カメラを運動動作させるか、ミラー代替システムの画像処理プロセスおよび表示プロセスのフリーズを識別するように構成されてよい。

【0067】

図９は、本発明のさらなる実施形態例による、ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図を示す。

【0068】

図９は、カメラの調整を介して画像のエラーを識別するためのフローチャートを示す。

【0069】

図９は、方法の結果を示す。カメラは多くの場合、自車両または少なくとも自車両の一部を撮影する可能性が高いため、ここでも、例えば方向指示器が操作された場合に、一義的に差分が識別可能である。任意で、乗物には目印が設けられてもよい。

【0070】

図１０は、本発明のさらなる実施形態例による、車両用ミラー代替カメラのビデオシーケンスの再生の検査の概略図を示す。

【0071】

車両用ミラー代替カメラのビデオシーケンスの再生を検査する装置１００は、カメラ装置１０と、画像データ処理装置２０と、出力装置３０と、診断装置４０とを有する。

【0072】

可動カメラ１０は、撮像し、画像データを供給するように構成される。

【0073】

画像データ処理装置２０は、カメラ装置１０と接続され、得られた画像データに基づいてビデオシーケンスを生成するように構成される。

【0074】

出力装置３０は、生成されたビデオシーケンスを表示するように構成される。

【0075】

診断装置４０は、カメラ装置１０を運動動作させ、かつ／またはビデオシーケンス生成時に画像移動を発生させ、表示されるビデオシーケンスを検査するように構成される。

【0076】

図１１は、本発明のさらなる実施形態例による、車両用ミラー代替カメラのビデオシーケンスの再生を検査する方法のフローチャートの概略図を示す。

【0077】

車両用ミラー代替カメラのビデオシーケンスの再生を検査する方法は、以下の方法ステップを有する。

【0078】

第１方法ステップとして、撮像し、可動カメラ装置１０を用いて画像データを供給するステップＳ１が実施される。

【0079】

第２方法ステップとして、得られた画像データに基づいてビデオシーケンスを生成するステップＳ２が実施される。

【0080】

第３方法ステップとして、生成されたビデオシーケンスを表示するステップＳ３が実施される。

【0081】

第４方法ステップとして、カメラ装置１０を運動動作させ、かつ／またはビデオシーケンス生成時に画像移動を発生させ、表示されるビデオシーケンスを検査するステップＳ４が実施される。

【0082】

本発明を有利な実施形態例に基づいて上述したが、それに限定されるのではなく、様々な方法および形態で修正可能である。特に、本発明は、発明の本質を逸脱することなく、様々に変形または修正可能である。

【0083】

また、「備える」および「有する」は、他の要素またはステップを排除するものではなく、「１つ」は、複数を排除するものではないことに注意されたい。

【0084】

さらに、上記実施形態例を参照して記載された特徴またはステップは、他の上記記載の実施形態例の他の特徴またはステップと組み合わせても適用可能であることに注意されたい。請求項の参照符号は限定と見なされてはならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】