知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085413
(43)【公開日】2024-06-26
(54)【発明の名称】動力車両用カメラの焦点調整
(51)【国際特許分類】
H04N 25/00 20230101AFI20240619BHJP
H04N 23/67 20230101ALI20240619BHJP
H04N 7/18 20060101ALI20240619BHJP
G02B 7/28 20210101ALI20240619BHJP
G03B 15/00 20210101ALI20240619BHJP
G03B 13/36 20210101ALI20240619BHJP
【ＦＩ】
H04N25/00
H04N23/67
H04N7/18 J
G02B7/28 N
G03B15/00 V
G03B13/36
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023210541
(22)【出願日】2023-12-13
(31)【優先権主張番号】10 2022 133 187.3
(32)【優先日】2022-12-14
(33)【優先権主張国・地域又は機関】DE
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＲＡＭ
２．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】514189527
【氏名又は名称】コノート、エレクトロニクス、リミテッド
【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100127465
【弁理士】
【氏名又は名称】堀田 幸裕
(74)【代理人】
【識別番号】100130719
【弁理士】
【氏名又は名称】村越 卓
(72)【発明者】
【氏名】パトリック、マクデッド
【テーマコード（参考）】
2H011
2H151
5C024
5C054
5C122
【Ｆターム（参考）】
2H011BA33
2H151BA44
2H151BA47
2H151CB20
2H151DA08
5C024CY17
5C024GX02
5C054CA04
5C054CC02
5C054CG06
5C054HA30
5C122DA03
5C122DA14
5C122EA12
5C122FB03
5C122FB08
5C122FC01
5C122FC02
5C122FC13
5C122FD01
5C122FD13
5C122FE02
5C122FF11
5C122HA13
5C122HA35
5C122HA82
5C122HB02
5C122HB05
(57)【要約】 （修正有）
【課題】焦点調整のための方法を提供する。
【解決手段】カメラ（３）の焦点調整のために、第１フレーム期間（Ｆ１）に第１画像が取得され、センサーアレイ（１１）の複数の行（Ｐ）がローリングシャッターモードに従って露光され、第１フレーム期間（Ｆ１）の後に第２画像が取得される。関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応するセンサーアレイ（１１）におけるエリアが決定され、そのエリアを含む複数の行（Ｐ）のサブセット（Ｐ１）が決定され、サブセット（Ｐ１）のすべての行が露光された際又は後に始まる焦点調整期間（Ｔａ）が決定される。少なくとも１つの焦点パラメータは、焦点調整期間（Ｔａ）の間に、予め定められる焦点設定に従って調整される。
【選択図】図５
【解決手段】カメラ（３）の焦点調整のために、第１フレーム期間（Ｆ１）に第１画像が取得され、センサーアレイ（１１）の複数の行（Ｐ）がローリングシャッターモードに従って露光され、第１フレーム期間（Ｆ１）の後に第２画像が取得される。関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応するセンサーアレイ（１１）におけるエリアが決定され、そのエリアを含む複数の行（Ｐ）のサブセット（Ｐ１）が決定され、サブセット（Ｐ１）のすべての行が露光された際又は後に始まる焦点調整期間（Ｔａ）が決定される。少なくとも１つの焦点パラメータは、焦点調整期間（Ｔａ）の間に、予め定められる焦点設定に従って調整される。
【選択図】図５
【特許請求の範囲】
【請求項1】
動力車両用カメラ（３）の焦点調整のための方法であって、第１フレーム期間（Ｆ１）の間に前記カメラ（３）の撮像デバイス（１０）によって第１画像が取得され、前記撮像デバイス（１０）のセンサーアレイ（１１）の複数の行（Ｐ）がローリングシャッターモードに基づいて露光され、前記第１フレーム期間（Ｆ１）の後の第２フレーム期間（Ｆ２）の間に前記撮像デバイス（１０）によって第２画像が取得され、
－ 前記第１フレーム期間（Ｆ１）に関して予め定められる関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応する前記センサーアレイ（１１）における第１エリアが決定され；
－ 前記複数の行（Ｐ）の第１サブセット（Ｐ１）が決定され、行の前記第１サブセット（Ｐ１）は前記第１エリアを含み；
－ 焦点調整期間（Ｔａ）が決定され、当該焦点調整期間（Ｔａ）は、行の前記第１サブセット（Ｐ１）のすべての行が前記第１フレーム期間（Ｆ１）の間に露光された際又は後に始まり；
－ 前記カメラ（３）の少なくとも１つの焦点パラメータが、前記焦点調整期間（Ｔａ）の間に、前記第２画像を取得するための予め定められる焦点設定に基づいて調整される、
ことを特徴とする方法。
－ 前記第１フレーム期間（Ｆ１）に関して予め定められる関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応する前記センサーアレイ（１１）における第１エリアが決定され；
－ 前記複数の行（Ｐ）の第１サブセット（Ｐ１）が決定され、行の前記第１サブセット（Ｐ１）は前記第１エリアを含み；
－ 焦点調整期間（Ｔａ）が決定され、当該焦点調整期間（Ｔａ）は、行の前記第１サブセット（Ｐ１）のすべての行が前記第１フレーム期間（Ｆ１）の間に露光された際又は後に始まり；
－ 前記カメラ（３）の少なくとも１つの焦点パラメータが、前記焦点調整期間（Ｔａ）の間に、前記第２画像を取得するための予め定められる焦点設定に基づいて調整される、
ことを特徴とする方法。
【請求項2】
－ 前記第２画像を取得するために、前記複数の行（Ｐ）は前記ローリングシャッターモードに基づいて露光され、
－ 前記センサーアレイ（１１）における第２エリアが決定され、当該第２エリアは、前記第２フレーム期間（Ｆ２）に関して予め定められる関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応し、
－ 前記焦点調整期間（Ｔａ）は、前記第２エリアに応じて決定される、
ことを特徴とする請求項１に記載の方法。
－ 前記センサーアレイ（１１）における第２エリアが決定され、当該第２エリアは、前記第２フレーム期間（Ｆ２）に関して予め定められる関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応し、
－ 前記焦点調整期間（Ｔａ）は、前記第２エリアに応じて決定される、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記第２エリアが前記第１エリアと同一である場合、前記焦点調整期間（Ｔａ）は、前記第２フレーム期間（Ｆ２）の間に前記第２画像を取得するための行の前記第１サブセット（Ｐ１）のいずれかの露光が始まる前に終了する、
ことを特徴とする請求項２に記載の方法。
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記焦点調整期間（Ｔａ）の前記終了と、前記第２フレーム期間（Ｆ２）の間の行の前記第１サブセット（Ｐ１）の露光の始まりとの間の時間差（Ｔｂ）が、予め定められる非ゼロバッファ期間と等しい又はより大きい、
ことを特徴とする請求項３に記載の方法。
ことを特徴とする請求項３に記載の方法。
【請求項5】
前記第２エリアが前記第１エリアと異なる場合、
－ 前記複数の行（Ｐ）の第２サブセット（Ｐ２）が決定され、行の前記第２サブセット（Ｐ２）は前記第２エリアを含み；
－ 前記焦点調整期間（Ｔａ）は、前記第２フレーム期間（Ｆ２）の間に行の前記第２サブセット（Ｐ２）のいずれかが露光される前に終了する、
ことを特徴とする請求項２に記載の方法。
－ 前記複数の行（Ｐ）の第２サブセット（Ｐ２）が決定され、行の前記第２サブセット（Ｐ２）は前記第２エリアを含み；
－ 前記焦点調整期間（Ｔａ）は、前記第２フレーム期間（Ｆ２）の間に行の前記第２サブセット（Ｐ２）のいずれかが露光される前に終了する、
ことを特徴とする請求項２に記載の方法。
【請求項6】
前記焦点調整期間（Ｔａ）の前記終了と、行の前記第２サブセット（Ｐ２）の露光の始まりとの間の時間差（Ｔｂ）が、予め定められる非ゼロバッファ期間と等しい又はより大きい、
ことを特徴とする請求項５に記載の方法。
ことを特徴とする請求項５に記載の方法。
【請求項7】
行の前記第１サブセット（Ｐ１）は、前記第１エリアを含む前記複数の行（Ｐ）の行の最小セットに対応する、
ことを特徴とする請求項１～６のいずれか一項に記載の方法。
ことを特徴とする請求項１～６のいずれか一項に記載の方法。
【請求項8】
－ 前記少なくとも１つの焦点パラメータを調整することは、前記センサーアレイ（１１）と前記カメラ（３）のレンズユニット（９）との間の距離を変更することを含み；又は
－ 前記少なくとも１つの焦点パラメータを調整することは、前記カメラ（３）のレンズユニット（９）の焦点距離を変更することを含む、
ことを特徴とする請求項１～７のいずれか一項に記載の方法。
－ 前記少なくとも１つの焦点パラメータを調整することは、前記カメラ（３）のレンズユニット（９）の焦点距離を変更することを含む、
ことを特徴とする請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記焦点調整期間（Ｔａ）は、前記第１フレーム期間（Ｆ１）の間に前記複数の行（Ｐ）のすべての行が露光される前にそれが始まるように、決定される、
ことを特徴とする請求項１～８のいずれか一項に記載の方法。
ことを特徴とする請求項１～８のいずれか一項に記載の方法。
【請求項10】
車両（１）を少なくとも部分的に自動的に誘導するための方法であって、
－ 前記車両（１）の動力車両用カメラ（３）の焦点調整のための方法が、請求項１～９のいずれか一項に基づいて実行され；
－ 前記車両（１）は、前記第１画像及び／又は前記第２画像に応じて、少なくとも部分的に自動的に誘導される、
方法。
－ 前記車両（１）の動力車両用カメラ（３）の焦点調整のための方法が、請求項１～９のいずれか一項に基づいて実行され；
－ 前記車両（１）は、前記第１画像及び／又は前記第２画像に応じて、少なくとも部分的に自動的に誘導される、
方法。
【請求項11】
撮像デバイス（１０）を備える動力車両用カメラ（３）であって、
－ ローリングシャッターモードに基づいて前記撮像デバイス（１０）のセンサーアレイ（１１）の複数の行（Ｐ）が露光される第１フレーム期間（Ｆ１）の間に第１画像を取得するように、且つ、前記第１フレーム期間（Ｆ１）の後の第２フレーム期間（Ｆ２）の間に第２画像を取得するように、前記撮像デバイス（１０）を制御するように構成される少なくとも１つの制御ユニット（１３ａ、１３ｂ）と；
－ 前記カメラ（３）の少なくとも１つの焦点パラメータを調整するように構成される焦点調整構成（１２）と；を備え、
前記少なくとも１つの制御ユニット（１３ａ、１３ｂ）は、
－ 前記第１フレーム期間（Ｆ１）に関して予め定められる関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応する前記センサーアレイ（１１）における第１エリアを決定し；
－ 前記複数の行（Ｐ）の第１サブセット（Ｐ１）を決定し、行の前記第１サブセット（Ｐ１）は前記第１エリアを含み；
－ 焦点調整期間（Ｔａ）を決定し、当該焦点調整期間（Ｔａ）は、行の前記第１サブセット（Ｐ１）のすべての行が前記第１フレーム期間（Ｆ１）の間に露光された際又は後に始まり；
－ 前記焦点調整構成（１２）を制御して、前記焦点調整期間（Ｔａ）の間に前記カメラ（３）の前記少なくとも１つの焦点パラメータを、前記第２画像を取得するための予め定められる焦点設定に基づいて調整する、
ように構成される、
ことを特徴とする動力車両用カメラ（３）。
－ ローリングシャッターモードに基づいて前記撮像デバイス（１０）のセンサーアレイ（１１）の複数の行（Ｐ）が露光される第１フレーム期間（Ｆ１）の間に第１画像を取得するように、且つ、前記第１フレーム期間（Ｆ１）の後の第２フレーム期間（Ｆ２）の間に第２画像を取得するように、前記撮像デバイス（１０）を制御するように構成される少なくとも１つの制御ユニット（１３ａ、１３ｂ）と；
－ 前記カメラ（３）の少なくとも１つの焦点パラメータを調整するように構成される焦点調整構成（１２）と；を備え、
前記少なくとも１つの制御ユニット（１３ａ、１３ｂ）は、
－ 前記第１フレーム期間（Ｆ１）に関して予め定められる関心領域（６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ）に対応する前記センサーアレイ（１１）における第１エリアを決定し；
－ 前記複数の行（Ｐ）の第１サブセット（Ｐ１）を決定し、行の前記第１サブセット（Ｐ１）は前記第１エリアを含み；
－ 焦点調整期間（Ｔａ）を決定し、当該焦点調整期間（Ｔａ）は、行の前記第１サブセット（Ｐ１）のすべての行が前記第１フレーム期間（Ｆ１）の間に露光された際又は後に始まり；
－ 前記焦点調整構成（１２）を制御して、前記焦点調整期間（Ｔａ）の間に前記カメラ（３）の前記少なくとも１つの焦点パラメータを、前記第２画像を取得するための予め定められる焦点設定に基づいて調整する、
ように構成される、
ことを特徴とする動力車両用カメラ（３）。
【請求項12】
前記焦点調整構成（１２）は、前記少なくとも１つの焦点パラメータを調整するように、前記センサーアレイ（１１）を前記カメラ（３）のレンズユニット（９）に対して相対的に動かすように構成される、
ことを特徴とする請求項１１に記載の動力車両用カメラ（３）。
ことを特徴とする請求項１１に記載の動力車両用カメラ（３）。
【請求項13】
前記焦点調整構成（１２）は、前記少なくとも１つの焦点パラメータを調整するように、前記カメラ（３）のレンズユニット（９）の焦点距離を変更するように構成される、
ことを特徴とする請求項１１に記載の動力車両用カメラ（３）。
ことを特徴とする請求項１１に記載の動力車両用カメラ（３）。
【請求項14】
車両（１）のための電子車両誘導システム（２）であって、請求項１１～１３のうちのいずれか一項に記載の動力車両用カメラ（３）と、前記第１画像及び／又は前記第２画像に応じて、前記車両（１）を少なくとも部分的に自動的に誘導するための１つ又は複数の制御信号を生成するように構成される更なる制御ユニット（４）とを備える、車両（１）のための電子車両誘導システム（２）。
【請求項15】
指示を含むコンピュータプログラムプロダクトであって、当該指示は、
－ 請求項１１～１３のいずれか一項に記載の動力車両用カメラ（３）によって実行されると、前記動力車両用カメラ（３）に請求項１～９のいずれか一項に記載の方法を実行させる；又は
－ 請求項１４に記載の電子車両誘導システム（２）によって実行されると、前記電子車両誘導システム（２）に請求項１０に記載の方法を実行させる、
コンピュータプログラムプロダクト。
－ 請求項１１～１３のいずれか一項に記載の動力車両用カメラ（３）によって実行されると、前記動力車両用カメラ（３）に請求項１～９のいずれか一項に記載の方法を実行させる；又は
－ 請求項１４に記載の電子車両誘導システム（２）によって実行されると、前記電子車両誘導システム（２）に請求項１０に記載の方法を実行させる、
コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動力車両用カメラの焦点調整のための方法に関し、第１フレーム期間の間にカメラの撮像デバイスによって第１画像が取得され、撮像デバイスのセンサーアレイの複数の行がローリングシャッターモードに従って露光される方法に関する。第２画像は、第１フレーム期間の後の第２フレーム期間の間に撮像デバイスによって取得される。発明は更に、対応の動力車両用カメラ、動力車両用カメラを含む電子車両誘導システム、及びコンピュータプログラムプロダクトに関する。
【発明の概要】
【0002】
写真撮影やカメラの他の適用において、フォーカシングという用語は、表現される対象又は表現される環境のある部分に焦点を合わすような、対象距離に対するそれぞれのカメラ設定及び／又はレンズ設定の調整を指す。このような調整は、以下では焦点調整又は焦点の調整とも表記される。
【0003】
カメラの動力車両用途の状況において、車両を自動的に又は部分的に自動的に誘導するための様々な運転支援機能又はその他の機能を実現するように、連続するフレームに従った複数の連続するカメラ画像を含む画像ストリーム又はビデオストリームが取得され、表示され及び／又は処理されうる。対応のフレームレートは、例えば数フレーム又は数十フレーム／秒、ｆｐｓ、のオーダーでありうる。典型的には、１５ｆｐｓ～６０ｆｐｓのフレームレートが使用されうる。
【0004】
動力車両用途において、カメラの焦点設定を動的に変更することが、様々なケースで有益でありうる。例えば、様々な機能に関し、カメラから異なる距離にある対象が典型的に関連する。例えば、例えば車両を駐車することに関し、後退運転において車両の運転者を支援する運転者支援機能について、近くにある物体が最も関連がありうるが、その一方で、その環境における他の車両、歩行者又は更なる交通利用者を検出するコンピュータビジョンアルゴリズムに関し、最も関連のある物体は、典型的には、カメラから遠くに位置しうる。
【0005】
撮像デバイスのセンサーアレイが露光されている間に焦点設定を調整することは、望ましくない影響がもたらされうるものであり、対応の画像の画質を低下させうる。更に、カメラの関連焦点パラメータを調整することはいくらかの時間がかかる。一般に、焦点調整を実現する方法が知られている様々な方法がある。原理的には、カメラのレンズユニットの物体側主面の位置は、センサーアレイの表面によって与えられる像面に対して変更されてもよい。このために、センサーアレイ又は撮像デバイス全体が、レンズユニットに対して物理的に移動させられてもよい。代替的に又は追加的に、レンズユニットの光学パラメータ又は特性は、レンズユニットの個々のレンズを互いに対して移動させることによって又は１つ以上のレンズの形状を変えることによって、例えば電気電圧を印加することによって、変えられてもよい。
【0006】
デジタルカメラにおいて、特に動力車両用カメラにおいて、例えば従来のデジタル一眼レフカメラなどに関して使われる機械式シャッターではなく、電子シャッターを使用することが知られている。電子シャッターの場合、センサーアレイのセンサー画素は、それぞれのセンサー画素に当たる光によって、積分期間としても表される定められた露光期間の間に発生された光電子のみが、ロー画像（ｒａｗ ｉｍａｇｅ）の対応の画素値を決定するために読み出される累積電荷又は累積電圧に寄与するように、電子的に制御される。しかし、機械的な部品がなく、メカニカルシャッターの場合のように露光期間の間だけ光が画素に当たることになる。
【0007】
一方、電子シャッターはグローバルシャッターとして実装可能である。この場合、センサーアレイのすべてのセンサー画素が同時に露光される。言い換えれば、露光期間は、センサーアレイのすべての画素について同じ時間に開始し、同じ時間に終了する。一方、電子シャッターはローリングシャッターとして実行可能であり、センサーアレイのセンサー画素は、ラインとしても表される複数の行にグループ化され、露光期間はある行のすべてのセンサー画素に関して同時に開始して終了する。しかし、異なる行に関する露出期間は、異なる時間に始まって終わる。例えば、隣り合う行に関するそれぞれの露光開始間には、予め定められる時間的オフセットがあってもよい。その結果、露光期間は複数の行の各々について次々に開始し、最後の行が露光された場合にセンサーアレイ全体の露光が完了する。完全性のために、ローリングシャッターは機械的に実行されうることにも留意される。
【0008】
ローリングシャッター原理はデータの中間バッファリングが少なくて済み、複雑な読み出しエレクトロニクスが少なくて済むため、グローバルシャッターと比較したローリングシャッターの利点は、撮像デバイスの画素アーキテクチャが単純化されることを含む。更に、放散熱及び電子ノイズが低減され、熱ノイズもグローバルシャッターに関するものよりも小さくすることが可能である。
【0009】
文献ＤＥ１０２０１６１２４０８９Ａ１は、動力車両におけるローリングシャッターモードでのカメラの使用について記載する。
【0010】
本発明の目的は、ローリングシャッターモードで動作する動力車両用カメラの焦点調整のための方法であって、焦点調整による取得された画像に対する悪影響が、少なくとも画像の一部について回避される方法を提供することである。
【0011】
この目的は、独立請求項のそれぞれの主題によって達成される。更なる実施及び好ましい実施形態は、従属請求項の主題である。
【0012】
発明は、あらかじめ定められた関心領域、ＲＯＩ、を使用して、センサーアレイのそれらの行を特定するというアイデアに基づいており、当該センサーアレイは、ローリングシャッターモードで行ごとに露光され、当該それらの行は、関心領域に対応するセンサーアレイのエリアを含む。そして焦点パラメータが調整される焦点調整期間は、関心領域がキャプチャーされた後にそれが開始するように、計算される。言い換えれば、関心領域に影響を与えない露光期間の特定の部分が、焦点パラメータを調整するために使われる。
【0013】
発明の一態様によれば、動力車両用カメラの焦点調整のための方法が提供される。そこでは、第１フレーム期間の間にカメラの撮像デバイスによって第１画像が取得される。第１画像を取得するために、撮像デバイスのセンサーアレイの複数の行が、それぞれローリングシャッターモード、特にカメラ又は撮像デバイスのローリングシャッターモード、に従って露光される。第２画像は、第１フレーム期間の後の第２フレーム期間の間に撮像デバイスによって取得される。センサーアレイにおける第１エリアは、特に動力車両用カメラの少なくとも１つの制御ユニットによって、決定され、第１エリアは、第１フレーム期間に関して予め定められる関心領域に対応する。複数の行の第１サブセットが、特に少なくとも１つの制御ユニットによって、決定され、行の第１サブセットは第１エリアを含み、特に第１エリアを完全に含む。焦点調整期間は、例えば少なくとも１つの制御ユニットによって、決定され、特に計算され、焦点調整期間は、第１フレーム期間の間に第１画像を取得するために行の第１サブセットのすべての行が露光された際又は後に、開始する。カメラの少なくとも１つの焦点パラメータは、特にカメラの焦点調整構成によって、第２画像を取得するための所定の焦点設定による焦点調整期間の間に調整され、当該焦点調整構成は、例えば、この目的のために、少なくとも１つの制御ユニットによって制御される。
【0014】
また、焦点調整のための方法は、少なくとも第１画像及び第２画像を取得するための方法としても表されることができ、第２画像を取得するための焦点調整が行われる。
【0015】
動力車両用カメラは、フロントカメラ、リアカメラ、サイドカメラなどの、車両に、特に動力車両に、取り付けられるのに適したカメラとして考えられうる。発明による方法が実行されつつ、動力車両用カメラは車両に取り付けられる。
【0016】
第１フレーム期間及び第２フレーム期間は、例えば、カメラによって生成される画像ストリーム又はビデオストリームの連続する２つのフレームに対応してもよい。その結果、第２フレーム期間は、第１フレーム期間が終了した直後に開始されてもよい。しかし、第１フレーム期間が終了する前に、第１画像に関し、センサーアレイ全体の露光が既に完了されていてもよく、及び／又は、データの読み出し、及び例えばデータ保存、が、既に完了されていてもよい。
【0017】
複数の行はセンサーアレイ全体に対応してもよく、言い換えれば、複数の行はセンサーアレイの全センサー画素を含んでいてもよい。しかしながら、他の実施において、複数の行は、センサーアレイの全センサー画素の一部、例えばセンサーアレイの上半分又は下半分、のみを含んでいてもよい。これは、画像の取得及び／又は読み出しの電子制御の点で有益でありうる。しかし、両ケースにおいて、第１サブセットは複数の行のリアルサブセットであり、言い換えれば、行の第１サブセットは、複数の行のすべてを含むというわけではない。言い換えれば、本方法は、複数の行のうちの少なくとも１つの行が、第１エリアに対応するいかなる画素も含まず、その結果、第１フレーム期間において関心領域に対応するいかなる画素も含まない状況に、適用可能である。
【0018】
ここに置いて及び以下において、関心領域、及び特に第１フレーム期間に関する関心領域は、カメラの環境における３次元体積として考えられてもよい、それは現実世界で例えば立方体体積又は立方体形状の体積又は他の３次元体積として表される。そして、３次元体積におけるポイントが、特にカメラの固有パラメータによって与えられる予め定められるやり方で、センサーアレイの２次元表面にマッピングされる。そして関心領域がマッピングされるセンサーアレイにおけるセンサー画素は、センサーアレイにおけるある領域に対応し、当該ある領域は、第１フレーム期間における関心領域の場合には第１エリアである。特に、関心領域は接続された３次元体積であり、第１エリアは、センサーアレイの表面における接続された部分である。或いは、関心領域、及び特に第１フレーム期間の関心領域は、画像座標において、換言すればセンサーアレイの表面上の座標において、接続された２次元領域として直接的に与えられてもよい。この場合、最初のフレーム期間の関心領域は、第１エリアと同一である。
【0019】
センサーアレイは、特に、画素行と画素列に配列されたセンサー画素の矩形アレイであり、それによって各センサー画素は画素行及び画素列により一意に特定されるようになっている。ローリングシャッターモードに関連する行の各々又は、言い換えれば、複数の行のそれらの行は、１つ又は複数の隣り合う又は連続する画素行又は画素列に対応してもよい。例えば、複数の行の１つの行は、数十、数百又は数千の画素行又は画素列を含んでいてもよい。
【0020】
以下において、複数の行の１つの行は、画素列ではなく複数の画素行に対応のものとする。しかし、すべての説明は、１つの行が画素行の代わりに複数の画素列を含む場合に、類推的に引き継がれる。
【0021】
複数の行の個々の行の長さは、個々の画素行の長さに等しい。言い換えれば、各行はセンサーアレイの画素列の各々のセンサー画素を含む。その結果、第１エリアを含む行の第１サブセットは、一般に、第１エリアよりも広いエリアをカバーし、それは後者がすべての画素列のセンサー画素を必ずしも含むとは限らないからである。
【0022】
行の第１サブセットは、例えば、複数の行のうち、第１エリアとオーバーラップするような行のみを含んでいてもよい。言い換えれば、行の第１サブセットは、第１エリアを含む複数の行の最小サブセットとして考えられてもよい。
【0023】
撮像デバイスは、光検出器のアレイに対応するセンサーアレイを含む電子デバイスとして理解されうる。センサー画素は、光検出器のうちの１つ又は隣り合う２つ以上の光検出器のグループとして理解されてもよい。センサーアレイは、ＣＣＤセンサー、ＣＭＯＳセンサー、特にアクティブピクセルセンサー又はパッシブピクセルセンサー、或いは光に、特に可視光に、感応する他のセンサーアレイとして、設計されうる。撮像デバイスは、例えばセンサーアレイの読み出しのための及び／又は前処理目的などのために、センサーアレイに加え、更なる電子部品も含みうる。撮像デバイスは単一の半導体チップに実装されてもよく、したがって撮像デバイスチップとしても表されうる。或いは、センサーアレイ及び更なる電子部品は、２つ以上の異なる半導体チップに実装されてもよく、それらは例えば共通の回路基板に実装されてもよい。特に、撮像デバイスは、少なくとも１つの制御ユニットのうちの１つ以上を含んでいてもよい。
【0024】
その少なくとも１つの焦点パラメータは、焦点調整が実際にどのように行われるかに依存する。例えば、焦点調整が、カメラのレンズユニットとセンサーアレイとの間の距離を調節することによって実行される場合、少なくとも１つの焦点パラメータは、センサーアレイとレンズユニットとの間の距離を含みうる又は当該距離で構成されうる。また、その少なくとも１つの焦点パラメータは、焦点調整構成を動作させるための少なくとも１つの制御パラメータを含んでいてもよく、或いは、センサーアレイとレンズユニットとの間の相対的な距離変化等を含んでいてもよい。その少なくとも１つの焦点パラメータは、また、焦点調整を実行するために焦点距離が変更されうる場合に、レンズユニットの焦点距離を含みうる。また、焦点距離の相対的な差は、その少なくとも１つの焦点パラメータを表しうる。一般に、その少なくとも１つの焦点パラメータは、センサーアレイの表面を含む面によって与えられるカメラの像面と、レンズユニットの物体側主面との間の距離に直接的又は間接的に影響を与える又は当該距離を変更する１つ又は複数のパラメータを含む。
【0025】
特に、焦点調整は、特にカメラの少なくとも１つの焦点パラメータの変更は、行の第１サブセットが露光されている間、言い換えれば、第１サブセットの最初の行が露光され始めた後であって且つ第１サブセットの最後の行が完全に露光される前に、行われない。
【0026】
第２画像を取得するための事前に定められた焦点設定は、少なくとも１つの焦点パラメータの値の事前に定められたセットに対応する。それは第２画像全体を取得するための焦点設定であってもよいし、第２画像の一部を取得するための焦点設定であってもよい。
【0027】
メカニカルシャッターの場合、露光は、光がカメラの外側からレンズユニットを通ってカメラの内部領域に入射するのを機械部品が許容して、センサーアレイのそれぞれの部分に当たる場合に生じる。電子シャッターの場合、露光は、衝突光に起因して対応のセンサー画素によって生成された電荷キャリアが、それぞれの画素値を決定するためにセンサー画素から読み出される累積された又は統合された電荷又は電圧に寄与する期間として理解されうる。つまり、露光期間は、この場合の積分時間に対応する。
【0028】
ローリングシャッターは好ましくは電子シャッターである。しかし、原理的に、発明による方法は機械式シャッターの場合にも適用されうる。特に言及がない場合、ここでも以下でもローリングシャッターは電子シャッターであると仮定する。
【0029】
特に、焦点調整期間は、第１フレーム期間の間に第１画像を取得するために複数の行のすべての行が露光されてしまう前に、開始する。これは、複数の行のすべての行の露光が完了する前に、行の第１サブセットの露光が完了するという前提に基づいている。焦点調整期間は、それらの２つの時間の間に始まる。
【0030】
すなわち、複数の行が、１、２、．．．、Ｎでラベル付けされたＮ個の連続する行を含むとすると、第１画像を取得する場合、まず行１の露光期間が開始し、行１の露光期間が開始された後に予め定められるオフセット時間又は遅延時間の後に行２の露光期間が開始するなどのように、複数の行が露光される。最後に、行Ｎの露光期間が始まる。言い換えれば、行Ｎの露光期間は、最後に開始し、最後に終了する。そして、発明による方法が実行されるシナリオにおいて、行の第１サブセットは行Ｎを含まない。発明による方法は、この仮定が成り立つ状況にそれが適用できるようにするものとして理解可能である。
【0031】
発明は、行Ｎが行の第１サブセットにも含まれるという例外的な場合に関するものではない。この場合、第２画像を取得するための焦点調整をどのように扱うかについては、様々な可能性がありうる。例えば、焦点パラメータが調整されるまで第２フレーム期間が意図的に遅らせられてもよいし、焦点調整が省略されてもよいし、複数の行のすべての行が露光された後に焦点調整を開始することが受諾されてもよい。
【0032】
発明によれば、第１サブセットのすべての行が露光される前に焦点調整が起こらないことが保証され、その一方で、焦点調整が、第１サブセットに含まれない残りの行が露光されている間に起こることが容認される。すなわち、第１フレーム期間に関する関心領域のマッピングが焦点調整によって影響されないことが保証され、その一方で、第１フレーム期間に関する関心領域の外側の画像領域が焦点調整によって影響されることが容認される。言い換えれば、第１画像を使用する後続の車両機能は、焦点調整によるいかなる画質低下も伴わずに、第１フレーム期間に関する関心領域に対応する第１画像の部分を使用することができ、その一方で、第１フレーム期間に関する関心領域の外側の画質低下が容認され、例えば対応の機能には関係しない。
【0033】
いくつかのデザインにおいて、上記の行Ｎと表記されている複数の行の最後の行が第１フレーム期間において露光された後、上記の行１と表記されている複数の行の最初の行が露光され始める前に、中間期間が存在してもよい。焦点調整期間は、この中間期間を含んでもよい。しかし、発明により、焦点調整期間が、複数の行の最後の行が露光される前に既に開始するため、焦点調整を実行するために利用可能な時間は、中間期間を超えて増加する。その結果、１つのステップで達成可能な焦点調整の範囲が増大される。他の実施において、第１フレーム期間における最終行Ｎの露光の終了と第２フレーム期間における最初の行１の露光の開始との間に適切な中間期間が存在しないかもしれない。この場合、発明は、それにもかかわらず、第１フレーム期間の関心領域のマッピングに悪影響を与えることなく、焦点調整を可能にする。
【0034】
発明による焦点調整のための方法のいくつかの実施によれば、複数の行は、第２画像を取得するためのローリングシャッターモードに従って露光される。センサーアレイにおける第２エリアは、特に少なくとも１つの制御ユニットによって、決定され、第２エリアは、第２フレーム期間に関する予め定められる関心領域に対応する。焦点調整期間は、第２エリアに応じて決定される。
【0035】
第２画像を取得するための予め定められる焦点設定は、第２フレーム期間に関してＲＯＩを取得するための予め定められる焦点設定に対応しうる。
【0036】
第１フレーム期間及び第２フレーム期間のそれぞれの関心領域は、互いに同一であってもよいし、互いに異なっていてもよい。それらが同一であれば、第１エリアは第２エリアと同一であるということにもなる。他方、第１フレーム期間のＲＯＩと第２フレーム期間のＲＯＩとが異なる場合、第１エリアと第２エリアとが異なっていてもよく、特に、上述のように関心領域が現実世界におけるそれぞれの３次元体積として定められる場合には、第１エリアと第２エリアとが異なっていてもよい。しかし、第１フレーム期間及び第２フレーム期間に関するＲＯＩが現実世界における３次元体積によって与えられ且つ互いに異なる場合にも、カメラ、特にレンズユニット、によって異なる３次元体積がセンサーアレイ上の同じエリアにマッピングされるかもしれないため、第１エリアは依然として偶然に第２エリアと同一になる可能性がある。第１フレーム期間及び第２フレーム期間のＲＯＩが、センサーアレイの表面の２次元部分によって直接的に与えられ且つ互いに異なる場合には、第１エリアと第２エリアは互いに異なるということになる。
【0037】
いくつかの実施によれば、第２エリアが第１エリアと同一である場合、焦点調整期間は、第２フレーム期間の間に第２画像を取得するための行の第１サブセットのいずれかの露光が開始される前に、終了する。
【0038】
言い換えれば、第１エリアが第２エリアと同一である場合、行の第１サブセットの露光が開始された後、第２フレーム期間において焦点調整が起きないことが保証される。そのような場合、行の第１サブセットは、第１フレーム期間のＲＯＩ又はマッピングされたＲＯＩだけでなく、第２フレーム期間のＲＯＩ又はマッピングされたＲＯＩも、カバーする。それにもかかわらず、第２フレーム期間の焦点パラメータ、言い換えれば、予め定められる焦点設定は、一般に、第１フレーム期間に関するそれぞれの設定とは異なる。そのような実施では、第２フレーム期間に関するＲＯＩの撮像が焦点調整によって悪影響を受けないことが達成される。
【0039】
例えば、焦点調整期間は、第２時間期間において行の第１サブセットの露光が開始する時間インスタンスで終了しうる。しかし、別の実施では、焦点調整期間の終了と、第２フレーム期間における行の第１サブセットの露光の開始との間に時間差があってもよい。その時間差は、あらかじめ定められたゼロでないバッファ期間と等しくてもよいし、或いは大きくてもよい。そのゼロでないバッファ期間は、例えば、調整後の少なくとも１つの焦点パラメータの決定を考慮してもよい。このようにして、第２フレーム期間における行の第１サブセットの露光の間の少なくとも１つの焦点パラメータの望ましくない変動を回避することができる。
【0040】
いくつかの実施によれば、第２エリアが第１エリアと異なる場合、複数の行の第２サブセットが、特に少なくとも１つの制御ユニットによって、決定される。行の第２サブセットは第２エリアを含み、特に第２エリアを完全に含む。焦点調整期間は、第２フレーム期間の間に第２画像を取得するために行の第２サブセットのいずれかが露光される前に、終了する。
【0041】
第１エリアと第２エリアが同一である場合に関する上記の説明は、本ケースについても類似的に引き継がれる。
【0042】
また、そのような実施において、焦点調整期間の終了と行の第２サブセットの露光の開始との間に、上記で説明したように予め定められる非ゼロバッファ期間に等しいか又はそれよりも大きい時間差が、存在しうる。
【0043】
いくつかの実施によれば、行の第１サブセットは、第１エリアを含む複数の行のうちの最小の行のセットに対応する。
【0044】
いくつかの実施によれば、第２エリアが第１エリアと異なる場合、行の第２サブセットは、第２エリアを含む複数の行の更なる最小の行のサブセットに対応する。
【0045】
この場合、行の第１サブセットと、場合によっては行の第２サブセットとは、それぞれ第１エリア又は第２エリアをカバーするために実際に必要な数の行しか含まないため、焦点調整期間に利用可能な時間は最大化される。
【0046】
いくつかの実施によれば、少なくとも１つの焦点パラメータを調整することは、センサーアレイ、特にセンサーアレイの表面を含む平面によって与えられる像面、と、カメラの、特にレンズユニットの、物体側主平面との間の距離を変更することを含む。
【0047】
いくつかの実施によれば、少なくとも１つの焦点パラメータを調整することは、センサーアレイ、特に像面、とカメラのレンズユニットとの間の距離を変更することを含む。
【0048】
レンズユニットは、１つ又は複数のレンズを含む。センサーアレイとレンズユニットとの間の距離を変更するために、レンズユニットとセンサーアレイは互いに対して相対的に移動される。特に、センサーアレイが移動される一方で、例えば撮像デバイス全体が移動される一方で、レンズユニットは静止したままであってもよく、或いは、レンズユニット、特に１つ以上のレンズのすべて備えたレンズユニット全体、が移動される一方で、撮像デバイス及びセンサーアレイは静止したままである。
【0049】
センサーアレイとレンズユニットとの間の距離を、特に機械的に、変更することにより、レンズユニットの物体側主平面と像面との間の距離がそれに応じて変更される。
【0050】
いくつかの実施によれば、少なくとも１つの焦点パラメータを調整することは、カメラのレンズユニットの焦点距離を変更することを含む。
【0051】
また、焦点距離を変更することにより、例えば１つ又は複数のレンズの光学特性又はそれらの互いに対する相対的な位置又はそれらの形状を変更することにより、像面に対する物体側主面の位置が変更される。
【0052】
いくつかの実施において、少なくとも１つの焦点パラメータを調整することは、センサーアレイとレンズユニットとの間の距離を変更することを含み、またレンズユニットの焦点距離を変更することを含む。
【0053】
本発明の更なる態様によれば、車両、特に動力車両、を少なくとも部分的に自動的に誘導するための方法が提供される。それにおいて、車両は、動力車両用カメラを備え、動力車両用カメラの焦点調整のための発明による方法が実行される。その車両は、第１画像及び／又は第２画像に応じて、少なくとも部分的に自動的に誘導される。
【0054】
車両を少なくとも部分的に自動的に誘導するために、第１画像及び／又は第２画像に応じて１つ又は複数のコンピュータビジョン関数が実行されうる。車両の更なる制御ユニットは、１つ又は複数のコンピュータビジョン関数の結果に応じて、車両を少なくとも部分的に自動的に誘導するための少なくとも１つの制御信号を生成してもよい。その１つ又は複数の制御信号は、例えば、車両の１つ又は複数のアクチュエータに与えられてもよく、当該アクチュエータは、車両を少なくとも部分的に自動的に誘導するために、１つ又は複数の制御信号に応じて車両の横方向及び／又は縦方向の制御に影響を与える。
【0055】
代替的に又は追加的に、第１画像及び／又は第２画像に応じて、１つ又は複数のヒューマンビジョン関数が実行されてもよい。この目的のために、車両を誘導するために車両の運転者を支援するように、第１画像及び／又は第２画像は表示されてもよいし、或いは最初に処理され、その後に車両の表示装置に表示されてもよい。
【0056】
その方法において生じうるがここでは明示的に説明されていない使用ケース又は使用状況に関し、その方法に従って、エラーメッセージ及び／又はユーザフィードバックのためのプロンプトが出力されること、及び／又は、デフォルト設定及び／又は所定の初期状態が設定されることが、提供されてもよい。
【0057】
発明の更なる態様によれば、動力車両用カメラが提供される。動力車両用カメラは、撮像デバイス、及び特にレンズユニット、を含む。動力車両用カメラは少なくとも１つの制御ユニットを備え、当該少なくとも１つの制御ユニットは、ローリングシャッターモードに従って撮像デバイスのセンサーアレイの複数の行が露光される第１フレーム期間の間に第１画像を取得し、第１フレーム期間の後の第２フレーム期間の間に第２画像を取得するように、撮像デバイスを制御するように構成される。動力車両用カメラは、カメラの少なくとも１つの焦点パラメータを調整するように構成された焦点調整構成を備える。その少なくとも１つの制御ユニットは、第１フレーム期間について予め定められる関心領域に対応するセンサーアレイの第１エリアを決定するように、複数の行の第１サブセットを決定して行の第１サブセットが第１エリアを含むように、及び焦点調整期間を決定するように、構成される。少なくとも１つの制御ユニットは、焦点調整期間を、それが、第１フレーム期間の間に行の第１サブセットのすべての行が露光された場合又はその後に、例えば第１フレーム期間の間に複数の行のすべての行が露光される前に、開始するように、決定するように構成される。その少なくとも１つの制御ユニットは、焦点調整構成を制御して、第２画像を取得するための予め定められる焦点設定に従って焦点調整期間の間にカメラの少なくとも１つの焦点パラメータを調整するように、構成される。
【0058】
少なくとも１つの制御ユニットの制御ユニットは、それぞれの演算ユニットとしても表されうる。少なくとも１つの制御ユニットは、部分的に又は全体的に撮像デバイスによって具備されていてもよいし、或いは撮像デバイスとは別に実装されてもよい。
【0059】
演算ユニットは、特に、処理回路を含むデータ処理装置として理解されうる。したがって、演算ユニットは特に、演算処理を実行するようにデータを処理することができる。これは、例えばルックアップテーブル、ＬＵＴ、などの、データ構造へのインデックス付きアクセスを実行する操作も含みうる。
【0060】
特に、演算ユニットは、１つ又は複数のコンピュータ、１つ又は複数のマイクロコントローラ、及び／又は１つ又は複数の集積回路、例えば、１つ又は複数の特定用途向け集積回路、ＡＳＩＣ、１つ又は複数のフィールドプログラマブルゲートアレイ、ＦＰＧＡ、及び／又は１つ又は複数のシステムオンチップ、ＳｏＣ、を含みうる。演算ユニットはまた、１つ又は複数のプロセッサ、例えば１つ又は複数のマイクロプロセッサ、１つ又は複数の中央演算処理装置、ＣＰＵ、１つ又は複数のグラフィックス処理装置、ＧＰＵ、及び／又は１つ又は複数の信号プロセッサ、特に１つ又は複数のデジタル信号プロセッサ、ＤＳＰ、を含みうる。また、演算ユニットは、物理的又は仮想的なコンピュータのクラスタや他の前記ユニットを含みうる。
【0061】
様々な実施形態において、演算ユニットは、１つ以上のハードウェア及び／又はソフトウェアインターフェース及び／又は１つ以上のメモリユニットを含む。
【0062】
メモリユニットは、例えばダイナミックランダムアクセスメモリ、ＤＲＡＭ、やスタティックランダムアクセスメモリ、ＳＲＡＭ、などの揮発性データメモリとして、或いは例えばリードオンリーメモリ、ＲＯＭ、プログラマブルリードオンリーメモリ、ＰＲＯＭ、消去可能プログラマブルリードオンリーメモリ、ＥＰＲＯＭ、電気的消去可能プログラマブルリードオンリーメモリ、ＥＥＰＲＯＭ、フラッシュメモリ又はフラッシュＥＥＰＲＯＭ、強誘電体ランダムアクセスメモリ、ＦＲＡＭ、磁気抵抗ランダムアクセスメモリ、ＭＲＡＭ、又は相変化ランダムアクセスメモリ、ＰＣＲＡＭなどの不揮発性データメモリとして、実装されてもよい。
【0063】
焦点調整構成を制御するために、少なくとも１つの制御ユニットは、少なくとも１つの焦点制御信号を生成してもよく、それに応じてそれを焦点調整構成に提供してもよい。
【0064】
発明による動力車両用カメラのいくつかの実施によれば、焦点調整構成は、少なくとも１つの焦点パラメータを調整するために、センサーアレイをカメラのレンズユニットに対して相対的に移動させるように構成される。
【0065】
いくつかの実施によれば、焦点調整構成は、少なくとも１つの焦点パラメータを調整するために、カメラのレンズユニットの焦点距離を変更するように構成される。
【0066】
発明による動力車両用カメラの更なる実装は、発明による方法の様々な実施形態から直接的に導かれ、その逆もまた同様である。特に、発明による方法の様々な実施に関連する個々の特徴及び対応する説明並びに利点は、発明による動力車両用カメラの対応する実施に対して類似的に移されることができる。特に、発明による動力車両用カメラは、発明による方法を実行するように設計され又はプログラムされる。特に、発明による動力車両用カメラは、発明による方法を実行する。
【0067】
発明の更なる態様によれば、車両用の電子車両誘導システムが提供される。電子車両誘導システムは、発明による動力車両用カメラと、更なる制御ユニットとを備える。その更なる制御ユニットは、第１画像及び／又は第２画像に応じて、車両を少なくとも部分的に自動的に案内するための１つ又は複数の制御信号を生成するように構成され、及び／又は、発明に従って車両を少なくとも部分的に自動的に案内するための方法を実行するように構成される。
【0068】
電子車両誘導システムは、完全に自動化された方法で又は完全に自律化された方法で車両を誘導するように構成された電子システムとして理解されうるものであり、特に、車両の運転手又は使用者による手動の介入又は制御を必要としない。車両は、ステアリング操作、減速操作及び／又は加速操作など、必要なすべての機能を実行し、また道路交通及び対応する反応を自動的に監視及び記録する。特に、電子車両誘導システムは、ＳＡＥ Ｊ３０１６分類のレベル５に従って、完全自動運転モード又は完全自律運転モードを実施しうる。電子車両誘導システムは、部分的に自動的な運転又は部分的に自律した運転のために運転者を支援する先進運転支援システム、ＡＤＡＳ、として実装されてもよい。特に、電子車両誘導システムは、ＳＡＥ Ｊ３０１６分類のレベル１～４に従って、部分的な自動運転モード又は部分的な自律運転モードを実施してもよい。ここで及び以下において、ＳＡＥ Ｊ３０１６は２０１８年６月付のそれぞれの規格を指す。
【0069】
したがって、少なくとも部分的に自動的に車両を誘導することは、ＳＡＥ Ｊ３０１６分類のレベル５に従った完全自動運転モード又は完全自律運転モードに従って車両を誘導することを含みうる。少なくとも部分的に自動的に車両を誘導することは、ＳＡＥ Ｊ３０１６分類のレベル１～４に従った部分的に自動的な運転モード又は部分的に自律的な運転モードに従って車両を誘導することも含みうる。
【0070】
発明の更なる態様によれば、第１コンピュータプログラムが提供され、当該第１コンピュータプログラムは第１指示を含む。第１指示が発明による動力車両用カメラによって、例えば少なくとも１つの制御ユニットによって、実行される場合、第１指示は、動力車両用カメラに、発明による焦点調整のための方法を実行させる。
【0071】
発明の更なる態様によれば、第２指示を含む第２コンピュータプログラムが提供される。第２指示が発明による電子車両誘導システムによって、特に動力車両用カメラの少なくとも１つの制御ユニット及び／又は電子車両誘導システムの更なる制御ユニットによって、実行される場合、第２指示は、電子車両誘導システムに、発明による車両を少なくとも部分的に自動的に誘導するための方法を実行させる。
【0072】
第１指示及び／又は第２指示は、プログラムコードとして提供されうる。そのプログラムコードは、例えば、バイナリコード又はアセンブラとして、及び／又はプログラミング言語、例えばＣ言語、のソースコードとして、及び／又はプログラムスクリプト、例えばＰｙｔｈｏｎ、として、提供されうる。
【0073】
発明の更なる態様によれば、コンピュータ読み取り可能な記憶装置が提供される。コンピュータ読み取り可能な記憶装置は、発明による第１コンピュータプログラム及び／又は第２コンピュータプログラムを記憶する。
【0074】
第１コンピュータプログラム、第２コンピュータプログラム、及びコンピュータ読み取り可能な記憶装置は、それぞれ、第１指示及び／又は第２指示を含むそれぞれのコンピュータプログラムプロダクトとして示されうる。
【0075】
発明の更なる特徴は、特許請求の範囲、図面及び図面の説明から明らかである。明細書において上述した特徴及び特徴の組み合わせ、及び図面の説明において後述される及び／又は図面に示される特徴及び特徴の組み合わせは、記載されるそれぞれの組み合わせにおいてだけでなく、他の組み合わせにおいても、発明に含まれうる。特に、当初定められた請求項の特徴のすべてを備えているわけではない実施形態や特徴の組み合わせも、発明に含まれうる。更に、特許請求の範囲の記述に記載された特徴の組み合わせを超える又は逸脱する実施形態及び特徴の組み合わせが、発明に含まれうる。
【図面の簡単な説明】
【0076】
以下において、具体的な例示的な実施及びそれぞれの概略図面を参照して、発明が詳細に説明される。図面において、同一又は機能的に同一の要素は、同一の参照符号で示されうる。同一又は機能的に同一の要素の説明は、異なる図面に関して必ずしも繰り返されるものではない。
【0077】
図面において：
【発明を実施するための形態】
【0078】
図１は、発明による電子車両誘導システム２を備える車両１を概略的に示す。車両誘導システム２は、発明の例示的な実施による動力車両用カメラ３として実装される１つ又は複数のカメラを含む。動力車両用カメラ３は、図１の差し込み図においてブロック図として概略的に示されている。
【0079】
動力車両用カメラ３は撮像デバイス１０を備え、当該撮像デバイス１０は例えばカメラ３のハウジング８の内側に配置される。動力車両用カメラ３は、１つ又は複数のレンズ（図示せず）を含むレンズユニット９も備える。更に、撮像デバイスのセンサーアレイ１１は、レンズユニット９を通過した光がセンサーアレイ１１の表面に当たりうるように、レンズユニット９に対して配置される。カメラ３は、１つ又は複数の制御ユニット１３ａ、１３ｂを備える。１つ以上の制御ユニット１３ａ、１３ｂは、図１において制御ユニット１３ａについて示されるように、撮像デバイス１０の一部とすることもできるし、図１において制御ユニット１３ｂについて示されるように、撮像デバイス１０に加えて実装されることもできる。
【0080】
更に、動力車両用カメラ３は、少なくとも１つの制御ユニット１３ａ、１３ｂによって制御可能な焦点調整構成１２を備え、カメラ３の少なくとも１つの焦点パラメータを変更又は調整する。この目的のために、カメラの像面に対応するセンサーアレイ１１の表面と、レンズユニット９の物体側主面との間の距離を変更するように、焦点調整構成は、少なくとも１つの制御ユニット１３ａ、１３ｂによって制御されてもよい。これは、レンズユニット９の位置に対してセンサーアレイ１１の位置を移動させることによって、達成されうる。例えば、レンズユニット９の位置が焦点調整構成によって変更されてもよい一方で、撮像デバイス１０及びセンサーアレイ１１は固定されたままでもよく、或いはその逆であってもよい。代替的に又は追加的に、焦点調整構成１２は、レンズユニットの光学特性を、例えば焦点距離を、電子的に変更してもよい。
【0081】
電子車両誘導システム２は更なる制御ユニット４を含んでいてもよく、当該更なる制御ユニット４は、例えば電子制御ユニット、ＥＣＵ、として実装されてもよく、カメラ３に接続される。カメラ３は、少なくとも第１画像と第２画像を含むカメラ画像のストリームを生成するように、及びそのストリーム又はそのストリームの前処理されたバージョンを更なる制御ユニット４に提供するように、構成される。そして、更なる制御ユニット４は、カメラ画像のストリームに応じて、車両１を少なくとも部分的に自動的に案内するための１つ又は複数の制御信号を生成してもよく、１つ又は複数の制御信号を車両のそれぞれのアクチュエータ（図示せず）に提供してもよく、当該アクチュエータは、１つ又は複数の制御信号に応じて、車両１の縦方向及び／又は横方向の制御に影響を与える。
【0082】
【0083】
少なくとも１つの制御ユニット１３ａ、１３ｂは、撮像デバイス１０によって第１画像が取得される第１フレーム期間Ｆ１に関する予め定められる関心領域６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに対応するセンサーアレイ１１にける第１エリア、言い換えればセンサーアレイ１１の画素の接続されたサブセット、を決定するように、構成される。
【0084】
図２は、カメラ３の環境５における３つの異なる関心領域６ａ、６ｂ、６ｃに関する例を模式的に示す。３つの異なる関心領域６ａ、６ｂ、６ｃは、カメラの視点からすれば異なるサイズ及び／又は水平角度によって定められてもよい。関心領域６ａ、６ｂ、６ｃは、例えば環境５における三次元体積に対応してもよく、当該三次元体積は直方体の体積又はほぼ直方体の体積である。カメラ３が魚眼カメラなどの非直線的なカメラである場合、直方体の体積を区切る直線又は平面が図２に示すように歪む。
【0085】
異なる関心領域６ａ、６ｂ、６ｃは、例えば、電子車両誘導システム２の異なる機能に関連していてもよい。中央の関心領域６ａは、例えば、カメラ３により取得された画像の対応する部分を車両１の表示装置（図示せず）に表示することによって、車両１の後方への運転時に運転者を支援するために使用されてもよい。一方、横方向の関心領域６ｂ、６ｃは、例えば、例えば車両１から更に離れた位置にある他の車両を検出することを目的とした物体検出機能などのコンピュータビジョン関数によって、使用されてもよい。その結果、それは異なるＲＯＩ６ａ、６ｂ、６ｃに関して異なる焦点設定を有することが望ましいかもしれない。発明は、異なる焦点設定による画像ストリームの異なるフレームを使用して、例えば異なるＲＯＩに関して最適な設定間で切り替えることを可能にする。各ＲＯＩ６ａ、６ｂ、６ｃは、対応するエリアに直接的にマッピングされてもよく、当該対応するエリアは、センサーアレイ１１の表面の一部である。
【0086】
図３は、カメラ３の環境５における異なるＲＯＩ７ａ、７ｂ、７ｃの更なる例を示す。この例において、最大のＲＯＩ７ａはより小さなＲＯＩ７ｂを含み、当該ＲＯＩ７ｂは更に小さなＲＯＩ７ｃを更に含む。これらのＲＯＩ７ａ、７ｂ、７ｃについても、環境５における関連物体のカメラ３からの予想される異なる距離に応じて、異なる焦点設定が望ましいかもしれない。
【0087】
発明による方法の過程において、少なくとも１つの制御ユニット１３ａ、１３ｂは、図５～図８に概略的に示すように、第１フレーム期間Ｆ１において第１画像を取得するように撮像デバイス１０を制御する。カメラ３、言い換えれば撮像デバイス１０、は、例えば図５に示すようにローリングシャッターモードで動作する。そこで、ローリング電子シャッターに関して一般的に知られているように、センサーアレイ１１の複数の行Ｐが露光される。Ｒ１、Ｒ２、．．．、Ｒｉ、Ｒｉ＋１、．．．、Ｒｊ、Ｒｊ＋１、．．．、ＲＮの各行について、対応するバッファがクリアされるリセット期間に、露光期間又は、すなわち積分期間が続き、露光期間が終了した後、それぞれの読み出し期間が続き、それぞれの行のすべての画素が読み出される。リセット期間及び読み出し期間は、図６において異なる網掛けのブロックで表され、その一方で露光期間が空白のブロックで表される。ローリングシャッター原理で知られているように、隣り合う行の個々の露光期間は、予め定められたオフセット時間だけ互いに対してオフセットされる。第１フレーム期間Ｆ１の後の第２フレーム期間Ｆ２において、少なくとも１つの制御ユニット１３ａ、１３ｂは、ローリングシャッターモードに従って複数の行Ｐを露光することにより、同じ方法で第２画像を取得するように撮像デバイス１０を制御する。
【0088】
少なくとも１つの制御ユニット１３ａ、１３ｂは、第１フレーム期間Ｆ１に関して予め定められる第１ＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに対応するセンサーアレイ１１における第１エリアを決定し、第１エリアを含む複数の行Ｐの第１サブセットＰ１を決定する。図５の例において、行Ｒ１～行Ｒｉ、行Ｒｊ＋１～行ＲＮは、第１サブセットＰ１に含まれない。第１サブセットＰ１は、行Ｒｉ＋１～Ｒｊを含む。類似的に、少なくとも１つの制御ユニット１３ａ、１３ｂは、第２エリアを含む複数の行Ｐの第２サブセットＰ２を決定してもよく、第２エリアは、第２フレーム期間Ｆ２についての予め定められるＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに対応する。そこでは、第１フレーム期間ＦのＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃは、第２フレーム期間Ｆ２のＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃと同一であってもよいし、異なっていてもよい。その結果、第１エリアは、センサーアレイ１１における第２エリアと同一であってもよいし、異なっていてもよい。第１エリアが第２エリアと同一である場合、図５に模式的に示すように、第１サブセットＰ１は第２サブセットＰ２と同一である。他方、第１エリアが第２エリアと異なる場合、図７に模式的に示されているように、第１サブセットＰ１は第２サブセットＰ２と異なっていてもよい。この場合、第１サブセットＰ１は、図７に関して説明したように、行Ｒｉ＋１～Ｒｊを含み、第２サブセットＰ２は、行Ｒｋ＋１～Ｒｌを含み、ｋ≠Ｉ及び／又はｌ≠ｊである。
【0089】
図６の例において、第１サブセットＰ１は、図５について説明したように第２サブセットＰ２と同一である。ただし、図５の例において、第２フレーム期間Ｆ２における最初の行Ｒ１の露光は、第１フレーム期間Ｆ１における最後の行ＲＮの露光が終了した直後に開始する。他方、図６及び図７の例では、第１フレーム期間Ｆ１における最終行ＲＮの露光の終了と、第２フレーム期間Ｆ２における最初の行Ｒ１の露光の開始との間に、中間期間が存在する。
【0090】
少なくとも１つの制御ユニット１３ａ、１３ｂは、第１サブセットＰ１に応じて、及び特に第２サブセットＰ２に応じて、焦点調整期間Ｔａを決定し、第２画像を取得するための予め定められる焦点設定、特に第２フレーム期間Ｆ２に関するＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃ、に従って、焦点調整期間Ｔａの間にカメラ３の少なくとも１つの焦点パラメータを調整するように焦点調整構成１２を制御する。そこで、焦点調整期間Ｔａは、行の第１サブセットＰ１のすべての行が露光された場合又はその後に開始し、本例では第１サブセットＰ１の最後の行Ｒｊが露光された後に開始する。更に、焦点調整期間Ｔａは、特に、第１フレーム期間Ｆ１の間に複数の行Ｐのすべての行が露光される前に開始され、換言すれば、本例では複数の行Ｐの最後の行ＲＮが露光される前に開始される。更に、焦点調整期間Ｔａは、第２フレーム期間Ｆ２の間に第２サブセットＰ２のいずれかの行が露光される前に終了し、或いは図５の本例では第２サブセットＰ２の最初の行Ｒｉ＋１が露光され始める前に終了する。図７の例において、焦点調整期間Ｔａは、それに応じて、第２サブセットＰ２の最初の行Ｒｋ＋１が露光を開始する前に、終了する。
【0091】
言い換えれば、焦点調整に利用可能な最大期間Ｔａ’は、第１サブセットＰ１の最後の行、本例では行Ｒｊ、の露光の終了と、第２サブセットＰ２の最初の行、図５及び図６の例では行Ｒｉ＋１及び図７の例では行Ｒｋ＋１、の露光の開始との間の時間差によって、与えられる。しかし、いくつかの実施において、焦点調整期間Ｔａは、最大利用可能期間Ｔａ’よりも、ゼロでないバッファ期間Ｔｂだけ、短い。バッファ期間Ｔｂは、焦点調整構成１２によって調整される少なくとも１つの焦点パラメータを決めるために設けられた期間に対応してもよく、或いは当該期間を含んでいてもよい。
【0092】
図４は、発明による焦点調整のための方法の例示的な実施を概略的に示すブロック図を示す。参照符号Ｓ１、Ｓ２、Ｓ３、Ｓ４は、少なくとも１つの制御ユニット１３ａ、１３ｂによって実行されるそれぞれの方法ステップに対応する。ステップＳ１において、複数の行Ｐの第１サブセットＰ１が、任意で第２サブセットＰ２が、計算される。サブセットＰ１、Ｐ２を計算するために、少なくとも１つの制御ユニット１３ａ、１３ｂは、カメラ３のそれぞれの予め定められる内因性の及び外因性のカメラパラメータ１６と、第１フレーム期間及び第２フレーム期間Ｆ１、Ｆ２に関するＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃの予め定められる定義１８とを用いてもよい。ステップＳ２において、焦点調整期間Ｔａは、第１サブセット及び第２サブセットＰ１、Ｐ２に基づいて計算される。この目的のために、少なくとも１つの制御ユニット１３ａ、１３ｂは、カメラ３の画質マネージャ回路（図示せず）から取得された所定の撮像デバイス構成データ１７及び／又は所定の画質データ１５を使用してもよく、当該所定の画質データ１５は、自動ホワイトバランス、画像明るさ等に関するそれぞれの設定を定める。焦点調整期間Ｔａを計算するために、少なくとも１つの制御ユニット１３ａ、１３ｂは、撮像デバイス１０からのフレームレベル又は行レベルの露光期間信号を代替的に又は追加的に用いてもよい。少なくとも１つの制御ユニット１３ａ、１３ｂは、必ずしも撮像デバイス１０からの露光期間信号、撮像デバイス構成データ１７及び画質データ１５のすべてを必要としないことに留意される。少なくとも１つの制御ユニット１３ａ、１３ｂ、１３ｃに関し、それは適切な予め定められる情報を有していれば十分であり、当該適切な予め定められる情報は、第１フレーム期間Ｆ１において第１サブセットＰ１の露光が終了し且つ第２フレーム期間Ｆ２において行の第２サブセットＰ２の露光が開始する時間インスタンスを直接的に推定又は見積もることを可能にする。
【0093】
いくつかの実施において、撮像デバイス１０は、また、少なくとも１つの制御ユニット１３ａ、１３ｂに垂直及び水平同期信号を与えてもよい。水平同期信号は、ＨＳＹＮＣとも表記され、ある行が完全に露光されて読み出されたときにはいつでも出力され、垂直同期信号は、ＶＳＹＮＣとも表記され、複数の行Ｐのすべての行が露光されたときにはいつでも出力される。
【0094】
ステップＳ３において、少なくとも１つの制御ユニット１３ａ、１３ｂは、例えばカメラ３の焦点設定ロジック１４から得られうる第１及び／又は第２フレーム期間Ｆ１、Ｆ２に関する所定の焦点設定から、所望の設定を達成するために少なくとも１つの焦点パラメータをどのように調整すべきかを計算してもよい。ステップＳ４において、いくつかの実行形態では、その調整は、任意で、複数のより小さな調整に分割されてもよい。そして調整制御信号は焦点調整構成１２に提供され、当該焦点調整構成１２は焦点調整Ｔａの間にそれに応じて少なくとも一つの焦点パラメータを調整する。また少なくとも１つの制御ユニット１３ａ、１３ｂは、例えば現在の焦点設定及び／又はある焦点調整が行われたという情報信号を提供する１つ以上のフィードバック信号を焦点設定ロジック１４に提供してもよい。
【0095】
【0096】
図８は基本的な例を示しており、第１ラインは画像取得のステップに対応し、第２ラインはヒューマンビジョン（ＨＶ）関数に対応し、第３ラインはコンピュータビジョン（ＣＶ）関数に対応している。ブロック８００では、少なくとも１つの焦点パラメータを含むパラメータが、フレームｎに関して必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに関して設定される。複数のＲＯＩが関連する場合、共通の焦点パラメータが使用されてもよい。ブロック８０１では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎについて取得される。ブロック８０２では、フレームｎ＋１に関して必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについてパラメータが設定される。ブロック８０３では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋１について取得される。ブロック８０４では、フレームｎ＋２に関して必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについてパラメータが設定される。ブロック８０５では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋２について取得される。ブロック８０６では、フレームｎ＋３に関して必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについてパラメータが設定される。ブロック８０７では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋３について取得される。
【0097】
ブロック８１０では、ＨＶ関数に関する出力がフレームｎ－１のキャプチャーに基づいて更新され、ブロック８２０では、ＣＶ関数に関する出力がフレームｎ－１のキャプチャーに基づいて更新される。ブロック８１１では、ＨＶ関数に関する出力がフレームｎのキャプチャーに基づいて更新され、ブロック８２１では、ＣＶ関数に関する出力がフレームｎ－１のキャプチャーに基づいて更新される。ブロック８１２では、ＨＶ関数に関する出力がフレームｎ＋１のキャプチャーに基づいて更新され、ブロック８２２では、ＣＶ関数に関する出力がフレームｎ＋１のキャプチャーに基づいて更新される。ブロック８１３では、ＨＶ関数に関する出力がフレームｎ＋２のキャプチャーに基づいて更新され、ブロック８２３では、ＣＶ関数に関する出力がフレームｎ＋２のキャプチャーに基づいて更新される。
【0098】
図９は、１つの出力ビューから別のものへのＨＶ関数の移行を処理するための更なる例を示しており、各出力ビューは、少なくとも１つの焦点パラメータを含む異なるパラメータセットを必要とする。パラメータセット間の移行は即座に行われる。
【0099】
ブロック９００では、少なくとも１つの焦点パラメータを含むパラメータが、フレームｎについて、具体的にはビューｍについて、ＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに関して設定される。ブロック９０１では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎについて取得される。ブロック９００では、フレームｎ＋１について、具体的にはビューｍ＋１について、ＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに関してパラメータが設定される。ブロック９０１では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋１について取得される。ブロック９０４では、フレームｎ＋２について、具体的にはビューｍ＋１について、ＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに関してパラメータが設定される。ブロック９０５では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋２について取得される。ブロック９０６では、フレームｎ＋３について、具体的にはビューｍ＋１について、ＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに関してパラメータが設定される。ブロック９０７では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋３について取得される。
【0100】
ブロック９１０では、フレームｎ－１及びビューｍのキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。ブロック９１１では、フレームｎとビューｍのキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。ブロック９１２では、フレームｎ＋１とビューｍ＋１のキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。ブロック９１３では、フレームｎ＋２及びビューｍ＋１のキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。
【0101】
図１０は、１つの出力ビューから別のものへのＨＶ関数における移行を処理するための更なる例を示しており、各出力ビューは、少なくとも１つの焦点パラメータを含む異なるパラメータセットを必要とする。パラメータセット間の移行は徐々に、つまり数フレームにわたって、行われる。
【0102】
ブロック１０００では、少なくとも１つの焦点パラメータを含むパラメータが、フレームｎについて、具体的にはビューｍについて、ＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに関して設定される。ブロック１００１では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎについて取得される。ブロック１００２において、パラメータは、フレームｎ＋１に関するＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについてのビューｍ＋１に向けて部分的に適合される。ブロック１００３では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋１について取得される。ブロック１００４では、パラメータは更に、フレームｎ＋２に関するＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについてのビューｍ＋１に向けて部分的に適合される。ブロック１００５では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋２について取得される。ブロック１００６において、パラメータは更に、フレームｎ＋ｘ、ただしｘ＞２、に関するＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについてのビューｍ＋１に向けて部分的に適合される。ブロック１００７では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋ｘについて取得される。ブロック１００８では、フレームｎ＋ｘ＋１に関するＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについて、ビューｍ＋１に関してパラメータが最終的に設定される。ブロック１００９では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋ｘ＋１について取得される。
【0103】
ブロック１０１０では、フレームｎ－１及びビューｍのキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。ブロック１０１１では、フレームｎ及びビューｍのキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。ブロック１０１２では、フレームｎ＋１及びビューｍ＋１のキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。ブロック１０１３では、フレームｎ＋ｘ－１及びビューｍ＋１のキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。ブロック１０１３では、フレームｎ＋ｘ及びビューｍ＋１のキャプチャーに基づいて、ＨＶ関数に関する出力が更新される。
【0104】
図１１は、２つのコンピュータＣＶ関数間、ＣＶ１とＣＶ２との間、のシームレスなトグリングを処理するための更なる例を示し、各ＣＶ関数は、少なくとも１つの焦点パラメータを含むそれ自身のパラメータセットを必要とする。
【0105】
ブロック１１００では、少なくとも１つの焦点パラメータを含むパラメータが、ＣＶ１の要件に従って、フレームｎについて必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃに関して設定される。ブロック１１０１では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎについて取得される。ブロック１１０２において、パラメータは、ＣＶ２の要件に従って、フレームｎ＋１に関して必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについて設定される。ブロック１１０３では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋１について取得される。ブロック１１０４において、パラメータは、ＣＶ１の要件に従って、フレームｎ＋２に関して要求されるＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについて設定される。ブロック１１０５では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋２について取得される。ブロック１１０６において、パラメータは、ＣＶ２の要件に従って、フレームｎ＋ｘ、ただしｘ＞２、に関して必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについて設定される。ブロック１１０７では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋ｘについて取得される。ブロック１１０８において、パラメータは、ＣＶ１の要件に従って、フレームｎ＋ｘ＋１に関して必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃについて設定される。ブロック１１０５では、必要なＲＯＩ６ａ、６ｂ、６ｃ、７ａ、７ｂ、７ｃを含むそれぞれのロー画像がフレームｎ＋ｘ＋１について取得される。
【0106】
ブロック１１１０では、ＣＶ１に関する出力がフレームｎのキャプチャーに基づいて更新される。ブロック１１２０では、ＣＶ２に関する出力がフレームｎ－１のキャプチャーに基づいて更新される。ブロック１１１１では、ＣＶ１に関する出力がフレームｎ＋ｘ－１のキャプチャーに基づいて更新される。ブロック１１２１では、ＣＶ２に関する出力がフレームｎ＋１のキャプチャーに基づいて更新される。ブロック１１２２では、ＣＶ２に関する出力がフレームｎ＋ｘのキャプチャーに基づいて更新される。
【0107】
特に図面に関して説明されるように、発明は、ローリングシャッターモードで動作する動力車両用カメラの焦点調整のための方法を提供し、取得画像への焦点調整のネガティブな影響が、少なくとも画像の一部について回避される。
【0108】
例えば、焦点調整は、前景の活動に影響を与えない背景の活動として、すなわちあらかじめ定められたフレーム固有のＲＯＩのキャプチャーとして、扱われうる。フレームレート、露光期間及びＲＯＩの変動を含むフレーム間変動が、考慮されてもよい。画質管理は、例えば撮像デバイスレジスタ設定のグループセットなど、撮像デバイスによって提供される標準的なメカニズムを使用してフレーム境界で行うことができる。ＲＯＩの変化は、例えば、ヒューマンビジョン機能の視点が変化した場合の計画された変更、ヒューマンビジョン機能及び／又はコンピュータビジョン機能の並列のマルチタスクをサポートするためのＲＯＩの周期的な変更、又は画像の安定化のためのＲＯＩの動的適応に起因して、発生しうる。
【0109】
いくつかの実施において、発明は、例えば調整が単一のフレーム間移行で起こりうる機会を増加させることによって及び／又は単一のフレーム間移行で完了することができないより大きな焦点調整を完了するために必要とされるフレーム間調整の数を最小化することによって、焦点調整のための動作ウィンドウを最大化する。両ファクターは、焦点制御ループの動作に有益である。
【0110】
全体的に焦点調整がより予測しやすくなるものであり、それはまた焦点制御をアシストする。これらの調整はバックグラウンドで、特にフレーム境界において、行われるため、センサーアレイの重要な行が露光されていない場合に、大きな焦点調整が、それが有益であるならば、より小さな連続的な調整のシーケンスにおいて意図的に破綻される。
【0111】
焦点調整期間を計算するために、いくつかの実施では、行固有の露光期間を異なる方法で決定することができる。例えば、撮像デバイスは、露光期間を行レベル又はフレームレベルで示してもよく、及び／又は露光は、フレームレベルで制御されること又はもたらされることができ、及び／又は特定の行の露光期間は、計算されること又は少なくとも高精度で推定されることができる。
【0112】
焦点調整のための利用可能な時間は、いくつかの実施において最大化されてもよく、焦点調整が、予め定められるＲＯＩに対応する行の露光の間に発生せず、したがってＲＯＩの露光に影響を与えないことを、同時に保証する。
【0113】
いくつかの実施では、焦点調整構成の整定時間も考慮に入れることができる。例えば、焦点の各調整に関して、整定時間が指定されてもよい。その仕様は、環境要因及び寿命要因を考慮した、焦点調整構成の各動作に関する所定の整定時間を含んでいてもよい。これは、パラメータ化された計算式及び／又はルックアップテーブルに基づいていてもよい。明細書は、代替的に又は追加的に、整定時間の履歴監視に基づくオンライン学習要素、及び／又は、特性評価の他の要素における不正確さを考慮するように設計可能な安全マージンを含んでいてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【外国語明細書】