特許 6275763 ズームレンズの焦点距離決定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6275763

(24)【登録日】2018年1月19日

(45)【発行日】2018年2月7日

(54)【発明の名称】ズームレンズの焦点距離決定方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20180129BHJP

   G02B 7/10 20060101ALI20180129BHJP

【ＦＩ】

   H04N5/232 290

   G02B7/10 C

【請求項の数】11

【外国語出願】

【全頁数】10

(21)【出願番号】特願2016-61198(P2016-61198)

(22)【出願日】2016年3月25日

(65)【公開番号】特開2016-197856(P2016-197856A)

(43)【公開日】2016年11月24日

【審査請求日】2017年11月14日

(31)【優先権主張番号】15162434.3

(32)【優先日】2015年4月2日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林特許業務法人

(72)【発明者】

【氏名】ヒェルムストレム， ヨナス

(72)【発明者】

【氏名】ニルソン， アンドレアス

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２００８−２４４８０３（ＪＰ，Ａ）

【文献】 特開２００９−２１１６７８（ＪＰ，Ａ）

【文献】 特開２０１１−２３９００８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０２Ｂ ７／１０

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カメラに装着されたズームレンズの現焦点距離の設定を決定する方法であって、
前記レンズを通して光景の画像を、画像歪みを伴って、取り込むステップと、
エッジ検出アルゴリズムにより、前記画像内のエッジを識別するステップと、
識別されたエッジの少なくとも一部を記述する関数を特定するステップと、
特定された関数、或いは前記特定された関数から選択されたもの及び／又は前記特定された関数の組み合わせを、前記レンズに関するデータコンパイルと比較するステップであって、前記データコンパイルには、歪み補正関数を前記レンズの複数の焦点距離の設定に相関させる変換データが含まれる、ステップと、
前記データコンパイルを用いて、前記特定された関数、或いは前記特定された関数から選択されたもの及び／又は前記特定された関数の組み合わせに関連する焦点距離の設定を特定するステップとを有する、焦点距離設定決定方法。

【請求項2】

関数を特定するステップは、歪んだフォーマットである、歪んだ画像内で特定されたエッジに対して実行される、請求項１に記載の方法。

【請求項3】

関数を特定するステップは、前記変換データ内の利用可能な前記歪み補正関数の当てはめに基づいてなされる、請求項１又は２に記載の方法。

【請求項4】

関数を特定するステップは、前記変換データ内の利用可能な前記歪み補正関数の当てはめに基づいていて、
前記歪んだ画像又はその一部に、歪み補正関数を適用することと、
前記画像又はその一部の直線の量を評価することと、
最大量の直線をもたらす歪み補正関数を特定することと、
特定された歪み補正関数に対応する焦点距離の設定を特定することとを含む、請求項１又は２に記載の方法。

【請求項5】

関数を特定するステップは、前記特定されたエッジ又はそれらの選択された部分に対してのみ実行される、請求項３又は４に記載の方法。

【請求項6】

前記歪み補正関数は、５次又はそれを下回る次数の多項式である、請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記歪み補正関数は、４次又はそれを下回る次数の多項式である、請求項６に記載の方法。

【請求項8】

前記歪み補正関数は、３次、２次、又は１次の多項式である、請求項６に記載の方法。

【請求項9】

関数を特定するステップは、反復的数理最適化技術を利用する、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記データコンパイルは、多項式と相関する前記レンズの焦点距離設定のマッピングを含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

請求項１に記載の前記方法を実行するためのカメラであって、画像プロセッサを備え、前記プロセッサは、エッジ検出アルゴリズムによって、取得された画像内のエッジを特定するとともに、特定されたエッジの少なくとも一部を記述する関数を特定するよう構成され、更に前記カメラは、歪み補正関数を前記カメラに装着されたズームレンズの複数の焦点距離の設定と相関させる変換データに関するデータコンパイルを含む記憶領域を備え、前記データコンパイル、及び、特定された関数、或いは前記特定された関数から選択されたもの及び／又は前記特定された関数の組み合わせの使用により、前記特定された関数、或いは前記特定された関数から選択されたもの及び／又は前記特定された関数の組み合わせに関連する前記ズームレンズの現焦点距離の設定を特定するよう構成されている、カメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、焦点距離を決定する方法に関する。

【背景技術】

【0002】

一般に、レンズシステムには、様々な種類の光学的なアーティファクトがつきものである。ここに、本開示は、幾何学的歪みに関するもので、特に、その決定及び利用に関する。

【0003】

ズームレンズ付きの撮像システムでよくある種類の幾何学的歪みといえば、樽型歪みである。樽型歪みは、光軸からの距離が大きくなるにつれ倍率が低下することで現れるものでピンクッション歪みや口ひげ歪みと同様に、径方向歪みの一種である。樽型歪みの現れ方は、４辺が直線のエッジ長方形の対象物が撮像されると、辺が凸状に膨らんでエッジ樽のような形状になる、というものであり、それが名の由来になっている。

【0004】

レンズの仕様やズームの設定次第で、大なり小なり幾何学的歪みは発生する。カメラのアパーチャは画像の品質を左右し、最適アパーチャは焦点距離に依拠するものである。撮像システムが、画像品質が最適化される撮像システムのスイートスポットでズームレンズを作動させるには、現焦点距離に応じてアパーチャを調整する必要があり、現焦点距離を連続的に更新していった設定情報というものは、価値あるものである。ある種のレンズでは、現焦点距離を追跡するために、ズームモータからのフィードバックを利用する。もちろん、この特徴を持たないズームレンズ、例えばズームの設定を手動で行うズームレンズや、フィードバック機能がないズームレンズも存在する。「ズームレンズ」は、一般に、可変焦点レンズと同焦点レンズとに分けられる。本開示においては、主に、「ズームレンズ」という言葉を使用し、これに併せて、「ズーム設定」、「焦点設定」又は「焦点距離設定」という場合もある。

【発明の概要】

【0005】

カメラに装着されたレンズの焦点距離設定を決定する方法は、光景の歪んだ画像を取り込むステップと、エッジエッジ検出アルゴリズムを用いて、画像内のエッジエッジを識別するステップとを有する。そして、関数特定ステップにより、識別されたエッジの少なくとも一部について、それらを表現する関数を特定する。特定された関数、或いは、特定された関数から選択されたもの及び／又は特定された関数の組み合わせを、レンズの特性データと比較する。特性データは、歪み補正関数をレンズの焦点距離設定に相関させる変換データを含んでよく、変換データを使用して、特定された関数、或いは特定された関数から選択されたもの及び／又は特定された関数の組み合わせからそれに関連する焦点距離設定を特定する。

【0006】

この方法を使用することによって、歪んだ画像内に包まれた画像データから現焦点距離の設定値を抽出して所望の目的のために使用することができる。注目すべきこととして、多くの場合に、全く同一の歪み補正関数で、（焦点距離の設定毎に）画像全体の歪みを表現ないし記述することができる。また、評価したエッジの個数が多い程、エッジ識別プロセスの精度や正確性が増大すると考えられる。

【0007】

一以上の実施形態では、関数特定ステップは、歪んだフォーマットである、歪んだ画像内で特定されたエッジに対して実行される。樽型歪みの典型的な外観は、直線であるべき線又はエッジが、歪んだ画像内で湾曲した外観になっているものであり、この種の湾曲したエッジには曲線当てはめがよく適している。樽型歪み（実質的には線の湾曲）は光軸からの距離に応じて増大することから、光軸から離れた線ほど、関数を特定する際に使用されて、正確性や精度が改善されることとなる。

【0008】

一以上の実施形態において、関数特定ステップは、歪み補正関数の当てはめに基づくものであり、変換データ内の利用可能な、すなわち、レンズの特性を表現する歪み補正関数の中から選択される。特定は、いくつかの異なる方法で実行されてよい。多くの実施形態では、当てはめの結果を使用するために、当てはめの評価関数を、少なくとも後の段階で比較する関数のフォーマットに適合させることが必要となる。しかし、本実施形態では、使用される歪み補正関数は、レンズの特性データ内に存在するものに限定される。適当な最適化アルゴリズムの後に、最良の当てはめになる特定プロセスを発見するプロセスを実行してもよい。

【0009】

一以上の実施形態では、歪み補正は、最良の当てはめ（ｂｅｓｔ ｆｉｔ）を特定する前に、又は最良の当てはめを特定する一ステップとして、実行される。歪んだ画像に歪み補正関数を適用した後に、直線エッジの量を特定する。新たな歪み補正関数を適用した後に、直線エッジの量を特定する。データ内に存在する各種歪み補正関数について、以上のプロセスを反復することにより、最良の当てはめの歪み補正関数が特定される。ここでも、任意の好適な最適化アルゴリズムをプロセスのために使用してもよい。評価においては、画像全体を使用することが、好ましいこともあれば、好ましくないこともある。代替例としては、画像の一部、例えば、前景として特定された部分だけ、或いは、エッジを有する対象物を含む部分だけ、或いは単に、エッジ検出で特定されたエッジ又はエッジの一部だけを、使用することなどである。

【0010】

歪み補正関数は、５次の多項式、或いは４次、３次、２次、又は１次といったそれを下回る次数の、多項式であってよい。３次の多項式であれば、歪みを表現するのに十分であるうえ、プロセスの迅速性を可能にする程度に複雑でない点から、好ましいかもしれない。

【0011】

レンズの特性データは、多項式又は他の関数と、それらと相関するレンズの焦点距離設定とのマッピングを含みうる。

【図面の簡単な説明】

【0012】

【図1】カメラヘッドの概略ブロック図である。

【図2】樽型歪みを示している画像である。

【図3】歪み補正関数が適用された後の、図２の画像である。

【図4】本発明の第１実施形態のフロー図である。

【図5】本発明の第２実施形態のフロー図である。

【発明を実施するための形態】

【0013】

一般にレンズには、取り込んだ光景に幾何学的歪みがつきものである。ズームレンズにおいて、幾何学的歪みは焦点距離の大きさによって変動する。樽型歪みは、広角レンズ内に取り込まれる幾何学的歪みの一形態である。ある決まった焦点距離のレンズの幾何学的歪みの量は、レンズの中心からの距離、すなわち半径に依拠する。ズームレンズにおいては、他の任意のレンズ又はレンズシステムに関してと同様に、幾何学的歪みは、各焦点距離設定の、レンズの中心からの距離の関数である。大まかに言うと、ズームレンズの焦点距離設定が短くなると歪みは大きくなる。ゆえに、幾何学的歪みは、半径（ｒ）、及びある意味では、焦点距離（ｆ）の関数として表現されうる。各焦点距離について、幾何学的歪みは、特定の関数に従って、半径と共に変動することになる。

【0014】

レンズの現焦点距離設定を見出すための方法において、上記の依拠を利用することが、本開示の一目的である。このことは幾何学的歪みに基づく解析を用いて実行されうるが、それについては下記でより詳細に説明する。

【0015】

図１は、本発明のいくつかの実施形態で使用されるカメラヘッドのブロック図である。カメラ１０は、撮像される領域からの光を画像センサ１６上に投射する、レンズ１４（レンズの組、対物レンズ等）を有する。画像センサ１６からの情報は、中央処理ユニット２０の一部を形成することも、形成しないこともある、画像プロセッサ１８内で処理される。画像プロセッサ１８は、一以上の実施形態では、揮発性メモリ２２と通信してよく、揮発性メモリ２２は、中央処理ユニット２０とも通信しうる。ＣＰＵ２０と通信するために不揮発性メモリ２４が配置されうることが、通常の様態である。ビデオカメラは、ネットワーク内部での通信のためのネットワークインターフェース２６も備えうる。レンズ１４はズームレンズである。ズームレンズは手動で設定され、現ズーム設定のログ作成は行われないことがある。

【0016】

図２は、建物３０、外灯３２、一群の木々３４、及び地平線３６を含む光景の、概略的な映像である。そのような対象物が不可欠なわけではないが、樽型歪みの影響は、直線であるべき湾曲した線によって例示されている。各対象物は、直線であるべきいくつかの線を包含しうる。この映像内の歪みは現実を正確に模したものではなく、むしろ、単に説明目的のためのものであることに、留意されたい。また、光景内の対象物は単なる例であるが、人造の対象物（家、家の要素、及び外灯）において直線がより大きな存在感を示していることは、かなり典型的である。ビデオカメラの典型的なモニタリング用途、例えば監視用途において、光景は人造対象物含むことがあり、そのことによって、捕捉される光景が直線を含むことがある。そのため、本開示は、かかるモニタリング用途のために特に適切でありうる。

【0017】

図３ａは、歪み補正関数が適用されたものである。ここでも、画像は説明目的のためだけのものである。歪み補正関数の適用後、直線であると考えられる線は真っすぐにされており、歪んだ画像における変倍の影響で、補正された画像のフレームはピンクッション形状を得る。歪み補正関数は種々の複雑性を有してよく、例えば入力データに応じて、歪み補正後にもいくらかの歪みは優勢でありうる。

【0018】

補正関数に関して、一般的な手法はｎ次の多項式を使用するものでありうる。以下の方程式において、Ｒ_ｕは、歪んだ半径ｒ_ｂｄの関数である、補正された歪みのない半径を意味する。定数ｋ_ｎは、関数を湾曲に当てはめるプロセスにおいて推定されうる定数である。

【0019】

通常容認可能とみなされる単純化された手法では、ｋ_０、ｋ_１及びｋ_３以外の全ての定数は、次の式のように、ゼロに設定される。

【0020】

座標系を適切に設定することによって、ｋ_０もゼロに設定されうる。他の実施形態では、他の次数の多項式が使用されてよく、更に別の実施形態では、代わりに他の関数が使用されうる。

【0021】

多項式の適切な形式が選択されると、データベース又はデータのコンパイルが構築されうる。このことは、図４及び図５のフロー図内の第１ステップによって、例示されている。補正多項式をマッピングするステップから後続のステップへの点線は、マッピング及び特性データの生成が、画像を取得するその後のステップとは時間的にも又は空間的にさえも近接しない、分離された一ステップとして一般的に実行されることを示すよう、意図されている。かかるデータは、カメラ製造業者、レンズ製造業者、別のサービス提供者、ユーザのグループ等によって提供されうる。一部の製造業者は、例えば、ユーザがポストプロダクションプロセスにおいて、取得した映像を完成させることを可能にするという目的のために、現在既にかかるデータを提供している。そのようなデータは方法の関数のために重要でありうるが、コンパイルされたデータの生成の詳細は、それほど重要ではないことがある。

【0022】

特定のレンズ又はレンズの組み合わせのためにデータをコンパイルしている（マッピングを実行している）最中に、多項式の定数ｋ_ｉの値の組は、ズーム設定又は焦点距離の各々に関連付けられることになる。結果として、ズーム又は焦点距離の有限数の離散設定について、定数ｋ_ｉ；ｋ_０、ｋ_２及びｋ_３の値の組が存在することになり、単純化された方程式２に関しても同様である。可能な場合、かかる組は、中間焦点距離のそれらの値も挿入されうるように、関数自体として表現されうる。

【0023】

実際の状況においては、データは、レンズごとに一度コンパイルされうるが、それはまた、レンズ又はレンズシステムの「種類」ごとに一度、コンパイルされうる。データを後に使用するいかなるユーザも、次いでデータをダウンロードしてよく、かつ／又は、データは、カメラシステムの不揮発性メモリに含まれうる。

【0024】

図４は、第１実施形態を示すフロー図である。第１作動は、前述のデータを形成すること４０である。一以上の実施形態では、組み合わされたデータは、ある種の用途においては有利かつ有効でありうる関数の形態をとる。歪み補正関数は多項式である必要はないが、よくある形態は多項式である。

【0025】

次のステップ４２では、画像が取得され、解析が開始されうる。この第１実施形態では、解析は、歪んだ画像内の細長いエッジを特定すること４４で開始される。細長いエッジは、歪み補正関数の適用後に直線に変換される有力候補だからである。エッジは、任意の既存のエッジ検出アルゴリズムを使用して見出されうる。

【0026】

エッジが特定され、所在限定された後に、その状況のための多項式又は他の関数が、細長いエッジに当てはめられうる４６。画像内に位置する点の組に関数を当てはめることも、いくつかの異なる方法で行われうる。最小平方方式を使用する平易な当てはめ及び評価が使用されてよく、パラメータ空間への変換、及びハフ変換を使用する求解法も、使用されうる。状況に応じて、一部の当てはめ方法がそれ以外よりも好適であることがあり、どの当てはめ方法を使用するかという選択は、当業者にとっては平易な作業である。多項式が特定される時、結果として得られる定数のｋ_ｉの項における計算結果が比較されうる。言うまでもないことであるが、多項式の形式は、好ましくは、当てはめの結果が使用可能になり、かつ求解過程にガイド制約を付与するために、データがコンパイルされた時に使用された多項式のものと同一でありうる。

【0027】

歪んだ画像の湾曲した線に多項式を当てはめ、ステップ４８で最良の当てはめを特定した後に、ステップ５０において、定数ｋ_ｉの値がデータとの比較のために使用されうる。その比較から最良の当てはめが選択されてよく、その特定の当てはめに関連付けられたデータが特定されうる。方法から導かれるアウトプットの１つは、レンズシステムのための現焦点距離設定でありうる（ステップ５２）。焦点距離は、いくつかのプロセスにおいては、「背景技術」の項で言及されているアパーチャの最適化に使用可能でありうる特質である。いくつかの更なる実施例は、一部を挙げると、露出設定、画像安定化（振動及び揺れの影響の最小化）、及び、専ら、焦点距離設定を、ユーザが他の任意の方法で利用するためにユーザに提示する能力、の最適化を含む。

【0028】

図５のフロー図は、一層大域的な視野が適用される第２実施形態を示している。ここでも、光景の画像が取得され（ステップ４２）、画像は樽型歪みのような歪みを示している。選択基準は、反復プロセスであって、それ自体前述の選択基準に類似するが、データのコンパイルに保存された歪み補正関数がより直接的な様態で使用される、反復プロセスを含む。反復プロセスは、歪んだ画像に特定の焦点距離のための歪み補正関数を適用すること（ステップ５４）を含む。「盲目的に」補正された、補正された画像は、依然として歪んでいることがあり、またそうである可能性が高い。従って次の動作は、ステップ５６において、補正された画像を評価することである。一実施例では直線エッジ検出が実行され、他の実施例では、前述の技術のうちの１つが使用されうる。特定のレンズ、及びそれらの様々な焦点設定についての歪みを表現するために使用される、多項式又は変換関数は、既知であってよく、かつ多くの場合既知であると、更に重ねて言えるかもしれない。このインプットを更に定数として使用すること、及び、求解法のために利用可能な空間を効果的に限定することによって、解析が更に加速されうる。

【0029】

直線エッジ検出が使用される場合、補正された画像内の直線エッジの量の測定値が推定され、画像間の比較が可能になる。直線エッジの量が大きくなるほど補正が良好であるということが、一前提でありうる。後続のステップでは、別の焦点距離のための別の歪み補正関数が適用され、直線検出に続いて、補正された画像内の直線の量の新たな測定値が推定される。新たな値は、先行の値（又はいくつかの先行の値）と比較され、補正が良くなっているか、それとも悪くなっているかが推定されうる。プロセスは次いで、最適当てはめが達成されるまで反復される（ステップ５８を参照）。使用されうるいくつかの最適化アルゴリズムが存在するが、それらのうちのいくつかは、既述である。上述のあらゆる実施形態において、評価は、画像全体というよりはむしろ画像の部分に対して実行されうる。プロセスにおける事象の順序は、関連する複数の実施形態において改変されてよく、反復プロセスにおいて一ステップとして比較を行う代わりに、比較は、利用可能な歪み関数の全てが適用された後に実行されてよく、その後の選択は、データの組における極値（最大値又は最小値）を見出すことに相当する。アウトプットは、依然として、ステップ５２における焦点距離設定の値となる。

【0030】

画像全体というよりはむしろ画像の部分のみが評価される時に、それらの部分は、画像解析を用いて、ユーザによって選択されうるか、又は特定されうる。対象物が直線エッジを有する対象物（例えば建物）と特定された場合、それは使用される部分の１つとして選択されることが可能であるが、対象物が直線エッジを有すると予測されない対象物（例えば人間）と特定される場合、それは評価される部分から除去されることが可能である、という実施例もありうる。また更に、画像の様々な部分には、評価における異なる重要性が付与されうる。歪みの影響は光軸からの距離と共に増大することから、エッジが光軸から離れているほど、より大きな重要性が付与されうる、というという実施例もありうる。

【0031】

ここでも、アウトプットは、特定のレンズ又はレンズシステムの現焦点距離設定の値でありうる。

【0032】

第３実施形態と定義されル可能性がある代替的な手法では、所在限定された細長いエッジだけに大域的最適化が実行される。かかる実施形態は、第１実施形態において細長いエッジが検出された時に、第２実施形態の選択基準が適用されることを暗示しうる。従って、反復的最適化プロセスでは、最良当てはめ多項式が見出され、反復プロセスの各ステップにおいて、直線の「量」が定量化される。他の最適化プロセス又は当てはめプロセスも使用されうると、言えるかもしれない。

【0033】

本開示のいかなる実施形態も、ズームレンズ又はレンズシステムを有する撮像システムに適用されうる。実施形態は、ズームレンズシステムの現焦点距離設定を校正又は特定するために、特に役立つ。同時に、最適歪み補正が、少なくともコンパイルされたデータ及びその使用の制約内において、特定されることになる。

【0034】

モニタリングシステムにおいては、本開示による方法は、使用されているレンズシステムが、現設定がいかようにも追跡されないズームレンズ又は可変焦点レンズを含む種類のものである場合に、とりわけ役立ちうる。かかるモニタリングシステムについて、方法は、オペレータの要求に応じて、或いは、反復プロセス又は校正プロセス内の一ステップとして、適用されうる。方法を連続的に行うことがたとえ可能であっても、そのことに明白な必要性又は恩恵はない。焦点距離設定及び最適歪み補正が特定された後、変化が発生するまでは新たな特定は必要ない。

【0035】

また更に、「ズーム」「ズーム設定」、及び「焦点距離設定」等が本明細書全体を通じて使用されてきたが、方法からのアウトプットは、別の測定値又はパラメータであって、それを通じて指定されたパラメータが推定されうる、別の測定値又はパラメータであることも、等しくあってよい。

【0036】

最も代表的な歪み補正関数を推定するために使用されうる、いくつかの手法が存在し、動作の順序は、実施形態に関連して提示されたものとは相違しうる。

【0037】

この文脈において、コンパイルされたデータは、それ自体としては歪み補正関数を包含する必要はないということが、全ての実施形態について、一般的に言えるかもしれない。代わりにそれは、歪み補正関数を特定するために使用されうる情報を包含しうる。データは歪み補正関数によって使用される任意の定数を含むが、歪み補正関数の基本形態はどこか別の所に保存される、という実施例もありうる。実際的な観点からはこれは問題にならないが、最適化情報ロジスティクスの視点からは、異なる状況においては異なる概念が使用される。本開示は、この点に関していかなる限定も要することなく適用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】