(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-03
(54)【発明の名称】歪曲映像を補正する方法及び装置
(51)【国際特許分類】
H04N 5/232 20060101AFI20220727BHJP
G06T 3/00 20060101ALI20220727BHJP
G06T 1/00 20060101ALI20220727BHJP
【ＦＩ】
H04N5/232 290
G06T3/00
G06T1/00 330
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021564326
(86)(22)【出願日】2020-01-15
(85)【翻訳文提出日】2021-10-27
(86)【国際出願番号】 KR2020000709
(87)【国際公開番号】W WO2020251129
(87)【国際公開日】2020-12-17
(31)【優先権主張番号】10-2019-0069720
(32)【優先日】2019-06-13
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521471349
【氏名又は名称】株式会社ネクストチップ
【氏名又は名称原語表記】ＮＥＸＴＣＨＩＰ ＣＯ．，ＬＴＤ．
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】オク，ヨン フン
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057AA16
5B057BA02
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CC01
5B057CD12
5C122DA14
5C122EA55
5C122FH04
5C122FH06
5C122FH10
5C122FH14
5C122GE24
5C122HA65
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【解決手段】レンズを用いて歪曲された映像を補正するために、カメラの光軸及び焦点距離が用いられる。カメラの実際の使用過程又はレンズの製造過程で発生する光軸及び焦点距離の変化により、映像が適切に補正されないこともある。光軸及び焦点距離を算出するためにターゲット映像内のパターンが検出され、パターンに基づいて、ターゲット映像内に基準線及びターゲット点が設定され、基準線及びターゲット点に基づいてターゲット映像を生成したカメラの光軸及び焦点距離が算出される。
【特許請求の範囲】
【請求項1】
参照パターンを撮影することで生成されたターゲット映像を受信するステップと、前記ターゲット映像内のパターンを検出するステップと、
前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップと、
前記基準線及び前記ターゲット点に基づいて、ターゲット映像を生成したカメラの光軸及び焦点距離を算出するステップと、
前記算出された光軸及び前記焦点距離に基づいて前記ターゲット映像を補正するステップと、
を含む、歪曲映像補正方法。
【請求項2】
前記ターゲット映像内のパターンを検出するステップは、前記ターゲット映像内の１つ以上の特徴点を検出するステップと、
前記検出された特徴点に基づいて前記パターンを検出するステップと、
を含む、請求項１に記載の歪曲映像補正方法。
【請求項3】
前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップは、前記特徴点に基づいて第１特徴点セットを生成するステップと、
前記第１特徴点セット内の特徴点のうち最外郭に位置する２つの特徴点に基づいて前記基準線を設定するステップと、
前記第１特徴点セット内のいずれか１つを前記ターゲット点として設定するステップと、
を含む、請求項２に記載の歪曲映像補正方法。
【請求項4】
前記基準線及び前記ターゲット点に基づいて前記カメラの光軸及び前記焦点距離を算出するステップは、テイラー級数に表現されるレンズの歪曲モデルを生成するステップと、
前記歪曲モデルに基づいて前記光軸及び前記焦点距離を算出するステップと、
を含む、請求項１に記載の歪曲映像補正方法。
【請求項5】
前記歪曲モデルに基づいて、前記光軸及び前記焦点距離を算出するステップは、前記レンズに予め設定されたＲｕ値及びＲｄ値に基づいて前記光軸及び前記焦点距離を算出するステップと、
を含み、
前記Ｒｕ値は、前記レンズによる歪曲がない場合、１つの点が映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示し、
前記Ｒｄ値は、前記レンズによる歪曲がある場合、前記１つの点が前記映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示す、請求項４に記載の歪曲映像補正方法。
【請求項6】
前記基準線及び前記ターゲット点に基づいて前記カメラの光軸及び前記焦点距離を算出するステップは、レンズの参照歪曲モデルをロードするステップと、
前記レンズに予め設定されたＲｕ値及びＲｄ値を用いて参照歪曲モデルを調整するステップ（前記Ｒｕ値は、前記レンズによる歪曲がない場合、１つの点が映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示し、前記Ｒｄ値は、前記レンズによる歪曲がある場合、前記１つの点が前記映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示す）と、
前記調整された参照歪曲モデルに基づいて、前記ターゲット点の位置を変換するターゲット関数を生成するステップと、
参照光軸及び参照焦点距離に基づいて、前記ターゲット関数を用いて前記基準線及び前記ターゲット点の位置を変換するステップと、
位置の変換された前記ターゲット点と前記基準線との間の距離を算出するステップと、
前記算出された距離が予め設定された閾値未満である場合、前記参照光軸及び前記参照焦点距離を前記光軸及び前記焦点距離として決定するステップと、
を含む、請求項１に記載の歪曲映像補正方法。
【請求項7】
前記基準線及び前記ターゲット点に基づいて前記カメラの光軸及び前記焦点距離を算出するステップは、前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップをさらに含む、請求項６に記載の歪曲映像補正方法。
【請求項8】
前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップは、レーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄ）アルゴリズムを用いて前記参照光軸及び前記参照焦点距離を調整するステップを含む、請求項７に記載の歪曲映像補正方法。
【請求項9】
請求項１に記載の方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
【請求項10】
歪曲映像を補正する方法を行う電子装置は、歪曲映像を補正するプログラムが記録されたメモリと、
前記プログラムを行うプロセッサと、
を含み、
前記プログラムは、
参照パターンを撮影することで生成されたターゲット映像を受信するステップと、
前記ターゲット映像内のパターンを検出するステップと、
前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップと、
前記基準線及び前記ターゲット点に基づいて、ターゲット映像を生成したカメラの光軸及び焦点距離を算出するステップと、
前記算出された光軸及び前記焦点距離に基づいて、前記ターゲット映像を補正するステップと、
を含む電子装置。
【請求項11】
前記ターゲット映像を生成するカメラをさらに含む、請求項１０に記載の電子装置。
【請求項12】
前記ターゲット映像内のパターンを検出するステップは、前記ターゲット映像内の１つ以上の特徴点を検出するステップと、
前記検出された特徴点に基づいて前記パターンを検出するステップと、
を含む、請求項１０に記載の電子装置。
【請求項13】
前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップは、前記特徴点に基づいて第１特徴点セットを生成するステップと、
前記第１特徴点セット内の特徴点のうち、最外郭に位置する２つの特徴点に基づいて前記基準線を設定するステップと、
前記第１特徴点セット内のいずれか１つを前記ターゲット点として設定するステップと、
を含む、請求項１２に記載の電子装置。
【請求項14】
前記基準線及び前記ターゲット点に基づいて、前記カメラの光軸及び前記焦点距離を算出するステップは、レンズの参照歪曲モデルをロードするステップと、
前記レンズに予め設定されたＲｕ値及びＲｄ値を用いて参照歪曲モデルを調整するステップ（前記Ｒｕ値は、前記レンズによる歪曲がない場合、１つの点が映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示し、前記Ｒｄ値は、前記レンズによる歪曲がある場合、前記１つの点が前記映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示す）と、
前記調整された参照歪曲モデルに基づいて、前記ターゲット点の位置を変換するターゲット関数を生成するステップと、
参照光軸及び参照焦点距離に基づいて、前記ターゲット関数を用いて前記基準線及び前記ターゲット点の位置を変換するステップと、
位置の変換された前記ターゲット点と前記基準線との間の距離を算出するステップと、
前記算出された距離が予め設定された閾値未満である場合、前記参照光軸及び前記参照焦点距離を前記光軸及び前記焦点距離として決定するステップと、
を含む、請求項１０に記載の電子装置。
【請求項15】
前記基準線及び前記ターゲット点に基づいて、前記カメラの光軸及び前記焦点距離を算出するステップは、前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップをさらに含む、請求項１４に記載の電子装置。
【請求項16】
前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップは、レーベンバーグ・マーカート法アルゴリズムを用いて前記参照光軸及び前記参照焦点距離を調整するステップを含む、請求項１５に記載の電子装置。
【請求項17】
前記電子装置は車両に含まれる、請求項１０に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の実施形態は、歪曲された映像を補正するための方法及び装置に関し、より詳しくは、レンズを用いて歪曲された映像を補正するための方法及び装置に関する。
【背景技術】
【0002】
レンズ歪曲定数とピンホール（ｐｉｎ－ｈｏｌｅ）モデルを活用した光軸算出方法は、自律走行自動車及びその他の映像認識において必須であり、最も敏感な部分の１つの光軸パラメータを探す方法に関する。従来における光軸を算出する方法は、物理的な補助システム（例えば、ジグ）を使用したり、又は、歪曲された映像の楕円曲線の交差点を探して光軸を算出する。前者はその物理的なシステムが高い側面と埋め込みステムに内蔵されないという短所があり、レンズとパターンが正確に直交しなければならないため、これに対する不確実性が存在し、物理的なジグが必要であるという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
一実施形態は、カメラ又はレンズの光軸を算出する方法及び装置を提供することにある。
他の一実施形態は、カメラ又はレンズの光軸に基づいて歪曲映像を補正する方法及び装置を提供することにある。
他の一実施形態は、カメラ又はレンズの光軸に基づいて歪曲映像を補正する方法及び装置を提供することにある。
【課題を解決するための手段】
【0004】
一側面に係る、歪曲映像を補正する方法は、参照パターンを撮影することで生成されたターゲット映像を受信するステップと、前記ターゲット映像内のパターンを検出するステップと、前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップと、前記基準線及び前記ターゲット点に基づいて、ターゲット映像を生成したカメラの光軸及び焦点距離を算出するステップと、前記算出された光軸及び前記焦点距離に基づいて前記ターゲット映像を補正するステップとを含む。
【0005】
前記ターゲット映像内のパターンを検出するステップは、前記ターゲット映像内の１つ以上の特徴点を検出するステップと、前記検出された特徴点に基づいて前記パターンを検出するステップとを含むことができる。
【0006】
前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップは、前記特徴点に基づいて第１特徴点セットを生成するステップと、前記第１特徴点セット内の特徴点のうち最外郭に位置する２つの特徴点に基づいて前記基準線を設定するステップと、前記第１特徴点セット内のいずれか１つを前記ターゲット点として設定するステップとを含むことができる。
【0007】
前記基準線及び前記ターゲット点に基づいて前記カメラの光軸及び前記焦点距離を算出するステップは、テイラー級数に表現されるレンズの歪曲モデルを生成するステップと、前記歪曲モデルに基づいて前記光軸及び前記焦点距離を算出するステップとを含むことができる。
【0008】
前記歪曲モデルに基づいて、前記光軸及び前記焦点距離を算出するステップは、前記レンズに予め設定されたＲｕ値及びＲｄ値に基づいて前記光軸及び前記焦点距離を算出するステップとを含み、前記Ｒｕ値は、前記レンズによる歪曲がない場合、１つの点が映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示し、前記Ｒｄ値は、前記レンズによる歪曲がある場合、前記１つの点が前記映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示すことができる。
【0009】
前記基準線及び前記ターゲット点に基づいて前記カメラの光軸及び前記焦点距離を算出するステップは、レンズの参照歪曲モデルをロードするステップと、前記レンズに予め設定されたＲｕ値及びＲｄ値を用いて参照歪曲モデルを調整するステップ（前記Ｒｕ値は、前記レンズによる歪曲がない場合、１つの点が映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示し、前記Ｒｄ値は、前記レンズによる歪曲がある場合、前記１つの点が前記映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示す）と、前記調整された参照歪曲モデルに基づいて、前記ターゲット点の位置を変換するターゲット関数を生成するステップと、参照光軸及び参照焦点距離に基づいて、前記ターゲット関数を用いて前記基準線及び前記ターゲット点の位置を変換するステップと、位置の変換された前記ターゲット点と前記基準線との間の距離を算出するステップと、前記算出された距離が予め設定された閾値未満である場合、前記参照光軸及び前記参照焦点距離を前記光軸及び前記焦点距離として決定するステップとを含む。
【0010】
前記基準線及び前記ターゲット点に基づいて前記カメラの光軸及び前記焦点距離を算出するステップは、前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップをさらに含むことができる。
【0011】
前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップは、レーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄ）アルゴリズムを用いて前記参照光軸及び前記参照焦点距離を調整するステップを含むことができる。
【0012】
他の一側面によると、歪曲映像を補正する方法を行う電子装置は、歪曲映像を補正するプログラムが記録されたメモリと、前記プログラムを行うプロセッサとを含み、前記プログラムは、参照パターンを撮影することで生成されたターゲット映像を受信するステップと、前記ターゲット映像内のパターンを検出するステップと、前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップと、前記基準線及び前記ターゲット点に基づいて、ターゲット映像を生成したカメラの光軸及び焦点距離を算出するステップと、前記算出された光軸及び前記焦点距離に基づいて、前記ターゲット映像を補正するステップとを含む。
【0013】
前記電子装置は、前記ターゲット映像を生成するカメラをさらに含むことができる。
【0014】
前記ターゲット映像内のパターンを検出するステップは、前記ターゲット映像内の１つ以上の特徴点を検出するステップと、前記検出された特徴点に基づいて前記パターンを検出するステップとを含む。
【0015】
前記パターンに基づいて、前記ターゲット映像内に基準線及び少なくとも１つのターゲット点を設定するステップは、前記特徴点に基づいて第１特徴点セットを生成するステップと、前記第１特徴点セット内の特徴点のうち、最外郭に位置する２つの特徴点に基づいて前記基準線を設定するステップと、前記第１特徴点セット内のいずれか１つを前記ターゲット点として設定するステップとを含む。
【0016】
前記基準線及び前記ターゲット点に基づいて、前記カメラの光軸及び前記焦点距離を算出するステップは、レンズの参照歪曲モデルをロードするステップと、前記レンズに予め設定されたＲｕ値及びＲｄ値を用いて参照歪曲モデルを調整するステップ（前記Ｒｕ値は、前記レンズによる歪曲がない場合、１つの点が映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示し、前記Ｒｄ値は、前記レンズによる歪曲がある場合、前記１つの点が前記映像平面に投影されるとき、前記光軸と前記投影された点との間の距離を示す）と、前記調整された参照歪曲モデルに基づいて、前記ターゲット点の位置を変換するターゲット関数を生成するステップと、参照光軸及び参照焦点距離に基づいて、前記ターゲット関数を用いて前記基準線及び前記ターゲット点の位置を変換するステップと、位置の変換された前記ターゲット点と前記基準線との間の距離を算出するステップと、前記算出された距離が予め設定された閾値未満である場合、前記参照光軸及び前記参照焦点距離を前記光軸及び前記焦点距離として決定するステップとを含む。
【0017】
前記基準線及び前記ターゲット点に基づいて、前記カメラの光軸及び前記焦点距離を算出するステップは、前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップをさらに含むことができる。
【0018】
前記算出された距離が予め設定された閾値以上である場合、前記参照光軸及び前記参照焦点距離を調整するステップは、レーベンバーグ・マーカート法アルゴリズムを用いて前記参照光軸及び前記参照焦点距離を調整するステップを含むことができる。
前記電子装置は車両に含まれることができる。
前記電子装置は車両に含まれることができる。
【発明の効果】
【0019】
カメラ又はレンズの光軸を算出する方法及び装置を提供することができる。
カメラ又はレンズの光軸に基づいて、歪曲映像を補正する方法及び装置を提供することができる。
カメラ又はレンズの光軸に基づいて、歪曲映像を補正する方法及び装置を提供することができる。
【図面の簡単な説明】
【0020】
【図1】一例に係るカメラのレンズの種類に応じて生成された映像を示す。
【図2】一実施形態に係る歪曲映像を補正する電子装置の構成図である。
【図3】一実施形態に係る歪曲映像を補正する方法のフローチャートである。
【図4】一例に係る歪曲映像内のパターン及びパターンに基づいて設定される基準線及びターゲット点を示す。
【図5】一例に係る光軸及び焦点距離を算出する方法のフローチャートである。
【図6】一例に係るターゲット関数を用いて位置が変換された基準線及びターゲット点を示す。
【発明を実施するための形態】
【0021】
以下、添付の図面を参照して実施形態を詳細に説明する。しかし、実施形態には多様な変更が加えられることができ、特許出願の権利範囲がこの実施形態により制限されたり限定されることはない。実施形態に対するすべての変更、均等物ないし代替物が権利範囲に含まれるものとして理解されなければならない。
【0022】
本明細書で用いる用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0023】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0024】
また、図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【0025】
図１は、一例に係るカメラのレンズの種類に応じて生成された映像を示す。
【0026】
カメラ１１０を用いて場面１２０（例えば、パターン）を撮影する場合、カメラ１１０のレンズの種類に応じて生成される映像が互いに異なってもよい。例えば、ピンホール（ｐｉｎ－ｈｏｌｅ）レンズを用いて生成されたピンホール映像１３０は、場面１２０を歪曲せずに示すことができる。異なる例として、魚眼レンズのような広角レンズを用いて生成された魚眼レンズ映像１４０は、場面１４０を歪曲して示す。
【0027】
車両用カメラとして多く用いられる広角カメラのレンズ（例えば、魚眼レンズ）を用いて映像を撮影する場合に撮影された映像には、レンズの中心を基準にして近い箇所を経由する光線よりも遠い箇所を経由する光線がさらに多く曲がるという現像により発生する放射歪曲（バレル歪曲）と、カメラの製造過程でレンズと映像平面が平行をなすことができないため発生する接線歪曲が示される。このようなレンズを用いて撮影した映像は、以下で歪曲映像又は補正が必要なターゲット映像のように命名する。
【0028】
このような超広角レンズを使用するカメラは、レンズに応じて発生する歪曲を補正するためにＦＯＶ（Ｆｉｅｌｄ ｏｆＶｉｅｗ）モデルを用いてもよいが、このようなＦＯＶモデルを使用する場合、歪曲中心の設定にエラーが発生し得る。ＦＯＶは、視野としてカメラレンズを付着して見られる映像を撮影した場合、その撮影した映像の領域（サイズ）を示すものである。
【0029】
しかし、ＦＯＶモデルによる歪曲補正の場合、レンズの光軸を別途に推定又は算出しないため、映像の中心点とレンズの光軸との間の誤差が大きくなる場合、歪曲補正の正確度が低下することがある。
【0030】
【0031】
図２は、一実施形態に係る歪曲映像を補正する電子装置の構成図である。
【0032】
歪曲映像を補正する電子装置２００は、通信部２１０、プロセッサ２２０、及びメモリ２３０を含む。一実施形態によれば、電子装置２００は、車両に含まれてもよい。例えば、車両は、自律走行車両及びＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）を支援する車両であってもよい。
【0033】
通信部２１０は、プロセッサ２２０及びメモリ２３０と接続してデータを送受信する。通信部２１０は、外部の他の装置と接続してデータを送受信する。以下、「Ａ」を送受信するという表現は「Ａを示す情報又はデータ」を送受信することを示す。
【0034】
通信部２１０は、電子装置２００内の回路網として実現されてもよい。例えば、通信部２１０は、内部バス及び外部バスを含んでもよい。異なる例として、通信部２１０は、電子装置２００と外部装置を接続する要素であってもよい。外部の他の装置は、車両の電子装置であってもよい。通信部２１０は、インターフェースであってもよい。通信部２１０は、外部装置からデータを受信し、プロセッサ２２０及びメモリ２３０にデータを送信することができる。
【0035】
プロセッサ２２０は、通信部２１０が受信したデータ及びメモリ２３０に格納されたデータを処理する。「プロセッサ」は、目的とする動作を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたデータ処理装置であり得る。例えば、目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含んでもよい。例えば、ハードウェアで具現されたデータ処理装置は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでもよい。
【0036】
プロセッサ２２０は、メモリ（例えば、メモリ２３０）に格納されたコンピュータで読出し可能なコード（例えば、ソフトウェア）及びプロセッサ２２０によって誘発された命令を実行する。
【0037】
メモリ２３０は、通信部２１０が受信したデータ及びプロセッサ２２０が処理したデータを格納する。例えば、メモリ２３０は、プログラム（又は、アプリケーション、ソフトウェア）を格納する。格納されるプログラムは、レンズの光軸を算出し、光軸に基づいて歪曲映像を補正するようにコーディングされ、プロセッサ２２０により実行可能なシンタックス（ｓｙｎｔａｘ）の集合であり得る。
【0038】
一態様によれば、メモリ２３０は、１つ以上の揮発性メモリ、不揮発性メモリ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブ及び光学ディスクドライブを含んでもよい。
【0039】
メモリ２３０は、電子装置２００を動作させる命令語セット（例えば、ソフトウェア）を格納する。電子装置２００を動作させる命令語セットは、プロセッサ２２０によって実行される。
【0040】
図示していないが、電子装置２００は、映像を生成するカメラをさらに含んでもよい。カメラは、広角レンズを用いて場面を撮影することで映像を生成する。生成された映像は、歪曲映像であってもよい。
【0041】
【0042】
図３は、一実施形態に係る歪曲映像を補正する方法のフローチャートである。
【0043】
以下のステップ３１０～３５０は、図２を参照して上述した電子装置２００によって実行される。
【0044】
ステップ３１０において、電子装置２００は、ターゲット映像を受信する。例えば、電子装置２００は、カメラからターゲット映像を受信する。ユーザは、カメラを用いて参照パターンが示される場面を撮影する。参照パターンは、均一な模様を有するチェッカーパターン（ｃｈｅｃｋｅｒ ｐａｔｔｅｒｎ）であってもよい。
【0045】
ステップ３２０において、電子装置２００は、ターゲット映像内のパターンを検出する。カメラのレンズに応じて参照パターンが歪曲されてターゲット映像内に示されてもよい。
【0046】
例えば、電子装置２００は、ターゲット映像内の１つ以上の特徴点を検出し、検出された特徴点に基づいてパターンを検出してもよい。パターンを検出する方法について、以下で図４を参照して詳説する。特徴点は、ターゲット映像内の座標で検出されることができる。
【0047】
ステップ３３０において、電子装置２００は、検出されたパターンに基づいてターゲット映像内に基準線及び少なくとも１つのターゲット点を設定する。例えば、電子装置２００は、検出された特徴点に基づいて第１特徴点セットを生成し、第１特徴点セット内の特徴点のうち、最外郭に位置する２つの特徴点に基づいて基準線を設定し、第１特徴点セット内のいずれか１つをターゲット点として設定してもよい。基準線及びターゲット点を設定する方法について、以下で図４を参照して詳説する。
【0048】
ステップ３４０において、電子装置２００は、基準線及びターゲット点に基づいてカメラの光軸及び焦点距離を算出する。例えば、電子装置２００は、テイラー級数に表現されるレンズの歪曲モデルを生成し、歪曲モデルに基づいて光軸及び前記焦点距離を算出してもよい。レンズに予め設定されたＲｕ値及びＲｄ値に基づいて光軸及び焦点距離が算出されてもよい。Ｒｕ値は、レンズによる歪曲がない場合、１つの点が映像平面に投影されるときに光軸と投影された点の間の距離を示す。Ｒｄ値は、レンズによる歪曲がある場合、１つの点が映像平面に投影されるときに光軸と投影された点との間の距離を示す。
【0049】
【0050】
ステップ３５０において、電子装置２００は、算出された光軸及び焦点距離に基づいてターゲット映像を補正する。例えば、補正されたターゲット映像は、ピンホールレンズに応じて撮影された映像に類似してもよい。
【0051】
図４は、一例に係る歪曲映像内のパターン及びパターンに基づいて設定される基準線及びターゲット点を示す。
【0052】
一態様によれば、電子装置２００は、ターゲット映像１４０内の複数の特徴点を検出する。例えば、格子状の頂点が特徴点として検出されてもよい。例えば、特徴点４１１～４１５が検出された場合、特徴点４１１～４１５を含む格子がパターン４１０として検出されることができる。
【0053】
他の一側面によれば、電子装置２００は、ターゲット映像１４０内で列方向又は行方向に配置されている格子をパターンとして検出する。例えば、パターン４１０及びパターン４１０内の特徴点４１１～４１５が検出される。パターン４１０に含まれる特徴点４１１～４１５は、第１特徴点セットのように命名される。複数のパターンが列方向又は行方向として検出されるが、簡潔な説明のために１つのパターン４１０に対する処理過程について以下のように説明する。
【0054】
特徴点４１１～４１５のうち最外郭に位置する２つの特徴点４１１及び４１５に基づいて基準線４２０が設定されてもよい。基準線４２０は、歪曲映像内で特徴点４１１及び４１５を直線に接続された線であってもよい。特徴点４１２、４１３、及び４１４のいずれか１つがターゲット点として設定される。例えば、特徴点４１３がターゲット点として設定されることができる。
【0055】
図５は、一例に係る光軸及び焦点距離を算出する方法のフローチャートである。
【0056】
一側面に係る、図３を参照して上述したステップ３４０は、下記のステップ５１０～５７０を含む。
【0057】
ステップ５１０において、電子装置２００は、レンズの参照歪曲モデルをロードする。参照歪曲モデルは、テイラー級数に表現されてもよい。参照歪曲モデルは、以下の数式（１）のように表現される。
【0058】
【数1】
【0059】
数式（１）において、Ｒｕ及びＲｄは予め設定されてもよい。例えば、Ｒｕ及びＲｄはレンズの製造社から伝達された値であってもよい。
【0060】
ステップ５２０において、電子装置２００は、Ｒｕ及びＲｄを用いて参照歪曲モデルを調整する。電子装置２００は、多項式回帰（ｐｏｌｙｎｏｍｉａｌ ｒｅｇｒｅｓｓｉｏｎ）を用いて多項式の係数Ｃ０～Ｃ６を算出する。参照歪曲モデルは、６次以上に多項式で示されてもよい。参照歪曲モデルの調整は、多項式の係数を算出したものである。
【0061】
ステップ５３０において、電子装置２００は、調整された参照歪曲モデルに基づいてターゲット関数を生成する。参考歪曲モデルは、光軸及び映像平面のいずれか１つの点の間の距離を基盤としているため、映像座標に基づく変換関数が求められる。ターゲット関数は、歪曲映像内の点の位置を、歪曲されていない映像に変換する関数である。ターゲット関数（ｕｎｄｉｓｔ（ｘ、ｙ））の（ｘ、ｙ）は歪曲されていない映像内の座標を意味する。ｘは、以下の数式（２）のように表現され、ｙは、以下の数式（３）のように表現される。
【0062】
【数2】
【0063】
【数3】
【0064】
数式（２）、数式（３）において、Ｆは、予め設定されたり調整される焦点距離（参照焦点距離）であり、Ｐｐはピクセルピーチ（即ち、いずれかのピクセルが意味する物理的なセンサ上で有する大きさ）に関する値であり、Ｃｘは、光軸によって決定される歪曲映像のｘ軸中心座標であり、Ｃｙは、光軸によって決定される歪曲映像のｙ軸中心座標であり、Ｉｘは、歪曲映像内のターゲット点（Ｉ）のｘ軸座標であり、Ｉｙは、歪曲映像内のターゲット点（Ｉ）のｙ軸座標である。
【0065】
ステップ５４０において、電子装置２００は、参照光軸及び参照焦点距離に基づいてターゲット関数を用いて基準線及びターゲット点の位置を変換する。歪曲映像内のターゲット点（Ｉ）の座標がターゲット関数を介して歪曲されていない映像内の座標に変換されてもよい。
【0066】
ステップ５５０において、電子装置２００は、位置が変換されたターゲット点と基準線との間の距離を算出する。距離はターゲット点から基準線への直交距離であってもよい。前記の距離は、残差であってもよい。ターゲット点と基準線との間の距離について、以下で図６を参照して詳説する。
【0067】
ステップ５６０において、電子装置２００は、算出された距離が閾値未満であるか否かを判断する。算出された距離が閾値未満である場合、算出に用いられた参照光軸及び参照焦点距離が最終的な光軸及び焦点距離として決定されることができる。
【0068】
ステップ５７０において、算出された距離が閾値以上である場合、参照光軸及び参照焦点距離を調整する。算出された距離が減少するように参照光軸及び参照焦点距離が調整されてもよい。例えば、レーベンバーグ・マーカート法（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄ）アルゴリズムを用いて、参照光軸及び参照焦点距離が調整されてもよい。即ち、数式（２）、数式（３）のＦ、Ｃｘ、及びＣｘの値が調整されることができる。
【0069】
調整されたＦ、Ｃｘ、及びＣｘを用いてステップ５４０が再実行される。
【0070】
図６は、一例に係るターゲット関数を用いて位置が変換された基準線及びターゲット点を示す。
【0071】
ターゲット関数によって位置が変換された歪曲映像内に検出された特徴点４１１～４１５が基準線４２０上に位置するよう、光軸及び焦点距離を算出することができる。
【0072】
例えば、ターゲット関数によって基準線４２０及び特徴点４１１～４１５が基準線６２０及び特徴点６１１～６１５に変換されてもよい。光軸及び焦点距離のうち少なくとも１つが適切に設定又は算出されない場合、特徴点６１１～６１５の一部の特徴点６１２～６１４が基準線６２０上に位置しない場合がある。
【0073】
この場合、光軸及び焦点距離のうち少なくとも１つが調整される。調整を繰り返すことにより光軸及び焦点距離が適切に調整されることができる。光軸及び焦点距離が適切に調整された場合、基準線６４０上に特徴点６３１～６３５が配置され得る。
【0074】
実施形態に係る方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0075】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0076】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0077】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【0078】
２００：電子装置
２１０：通信部
２２０：プロセッサ
２３０：メモリ
２１０：通信部
２２０：プロセッサ
２３０：メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】