特許 7510264 画像処理装置および画像処理方法、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】画像処理装置および画像処理方法、撮像装置

(51)【国際特許分類】

   H04N 23/68 20230101AFI20240626BHJP

   H04N 23/60 20230101ALI20240626BHJP

   H04N 1/387 20060101ALI20240626BHJP

   G06T 3/14 20240101ALI20240626BHJP

   G03B 37/00 20210101ALI20240626BHJP

   G03B 17/14 20210101ALI20240626BHJP

   G03B 5/00 20210101ALN20240626BHJP

【ＦＩ】

H04N23/68

H04N23/60

H04N1/387 700

G06T3/14

G03B37/00 A

G03B17/14

G03B5/00 K

【請求項の数】 11

(21)【出願番号】P 2020046839

(22)【出願日】2020-03-17

(65)【公開番号】P2021150737

(43)【公開日】2021-09-27

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】柴田 昌宏

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１８－１５６０３６（ＪＰ，Ａ）

【文献】特許第３２７８２０６（ＪＰ，Ｂ２）

【文献】特開２０２１－０３３０１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ ３／１４

Ｇ０３Ｂ ３７／００

Ｇ０３Ｂ １７／１４

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

光軸と直交する第１の方向および第２の方向の少なくとも一方に圧縮され、かつ前記第１の方向における圧縮が前記第２の方向における圧縮よりも大きい被写体像を形成するレンズを用いて撮像された画像データに対し、前記レンズの光軸回りの装置ブレに起因する像ブレ補正を行う画像処理装置であって、
前記レンズの被写体像の圧縮率に関する第１の情報と前記装置ブレの回転角に関する第２の情報とに基づいて、前記光軸回りの装置ブレに起因する被写体像の回転変形の補正処理およびせん断処理を含む幾何学的な変形処理を前記画像データに適用する画像変形手段を有することを特徴とする画像処理装置。

【請求項2】

前記レンズが、撮像素子の画素アレイの長辺に平行な方向を前記第１の方向として被写体像を圧縮するレンズであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記回転変形の補正処理が、

ただし、前記圧縮率をａ、前記装置ブレの回転角をθrとした場合にtanΦ＝1/a・tanθrである
で表されることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記せん断処理が、

ただし、ＢはcosΦ / cosθr、(γ－Φ)はせん断の方向角であり、tanγ=a・tanθrである
で表されることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

さらに、前記画像変形手段が出力する画像データを再生する際にディスクイーズ処理を行うディスクイーズ処理手段を有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

さらに、前記第１の情報を取得する取得手段を有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記取得手段は、操作部へのユーザ操作に応じて前記第１の情報を取得することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

撮像装置であって、
撮像素子と、
前記撮像装置の動きを表す信号を出力する動き検出手段と、
請求項１から７のいずれか１項に記載の画像処理装置とを有し、
前記画像処理装置は、
前記装置ブレの回転角に関する情報を前記動き検出手段の出力から取得し、
前記撮像素子を用いて得られた画像データに対して像ブレ補正を適用する、
ことを特徴とする撮像装置。

【請求項9】

前記撮像装置は、前記レンズが着脱可能であることを特徴とする請求項８に記載の撮像装置。

【請求項10】

光軸と直交する第１の方向および第２の方向の少なくとも一方に圧縮され、かつ前記第１の方向における圧縮が前記第２の方向における圧縮よりも大きい被写体像を形成するレンズを用いて撮像された画像データに対し、前記レンズの光軸回りの装置ブレに起因する像ブレ補正を行う、画像処理装置が実行する画像処理方法であって、
前記レンズの被写体像の圧縮率に関する第１の情報と前記装置ブレの回転角に関する第２の情報とに基づいて、前記光軸回りの装置ブレに起因する被写体像の回転変形の補正処理およびせん断処理を含む幾何学的な変形処理を前記画像データに適用する画像変形工程を有することを特徴とする画像処理方法。

【請求項11】

コンピュータを、請求項１から７のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置および画像処理方法に関し、特には特殊なレンズを用いて撮影された画像の補正技術に関する。

【背景技術】

【0002】

従来、撮像素子の画素領域を有効に活用しながら撮像素子と異なるアスペクト比の画像を撮影するために、被写体光学像をある方向に変形もしくは圧縮して結像する特殊な撮影レンズが用いられることがある。例えば、アナモフィックレンズ(anamorphic lens)は、被写体光学像を水平方向に1/2や1/1.33に圧縮して結像する。一般的に用いられているアスペクト比４：３の撮像素子を有する撮像装置にアナモフィックレンズを装着して撮影し、再生時に水平方向に拡大することで、アスペクト比２．３９：１などのシネマスコープ映像を得ることができる。

【0003】

このように、ある方向に圧縮もしくは変形された光学像を結像する特殊なレンズを装着した撮像装置において、通常のレンズを装着したときと同じように像ブレ補正を行うと、正しく補正ができないという問題がある。そのため、特許文献１では、アナモフィックレンズが装着された場合は、光軸を回転軸とした像ブレ補正を禁止している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１５６０３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術では、アナモフィックレンズを装着した場合には光軸を回転軸とした像ブレを補正できないため、手持ち撮影時の手ブレ補正能力が低減するという問題があった。

【0006】

本発明はこのような従来技術の問題点を鑑みてなされたものである。本発明は、ある方向に圧縮された光学像を結像する特殊なレンズを用いて撮影された画像について、光軸を回転中心とした像ブレを補正することが可能な画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述の目的は、光軸と直交する第１の方向および第２の方向の少なくとも一方に圧縮され、かつ前記第１の方向における圧縮が前記第２の方向における圧縮よりも大きい被写体像を形成するレンズを用いて撮像された画像データに対し、前記レンズの光軸回りの装置ブレに起因する像ブレ補正を行う画像処理装置であって、前記レンズの被写体像の圧縮率に関する第１の情報と前記装置ブレの回転角に関する第２の情報とに基づいて、前記光軸回りの装置ブレに起因する被写体像の回転変形の補正処理およびせん断処理を含む幾何学的な変形処理を前記画像データに適用する画像変形手段を有することを特徴とする画像処理装置によって達成される。

【発明の効果】

【0008】

本発明によれば、ある方向に圧縮された光学像を結像する特殊なレンズを用いて撮影された画像について、光軸を回転中心とした像ブレを補正することが可能な画像処理装置および画像処理方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る撮像装置の一例としてのビデオカメラの構成例を示すブロック図

【図2】ピンホールカメラモデルを説明する図

【図3】図１の変形量演算部の機能構成例を示すブロック図

【図4】アナモフィックレンズ装着時の圧縮処理およびディスクイーズ処理による画像変形およびその補正方法に関する模式図

【図5】装置ブレに関する図

【図6】像ブレに関する図

【発明を実施するための形態】

【0010】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

なお、以下の実施形態では、本発明をデジタルビデオカメラで実施する場合に関して説明する。しかし、本発明には撮像機能は必須でなく、画像処理が可能な任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

【0012】

最初に、本明細書において使用する言葉の定義について説明する。本明細書において、撮像装置の動きを「装置ブレ」とし、装置ブレによって発生する撮像画像の変形を「像ブレ」とする。図５（ａ）および（ｂ）に示すように、「装置ブレ」にはヨー（ＹＡＷ）、ピッチ（ＰＩＴＣＨ）、ロール（ＲＯＬＬ）方向の３種類の「角度ブレ」と、水平、垂直、光軸方向の３種類の「シフトブレ」が存在する。方向を指定しない「装置ブレ」は装置の動きに関するこれら６種類の方向成分の総称である。また、方向を指定しない「像ブレ」は、図６（ａ）～（ｆ）に示す、並進（水平および垂直）、回転、あおり（水平および垂直）、拡大縮小、せん断の８種類の像変形の総称である。

【0013】

図１は、本発明の実施形態に係る画像処理装置の一例としてのデジタルビデオカメラ１００（以下、単にビデオカメラ１００という）の機能構成例を示すブロック図である。なお、図１にはビデオカメラ１００が有する構成のうち、実施形態を説明する上で必要となる構成のみを記載している点に留意されたい。

【0014】

制御部１０１は例えばＣＰＵであり、例えばＲＯＭ１３２に記憶されたプログラムをＲＡＭ１３３に読み込んで実行し、ビデオカメラ１００の各部を制御することによりビデオカメラ１００の機能を実現する。ＲＯＭ１３２は例えば書き換え可能な不揮発性メモリであり、制御部１０１のＣＰＵが実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１３３は、制御部１０１のＣＰＵが実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられる。

【0015】

なお、図１において、変形量演算部２００は、制御部１０１がプログラムを実行することによって実現する機能のうち、実施形態に特に関連する機能を機能ブロックとして記載したものである。

【0016】

動きセンサ１０２は、撮像装置１００の動きである装置ブレを表す動き信号を出力する。動きセンサ１０２は例えば３軸角速度センサであってよい。なお、シフトブレは３軸加速度センサによって検出してもよい。

【0017】

Ａ／Ｄ変換器１０３は、動きセンサ１０２が出力する動き信号をＡ／Ｄ変換して制御部１０１に供給する。なお、動きセンサ１０２がデジタル形式の動き信号を出力する場合、Ａ／Ｄ変換器１０３は不要である。

【0018】

撮像光学系１２０は変倍レンズ１２１やフォーカスレンズといった可動レンズを含むレンズ群と、絞りとを有し、被写体像を撮像素子１２３の撮像面に結像する。撮像素子１２３は光電変換部を有する画素が２次元的に配置された画素アレイを有する。撮像素子１２３は、撮像面に結像された被写体像を画素アレイによってアナログ画素信号群（アナログ画像信号）に変換して信号処理部１２４に出力する。撮像素子１２３の動作は制御部１０１が制御する。

【0019】

本実施形態では、撮像光学系１２０の被写体側の端部にアナモフィックレンズ１２２が着脱可能に取り付けられている。アナモフィックレンズ１２２は、被写体像を特定の一方向（ここでは撮像素子１２３の画素アレイの長辺に平行な方向とする）に圧縮する効果を有する光学系である。アナモフィックレンズ１２２は、回転非対称な像を結像する（被写体像を圧縮して結像する）レンズの一例である。なお、撮像光学系１２０は交換可能であってもよいし、ビデオカメラ１００に固定されていてもよい。また、アナモフィックレンズ１２２は、撮像光学系１２０に着脱可能であってもよいし、撮像光学系１２０に組み込まれていてもよい。以下、アナモフィックレンズ１２２の形態に関わらず、撮像素子１２３に結像される被写体像が特定の一方向に圧縮されている状態を、ビデオカメラ１００にアナモフィックレンズが装着された状態という。

【0020】

ズームエンコーダ１１９は、変倍レンズ１２１の位置（ズーム位置）を検出し、制御部１０１（変形量演算部２００）に出力する。また、撮像光学系１２０は、フォーカスレンズの位置や絞り値についてもズーム位置と同様に制御部１０１に出力する。制御部１０１が変倍レンズ１２１およびフォーカスレンズの位置を制御することにより、撮像光学系１２０の焦点距離（画角）や合焦距離を制御する。

【0021】

操作部１１７は、ユーザがビデオカメラ１００に各種の指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。操作部１１７に対するユーザ操作は制御部１０１によって検出される。操作部１１７を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１１７には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。レリーズスイッチは静止画記録用のスイッチであり、制御部１０１はレリーズスイッチの半押し状態を撮影準備指示、全押し状態を撮影開始指示と認識する。また、制御部１０１は、動画記録スイッチが撮影スタンバイ状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識する。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。また、入力デバイスはタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。また、操作部１１７は、音声入力や視線入力など、非接触な入力方法に対応した入力デバイスを含んでもよい。

【0022】

信号処理部１２４は、撮像素子１２３からのアナログ画像信号に対して予め定められた画像処理を適用し、信号や画像データを生成したり、各種の情報を取得および／または生成したりする。信号処理部１２４は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。また、信号処理部１２４の機能の少なくとも一部は、制御部１０１がプログラムを実行することによって実現してもよい。

【0023】

ここで、信号処理部１２４が適用する画像処理には、前処理、色補間処理、補正処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。前処理には、Ａ／Ｄ変換、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理や同時化処理とも呼ばれる。補正処理には、ホワイトバランス調整、階調補正（ガンマ処理）、撮像光学系１２０の光学収差や周辺減光の影響を補正する処理、色を補正する処理などが含まれる。データ加工処理には、合成処理、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の算出処理などである。特殊効果処理には、ぼかしの付加、色調の変更、リライティング処理などが含まれる。なお、これらは信号処理部１２４が適用可能な画像処理の例示であり、信号処理部１２４が適用する画像処理を限定するものではない。

【0024】

動画撮影時に信号処理部１２４は、撮像素子１２３が所定のフレームレートで出力するアナログ画像信号に対して画像処理を適用してフレーム画像データを生成し、画像メモリ１２５に順次書き込む。

【0025】

画像変形部１２７は、変形量演算部２００で算出された画像変形量に基づいて、画像メモリ１２５に格納された画像データに対して幾何学的な変形処理を適用することにより、像ブレを補正する。画像変形部１２７の動作の詳細については後述する。設定などにより像ブレ補正を行わない場合、画像変形部１２７は幾何学的な変形処理を適用しない。

【0026】

画像変形部１２７の出力する画像データは、記録制御部１２８および表示制御部１３０に出力される。なお、信号処理部１２４が画像メモリ１２５に書き込むフレーム画像データの形式によっては、記録や表示に用いるために現像処理、スケーリング処理、符号化処理などが必要な場合がある。この場合、画像変形部１２７の出力する画像データに対して信号処理部１２４で必要な処理を適用してから記録制御部１２８および表示制御部１３０に出力してもよい。あるいは、画像変形部１２７から供給される画像データから、記録制御部１２８および表示制御部１３０が、それぞれ記録用の画像データおよび表示用の画像データを生成してもよい。

【0027】

表示制御部１３０はビデオメモリ（ＶＲＡＭ）を有し、ビデオメモリに格納された表示用画像データに基づく信号を表示デバイス１３１に供給する。表示用画像データは、画像変形部１２７もしくは信号処理部１２４から供給される画像データであってもよいし、画像変形部１２７から供給される画像データに基づいて表示制御部１３０が生成してもよい。表示デバイス１３１は例えばＬＣＤである。表示デバイス１３１はタッチディスプレイであってもよい。

【0028】

記録制御部１２８はバッファメモリを有し、バッファメモリに格納された記録用画像データに基づく画像データファイルを記録媒体１２９に記録する。記録用画像データは、画像変形部１２７もしくは信号処理部１２４から供給される画像データであってもよいし、画像変形部１２７から供給される画像データに基づいて記録制御部１２８が生成してもよい。記録媒体１２９は例えば半導体メモリカードである。なお、記録媒体１２９は外部の記録装置であってもよい。なお、記録制御部１２８による記録は、操作部１１７を通じてユーザから撮影開始指示（静止画）や記録開始指示（動画）が入力されたことに応じて開始される。

【0029】

ここで、アナモフィックレンズ１２２の特性に関する情報の取得方法について説明する。アナモフィックレンズ１２２の特性とは、例えば光学像の圧縮率や圧縮方向、歪曲補正情報などである。なお、アナモフィックレンズ１２２の光学像の圧縮方向は基本的に撮像素子１２３の画素アレイの長辺に平行な方向であるため、圧縮方向の情報はなくてもよい。

【0030】

撮影光学系１２０がアナモフィックレンズ１２２を含んだ交換レンズである場合、撮影光学系１２０が有する制御部との通信により、制御部１０１はアナモフィックレンズ１２２の特性に関する情報を取得可能である。一方、アナモフィックレンズ１２２がコンバージョンレンズやアダプタであるなど、制御部１０１と通信できない構成の場合には、例えば操作部１１７に対するユーザ操作によりユーザがアナモフィックレンズ１２２の特性に関する情報を設定することができる。あるいは、アナモフィックレンズ１２２の型番などを指定して外部装置から通信によって情報を取得してもよい。アナモフィックレンズ１２２の特性に関する情報は、取得方法にかかわらず、変形量演算部２００に供給される。

【0031】

変形量演算部２００は、動きセンサ１０２の出力する動き信号、ズームエンコーダ１１９の出力するズーム位置、およびアナモフィックレンズ１２２の特性に関する情報とを用いて、像ブレを補正するための幾何学的な変形を表す画像変形量を算出する。そして、変形量演算部２００は、算出した画像変形量を画像変形部１２７に設定する。変形量演算部２００の処理の詳細は後述する。

【0032】

（画像変形部１２７の動作）
画像変形部１２７は、例えば射影変換などを用いて、画像データに対して幾何学的な画像変形処理を適用する。撮像画像において、撮像光学系１２０の光軸に対応する画像座標を原点とし、画素アレイの長辺に沿う方向をＸ軸、短辺に沿う方向をＹ軸とする直交座標系を規定する。そして、画像メモリ１２５に格納された変形前の画像における画素座標を（Ｘ０，Ｙ０）、変形後の画像における画素座標を（Ｘ１，Ｙ１）とする。この場合、変形前後の画素座標の関係は、同次座標表現を用いると（式１）のように記述することができる。

【数1】

ここで、”～”は（式１）の左辺と右辺が同値関係にあること（左辺または右辺に任意の倍率をかけても意味が変わらないこと）を示す。等号を用いると（式１）は以下の（式２）および（式３）で表される。

【数2】

【0033】

また（式１）における３×３の行列は一般的に射影変換行列と呼ばれ、行列の要素ｈ１からｈ８は、変形量演算部２００が画像変形量として画像変形部１２７に設定する。なお、以下の説明では、画像変形部１２７が射影変換を用いて幾何学的な変形を実現するものとするが、例えばアフィン変換など、他の公知の幾何学的変換手法を用いてもよい。

【0034】

（変形量演算部２００の動作）
次に、変形量演算部２００の動作の詳細について説明する。変形量演算部２００は、動き信号から得られる装置ブレの角度と、ズーム位置から得られる撮像光学系１２０の焦点距離と、アナモフィックレンズ１２２の特性に関する情報とを用いて画像変形量を算出する。具体的には、変形量演算部２００は（式１）の射影変換行列を画像変形量として算出する。

【0035】

本実施形態において変形量演算部２００は、まず、動き信号から得られる装置ブレの角度と、ズーム位置から得られる撮像光学系１２０の焦点距離とから射影変換行列を算出する。そして、変形量演算部２００は、アナモフィックレンズ１２２の特性に関する情報を用いて射影変換行列を補正し、補正後の射影変換行列を画像変形量として画像変形部１２７に設定する。

【0036】

まず、装置ブレの角度と撮像光学系１２０の焦点距離とを用いた射影変換行列の算出動作について説明する。図２（ａ）は、ビデオカメラ１００による被写体像の撮像面への投影を、ピンホールカメラモデルを用いて示した斜視図である。ピンホールカメラモデルにおけるピンホールの位置を原点（０，０，０）とするＸＹＺ空間座標を考える。撮像面をピンホールよりも後ろ側に配置すると、撮像面に投影される被写体像が倒立するため、図２（ａ）では仮想的にピンホール位置よりも前（被写体側）に撮像面Ｉを配置している。

【0037】

ＸＹＺ空間座標の原点（０，０，０）と撮像面ＩとのＺ軸方向の距離は、撮像光学系１２０の焦点距離ｆに相当する。撮像面Ｉ上の座標はＸＹＺ座標系のＺ軸と撮像面との交点を原点（０，０）とするｕｖ平面座標系を設定する。したがって、ｕｖ平面座標系の原点は、ＸＹＺ座標系における座標（０，０，ｆ）になる。なお、Ｘ軸とｕ軸、Ｙ軸とｖ軸はそれぞれ同じ方向を有する。

【0038】

この場合、ｕｖ平面座標系の座標Ｐ（ｕ，ｖ）は、ＸＹＺ空間座標系における被写体の座標Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉに投影された座標である。したがって、座標Ｐと座標Ａとの関係は（式４）で表すことができる。

【数3】

【0039】

（式４）は、同次座標を用いると、（式５）で表すことができる。

【数4】

ここでは（式５）の３×４の行列の４列目の要素は０であるため、（式５）は（式６）と同じである。

【数5】

【0040】

図２（ｂ）は、図２（ａ）のピンホールカメラモデルを、Ｚ軸を回転軸として回転させた状態を示している。図２（ｂ）において、Ｘ’Ｙ’Ｚ’空間座標系は、ＸＹＺ空間座標系をＺ軸周りに回転した座標系である。Ｘ’Ｙ’Ｚ’空間座標系の原点（０，０，０）は、ＸＹＺ空間座標系と一致している。つまり、図２（ｂ）は、ビデオカメラ１００の動き（装置ブレ）がロール方向の角度ブレ成分のみを有し、シフトブレ成分および、ヨー、ピッチ方向の角度ブレ成分を有していない状態を表現している。

【0041】

図２（ａ）と図２（ｂ）とにおいて、座標系間の関係に変化はない。したがって、図２（ｂ）におけるｕ’ｖ’平面座標系の原点（０，０）は、Ｘ’Ｙ’Ｚ’空間座標系における座標（０，０，ｆ）である。また、ｕ’ｖ’平面座標系の座標Ｐ’（ｕ’，ｖ’）は、Ｘ’Ｙ’Ｚ’空間座標系における被写体の座標Ａ’（Ｘ’，Ｙ’，Ｚ’）が、撮像面Ｉ’に投影された座標である。したがって、座標Ｐ’と座標Ａ’との関係は、同次座標を用いると、（式６）と同様に（式７）で表すことができる。

【数6】

【0042】

また、図２（ａ）における被写体の座標Ａと、図２（ｂ）における被写体の座標Ａ’とは、世界座標系において変化していない（すなわち、静止している）ため、座標Ａと座標Ａ’との関係は、装置ブレのロール方向成分をＲとすると、（式８）で表すことができる。

【数7】

【0043】

さらに、（式６）および（式７）を変形して（式８）に代入すると（式９）が得られる。

【数8】

【0044】

（式９）は、ピンホールカメラモデルの回転前後における、撮像面上の座標（ｕ，ｖ）と座標（ｕ’，ｖ’）の対応関係を表している。換言すれば、（式９）は、ビデオカメラ１００の装置ブレのロール方向成分によって生じる撮像面上での画素位置の移動を表している。そのため、（式９）を変形して、回転後の座標（ｕ’，ｖ’）から回転前の座標（ｕ，ｖ）を得る（式１０）により、ロール方向の像ブレを補正することができる。

【数9】

【0045】

したがって、ロール方向の像ブレを補正するための画像変形量を表す射影変換行列Ｈは（式１１）で表される。

【数10】

【0046】

ここでは説明および理解を容易にするため、装置ブレがロール方向のみを有するものとして説明したが、装置ブレが他の方向成分を含む場合も、Ｒの成分を増やすことによって同様の考え方が適用できる。ここで、装置ブレのヨー方向成分をθy、ピッチ方向成分をθp、ロール方向成分をθrとすると、上述した式におけるＲは（式１２）で表すことができる。

【数11】

【0047】

そして、（式１１）に示した、像ブレを補正するための射影変換行列Ｈは、（式１３）を用いて、並進ｔ^→、拡大縮小ｓ（定数）、回転ｒ（行列）、せん断ｋ（行列）、あおりν^→の各変形成分に分解することができる。

【数12】

t_x … 水平並進
t_y … 垂直並進
θ … 回転角
ν_x … 水平あおり
ν_y … 垂直あおり
α … せん断の非等方倍率
φ … せん断の方向角

【0048】

（式１１）～（式１３）より、各変形成分に対する方程式を解くと、（式１４）～（式２１）が得られる。

【数13】

【0049】

本実施形態では、変形量演算部２００の処理負荷を軽減するため、以下に説明するように演算を簡略化する。ビデオカメラ１００の角度ブレは、パンニングなど、ユーザーが意図的にビデオカメラ１００を動かす場合を除き、それほど大きくならない。よって、ビデオカメラ１００の角度ブレの大きさ（ブレ角度）がγのとき、cosγ=1、sinγtanγ=0、sinγsinγ=0と近似すると、（式１４）～（式２１）の近似式（式２２）～（式２９）が得られる。

【数14】

【0050】

このとき、（式２７）～（式２９）からわかるように、拡大縮小の倍率ｓは１、せん断の非等方倍率αは１、方向角ｔａｎφは０度となる。すなわち、ビデオカメラ１００の角度ブレに起因する像ブレの変形成分において、拡大縮小およびせん断の成分は、他の変形成分と比較して小さい。

【0051】

次に、図３を用いて、変形量演算部２００の機能構成と動作の一例について具体的に説明する。なお、以下の説明において変形量演算部２００が有する機能ブロックを主体として説明される動作は、実際には制御部１０１がプログラムを実行することによって実現される。

【0052】

なお、（式２２）、（式２３）から、装置ブレのヨー方向成分θyによって、像ブレには水平方向の並進ｔ_xおよび水平方向のあおりν_xの変形成分が生じることが分かる。また、（式２５）、（式２６）から、装置ブレのピッチ方向成分θpによって、像ブレには垂直方向の並進ｔ_yおよび垂直方向のあおりν_yの変形成分が生じることが分かる。

【0053】

方向が異なる同種の変形成分については同じ処理によって補正することができる。そのため、以下では一つの方向の変形成分の補正処理についてのみ説明する。
図３において、符号２０１から２０５のブロックは、像ブレの並進変形成分の補正量を算出する。符号２１１から２１５までのブロックは、像ブレのあおり変形成分の補正量を算出する。また、符号２２１および２２３から２２６までのブロックは、像ブレの回転変形成分の補正量を算出する。符号２２７のブロックは、アナモフィックレンズが含まれる場合に、回転変形成分を補正したときに画像を正しく変形するためのせん断変形成分の補正量を算出する。

【0054】

まず、並進変形成分の補正量の算出について説明する。ＨＰＦ２０１には、Ａ／Ｄ変換器１０３の出力のうち、ヨー方向またはピッチ方向の角速度データが供給される。ＨＰＦ２０１は角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。ＨＰＦ２０１のカットオフ周波数は例えば実験的に予め定めることができる。また、ＨＰＦ２０１のカットオフ周波数は可変であってよい。なおＨＰＦ２０１は必須ではなく、Ａ／Ｄ変換器１０３からの出力を乗算器２０２に直接供給してもよい。

【0055】

焦点距離取得部２３１は、ズームエンコーダ１１９が出力するズーム位置に基づいて撮像光学系１２０の焦点距離ｆを取得する。焦点距離取得部２３１は取得した焦点距離ｆを乗算器２０２および除算器２１２に出力する。ズーム位置から焦点距離を求める方法に特に制限はなく、公知の任意の方法を用いることができる。例えば、ズーム位置と焦点距離との関係を関数またはテーブルとして保持しておき、ズーム位置を関数に代入したり、ズーム位置を用いてテーブルを参照したりすることにより焦点距離を得ることができる。関数やテーブルなど、ズーム位置から焦点距離を求めるための情報は撮像光学系１２０から取得してもよい。また、ズームエンコーダ１１９が焦点距離を直接出力可能な場合、焦点距離取得部２３１は不要である。

【0056】

乗算器２０２は、ＨＰＦ２０１の出力に、焦点距離取得部２３１の出力する焦点距離ｆを乗算し、センタリング部２０３に供給する。

【0057】

センタリング部２０３は、ビデオカメラ１００のヨー方向またはピッチ方向の動きが一定量を超える場合に、ブレ補正量をゼロに戻す入力値（以下、センタリング量とする）を、乗算器２０２の出力に加算する。センタリング量の大きさは可変であってよい。なおセンタリング部２０３は必須ではなく、乗算器２０２の出力を積分器２０４に直接供給してもよい。

【0058】

積分器２０４は、センタリング部２０３からの出力を積分し、積分値を飽和防止部２０５に供給する。積分器２０４の時定数は可変であってよい。

【0059】

飽和防止部２０５は、積分器２０４から供給される積分値が所定の閾値を超えないように制限する。飽和防止部２０５は、例えば積分値と閾値との差が所定値未満になると、積分値の増加を抑制する。例えば飽和防止部２０５は、（１）ＨＰＦ２０１のカットオフ周波数を高くする、（２）積分器２０４の時定数を短くする、（３）センタリング部２０３のセンタリング量を大きくする、の１つ以上を実行することにより、積分値の増加を抑制する。なお、これらの制御によっても積分器２０４の出力が閾値を超える場合、飽和防止部２０５は閾値に等しい値を出力する。飽和防止部２０５の出力は、像ブレの並進変形成分の補正量として変形量合成部２３０に供給される。

【0060】

次に、あおり変形成分の補正量の算出について説明する。あおり変形成分の補正量を算出する符号２１１から２１５までのブロックは、乗算器２０２と除算器２１２の処理を除いて、符号２０１から２０５までのブロックとそれぞれ同じ処理を行う。そのため、除算器２１２についてのみ説明し、ブロック２１１、２１２～２１５についての説明は省略する。

【0061】

除算器２１２は、ＨＰＦ２１１の出力を焦点距離取得部２３１の出力する焦点距離ｆで除算し、センタリング部２１３に供給する。除算器２１２は焦点距離ｆの逆数１／ｆを乗算する乗算器としてもよい。焦点距離ｆでの除算は、（式２５）および（式２６）に示したあおり変形成分の算出式に基づく。飽和防止部２１５の出力は、像ブレにおけるあおり変形成分の補正量として変形量合成部２３０に供給される。

【0062】

次に、回転変形成分の補正量の算出について説明する。ＨＰＦ２２１には、Ａ／Ｄ変換器１０３の出力のうち、ロール方向の角速度データが供給される。ＨＰＦ２２１は角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。ＨＰＦ２２１のカットオフ周波数は例えば実験的に予め定めることができる。また、ＨＰＦ２２１のカットオフ周波数は可変であってよい。なおＨＰＦ２２１は必須ではなく、Ａ／Ｄ変換器１０３からの出力をセンタリング部２２３に直接供給してもよい。

【0063】

センタリング部２２３は、ビデオカメラ１００のロール方向の動きが一定量を超える場合に、センタリング部２０３、２１３と同様にセンタリング量を、ＨＰＦ２２１の出力に加算する。なおセンタリング部２２３は必須ではなく、ＨＰＦ２２１またはＡ／Ｄ変換器１０３からの出力を積分器２２４に直接供給してもよい。

【0064】

積分器２２４は、センタリング部２０３からの出力を積分し、積分値を飽和防止部２２５に供給する。

【0065】

飽和防止部２２５は、積分器２２４から供給される積分値が所定の閾値を超えないように制限する。飽和防止部２２５は、例えば積分値と閾値との差が所定値未満になると、積分値の増加を抑制する。例えば飽和防止部２２５は、（１）ＨＰＦ２２１のカットオフ周波数を高くする、（２）積分器２２４の時定数を短くする、（３）センタリング部２２３のセンタリング量を大きくする、の１つ以上を実行することにより、積分値の増加を抑制する。なお、これらの制御によっても積分器２２４の出力が閾値を超える場合、飽和防止部２２５は閾値に等しい値を出力する。

【0066】

飽和防止部２２５は、ビデオカメラ１００にアナモフィックレンズが装着されているか否かに応じて積分値の閾値を変更する。アナモフィックレンズの装着有無に応じた閾値は予め設定しておくことができる。飽和防止部２２５の出力は、補正量修正部２２６に供給される。

【0067】

補正量修正部２２６は、ビデオカメラ１００にアナモフィックレンズが装着されている際に、アナモフィックレンズの圧縮率に応じて回転変形成分の補正量を修正する。補正量の修正方法については、後で詳しく説明する。補正量修正部２２６の出力は、回転変形成分の補正量として変形量合成部２３０に供給されるとともに、せん断算出部２２７にも供給される。

【0068】

せん断算出部２２７は、ビデオカメラ１００にアナモフィックレンズが装着されている際の回転変形成分の補正において、被写体像を正しく変形させるためのせん断の補正量を算出する。せん断の補正量の算出については、後で詳しく説明する。せん断算出部２２７の出力はせん断補正量として変形量合成部２３０に供給される。

【0069】

変形量合成部２３０は、飽和防止部２０５および２１５、補正量修正部２２６、およびせん断算出部２２７から供給される、像ブレの各変形成分の補正量を合成する。具体的には変形量合成部２３０は（式１３）に従って（式１）の射影変換行列を算出する。変形量合成部２３０は、算出した射影変換行列の各要素の値を、画像変形部１２７に出力（設定）する。画像変形部１２７は、変形量合成部２３０が設定した射影変換行列を用いた幾何学変形を画像データに適用することにより、像ブレを補正する。

【0070】

次に、アナモフィックレンズによって生じる画像変形と、それを表す射影変換行列について説明する。図４（ａ）は、アナモフィックレンズによって被写体像を撮像面の水平方向に圧縮（スクイーズ）して記録し、被写体像を撮影後に水平方向に引き伸ばし（ディスクイーズ）して再生する手順において生じる画像変形を模式的に示す図である。ここでは一例として、撮影範囲にカメラに正対する正方形の被写体が１つ存在する場合を示している。例えばアナモフィックレンズの水平方向の圧縮率が１／２（垂直方向の圧縮はなし）であるとすると、撮像面に結像される被写体像は、水平方向の大きさが１／２に圧縮されるため、正方形の被写体は縦長の長方形に変形した像で記録される。再生時に画像を水平方向に２倍引き伸ばすディスクイーズ処理することにより、アナモフィックレンズによる圧縮効果が取り除かれ、被写体の形状が正方形に戻る。

【0071】

アナモフィックレンズによる水平方向の圧縮率がａ（＜１）、水平方向の圧縮率が１（圧縮なし）とすると、アナモフィックレンズによる画像変形は、（式３０）の射影変換行列で表現することができる。

【数15】

【0072】

なお、圧縮率ａは、１／２に圧縮する場合０．５となる。アナモフィックレンズの圧縮率ａとしては、０．５あるいは０．７５が一般的であるが、特に制限はない。また、垂直方向についても圧縮されてもよい。アナモフィックレンズの圧縮率（あるいは圧縮率の逆数である倍率）は、制御部１０１がレンズユニットから取得したり、ユーザが設定したりすることができる。

【0073】

図４（ａ）に示したように、アナモフィックレンズを用いて撮影され、記録された画像は、ディスクイーズ処理によって圧縮の効果を除去することにより、変形のない画像に戻すことができる。圧縮率ａで記録された画像のディスクイーズ処理は、（式３１）の射影変換行列で表現することができる。

【数16】

（式３０）と（式３１）とから、（ｕ”，ｖ”）＝（ｕ，ｖ）となり、圧縮変形のない元の座標に戻せることがわかる。

【0074】

次に、ビデオカメラ１００にアナモフィックレンズが装着された状態の撮影において、ビデオカメラ１００にロール方向の角度ブレが生じた場合を考える。図４（ｂ）は、ビデオカメラ１００にロール方向の角度ブレが生じたときにアナモフィックレンズにより撮像面に結像される被写体像について模式的に示している。

【0075】

ここでも図４（ａ）と同様の撮影シーンであるとすると、被写体が回転した状態で撮像面の水平方向に圧縮された被写体像が結像されるため、正方形の被写体は平行四辺形の像で記録される。このときの画像変形を表す射影変換行列は、ロール方向の角度ブレを表す射影変換行列と、アナモフィックレンズによる画像変形の射影変換行列（式３１）との組み合わせによって表現できる。

【0076】

ロール方向の角度ブレをθrとすると、（式１２）の右辺の第３項の射影変換行列として表現できる。これに、アナモフィックレンズによる画像変形の射影変換行列（式３１）と組み合わせると、アナモフィックレンズを用いた撮影時の角度ブレによって生じる画像変形は、（式３２）の射影変換行列で表すことができる。

【数17】

【0077】

ここで、ロール方向の回転変形を補正するために、回転角を（－θr）とした、（式３３）の射影変換行列Ｈを考える。

【数18】

【0078】

（式３２）に（式３３）の射影変換行列Ｈを適用することによって単純にθrの回転変形を補正を行うと、（式３４）のようになってしまう。

【数19】

【0079】

（式３４）においても（式３１）と同様に（ｕ”，ｖ”）がディスクイーズ処理後の画像上の座標を表す。（式３４）から、回転変形を補正した画像をディスクイーズ処理しても、被写体の形が正方形には戻らず、歪んだ形状になることが分かる。

【0080】

図４（ｃ）は、（式３４）を用いて回転変形を補正し、ディスクイーズ処理した際に生じる問題を模式的に示した図である。このように、アナモフィックレンズによって圧縮された被写体像が角度ブレによって変形した場合、通常の回転変形補正では対応できないことがわかる。

【0081】

そこで、本実施形態では、アナモフィックレンズの圧縮率を考慮したロール方向の回転変形補正とせん断処理とを用いて、アナモフィックレンズを装着時のロール方向の角度ブレによって生じる像ブレを正しく補正する。

【0082】

図４（ｄ）は、本実施形態の補正方法を模式的に示した図である。図４（ｃ）との比較から分かるように、ロール方向の角度ブレに起因する回転変形を補正した後、ディスクイーズ処理の前にせん断補正処理を適用することにより、適切に像ブレを補正することができる。

【0083】

以下、図４（ｄ）に示した補正処理を実現する射影変換行列について説明する。アナモフィックレンズによる圧縮によって生じる被写体像の歪みを考慮して、（式３５）に示すような回転補正とせん断による射影変換行列を用いる。

【数20】

ここで、（式３５）の中のパラメータΦ、γ、Ｂは、アナモフィックレンズの圧縮率ａとロール方向の角度ブレの回転角θrを用いて、それぞれ（式３６）、（式３７）、（式３８）で表現される値である。（式３５）の射影変換行列は、以下の（式３９）のように変形できる。

【数21】

（式３９）は、ディスクイーズ処理と同様の画像変形を先に施してアナモフィックレンズによる被写体像の歪みを補正した後に、回転角θrの回転変形を補正し、再度アナモフィックレンズによる変形を適用する（式４０）の射影変換行列と同じである。すなわち、（式３５）の射影変換行列は、アナモフィックレンズによる圧縮を解除した状態で角度ブレによる回転変形を補正し、その後アナモフィックレンズによる圧縮と同等の変形を適用する処理と同等である。

【数22】

【0084】

（式３９）の射影変換行列を用いると、ディスクイーズ処理を含めた座標変換は（式４１）のように表現できる。

【数23】

（式４１）の２行目の各行列の意味は、次の通りである。
(1)：ビデオカメラ１００に加わるロール方向の角度ブレ（回転角：θr）
(2)：アナモフィックレンズによる水平方向の圧縮（圧縮率：a）
(3)：ロール方向の角度ブレによる回転変形の補正（回転角：Φ、ただし、tanΦ=1/a・tanθr）
(4)：せん断処理（せん断の非等方倍率：B＝cosΦ/cosθr、せん断の方向角：γ－Φ、ただし、tanγ=a・tanθr）
(5):ディスクイーズ処理（水平方向の拡大率：1/ａ）

【0085】

（式４１）の結果から、（ｕ”，ｖ”）＝（ｕ，ｖ）となり、像ブレが正しく補正されることがわかる。このように、アナモフィックレンズ装着時の撮影においてロール方向の角度ブレ振れが生じた状態でも、(3)回転変形補正および(4)せん断処理を適用することにより、適切に像ブレが補正されたディスクイーズ処理後の画像を得ることができる。

【0086】

変形量演算部２００は、ビデオカメラ１００にアナモフィックレンズが装着されている場合、（式１３）の回転変形成分ｒとして（式４１）の(3)の行列を、せん断変形成分ｋとして（式４１）の(4)の行列をそれぞれ用い、（式１）の射影変換行列を算出する。
また、変形量演算部２００は、ビデオカメラ１００にアナモフィックレンズが装着されていない場合には、（式１３）をそのまま用いて（式１）の射影変換行列を算出する。

【0087】

本実施形態においては、説明および理解を容易にするため、アナモフィックレンズが撮像面の水平方向にのみ被写体像を圧縮する場合について説明した。しかし、アナモフィックレンズが垂直方向に被写体像を圧縮する場合や、水平および垂直方向に異なる圧縮率で被写体像を圧縮する場合であっても、圧縮方向ごとに同様の補正を行うことで対応可能である。

【0088】

以上説明したように、本実施形態においては、アナモフィックレンズによる圧縮を考慮したロール方向の回転変形補正とせん断処理を行う。これにより、アナモフィックレンズのような回転非対称な像を結像するレンズを装着した撮影時に光軸回りの装置ブレが生じた場合でも、適切な像ブレ補正が実現できる。

【0089】

なお、図４（ｄ）では、正方形の被写体の上下の２辺が画像中の水平方向と平行となるように回転変形補正したのち、左右方向のせん断補正処理を行っているが、その他の回転変形補正およびせん断補正処理を行ってもよい。例えば、正方形の被写体の左右の２辺が画像中の垂直方向と平行となるように回転変形補正したのち、上下方向のせん断補正処理を行ってもよい。

【0090】

また、アナモフィックレンズではなく、被写体像を撮像素子１２３の画素アレイの短辺に平行な方向に圧縮する効果を有する光学系を用いた場合でも本発明は適用可能である。その他、被写体像を撮像素子１２３の画素アレイの短辺に平行な方向および長辺に平行な方向に圧縮するが短辺に平行な方向の圧縮率と長辺に平行な方向の圧縮率とが異なる効果を有する光学系を用いた場合でも本発明は適用可能である。すなわち、被写体像を光軸と直交する第１の方向および第２の方向の少なくとも一方に圧縮し、第１の方向を第２の方向よりも相対的に圧縮する（第１の方向と第２の方向とで圧縮率が異なる）効果を有する光学系を用いた場合に本発明は適用可能である。

【0091】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0092】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0093】

１００…デジタルビデオカメラ、１０１…制御部、２００…変形量演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】