特許 7463114 画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-29

(45)【発行日】2024-04-08

(54)【発明の名称】画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240401BHJP

   G03B 15/00 20210101ALI20240401BHJP

   H04N 23/55 20230101ALI20240401BHJP

   H04N 23/63 20230101ALI20240401BHJP

   H04N 23/667 20230101ALI20240401BHJP

   H04N 23/698 20230101ALI20240401BHJP

【ＦＩ】

H04N23/60 500

G03B15/00 M

H04N23/55

H04N23/63

H04N23/667

H04N23/698

【請求項の数】 16

(21)【出願番号】P 2020009115

(22)【出願日】2020-01-23

(65)【公開番号】P2021118394

(43)【公開日】2021-08-10

【審査請求日】2023-01-10

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】中島 道紀

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１８－０３７８５９（ＪＰ，Ａ）

【文献】特開２０１８－００６９８５（ＪＰ，Ａ）

【文献】特開２００１－３５９１１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６６７

Ｈ０４Ｎ ２３／６９８

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

アナモフィックレンズを用いて撮像された、デスクイーズされていない１フレーム分の画像を、Ｎフレーム目の画像として取得する取得手段と、
前記Ｎフレーム目の画像を取得して記録する期間において、
前記Ｎフレーム目の画像をメモリに記録し、
前記メモリに記録されたＮフレーム目よりも前のフレームの画像における所定のアスペクト比の領域を水平方向に拡大して表示する、
ように制御する制御手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記制御手段は、前記所定のアスペクト比の領域を水平方向に拡大して表示する処理において、前記Ｎフレーム目よりも前のフレームの画像における前記所定のアスペクト比の領域以外の領域は使用しないように制御する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記制御手段は、前記所定のアスペクト比の領域を水平方向に拡大して表示する処理において、前記Ｎフレーム目よりも前のフレームの画像における前記所定のアスペクト比の領域を垂直方向には拡大しないように制御する、
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記Ｎフレーム目よりも前のフレームの画像は、Ｎ－１フレーム目の画像である、
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記メモリは、ＤＲＡＭである、
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記制御手段は、前記Ｎフレーム目の画像を取得して記録する期間において、前記Ｎフレーム目の画像をメモリに記録するとともに、前記Ｎフレーム目の画像を動画ファイルに記録するように制御する、
ことを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

前記Ｎフレーム目の画像を取得する期間は、前記Ｎフレーム目の１フレーム分の画像を取得する期間である、
ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。

【請求項8】

前記制御手段は、前記Ｎフレーム目の画像を取得して記録する期間において、
表示モードが撮像から表示までの遅延を抑制する第１のモードである場合に、前記Ｎフレーム目よりも前のフレームの画像における所定のアスペクト比の領域を水平方向に拡大する代わりに、前記Ｎフレーム目の画像を垂直方向に縮小して表示し、
表示モードが前記遅延を抑制する前記第１のモードと異なる第２のモードの場合に、前記Ｎフレーム目よりも前のフレームの画像における所定のアスペクト比の領域を水平方向に拡大して表示する、
ように制御する、
ことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。

【請求項9】

前記制御手段は、前記第１のモードである場合に、縮小された画像における前記所定のアスペクト比の領域以外の領域をマスクするように制御する、
ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記制御手段は、フレームレートが第１のフレームレートである場合に、前記Ｎフレーム目の画像を取得して記録する期間において、前記メモリに記録されたＮフレーム目よりも前のフレームの画像における前記所定のアスペクト比の領域を水平方向に拡大して表示するように制御する、
ことを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。

【請求項11】

前記第１のフレームレートは、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓのいずれかである、
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記制御手段は、フレームレートが前記第１のフレームレートと異なる第２のフレームレートである場合に、前記Ｎフレーム目の画像を取得して記録する期間において、前記Ｎフレーム目よりも前のフレームの画像ではなく、前記Ｎフレーム目の画像における前記所定のアスペクト比の領域を水平方向に拡大して表示するように制御する、
ことを特徴とする請求項１０または１１に記載の画像処理装置。

【請求項13】

前記第２のフレームレートは、２４ｆｐｓ、３０ｆｐｓのいずれかである、
ことを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

アナモフィックレンズを用いて撮像された、デスクイーズされていない１フレーム分の画像をＮフレーム目の画像として取得するステップと、
前記Ｎフレーム目の画像を取得して記録する期間において、
前記Ｎフレーム目の画像をメモリに記録するステップと、
前記メモリに記録されたＮフレーム目よりも前のフレームの画像における所定のアスペクト比の領域を、水平方向に拡大して表示するステップと、
を有することを特徴とする画像処理装置の制御方法。

【請求項15】

コンピュータを、請求項１から１３のいずれか一項に記載された画像処理装置の各手段として機能させるためのプログラム。

【請求項16】

コンピュータを、請求項１から１３のいずれか一項に記載された画像処理装置の各手段
として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体に関する。

【背景技術】

【0002】

近年、業務用カメラに、アナモフィックレンズによって撮影された画像を電子的に横方向の圧縮を戻して（デスクイーズして）表示する機能を搭載したものがある。ここで、アナモフィックレンズとは、撮影時に被写体像を横方向に光学的に圧縮して結像させる特殊なレンズである。アナモフィックレンズで結像された画像を撮像し、ポストプロセス時などにデスクイーズすることで横長の画像（例えば、アスペクト比が２．３９：１のシネマスコープ（登録商標）映像）を得ることができる。

【0003】

アナモフィックレンズは、レンズの特性上、デスクイーズする前の撮像画像の左右端には歪曲収差が生じる。これに対して、横方向に圧縮された画像の一部を切り出し、水平伸張した後にサイドカットしたデスクイーズ画像を表示媒体に出力する技術が知られている（特許文献１）。アナモフィックレンズの歪みが中央付近と左右端付近で大きく異なり、左右端は単純な水平伸張では被写体を正しく表現できないため、特許文献１では、サイドカットすることによって伸張した際に歪みの影響の少ない中央付近の映像のみを切り出している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０３７８５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、上述のとおり、入力される画像データの一部を使用してデスクイーズ画像を生成するため、切り出し範囲に応じてデスクイーズ画像の生成に使える時間が短くなる。例えば、入力される画像データ全体の半分の領域を切り出して横方向に２倍に伸長するデスクイーズ処理を行う場合、１フレームの画像を入力する時間の半分の時間でデスクイーズ画像を生成する必要がある。このとき、フレームレートが高い等の要因でデスクイーズ処理に使える時間が短くなると、１フレームの画像を入力する時間の半分の時間内にデスクイーズ画像の生成が完了できない虞がある。この場合、アナモフィックレンズを使用した撮影においてデスクイーズ機能が実現できなくなるという問題がある。

【0006】

そこで本発明は、フレームレートが高い場合でも、デスクイーズ画像の生成を可能とすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様は、
アナモフィックレンズを用いて撮像された、デスクイーズされていない１フレーム分の画像を、Ｎフレーム目の画像として取得する取得手段と、
前記Ｎフレーム目の画像を取得して記録する期間において、
前記Ｎフレーム目の画像をメモリに記録し、
前記メモリに記録されたＮフレーム目よりも前のフレームの画像における所定のアスペクト比の領域を、水平方向に拡大して表示する、
ように制御する制御手段と、
を有することを特徴とする画像処理装置である。

【発明の効果】

【0008】

本発明によれば、フレームレートが高い場合でも、デスクイーズ画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る撮像装置の構成図である。

【図2】本実施形態に係る画像データの生成過程の一例を示す図である。

【図3】本実施形態に係るデスクイーズ処理の一例を示す図である。

【図4】本実施形態に係る画像データの生成過程の一例を示す図である。

【図5】本実施形態に係るデスクイーズ処理の一例を示す図である。

【図6】本実施形態に係るデスクイーズ処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

（実施形態）
＜撮像装置１００の構成図＞
図１は、本実施形態に係る撮像装置１００（画像処理装置）の構成図である。

【0011】

レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、および補正レンズ群（変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えたレンズ群）等より構成される光学系である。レンズユニット１０１によって、後述のイメージセンサ１０２の結像面上に被写体像が結像される。

【0012】

イメージセンサ１０２は、光を電荷に変換して撮像信号を生成する撮像素子であって、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサである。生成された撮像信号は画像処理部１０３へ出力される。なお、撮像素子として、撮像面上のすべての画素がそれぞれ一対の受光素子により構成され、各画素においてマイクロレンズにより形成された対の光学像を該一対の受光素子により光電変換できる、いわゆるデュアルピクセルタイプのものを用いてもよい。

【0013】

画像処理部１０３は、イメージセンサ１０２より出力された撮像信号をＲＡＷデータ（ＲＡＷ画像）に変換する。画像処理部１０３は、変換後のＲＡＷデータに対して補間処理や画質調整処理等のＲＡＷ現像処理を行うことにより、ＲＡＷデータに対応したＹＵＶ形式の画像データを生成する。画像処理部１０３は、生成したＹＵＶ形式の画像データを表示用リサイズ回路１０４および記録用リサイズ回路１０５に出力する。また、画像処理部１０３は、生成したＹＵＶ形式の画像データをノイズリダクション用の画像データ（巡回ＮＲ用の画像データ）としてＲＡＭ１１１に格納する。ここで、ノイズリダクション用の画像データは、画像処理部１０３が次のフレームにおけるノイズリダクション処理に用いる画像データである。

【0014】

表示用リサイズ回路１０４は、画像処理部１０３から出力されたＹＵＶ形式の画像データに対して、リサイズ処理や後述するデスクイーズ処理を行い、表示用画像データを生成する。表示用リサイズ回路１０４は、生成した表示用画像データをＲＡＭ１１１に格納する。

【0015】

記録用リサイズ回路１０５は、画像処理部１０３から出力されたＹＵＶ形式の画像データに対して、リサイズ処理を行い、記録用画像データを生成する。記録用リサイズ回路１０５は、生成した記録用画像データをＲＡＭ１１１に格納する。

【0016】

ＯＳＤ生成回路１０６は、オンスクリーンディスプレイ（ＯＳＤ）を生成する回路であ
る。具体的には、ＯＳＤ生成回路１０６は、各種設定メニューやタイトル、時間などのＯＳＤデータを生成する。ＯＳＤ生成回路１０６は、生成したＯＳＤデータをＲＡＭ１１１に格納する。ＯＳＤデータは、ＲＡＭ１１１に格納された表示用画像データと合成され、表示部である液晶パネル１０７に表示されたり、後述の外部出力部１１５を介して外部装置に出力されたりする。

【0017】

液晶パネル１０７は、表示用画像データやＯＳＤを表示させるための表示部である。なお、表示部は液晶パネルに限定されず、有機ＥＬパネルなどの他の方式の表示部でもよい。

【0018】

システム制御部１０８は、撮像装置１００の全体を制御する制御部であって、例えば、マイクロコンピュータである。システム制御部１０８は、撮像装置１００または外部装置に画像を表示する制御を行う表示制御部であると捉えることもできる。

【0019】

操作スイッチ群１０９は、ユーザの操作を受け付けるスイッチ群である。また、操作スイッチ群１０９には、カメラ撮影を行うためのカメラモードと、画像を再生するための再生モードと、電源をＯＦＦにするパワーオフモードとのいずれかを選択するためのスイッチが含まれるものとする。

【0020】

ＲＯＭ１１０は、フラッシュＲＯＭであり、システム制御部１０８が実行するプログラムなどが格納されている。また、ＲＯＭ１１０の一部領域は、バックアップ用として、システムの状態などを保持するために使用される。

【0021】

ＲＡＭ１１１は、システム制御部１０８、画像処理部１０３および映像圧縮回路１１４等がワークメモリとして使用するための揮発性メモリである。

【0022】

メモリカードコントローラ１１２は、ＦＡＴファイルシステム等のコンピュータと互換のあるフォーマットに従って、動画像データ等をメモリカード１１３に記録する。メモリカード１１３は、撮像装置１００と着脱可能な記録媒体であって、撮像装置１００以外にもＰＣ等に装着することができる。

【0023】

映像圧縮回路１１４は、ＲＡＭ１１１に格納された画像データをエンコード（例えば、ＭＰＥＧ圧縮）して動画像データ等を生成し、ＲＡＭ１１１に出力する。

【0024】

外部出力部１１５は、表示用画像データを外部に出力するためのインターフェース（ＨＤＭＩ(登録商標）、ＳＤＩ等の出力部）である。外部出力部１１５は、４Ｋ６０Ｐや２
Ｋ６０Ｐ等の規格の信号（表示用画像データ）を出力することができる。

【0025】

バス１１６は、撮像装置１００の各部の間におけるデータのやり取りを行うためのバスである。

【0026】

＜画像データの生成過程（第１のデスクイーズ処理）＞
図２は、撮像装置１００における画像データの生成過程の一例を示す図である。ここで、レンズユニット１０１は、縦横の圧縮比が１：２のアナモフィックレンズであるものとする。

【0027】

アナモフィックレンズで撮影された画像は、使用するレンズのスクイーズ倍率（画像を収縮する倍率）に応じて、横方向（水平方向）に１／１．３３倍、または１／２倍にスクイーズ（収縮）された歪曲した画像である。このように光学的に画像を圧縮することにより、センサが取得可能な画像の画角よりも横長の画角の画像を得ることが可能となる。ア
ナモフィックレンズで撮影された画像から、使用したアナモフィックレンズのスクイーズ倍率に応じて横方向に１．３３倍、または２倍（デスクイーズ倍率）にデスクイーズ（伸張）処理することにより、シネマスコープ画像を得ることができる。

【0028】

被写体像２００は、撮像装置１００が撮像する被写体像である。被写体像２００は、レンズユニット１０１により縦横の圧縮比を１：２に圧縮された状態でイメージセンサ１０２によって結像および光電変換される（画像信号２０１）。光電変換された画像信号２０１は、画像処理部１０３によって様々な画像処理が行われた後、ＹＵＶ形式の画像データ（画像データ２０２）として、表示用リサイズ回路１０４および記録用リサイズ回路１０５に出力される。また、この画像データは、ノイズリダクション用の画像データ（巡回ＮＲ用の画像データ；画像データ２０７）としてＲＡＭ１１１に格納される。上述したように、ノイズリダクション用の画像データは、画像処理部１０３が次のフレームにおけるノイズリダクション処理に用いる画像データである。

【0029】

画像処理部１０３によって出力されたＹＵＶ形式の画像データは、表示用リサイズ回路１０４によって、後述する第１のデスクイーズ処理が行われた後に、表示用画像データ（画像データ２０３）としてＲＡＭ１１１に格納される。格納された表示用画像データは、外部出力部１１５を介して外部（外部装置）に出力される（画像データ２０４）。なお、表示用画像データは、液晶パネル１０７に出力されてもよい。また、本実施形態では、ユーザ操作によって、出力先ごとにデスクイーズのＯＮ／ＯＦＦを切り替えることができる。

【0030】

また、画像処理部１０３によって出力されたＹＵＶ形式の画像データは、記録用リサイズ回路１０５によって、記録用のサイズにリサイズされ、記録用画像データ（画像データ２０５）としてＲＡＭ１１１に格納される。格納された記録用画像データは、映像圧縮回路１１４によって圧縮され、メモリカードコントローラ１１２を介してメモリカード１１３に記録される（画像データ２０６）。

【0031】

＜第１のデスクイーズ処理＞
図３は、本実施形態に係る第１のデスクイーズ処理の一例を示す図である。画像データ３０１は、表示用リサイズ回路１０４に入力されるＹＵＶ形式の画像データを示す。表示用リサイズ回路１０４は、画像データ３０１のうち左端から１／４～３／４の領域（領域３０２）を横方向に２倍に伸張することによって表示用画像データ（画像データ３０３）を生成する。すなわち、表示用リサイズ回路１０４は、デスクイーズ処理によって、レンズユニット１０１で圧縮され画像を、縦横の圧縮比１：１の画像にしている。なお、デスクイーズ処理は、画像のアスペクト比を変更する処理であると捉えることもできる。

【0032】

ここで、第１のデスクイーズ処理では、表示用リサイズ回路１０４は、ＹＵＶ形式の画像データ（画像データ３０１）のうち半分の領域（領域３０２）のみを用いて、表示用画像データ（画像データ３０３）を生成している。また、ＹＵＶ形式の画像データは、水平方向に走査されて１ラインごとに表示用リサイズ回路１０４に入力される。この１ラインの入力時間を時間Ｔとすると、１ラインの表示用画像データを時間Ｔ／２で生成する必要がある。

【0033】

しかし、表示用リサイズ回路１０４の性能には限界があるため、リサイズ処理に使える時間（時間Ｔ／２）が短くなると、表示用画像データの生成が間に合わなくなるおそれがある。例えば、フレームレートが６０［ｆｐｓ］である場合は、時間Ｔ＝１／６０［ｓ］、時間Ｔ／２＝１／１２０［ｓ］である。また、フレームレートが１２０［ｆｐｓ］である場合は、時間Ｔ＝１／１２０［ｓ］、時間Ｔ／２＝１／２４０［ｓ］である。そのため、フレームレートが高くなるとリサイズ処理に使える時間は短くなり、上述の第１のデス
クイーズ処理が行えなくなるおそれがある。

【0034】

そこで、本実施形態では、第１のデスクイーズ処理の代わりに、第２のデスクイーズ処理または第３のデスクイーズ処理を行う例について説明する。

【0035】

＜画像データの生成過程（第２、第３のデスクイーズ処理）＞
図４は、撮像装置１００における画像データの生成過程の一例を示す図である。ここで、レンズユニット１０１は、縦横の圧縮比が１：２のアナモフィックレンズであるものとする。なお、図４において、図２と同じ処理を行う箇所については、同じ番号を付して説明を省略する。

【0036】

本実施形態では、第２のデスクイーズ処理を行う場合に、表示用リサイズ回路１０４は、ＲＡＭ１１１から取得される１フレーム前の画像データを用いて、デスクイーズ処理を行う。具体的には、表示用リサイズ回路１０４は、ＲＡＭ１１１から取得される１フレーム前の巡回ＮＲ用の画像データ（画像データ２０７）のうち、表示に用いる領域のみを読み出して、デスクイーズ処理を行い、表示用画像データ（画像データ４０１）を生成する。そして、表示用リサイズ回路１０４は、生成した表示用画像データをＲＡＭ１１１に格納する。格納された表示用画像データは、外部出力部１１５を介して外部（外部装置）に出力される（画像データ４１１）。なお、表示用画像データは、液晶パネル１０７に出力されてもよい。

【0037】

また、本実施形態では、第３のデスクイーズ処理を行う場合に、表示用リサイズ回路１０４は、画像処理部１０３によって出力された現在のフレームのＹＵＶ形式の画像データを用いて、デスクイーズ処理を行う。具体的には、表示用リサイズ回路１０４は、画像処理部１０３によって出力された現在のフレームのＹＵＶ形式の画像データ（画像データ２０２）に対して縦方向（垂直方向）に圧縮する処理（第３のデスクイーズ処理）を行う。第３のデスクイーズ処理が行われた画像データは、表示用画像データ（画像データ４０２）としてＲＡＭ１１１に格納される。格納された表示用画像データは、外部出力部１１５を介して、第２のデスクイーズ処理で生成された表示用画像データ（画像データ４０１）と同じ画角となるように上下左右の端部に黒縁が付加された後に外部（外部装置）に出力される（画像データ４１２）。なお、表示用画像データは、液晶パネル１０７に出力されてもよい。

【0038】

なお、デスクイーズ処理を行わない場合には、表示用リサイズ回路１０４は、画像処理部１０３によって出力された現在のフレームのＹＵＶ形式の画像データ（画像データ２０２）を用いて表示用画像データを生成する。生成された表示用画像データ（画像データ４０３）はＲＡＭ１１１に格納される。格納された表示用画像データは、外部出力部１１５を介して外部（外部装置）に出力される（画像データ４１３）。なお、表示用画像データは、液晶パネル１０７に出力されてもよい。

【0039】

＜第２のデスクイーズ処理＞
図５Ａは、表示用リサイズ回路１０４によって行われる第２のデスクイーズ処理の一例を示す図である。表示用リサイズ回路１０４は、ＲＡＭ１１１から取得される１フレーム前の巡回ＮＲ用の画像データ（画像データ５０１）を取得する。そして、表示用リサイズ回路１０４は、１フレーム前の巡回ＮＲ用の画像データのうち、表示に用いる領域（領域５０２）のみを切り出して、横方向に伸張（拡大）することで、表示用画像データ（画像データ５０３）を生成する。第２のデスクイーズ処理の際に、１フレーム前の巡回ＮＲ用の画像データのすべてがＲＡＭ１１１に格納済みであるため、表示用リサイズ回路１０４は、当該画像データの一部（領域５０２）をＲＡＭ１１１から直ちに読み出すことができる。このため、時間Ｔの間にデスクイーズ処理を行えばよく、第１のデスクイーズ処理に
掛かる時間（時間Ｔ／２）の２倍の時間をかけて表示用画像データを生成すればよいことになる。なお、第２のデスクイーズ処理は、メモリに記録されたＮフレーム目よりも前のフレームの画像における所定のアスペクト比の領域を、水平方向に拡大する処理であると捉えることもできる。

【0040】

＜第３のデスクイーズ処理＞
図５Ｂは、表示用リサイズ回路１０４によって行われる第３のデスクイーズ処理の一例を示す図である。表示用リサイズ回路１０４は、画像処理部１０３によって出力されたＹＵＶ形式の画像データ（画像データ５１１）の全ての領域を用いて、縦方向に１／２に圧縮することで、表示用画像データ（画像データ５１２）を生成する。なお、表示用リサイズ回路１０４は、レンズユニット１０１で圧縮され画像の縦横比を１：１に戻した表示用画像データを生成していると捉えることもできる。第３のデスクイーズ処理では、画像データ５１１の全体を使って表示用画像データを生成している。そのため、第３のデスクイーズ処理では、第１のデスクイーズ処理に掛かる時間（時間Ｔ／２）の２倍の時間（時間Ｔ）をかけて表示用画像データを生成すればよいことになる。なお、第３のデスクイーズ処理は、Ｎフレーム目の画像を垂直方向に縮小する処理であると捉えることもできる。

【0041】

＜処理内容＞
次に、図６に示すフローチャートを用いて、本実施形態に係る表示処理の例を説明する。このフローチャートにおける各処理は、システム制御部１０８が、ＲＯＭ１１０に格納されたプログラムをＲＡＭ１１１に展開して実行することにより実現される。また撮像装置１００では、動画の記録フレームレートを２４［ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）］、３０［ｆｐｓ］、６０［ｆｐｓ］、１２０［ｆｐｓ］、２４０［ｆｐｓ］のいずれかに設定できるものとする。そして、図６の処理は、２４［ｆｐｓ］、３０［ｆｐｓ］、６０［ｆｐｓ］、１２０［ｆｐｓ］、２４０［ｆｐｓ］のいずれで動画の記録を行っている場合にも実行可能であるものとする。

【0042】

Ｓ６０１では、システム制御部１０８は、Ｎフレーム目のＹＵＶ形式の画像データを取得する。具体的には、システム制御部１０８は、イメージセンサ１０２上に結像した像（レンズユニット１０１により縦横比が１：２に圧縮された像）を、光電変換してＮフレーム目の撮像信号を生成する。そして、システム制御部１０８は、画像処理部１０３を制御して、撮像信号をＲＡＷデータ（ＲＡＷ画像）に変換する。その後、システム制御部１０８は、ＲＡＷデータに対して補間処理や画質調整処理等のＲＡＷ現像処理を行ってＲＡＷデータに対応したＹＵＶ形式の画像データを生成（取得）し、表示用リサイズ回路１０４および映像圧縮回路１１４に出力する。

【0043】

Ｓ６０２では、システム制御部１０８は、記録用リサイズ回路１０５を制御して、Ｎフレーム目のＹＵＶ形式の画像データに対してリサイズ処理を行い、記録用画像データ生成を作成してＲＡＭ１１１に格納する。ＲＡＭ１１１に格納された記録用画像データは映像圧縮回路１１４でエンコードされ動画像データをして、メモリカードコントローラ１１２を介してメモリカード１１３に書き込まれる。

【0044】

Ｓ６０３では、システム制御部１０８は、画像処理部１０３を制御して、Ｎフレーム目の巡回ＮＲ用の画像データ（画像データ２０７）をＲＡＭ１１１（例えば、ＤＲＡＭ）に格納する。

【0045】

Ｓ６０４では、システム制御部１０８は、撮像装置１００のデスクイーズ設定がＯＮであるか否かを判断する。デスクイーズ設定とは、上述の第２のデスクイーズ処理または第３のデスクイーズ処理を行うための設定である。デスクイーズ設定は、液晶パネル１０７に表示されたメニュー情報をもとに、ユーザが操作スイッチ群１０９を操作することによ
り設定したものである。デスクイーズ設定がＯＮである場合はＳ６０５に進み、そうでない場合（ＯＦＦの場合）はＳ６１０に進む。

【0046】

Ｓ６０５では、システム制御部１０８は、撮像装置１００の表示モードが表示遅延最短モードであるか否かを判断する。表示遅延最短モードとは、上述の第３のデスクイーズ処理を行うためのモードであって、被写体がイメージセンサ１０２に結像してから外部装置に出力されるまでの期間が最短となるように（遅延を抑制するように）、撮像装置１００を制御するモードである。モードの設定は、液晶パネル１０７に表示されたメニュー情報をもとに、ユーザが操作スイッチ群１０９を操作することにより設定したものである。表示遅延最短モードである場合はＳ６０８に進み、そうでない場合はＳ６０６に進む。

【0047】

Ｓ６０６では、システム制御部１０８は、第２のデスクイーズ処理を行う。具体的には、システム制御部１０８は、表示用リサイズ回路１０４を制御して、Ｎ－１フレーム目における巡回ＮＲ用の画像データの一部を読み込み、横方向に伸張（拡大）して表示用画像データを生成する。Ｎ－１フレーム目における巡回ＮＲ用の画像データは、Ｎ－１フレームに対するＳ６０３の処理でＲＡＭ１１１に保存された画像データである。拡大処理は、図５Ａで説明したとおりである。なお、Ｓ６０２、Ｓ６０３およびＳ６０４～Ｓ６１０の処理は、並列に行われてもよい。

【0048】

Ｓ６０７では、システム制御部１０８は、Ｓ６０６で生成した表示用画像データを、外部出力部１１５を介して外部装置に出力する。

【0049】

Ｓ６０８では、システム制御部１０８は、第３のデスクイーズ処理を行う。具体的には、システム制御部１０８は、表示用リサイズ回路１０４を制御して、画像処理部１０３から出力されたＮフレーム目の画像データに対して、縦方向に縮小（圧縮）して表示用画像データを生成する。例えば、縦方向に１／２縮小されることで、表示用画像データは、縦横の圧縮比１：１の画像データを得ることができる。

【0050】

Ｓ６０９では、システム制御部１０８は、表示用リサイズ回路１０４を制御して、Ｓ６０８で生成された表示用画像データに対して、上下左右の端部に黒縁を付加して（サイドブラック処理を行って）、外部装置に出力する。サイドブラック処理は、第２のデスクイーズ処理を行った表示用画像データ（画像データ４０１）と画角を合わせるための処理であり、第２のデスクイーズ処理で表示される領域以外の領域に黒マスクをかける処理である。なお、システム制御部１０８は、表示モードが表示遅延最短モードである場合に第３のデスクイーズ処理を行い、表示モードが表示遅延最短モード以外の場合に第２のデスクイーズ処理を行っていると捉えることもできる。

【0051】

Ｓ６１０では、システム制御部１０８は、表示用画像データを生成し、Ｎフレーム目の画像として外部装置に出力する。具体的には、システム制御部１０８は、表示用リサイズ回路１０４を制御して、画像処理部１０３から入力されたＮフレーム目のＹＵＶ形式の画像データに対してリサイズ処理等を行って表示用画像データを生成する。そして、システム制御部１０８は、生成した表示用画像データをＮフレーム目の画像として外部装置に出力する。

【0052】

Ｓ６１１では、システム制御部１０８は、Ｎフレーム目の画像データに対する処理がすべて終了したか否かを判断する。例えば、システム制御部１０８は、１フレームの周期が経過する時間である時間Ｔが経過したか否かを判断する。処理がすべて終了した場合はＳ６１２に進み、そうでない場合はＳ６１１の判断を繰り返す。

【0053】

Ｓ６１２では、システム制御部１０８は、本処理フローの対象をＮフレーム目の画像デ
ータから、Ｎ＋１フレーム目の画像データに切り替える。その後、Ｓ６０１に進み、Ｎ＋１フレーム目の画像データに対する処理が行われる。

【0054】

＜本実施形態の有利な効果＞
上述のように、第２のデスクイーズ処理によって、デスクイーズ処理に用いることができる時間が短い場合（例えば、フレームレートが高い場合）に、１ラインの入力時間である時間Ｔで、表示画像データを生成することができる。

【0055】

上述のように、第３のデスクイーズ処理によって、レンズユニットで横方向に圧縮された画像を縦方向に圧縮（元の縦横比に戻す）ことで、１ラインの入力時間である時間Ｔで、表示画像データを生成することができる。第２のデスクイーズ処理では、外部装置等に出力される画像データ（Ｓ６０７で出力される画像データ）はデスクイーズ処理を行わないで出力される画像データ（Ｓ６１０で出力される画像データ）に対して１フレーム多く表示遅延が生じていた。これに対して、第３のデスクイーズ処理では、表示遅延を発生させずにデスクイーズ処理を行うことができる。

【0056】

＜変形例＞
上述の実施形態では、第２のデスクイーズ処理を行う場合に、Ｎ－１フレーム目の巡回ＮＲ用の画像データを用いる例について説明したが、用いるフレームは上記に限定されない。例えば、Ｎ－２フレーム目以前のフレームの画像データを巡回ＮＲ用の画像データとして用いてもよい。

【0057】

上述の実施形態では、モードの設定に応じて、第２のデスクイーズ処理または第３のデスクイーズ処理を行う例について説明したが、当該モードの判断を行わずに、第２のデスクイーズ処理を行ってもよい。例えば、上述の図６において、デスクイーズ設定がＯＮである場合（Ｓ６０４－Ｙｅｓ）に、Ｓ６０５，Ｓ６０８，Ｓ６０９の処理を行わず、Ｓ６０６，Ｓ６０７の処理を行ってもよい。同様に、上記モードの判断を行わずに、第３のデスクイーズ処理を行ってもよい。例えば、上述の図６において、デスクイーズ設定がＯＮである場合（Ｓ６０４－Ｙｅｓ）に、Ｓ６０５～Ｓ６０７の処理を行わずに、Ｓ６０８，Ｓ６０９の処理を行ってもよい。

【0058】

上述の実施形態では、第１のデスクイーズ処理の代わりに、第２のデスクイーズ処理または第３のデスクイーズ処理を行う例について説明したが、所定の条件に応じて、第１～第３のデスクイーズ処理のうちどの処理を行うかを判断してもよい。例えば、フレームレートが所定の値より高い場合（例えば、６０［ｆｐｓ］、１２０［ｆｐｓ］の場合）に第２のデスクイーズ処理または第３のデスクイーズ処理を行う。また、フレームレートが所定の値より低い場合（例えば、２４［ｆｐｓ］から６０［ｆｐｓ］未満の場合）に第１のデスクイーズ処理を行ってもよい。なお、フレームレートが所定の値である場合のデスクイーズ処理は特に限定されないが、例えば、第１のデスクイーズ処理を行うとよい。なお、上述の実施形態では、フレームレートの例として、２４ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓを用いたが、フレームレートはこれらに限定されない。

【0059】

上述の撮像装置は、撮像された１フレーム分の画像をＮフレーム目として取得する取得部と、表示制御部と、を有する画像処理装置であると捉えることもできる。ここで、表示制御部は、１フレーム分の画像を取得して記録する期間において、Ｎフレーム目の画像を動画ファイルに記録するように制御すると共に、Ｎフレーム目の画像をＤＲＡＭ（メモリ）に記録する。そして、表示制御部は、ＤＲＡＭに記録されたＮ－１フレーム目の画像のうち水平方向の第１の画素数の範囲を、水平方向に第１の画素数ようも大きい第２の画素数に拡大して表示するように制御する。

【0060】

なお、システム制御部１０８が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0061】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0062】

また、上述した実施形態においては、本発明を撮像装置に適用した場合を例にして説明したが、これはこの例に限定されず、撮像部によって撮像された画像の表示を制御する画像処理装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。また、撮像装置で撮像された画像を取得して表示および記録するように制御する外部レコーダー、外部モニターに適用可能である。

【0063】

また、撮像装置本体に限らず、有線または無線通信を介して撮像装置（ネットワークカメラを含む）と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットＰＣ、デスクトップＰＣなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。

【0064】

本発明は、以下の処理を実行することによっても実現される。即ち、上述の実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【0065】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0066】

１０８：システム制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】