特許 5996418 撮像装置および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5996418

(24)【登録日】2016年9月2日

(45)【発行日】2016年9月21日

(54)【発明の名称】撮像装置および撮像方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160908BHJP

【ＦＩ】

   H04N5/232 Z

【請求項の数】7

【全頁数】18

(21)【出願番号】特願2012-278484(P2012-278484)

(22)【出願日】2012年12月20日

(65)【公開番号】特開2014-123846(P2014-123846A)

(43)【公開日】2014年7月3日

【審査請求日】2015年8月28日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100094400

【弁理士】

【氏名又は名称】鈴木 三義

(74)【代理人】

【識別番号】100086379

【弁理士】

【氏名又は名称】高柴 忠夫

(74)【代理人】

【識別番号】100129403

【弁理士】

【氏名又は名称】増井 裕士

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(72)【発明者】

【氏名】池田 英

(72)【発明者】

【氏名】上野 晃

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２００４−１８６９２９（ＪＰ，Ａ）

【文献】 特開２００９−２７８１９９（ＪＰ，Ａ）

【文献】 特開２００７−０６７６９４（ＪＰ，Ａ）

【文献】 特開２００８−１４１７０７（ＪＰ，Ａ）

【文献】 特開２００６−３４０１９８（ＪＰ，Ａ）

【文献】 特開２０１１−１３４０５７（ＪＰ，Ａ）

【文献】 特表２００９−５３３００９（ＪＰ，Ａ）

【文献】 特開２００４−２８９６３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

入射された被写体光に応じた画素信号を出力する固体撮像装置を具備し、該固体撮像装置が出力した前記画素信号に応じた撮像画像を出力する撮像処理部と、
前記撮像処理部から出力された前記撮像画像から切り出した処理領域内の対応する領域に対して画像処理を行った撮影画像を生成する複数の画像処理回路と、
前記固体撮像装置が被写体を撮像する撮影位置の該固体撮像装置の撮像領域内での移動を検出し、該検出した移動後の撮影位置に応じて、複数の前記画像処理回路によって前記撮影画像を生成するために前記撮像画像から切り出す前記処理領域を決定し、該決定した処理領域を分割して複数の前記画像処理回路のそれぞれに割り当てる分割位置決定部と、
を備えることを特徴とする撮像装置。

【請求項2】

前記分割位置決定部は、
複数の前記画像処理回路のそれぞれが画像処理を行う処理量が均等になるように、前記処理領域を分割する分割位置を決定し、該決定した分割位置で分割した前記処理領域内のそれぞれの領域を表す分割領域情報を、対応する複数の前記画像処理回路のそれぞれに出力し、
複数の前記画像処理回路のそれぞれは、前記分割位置決定部から入力された対応する前記分割領域情報に示された前記処理領域内の領域に対して画像処理を行い、対応する領域の撮影画像を生成する、
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記分割位置決定部は、
前記撮像処理部から１つ前に出力された前記撮像画像に含まれる被写体と、現在の前記撮像画像に含まれる被写体とに基づいて、該被写体が移動した距離や方向を算出し、該算出した被写体の移動量に基づいて、前記撮影位置の移動を検出する、
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記分割位置決定部は、
前記撮像画像に含まれる撮影時の光学系の歪みを含めて、複数の前記画像処理回路のそれぞれが画像処理を行う処理量が均等になるように、前記処理領域を分割する前記分割位置を変更する、
ことを特徴とする請求項２または請求項３に記載の撮像装置。

【請求項5】

前記分割位置決定部は、
前記被写体を撮影する際の当該撮像装置の姿勢に応じた歪みを含めて、複数の前記画像処理回路のそれぞれが画像処理を行う処理量が均等になるように、前記処理領域を分割する前記分割位置を変更する、
ことを特徴とする請求項２から請求項４のいずれか１の項に記載の撮像装置。

【請求項6】

前記分割位置決定部は、
動きを検出する動き検出センサーが検出した当該撮像装置自体の動きに基づいて、前記撮影位置の移動を検出する、
ことを特徴とする請求項２から請求項５のいずれか１の項に記載の撮像装置。

【請求項7】

入射された被写体光に応じた画素信号を出力する固体撮像装置が出力した前記画素信号に応じた撮像画像を出力する撮像ステップと、
前記固体撮像装置が被写体を撮像する撮影位置の該固体撮像装置の撮像領域内での移動を検出し、該検出した移動後の撮影位置に応じて、複数の画像処理回路によって撮影画像を生成するために前記撮像画像から切り出す処理領域を決定し、該決定した処理領域を分割して複数の前記画像処理回路のそれぞれに割り当てる分割位置決定ステップと、
前記撮像ステップによって出力された前記撮像画像から切り出した前記処理領域から分割されたそれぞれの領域に対して、対応する複数の前記画像処理回路で画像処理を行った前記撮影画像を生成する画像処理ステップと、
を含むことを特徴とする撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および撮像方法に関する。

【背景技術】

【0002】

近年、デジタルスチルカメラやビデオカメラなどの撮像装置では、高解像度化や高性能化に伴って、撮影時に行う複雑な画像処理を高速に処理することが求められている。このため、例えば、特許文献１のように、画像処理を高速化する技術が開示されている。特許文献１で開示された技術では、撮像装置に備えた固体撮像装置が撮像する領域（以下、「撮像領域」という）を複数の領域に分割し、分割したそれぞれの領域に対応した複数の画像処理回路が並列に画像処理を行うことによって、１枚の撮影画像の生成に要する画像処理の処理時間を短縮している。

【0003】

図６は、従来の撮像装置における画像処理に要する時間の短縮方法の一例を説明する図である。図６には、撮像装置に備える画像処理回路の数の違いによって、撮像装置が画像処理に要する処理時間の違いを示している。

【0004】

撮像装置に１つの画像処理回路のみを備えている場合には、図６（ａ）に示したように、１つの画像処理回路が撮像領域の全体に対する画像処理を行う、すなわち、固体撮像装置に備えた画素数分の画像処理を行うことになる。これに対して、撮像装置に２つの画像処理回路を備えている場合には、図６（ｂ）に示したように、撮像領域を２等分（領域Ｘおよび領域Ｙ）に分割し、撮像装置に備えた画像処理回路Ｘと画像処理回路Ｙとのそれぞれが、対応する領域に対する画像処理を並列に行えば良くなる。すなわち、画像処理回路Ｘと画像処理回路Ｙとのそれぞれは、固体撮像装置に備えた画素数の半分に対する画像処理を行えば良くなる。これにより、図６（ｃ）に示したように、撮像装置が画像処理に要する処理時間を短縮することができる。

【0005】

図６（ｃ）には、図６（ａ）に示したように１つの画像処理回路が撮像領域の全体に対する画像処理を行った場合の処理時間と、図６（ｂ）に示したように２つの画像処理回路Ｘおよび画像処理回路Ｙが分割したそれぞれの撮像領域に対する画像処理を並列に行った場合の処理時間とを比較した一例を示している。図６（ｃ）に示したように、撮像領域を領域Ｘと領域Ｙとに２等分したそれぞれの領域に対する画像処理を、画像処理回路Ｘと画像処理回路Ｙとが並列に行った場合は、撮像領域を分割せずに１つの画像処理回路が領域の全体に対する画像処理を行った場合に比べて、画像処理に要する処理時間が１／２になる。これにより、撮像装置が撮像してから、１枚の撮影画像を生成するために行う画像処理が完了するまでのスループットが２倍になり、撮像装置の高速化を実現することが可能になる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４−２８９６３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、近年の撮像装置では、手振れ補正機能など、撮影を支援（サポート）する機能が備えられてきている。このため、近年の撮像装置では、固体撮像装置が撮像する撮像領域の全体に対して画像処理を行うのではなく、手振れによって固体撮像装置が被写体を撮像する位置（以下、「撮影位置」という）が撮像領域内で振れることを考慮して、撮像領域の一部を切り出した領域に対して画像処理を行うことが一般的に行われている。

【0008】

図７は、従来の撮像装置において手振れによる領域の変化と画像処理に要する時間との関係の一例を説明する図である。撮像装置によって撮影したとき、図７（ａ）および図７（ｂ）に示した矢印の方向に手振れが発生すると、１枚の撮影画像を生成するために画像処理を行う必要がある一部の領域（以下、「処理領域」という）は、図７（ａ）および図７（ｂ）に示した処理領域Ｚのように、手振れが発生した方向と反対方向に移動することになる。なお、手振れの量や方向は、撮像装置が撮影するフレーム毎に異なるため、画像処理を行う処理領域の切り出し位置も、撮像装置が撮影するフレーム毎に異なることになる。

【0009】

このため、手振れが発生している状態で、特許文献１のように固体撮像装置が撮像する撮像領域を単純に２等分すると、図７（ｃ）および図７（ｄ）に示したように、領域Ｘと領域Ｙとのそれぞれに含まれる処理領域Ｚの大きさ（面積）が均等ではなくなってしまう。これにより、画像処理回路Ｘと画像処理回路Ｙとのそれぞれに割り当てられる画像処理の割り当て量が均等ではなくなってしまう。

【0010】

そして、画像処理回路Ｘと画像処理回路Ｙとのそれぞれに割り当てられる画像処理の割り当て量が均等でないと、画像処理回路Ｘと画像処理回路Ｙとのそれぞれが対応する領域Ｘまたは領域Ｙに対して行う画像処理の処理時間が、図７（ｅ）に示したように異なってしまう。図７（ｅ）には、図７（ｄ）に示したように画像処理回路Ｘと画像処理回路Ｙとのそれぞれに処理領域Ｚの範囲に対する画像処理を割り当てた場合において、画像処理回路Ｘの処理時間と画像処理回路Ｙの処理時間とを比較した一例を示している。

【0011】

図７（ｅ）に示したように、画像処理回路Ｘと画像処理回路Ｙとの処理時間が異なると、撮像装置では、画像処理の割り当て量が多い方の画像処理回路Ｘが画像処理を完了するまでの時間、すなわち、画像処理回路Ｘの処理時間が、１フレームの画像処理に要する時間となる。これをそれぞれのフレームに対する画像処理の観点から見た場合には、撮像装置の処理性能としての、フレームレートの低下に繋がってしまう、という問題がある。

【0012】

本発明は、上記の課題認識に基づいてなされたものであり、撮像装置に複数の画像処理回路を備え、それぞれの画像処理回路で分割した領域の画像処理を並列に行う場合に、それぞれの画像処理回路における画像処理の処理時間を均等にすることができる撮像装置および撮像方法を提供することを目的としている。

【課題を解決するための手段】

【0013】

上記の課題を解決するため、本発明の撮像装置は、入射された被写体光に応じた画素信号を出力する固体撮像装置を具備し、該固体撮像装置が出力した前記画素信号に応じた撮像画像を出力する撮像処理部と、前記撮像処理部から出力された前記撮像画像から切り出した処理領域内の対応する領域に対して画像処理を行った撮影画像を生成する複数の画像処理回路と、前記固体撮像装置が被写体を撮像する撮影位置の該固体撮像装置の撮像領域内での移動を検出し、該検出した移動後の撮影位置に応じて、複数の前記画像処理回路によって前記撮影画像を生成するために前記撮像画像から切り出す前記処理領域を決定し、該決定した処理領域を分割して複数の前記画像処理回路のそれぞれに割り当てる分割位置決定部と、を備えることを特徴とする。

【0014】

また、本発明の前記分割位置決定部は、複数の前記画像処理回路のそれぞれが画像処理を行う処理量が均等になるように、前記処理領域を分割する分割位置を決定し、該決定した分割位置で分割した前記処理領域内のそれぞれの領域を表す分割領域情報を、対応する複数の前記画像処理回路のそれぞれに出力し、複数の前記画像処理回路のそれぞれは、前記分割位置決定部から入力された対応する前記分割領域情報に示された前記処理領域内の領域に対して画像処理を行い、対応する領域の撮影画像を生成する、ことを特徴とする。

【0015】

また、本発明の前記分割位置決定部は、前記撮像処理部から１つ前に出力された前記撮像画像に含まれる被写体と、現在の前記撮像画像に含まれる被写体とに基づいて、該被写体が移動した距離や方向を算出し、該算出した被写体の移動量に基づいて、前記撮影位置の移動を検出する、ことを特徴とする。

【0016】

また、本発明の前記分割位置決定部は、前記撮像画像に含まれる撮影時の光学系の歪みを含めて、複数の前記画像処理回路のそれぞれが画像処理を行う処理量が均等になるように、前記処理領域を分割する前記分割位置を変更する、ことを特徴とする。

【0017】

また、本発明の前記分割位置決定部は、前記被写体を撮影する際の当該撮像装置の姿勢に応じた歪みを含めて、複数の前記画像処理回路のそれぞれが画像処理を行う処理量が均等になるように、前記処理領域を分割する前記分割位置を変更する、ことを特徴とする。

【0018】

また、本発明の前記分割位置決定部は、動きを検出する動き検出センサーが検出した当該撮像装置自体の動きに基づいて、前記撮影位置の移動を検出する、ことを特徴とする。

【0019】

また、本発明の撮像方法は、入射された被写体光に応じた画素信号を出力する固体撮像装置が出力した前記画素信号に応じた撮像画像を出力する撮像ステップと、前記固体撮像装置が被写体を撮像する撮影位置の該固体撮像装置の撮像領域内での移動を検出し、該検出した移動後の撮影位置に応じて、複数の画像処理回路によって撮影画像を生成するために前記撮像画像から切り出す処理領域を決定し、該決定した処理領域を分割して複数の前記画像処理回路のそれぞれに割り当てる分割位置決定ステップと、前記撮像ステップによって出力された前記撮像画像から切り出した前記処理領域から分割されたそれぞれの領域に対して、対応する複数の前記画像処理回路で画像処理を行った前記撮影画像を生成する画像処理ステップと、を含むことを特徴とする。

【発明の効果】

【0020】

本発明によれば、撮像装置に複数の画像処理回路を備え、それぞれの画像処理回路で分割した領域の画像処理を並列に行う場合に、それぞれの画像処理回路における画像処理の処理時間を均等にすることができるという効果が得られる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態における撮像装置の概略構成を示したブロック図である。

【図2】本実施形態の撮像装置においてそれぞれの画像処理回路が画像処理を実行する領域の分割方法の一例を模式的に示した図である。

【図3】本実施形態の撮像装置における画像処理の処理手順を示したフローチャートである。

【図4】本実施形態の撮像装置においてそれぞれの画像処理回路が画像処理を実行する領域の分割方法の別の一例を模式的に示した図である。

【図5】本実施形態の撮像装置においてそれぞれの画像処理回路が画像処理を実行する領域の分割方法のさらに別の一例を模式的に示した図である。

【図6】従来の撮像装置における画像処理に要する時間の短縮方法の一例を説明する図である。

【図7】従来の撮像装置において手振れによる領域の変化と画像処理に要する時間との関係の一例を説明する図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、撮像装置に２つの画像処理回路を備え、動画を撮影する場合の一例について説明する。撮像装置が静止画の撮影を行う場合であっても、同様に考えることができる。

【0023】

図１は、本実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、分割位置決定部３００と、２つの画像処理回路４０１および画像処理回路４０２と、表示処理部５００と、表示デバイス５０１と、メモリ６００と、を備えている。

【0024】

撮像装置１０内の撮像処理部２００、分割位置決定部３００、画像処理回路４０１および画像処理回路４０２、表示処理部５００、およびメモリ６００は、データバス７００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送によって、メモリ６００へのデータの格納（書き込み）、およびメモリ６００からのデータの取得（読み出し）を行う。

【0025】

イメージセンサ１００は、不図示のレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、被写体光に応じた画素信号を撮像処理部２００に出力する。撮像装置１０が動画の撮影を行う場合、イメージセンサ１００は、被写体光に応じた各フレームの画素信号を順次、撮像処理部２００に出力する。

【0026】

撮像処理部２００は、イメージセンサ１００から入力された画素信号に対して、例えば、Ａ／Ｄ（アナログ／デジタル）変換、画素欠陥補正、シェーディング補正、暗電流補正などの各種の処理を施し、画素信号に応じた画像データ（以下、「撮像画像」という）をメモリ６００に格納する（書き込む）。撮像装置１０が動画の撮影を行う場合、撮像処理部２００は、イメージセンサ１００から入力された各フレームの画素信号に応じたそれぞれのフレームの撮像画像に対して順次、各種の処理を施して、メモリ６００に格納する（書き込む）。

【0027】

分割位置決定部３００は、撮像装置１０が撮影している最中に発生する手振れなどによって撮影位置が移動した距離や方向（以下、「振れ量」という）を算出し、画像処理回路４０１および画像処理回路４０２のそれぞれが画像処理を行う撮像画像の範囲を表す情報を、画像処理回路４０１および画像処理回路４０２のそれぞれに出力する。分割位置決定部３００は、振れ量算出部３１０と、分割位置算出部３２０と、を備えている。

【0028】

振れ量算出部３１０は、撮像処理部２００によってメモリ６００に格納された撮像画像に基づいて、撮影位置の振れ量を算出する。例えば、振れ量算出部３１０は、撮影位置の振れ量の算出を行う現在のフレームの撮像画像と、１フレーム前の撮像画像とを比較した差分から、撮影位置の振れ量を算出する。より具体的には、振れ量算出部３１０は、現在のフレームの撮像画像と１フレーム前の撮像画像とに含まれる主要被写体などの特徴部分の位置や大きさ、または色などを、例えば、ブロックマッチングなどを利用して比較することによって撮影位置の移動を検出し、検出した撮影位置の移動量に基づいて振れ量を算出する。そして、振れ量算出部３１０は、算出した振れ量の情報を、分割位置算出部３２０に出力する。

【0029】

なお、振れ量算出部３１０が撮影位置の振れ量を算出する方法は、上述したメモリ６００に格納された撮像画像に基づいた方法、つまり、２つの撮像画像を比較する方法に限定されるものではなく、撮像装置１０の撮影位置が移動した距離や方向を検出することができれば、他の様々な方法を用いてもよい。例えば、ジャイロセンサーなど、角度によって撮像装置１０自体の動きを検出する動き検出センサーが検出した情報を、撮影位置の振れ量として分割位置算出部３２０に出力する構成であってもよい。

【0030】

分割位置算出部３２０は、振れ量算出部３１０から入力された撮影位置の振れ量に基づいて、撮像画像、つまり、イメージセンサ１００の撮像領域の全体から一部を切り出して１フレームの撮影画像を生成するための画像処理を行う処理領域の切り出し位置と大きさとを決定する。そして、分割位置算出部３２０は、決定した処理領域の切り出し位置と大きさとに基づいて、処理領域を画像処理回路４０１および画像処理回路４０２のそれぞれが並列に画像処理を行う２つの領域に分割するための分割位置を決定する。このとき、分割位置算出部３２０は、画像処理回路４０１と画像処理回路４０２とがそれぞれ実行する画像処理の処理量が均等になるように、例えば、画像処理回路４０１と画像処理回路４０２とのそれぞれに割り当てる処理領域が均等の大きさになる位置を、処理領域を分割する分割位置とする。これにより、画像処理回路４０１と画像処理回路４０２とにおける画像処理の処理時間が均等になる。

【0031】

そして、分割位置算出部３２０は、決定した処理領域の切り出し位置および大きさの情報と分割位置の情報とに基づいて、画像処理回路４０１と画像処理回路４０２とのそれぞれが画像処理を行う領域の情報（以下、「分割領域情報」という）を、画像処理回路４０１と画像処理回路４０２とのそれぞれに出力する。なお、分割位置算出部３２０が処理領域の切り出し位置、大きさ、および分割位置に関する詳細な説明は、後述する。

【0032】

撮像装置１０が動画の撮影を行う場合、分割位置決定部３００は、イメージセンサ１００から入力されたそれぞれのフレーム毎に、振れ量の算出と、処理領域の切り出し位置、大きさ、および分割位置の決定とを順次行い、それぞれのフレーム毎の分割領域情報を画像処理回路４０１と画像処理回路４０２とのそれぞれに順次出力する。

【0033】

画像処理回路４０１および画像処理回路４０２のそれぞれは、メモリ６００に格納されている撮像画像を取得し（読み出し）、取得した撮像画像に対して、三板化処理（例えば、ベイヤー→ＹＣまたはＲＧＢ変換など）、歪み補正処理、リサイズ処理などの現像処理や、ノイズ低減処理、フィルタ処理、輪郭協調処理などの高画質化処理などの画像処理を施した画像データ（以下、「撮影画像」という）を生成する。このとき、画像処理回路４０１および画像処理回路４０２のそれぞれは、メモリ６００に格納されている撮像画像の内、分割位置決定部３００内の分割位置算出部３２０から入力された対応する分割領域情報に示された処理領域の撮像画像を取得して（読み出して）、画像処理を施した撮影画像を生成する。

【0034】

そして、画像処理回路４０１および画像処理回路４０２のそれぞれは、生成した撮影画像を再びメモリ６００に格納する（書き込む）。なお、画像処理回路４０１および画像処理回路４０２のそれぞれが実行する画像処理は、画像処理を行う領域が分割領域情報に示された領域である以外は、従来の撮像装置における処理と同様であるため、詳細な説明は省略する。

【0035】

撮像装置１０が動画の撮影を行う場合、それぞれのフレームに対応して入力された分割領域情報に基づいて、画像処理回路４０１および画像処理回路４０２のそれぞれが、対応する処理領域の撮像画像に対する画像処理を順次実行し、画像処理後の撮影画像を順次メモリ６００に格納する（書き込む）。

【0036】

表示処理部５００は、メモリ６００に格納されている画像処理回路４０１および画像処理回路４０２のそれぞれが画像処理した撮影画像を取得し（読み出し）、取得した撮影画像を表示デバイス５０１が表示することができる画像の大きさへのリサイズ（縮小）処理や、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示用のデータを重畳する重畳処理などの表示処理を施して、表示デバイス５０１に出力する。

【0037】

撮像装置１０が動画の撮影を行う場合、表示処理部５００は、メモリ６００に格納されているそれぞれのフレームの撮影画像を順次取得し、取得した撮影画像に対して表示処理を施して表示デバイス５０１に順次出力する。

【0038】

表示デバイス５０１は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ：薄膜トランジスター）−ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置であり、表示処理部５００から出力された表示処理後の撮影画像に応じた画像を表示する。

【0039】

なお、表示デバイス５０１は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ：電子ビューファインダ）などの表示デバイスや、テレビなどの外部ディスプレイであってもよい。また、図１においては、表示デバイス５０１も撮像装置１０の構成要素としているが、表示デバイス５０１は、撮像装置１０に着脱可能な構成であってもよい。

【0040】

メモリ６００は、撮像装置１０に備えたそれぞれの構成要素からアクセスされるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリである。メモリ６００は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを一時記録する。

【0041】

なお、図１では、撮像装置１０内の各構成要素がデータバス７００を介してメモリ６００にアクセスする構成を示しているが、例えば、不図示のメモリコントローラによってメモリ６００に対するアクセス制御がされる構成であってもよい。この場合には、撮像装置１０内の各構成要素が、例えば、ＤＭＡ転送によるメモリ６００へのアクセス要求をメモリコントローラに対して出力し、メモリコントローラが、各構成要素から入力されたＤＭＡ転送でのメモリ６００へのアクセス要求に応じて、接続されているメモリ６００へのデータの格納（書き込み）、およびメモリ６００からのデータの取得（読み出し）の制御を行うことになる。

【0042】

また、画像処理回路４０１および画像処理回路４０２のそれぞれによってメモリ６００に格納された撮影画像は、例えば、不図示の記録処理部によって取得され（読み出され）、例えば、ＳＤメモリカード（ＳＤ Ｍｅｍｏｒｙ Ｃａｒｄ）やコンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ（登録商標））など、撮像装置１０に着脱可能な不図示の記録媒体に記録される。このとき、撮影画像は、例えば、画像処理回路４０１および画像処理回路４０２の一方、または両方の画像処理回路によって、ＪＰＥＧ圧縮処理などの画像処理が施させる。

【0043】

このような構成によって、撮像装置１０は、イメージセンサ１００によって撮影された被写体の画像を、撮像装置１０が撮影している最中に発生する手振れなどによって撮影位置が移動したことを考慮して、画像処理回路４０１および画像処理回路４０２のそれぞれが並列に画像処理を行う。なお、撮像装置１０内のそれぞれの構成要素は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの不図示の制御部によって制御される。

【0044】

次に、撮像装置１０内の分割位置決定部３００に備えた分割位置算出部３２０が決定する処理領域の切り出し位置、大きさ、および分割位置について説明する。図２は、本実施形態の撮像装置１０においてそれぞれの画像処理回路が画像処理を実行する領域の分割方法の一例を模式的に示した図である。以下の説明では、イメージセンサ１００の撮像領域の全体、つまり、撮像装置１０の撮像画像から、１フレームの撮影画像を生成するために一部の処理領域を切り出して画像処理を行う場合において、撮像装置１０に備えた２つの画像処理回路４０１と画像処理回路４０２とが、水平方向に２つの領域に分割されたそれぞれの処理領域を並列に画像処理する場合について説明する。また、以下の説明においては、説明を容易にするため、一方向に手振れなどが発生した場合について説明する。

【0045】

図２（ａ）には、１フレーム前の撮像画像（ｆｎ−１）と、この撮像画像（ｆｎ−１）における処理領域（ｆｎ−１）との関係を示している。なお、図２（ａ）に示した状態は、手振れなどによって撮影位置が移動していない基準の位置における撮像画像と処理領域との関係を示している。このとき、振れ量算出部３１０は、撮影位置が振れていないことを表す振れ量の情報を分割位置算出部３２０に出力し、分割位置算出部３２０は、撮像画像の中央部分をｆｎ−１フレームの処理領域（ｆｎ−１）とし、処理領域（ｆｎ−１）を水平方向に２等分する位置を分割位置（ｆｎ−１）とした分割領域情報を、画像処理回路４０１と画像処理回路４０２とのそれぞれに出力する。これにより、画像処理回路４０１と画像処理回路４０２とのそれぞれは、対応する処理領域（ｆｎ−１）内の撮像画像に対して画像処理を行い、撮像装置１０は、処理領域（ｆｎ−１）に対応したｆｎ−１フレームの撮影画像ｆｎ−１を生成する。ここでは、例えば、画像処理回路４０１が、図２（ａ）に示した処理領域１（ｆｎ−１）内の撮像画像に対して画像処理を行い、画像処理回路４０２が、図２（ａ）に示した処理領域２（ｆｎ−１）内の撮像画像に対して画像処理を行って、撮影画像ｆｎ−１を生成する。

【0046】

その後、次のフレームの撮像画像（ｆｎ）において、図２（ｂ）に示した矢印のように、水平左方向に発生した手振れなどによって撮影位置が移動すると、手振れが発生した方向と反対の水平右方向に、処理領域（ｆｎ）が移動する。このとき、振れ量算出部３１０は、撮影位置が水平左方向に振れたことを表す振れ量（ｆｎ−１→ｆｎ）の情報を分割位置算出部３２０に出力し、分割位置算出部３２０は、振れ量（ｆｎ−１→ｆｎ）に応じてｆｎ−１フレームの処理領域（ｆｎ−１）を水平右方向に移動した領域を、ｆｎフレームの処理領域（ｆｎ）に決定する。そして、分割位置算出部３２０は、図２（ｂ）に示したように、処理領域（ｆｎ）を水平方向に２等分する位置を分割位置（ｆｎ）に決定し、決定した処理領域（ｆｎ）および分割位置（ｆｎ）の情報に基づいた分割領域情報を、画像処理回路４０１と画像処理回路４０２とのそれぞれに出力する。これにより、画像処理回路４０１と画像処理回路４０２とのそれぞれは、対応する処理領域（ｆｎ）内の撮像画像に対して画像処理を行い、撮像装置１０は、処理領域（ｆｎ）に対応したｆｎフレームの撮影画像ｆｎを生成する。ここでは、例えば、画像処理回路４０１が、図２（ｂ）に示した処理領域１（ｆｎ）内の撮像画像に対して画像処理を行い、画像処理回路４０２が、図２（ｂ）に示した処理領域２（ｆｎ）内の撮像画像に対して画像処理を行って、撮影画像ｆｎを生成する。

【0047】

次に、撮像装置１０における画像処理の処理手順について説明する。図３は、本実施形態の撮像装置１０における画像処理の処理手順を示したフローチャートである。図３には、撮像装置１０が動画の撮影を行う場合における分割位置決定部３００による振れ量の算出と、処理領域の切り出し位置、大きさ、および分割位置の決定と、画像処理回路４０１および画像処理回路４０２による画像処理との処理手順を示している。

【0048】

以下の説明においては、図２に示した画像処理を行う領域の分割方法の一例を参照し、撮像装置１０が動画の撮影を行う場合において、撮像装置１０に備えた２つの画像処理回路４０１と画像処理回路４０２とが、水平方向に２つの領域に分割されたそれぞれの処理領域を並列に画像処理する場合の動作を、処理を順に説明する。なお、上述したように、撮像装置１０における処理では、例えば、ＣＰＵなどの制御部によって制御されたそれぞれの構成要素が動作することによって画像処理が行われるが、以下の説明においては、図１に示した撮像装置１０内のそれぞれの構成要素の動作に注目して説明を行う。

【0049】

撮像装置１０のユーザ（撮影者）が動画撮影の開始を指示すると、撮像装置１０は、図３に示した画像処理の処理手順を開始する。撮像装置１０による動画撮影が開始されると、まず、ステップＳ１において、撮像処理部２００は、イメージセンサ１００から入力された画素信号に対して各種の処理を施した最初のフレームの撮像画像（図２に示した撮像画像（ｆｎ−１））をメモリ６００に格納する（書き込む）。

【0050】

続いて、ステップＳ２において、分割位置決定部３００は、メモリ６００に格納された撮像画像が最初（１枚目）のフレームの撮像画像であるか否かを判定する。そして、ステップＳ２による判定の結果、メモリ６００に格納された撮像画像が最初のフレームの撮像画像である場合（ステップＳ２の“Ｙｅｓ”）には、ステップＳ３に進み、ステップＳ２による判定の結果、メモリ６００に格納された撮像画像が最初のフレームの撮像画像でない場合（ステップＳ２の“Ｎｏ”）には、ステップＳ４に進む。ここでは、最初のフレームの撮像画像（ｆｎ−１）をメモリ６００に格納している（書き込んでいる）ため、ステップＳ３に進む

【0051】

ステップＳ２において、メモリ６００に格納された撮像画像が最初のフレームの撮像画像である場合には、ステップＳ３において、振れ量算出部３１０は、撮影位置が振れていないことを表す振れ量（例えば、振れ量＝０）の情報を分割位置算出部３２０に出力する。

【0052】

続いて、ステップＳ５において、分割位置算出部３２０は、振れ量算出部３１０から入力された撮影位置の振れ量（＝０）に基づいて、最初のｆｎ−１フレームの撮影画像ｆｎ−１を生成するための画像処理を行う処理領域（ｆｎ−１）の切り出し位置と大きさとを決定する。その後、分割位置算出部３２０は、決定した処理領域（ｆｎ−１）を画像処理回路４０１と画像処理回路４０２とのそれぞれが並列に画像処理を行うために２等分した分割位置（ｆｎ−１）を決定する。そして、分割位置算出部３２０は、決定した処理領域（ｆｎ−１）の切り出し位置および大きさの情報と分割位置（ｆｎ−１）の情報とに基づいた分割領域情報を、画像処理回路４０１と画像処理回路４０２とのそれぞれに出力する。

【0053】

続いて、ステップＳ６において、画像処理回路４０１と画像処理回路４０２とのそれぞれは、分割位置決定部３００から入力された対応する分割領域情報に示された処理領域（ｆｎ−１）の撮影画像をメモリ６００から取得する（読み出す）。そして、画像処理回路４０１と画像処理回路４０２とのそれぞれは、並列に画像処理を施して生成した撮影画像を、それぞれメモリ６００に格納する（書き込む）。

【0054】

続いて、ステップＳ７において、動画撮影が終了であるか否かを判定する。より具体的には、撮像装置１０のユーザ（撮影者）から動画撮影の終了の指示がされているか否かを判定する。そして、ステップＳ７による判定の結果、動画撮影が終了である場合（ステップＳ７の“Ｙｅｓ”）には、撮像装置１０は、図３に示した画像処理の処理手順を終了する。また、ステップＳ７による判定の結果、動画撮影が終了でない場合（ステップＳ７の“Ｎｏ”）には、ステップＳ１に戻って、次のフレームに対する画像処理を開始する。

【0055】

次のフレームに対する画像処理では、ステップＳ１において、撮像処理部２００は、イメージセンサ１００から入力された画素信号に対して各種の処理を施した次のフレームの撮像画像（図２に示した撮像画像（ｆｎ））を、現在のｆｎフレームの撮像画像（ｆｎ）としてメモリ６００に格納する（書き込む）。

【0056】

続いて、ステップＳ２において、分割位置決定部３００は、メモリ６００に格納された撮像画像が最初（１枚目）のフレームの撮像画像であるか否かを判定する。ここでは、次のｆｎフレームの撮像画像（ｆｎ）をメモリ６００に格納している（書き込んでいる）ため、ステップＳ４に進む。

【0057】

ステップＳ２において、メモリ６００に格納された撮像画像が最初のフレームの撮像画像でない場合には、ステップＳ４において、振れ量算出部３１０は、１フレーム前の撮像画像（ｆｎ−１）と現在のｆｎフレームの撮像画像（ｆｎ）とをメモリ６００から取得する（読み出す）。そして、取得した像画像（ｆｎ−１）と撮像画像（ｆｎ）とに基づいて、撮影位置の振れ量を算出し、算出した振れ量の情報を分割位置算出部３２０に出力する。

【0058】

続いて、ステップＳ５において、分割位置算出部３２０は、振れ量算出部３１０から入力された撮影位置の振れ量に基づいて、現在のｆｎフレームの撮影画像ｆｎを生成するための画像処理を行う処理領域（ｆｎ）の切り出し位置と大きさとを決定する。その後、分割位置算出部３２０は、決定した処理領域（ｆｎ）を画像処理回路４０１と画像処理回路４０２とのそれぞれが並列に画像処理を行うために２等分した分割位置（ｆｎ）を決定する。そして、分割位置算出部３２０は、決定した処理領域（ｆｎ）の切り出し位置および大きさの情報と分割位置（ｆｎ）の情報とに基づいた分割領域情報を、画像処理回路４０１と画像処理回路４０２とのそれぞれに出力する。

【0059】

続いて、ステップＳ６において、画像処理回路４０１と画像処理回路４０２とのそれぞれは、分割位置決定部３００から入力された対応する分割領域情報に示された処理領域（ｆｎ）の撮影画像をメモリ６００から取得する（読み出す）。そして、画像処理回路４０１と画像処理回路４０２とのそれぞれは、並列に画像処理を施して生成した撮影画像を、それぞれメモリ６００に格納する（書き込む）。

【0060】

続いて、ステップＳ７において、動画撮影が終了であるか否かを判定する。以降、ステップＳ７による判定の結果が、動画撮影が終了（ステップＳ７の“Ｙｅｓ”）となるまで、ステップＳ１〜ステップＳ７までの処理を繰り返す。

【0061】

このように、本実施形態の撮像装置１０では、振れ量算出部３１０が、１フレーム前の撮像画像と現在のフレームの撮像画像とに基づいて、撮影位置の移動を検出する。そして、分割位置算出部３２０が、振れ量算出部３１０から入力された撮影位置の振れ量の情報に基づいて、処理領域の切り出し位置と大きさとを決定し、画像処理回路４０１と画像処理回路４０２とのそれぞれに割り当てる処理領域が均等の大きさになるように、決定した処理領域を分割する分割位置を決定する。これにより、図２（ａ）と図２（ｂ）とを見てわかるように、処理領域の位置に関わらず、常に処理領域を水平方向に２等分することができる。このことにより、画像処理回路４０１と画像処理回路４０２とが対応する処理領域内の撮像画像に対してそれぞれ実行する画像処理の処理量が均等になり、画像処理回路４０１と画像処理回路４０２とにおける画像処理の処理時間を均等にすることができる。

【0062】

また、振れ量算出部３１０は、撮像装置１０が撮影する毎、すなわち、イメージセンサ１００からイメージセンサ１００から入力されたそれぞれのフレーム毎に、振れ量の算出し、それぞれのフレーム毎の振れ量の情報を分割位置算出部３２０に順次出力する。そして、分割位置算出部３２０は、振れ量算出部３１０からそれぞれのフレーム毎に入力された振れ量の情報に基づいて、処理領域の切り出し位置、大きさ、および分割位置の決定を順次行って、それぞれのフレーム毎の分割領域情報を画像処理回路４０１と画像処理回路４０２とのそれぞれに順次出力する。これにより、画像処理回路４０１と画像処理回路４０２とにおける画像処理の処理時間を、撮像装置１０が撮影している期間中、常に均等にすることができる。

【0063】

なお、撮像装置１０においては、撮像装置１０内に画像処理回路４０１と画像処理回路４０２との２つの画像処理回路を備え、分割位置算出部３２０が、処理領域を水平方向に２等分するように分割位置を決定する場合について説明した。しかし、撮像装置１０において分割位置算出部３２０が分割する処理領域は、それぞれの画像処理回路が実行する画像処理の処理量が均等になるように分割する。従って、上述した例のように、撮像装置１０に備えた画像処理回路の数分だけ等分する位置に限定されるものではない。ここで、分割位置算出部３２０が分割するそれぞれの処理領域が等分ではない、すなわち、撮像装置１０に備えた画像処理回路のそれぞれに割り当てる処理領域が均等の大きさではない場合について説明する。

【0064】

一般的にカメラの光学系、すなわち、撮像装置１０に備えたレンズにおいては、光学系の歪みが存在する。この場合、イメージセンサ１００から入力された画素信号に応じて撮像処理部２００がメモリ６００に格納する（書き込む）それぞれのフレームの撮像画像は、レンズによる光学系の歪みを持った撮像画像になってしまう。図４は、本実施形態の撮像装置１０においてそれぞれの画像処理回路が画像処理を実行する領域の分割方法の別の一例を模式的に示した図である。図４は、撮像装置１０に備えたレンズに、光学中心から外周に向かって行くにしたがって大きくなる樽型の歪みがある場合における処理領域の分割方法の一例である。

【0065】

撮像装置１０に備えたレンズに樽型の歪みがあると、撮像処理部２００がメモリ６００に格納した（書き込んだ）撮像画像は、図４（ａ）に示したような樽型の歪みＢを含んだものとなる。この場合、撮像装置１０に備えたそれぞれの画像処理回路では、画像処理する撮像画像が外周に行くほど、実行する画像処理の処理量が増大する。

【0066】

ここで、水平左方向に発生した手振れなどによって、図４（ｂ）に示したように撮影位置が移動した場合を考える。上述したように、分割位置算出部３２０が、画像処理回路４０１と画像処理回路４０２とのそれぞれに割り当てる処理領域が均等の大きさになる分割位置（ｏ）の位置を、処理領域を分割する分割位置に決定すると、画像処理回路４０１と画像処理回路４０２とがそれぞれ対応する処理領域内の撮像画像は同じ量であるが、画像処理回路４０１または画像処理回路４０２のいずれか一方が画像処理する処理領域にのみ歪みＢを含んでいる。ここでは、例えば、画像処理回路４０１が、図４（ｂ）に示した分割位置（ｏ）の左側の処理領域内の撮像画像に対して画像処理を行い、画像処理回路４０２が、図４（ｂ）に示した分割位置（ｏ）の右側の処理領域内の撮像画像に対して画像処理を行うものとする。

【0067】

この場合、画像処理回路４０１と画像処理回路４０２とのそれぞれが並列に画像処理を行うと、歪みＢを含んでいる右側の処理領域に対して画像処理を行う画像処理回路４０２の方が、画像処理の処理量が多いため、画像処理回路４０１と画像処理回路４０２とにおける画像処理の処理時間が異なってしまう。より具体的には、画像処理回路４０２の処理時間の方が、画像処理回路４０１の処理時間よりも長くなってしまう。これは、画像処理した結果として得られる撮影画像の大きさが同じであった場合、歪みが大きい外周部と歪みが小さい光学中心付近とでは、歪みが大きい外周部を処理する方が、歪み補正処理により多くの撮像画像（画像データ）を要するためである。

【0068】

そこで、分割位置算出部３２０は、画像処理回路４０１または画像処理回路４０２のいずれか一方が画像処理する処理領域に光学系の歪みを含んでいる場合には、画像処理回路４０１と画像処理回路４０２とがそれぞれ実行する画像処理の処理量が均等になるように、分割するそれぞれの処理領域の大きさを等分にせず、それぞれの処理領域内に含まれる歪みが大きい領域の割合に応じて分割位置を変更する。すなわち、分割の比率を１：１にせず、歪みが大きい領域の割合に応じて分割の比率が不均等な位置に、分割位置を決定する。

【0069】

より具体的には、図４（ｂ）に示したように、分割位置（ｏ）の位置を歪みが大きい外周部の方向に移動させた分割位置（ｎ）の位置にすることによって、画像処理回路４０１が画像処理する左側の処理領域の大きさを大きくし、画像処理回路４０２が画像処理する右側の処理領域の大きさを小さくする。これにより、画像処理回路４０１に割り当てられた、図４（ｂ）に示した分割位置（ｎ）の左側の処理領域の大きさと、画像処理回路４０２に割り当てられた、図４（ｂ）に示した分割位置（ｎ）の右側の処理領域の大きさとが均等にはならないが、画像処理回路４０１と画像処理回路４０２とがそれぞれ実行する画像処理の処理量は均等になり、画像処理回路４０１と画像処理回路４０２とにおける画像処理の処理時間が均等になる。

【0070】

なお、この考え方は、例えば、光学中心から外周に向かって行くにしたがって大きくなる糸巻き型の歪みやその他の光学系の歪みが撮像装置１０に備えたレンズに存在する場合においても、同様に適用することができる。

【0071】

なお、撮像装置１０において分割位置算出部３２０が画像処理回路のそれぞれに割り当てる処理領域を均等な大きさにしない場合は、光学系の歪みによるもののみではなく、撮像装置１０が撮影している最中に発生する手振れなどによる撮像装置１０の撮影姿勢によっても、分割の比率が不均等な位置に分割位置を決定することもある。ここで、分割位置算出部３２０が、撮像装置１０の撮影姿勢に応じて、それぞれの処理領域を不均等にする場合について説明する。

【0072】

一般的にカメラによる撮影中の手振れなどによる撮影位置の移動は、水平方向、垂直方向、または水平方向と垂直方向との組み合わせに対して並行に移動するもののみではない。例えば、回転方向の手振れなどが発生した場合には、奥行き方向にも撮影位置が移動する。この場合、イメージセンサ１００から入力された画素信号に応じて撮像処理部２００がメモリ６００に格納する（書き込む）それぞれのフレームの撮像画像は、台形の歪みを持った撮像画像になってしまう場合がある。図５は、本実施形態の撮像装置１０においてそれぞれの画像処理回路が画像処理を実行する領域の分割方法のさらに別の一例を模式的に示した図である。図５は、撮像装置１０における回転方向の手振れで撮影位置の一方が奥行き方向に移動したことにより、台形の歪みがある場合における処理領域の分割方法の一例である。

【0073】

撮像装置１０に回転方向の手振れなどが発生すると、図５（ａ）および図５（ｂ）に示したように、イメージセンサ１００の撮像面上に結像された被写体の光学像は、台形の歪みを含んでしまうことがある。そして、イメージセンサ１００に結像された被写体の光学像に台形の歪みがあると、撮像処理部２００がメモリ６００に格納した（書き込んだ）撮像画像は、図５（ｃ）に示したような台形の歪みＴを含んだものとなる。これにより、撮像装置１０に備えたそれぞれの画像処理回路では、対応する処理領域内に含まれる撮像画像（画像データ）の量に応じて、実行する画像処理の処理量が異なる。

【0074】

ここで、回転方向に発生した手振れなどによって、図５（ｂ）に示した歪みＴの領域に対する画像処理の処理量を考える。なお、分割位置算出部３２０が、画像処理回路４０１と画像処理回路４０２とのそれぞれに割り当てる処理領域は、矩形の領域であるため、分割位置算出部３２０は、図５（ｃ）に示した処理領域Ｒに基づいて分割位置を決定することになる。上述したように、分割位置算出部３２０が、画像処理回路４０１と画像処理回路４０２とのそれぞれに割り当てる処理領域が均等の大きさになる分割位置（ｏ）の位置を、処理領域Ｒを分割する分割位置に決定すると、画像処理回路４０１と画像処理回路４０２とがそれぞれ対応する処理領域Ｒ内の撮像画像の量は、画像処理回路４０１または画像処理回路４０２のいずれか一方が少なくなる。ここでは、例えば、画像処理回路４０１が、図５（ｃ）に示した分割位置（ｏ）の左側の処理領域Ｒ内の撮像画像に対して画像処理を行い、画像処理回路４０２が、図５（ｃ）に示した分割位置（ｏ）の右側の処理領域Ｒ内の撮像画像に対して画像処理を行うものとする。

【0075】

この場合、画像処理回路４０１と画像処理回路４０２とのそれぞれが並列に画像処理を行うと、歪みＴにおける台形の下底を含んでいる右側の処理領域Ｒ内に含まれる撮像画像の量の方が、歪みＴにおける台形の上底を含んでいる左側の処理領域Ｒ内に含まれる撮像画像の量よりも多い。言い換えれば、右側の処理領域Ｒ内に含まれる歪みＴの領域の面積の方が、左側の処理領域Ｒ内に含まれる歪みＴの領域の面積よりも大きい。このことから、画像処理した結果として得られる撮影画像の大きさが同じであった場合、右側の処理領域Ｒに対して画像処理を行う画像処理回路４０２の方が、左側の処理領域Ｒに対して画像処理を行う画像処理回路４０１よりも、画像処理の処理時間をより多く要してしまう。

【0076】

そこで、分割位置算出部３２０は、画像処理回路４０１および画像処理回路４０２のそれぞれが画像処理する歪みＴの領域の面積が均等になるように、すなわち、画像処理回路４０１と画像処理回路４０２とがそれぞれ実行する画像処理の処理量が均等になるように、分割するそれぞれの処理領域Ｒの大きさを等分にせず、それぞれの処理領域Ｒ内に含まれる歪みＴの領域の面積の割合に応じて分割位置を変更する。すなわち、分割の比率を１：１にせず、歪みＴの領域の面積の割合に応じて分割の比率が不均等な位置に、分割位置を決定する。

【0077】

より具体的には、図５（ｃ）に示したように、分割位置（ｏ）の位置を歪みＴにおける台形の下底を含んでいる方向に移動させた分割位置（ｎ）の位置にすることによって、画像処理回路４０１が画像処理する左側の処理領域Ｒの大きさを大きくし、画像処理回路４０２が画像処理する右側の処理領域Ｒの大きさを小さくする。これにより、画像処理回路４０１に割り当てられた、図５（ｃ）に示した分割位置（ｎ）の左側の処理領域Ｒ内に含まれる歪みＴの領域の面積と、画像処理回路４０２に割り当てられた、図５（ｃ）に示した分割位置（ｎ）の右側の処理領域Ｒ内に含まれる歪みＴの領域の面積とが均等になり、画像処理回路４０１と画像処理回路４０２とがそれぞれ実行する画像処理の処理量が均等になる。そして、画像処理回路４０１と画像処理回路４０２とにおける画像処理の処理時間が均等になる。

【0078】

なお、実際の画像処理では、図５（ｄ）に示したように、台形の歪みＴの領域を含んだ撮像画像から矩形の処理領域Ｒ内の撮像画像を取得し、取得した処理領域Ｒ内の撮像画像を拡大するリサイズ処理を行って、台形の歪みＴを補正した撮影画像を生成する処理を、一連の画像処理として実行することが考えられる。このとき、拡大のリサイズ処理では、歪みＴにおける台形の上底を含んでいる左側の処理領域Ｒの方が、歪みＴにおける台形の下底を含んでいる右側の処理領域Ｒよりもより大きく拡大することになる。このため、リサイズ処理においては、左側の処理領域Ｒに対して画像処理を行う画像処理回路４０１の方が、右側の処理領域Ｒに対して画像処理を行う画像処理回路４０２よりも、画像処理の処理時間をより多く要してしまう。つまり、画像処理回路４０１と画像処理回路４０２とがそれぞれ実行する画像処理の処理量の関係が、上述した歪みＴの領域の面積の割合に応じて分割位置を決定する場合と逆の関係である。そのため、分割位置算出部３２０は、それぞれの処理領域Ｒ内に含まれる歪みＴの領域の面積の割合のみではなく、処理領域Ｒ内に台形の上底または下底のいずれを含んでいるかも考慮して、すなわち、一連の画像処理によって実行されるリサイズ処理も考慮して、画像処理回路４０１と画像処理回路４０２とがそれぞれ実行する画像処理の処理量が均等になるように、分割位置を変更することが望ましい。

【0079】

なお、この考え方は、例えば、イメージセンサ１００の撮像面上に結像された被写体の光学像におけるその他の歪みの場合においても、同様に適用することができる。

【0080】

上記に述べたとおり、本発明を実施するための形態によれば、撮像装置内に複数の画像処理回路を備え、固体撮像装置の撮像領域の全体から一部を切り出して１フレームの撮影画像を生成する処理領域に対する画像処理の処理量が均等になるように、それぞれの画像処理回路に割り当てる処理領域を分割する。これにより、本発明を実施するための形態では、撮像装置内に備えたそれぞれの画像処理回路が並列して実行する画像処理の処理時間を均等にすることができる。

【0081】

また、本発明を実施するための形態によれば、固体撮像装置が出力するフレーム毎に、一部を切り出して撮影画像を生成する処理領域を分割する位置を順次決定する。これにより、本発明を実施するための形態では、撮像装置で撮影している最中に発生する手振れや、撮像装置における光学系の歪みなどによって、それぞれのフレーム毎に変化する処理領域の位置に関わらず、それぞれの画像処理回路に割り当てた処理領域に対する画像処理の処理量を常に均等にすることがきる。このことにより、本発明を実施するための形態では、撮像装置によって撮像してから撮影画像を生成するために行う画像処理が完了するまでのスループットを常に均等にし、従来の撮像装置よりも高速化の効果を十分に得ることができる。

【0082】

なお、本実施形態においては、撮像装置で動画を撮影する場合の例について説明した。しかし、撮像装置内に備えた複数の画像処理回路で並列に実行する画像処理は、本発明を実施するための形態において説明した動画の撮影画像を生成する場合に限定されるものではない。例えば、撮像装置において撮影する被写体を確認するための画像を表示デバイスに表示する、いわゆる、ライブビュー表示や、撮像装置で静止画の撮影を行う場合において、撮像装置内に備えた複数の画像処理回路で画像処理を並列に実行する場合であっても、本発明の考え方を適用することができる。

【0083】

また、本実施形態においては、２つの画像処理回路４０１および画像処理回路４０２を備え、分割位置算出部３２０が処理領域を水平方向に２つの領域に分割するように分割位置を決定する場合について説明した。しかし、撮像装置内に備える画像処理回路の数や、処理領域を分割する方向は、本発明を実施するための形態に限定されるものではない。例えば、撮像装置に２つの画像処理回路を備えた場合において、垂直方向に２つの領域に分割するように分割位置を決定することもできる。また、例えば、撮像装置にさらに多くの画像処理回路を備えた場合において、撮像装置内に備えた画像処理回路の数に応じて、水平方向、垂直方向、または水平方向と垂直方向とに分割したブロック状に分割することによって、分割された処理領域に対応するそれぞれの画像処理回路が実行する画像処理の処理量が均等になるように分割位置を決定する構成にすることもできる。

【0084】

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

【符号の説明】

【0085】

１０・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００・・・撮像処理部（固体撮像装置，撮像処理部）
３００・・・分割位置決定部
３１０・・・振れ量算出部（分割位置決定部）
３２０・・・分割位置算出部（分割位置決定部）
４０１，４０２・・・画像処理回路
５００・・・表示処理部
５０１・・・表示デバイス
６００・・・メモリ
７００・・・データバス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】