特許 7054437 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-06

(45)【発行日】2022-04-14

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 5/50 20060101AFI20220407BHJP

【ＦＩ】

G06T5/50

【請求項の数】 12

(21)【出願番号】P 2017245772

(22)【出願日】2017-12-22

(65)【公開番号】P2019113980

(43)【公開日】2019-07-11

【審査請求日】2020-12-10

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(72)【発明者】

【氏名】松本 康佑

【審査官】粕谷 満成

(56)【参考文献】

【文献】特開２００１－１３４７５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０３６３０８８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得手段と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得手段と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定手段と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記特定手段は、前記撮影対象に対する前記撮像手段の位置状態を変化させて撮影することによって得られた前記第１画像と第２画像とを比較し、その類似度に基づいて前記第１画像内に前記供給元領域を特定すると共に、前記第２画像内に前記補正対象領域を特定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記所定の被写体には、前記撮像手段に接する第１被写体と、前記第１被写体に連なる所定の第２被写体が含まれ、
前記補正手段は、
曲面の内側に投影された前記第１画像である第１曲面画像に含まれる前記第２被写体の大きさと、曲面の内側に投影された前記第２画像である第２曲面画像に含まれる前記第２被写体の大きさとの関係を表す関係パラメータを算出するとともに、算出された関係パラメータに基づいて、前記補正対象領域を縮小する、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記補正手段は、
前記第１曲面画像における前記第１被写体の位置と、前記第１曲面画像における、前記第２被写体に連なる所定の第３被写体の位置との関係、及び、前記第２曲面画像における前記第１被写体の位置と、前記第２曲面画像における前記第３被写体の位置との関係に応じて、前記関係パラメータを算出する、
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記第１被写体は、前記撮像手段を操作する撮影者の手であり、
前記第２被写体は、前記撮影者の腕である、
ことを特徴とする請求項３又は４に記載の画像処理装置。

【請求項6】

前記第１画像及び前記第２画像の各々は、広角レンズを備えた前記撮像手段によって撮影された画像を用いて生成された全天球画像である、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第２取得手段は、前記撮影対象に対する撮像手段の位置状態が前記第１位置状態から所定の方向に所定量移動した前記第２位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第２画像として取得する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第１取得手段は、前記撮影対象に対する前記撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した前記第１位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第１画像として取得し、
前記第２取得手段は、前記撮影対象に対する前記撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した前記第２位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第２画像として取得する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項9】

前記補正手段は、前記第２画像の補正対象領域内において、前記縮小した供給元領域の画像データを補正用画像データとして合成すると共に、前記補正用画像データを合成した部分以外の部分の画像データを、前記補正対象領域の周囲の画像データを参照して書き換える処理を施す、
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記補正手段は、前記第２画像の補正対象領域内に、前記縮小した供給元領域の画像データを補正用画像データとして合成する際に、前記補正対象領域の周囲の画像データを参照して前記補正対象領域内に前記補正用画像データを合成する位置を決定する、
ことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得ステップと、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得ステップと、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定ステップと、
前記特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定された補正対象領域を補正する補正ステップと、
を含むことを特徴とする画像処理方法。

【請求項12】

撮像手段により撮影された画像を処理する画像処理装置に、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得機能と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得機能と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定機能と、
前記特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定された補正対象領域を補正する補正機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影された画像を補正する処理を行う画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

一般に、カメラ装置に採用されている魚眼レンズ（超広角レンズ）は、例えば、画角が略１８０度という広範囲な撮影が可能ではあるが、射影方式を採用しているために魚眼レンズで撮影された画像（魚眼画像）は、その中心部からその端部（周辺部）の方に向かうほど、大きく歪んだものとなる。このような魚眼レンズをカメラ装置の前面部と後面部にそれぞれ設けて全天球３６０°の撮影を可能とした技術としては、例えば、特開２０１７－８４４２２号公報（特許文献１）が知られている。このような全天球画像の撮影時に、例えば、カメラ装置を手に持って撮影したり、三脚に固定して撮影したりすると、画像の歪みによる影響を受けて、カメラ装置を支持する持ち手や三脚の一部が画像内に不自然に大きく写ってしまう。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－８４４２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１の技術では、全天球画像が表示されている状態においてピンチイン操作やピンアウト操作に応じて、全天球画像を縮小表示したり、拡大表示したり、又はタップ操作に応じてその指定部分にぼかし処理を施したりするようにしているが、カメラ装置を支持する持ち手や三脚の一部が不自然に大きく写ってしまうという不具合を解消するまでには至らない。そこで、例えば、全天球画像のうち、撮影者の持ち手が写っている領域に周知のインペイント処理を施したり、持ち手が写っている領域を縮小してインペイント処理を施したりすることも考えられるが、前者の場合には、手が消去された全天球画像が生成されることになり、後者の場合には腕が消去された全天球画像が生成されることがあるため、やはり不自然で違和感のある画像となってしまう。

【0005】

本発明の課題は、撮像手段を支持する被写体が画像に不自然に大きく写るような場合に、この画像の領域を適切に補正できるようにすることである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために本発明は、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得手段と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得手段と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定手段と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した前記供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正手段と、
を備えることを特徴とする画像処理装置である。

【発明の効果】

【0007】

本発明によれば、撮像手段を支持する被写体が画像に不自然に大きく写るような場合に、この画像の領域を適切に補正することができる。

【図面の簡単な説明】

【0008】

【図1】（１）は、カメラ装置１を撮影者が手に持った状態を示したカメラ装置１の外観図、（２）は、全天球３６０°撮影を説明するための図。

【図2】カメラ装置１の基本的な構成要素を示したブロック図。

【図3】（１）～（４）は、自撮りを行う場合のカメラ装置１の位置と、そのカメラ位置で撮影することによって得られた全天球画像を例示した図。

【図4】全天球撮影モードが選択された際に実行開始される全天球撮影モードでの特徴的な動作を示したフローチャート。

【図5】図４の動作に続くフローチャート。

【図6】全天球画像を補正する画像補正処理（図４のステップＡ８）を詳述するためのフローチャート。

【図7】図６の動作に続くフローチャート。

【図8】図６のステップＢ２～Ｂ６（領域抽出処理）を説明するための図。

【図9】（１）～（３）は、図７のステップＢ８（縮小率の算出）を説明するための図。

【図10】図７のステップＢ１０、Ｂ１１（合成・インペイント処理）を説明するための図。

【発明を実施するための形態】

【0009】

以下、図１～図１０を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてカメラ装置１に適用した場合を例示したもので、図１（１）は、このカメラ装置１の外観図である。
カメラ装置１は、撮像機能を主体とするカメラで、全天球３６０°の撮影が可能な手持ちサイズの全天球カメラを構成し、表示手段などを備えた本体装置（図示省略）とは別体の構成となっている。カメラ装置１は、その筐体全体が薄型の長方体を成し、図示の例は、長方体のカメラ装置１が縦長となるように撮影者が片手で支持した状態を示し、その長さ方向の一端部（図中、下端部）側を支持部２とし、他端部（図中、上端部）側をレンズ装着部３とした構成となっている。

【0010】

カメラ装置１の支持部２には、電源をオンオフする電源ボタン４、撮影を指示するレリーズボタン５の他、撮影モード（全天球撮影モード、半天球撮影モード）を切り替えるモードボタンなどの各種の操作ボタンが設けられている。ここで、レリーズボタン５が装着されている側を前面（正面）とし、その反対側を後面（背面）とすると、レンズ装着部３の前面側には、前面撮像レンズ（超広角レンズ）６が設けられ、また、その後面側には後面撮像レンズ（超広角レンズ）７が設けられている。この前面撮像レンズ６と後面撮像レンズ７は、同一規格（例えば画角が１８０°）の超広角レンズ（魚眼レンズ）であり、それらは筐体を挟んで背中合わせの状態に配設されている。

【0011】

図１（２）は、全天球３６０°撮影を説明するための図である。
全天球３６０°撮影は、前面撮像レンズ６による前方１８０°撮影と後面撮像レンズ７による後方１８０°撮影を同時に行うもので、前方１８０°撮影によって得られた前方半天球画像と後方１８０°撮影によって得られた後方半天球画像とを合成することによって全天球画像が生成される。この全天球３６０°撮影を利用して撮影者が自分自身を撮影する自撮りを行う場合に撮影者は、前面撮像レンズ６が自分の顔に対面するようにカメラ装置１を片手で支持するようにすればよい。

【0012】

図２は、カメラ装置１の基本的な構成要素示したブロック図である。
カメラ装置１は、制御部１１、記憶部１２、操作部１３、音声出力部１４、通信部１５、姿勢検出部１６、撮像部１７の他に、画像データ生成部１８、画像データ処理部１９を有する構成となっている。制御部１１は、図示省略した電源部（二次電池）らの電力供給によって動作し、記憶部１２内の各種のプログラムに応じてこのカメラ装置１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１２は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラム（図４～図７）や各種のアプリケーションなどが格納されている。

【0013】

操作部１３は、電源ボタン４、レリーズボタン５などの各種の操作ボタンを備え、制御部１１は、この操作部１３からの入力操作信号に応じた処理を実行する。音声出力部１４は、撮影者に促す音声メッセージなどを出力する。通信部１５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の短距離無線通信機能、又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）機能を構成するもので、本体装置（図示省略）との通信インターフェイスで、生成した全天球画像を本体装置に送信してライブビュー画像として表示させたり、撮影済み画像として保存させたりする。

【0014】

姿勢検出部１６は、カメラ装置１の姿勢を検出するもので、例えば、３軸タイプの加速度センサやジャイロセンサなどを有し、制御部１１は、姿勢検出部１６からのセンサ信号に基づいてカメラ装置１の姿勢（例えば、水平、傾きなど）を検出する。また、本実施形態において制御部１１は、姿勢検出部１６からのセンサ信号をセンシング動作信号として取得し、このセンシング動作信号を解析することによりカメラ装置１の移動方向及び移動量（移動ベクトル）を検出するようにしている。本実施形態においては、前後に連続する画像内の動きベクトル（移動ベクトル）を画素単位で推定するオプティカルフロー推定と呼ばれる技術を利用して、カメラ装置１の移動方向及び移動量を判断するようにしているが、このオプティカルフロー推定の補助的な手段として、姿勢検出部１６からのセンシング動作信号を解析してカメラ装置１の移動ベクトルを検出するようにしている。

【0015】

撮像部１７は、高精細に静止画像や動画像を撮像可能な光学系とその駆動系を有する構成で、この撮像部１７には、前面撮像レンズ６とそれに対応する撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）６０、後面撮像レンズ７とそれに対応する撮像素子（例えば、ＣＭＯＳ又はＣＣＤ）７０を有している。この前面撮像レンズ６、後面撮像レンズ７による光学像が、対応する撮像素子６０、７０に結像されると、この撮像素子６０、７０によって光電変換された画像信号（アナログ値の信号）は、画像データ生成部１８に送られる。

【0016】

画像データ生成部１８は、撮像部１７から転送されたアナログ値の信号に対してＲＧＢの色成分毎に適宜ゲイン調整を含む所定のアナログ処理を行った後、サンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、画素補間処理などのカラープロセス処理を行い、デジタル値の輝度信号及び色差信号を生成して画像データ処理部１９に与える。ここで、本実施形態においては、全天球３６０°の撮影時には前面撮像レンズ６による前方１８０°撮影と、後面撮像レンズ７による後方１８０°撮影を同時に行うようにしているが、画像データ生成部１８は、この前方１８０°撮影によって得られた前方半天球画像と後方１８０°撮影によって得られた後方半天球画像とを合成して全天球画像（例えば、ハイパードームマスタ形式の画像）を生成するようにしている。

【0017】

なお、全天球画像のフォーマットとしては、曲面に投影可能なフォーマットであれば、ハイパードームマスタ形式に限らず、ドーム形式、エクイレクタングラー形式であってもよいが、これらの何れのフォーマット形式であっても全天球画像を生成する機能は、カメラ分野において一般的に用いられている技術であり、本実施形態においてもその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

【0018】

画像データ処理部１９は、画像データ生成部１８から画像データを取得して現像処理やホワイトバランス調整などの各種の画像処理を行うようにしているが、本実施形態においては、更に、全天球画像を補正する処理を行うようにしている。この画像補正処理を行うために画像データ処理部１９には、取得部１９ａ、特定部１９ｂ、補正部１９ｃが設けられている。なお、この取得部１９ａ、特定部１９ｂ、補正部１９ｃについては後で詳細に説明するものとする。

【0019】

図３は、全天球画像の補正処理を行うために前提となる撮影方法を説明するための図で、撮影者が自分自身を含めて周囲を撮影する自撮りを行う場合のカメラ位置と、そのカメラ位置で撮影された前方半天球画像と後方半天球画像とを合成することによって生成された全天球画像（補正前）を例示した図である。
撮影者は、前面撮像レンズ６に対面するようにカメラ装置１を支持してその腕を緩め伸ばした状態において、カメラ装置１を撮影者の顔の高さに合わせたカメラ装置１の位置状態（例えば、略水平状態）を基準位置状態とした場合に、その基準位置状態から図中、矢印方向（上下方向）にカメラ装置１を所定量移動し、カメラ装置１の移動状態が複数の位置状態（例えば、下方向に移動した位置状態と上方向に移動した位置状態）の各々であるときに撮影する。ここで、“位置状態”は、厳密な１点を意味するのではなく、所定の幅（例えば、±１０ｃｍ）を持たせた意味で、この辺りに相当する。“所定量”とは、撮影時の腕の伸ばし方などによって大きく影響されるが、例えば、１０～２０ｃｍ程度の値であり、撮影者が任意に設定可能な値である。

【0020】

図３（１）は、カメラ装置１を基準位置状態（略水平状態）から下方向に所定量移動した位置状態、つまり、撮影者とその周囲の背景を含む撮影対象に対する撮像手段（撮像レンズ６、７を含む、以下同様）の位置状態が第１位置状態（例えば、前面撮像レンズ６が撮影者の胸部付近にある状態）であり、カメラ光軸の方向が撮影者の顔に向いている状態を例示している。図３（２）は、撮像手段の位置状態がこの第１位置状態であるときに撮影された前方半天球画像と後方半天球画像とを合成することによって生成された全天球画像（第１画像）を示した図である。なお、図示の例では撮影対象として撮影者のみを示し、その他の撮影対象である背景などは図示省略したもので、図中、上側半分が前方半天球画像、下側半分が後方半天球画像を示している（以下、同様）。図３（１）に示すようにカメラ装置１を持っている撮影者の持ち手は、他の部位に比べ、撮像レンズ６、７の歪曲歪みによる影響を受けて不自然に大きく写ってしまう。

【0021】

図３（３）は、カメラ装置１を基準位置状態から上方向に移動したカメラ装置１の位置状態、つまり、撮影対象に対する撮像手段の位置状態が第２位置状態（例えば、前面撮像レンズ６が撮影者の頭上付近にある状態）であり、カメラ光軸の方向が撮影者の顔に向いている状態を例示している。図３（４）は、撮像手段の位置状態がこの第２位置状態であるときに撮影された前方半天球画像と後方半天球画像とを合成することによって生成された全天球画像（第２画像）を示した図である。この場合においてもカメラ装置１を持っている撮影者の持ち手は、図３（２）の場合と同様に不自然に大きく写ってしまう。

【0022】

このように第１位置状態で得られた全天球画像と第２位置状態で得られた全天球画像（第２画像）とは、カメラ装置１の持ち方を変えない限り、その手の写り具合（大きさや形状）は略同様で変わりはないが、その持ち手に連なる腕部分や持ち手の周囲などの写り方は、撮影位置の違い（視点の違い）によって異なる。例えば、図３（２）では、持ち手の腕の大部分がその大きな手に隠されずに、そのまま写っているのに対し、図３（４）では大きな手によって腕部分の大部分が隠されてしまう。また、持ち手の周囲において、図３（４）では、大きな手によって隠れていた片脚部分が、図３（２）では露出しているなど、第１画像と第２画像とは、持ち手を除く他の部分が撮影位置の違いによって異なる。このことを全天球画像の補正処理で利用するために、撮影位置を変えて撮影した複数枚（本実施形態では２枚）の画像を得るようにしている。

【0023】

なお、図３の例では、第１位置状態を、撮像手段が撮影者の胸部付近にある位置状態とし、第２位置状態を、撮像手段が撮影者の頭上付近にある位置状態とした場合を示したが、それとは逆に第１位置状態を撮像手段が撮影者の頭上付近に、第２位置状態を撮像手段が撮影者の胸部付近に、それぞれある位置状態としてもよい。また、撮影する順番も、撮影者の胸部付近の次に頭上付近とする場合に限らず、撮影者の頭上付近、胸部付近の順としてもよい。更に、カメラ装置１の移動方向として、基準位置状態から上下方向への移動を例示したが、左右方向への移動などであってもよい。

【0024】

画像データ処理部１９においてその取得部１９ａは、撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された前方半天球画像と後方半天球画像との合成画像（全天球画像）を第１画像として取得すると共に、第２位置状態であるときに撮影された前方半天球画像と後方半天球画像との合成画像（全天球画像）を第２画像として取得する処理を行う。特定部１９ｂは、取得部１９ａによって取得された複数の全天球画像（第１画像と第２画像）内の一部を所定の領域として特定する処理を行うもので、第１画像のうち、カメラ装置１を支持する所定の被写体（撮影者の手の領域と腕の領域）が写っている所定の領域を、供給元領域として特定し、第２画像のうち、上記の被写体（撮影者の手の領域と腕の領域）が写っている所定の領域を、補正対象領域として特定する処理を行う。

【0025】

補正部１９ｃは、この特定部１９ｂによって第１画像内に特定した供給元領域、第２画像内に特定した補正対象領域のうち、供給元領域内の補正用画像データを用いて、補正対象領域を補正する処理を行う。すなわち、供給元領域を縮小すると共に、補正対象領域内の画像データを削除する。そして、縮小した供給元領域の画像データを補正用画像データとして、補正対象領域内に合成した後、補正対象領域内において、この合成部分を除く残りの部分（空白部分）に対してインペイント処理を行う。なお、上述した特定処理や画像補正処理の詳細については後述するものとする。

【0026】

次に、本実施形態におけるカメラ装置１の動作概念を図４～図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図４～図７は、カメラ装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図４～図７のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

【0027】

図４及び図５は、モードボタン（図示省略）によって全天球撮影モードが選択された際に実行開始される全天球撮影モードでの特徴的な動作を示したフローチャートである。
カメラ装置１の制御部１１は、マニュアル撮影が指定されているかオート撮影が指定されているかを判別する（図４のステップＡ１）。すなわち、上述したように本実施形態では、カメラ装置１の位置状態を変えて複数枚（本実施形態においては２回）の撮影を行うようにしているが、この複数枚の撮影方法として、レリーズボタン５が操作される毎に１枚毎に撮影するマニュアル撮影が指定されているか、レリーズボタン５を１回操作した後は、自動的に逐次撮影するオート撮影が指定されているかを判別する。

【0028】

いま、マニュアル撮影が指定されていれば（ステップＡ１でＹＥＳ）、レリーズボタン５の操作待ち状態となる（ステップＡ２）。ここで、撮影者は、例えば、図３（１）に示したように撮影対象に対する撮像手段の位置状態が第１位置状態であるときに、レリーズボタン５を操作する。制御部１１は、レリーズボタン５が操作されると（ステップＡ２でＹＥＳ）、その撮影タイミングで一対の半天球画像（前面撮像レンズ６及び撮像素子６０で得られた前方半天球画像と、後面撮像レンズ７及び撮像素子７０で得られた後方半天球画像）を取得する（ステップＡ３）。

【0029】

そして、この一対の半天球画像を合成して全天球画像を生成する画像処理を行い、その全天球画像を１枚目の全天球画像（第１画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ４）。これによって１枚分の撮影が終ると、撮影枚数に“１”を加算してその値を更新する撮影枚数カウント処理（ステップＡ５）を行った後、撮影枚数は所定枚数（本実施形態では２枚）に達したかを判別するが（ステップＡ６）、いま、１枚目の撮影が終った場合であるから（ステップＡ６でＮＯ）、上述のステップＡ２に戻り、再びレリーズ操作待ち状態となる。

【0030】

ここで、撮影者は、例えば、図３（２）に示したように撮影対象に対する撮像手段の位置状態が第２位置状態であるときに、レリーズボタン５を操作する。制御部１１は、レリーズボタン５が操作されると（ステップＡ２でＹＥＳ）、上述の場合と同様に、前方半天球画像と後方半天球画像を取得して（ステップＡ３）、全天球画像を生成し、この全天球画像を２枚目の画像（第２画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ４）。これによって２枚分の撮影が終ると、撮影枚数の値は“２”に更新されて（ステップＡ５）、所定枚数に達するため（ステップＡ６でＹＥＳ）、この撮影枚数をクリアする処理（ステップＡ７）に移る。その後、１枚目の全天球画像（第１画像）を用いて２枚目の全天球画像（第２画像）を補正する処理（ステップＡ８）を実行した後、図４及び図５のフローから抜ける。

【0031】

他方、オート撮影が指定されていれば（ステップＡ１でＮＯ）、図５のフローに移り、レリーズボタン５の操作待ち状態となる（ステップＡ９）この状態において、レリーズボタン５が操作されると（ステップＡ９でＹＥＳ）、前方半天球画像を逐次取得する動作を開始すると共に、姿勢検出部１６からセンサ信号を逐次取得する動作を開始する（ステップＡ１０）。そして、逐次取得した前方半天球画像に基づいてオプティカルフロー推定を行って前画像（前フレーム画像）の各画素が後画像（後フレーム画像）のどの画素に移動したかの移動ベクトルを推定したり、姿勢検出部１６から逐次取得したセンサ信号に基づいてカメラ装置１の姿勢（水平、傾きなど）やその移動ベクトルを検出したりする動作検出処理を開始する（ステップＡ１１）。

【0032】

この検出結果（移動ベクトル）を総合的に判断してカメラ装置１（撮像手段）が基準位置状態から（ステップＡ１２でＹＥＳ）、所定方向に所定量移動したかを判別する（ステップＡ１３、Ａ１４）。ここで、所定方向（図３の例では上下方向）への移動でなければ（ステップＡ１３でＮＯ）、移動方向の間違えを促す音声メッセージを出力（ステップＡ１５）させた後、上述のステップＡ１３に戻るが、所定方向への移動でも（ステップＡ１３でＹＥＳ）、所定の移動量に達していなければ（ステップＡ１４でＮＯ）、上述のステップＡ１３に戻る。いま、基準位置状態から所定方向へ所定量分移動したことを検出すると、例えば、図３（１）に示すように撮像手段が基準位置状態から下方向に所定量分移動してその位置状態が第１位置状態に達したことを検出したときには（ステップＡ１４でＹＥＳ）、その検出タイミングで一対の半天球画像（前方半天球画像と後方半天球画像）を取得する（ステップＡ１６）。そして、この一対の半天球画像を合成して全天球画像を生成する画像処理を行い、その全天球画像を１枚目の全天球画像（第１画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ１７）。

【0033】

これによって１枚分の撮影が終ると、撮影枚数に“１”を加算してその値を更新する撮影枚数カウント処理（ステップＡ１８）を行なった後、その撮影枚数は所定枚数に達したかを判別するが（ステップＡ１９）、いま、１枚目の撮影が終った場合であるから上述のステップＡ１２に戻る。ここで、カメラ装置１は、第１位置状態から第２位置状態に移動する際に、その移動途中で基準位置状態に戻されるので、第１位置状態から上方向に移動されて基準位置状態に達すると（ステップＡ１２でＹＥＳ）、この基準位置状態から更にカメラ装置１が所定方向（上方向）に所定量移動したか（第２位置状態に達したか）を判別する（ステップＡ１３、Ａ１４）。なお、本実施形態ではカメラ装置１の基準位置状態から下方向及び上方向への移動量を互いに同等とすることにより、第１位置状態と第２位置状態とが基準位置状態を中心として対称な位置関係となるようにしたが、それらが非対称となるように移動量を設定するようにしてもよい。

【0034】

いま、カメラ装置１の位置状態が第１位置状態から基準位置状態を経由して第２位置状態に達したことを検出すると（ステップＡ１４でＹＥＳ）、上述の場合と同様に、その検出タイミングで前方半天球画像と後方半天球画像を取得し（ステップＡ１６）、それらを合成して全天球画像を生成する画像処理を行い、その全天球画像を２枚目の全天球画像（第２画像）としてワークメモリ（図示省略）に一時記憶しておく（ステップＡ１７）。これによって２枚分の撮影が終ると、撮影枚数の更新（ステップＡ１８）によって、撮影枚数の値は、所定枚数“２”に達するので（ステップＡ１９でＹＥＳ）、撮影枚数をクリアする処理（ステップＡ２０）を行った後、図４のステップＡ８に移り、１枚目の全天球画像（第１画像）を用いて２枚目の全天球画像（第２画像）を補正する画像補正処理を実行する。

【0035】

図６及び図７は、１枚目の全天球画像（第１画像）を用いて２枚目の全天球画像（第２画像）を補正する画像補正処理（図４のステップＡ８）を詳述するためのフローチャートである。
この画像補正処理の全体を大別すると、「位置合わせ処理」、「領域抽出処理」、「フィッティング処理」、「合成・インペイント処理」から成る。まず、「位置合わせ処理」として、複数の全天球画像、つまり、１枚目の全天球画像（第１画像）と２枚目の全天球画像（第２画像）を上述のワークメモリから読み出してそれらの位置合わせを行う（図６のステップＢ１）。この位置合わせ処理の仕方は任意であるが、本実施形態では、ハイパードームマスタ形式の画像を球面の内側に投影し、その投影面に対して位置合わせを行う際に両画像内の着目点を合致させて両画像の向きのズレなどを調整する。

【0036】

次に、「領域抽出処理」としてステップＢ２～Ｂ６を実行する。まず、各全天球画像内の中央部分を、手が写り込んでいる領域として暫定的に設定する（ステップＢ２）。すなわち、カメラ装置１の持ち手の位置は、カメラ装置１の形状などから決まり、画像内に写る手の領域の位置や大きさも決まるため、各画像の中央部分を手が写っている領域（暫定領域）として設定する。図８（１）は、１枚目の全天球画像（第１画像）を示し、図８（２）は、２枚目の全天球画像（第２画像）を示し、図中、円形の破線は、第１画像及び第２画像内に設定した手の暫定領域を示している。

【0037】

そして、第１画像及び第２画像内の暫定領域を比較してそれらの類似度に基づいて各画像内に手の領域を特定する（ステップＢ３）。すなわち、撮影位置を変えて撮影した各画像を比較しても手の領域だけはカメラ装置１との位置関係は変わらず、画像上でもその位置関係が変わらないため、暫定領域内の当該部分を、カメラ装置１を持つ手の領域として特定する。この場合、手の領域を特定する方法は任意であるが、本実施形態では、既知の手法として、色、輝度、エッジ、テクスチャ情報、更にはＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）などの局所特徴量の何れか、又はそれらの組合せを用いたマッチングで手の領域を特定するようにしている。

【0038】

なお、手の領域を特定する際にも撮像手段の位置状態を変えて撮影した複数の画像（第１画像と第２画像）を用いることにより、例えば、第１画像において手の領域（肌色領域）に同系色の領域が隣接していてもカメラ装置１を移動させて撮影した第２画像では、当該同系色の領域と手の領域との間に他の領域が出現することによって同系色領域と手の領域とが隣接しなくなっていれば、第１画像内に手の領域を特定する際に、第２画像を参照することにより当該同系色の領域を手の領域として誤認することはなく、手の領域だけを確実に特定することができる。このことは、逆の場合でも同様で、第２画像内に手の領域を特定する際に第１画像を参照することにより当該同系色の領域を手の領域として誤認することなく、手の領域だけを確実に特定することができる。

【0039】

このようにして各画像内の手の領域（第１被写体）を特定すると、更に手の領域に連なる腕の領域（第２被写体）を特定する（ステップＢ４）。この場合も上述した手の領域の特定方法と同様の特定方法によって手の領域に連なる腕の領域を特定する。そして、第１画像に対しては、特定した手の領域及び腕の領域（第１及び第２被写体を含む領域）を、補正用の画像データを供給する供給元領域として特定し、また、第２画像に対しては、特定した手の領域及び腕の領域（第１及び第２被写体を含む領域）を補正対象領域として特定する（ステップＢ５）。これによって特定した供給元領域の画像データを補正用画像データとして第１画像から抽出し、また、特定した補正対象領域全体の画像データを第２画像から削除する処理を行う（ステップＢ６）。

【0040】

図８（３）は、第１画像の供給元領域の画像データを補正用画像データとして抽出する際の様子を示した図で、図中、破線を付した領域は、抽出する前の供給元領域を示し、破線矢印を付して示した画像データは、供給元領域から抽出した補正用画像データを示している。図８（４）は、第２画像の補正対象領域（図中、破線を付した領域）の画像データを削除して空白領域とした状態を示した図である。このように第１画像内には供給元領域を、第２画像内には補正対象領域を特定した理由は、カメラ装置１を支持する側の腕部分の写り具合によるもので、腕部分が多く写っている方の画像内に供給元領域を特定し、他方の画像内に補正対象領域を特定するためである。このような領域抽出処理（ステップＢ２～Ｂ６）が終ると、図７のフローに移り、「フィッティング処理」としてステップＢ７、Ｂ８を実行する。

【0041】

まず、第１及び第２画像の各々に顔の領域（第３被写体）を特定する（ステップＢ７）。この場合の特定方法についても任意である。本実施形態では、ハイパードームマスタ形式の画像を球面の内側に投影し、その投影面に対して顔検出を行うが、その際、人物を特定してからその顔の領域（第３被写体）を特定するようにしている。次に、供給元領域を縮小するための縮小率を、全天球画像（第１画像と第２画像）内における手の領域と顔の領域との位置関係から算出する（ステップＢ８）。すなわち、曲面の内側に投影された第１画像に含まれる手（第１被写体）に対する顔（第３被写体）の位置と、曲面の内側に投影された第２画像に含まれる手（第１被写体）に対する顔（第３被写体）の位置との関係を表す関係パラメータ（縮小率）を算出する。

【0042】

図９は、画像補正処理で利用する縮小率の算出方法を説明するための図である。
図９（１）は、ハイパードームマスタ形式の第１画像を半径Ｒの球面の内側に投影した投影面において、手の領域の重心と顔の領域の重心との位置関係を示し、図９（２）は、ハイパードームマスタ形式の第２画像を半径Ｒの球面の内側に投影した投影面において、手の領域の重心と顔の領域の重心との位置関係を示した図である。なお、各画像の中心は、カメラ装置１の位置（光軸）を示している。図９（１）及び図９（２）に示すように、手の領域の位置（重心）とカメラ装置１との位置関係は変わらないが、顔の領域の位置（重心）とカメラ装置１との位置関係が変わるために、図９（１）の第１画像では腕部分は写っているが、図９（２）の第２画像では腕部分が手に隠されて写らなくなる。

【0043】

図中、Ｌ１は、第１画像において手の領域の重心と顔の領域の重心との間の弧の長さを示すとともに、第１画像における撮影者の腕の大きさに相当し、Ｌ２は、第２画像において手の領域の重心と顔の領域の重心との間の弧の長さを示すとともに、第２画像における撮影者の腕の大きさに相当する。図中、θ１、θ２は、顔の領域の重心と球面の中心を結ぶ直線と、手の領域の重心と球面の中心を結ぶ直線とが成す円周角で、具体的には次の様にして算出される。すなわち、第１画像（第２画像）を半径Ｒの球面の内側に投影した投影面に対して、顔の領域の重心の球面上の３次元座標ＶｅｃｔｏｒＦ （Ｘ＿ｆａｃｅ，ｙ＿ｆａｃｅ，ｚ＿ｆａｃｅ）を取得すると共に、手の領域の重心の球面上の３次元座標ＶｅｃｔｏｒＨ（Ｘ＿ｆａｃｅ,ｙ＿ｆａｃｅ,ｚ＿ｆａｃｅ）を取得し、このＶｅｃｔｏｒＦ、ＶｅｃｔｏｒＨの内積からｃｏｓθ１（ｃｏｓθ２）を算出して、円周角θ１（θ２）を求める。

【0044】

ここで、撮影時に撮影者の腕の長さ（持ち方）を変えなければ、カメラ位置から顔までの距離も大きく変わらないので、カメラ位置から顔までの距離はＲに近似し、腕の大きさに相当する弧の長さＬ１及びＬ２は、円周角θ１及びθ２にそれぞれ比例することになる。すなわち、Ｌ１は第１画像の腕の長さに相関し、Ｌ２は第２画像の腕の長さに相関するので、縮小率はＬ２／Ｌ１により求められるが、カメラ位置によっては大きな手により腕が隠されるため、手から離れている顔に着目し、第１画像に含まれる手の位置と顔の位置の関係と、第２画像に含まれる手の位置と顔の位置との関係、つまり、円周角θ１及びθ２の関係から縮小率Ｌ２／Ｌ１=θ２／θ１を求める。本実施形態では、第１画像の手の画像を第１画像の腕の画像と一緒に、第２画像に見合った大きさに縮小するために、上記のように弧の長さＬ１、Ｌ２の比率に比例する円周角θ１、θ２の比率に基づいて、縮小率を求めるようにしている。具体的には、縮小率は次式で算出される。
縮小率＝α×（θ２／θ１）
ここで、αは、各種のアプリケーションやデバイス（カメラ装置）に応じて設定される所定の調整用パラメータである。
なお、調整用パラメータを省略してもよい。また、縮小率の算出にあたり、手や顔の領域の重心を用いているが、他の適当な位置を用いてもよい。

【0045】

このようなフィッティング処理（ステップＢ７、Ｂ８）が終ると、「合成・インペイント処理」の実行に移る（ステップＢ９～Ｂ１１）。まず、上述のように算出した縮小率を用いて第１画像から抽出した供給元領域（手の領域と腕の領域）を縮小する処理を行う（ステップＢ９）。図１０（１）は、供給元領域内の補正用画像データを縮小する前と縮小した後の状態を示した図である。そして、縮小した供給元領域の画像データを補正用画像データとして第２画像内の補正対象領域に合成する処理を行う（ステップＢ１０）。その合成位置は、補正対象領域の重心とは限らず、例えば、補正対象領域の周囲の画像データを参照して、連結状態、全体バランス、後処理（後述するインペイント処理）の容易さなどを総合的に判断して決定するようにしている。

【0046】

図１０（２）は、縮小した供給元領域の画像データを補正用画像データとして第２画像内の補正対象領域に合成した状態を示した図で、撮影者の肩に腕がバランス良く連結するようにその合成位置を決定して合成した状態を示し、腕の部分が表れた状態となる。すなわち、合成後の手の領域と顔の領域との位置関係は、図９（３）に示すように、円周角θ２は変わらないが、弧の長さはＬ３となり、Ｌ１＞Ｌ３＞Ｌ２の関係となるために、腕の部分が表れた状態となる。

【0047】

次に、補正対象領域内において、上述のように合成した手の領域及び腕の領域を除く残りの領域（空白領域）に対して、インペイント処理を施す（ステップＢ１１）。このインペイント処理は、既知の技術を使用して、補正対象領域内の残りの領域（空白領域）の画像データを、その補正対象領域の周りの領域の画像データを参照して書き換え、それにより、この補正対象領域内の残りの領域を、その周りの色や模様で塗りつぶしたり、境目を滑らかに仕上げたりするものである。図１０（３）は、上述のような画像補正処理を行った後の第２画像を示し、図１０（４）は、画像補正処理を行う前の第２画像を示している。両者を比べると、補正後の第２画像は、カメラ装置１の持ち手の大きさが自然で違和感がないものとなり、その腕部分も表れた自然な人物像となる。

【0048】

以上のように、本実施形態においてカメラ装置１は、撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得すると共に、撮影対象に対する撮像手段の位置状態が第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得し、この第１画像のうち、撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、第２画像のうち、上記の被写体が写っている所定の領域を、補正対象領域として特定した後に、この供給元領域を縮小し、この縮小した供給元領域の画像データを補正用画像データとして用いて、補正対象領域を補正するようにしたので、撮像手段を支持する被写体が画像に不自然に大きく写るような場合に、この被写体の領域を適切に補正することができ、違和感のない画像を得ることができる。

【0049】

撮影対象に対する撮像手段の位置状態を変化させて撮影した第１画像と第２画像とを比較し、その類似度に基づいて第１画像内に供給元領域を特定すると共に第２画像内に補正対象領域を特定するようにしたので、領域特定の際に周囲に類似する色や模様などが存在していたり、オクルージョン領域が発生していたりしても、供給元領域、補正対象領域を正確に特定することが可能となる。

【0050】

撮像手段を支持する所定の被写体は、撮像手段に接する第１被写体と、この第１被写体に連なる第２被写体を含み、カメラ装置１は、曲面の内側に投影された第１画像である第１曲面画像（投影面上の画像）に含まれる第２被写体の大きさと、曲面の内側に投影された第２画像である第２曲面画像（投影面上の画像）に含まれる第２被写体の大きさとの関係を表す関係パラメータを算出するとともに、算出された関係パラメータに基づいて、供給元領域を縮小するようにしたので、撮影対象に対する撮像手段の位置状態を変化させて撮影した画像が全天球画像である場合に、その位置変化に相応した関係パラメータで供給元領域を縮小することができる。

【0051】

第１曲面画像における第１被写体の位置と、第１曲面画像における、第２被写体に連なる所定の第３被写体の位置との関係、及び、第２曲面画像における第１被写体の位置と、第２曲面画像における第３被写体の位置との関係に応じて、関係パラメータを算出するようにしたので、撮影対象と撮像手段との位置変化によって、第１被写体（手の領域）とカメラ装置１との位置関係は変わらないが、第２被写体（腕の領域）に連なる第３被写体（顔の領域）とカメラ装置１との位置関係は変わるため、この第３被写体（顔の領域）の位置変化から関係パラメータを算出することができる。

【0052】

第１画像及び第２画像の各々は、一対の超広角レンズ（魚眼レンズ）を備えた撮像手段によって撮影された２つの半天球画像を合成することによって生成された全天球画像であり、この全天球画像内に撮像手段を支持する被写体が不自然に大きく写るような場合に、その被写体部分の画像を適切に補正することができる。

【0053】

撮影対象に対する撮像手段の位置状態が第１位置状態から所定の方向に所定量移動した第２位置状態に変化したことを条件に、撮像手段によって撮影された画像を第２画像として取得するようにしたので、例えば、撮影者は２枚目以降の撮影時に撮像手段の位置状態を意識しなくても所望する画像を得ることが可能となる。

【0054】

撮影対象に対する撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した第１位置状態に変化したことを条件に、撮像手段によって撮影された画像を第１画像として取得し、撮影対象に対する撮像手段の位置状態が基準位置状態から所定の方向に所定量移動した第２位置状態に変化したことを条件に、撮像手段によって撮影された画像を第２画像として取得するようにしたので、撮影者は撮影時に撮像手段の位置状態を意識しなくても所望する複数の画像を得ることが可能となる。

【0055】

第２画像の補正対象領域内において、縮小した供給元領域の画像データを補正用画像データとして合成すると共に、この合成部分を除く残りの部分の画像データを、補正対象領域の周囲の画像データを参照して書き換える処理（インペイント処理）を施すようにしたので、第２画像を適切に補正することができる。

【0056】

第２画像の補正対象領域内に、縮小した供給元領域の画像データを補正用画像データとして合成する際に、補正対象領域の周囲の画像データを参照してその合成位置を決定するようにしたので、全体バランス、後処理（インペイント処理）の容易さなどを総合的に判断して合成位置を決定することができる。

【0057】

（変形例１）
なお、上述した実施形態においては、画像補正処理において、「位置合わせ処理」、「領域抽出処理」、「フィッティング処理」、「合成・インペイント処理」を順次実行するようにしたが、「フィッティング処理」、「合成・インペイント処理」に代わって、以下の最適化手法を実行するようにしてもよい。すなわち、「位置合わせ処理」を行った後の「領域抽出処理」によって第１画像から供給元領域を抽出すると、縮小率を算出する処理を行わず、この抽出した供給元領域の大きさや合成位置などをワーピングによって遂次変更（ワープ変形）しながら補正対象領域の境界上でのエネルギー値を繰り返し算出して最適な供給元領域の大きさなどを決定する最適化手法を実行するようにしてもよい。

【0058】

この境界エネルギー値をどのように定義するかは任意であるが、例えば、補正対象領域との境界における明度変化の滑らかさが良くなると共に、バランスなどが良くなる程に、この境界エネルギー値が小さな値となるようにすると、この境界エネルギー値が最小化するようにワーピングを繰り返しながら境界エネルギー値を計算し、境界エネルギー値が最小化されたときの供給元領域の大きさや合成位置などを最適な値として決定するようにすればよい。このような最適化手法を用いることにより、撮像手段を支持する所定の被写体の画像部分を更に適切に補正することが可能となる。

【0059】

このような最適化手法を用いる場合に、図９で示した縮小率を算出しながら、算出された縮小率に応じてワーピングを繰り返すようにしてもよい。すなわち、ワーピングの制約条件として縮小率を用いるようにしてもよい。例えば、まず、ワーピング前の元の２つの画像を用いて縮小率を算出してからワーピングを開始する。次に、ワーピング後の２つの画像を用いて縮小率を算出するが、その際、ワーピング前に算出した縮小率Ａとワーピング後に算出した縮小率ＢとがＢ＞Ａの関係となるようにする。このような条件で縮小率Ｂを算出すると、その値は１－ε＜Ｂ＜１＋εの範囲内にあるか否かを判別する。なお、εは値１．０よりも小さい正の所定値である。いま、縮小率Ｂが１－ε＜Ｂ＜１＋εの範囲外であれば、ワーピング処理に戻るが、その範囲内であれば、そのときの境界エネルギー値を算出する処理に移る。以下、この境界エネルギー値が最小化するまでワーピング及び縮小率Ｂの算出を繰り返しながら縮小率Ｂは、１－ε＜Ｂ＜１＋εの範囲内であるか否かを判別する。これによって、ワーピングによる供給元領域の縮小に要する時間を短縮しながら、この縮小を適切に行うことができるとともに、補正対象領域を適切に補正することができる。

【0060】

（変形例２）
上述した実施形態においては、撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得すると共に、撮影対象に対する撮像手段の位置状態が第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得するようにしたが、撮影対象に対してカメラ装置１を移動しながら動画撮影を行い、その動画撮影された各フレーム画像の中から第１画像及び第２画像を選択するようにしてもよい。この場合、各フレーム画像内の任意の着目点（例えば、人物の鼻や目など）の写り具合を判断して、手の領域及び腕の領域を特定するのに適した画像を第１画像及び第２画像として選択すればよい。このように動画から第１画像及び第２画像を選択するようにすれば、撮影者はカメラ装置１の位置状態を気にすることなく、撮影を行うことができると共に、撮影対象に対してカメラ装置１を移動する際に、直線的な移動に制限されることもなく、移動の自由度を増すことができる。

【0061】

上述した実施形態においては、供給元領域の縮小率を算出してその供給元領域の全体を一律に縮小する場合を例示したが、レンズの中央部と周辺部との歪曲歪みの違いを考慮して、供給元領域を複数に分け（例えば、二等分し）、その一方の領域（例えば、肩側）と他方の領域（手先側）との縮小率を、肩側＜手先側となるように求め、この各縮小率に応じて供給元領域の全体を縮小するようにしてもよい。これによって供給元領域を撮像レンズの歪曲歪みに対応させることが可能となる。

【0062】

上述した実施形態においては、供給元領域の縮小率を、全天球画像（第１画像と第２画像）内における手の領域と顔の領域との位置関係から算出するようにしたが、撮像手段の種類やその持ち方などに応じて予め設定されている所定値を縮小率として使用するようにしてもよい。

【0063】

上述した実施形態においては、前方半天球画像と後方半天球画像を合成して全天球画像を生成した後に、この全天球画像に対して画像補正処理を実行するようにしたが、前方半天球画像と後方半天球画像の状態で画像補正処理を実行した後に、その補正後の前方半天球画像と後方半天球画像とを合成して全天球画像を生成するようにしてもよい。

【0064】

上述した実施形態においては、撮影時に画像補正処理を行うようにしたが、撮影画像を保存した後、その保存画像（撮影済み画像）に対して画像補正処理を行うようにしてもよい。この場合、全天球画像の形式で保存する場合に限らず、前方半天球画像と後方半天球画像の形式で保存した場合には、この前方半天球画像及び後方半天球画像から全天球画像を生成してから画像補正処理したり、前方半天球画像及び後方半天球画像に対して画像補正処理を行った後に、補正後の前方半天球画像及び後方半天球画像を合成して全天球画像を生成したりしてもよい。

【0065】

上述した実施形態においては、補正用画像データを第１画像から抽出し、抽出された補正用画像データを縮小率で縮小しているが、第１画像全体を縮小率で縮小してから、補正用画像データを第１画像から抽出してもよい。

【0066】

上述した実施形態においては、カメラ装置１の移動時に所定の移動方向から外れた場合にその旨を報知する音声メッセージを出力するようにしたが、カメラ装置１を第１位置状態及び第２位置状態に移動するように促す音声メッセージを出力したり、第１位置状態及び第２位置状態に達したことを報知する音声メッセージを出力したりするようにしてもよい。また、カメラ装置１にモニター装置が接続されている場合には、このモニター画面にライブビュー画像を表示させると共に、第１位置状態及び第２位置状態を案内する枠を表示させて、その枠内に撮影者の持ち手が収まるようにカメラ装置１を移動すべきことを案内するようにしてもよい。

【0067】

上述した実施形態においては、第１画像と第２画像の２枚の画像を取得する場合を例示したが、例えば、上下方向で撮影された２枚の画像と左右方向で撮影された２枚の画像、つまり、合計４枚の画像を取得するようにしてもよく、その枚数は問わない。
上述した実施形態においては、一対の超広角レンズ（魚眼レンズ）を用いた全天球カメラに適用した場合を示したが、単一の超広角レンズで略全天球の撮影を可能としたカメラに適用するようにしてもよく、３以上の広角レンズ（例えば、画角が１２０°以下）を用いて全天球の撮影を可能としたカメラに適用してもよく、更には、全天球画像に限らず、半天球画像についても適用可能である。この場合、撮像手段を支持する所定の被写体が、全天球画像の場合にはその画像の中央部に位置し、半天球画像の場合にはその画像の周辺部に位置するなどの相違点もあるが、半天球画像であっても全天球画像の場合と基本的には同様に適用可能である。

【0068】

上述した実施形態においては、カメラ装置を支持する持ち手を所定の被写体とした場合を示したが、三脚にカメラ装置１を固定した場合には、例えば、この三脚に回転可能なアームを設け、このアームの先端部にカメラ装置１を取り付けた場合には、このアームを所定の被写体（第１被写体及び第２被写体）としてもよい。その場合には、アームの支点部分が第３被写体に相当する。更に、三脚に限らず、セルフィースティックと呼ばれる延長棒（自撮り棒、或いはセルカ棒）の取付け部分にカメラ装置１を取り付け、撮影者自身を撮影する場合に、その取付け部分を所定の被写体としてもよい。このようにカメラ装置１を支持する部材であれば、その支持部材を所定の被写体としてもよい。

【0069】

また、上述した実施形態においては、画像処理装置としてカメラ装置に適用した場合を例示したが、カメラ装置によって撮影された画像を、表示手段を備えた本体装置（図示省略）又は、他の外部装置に送信して保存させた後、その外部装置側でその撮影画像に対して画像補正処理を施すようにしてもよい。なお、上述の外部装置としては、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム機、音楽プレイヤー、電子腕時計などに適用するようにしてもよい。更に、画像処理装置としては、撮像手段及び表示手段などを備えたコンパクトカメラであってもよい。

【0070】

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

【0071】

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得手段と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得手段と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定手段と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記特定手段は、前記撮影対象に対する前記撮像手段の位置状態を変化させて撮影することによって得られた前記第１画像と第２画像とを比較し、その類似度に基づいて前記第１画像内に前記供給元領域を特定すると共に、前記第２画像内に前記補正対象領域を特定する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記所定の被写体には、前記撮像手段に接する第１被写体と、前記第１被写体に連なる所定の第２被写体が含まれ、
前記補正手段は、
曲面の内側に投影された前記第１画像である第１曲面画像に含まれる前記第２被写体の大きさと、曲面の内側に投影された前記第２画像である第２曲面画像に含まれる前記第２被写体の大きさとの関係を表す関係パラメータを算出するとともに、算出された関係パラメータに基づいて、前記対象領域を縮小する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記補正手段は、
前記第１曲面画像における前記第１被写体の位置と、前記第１曲面画像における、前記第２被写体に連なる所定の第３被写体の位置との関係、及び、前記第２曲面画像における前記第１被写体の位置と、前記第２曲面画像における前記第３被写体の位置との関係に応じて、前記関係パラメータを算出する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項３又は４に記載の画像処理装置において、
前記第１被写体は、前記撮像手段を操作する撮影者の手であり、
前記第２被写体は、前記撮影者の腕である、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項１乃至５のいずれか１項に記載の画像処理装置において、
前記第１画像及び前記第２画像の各々は、広角レンズを備えた前記撮像手段によって撮影された画像を用いて生成された全天球画像である、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項１乃至６のいずれか１項に記載の画像処理装置において、
前記第２取得手段は、前記撮影対象に対する撮像手段の位置状態が前記第１位置状態から所定の方向に所定量移動した前記第２位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第２画像として取得する、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１乃至６のいずれか１項に記載の画像処理装置において、
前記第１取得手段は、前記撮影対象に対する前記撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した前記第１位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第１画像として取得し、
前記第２取得手段は、前記撮影対象に対する前記撮像手段の位置状態が予め決められている基準位置状態から所定の方向に所定量移動した前記第２位置状態に変化したことを条件に、前記撮像手段によって撮影された画像を前記第２画像として取得する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項１乃至８のいずれか１項に記載の画像処理装置において、
前記補正手段は、前記第２画像の補正対象領域内において、前記縮小した供給元領域の画像データを補正用画像データとして合成すると共に、前記補正用画像データを合成した部分以外の部分の画像データを、前記補正対象領域の周囲の画像データを参照して書き換える処理を施す、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、
前記補正手段は、前記第２画像の補正対象領域内に、前記縮小した供給元領域の画像データを補正用画像データとして合成する際に、前記補正対象領域の周囲の画像データを参照して当該合成位置を決定する、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得ステップと、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得ステップと、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定ステップと、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正ステップと、
を含むことを特徴とする画像処理方法である。
（請求項１２）
請求項１２に記載の発明は、
撮像手段により撮影された画像を処理する画像処理装置に、
撮影対象に対する撮像手段の位置状態が第１位置状態であるときに撮影された画像を第１画像として取得する第１取得機能と、
前記撮影対象に対する前記撮像手段の位置状態が前記第１位置状態とは異なる第２位置状態であるときに撮影された画像を第２画像として取得する第２取得機能と、
前記取得された第１画像のうち、前記撮像手段を支持する所定の被写体が写っている所定の領域を、供給元領域として特定すると共に、前記取得された第２画像のうち、前記被写体が写っている所定の領域を、補正対象領域として特定する特定機能と、
前記特定手段で特定された供給元領域を縮小すると共に、縮小した供給元領域の画像データを補正用画像データとして用いて、前記特定手段で特定された補正対象領域を補正する補正機能と、
を実現させるためのプログラムである。

【符号の説明】

【0072】

１ カメラ装置
５ レリーズボタン
６ 前面撮像レンズ
７ 後面撮像レンズ
１１ 制御部
１２ 記憶部
１３ 操作部
１６ 姿勢検出部
１７ 撮像部
１８ 画像データ生成部
１９ 画像データ処理部
１９ａ 取得部
１９ｂ 特定部
１９ｃ 補正部
６０、７０ 撮像素子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】