知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-07-31
(45)【発行日】2025-08-08
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20250801BHJP
G03B 15/00 20210101ALI20250801BHJP
G03B 19/07 20210101ALI20250801BHJP
G03B 35/08 20210101ALI20250801BHJP
G03B 37/00 20210101ALI20250801BHJP
H04N 13/122 20180101ALI20250801BHJP
H04N 13/218 20180101ALI20250801BHJP
H04N 23/55 20230101ALI20250801BHJP
G03B 17/14 20210101ALN20250801BHJP
【ＦＩ】
H04N23/60 500
G03B15/00 W
G03B19/07
G03B35/08
G03B37/00 A
H04N13/122
H04N13/218
H04N23/55
G03B17/14
【請求項の数】
21
(21)【出願番号】P 2021091810
(22)【出願日】2021-05-31
(65)【公開番号】P2022184139
(43)【公開日】2022-12-13
【審査請求日】2024-05-23
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】小林 達
(72)【発明者】
【氏名】相場 俊孝
(72)【発明者】
【氏名】筑比地 佑樹
【審査官】辻本 寛司
(56)【参考文献】
【文献】特開２０２０－０７７９３９（ＪＰ，Ａ）
【文献】特開２０１９－１１７３３０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０２２２８２３（ＵＳ，Ａ１）
【文献】特開２０１９－１５９２８４（ＪＰ，Ａ）
【文献】特開２０１７－２２０８２４（ＪＰ，Ａ）
【文献】国際公開第２０１９／０８２４１５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／５５
Ｈ０４Ｎ １３／２１８
Ｈ０４Ｎ １３／１２２
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ ３５／０８
Ｇ０３Ｂ １９／０７
Ｇ０３Ｂ ３７／００
Ｇ０３Ｂ １７／１４
(57)【特許請求の範囲】
【請求項1】
完全な形では記録されていない第１の円周魚眼画像を取得する取得手段であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する第１の円形領域内に画素値が存在しない第１の欠落領域を伴う、取得手段と、前記第１の円周魚眼画像に基づいて第１の正距円筒変換処理を行うことにより、前記第１の円形領域に対応する第１の正距円筒図法画像を生成する生成手段と、
を備え、
前記生成手段は、前記第１の正距円筒変換処理の前に、前記第１の円周魚眼画像の前記第１の欠落領域に所定の色を示す画素値を設定することにより、前記第１の円形領域内の前記第１の欠落領域に対応する、前記第１の正距円筒図法画像の第１の対応領域が画素値を持つように、前記第１の正距円筒図法画像を生成し、
前記取得手段は、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像を取得し、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像される
ことを特徴とする画像処理装置。
【請求項2】
前記第２の円周魚眼画像は、画素値が存在しない第２の欠落領域を伴い、前記生成手段は、前記第２の円周魚眼画像に基づいて第２の正距円筒変換処理を行うことにより、第２の正距円筒図法画像において前記第２の欠落領域に対応する第２の対応領域が前記所定の色を示す画素値を持つように、前記第２の正距円筒図法画像を生成し、
前記生成手段は、前記第２の正距円筒図法画像の前記第２の対応領域に対応する位置にある前記第１の正距円筒図法画像の領域に、前記所定の色を示す画素値を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記所定の色を示す画素値は、黒を示す値であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項4】
完全な形では記録されていない第１の円周魚眼画像を取得する取得手段であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する第１の円形領域内に画素値が存在しない第１の欠落領域を伴う、取得手段と、
前記第１の円周魚眼画像に基づいて第１の正距円筒変換処理を行うことにより、前記第１の円形領域に対応する第１の正距円筒図法画像を生成する生成手段と、
を備え、
前記生成手段は、前記第１の正距円筒変換処理において前記第１の正距円筒図法画像の処理対象画素に対応する前記第１の円周魚眼画像の座標を識別し、当該識別された座標に画素値が存在しない場合に、前記第１の正距円筒図法画像の前記処理対象画素に所定の色を示す画素値を設定することにより、前記第１の円形領域内の前記第１の欠落領域に対応する、前記第１の正距円筒図法画像の第１の対応領域が画素値を持つように、前記第１の正距円筒図法画像を生成し、
前記取得手段は、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像を取得し、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像される
ことを特徴とする画像処理装置。
【請求項5】
完全な形では記録されていない第１の円周魚眼画像を取得する取得手段であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する第１の円形領域内に画素値が存在しない第１の欠落領域を伴う、取得手段と、
前記第１の円周魚眼画像に基づいて第１の正距円筒変換処理を行うことにより、前記第１の円形領域に対応する第１の正距円筒図法画像を生成する生成手段と、
を備え、
前記生成手段は、前記第１の円形領域内の前記第１の欠落領域に対応する、前記第１の正距円筒図法画像の第１の対応領域が画素値を持つように、前記第１の正距円筒図法画像を生成し、
前記取得手段は、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像を取得し、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像され、
前記第２の円周魚眼画像は、画素値が存在しない第２の欠落領域を伴い、
前記生成手段は、前記第１の正距円筒図法画像の前記第１の対応領域に、前記第１の円周魚眼画像の前記第１の欠落領域に対応する位置にある前記第２の円周魚眼画像の領域の画素値を設定し、
前記第１の円周魚眼画像の前記第１の欠落領域のうちの特定の領域に対応する位置にある前記第２の円周魚眼画像の領域が前記第２の欠落領域に含まれる場合、前記生成手段は、前記第１の正距円筒図法画像の前記第１の対応領域のうちの当該特定の領域に対応する領域ついては、所定の色を示す画素値を設定する
ことを特徴とする画像処理装置。
【請求項6】
完全な形では記録されていない第１の円周魚眼画像に基づく第１の正距円筒変換処理により生成された第１の正距円筒図法画像と、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像に基づく第２の正距円筒変換処理により生成された第２の正距円筒図法画像と、を取得する取得手段であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する円形領域内に画素値が存在しない欠落領域を伴い、
前記第１の正距円筒図法画像は、前記円形領域に対応し、
前記円形領域内の前記欠落領域に対応する、前記第１の正距円筒図法画像の対応領域には所定の画素値が設定されている、
取得手段と、
前記第１の正距円筒図法画像及び前記第２の正距円筒図法画像に基づく立体的な仮想現実のための表示位置を指定する指定手段と、
前記第１の正距円筒図法画像において前記表示位置に対応する第１の表示画像と、前記第２の正距円筒図法画像において前記表示位置に対応する第２の表示画像とを出力する出力手段と、
前記第１の表示画像の中に前記対応領域に重なる第１の特定領域が存在する場合に、当該第１の特定領域と、前記第２の表示画像において当該第１の特定領域に対応する位置にある第２の特定領域とが同じ画像を含むように、前記第１の表示画像又は前記第２の表示画像を出力前に補正する補正手段と、
を備え、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像される
ことを特徴とする画像処理装置。
【請求項7】
前記補正手段は、前記第２の表示画像の前記第２の特定領域に前記所定の画素値を設定することを特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記補正手段は、前記第１の表示画像の前記第１の特定領域の画像を、前記第２の表示画像の前記第２の特定領域の画像に置き換えることを特徴とする請求項６に記載の画像処理装置。
【請求項9】
前記補正手段は、前記第１の表示画像を、前記第２の表示画像に置き換えることを特徴とする請求項６に記載の画像処理装置。
【請求項10】
前記所定の画素値は、黒を示す値であることを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
【請求項11】
完全な形では記録されていない第１の円周魚眼画像と、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像とを含む画像を取得する取得手段であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する円形領域内に画素値が存在しない欠落領域を伴う、取得手段と、前記第１の円周魚眼画像の前記欠落領域に、前記欠落領域に対応する位置にある前記第２の円周魚眼画像の領域の画素値を設定する設定手段と、
前記画像から、前記欠落領域に設定された画素値を含む前記第１の円周魚眼画像を抽出する抽出手段と、
前記第１の円周魚眼画像において前記欠落領域から所定の範囲内の第１の特定領域に、前記第１の特定領域に対応する位置にある前記第２の円周魚眼画像の第２の特定領域の画素値を合成する合成手段と、
を備え、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像され、
前記合成手段は、前記欠落領域に近い画素ほど、前記第１の特定領域の画素値に対する第２の特定領域の画素値の合成比率が大きくなるように制御する
ことを特徴とする画像処理装置。
【請求項12】
画像処理装置が実行する画像処理方法であって、完全な形では記録されていない第１の円周魚眼画像を取得する取得工程であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する第１の円形領域内に画素値が存在しない第１の欠落領域を伴う、取得工程と、
前記第１の円周魚眼画像に基づいて第１の正距円筒変換処理を行うことにより、前記第１の円形領域に対応する第１の正距円筒図法画像を生成する生成工程と、
を備え、
前記生成工程は、前記第１の正距円筒変換処理の前に、前記第１の円周魚眼画像の前記第１の欠落領域に所定の色を示す画素値を設定することにより、前記第１の円形領域内の前記第１の欠落領域に対応する、前記第１の正距円筒図法画像の第１の対応領域が画素値を持つように、前記第１の正距円筒図法画像を生成し、
前記取得工程は、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像を取得し、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像される
ことを特徴とする画像処理方法。
【請求項13】
画像処理装置が実行する画像処理方法であって、
完全な形では記録されていない第１の円周魚眼画像を取得する取得工程であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する第１の円形領域内に画素値が存在しない第１の欠落領域を伴う、取得工程と、
前記第１の円周魚眼画像に基づいて第１の正距円筒変換処理を行うことにより、前記第１の円形領域に対応する第１の正距円筒図法画像を生成する生成工程と、
を備え、
前記生成工程は、前記第１の正距円筒変換処理において前記第１の正距円筒図法画像の処理対象画素に対応する前記第１の円周魚眼画像の座標を識別し、当該識別された座標に画素値が存在しない場合に、前記第１の正距円筒図法画像の前記処理対象画素に所定の色を示す画素値を設定することにより、前記第１の円形領域内の前記第１の欠落領域に対応する、前記第１の正距円筒図法画像の第１の対応領域が画素値を持つように、前記第１の正距円筒図法画像を生成し、
前記取得工程は、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像を取得し、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像される
ことを特徴とする画像処理方法。
【請求項14】
画像処理装置が実行する画像処理方法であって、
完全な形では記録されていない第１の円周魚眼画像を取得する取得工程であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する第１の円形領域内に画素値が存在しない第１の欠落領域を伴う、取得工程と、
前記第１の円周魚眼画像に基づいて第１の正距円筒変換処理を行うことにより、前記第１の円形領域に対応する第１の正距円筒図法画像を生成する生成工程と、
を備え、
前記生成工程は、前記第１の円形領域内の前記第１の欠落領域に対応する、前記第１の正距円筒図法画像の第１の対応領域が画素値を持つように、前記第１の正距円筒図法画像を生成し、
前記取得工程は、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像を取得し、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像され、
前記第２の円周魚眼画像は、画素値が存在しない第２の欠落領域を伴い、
前記生成工程は、前記第１の正距円筒図法画像の前記第１の対応領域に、前記第１の円周魚眼画像の前記第１の欠落領域に対応する位置にある前記第２の円周魚眼画像の領域の画素値を設定し、
前記第１の円周魚眼画像の前記第１の欠落領域のうちの特定の領域に対応する位置にある前記第２の円周魚眼画像の領域が前記第２の欠落領域に含まれる場合、前記生成工程は、前記第１の正距円筒図法画像の前記第１の対応領域のうちの当該特定の領域に対応する領域ついては、所定の色を示す画素値を設定する
ことを特徴とする画像処理方法。
【請求項15】
画像処理装置が実行する画像処理方法であって、完全な形では記録されていない第１の円周魚眼画像に基づく第１の正距円筒変換処理により生成された第１の正距円筒図法画像と、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像に基づく第２の正距円筒変換処理により生成された第２の正距円筒図法画像と、を取得する取得工程であって、
前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する円形領域内に画素値が存在しない欠落領域を伴い、
前記第１の正距円筒図法画像は、前記円形領域に対応し、
前記円形領域内の前記欠落領域に対応する、前記第１の正距円筒図法画像の対応領域には所定の画素値が設定されている、
取得工程と、
前記第１の正距円筒図法画像及び前記第２の正距円筒図法画像に基づく立体的な仮想現実のための表示位置を指定する指定工程と、
前記第１の正距円筒図法画像において前記表示位置に対応する第１の表示画像と、前記第２の正距円筒図法画像において前記表示位置に対応する第２の表示画像とを出力する出力工程と、
前記第１の表示画像の中に前記対応領域に重なる第１の特定領域が存在する場合に、当該第１の特定領域と、前記第２の表示画像において当該第１の特定領域に対応する位置にある第２の特定領域とが同じ画像を含むように、前記第１の表示画像又は前記第２の表示画像を出力前に補正する補正工程と、
を備え、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像される
ことを特徴とする画像処理方法。
【請求項16】
画像処理装置が実行する画像処理方法であって、完全な形では記録されていない第１の円周魚眼画像と、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像とを含む画像を取得する取得工程であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する円形領域内に画素値が存在しない欠落領域を伴う、取得工程と、
前記第１の円周魚眼画像の前記欠落領域に、前記欠落領域に対応する位置にある前記第２の円周魚眼画像の領域の画素値を設定する設定工程と、
前記画像から、前記欠落領域に設定された画素値を含む前記第１の円周魚眼画像を抽出する抽出工程と、
前記第１の円周魚眼画像において前記欠落領域から所定の範囲内の第１の特定領域に、前記第１の特定領域に対応する位置にある前記第２の円周魚眼画像の第２の特定領域の画素値を合成する合成工程と、
を備え、
前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像され、
前記合成工程は、前記欠落領域に近い画素ほど、前記第１の特定領域の画素値に対する第２の特定領域の画素値の合成比率が大きくなるように制御する
ことを特徴とする画像処理方法。
【請求項17】
コンピュータを、請求項１乃至３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項18】
コンピュータを、請求項４に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項19】
コンピュータを、請求項５に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項20】
コンピュータを、請求項６乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項21】
コンピュータを、請求項１１に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
２台のカメラ用いて視差のある画像を撮影し、撮影した視差画像を立体感のある画僧現実（ＶＲ）画像として再生する技術が知られている。また、１つのレンズマウントに２つの光学系を持ち、視差のある画像を一度に撮影できる装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１３－１４１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の技術は、イメージセンサ上で左右のレンズを通った左右画像それぞれの撮影方向が変わってしまう問題に対処している。しかしながら、円周魚眼画像が画素値が存在しない欠落領域を伴う場合の処理については、考慮されていない。
【0005】
本発明はこのような状況に鑑みてなされたものであり、画素値が存在しない欠落領域を伴う円周魚眼画像を適切に処理する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は、完全な形では記録されていない第１の円周魚眼画像を取得する取得手段であって、前記第１の円周魚眼画像は、前記第１の円周魚眼画像の前記完全な形に対応する第１の円形領域内に画素値が存在しない第１の欠落領域を伴う、取得手段と、前記第１の円周魚眼画像に基づいて第１の正距円筒変換処理を行うことにより、前記第１の円形領域に対応する第１の正距円筒図法画像を生成する生成手段と、を備え、前記生成手段は、前記第１の正距円筒変換処理の前に、前記第１の円周魚眼画像の前記第１の欠落領域に所定の色を示す画素値を設定することにより、前記第１の円形領域内の前記第１の欠落領域に対応する、前記第１の正距円筒図法画像の第１の対応領域が画素値を持つように、前記第１の正距円筒図法画像を生成し、前記取得手段は、前記第１の円周魚眼画像に対する視差を有する第２の円周魚眼画像を取得し、前記第１の円周魚眼画像及び前記第２の円周魚眼画像は、第１の被写体像及び第２の被写体像を同一の撮像素子に同時に結像することにより撮像され、前記第１の被写体像は第１の魚眼レンズを介して結像され、前記第２の被写体像は第２の魚眼レンズを介して結像されることを特徴とする画像処理装置を提供する。
【発明の効果】
【0007】
本発明によれば、画素値が存在しない欠落領域を伴う円周魚眼画像を適切に処理することが可能となる。
【0008】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【0009】
【図1】システムの全体構成を示す図。
【図2】カメラ１００の外観を示す図。
【図3】カメラ１００の内部構成の一例を示す図。
【図4】カメラ１００に装着可能なＶＲ１８０レンズ３００の構成の一例を示す図。
【図5】ＰＣ５００の構成を示すブロック図。
【図6A】カメラ１００による撮影処理のフローチャート。
【図6B】カメラ１００による撮影処理のフローチャート。
【図7】ＰＣ５００による正距円筒変換処理の全体フローチャート。
【図8A】第１の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャート。
【図8B】第２の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャート。
【図8C】第３の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャート。
【図8D】第４の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャート。
【図9】カメラ１００が記録する画像ファイル（ＰＣ５００が処理する画像ファイル）の構造を示す図。
【図10】（ａ）（ｂ）ＶＲ１８０レンズ３００から取得される情報を示す図、（ｃ）カメラ１００から取得される情報を示す図。
【図11】（ａ）（ｂ）ＶＲ１８０レンズ３００が装着されたカメラ１００により撮影され記録された画像の例を示す図、（ｃ）円周魚眼画像の欠落領域に画素値が設定された状態の例を示す図。
【図12A】第１の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の概念図。
【図12B】第２の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の概念図。
【図12C】第３の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の概念図。
【図12D】第４の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の概念図。
【図13】第５の実施形態に係る画像処理のフローチャート。
【図14】Ｓ１３１０の画像処理の詳細を示すフローチャート。
【図15】第５の実施形態に係る表示設定画面を示す図。
【図16A】第５の実施形態に係る画像処理の概念図。
【図16B】第５の実施形態に係る画像処理の概念図。
【図16C】第５の実施形態に係る画像処理の概念図。
【図16D】第５の実施形態に係る画像処理の概念図。
【図17】第６の実施形態に係る画像処理のフローチャート。
【図18】Ｓ１７１５の処理の詳細を示すフローチャート。
【図19】第６の実施形態に係る、ＰＣ５００上のアプリ画面を示す図。
【図20】第６の実施形態に係る画像処理の概念図。
【図21】第６の実施形態に係る画像処理の概念図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
［第１の実施形態］
●システムの全体構成
図１は、第１の実施形態に係るシステムの全体構成を示す図である。図１において、１００は、画像（静止画又は動画）を撮影可能なデジタルカメラ（以下、「カメラ」と呼ぶ）である。２５０は、カメラ１００に装着可能なＶＲ１８０レンズである。ＶＲ１８０レンズ３００は２眼レンズであり、ＶＲ１８０レンズ３００が装着されたカメラ１００により撮影を行うことにより、視差を有する画像を取得することができる。ＶＲ１８０レンズ３００は、２眼立体視が可能で１８０度の視野を持つＶＲ画像のフォーマットである、いわゆるＶＲ１８０のための画像を撮影するためのレンズである。
●システムの全体構成
図１は、第１の実施形態に係るシステムの全体構成を示す図である。図１において、１００は、画像（静止画又は動画）を撮影可能なデジタルカメラ（以下、「カメラ」と呼ぶ）である。２５０は、カメラ１００に装着可能なＶＲ１８０レンズである。ＶＲ１８０レンズ３００は２眼レンズであり、ＶＲ１８０レンズ３００が装着されたカメラ１００により撮影を行うことにより、視差を有する画像を取得することができる。ＶＲ１８０レンズ３００は、２眼立体視が可能で１８０度の視野を持つＶＲ画像のフォーマットである、いわゆるＶＲ１８０のための画像を撮影するためのレンズである。
【0012】
５００は、カメラ１００により撮影された画像を処理する画像処理装置の一例であるパーソナルコンピュータ（ＰＣ）である。ＰＣ５００がカメラ１００から画像を取得する方法は特に限定されない。例えば、図１（ａ）に示すように、ＰＣ５００は、無線通信によりカメラ１００から画像を取得してもよい。或いは、図１（ｂ）に示すように、ＰＣ５００は、カメラ１００の外部記憶装置（例えばメモリカード）を介して、ファイルとして記録されている画像を取得してもよい。
【0013】
【0014】
カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備又は撮影指示を行うための操作部である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替える操作部である。モード切替スイッチ１０３は、各種モードを切り替えるための操作部である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。
【0015】
また、カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５を有する。更に、カメラ１００は、接眼部１１６、接眼ファインダ１１７（覗き込み型のファインダ）、接眼検知部１１８、タッチバー１１９を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部である。方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。方向キー１１０の押下した位置に応じた操作が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部である。拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大又は縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大させたり、拡大率を大きくさせたりするときに用いられる。再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２７に記録された画像のうち最新の画像を表示部１０８に表示させることができる。
【0016】
メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示させるときに押下される操作部である。ユーザが表示部１０８に表示されたメニュー画面と、方向キー１１０やＳＥＴボタン１１１とを用いて直感的に各種設定を行うことができる。接眼部１１６は、接眼ファインダ１１７に対して接眼するための部位である。ユーザは接眼部１１６を介して内部の後述するＥＶＦ２１７（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）に表示された映像を視認することができる。接眼検知部１１８は、接眼部１１６にユーザが接眼しているか否かを検知するセンサである。
【0017】
タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。即ち、タッチバー１１９は接眼部１１６に接眼して接眼ファインダ１１７を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内に移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部であり、表示機能を備えていない。本実施形態のタッチバー１１９は、マルチファンクションバーであって、例えばＭ－Ｆｎバーとして機能する。
【0018】
また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。端子カバー１２２は、カメラ１００を外部機器に接続する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２７を格納するためのスロットを閉塞することで記録媒体２２７及びスロットを保護する。通信端子１２４は、カメラ１００が着脱可能な後述するレンズユニット２００側と通信を行うための端子である。
【0019】
【0020】
まず、レンズユニット２００について説明する。レンズユニット２００は、カメラ１００に着脱可能な交換レンズの一種である。レンズユニット２００は、１眼レンズであり、通常のレンズの一例である。
【0021】
レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ駆動回路２０４（オートフォーカス駆動回路）、レンズシステム制御回路２０５、通信端子２０６を有する。絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２を駆動させて焦点を合わせる。レンズシステム制御回路２０５は、後述するシステム制御部５０の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行い、ＡＦ駆動回路２０４を介してレンズ２０２の位置を変位させることで焦点を合わせる。レンズシステム制御回路２０５は、カメラ１００との間で通信可能である。具体的には、レンズユニット２００の通信端子２０６と、カメラ１００の通信端子１２４とを介して通信される。通信端子２０６は、レンズユニット２００がカメラ１００側と通信を行うための端子である。
【0022】
次に、カメラ１００について説明する。カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部５０を有する。シャッター２１０は、システム制御部５０の指示に基づいて撮像部２１１の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。撮像部２１１は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータ又はメモリ制御部２１３からのデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。この処理により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【0023】
Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４及びメモリ制御部２１３を介してメモリ２１５に書き込まれる。或いは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、撮像部２１１によって得られＡ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、表示部１０８やＥＶＦ２１７に表示するための画像データを格納する。メモリ２１５は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。また、メモリ２１５は画像表示用のメモリ（ビデオメモリ）を兼ねている。
【0024】
Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている画像表示用のデータをアナログ信号に変換して表示部１０８やＥＶＦ２１７に供給する。従って、メモリ２１５に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１６を介して表示部１０８やＥＶＦ２１７に表示される。表示部１０８やＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。表示部１０８やＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。Ａ／Ｄ変換器２１２によってＡ／Ｄ変換されメモリ２１５に蓄積されたデジタル信号をＤ／Ａ変換器２１６でアナログ信号に変換し、表示部１０８やＥＶＦ２１７に逐次転送して表示することで、ライブビュー表示が行われる。
【0025】
システム制御部５０は、少なくとも１つのプロセッサ及び／又は少なくとも１つの回路からなる制御部である。即ち、システム制御部５０は、プロセッサであってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。システム制御部５０は、カメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ２１９に記録されたプログラムを実行することで、後述するフローチャートの各処理を実現する。また、システム制御部５０は、メモリ２１５、Ｄ／Ａ変換器２１６、表示部１０８、ＥＶＦ２１７等を制御することにより表示制御も行う。
【0026】
また、カメラ１００は、システムメモリ２１８、不揮発性メモリ２１９、システムタイマ２２０、通信部２２１、姿勢検知部２２２、接眼検知部１１８を有する。システムメモリ２１８は、例えばＲＡＭが用いられる。システムメモリ２１８には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２１９から読み出したプログラム等が展開される。不揮発性メモリ２１９は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ２１９には、システム制御部５０の動作用の定数、プログラム等が記録される。ここでのプログラムとは、後述するフローチャートを実行するためのプログラムである。システムタイマ２２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。通信部２２１は、無線又は有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部２２１は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部２２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部２２１は撮像部２１１で撮影した画像（ライブ画像を含む）や、記録媒体２２７に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。姿勢検知部２２２は、重力方向に対するカメラ１００の姿勢を検知する。姿勢検知部２２２で検知された姿勢に基づいて、撮像部２１１で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部２２２で検知された姿勢に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部２２２は、例えば、加速度センサやジャイロセンサ等を用いることができる。姿勢検知部２２２を用いて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。
【0027】
接眼検知部１１８は、ＥＶＦ２１７を内蔵する接眼ファインダ１１７の接眼部１１６に対する何らかの物体の接近を検知することができる。接眼検知部１１８は、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって接眼部１１６から物体までの距離を判別することができる。このように、接眼検知部１１８は、接眼部１１６に対する物体の近接距離を検知する接眼検知を行う。接眼検知部１１８は、接眼ファインダ１１７の接眼部１１６に対する眼（物体）の接近（接眼）及び離反（離眼）を検知する接眼検知センサである。非接眼状態（非接近状態）から、接眼部１１６に対して所定距離以内に近づく物体が検知された場合に、接眼されたと検知する。一方、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検知する。接眼を検知する閾値と、離眼を検知する閾値は例えばヒステリシスを設ける等して異なっていてもよい。また、接眼を検知した後は、離眼を検知するまでは接眼状態であるものとする。離眼を検知した後は、接眼を検知するまでは非接眼状態であるものとする。システム制御部５０は、接眼検知部１１８で検知された状態に応じて、表示部１０８とＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、非接眼中は表示先を表示部１０８として表示をオンとし、ＥＶＦ２１７は非表示とする。また、接眼中は表示先をＥＶＦ２１７として表示をオンとし、表示部１０８は非表示とする。なお、接眼検知部１１８は、赤外線近接センサである場合に限られず、接眼とみなせる状態を検知できるものであれば他のセンサを用いてもよい。 また、カメラ１００は、ファインダ外表示部１０７、ファインダ外表示駆動回路２２３、電源制御部２２４、電源部２２５、記録媒体Ｉ／Ｆ２２６、操作部２２８を有する。ファインダ外表示部１０７は、ファインダ外表示駆動回路２２３を介して、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２４は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２４は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２７を含む各部へ供給する。電源部２２５は、アルカリ電池及びリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池及びＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２６は、メモリカードやハードディスク等の記録媒体２２７とのインタフェースである。記録媒体２２７は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２７は、着脱可能であってもよく、内蔵されていてもよい。
【0028】
操作部２２８は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の指示を入力するために用いられる。操作部２２８には、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、タッチパネル１０９、他の操作部２２９が含まれる。他の操作部２２９には、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、タッチバー１１９が含まれる。
【0029】
シャッターボタン１０１は、第１シャッタースイッチ２３０と第２シャッタースイッチ２３１を有する。第１シャッタースイッチ２３０は、シャッターボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を発生させる。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備処理を開始する。第２シャッタースイッチ２３１は、シャッターボタン１０１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２１１からの信号読み出しから、撮影された画像を含む画像ファイルを生成して記録媒体２２７に書き込むまでの一連の撮影処理を開始する。
【0030】
モード切替スイッチ１０３は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等の何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。或いは、ユーザは、モード切替スイッチ１０３により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２８を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0031】
タッチパネル１０９は、表示部１０８の表示面（タッチパネル１０９の操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル１０９と表示部１０８とは一体的に構成することができる。例えば、タッチパネル１０９は、光の透過率が表示部１０８の表示を妨げないように、表示部１０８の表示面の上層に取り付けられる。そして、タッチパネル１０９における入力座標と、表示部１０８の表示面上の表示座標とを対応付けることで、あたかもユーザが表示部１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインタフェース）を構成できる。タッチパネル１０９には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等の様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル１０９に対する接触があったことでタッチがあったと検知する方式や、タッチパネル１０９に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、何れの方式であってもよい。
【0032】
システム制御部５０は、タッチパネル１０９に対する以下の操作又は状態を検出できる。
【0033】
・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、即ちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。
【0034】
・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。
【0035】
・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。
【0036】
・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、即ちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。
【0037】
・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。
【0038】
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0039】
これらの操作・状態や、タッチパネル１０９上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル１０９上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル１０９上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０９上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定される。タッチパネル１０９上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル１０９上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定される（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（又は単にピンチ）という。
【0040】
●ＶＲ１８０レンズ３００の構成
図４は、カメラ１００に装着可能なＶＲ１８０レンズ３００の構成の一例を示す図である。図４では、ＶＲ１８０レンズ３００をカメラ１００に装着した状態を示している。なお、図４に示すカメラ１００において、図３で説明した構成と同一の構成は、同一符号を付して適宜、説明を省略する。
図４は、カメラ１００に装着可能なＶＲ１８０レンズ３００の構成の一例を示す図である。図４では、ＶＲ１８０レンズ３００をカメラ１００に装着した状態を示している。なお、図４に示すカメラ１００において、図３で説明した構成と同一の構成は、同一符号を付して適宜、説明を省略する。
【0041】
ＶＲ１８０レンズ３００は、カメラ１００に着脱可能な交換レンズの一種である。ＶＲ１８０レンズ３００は、左像及び右像で視差がある撮影が可能な２眼レンズである。ＶＲ１８０レンズ３００は、２つの光学系を有し、それぞれ略１８０度の広視野角であって、前方半球の範囲を撮影できる。具体的には、ＶＲ１８０レンズ３００の２つの光学系は、それぞれ左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野分（画角分）の被写体を撮影できる。
【0042】
ＶＲ１８０レンズ３００は、複数のレンズと反射ミラー等を有する右眼光学系３０１Ｒ、複数のレンズと反射ミラー等を有する左眼光学系３０１Ｌ、レンズシステム制御回路３０３を有する。右眼光学系３０１Ｒは第１の光学系の一例に対応し、左眼光学系３０１Ｌは第２の光学系の一例に対応する。右眼光学系３０１Ｒ及び左眼光学系３０１Ｌにおいて、それぞれ被写体側に位置する各レンズ３０２Ｒ、３０２Ｌが同じ方向を向いており、各光軸が略平行である。
【0043】
本実施形態のＶＲ１８０レンズ３００は、２眼立体視が可能で１８０度の視野を持つＶＲ画像のフォーマットである、いわゆるＶＲ１８０のための画像を撮影するためのレンズである。ＶＲ１８０レンズ３００は、右眼光学系３０１Ｒ及び左眼光学系３０１Ｌがそれぞれ略１８０度の範囲を捉えることが可能な魚眼レンズを有する。なお、ＶＲ１８０レンズ３００は、右眼光学系３０１Ｒ及び左眼光学系３０１ＬがそれぞれＶＲ１８０としての２眼ＶＲ表示が可能な映像が取得できればよく、１８０度の範囲よりも狭い１６０度程度の広視野角の範囲を捉えることが可能なレンズであってもよい。ＶＲ１８０レンズ３００は、右眼光学系３０１Ｒを介して形成される右像（第一像）と、右像とは視差を有する左眼光学系３０１Ｌを介して形成される左像（第二像）とを、装着したカメラの１つ又は２つの撮像素子上に形成することができる。
【0044】
また、ＶＲ１８０レンズ３００は、レンズマウント部３０４と、カメラ１００のカメラマウント部３０５とを介して、カメラ１００に装着される。ＶＲ１８０レンズ３００がカメラ１００に装着されることで、カメラ１００の通信端子１２４と、ＶＲ１８０レンズ３００の通信端子３０６とを介して、カメラ１００のシステム制御部５０とＶＲ１８０レンズ３００のレンズシステム制御回路３０３とが電気的に接続される。
【0045】
本実施形態では、右眼光学系３０１Ｒを介して形成される右像と、右像とは視差を有する左眼光学系３０１Ｌを介して形成される左像とは、並んでカメラ１００の撮像部２１１に結像される。即ち、右眼光学系３０１Ｒ及び左眼光学系３０１Ｌにより形成される２つの光学像が１つの撮像素子上に形成される。撮像部２１１は、結像された被写体像（光信号）をアナログ電気信号に変換する。このように、ＶＲ１８０レンズ３００を用いることで、右眼光学系３０１Ｒと左眼光学系３０１Ｌとの２つの箇所（光学系）から視差がある２つの画像を同時に（セットで）取得することができる。また、取得された画像を左眼用の画像と右眼用の画像とに分けてＶＲ表示することで、ユーザは略１８０度の範囲の立体的なＶＲ画像、いわゆるＶＲ１８０を鑑賞することができる。
【0046】
ここで、ＶＲ画像とは、後述するＶＲ表示することができる画像である。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮影した全方位画像（全天球画像）や、表示部に一度で表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像等が含まれる。また、ＶＲ画像には、静止画に限られず、動画、ライブ画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で、左右方向３６０度、上下方向３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像には、左右方向３６０度未満、上下方向３６０度未満であっても、通常のカメラで撮影可能な画角よりも広範な画角、又は、表示部に一度で表示できる表示範囲より広い映像範囲を持つ画像も含まれる。上述したＶＲ１８０レンズ３００を用いてカメラ１００で撮影される画像は、ＶＲ画像の一種である。ＶＲ画像は、例えば、表示装置（ＶＲ画像を表示できる表示装置）の表示モードを「ＶＲビュー」に設定することでＶＲ表示することができる。３６０度の画角を有するＶＲ画像をＶＲ表示させて、ユーザが表示装置の姿勢を左右方向（水平回転方向）に変化させることで、左右方向に継ぎ目のない全方位の映像を観賞することができる。
【0047】
ここで、ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。ＶＲ表示には、ＶＲ画像を仮想球体にマッピングする変形（歪曲補正が施される変形）を行って１つの画像を表示する「１眼ＶＲ表示（１眼ＶＲビュー）」がある。また、ＶＲ表示には、左眼用のＶＲ画像と右眼用のＶＲ画像とをそれぞれ仮想球体にマッピングする変形を行って左右の領域に並べて表示する「２眼ＶＲ表示（２眼ＶＲビュー）」がある。互いに視差のある左眼用のＶＲ画像と右眼用のＶＲ画像を用いて「２眼ＶＲ表示」を行うことで立体視することが可能である。何れのＶＲ表示であっても、例えば、ユーザがＨＭＤ（ヘッドマウントディスプレイ）等の表示装置を装着した場合、ユーザの顔の向きに応じた視野範囲の映像が表示される。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、即ち水平）を中心とした視野範囲の映像を表示しているとする。この状態から表示装置の姿勢を表裏反転させる（例えば、表示面を南向きから北向きに変更する）と、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度を中心とした視野範囲の映像に、表示範囲が変更される。即ち、ユーザがＨＭＤを装着した状態で、顔を北から南に向く（すなわち後ろを向く）ことで、ＨＭＤに表示される映像も北の映像から南の映像に変更される。
【0048】
なお、本実施形態のＶＲ１８０レンズ３００を用いて撮影したＶＲ画像は、前方略１８０度の範囲を撮影したＶＲ１８０の画像であり、後方略１８０度の範囲の映像は存在しない。このようなＶＲ１８０の画像をＶＲ表示させて、映像が存在しない側に表示装置の姿勢を変更した場合にはブランク領域が表示される。
【0049】
このようにＶＲ画像をＶＲ表示することによって、ユーザは視覚的にあたかもＶＲ画像内（ＶＲ空間内）にいるような感覚になる。なお、ＶＲ画像の表示方法は表示装置の姿勢を変更する方法に限られない。例えば、タッチパネルや方向ボタン等を介したユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。また、ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルでのタッチムーブ、マウス等でのドラッグ操作、方向ボタンの押下等に応じて表示範囲を変更してもよい。なお、ＶＲゴーグル（ヘッドマウントアダプタ）に装着されたスマートフォンはＨＭＤの一種である。
【0050】
●ＰＣ５００の構成
図５は、ＰＣ５００の構成を示すブロック図である。図５において、５０１はＰＣ５００全体を制御する制御部であり、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。５０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。ＲＯＭ５０２には、情報処理プログラムが制御部５０１に読み取り可能なプログラムコードとして格納されており、この情報処理プログラムコードを制御部５０１が実行する構成になっている。５０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。
図５は、ＰＣ５００の構成を示すブロック図である。図５において、５０１はＰＣ５００全体を制御する制御部であり、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。５０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。ＲＯＭ５０２には、情報処理プログラムが制御部５０１に読み取り可能なプログラムコードとして格納されており、この情報処理プログラムコードを制御部５０１が実行する構成になっている。５０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。
【0051】
５０４は、ＰＣ５００に固定して設置されたハードディスク又はフラッシュメモリなどを含む外部記憶装置である。或いは、外部記憶装置５０４は、ＰＣ５００から着脱可能なフロッピーディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む外部記憶装置であってもよい。ＰＣ５００がカメラ１００から取得した画像ファイルは、外部記憶装置５０４に格納される。
【0052】
５０５はユーザの操作を受け、データを入力するボタンやタッチパネルなどの操作部である。５０６はＰＣ５００の保持するデータや供給されたデータを表示するための表示部である。５０７はカメラ１００などの外部装置と通信するための通信部である。５０８はＰＣ５００のコンポーネントを通信可能に接続するシステムバスである。
【0053】
●ＶＲ１８０レンズ３００で撮影される画像の特長
レンズ光学系が１つの場合、撮像素子上で１８０度回転した像が結像する。１８０度回転した像から通常の画像を生成する際に、カメラ１００は、１８０度回転処理を行うことで、画像の上下方向を被写体の上下方向に合わせている。ＶＲ１８０レンズ３００が装着されたカメラ１００により撮影が行われる場合、右眼光学系３０１Ｒ及び左眼光学系３０１Ｌを介して各光学系の像が１つの撮像素子上で結像する。その際に、各光学系の像は、光学系ごとに１８０度回転する。レンズ光学系が１つの場合と同様に、カメラ１００は、画像全体を１８０度回転させることにより、画像の上下方向を被写体の上下方向に合わせる。結像時の回転は光学系の単位で発生する一方で、画像生成時の回転は画像全体で行われるため、左目光学系に対応する画像が全体画像の右側に移動し、右目光学系に対応する画像が全体画像の左側に移動する。
レンズ光学系が１つの場合、撮像素子上で１８０度回転した像が結像する。１８０度回転した像から通常の画像を生成する際に、カメラ１００は、１８０度回転処理を行うことで、画像の上下方向を被写体の上下方向に合わせている。ＶＲ１８０レンズ３００が装着されたカメラ１００により撮影が行われる場合、右眼光学系３０１Ｒ及び左眼光学系３０１Ｌを介して各光学系の像が１つの撮像素子上で結像する。その際に、各光学系の像は、光学系ごとに１８０度回転する。レンズ光学系が１つの場合と同様に、カメラ１００は、画像全体を１８０度回転させることにより、画像の上下方向を被写体の上下方向に合わせる。結像時の回転は光学系の単位で発生する一方で、画像生成時の回転は画像全体で行われるため、左目光学系に対応する画像が全体画像の右側に移動し、右目光学系に対応する画像が全体画像の左側に移動する。
【0054】
●カメラ１００による撮影処理
次に、図６Ａ及び図６Ｂを参照して、カメラ１００による撮影処理について説明する。ユーザがカメラ１００の電源をオンにすると、図６Ａ及び図６Ｂのフローチャートの処理が開始する。
次に、図６Ａ及び図６Ｂを参照して、カメラ１００による撮影処理について説明する。ユーザがカメラ１００の電源をオンにすると、図６Ａ及び図６Ｂのフローチャートの処理が開始する。
【0055】
Ｓ６０１で、システム制御部５０は、カメラ１００のファームウェアがＶＲ１８０レンズに対応しているかどうかを判断する。ファームウェアがＶＲ１８０レンズに対応していると判断した場合、処理ステップはＳ６０２へ移行する。ファームウェアがＶＲ１８０レンズに対応していないと判断した場合、処理ステップはＳ６２２へ移行する。ＶＲ１８０レンズの光学系は一般的なレンズとは異なるので、カメラ１００は、後処理用にＶＲ１８０レンズのメタデータを読み取り、記録できる必要がある。そのため、システム制御部５０は、ファームウェアがＶＲ１８０レンズに対応しているかどうかを判断する。
【0056】
Ｓ６０２で、システム制御部５０が、カメラ１００にＶＲ１８０レンズ（例えば図４に示すＶＲ１８０レンズ３００）が装着されているかどうかを判断する。ＶＲ１８０レンズが装着されていると判断した場合、処理ステップはＳ６０３へ移行する。ＶＲ１８０レンズが装着されていないと判断した場合、処理ステップはＳ６２２へ移行する。
【0057】
Ｓ６０３で、システム制御部５０が、ＶＲ１８０レンズの設計値を取得する。レンズ設計値は、後述の左右入れ替え処理及び正距円筒変換処理に利用される。
【0058】
Ｓ６０４で、システム制御部５０が、ＶＲ１８０レンズの個体値を取得する。ＶＲ１８０レンズは、レンズ設計値に加えて、製造時の誤差などの個体値の情報を追加で保持する。正距円筒変換処理においては、製造誤差値を利用することで、設計値だけを用いて正距円筒変換するよりも良い結果が得られるようになる。
【0059】
Ｓ６０５で、システム制御部５０が、撮像部２１１から画像を取得する。
【0060】
Ｓ６０６で、システム制御部５０が、Ｓ６０５で取得した画像をＥＶＦ２１７上に表示する（ライブビュー表示）。
【0061】
Ｓ６０７で、システム制御部５０が、シャッターボタン１０１の操作により記録開始指示が行われたかどうかを判断する。記録開始指示が行われたと判断した場合、処理ステップはＳ６０８へ移行する。記録開始指示が行われていないと判断した場合、処理ステップはＳ６０５へ移行する。従って、ユーザから記録開始指示がなされるまで、ＥＶＦへのライブビュー表示が繰り返される。記録開始指示は、静止画撮影の指示でもよいし、動画撮影の指示でもよい。
【0062】
Ｓ６０８で、システム制御部５０が、撮像部２１１から画像を取得する。
【0063】
Ｓ６０９で、システム制御部５０が、撮影時のシャッタースピードなどの撮影情報、及び撮影時のカメラ１００の姿勢情報などのメタデータなどを取得する。姿勢情報は、姿勢検知部２２２から取得される。また、ＲＡＷ画像撮影の場合には、システム制御部５０は、現像に必要なメタデータなども取得する。
【0064】
Ｓ６１０で、システム制御部５０が、Ｓ６０８で取得した画像をファイルに記録する。
【0065】
Ｓ６１１で、システム制御部５０が、Ｓ６０９で取得した撮影情報及びメタデータをファイルに関連付けて記録する。例えば、システム制御部５０は、画像と同一のファイルに撮影情報及びメタデータを記録する。
【0066】
Ｓ６１２で、システム制御部５０が、Ｓ６０３及びＳ６０４で取得したＶＲ１８０レンズの情報をファイルに関連付けて記録する。例えば、システム制御部５０は、画像と同一のファイルにＶＲ１８０レンズの情報を記録する。
【0067】
Ｓ６１３で、システム制御部５０が、ユーザによる記録終了指示が行われたかどうかを判断する。静止画撮影の場合は、１枚撮影なので記録開始指示と記録終了指示が同時に行われたものとする。動画撮影の場合は、ユーザがシャッターボタン１０１を再度押すことで、記録指示終了を行う。記録終了指示が行われたと判断した場合、本フローチャートの処理は終了する。記録終了指示が行われていないと判断した場合、処理ステップはＳ６０８へ移行する。システム制御部５０がＳ６０８～Ｓ６１３の処理を繰り返すことで、動画像を次々とファイルに記録することができる。
【0068】
次に、処理ステップがＳ６０１又はＳ６０２からＳ６２２へ移行した場合について説明する。なお、処理ステップがＳ６０１からＳ６２２へ移行した場合、カメラ１００のファームウェアはＶＲ１８０レンズに対応していない。そのため、カメラ１００は、ＶＲ１８０レンズに特有の処理を行うことはできない。従って、カメラ１００にＶＲ１８０レンズが装着されていても、カメラ１００は通常レンズ装着時と同じ処理を行う。
【0069】
Ｓ６２２で、システム制御部５０が、カメラ１００にレンズが装着されているかどうかを判断する。レンズが装着されていると判断した場合、処理ステップはＳ６２３へ移行する。レンズが装着されていないと判断した場合、本フローチャートの処理は終了する。
【0070】
Ｓ６２３で、システム制御部５０が、レンズの一般的な情報（例えばレンズ名）を取得する。
【0071】
Ｓ６２４で、システム制御部５０が、Ｓ６２３でレンズの一般的な情報を取得できたかどうかを判断する。レンズの一般的な情報を取得できた場合、処理ステップはＳ６２５に移行する。レンズの一般的な情報を取得できなかった場合、処理ステップはＳ６２６に移行する。例えば、カメラ１００とレンズとでメーカーが異なり、カメラ１００がレンズと通信ができない場合に、カメラ１００はレンズから情報を取得できない。
【0072】
Ｓ６２５で、システム制御部５０が、Ｓ６２３で取得したレンズの一般的な情報をシステムメモリ２１８に保持する。
【0073】
Ｓ６２６～Ｓ６３２の処理は、Ｓ６０５～Ｓ６１１の処理と同様であるため、説明を省略する。
【0074】
Ｓ６３３で、システム制御部５０が、レンズの一般的な情報がシステムメモリ２１８に保持しているかどうかを判断する（Ｓ６２５参照）。レンズの一般的な情報が保持されている場合、処理ステップはＳ６３４に移行する。レンズの一般的な情報が保持されていない場合、処理ステップはＳ６３５に移行する。
【0075】
Ｓ６３４で、システム制御部５０が、システムメモリ２１８に保持されているレンズの一般的な情報をファイルに関連付けて記録する。例えば、システム制御部５０は、画像と同一のファイルにレンズの一般的な情報を記録する。
【0076】
Ｓ６３５の処理は、Ｓ６１３の処理と同様であり、記録終了指示が行われた場合、本フローチャートの処理は終了し、記録終了指示が行われていない場合、処理ステップはＳ６２９へ移行する。システム制御部５０がＳ６２９～Ｓ６３５の処理を繰り返すことで、動画像を次々とファイルに記録することができる。
【0077】
【0078】
●ＶＲ１８０レンズ３００が装着されたカメラ１００の撮影画像
次に、図１１（ａ）及び図１１（ｂ）を参照して、ＶＲ１８０レンズ３００が装着されたカメラ１００により撮影され記録された画像の例について説明する。
次に、図１１（ａ）及び図１１（ｂ）を参照して、ＶＲ１８０レンズ３００が装着されたカメラ１００により撮影され記録された画像の例について説明する。
【0079】
ＶＲ１８０レンズ３００は、撮像素子の大きさ及び記録される画角に関して、特定の値を想定して設計されている。例えば、ＤＣＩ ８Ｋ画角を想定したＶＲ１８０レンズ３００の場合、想定される画角は８１９２ｘ４３２０である。
【0080】
一方、カメラ１００は、撮影設定に応じて、ＶＲ１８０レンズ３００が想定した画角以外の画角での記録も可能である。例えば、ＵＨＤ ８Ｋ設定の場合、画角は７６８０ｘ４３２０である。この場合、撮像素子上は、ＶＲ１８０レンズ３００の画像全体が入力されているにも関わらず、その一部（例えば、両端）が記録されないことになる。
【0081】
図１１（ａ）は、ＶＲ１８０レンズ３００が想定しているサイズの撮像素子を持つカメラ１００を用いて、撮像素子全体を使用する画角で記録した場合の画像例である。これは例えば、ＶＲ１８０レンズ３００が想定している撮像素子のサイズが、ＤＣＩ ８Ｋ（８１９２ｘ４３２０）であり、記録サイズもＤＣＩ ８Ｋの場合である。この場合、左右に並んだ２つ円周魚眼画像が完全に記録される。
【0082】
図１１（ｂ）は、ＶＲ１８０レンズが想定しているサイズの撮像素子を持つカメラ１００を用いて、撮像素子の一部を使用する画角で記録した場合の画像例である。これは例えば、ＶＲ１８０レンズが想定している撮像素子のサイズが、ＤＣＩ ８Ｋ（８１９２ｘ４３２０）であり、記録サイズがＵＨＤ ８Ｋ（７６８０ｘ４３２０）の場合である。この場合、撮像素子上には左右に並んだ２つ円周魚眼画像が完全に形成されるが、その一部分が欠けた状態で記録されることになる。例えば、図１１（ｂ）のように、左右に並んだ２つ円周魚眼画像のうち、左円周画像の左側一部、右円周画像の右側一部が欠けた状態で記録される。以下の説明において、円周魚眼画像のうちの欠けた領域を、「欠落領域」とも呼ぶ。
【0083】
●ＰＣ５００による正距円筒変換処理
図７及び図８Ａを参照して、ＰＣ５００による正距円筒変換処理について説明する。ＰＣ５００は、カメラ１００から取得した画像ファイルに含まれる画像に対して正距円筒変換処理を行う。正距円筒変換処理により、図１１（ａ）及び図１１（ｂ）を参照して説明したような左右２つの円周魚眼画像から左右２つの正距円筒図法画像が生成される。
図７及び図８Ａを参照して、ＰＣ５００による正距円筒変換処理について説明する。ＰＣ５００は、カメラ１００から取得した画像ファイルに含まれる画像に対して正距円筒変換処理を行う。正距円筒変換処理により、図１１（ａ）及び図１１（ｂ）を参照して説明したような左右２つの円周魚眼画像から左右２つの正距円筒図法画像が生成される。
【0084】
Ｓ７０１で、制御部５０１が、画像ファイルから画像を読み込む。これは、後述する図９に示す画像ファイルの、静止画又は動画である。
【0085】
Ｓ７０２で、制御部５０１が、画像ファイルから、撮影情報、及びＶＲ１８０レンズ以外のメタデータを読み込む。これは、後述する図９に示す画像ファイルの、撮影情報、及びＶＲ１８０レンズ以外のメタデータである。
【0086】
Ｓ７０３で、制御部５０１が、画像ファイルがＶＲ１８０レンズメタデータを持っているか判断する。これは、後述する図９に示す画像ファイルの、ＶＲ１８０レンズメタデータである。画像ファイルがＶＲ１８０レンズメタデータを持っている場合、処理ステップはＳ７０４へ移行する。画像ファイルがＶＲ１８０レンズメタデータを持っていない場合、処理ステップはＳ７０６へ移行する。
【0087】
Ｓ７０４で、制御部５０１が、画像ファイルからＶＲ１８０レンズメタデータを読み込む。
【0088】
Ｓ７０５で、制御部５０１が、Ｓ７０４で読み込んだＶＲ１８０レンズメタデータのうち、ＶＲ１８０レンズの設計値から、記録された画像における左右２つの円周画像の中心座標と半径を取得する。また、ＶＲ１８０レンズメタデータがＶＲレンズの個体値（製造誤差）を持つ場合、制御部５０１が、個体値も反映させて、左右２つの円周画像の中心座標と半径を取得する。
【0089】
Ｓ７０３からＳ７０６へ処理ステップが移行した場合、制御部５０１が、画像ファイルがレンズ名を持っているか判断する。例えば、カメラ１００のファームウェアがＶＲ１８０レンズに対応していない場合、カメラ１００は、ＶＲ１８０レンズメタデータは記録しないが、ＶＲ１８０レンズ以外のメタデータ領域にレンズ名を記録することはあり得る。画像ファイルがレンズ名を持っている場合、処理ステップはＳ７０７へ移行する。画像ファイルがレンズ名を持っていない場合、処理ステップはＳ７０９へ移行する。
【0090】
Ｓ７０７で、制御部５０１が、画像ファイルからレンズ名を取得する。
【0091】
Ｓ７０８で、制御部５０１が、Ｓ７０７で取得したレンズ名が、既知のＶＲ１８０レンズを示すかどうか判断する。Ｓ７０７で取得したレンズ名が、既知のＶＲ１８０レンズを示す場合、処理ステップはＳ７０９に移行する。Ｓ７０７で取得したレンズ名が、既知のＶＲ１８０レンズを示さない場合、処理ステップはＳ７１０に移行する。
【0092】
Ｓ７０９で、制御部５０１が、Ｓ７０７で取得したレンズ名に基づき、記録された画像における左右２つの円周画像の中心座標と半径を決定する。この処理を実現するために、ＰＣ５００のプログラムは、レンズ名と、そのレンズで撮影した画像の左右２つの円周画像の中心座標と半径の設計値を保持するように構成される。或いは、これらの情報を外部からプログラムに与えてもよい。
【0093】
Ｓ７０６又はＳ７０８からＳ７１０へ処理ステップが移行した場合、制御部５０１が、Ｓ７０１で読み込んだ画像が左右２つの円周魚眼画像かどうかを判断する。例えば、制御部５０１は、読み込んだ画像の画素の輝度値に関して、閾値以下の値（黒に近い値）の場合、その画素の画素値を黒、閾値を超える値の場合、その画素の画素値を白、とするモノクロ２値画像を作成する。そして、制御部５０１は、モノクロ２値画像の白領域が２つの円形かどうかに基づいて、Ｓ７０１で読み込んだ画像が左右２つの円周魚眼画像かどうかを判断することができる。読み込んだ画像が左右２つの円周魚眼画像の場合、処理ステップはＳ７１１に移行する。読み込んだ画像が左右２つの円周魚眼画像ではない場合、本フローチャートの処理は終了する。
【0094】
Ｓ７１１で、制御部５０１が、Ｓ７０１で読み込んだ画像の２つの円周魚眼画像の中心座標と半径を検出する。円においては、円周上の２点と交わる任意の直線を２本引き、それぞれの中点から垂線を引いたとき、２つの垂線の交点がその円の中心であることが知られている。そのため、例えば、制御部５０１は、Ｓ７１０で作成したモノクロ２値画像を用いて、円形をなす領域に関して、任意の縦位置で水平方向に画素値を調べ、黒から白に変化した画素のＸ座標Ｘ１と、白から黒に変換し画素のＸ座標Ｘ２を求める。また、制御部５０１は、任意の横位置で垂直方向に画素値を調べ、黒から白に変化した画素のＹ座標Ｙ１と、白から黒に変換し画素のＹ座標Ｙ２を求める。このとき、その円の中心座標は、Ｘ座標が（Ｘ１＋Ｘ２）／２、Ｙ座標が（Ｙ１＋Ｙ２）／２、である。また、円の中心座標から水平方向に画素値を調べ、白から黒に変化した画素のＸ座標をＸ３とすると、円の半径は、Ｘ３－（（Ｘ１＋Ｘ２）／２）となる。
【0095】
Ｓ７１２で、制御部５０１が、Ｓ７０５、Ｓ７０９、又はＳ７１１の処理により得られた、２つの円周魚眼画像の中心座標と半径を使用して、２つの円周魚眼画像から正距円筒図法画像を作成する。ここで、図１１（ｂ）を参照して説明したように、ＶＲ１８０レンズが装着されたカメラ１００により撮影が行われた場合であっても、２つの円周魚眼画像が完全な形では記録されていない（一部に欠けがある）ことがある。
【0096】
図８Ａは、第１の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャートである。
【0097】
Ｓ８０１で、制御部５０１は、ＶＲ１８０レンズが撮像する画像全体を記録するのに必要な画像サイズを求める。これは、Ｓ７０５、Ｓ７０９、又はＳ７１１の処理により得られた、２つの円周魚眼画像の中心座標と半径から求めることができる。例えば、２つの円周魚眼画像が左右に並んだ状態で記録されており、画像の左右中央から左円周魚眼画像の中心位置のＸ座標までの距離をＸ１、画像の左右中央から右円周魚眼画像の中心位置のＸ座標まで距離をＸ２、左右円周魚眼画像の半径をＲとする。ここで、（Ｒ＜＝Ｘ１）かつ（Ｒ＜＝Ｘ２）である。このとき、左右２つの円周魚眼画像を完全に記録するために必要な画像サイズは、幅（（Ｘ１＋Ｘ２）×２）、高さ（Ｒ×２）である。
【0098】
Ｓ８０２で、制御部５０１が、画像ファイルから取得した画像サイズが、Ｓ８０１で求めた画像サイズ未満かどうかを判断する。画像ファイルから取得した画像サイズが、Ｓ８０１で求めた画像サイズ未満の場合、処理ステップはＳ８０３に移行する。これは、２つの円周魚眼画像の一部が欠けた状態で記録されていることを意味する。画像ファイルから取得した画像サイズが、Ｓ８０１で求めた画像サイズ以上の場合、処理ステップはＳ８０６に移行する。これは、２つの円周魚眼画像全体が記録されていることを意味する。
【0099】
Ｓ８０３で、制御部５０１は、Ｓ８０１で求めた画像サイズに相当するバッファをＲＡＭ５０３に割り当て、全画素値を黒にセットする。
【0100】
Ｓ８０４で、制御部５０１は、Ｓ８０３で割り当てたバッファに、Ｓ７０１で取得した画像データをコピーする。このとき、制御部５０１は、Ｓ８０３で割り当てたバッファの左右中心から左円周魚眼画像の中心位置のＸ座標までの距離が、Ｓ８０１で求めたＸ１になるようにコピーを行う。この結果、バッファの画像は、図１１（ｃ）のようになる。
【0101】
Ｓ８０５で、制御部５０１は、バッファの画像を、正距円筒変換の変換元画像として選択する。
【0102】
図１２Ａの上の図は、バッファに格納された変換元画像を示す。図１２Ａの下の図は、正距円筒変換の変換先画像（変換結果画像）を示す。矢印１２０１が示すように、左眼正距円筒図法画像の右端の座標は、左眼円周魚眼画像の右端の座標に対応するが、その座標の画素は記録されていないため、Ｓ８０３でセットされた黒画素を指している。同様に、矢印１２０２が示すように、右眼正距円筒図法画像の左端の座標は、右眼円周魚眼画像の左端の座標に対応するが、その座標の画素は記録されていないため、Ｓ８０３でセットされた黒画素を指している。
【0103】
Ｓ８０２からＳ８０６へ処理ステップが移行した場合、制御部５０１は、Ｓ７０１で取得した画像を、正距円筒変換の変換元画像として選択する。
【0104】
Ｓ８０７で、制御部５０１は、変換先画像（正距円筒図法画像）の全画素の処理が完了したかどうか判断する。変換先画像の全画素の処理が完了した場合、本フローチャートの処理は終了する。未処理の画素が存在する場合、処理ステップはＳ８０８に移行する。
【0105】
Ｓ８０８で、制御部５０１は、変換先画像（正距円筒図法画像）の処理対象画素の座標に対応する、変換元画像（円周魚眼画像）の座標を求める（識別する）。これは、正距円筒変換の一般的な方法を用いて行うことができる。図１２Ａに示すように、記録された円周魚眼画像の一部が欠けている場合であっても、Ｓ８０３～Ｓ８０５で用意したバッファの画像を変換元画像とすることにより、正距円筒変換時に無効な領域を参照することがなくなる。その結果、円周魚眼画像において存在しない領域に対応する正距円筒図法画像の領域については、黒画素にすることが可能となる。
【0106】
Ｓ８０９で、制御部５０１は、Ｓ８０８で求めた変換元画像の座標から画素値を取得し、取得した画素値を、変換先画像の処理対象画素にセットする。
【0107】
Ｓ８１０で、制御部５０１は、変換先画像の次の画素を処理対象画素として選択する。例えば、変換先画像の左上の画素から右下の画素に向かって処理する場合、次の画素とは、同一行における右隣の画素である。但し、右隣の画素のＸ座標が画像幅に達した場合、１行下の左端画素を次の画素とする。
【0108】
以上の処理により、欠落領域を伴う円周魚眼画像に対して正距円筒変換処理を行う場合でも、正距円筒図法画像における座標に対応する円周魚眼画像の座標が、円周魚眼画像の欠落領域を指すことがなくなる。
【0109】
●画像ファイルの形式
次に、図９を参照して、カメラ１００が記録する画像ファイル（ＰＣ５００が処理する画像ファイル）の構造について説明する。図９において、９０１は、ファイルのヘッダーである。ファイルのヘッダーには、画像の種類などの情報が記録される。９０２は、ファイルに記録された画像の撮影時の撮影情報である。撮影情報には、シャッタースピードや絞りなどの情報が記録される。９０３は、ＶＲ１８０レンズメタデータ（ＶＲ１８０レンズに関するメタデータ）である。ＶＲ１８０レンズメタデータとして、レンズ名、円周魚眼の半径などの情報、及び製造誤差の情報などが記録される。９０４は、ＶＲ１８０レンズ以外のメタデータである。ＶＲ１８０レンズ以外のメタデータには、動画の場合は、フレームごとに変化する情報が、ＲＡＷの場合は、現像に必要なデータが記録される。ＶＲ１８０レンズに対応していないファームウェアを搭載したカメラは、ＶＲ１８０レンズ以外のメタデータにレンズ名を記録する。９０５は、静止画又は動画のデータである。動画の場合は、画像に加えて音声のデータも記録される。
次に、図９を参照して、カメラ１００が記録する画像ファイル（ＰＣ５００が処理する画像ファイル）の構造について説明する。図９において、９０１は、ファイルのヘッダーである。ファイルのヘッダーには、画像の種類などの情報が記録される。９０２は、ファイルに記録された画像の撮影時の撮影情報である。撮影情報には、シャッタースピードや絞りなどの情報が記録される。９０３は、ＶＲ１８０レンズメタデータ（ＶＲ１８０レンズに関するメタデータ）である。ＶＲ１８０レンズメタデータとして、レンズ名、円周魚眼の半径などの情報、及び製造誤差の情報などが記録される。９０４は、ＶＲ１８０レンズ以外のメタデータである。ＶＲ１８０レンズ以外のメタデータには、動画の場合は、フレームごとに変化する情報が、ＲＡＷの場合は、現像に必要なデータが記録される。ＶＲ１８０レンズに対応していないファームウェアを搭載したカメラは、ＶＲ１８０レンズ以外のメタデータにレンズ名を記録する。９０５は、静止画又は動画のデータである。動画の場合は、画像に加えて音声のデータも記録される。
【0110】
なお、図９の例では、画像ファイル内に撮影情報９０２、ＶＲ１８０レンズメタデータ９０３、及びＶＲ１８０レンズ以外のメタデータ９０４が記録されている。しかしながら、画像ファイルとは異なるファイルに画像ファイル内に撮影情報９０２、ＶＲ１８０レンズメタデータ９０３、及びＶＲ１８０レンズ以外のメタデータ９０４を記録し、記録された情報を画像ファイルと関連付ける構成を採用してもよい。
【0111】
●ＶＲ１８０レンズ３００及びカメラ１００から取得される情報
図１０（ａ）を参照して、カメラ１００がＶＲ１８０レンズ３００から取得する情報の例について説明する。ＶＲ１８０レンズ３００からは、以下の情報が取得される。
１．レンズ設計値
２．レンズ個体値（製造誤差値）
３．レンズフラグ情報
４．レンズ焦点距離情報
５．レンズ温度計情報
図１０（ａ）を参照して、カメラ１００がＶＲ１８０レンズ３００から取得する情報の例について説明する。ＶＲ１８０レンズ３００からは、以下の情報が取得される。
１．レンズ設計値
２．レンズ個体値（製造誤差値）
３．レンズフラグ情報
４．レンズ焦点距離情報
５．レンズ温度計情報
【0112】
レンズ設計値とは、収差補正を行うためのＶＲ１８０両目共通の設計値データである。レンズ設計値の詳細は、図１０（ｂ）を参照して後述する。
【0113】
レンズ個体値（製造誤差値）とは、ＶＲ１８０レンズ３００の製造上の誤差を示すデータである。ＶＲ１８０レンズ３００の製造過程では、誤差が左右それぞれで発生する。誤差が存在する状態でＰＣ５００による正距円筒変換処理を行うと、３Ｄ表示の品質が低下してしまう。この問題を抑制するために、レンズ製造過程で検出された誤差の測定結果がレンズ内に記録されている。レンズ個体値の詳細については、図１０（ｂ）を参照して後述する。
【0114】
ＰＣ５００は、画像処理を行う際に、ＶＲ１８０レンズ３００で撮影された画像データについて、変換処理を行うか否かを判定する必要がある。レンズフラグは、この判定を可能にするために記録される。レンズフラグは、画像データが、ＶＲ１８０レンズで撮影された画像データであることを示すフラグである。
【0115】
レンズ焦点距離とは、レンズの中心である「主点」から撮像素子に結像するまでの距離である。ＶＲ１８０レンズ３００で撮影された画像データについてＰＣ５００による変換処理を行う際に、３Ｄ表示の品質を保つためには、レンズ焦点距離として高精度（小数点単位）の値が必要である。
【0116】
レンズ温度計情報とは、ＶＲ１８０レンズ３００の温度を示す。撮影時にレンズの温度情報が記録されているので、ＰＣ５００は、環境温度を把握できる。
【0117】
図１０（ｂ）を参照して、レンズ設計値及びレンズ個体値（製造誤差値）について説明する。これらの情報は、左右入れ替え処理及び正距円筒変換処理などに用いられる。レンズ設計値は、例えば以下の情報を含む。
１．イメージサークル位置
２．イメージサークル直径
３．画角
４．歪曲補正係数
１．イメージサークル位置
２．イメージサークル直径
３．画角
４．歪曲補正係数
【0118】
イメージサークル位置とは、撮像素子上に結像する像円の中心位置の設計値である。例えば、イメージサークル位置は、マウントを原点として水平方向と垂直方向の座標として定義される。
【0119】
イメージサークル直径とは、撮像素子上に結像する像円の直径である。
【0120】
画角とは、イメージサークル内に結像する像の画角範囲である。
【0121】
歪曲補正係数とは、レンズの理想像高に対する設計像高の比である。像高ごとに値を設定し、その間は補間してもよいし、多項式に近似してもよい。
【0122】
また、ＰＣ５００上のアプリとカメラ１００とを接続して表示する際に、ＰＣ５００の画面にマジックウインド表示が行われる。その場合に、姿勢及び表示品質を保つために、「イメージサークル位置」、「イメージサークル直径」、及び「画角」が用いられる。ＰＣ５００は、画像を画面に適切に表示するため、これらの情報をアプリに合わせた情報に編集して使用する。例えば、ＰＣ５００は、マジックウインド表示に合わせて「イメージサークル位置」及び「イメージサークル直径」に係数を乗じて使用する。
【0123】
レンズ個体値（製造誤差値）は、例えば以下の情報を含む。
５．イメージサークル位置ずれ
６．光軸傾き
７．像倍率ずれ
５．イメージサークル位置ずれ
６．光軸傾き
７．像倍率ずれ
【0124】
イメージサークル位置ずれとは、撮像素子上に結像する像円の中心位置の設計値からのずれである。例えば、イメージサークル位置ずれは、設計位置を原点として水平方向と垂直方向の座標で定義される。
【0125】
光軸傾きとは、被写体側の光軸の向きのずれである。例えば、水平方向の傾きずれと垂直方向の傾きずれが、角度で記述される。
【0126】
像倍率ずれとは、像の大きさの設計値からのずれである。例えば、像倍率ずれは、設計値に対する比率として記述される。
【0127】
これらの個体値は、レンズの偏芯や傾きなどの製造誤差によって発生するため、個体ごとに様々な値を持つ。そのため、レンズ個体値は、左右の光学系の各々に対して測定され記録される。
【0128】
図１０（ｃ）を参照して、カメラ１００から取得されるメタデータについて説明する。このメタデータは、ＰＣ５００のアプリで変換処理を行う際に、表示領域及び姿勢情報に基づいて３Ｄ品質を保つために用いられる。メタデータは、例えば以下の情報を含む。
１．カメラ記録領域情報
２．カメラ内加速度計情報
３．絞り目右眼補正情報
１．カメラ記録領域情報
２．カメラ内加速度計情報
３．絞り目右眼補正情報
【0129】
カメラ記録領域情報とは、有効画像領域のことである。カメラの撮像素子及び記録モードによって、表示可能な有効画像領域は異なる。この情報は、ＰＣ５００のアプリで変換処理を行う際に、より正確な画像表示を行うために用いられる。
【0130】
カメラ内加速度計情報は、カメラ内の加速度計（水準器）を用いて測定される、姿勢情報のロール及びピッチのことである。この情報は、ＰＣ５００のアプリでの電子防振と水平補正に使用される。
【0131】
絞り目右眼補正情報とは、左目基準の場合の露出設定値のことである。この情報は、ＰＣ５００のアプリで変換処理を行う際に、３Ｄ品質を保ち違和感のない再生表示を行うために用いられる。
【0132】
以上説明したように、第１の実施形態によれば、ＰＣ５００は、画素値が存在しない欠落領域を伴う円周魚眼画像に基づいて正距円筒変換処理を行うことにより、正距円筒図法画像を生成する。また、ＰＣ５００は、正距円筒変換処理の前に、円周魚眼画像の欠落領域に所定の画素値を設定する。これにより、円周魚眼画像が欠落領域を伴う場合であっても、画素値の欠落のない正距円筒図法画像を生成することが可能になる。
【0133】
なお、上の例では、所定の画素値は黒を示す画素値であるものとしたが、所定の画素値は特定の色に限定されず、例えば白を示す画素値であってもよい。
【0134】
［第２の実施形態］
第２の実施形態では、正距円筒図法画像の作成処理（図７のＳ７１２）の他の例について説明する。本実施形態において、カメラ１００及びＰＣ５００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。
第２の実施形態では、正距円筒図法画像の作成処理（図７のＳ７１２）の他の例について説明する。本実施形態において、カメラ１００及びＰＣ５００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。
【0135】
図８Ｂは、第２の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャートである。図８Ｂにおいては、図８Ａ（第１の実施形態）と異なり、制御部５０１は、画像ファイルから取得された円周魚眼画像に欠けがあるか否かに関わらず、取得された円周魚眼画像を正距円筒変換の変換元画像として用いる。
【0136】
Ｓ８１１～Ｓ８１２の処理は、図８ＡのＳ８０７～Ｓ８０８の処理と同様であるため、説明を省略する。
【0137】
Ｓ８１３で、制御部５０１は、Ｓ８１２で求めた変換元座標（変換先画像の処理対象画素の座標に対応する、変換元画像の座標）が、変換元画像（円周魚眼画像）内にあるかどうか判断する。変換元座標が変換元画像内にある場合、処理ステップはＳ８１４に移行する。変換元座標が変換元画像内にない場合、処理ステップはＳ８１５に移行する。
【0138】
Ｓ８１４の処理（変換元座標が変換元画像内にある場合の処理）は、図８ＡのＳ８０９の処理と同様であるため、説明を省略する。
【0139】
一方、変換元座標が変換元画像内にない場合、Ｓ８１５で、制御部５０１は、変換先画像（正距円筒図法画像）の処理対象画素の座標に、黒をセットする。
【0140】
図１２Ｂの上の図は、正距円筒変換の変換元画像として用いられる、一部が欠けて記録された円周魚眼画像を示す。図１２Ｂの下の図は、正距円筒変換の変換先画像（変換結果画像）を示す。矢印１２１１が示すように、左眼正距円筒図法画像の右端の座標は、左眼円周魚眼画像の右端の座標に対応するが、その座標の画素は記録されていない。そのため、Ｓ８１５で、制御部５０１は、変換先画像の処理対象画素に黒をセットする。同様に矢印１２１２が示すように、右眼正距円筒図法画像の左端の座標は、右眼円周魚眼画像の左端の座標に対応するが、その座標の画素は記録されていない。そのため、Ｓ８１５で、制御部５０１は、変換先画像の処理対象画素に黒をセットする。
【0141】
Ｓ８１６の処理は、図８ＡのＳ８１０の処理と同様であるため、説明を省略する。
【0142】
以上説明したように、第２の実施形態によれば、ＰＣ５００は、正距円筒変換処理の変換先画像（正距円筒図法画像）の処理対象画素の座標に対応する変換元画像（円周魚眼画像）の座標が欠落領域を指す場合には、処理対象画素に黒を示す画素値（所定の画素値）を設定する。これにより、円周魚眼画像が欠落領域を伴う場合であっても、正常に正距円筒変換処理を行うことが可能になる。
【0143】
［第３の実施形態］
第３の実施形態では、正距円筒図法画像の作成処理（図７のＳ７１２）の更に他の例について説明する。本実施形態において、カメラ１００及びＰＣ５００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。
第３の実施形態では、正距円筒図法画像の作成処理（図７のＳ７１２）の更に他の例について説明する。本実施形態において、カメラ１００及びＰＣ５００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。
【0144】
ＶＲ１８０レンズで撮影した左右２つの円周魚眼画像から正距円筒変換処理により作成された正距円筒図法画像をヘッドマウントディスプレイ（ＨＭＤ）で見た場合、ユーザは、２つの正距円筒図法画像を１つの立体画像として見ることができる。第１の実施形態又は第２の実施形態に従って正距円筒図法画像を作成する場合、図１２Ａ及び図１２Ｂに示すように、一部の領域について、左眼又は右眼の一方についてのみ、正距円筒図法画像の画素が黒になる可能性がある。ユーザがＨＭＤでこのような２つの正距円筒図法画像を１つの立体画像として見た場合に、違和感が生じる可能性がある。第３の実施形態では、このような違和感を抑制するための構成について説明する。
【0145】
図８Ｃは、第３の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャートである。図８Ｃにおいては、図８Ａ（第１の実施形態）と異なり、制御部５０１は、画像ファイルから取得された円周魚眼画像に欠けがあるか否かに関わらず、取得された円周魚眼画像を正距円筒変換の変換元画像として用いる。
【0146】
Ｓ８２１で、制御部５０１は、左眼変換先画像（左眼に対応する正距円筒図法画像）の全画素の処理が完了したかどうか判断する。本実施形態では、Ｓ８２１～Ｓ８２７の１回の処理ループにおいて、左眼変換先画像の処理対象画素に加えて、右眼変換先画像（右眼に対応する正距円筒図法画像）において左眼変換先画像の処理対象画素の座標と同じ座標に位置する画素も処理する。そのため、左眼変換先画像の全画素の処理が完了している場合、右眼変換先画像についても全画素の処理が完了している。従って、左眼変換先画像の全画素の処理が完了した場合、本フローチャートの処理は終了する。左眼変換先画像に未処理の画素が存在する場合、処理ステップはＳ８２２に移行する。
【0147】
Ｓ８２２で、制御部５０１は、左眼変換先画像の処理対象画素の座標（左眼変換先座標）に対応する、左眼変換元画像（左眼円周魚眼画像）の座標（左眼変換元座標）を求める。ここで、左眼変換先座標は、左眼変換先画像の左上を原点とした座標系とする。左眼変換先座標に対応する左眼変換元座標を求める処理は、正距円筒変換の一般的な方法を用いて行うことができる。
【0148】
Ｓ８２３で制御部５０１は、制御部５０１は、右眼変換先画像の処理対象画素の座標（右眼変換先座標）に対応する、右眼変換元画像（右眼円周魚眼画像）の座標（右眼変換元座標）を求める。ここで、右眼変換先座標は、右眼変換先画像の右上を原点とした座標系とする。右眼変換先座標に対応する右眼変換元座標を求める処理は、正距円筒変換の一般的な方法を用いて行うことができる。
【0149】
Ｓ８２４で、制御部５０１は、左眼変換元座標が左眼変換元画像内にあり、かつ、右眼変換元座標が右眼変換元画像内にあるかどうか判断する。左眼変換元座標が左眼変換元画像内にあり、かつ、右眼変換元座標が右眼変換元画像内にある場合、処理ステップはＳ８２５に移行する。左眼変換元座標及び右眼変換元座標の少なくとも一方が対応する変換元画像内にない場合、処理ステップはＳ８２６に移行する。
【0150】
Ｓ８２５で、制御部５０１は、左眼変換元画像の左眼変換元座標から画素値を取得し、左眼変換先画像の処理対象画素にセットする。同様に、制御部５０１は、右眼変換元画像の右眼変換元座標から画素値を取得し、右眼変換先画像の処理対象画素にセットする。
【0151】
一方、Ｓ８２４からＳ８２６へ処理ステップが移行した場合、制御部５０１は、左眼変換先画像の処理対象画素及び右眼変換先画像の処理対象画素の両方に黒をセットする。
【0152】
【0153】
矢印１２２１が示すように、左眼正距円筒図法画像の左端の座標は、左眼円周魚眼画像の左端の座標に対応し、左眼円周魚眼画像の左端の座標の画素は記録されている。一方、右眼正距円筒図法画像における矢印１２２２の始点は、左眼正距円筒図法画像における矢印１２２１の始点に対応する位置にあるが、右眼円周魚眼画像において矢印１２２２が指す位置（右眼円周魚眼画像の左端の座標）には、画素が記録されていない。この場合、左眼正距円筒図法画像における矢印１２２１の始点及び右眼正距円筒図法画像における矢印１２２２の始点の両方について、黒がセットされる。
【0154】
矢印１２２３が示すように、右眼正距円筒図法画像の右端の座標は、右眼円周魚眼画像の右端の座標に対応し、右眼円周魚眼画像の左端の座標の画素は記録されている。一方、左眼正距円筒図法画像における矢印１２２４の始点は、右眼正距円筒図法画像における矢印１２２３の始点に対応する位置にあるが、左眼円周魚眼画像において矢印１２２４が指す位置（左眼円周魚眼画像の右端の座標）には、画素が記録されていない。この場合、右眼正距円筒図法画像における矢印１２２３の始点及び左眼正距円筒図法画像における矢印１２２４の始点の両方について、黒がセットされる。
【0155】
Ｓ８２７で、制御部５０１は、左眼変換先画像及び右眼変換先画像それぞれについて、次の画素を処理対象画素として選択する。例えば、左眼変換先画像の左上の画素から右下の画素に向かって処理する場合、次の画素とは、同一行における右隣の画素である。但し、右隣の画素のＸ座標が左眼変換先画像の幅に達した場合、１行下の行の左眼変換先画像の左端画素を次の画素とする。これは、右眼変換先画像についても同様である。
【0156】
以上説明したように、第３の実施形態によれば、ＰＣ５００は、左眼正距円筒図法画像及び右眼正距円筒図法画像の同一の座標について、一方の画像が欠落領域に対応する場合、他方の画像にも黒を示す画素値（所定の画素値）を設定する。これにより、同一の座標について一方の画像のみ画素が黒くなることを抑制することが可能になる。
【0157】
［第４の実施形態］
第４の実施形態では、正距円筒図法画像の作成処理（図７のＳ７１２）の更に他の例について説明する。第４の実施形態では、第３の実施形態と同様、ＰＣ５００は、左眼正距円筒図法画像及び右眼正距円筒図法画像の同一の座標について、一方の画像のみ画素が黒くなることを抑制するための処理を行うが、そのための具体的な処理内容が第３の実施形態と異なる。本実施形態において、カメラ１００及びＰＣ５００の基本的な構成は第３の実施形態と同様である。以下、主に第３の実施形態と異なる点について説明する。
第４の実施形態では、正距円筒図法画像の作成処理（図７のＳ７１２）の更に他の例について説明する。第４の実施形態では、第３の実施形態と同様、ＰＣ５００は、左眼正距円筒図法画像及び右眼正距円筒図法画像の同一の座標について、一方の画像のみ画素が黒くなることを抑制するための処理を行うが、そのための具体的な処理内容が第３の実施形態と異なる。本実施形態において、カメラ１００及びＰＣ５００の基本的な構成は第３の実施形態と同様である。以下、主に第３の実施形態と異なる点について説明する。
【0158】
図８Ｄは、第４の実施形態に係る、Ｓ７１２の処理（正距円筒図法画像の作成処理）の詳細を示すフローチャートである。図８Ｄにおいては、図８Ｃ（第３の実施形態）と同様に、制御部５０１は、画像ファイルから取得された円周魚眼画像に欠けがあるか否かに関わらず、取得された円周魚眼画像を正距円筒変換の変換元画像として用いる。
【0159】
Ｓ８３１～Ｓ８３５の処理は、図８ＣのＳ８２１～Ｓ８２５の処理と同様であるため、説明を省略する。
【0160】
Ｓ８３６で、制御部５０１は、制御部５０１は、左眼変換元座標が左眼変換元画像外にあり、かつ、右眼変換元座標が右眼変換元画像外にあるかどうか判断する。左眼変換元座標が左眼変換元画像外にあり、かつ、右眼変換元座標が右眼変換元画像外にある場合、処理ステップはＳ８３７に移行する。そうでない場合、処理ステップはＳ８３８に移行する。
【0161】
Ｓ８３７で、制御部５０１は、左眼変換先画像の処理対象画素及び右眼変換先画像の処理対象画素の両方に黒をセットする。
【0162】
Ｓ８３８で、制御部５０１は、左眼変換元座標が左眼変換元画像内にあるかどうかを判断する。左眼変換元座標が左眼変換元画像内にある場合、処理ステップはＳ８３９に移行する。左眼変換元座標が左眼変換元画像内にない場合（すなわち、右眼変換元座標が右眼変換元画像内にある場合）、処理ステップはＳ８４０に移行する。
【0163】
Ｓ８３９で、制御部５０１は、左眼変換元画像の左眼変換元座標から画素値を取得し、取得した画素値を、左眼変換先画像及び右眼変換先画像の両方の処理対象画素にセットする。
【0164】
Ｓ８４０で、制御部５０１は、右眼変換元画像の右眼変換元座標から画素値を取得し、取得した画素値を、左眼変換先画像及び右眼変換先画像の両方の処理対象画素にセットする。
【0165】
【0166】
矢印１２３１が示すように、左眼正距円筒図法画像の左端の座標は、左眼円周魚眼画像の左端の座標に対応し、左眼円周魚眼画像の左端の座標の画素は記録されている。一方、右眼正距円筒図法画像における矢印１２３２の始点は、左眼正距円筒図法画像における矢印１２３１の始点に対応する位置にあるが、右眼円周魚眼画像において矢印１２３２が指す位置（右眼円周魚眼画像の左端の座標）には、画素が記録されていない。この場合、Ｓ８３９の処理により、左眼正距円筒図法画像における矢印１２３１の始点及び右眼正距円筒図法画像における矢印１２３２の始点の両方について、左眼円周魚眼画像において矢印１２３１が指す位置（左眼円周魚眼画像の左端の座標）の画素値がセットされる。換言すると、破線矢印１２３３が示すように、右眼正距円筒図法画像において右眼円周魚眼画像の欠落領域に対応する領域には、左眼正距円筒図法画像の対応する領域の画素値がコピーされる。
【0167】
同様に、矢印１２３４が示すように、右眼正距円筒図法画像の右端の座標は、右眼円周魚眼画像の右端の座標に対応し、右眼円周魚眼画像の右端の座標の画素は記録されている。一方、左眼正距円筒図法画像における矢印１２３５の始点は、右眼正距円筒図法画像における矢印１２３４の始点に対応する位置にあるが、左眼円周魚眼画像において矢印１２３５が指す位置（左眼円周魚眼画像の右端の座標）には、画素が記録されていない。この場合、Ｓ８４０の処理により、右眼正距円筒図法画像における矢印１２３４の始点及び左眼正距円筒図法画像における矢印１２３５の始点の両方について、右眼円周魚眼画像において矢印１２３４が指す位置（右眼円周魚眼画像の右端の座標）の画素値がセットされる。換言すると、破線矢印１２３６が示すように、左眼正距円筒図法画像において左眼円周魚眼画像の欠落領域に対応する領域には、右眼正距円筒図法画像の対応する領域の画素値がコピーされる。
【0168】
Ｓ８４１の処理は、図８ＣのＳ８２７の処理と同様であるため、説明を省略する。
【0169】
以上説明したように、第４の実施形態によれば、ＰＣ５００は、第１の円周魚眼画像の欠落領域について、第２の円周魚眼画像の対応する領域が欠落領域でなければ、第１の正距円筒図法画像において第１の円周魚眼画像の欠落領域に対応する対応領域に、第２の円周魚眼画像の対応する領域の画素値を設定する。これにより、これにより、同一の座標について一方の画像のみ画素が黒くなることを抑制すると共に、黒の領域を減らすことが可能になる。
【0170】
［第５の実施形態］
第１の実施形態又は第２の実施形態に従って正距円筒図法画像を作成する場合、図１２Ａ及び図１２Ｂに示すように、一部の領域について、左眼又は右眼の一方についてのみ、正距円筒図法画像の画素が黒になる可能性がある。ユーザがこのような２つの正距円筒図法画像に基づくＶＲ視聴を行う場合、左目画像又は右目画像の一方にのみ黒塗りが表示されて見づらいという問題が発生する可能性がある。第５の実施形態では、この問題を視聴時に抑制するための構成について説明する。
第１の実施形態又は第２の実施形態に従って正距円筒図法画像を作成する場合、図１２Ａ及び図１２Ｂに示すように、一部の領域について、左眼又は右眼の一方についてのみ、正距円筒図法画像の画素が黒になる可能性がある。ユーザがこのような２つの正距円筒図法画像に基づくＶＲ視聴を行う場合、左目画像又は右目画像の一方にのみ黒塗りが表示されて見づらいという問題が発生する可能性がある。第５の実施形態では、この問題を視聴時に抑制するための構成について説明する。
【0171】
図１５を参照して、画角外で黒塗りになっている個所に対する処理選択について説明する。ラジオボタン１５０１は、画角外の画素に対応する反対側の画素を黒にする処理を行うことに対応する。ラジオボタン１５０２は、画角外で黒塗りされた画素の部分を反対側の画素で補う処理を行うことに対応する。ラジオボタン１５０３は、画角外の画素を表示する状態になった場合に、反対側の映像を左右に表示する処理を行うことに対応する。ラジオボタン１５０１、１５０２、及び１５０３は、いずれか１つのみ選択可能である。１５０４は、ＯＫボタンである。ユーザが処理を選択した後にＯＫボタン１５０４を押すことで、図１５の設定画面を閉じることができる。
【0172】
図１６Ａ～Ｄを参照して、左端をＶＲ１８０で視聴したときの例と、画角外で黒塗りとなった個所に対する処理例とを説明する。
【0173】
図１６Ａは、表示時に何も処理をしなかった場合の例を示す。１６０１は、ＶＲ１８０レンズの左レンズの画像である。１６０２は、ＶＲ１８０で視聴する際の左目用画像の表示領域である。１６０３は、ＶＲ１８０レンズの左レンズで画角外になった個所で黒塗りとなっている個所を示す。１６０４は、ＶＲ１８０レンズの右レンズの画像である。１６０５は、ＶＲ１８０で視聴する際の右目用画像の表示領域である。１６０６は、ＶＲ１８０レンズの右レンズで画角外になった個所で黒塗りとなっている個所を示す。１６０７は、画角外の黒塗り個所が右目用画像にのみ現れることを示した矢印である。１６０９は、ＶＲ１８０視聴時の左目用画像の表示である。１６１０は、ＶＲ１８０視聴時の右目用画像の表示である。矢印１６０７が示すように、画角外で右目用画像にのみ黒塗りで映像が映っていない領域がある。
【0174】
図１６Ｂは、図１５のラジオボタン１５０１を選択したときの画角外の画素に対応する反対側の画素を黒にするときの表示例である。１６０９は、処理前の左目用画像の表示例である。１６１０は、処理前の右目用画像の表示例である。１６１１は、処理後の左目用画像の表示例である。１６１２は、処理後の右目用画像の表示例である。１６１３は、処理によって追加された黒塗りの箇所である。黒塗りが追加されたことで、右目用画像と左目用画像で同じ領域に黒塗りが発生している状態になり片側のみ映像があることで発生する見づらさを解消している。
【0175】
図１６Ｃは、図１５のラジオボタン１５０２を選択したときの画角外の画素の部分を反対側の画素で補うときの表示例である。図１６Ｂと同じ符号の説明は省略する。１６１４は、処理後の左目用画像の表示例である。１６１５は、処理後の右目用画像の表示例である。１６１６は、右目用画像に画素を持っていくコピー元の領域を示す。１６１７は、左目用画像から画素をコピーしたことで映像が映っている状態を示す。１６１８は、左目用画像から右目用画像に画素をコピーする処理を示した矢印である。画素をコピーすることによって右目用画像の黒塗りだった箇所に映像を追加したことで、右目用画像と左目用画像で片側だけ黒塗りが発生している見づらい状態を解消している。
【0176】
図１６Ｄは、図１５のラジオボタン１５０３を選択したときの画角外になっていないほうの画像を両方に表示したときの表示例である。図１６Ｂと同じ符号の説明は省略する。１６１９は、処理後の左目用画像の表示例である。１６２０は、処理後の右目用画像の表示例である。１６２１は、左目用画像を右目用画像に表示していることを示す矢印である。画角外で黒塗り表示が行われてしまう画面の表示画面全体を左目用画像で差し替えることで、右目用画像と左目用画像で片側だけ黒塗りが発生している見づらい状態を解消している。
【0177】
図１３は、第５の実施形態に係る画像処理のフローチャートである。本フローチャートの処理により、図１５を参照して説明した画角外の黒塗り個所の処理方法の選択と、画角外の黒塗り個所があるかどうかの判断とが行われる。ＰＣ５００に対してＶＲ１８０画像の再生指示が入力されると、本フローチャートの処理が開始する。
【0178】
Ｓ１３０１で、制御部５０１が、画角外の部分の表示設定画面を表示する。即ち、図１５の設定画面が表示される。本実施形態では、再生方法の設定として、最初に表示が行われる。ユーザが操作部５０５を操作し、画面上のラジオボタン１５０１、１５０２、又は１５０３を選択し、１５０４のＯＫボタンを押すと、処理ステップはＳ１３０２に進む。
【0179】
Ｓ１３０２で、制御部５０１が、Ｓ１３０１で選択された設定を取得する。
【0180】
Ｓ１３０３で、制御部５０１が、入力された画像を取得する。本実施形態では、画角外の領域があるため、制御部５０１は、画像の一部が欠けた正距円筒変換後の画像を取得する。取得される画像は、図１６Ａの左レンズの画像１６０１、及び右レンズの画像１６０４である。
【0181】
Ｓ１３０４で、制御部５０１が、取得した正距円筒変換後の画像のうちの、左右目画像の中心部（最初に表示する初期位置）を切り出して、表示用の画像として読み込む。
【0182】
Ｓ１３０５で、制御部５０１が、Ｓ１３０４で読み込んだ左右目画像を表示（出力）する。
【0183】
Ｓ１３０６で、制御部５０１が、表示の終了指示があったかどうか判断する。終了するためのＵＩや操作については、任意の既存の技術を利用することができる。
【0184】
Ｓ１３０７で、制御部５０１が、表示位置を変更する指示があったかどうか判断する。表示位置の変更指示は、ユーザが操作部５０５を操作しカーソルキーやジョイスティックで表示位置を動かすことで行う。なお、表示モニタ自体にジャイロセンサを組み込み、制御部５０１が表示モニタの加速度に基づいて動きを取得し、その動を表示位置の変更指示として扱ってもよい。
【0185】
Ｓ１３０８で、制御部５０１が、Ｓ１３０７で行われた変更指示に対応した左右目の表示画像を取得する。
【0186】
Ｓ１３０９で、制御部５０１が、Ｓ１３０８で取得した画像に画角外で黒塗りされた領域があったかどうかを判断する。判断方法としては、画素値が、ＲＧＢ値すべてゼロの黒領域があったかどうかで判断する方法がある。また、そのほかの判断方法として、ＲＧＢ値がある閾値以下である領域を検出する方法を採用してもよい。黒領域は、画像の端に現れるので、画像の端に限定して判断するようにしてもよい。画像にメタ情報として黒領域について付加されていれば、そのメタ情報で指定された領域を表示領域が含むかどうかで判断するようにしてもよい。画角外の領域がなかったと判断したら、処理ステップはＳ１３０５へ移行する。画角外の領域があったと判断したら、処理ステップはＳ１３１０へ移行する。
【0187】
Ｓ１３１０で、制御部５０１が、Ｓ１３０２で取得した設定に合わせて、左右目画像に対する処理を行う。
【0188】
図１４は、Ｓ１３１０の画像処理の詳細を示すフローチャートである。
【0189】
Ｓ１４０１で、制御部５０１が、左右目のどちら側に画角外の領域があるのかを特定する。ここでは、制御部５０１は、Ｓ１３０９と同様の方法で、左右のどちら側に、画角外で黒塗りとなった領域があるのかの特定を行う。以下の説明においては、図１６Ａに示すように右目用画像に画角外で黒塗りとなった領域が存在するものとする。
【0190】
Ｓ１４０２で、制御部５０１が、Ｓ１３０１においてラジオボタン１５０３（左右に同じ画像を表示する設定）が選択されたかどうかを判断する。ラジオボタン１５０３が選択されたと判断した場合、処理ステップはＳ１４０３へ移行する。そうでない場合、処理ステップはＳ１４０４へ移行する。
【0191】
Ｓ１４０３で、制御部５０１が、画角外の領域を含む画像を、画角外の領域を含まない画像に置き換える。即ち、図１６Ｄの矢印１６２１が示すように、制御部５０１は、処理前の左目用画像１６０９を、処理後の右目用画像１６２０として表示する。この結果、画角外の領域がない左目用画像１６１９と同一の画像が、右目用画像１６２０として表示される。なお、画角外の領域を含む画像を、画角外の領域を含まない画像に置き換える代わりに、画角外の領域を含まない画像を、画角外の領域を含む画像に置き換えることにより、片側だけに黒塗り領域がある状態を解消してもよい。
【0192】
Ｓ１４０４で、制御部５０１が、画角外の領域を含む画像において、画角外の領域から１つの処理対象画素を選択する。Ｓ１４０４～Ｓ１４０８では、最終的に、画角外の黒塗りとなっている領域全体について処理を行うので、制御部５０１は、画角外の領域の左上から順番に処理対象画素として選択すればよい。
【0193】
Ｓ１４０５で、制御部５０１が、Ｓ１３０１においてラジオボタン１５０１（画角外の画素に対応する、反対側の目の画像の画素を黒にする設定）が選択されたかどうかを判断する。ラジオボタン１５０１が選択されたと判断した場合、処理ステップはＳ１４０６へ移行する。そうでない場合（ラジオボタン１５０２が選択された場合）、処理ステップはＳ１４０７へ移行する。
【0194】
Ｓ１４０６で、制御部５０１が、処理対象画素に対応する、反対側の目の画像の同じ位置の画素を黒にする。黒にする処理としては、ＲＧＢ値でゼロ値を設定してもよいし、画角外のある方の画面から画素値をコピーしてもよい。処理結果は、図１６Ｂに示すようになる。画角外の領域を含まない左目用画像１６０９に対する処理の結果、左目用画像１６１１には、黒の領域１６１３が追加されている。左目用画像１６１１に黒領域を追加したことで、右目用画像１６１２の画角外の領域に対応する領域については、左右で同じ画像（黒）が表示される。
【0195】
Ｓ１４０７で、制御部５０１が、処理対象画素に対応する、反対側の目の画像の同じ位置の画素値を、処理対象画素へコピーする。処理結果は、図１６Ｃに示すようになる。矢印１６１８に示すように領域１６１６から領域１６１７への画素値のコピーが行われることにより、画角外の黒の領域がなくなった。この処理によって、右目用画像１６１２の画角外の領域に対応する領域については、左右で同じ画像（領域１６１６の画像）が表示される。
【0196】
Ｓ１４０８で、制御部５０１が、画角外の領域の全画素の処理が完了したかどうかを判断する。画角外の領域の全画素の処理が完了したと判断した場合は、本フローチャートの処理は終了する。こうして処理された画像は、図１３のＳ１３０５において表示対象の画像として用いられる。画角外の領域の全画素の処理が完了していないと判断した場合は、処理ステップはＳ１４０４へ移行する。そして、Ｓ１４０４～Ｓ１４０８の処理ループの繰り返しにより、画角外の領域の全画素に対して処理が行われる。
【0197】
以上説明したように、第５の実施形態によれば、ＰＣ５００は、第１の表示画像（左目用画像１６０９又は右目用画像１６１０の一方）の中に、正距円筒図法画像において円周魚眼画像の欠落領域に対応する対応領域に重なる第１の特定領域が存在する場合に、第１の特定領域と、第２の表示画像（左目用画像１６０９又は右目用画像１６１０の他方）において第１の特定領域に対応する位置にある第２の特定領域とが同じ画像を含むように、第１の表示画像又は第２の表示画像を補正する。この補正は、第１の表示画像又は第２の表示画像の出力前（表示前）に行われる。これにより、立体的な仮想現実の表示画質を向上させることが可能になる。
【0198】
なお、本実施形態では、ＰＣ５００が画像ファイルを受け取る場合を例に説明を行ったが、ＰＣ５００が画像を映像信号として受け取るようにして構成してもよい。また、画像は、静止画だけでなく動画であってもよい。
【0199】
［第６の実施形態］
第６の実施形態では、視差を有する２つの円周魚眼画像を含む画像から１つの円周魚眼画像を切り出す（抽出する）構成について説明する。
第６の実施形態では、視差を有する２つの円周魚眼画像を含む画像から１つの円周魚眼画像を切り出す（抽出する）構成について説明する。
【0200】
図１９は、ＰＣ５００上のアプリ画面を示す図である。１９００は、アプリ画面全体を示している。画面上１つの画像ファイルに記録された左右にならんだ２つの円周魚眼が表示されている。１９０１は、ＶＲ１８０レンズの左右の光学系の一方の光学系で撮影された円周魚眼画像である。１９０２は、ＶＲ１８０レンズの左右の光学系の、円周魚眼画像１９０１とは反対側の光学系で撮影された円周魚眼画像である。１９０３は、表示している左側の円周魚眼画像１９０１を保存するためのボタンである。１９０４は、表示している右側の円周魚眼画像１９０２を保存するためのボタンである。１９０５は、円周魚眼画像の画角欠けがあった場合の追加の処理（後述）を行うかどうか選択するチェックボックスである。
【0201】
図２０を参照して、本実施形態で扱う保存前の２つの左右にならんだ円周魚眼画像と、保存後の円周魚眼画像について説明する。２００１は、ファイル読み込み後の２つの左右にならんだ円周魚眼画像である。２００２は、左側の円周魚眼画像を保存することを示した矢印である。２００３は、保存後の円周魚眼画像である。
【0202】
図１７及び図１８を参照して、２つの左右に並んだ円周魚眼画像から、左右のうち任意の円周魚眼画像を選択し、その円周魚眼画像を切り出して保存する処理について説明する。ユーザが外部記憶装置５０４にカメラ１００により画像が記録された記録媒体２２７をセットし、操作部５０５を操作して画像ファイルを選択すると、図１７のフローチャートの処理が開始する。
【0203】
【0204】
Ｓ１７１２で、制御部５０１が、２つの円周魚眼画像を表示する。画像を表示したアプリ画面は、図１９に示すようになる。
【0205】
Ｓ１７１３で、制御部５０１が、左の円周魚眼画像を保存する指示があったかどうかを判断する。保存指示は、ユーザが操作部５０５を操作し、図１９のボタン１９０３を押すことで行われる。左の円周魚眼画像を保存する指示があったと判断した場合、処理ステップはＳ１７１５へ移行する。左の円周魚眼画像を保存する指示がなかったと判断した場合、処理ステップはＳ１７１４へ移行する。
【0206】
Ｓ１７１４で、制御部５０１が、右の円周魚眼画像を保存する指示があったかどうかを判断する。保存指示は、ユーザが操作部５０５を操作し、図１９のボタン１９０４を押すことで行われる。右の円周魚眼画像を保存する指示があったと判断した場合、処理ステップはＳ１７１５へ移行する。右の円周魚眼画像を保存する指示がなかったと判断した場合、処理ステップはＳ１７１３へ移行する。Ｓ１７１３又はＳ１７１４で保存指示があるまでは、制御部５０１は、２つの円周魚眼画像を表示し続ける。
【0207】
Ｓ１７１５で、制御部５０１が、選択した円周魚眼画像を保存する。Ｓ１７１５の処理の詳細は、図１８を参照して後述する。
【0208】
左の円周魚眼画像を保存した場合、図２０の円周魚眼画像２００３が保存結果として得られる。ここでは左の円周魚眼画像を保存する例で説明したが、右の円周魚眼画像についても同様の手順で保存することができる。
【0209】
図１８は、Ｓ１７１５の処理の詳細を示すフローチャートである。
【0210】
Ｓ１８０１で、制御部５０１が、左右の円周魚眼画像に欠落領域が存在するかどうかを判断する。判断方法としては、Ｓ１７０５、Ｓ１７０９、又はＳ１７１１で算出した２つの円周魚眼画像の中心座標と半径から、左の円周魚眼画像の中心から半径分左に伸ばした先が画像の範囲内か画像の範囲外になっているかどうかで判断する方法がある。ここでは左の円周魚眼画像に基づいて判断する構成について説明したが、右の円周魚眼画像に基づいて判断する構成を採用してもよい。また、左右の円周魚眼画像の両方を使って判断する構成を採用してもよい。左右の円周魚眼画像に欠落領域が存在すると判断した場合、処理ステップはＳ１８０２へ移行する。この場合の処理については後述する。左右の円周魚眼画像に欠落領域が存在しないと判断した場合、処理ステップはＳ１８１１へ移行する。
【0211】
Ｓ１８１１で、制御部５０１が、保存対象の円周魚眼画像について、Ｓ１７０５、Ｓ１７０９、又はＳ１７１１で判断した円周魚眼画像の中心座標と半径に基づき、必要な保存範囲を算出する。保存範囲は、保存後の画像について、画像の真ん中に円周魚眼画像の光軸中心がきて、円周魚眼画像の全体がカバーされる範囲で決定する。円周魚眼画像の上下左右のマージン（黒領域）については、全くなくてもよいし、一定のサイズのマージンを設けるように保存してもよい。
【0212】
Ｓ１８１２で、制御部５０１が、Ｓ１８１１で決定した保存範囲の画像を保存する。保存結果として、図２０の円周魚眼画像２００３が得られる。
【0213】
なお、２つの円周魚眼画像の中心座標の判断を画像処理により行う代わりに、ユーザ操作で中心座標を指定する構成を採用してもよい。
【0214】
以上の処理によって、左右の円周魚眼画像に欠落領域が存在しない場合に、１つの円周魚眼画像を切り出すことができる。円周魚眼画像が静止画ではなく動画の場合、制御部５０１は、動画から特定の１フレームを選択し、選択されたフレームから１つの円周魚眼画像を切り出すことができる。
【0215】
処理ステップがＳ１８０１からＳ１８０２へ移行した場合、制御部５０１が、保存対象の円周魚眼画像における欠落領域を特定する。ここでは、左側の円周魚眼画像が保存対象である場合を例に説明を行う。特定方法としては、算出した円周魚眼画像の中心から左側に半径分伸ばしながら、画像内で有効な領域か画像の範囲外となったかを判断する方法がある。左側の方向において画像の範囲内の有効な距離と半径との差分から、欠落領域を特定することができる。例えば、欠落領域として、図２１（ａ）の欠落領域２１０２が特定される。
【0216】
Ｓ１８０３で、制御部５０１が、Ｓ１８０２で特定した領域に対応する、反対側の円周魚眼画像の領域を特定する。例えば、２つの円周魚眼画像を光軸中心で重ね合わせるなどして特定を行うことができる。また、重ね合わせる以外に、円周魚眼画像の光軸中心からの距離を算出することにより特定してもよい。図２１（ａ）の枠２１０３内の画像の有効な場所が、対応する部分として特定される。
【0217】
Ｓ１８０４で、制御部５０１が、魚眼の欠落領域の合成を行う際にオーバーラップを行うかどうかを判断する。この判断は、ユーザが操作部５０５を操作し図１９のチェックボックス１９０５をチェックしているかどうかに基づいて行うことができる。オーバーラップを行うと判断した場合、処理ステップはＳ１８０６へ移行する。この場合の処理については後述する。オーバーラップを行わないと判断した場合、処理ステップはＳ１８０５へ移行する。
【0218】
Ｓ１８０５で、制御部５０１が、欠落領域（図２１（ａ）の欠落領域２１０２）に、反対側の対応する領域（図２１（ａ）の枠２１０３の領域）をコピーする。コピー結果は、図２１（ａ）の枠２１０５で示すようになる。
【0219】
Ｓ１８０９で、制御部５０１が、合成処理後の円周魚眼画像の光軸中心座標と半径に基づき、必要な保存範囲を算出する。保存範囲の算出方法は、Ｓ１８１１と同様である。
【0220】
Ｓ１８１０で、制御部５０１が、Ｓ１８０９で算出した保存範囲の画像を保存する。保存結果として、図２１（ａ）の円周魚眼画像２１０６が得られる。
【0221】
ここで、図２１（ａ）について更に詳細に説明する。２１０１は、保存を行う左側の円周魚眼画像の左側が欠けてしまった画像である。２１０２は、左側を保存する場合に特定した、円周魚眼画像の欠落領域である。２１０３は、欠落領域２１０２に対応する右側画像の部分を示す枠である。２１０４は、合成先を示した矢印である。図２１（ａ）の例では、右側画像の部分を左側画像の欠落領域にコピーすることで合成を行う。２１０５は、右側画像の部分を左側画像の欠落領域にコピーした結果を示す枠である。２１０６は、合成結果を保存することにより得られた、左の円周魚眼画像である。ここでは左の円周魚眼画像を保存する例で説明したが、右の円周魚眼画像についても同様の手順で保存することができる。
【0222】
以上の処理によって、左右の円周魚眼画像に欠落領域が存在する場合に、一方の円周魚眼画像の欠落領域を他方の円周魚眼画像の対応する領域で補うことで、１つの円周魚眼画像を切り出すことができる。
【0223】
処理ステップがＳ１８０４からＳ１８０６へ移行した場合、制御部５０１が、左右画像で重ね合わせを行うオーバーラップ領域を特定する。本実施形態では、円周魚眼画像の半分をオーバーラップ領域として特定するものとする。図２１（ｂ）の例では、枠２１０８に対応する、右の円周魚眼画像の領域がオーバーラップ領域である。
【0224】
Ｓ１８０７で、制御部５０１が、左右画像を重ね合わせる際の合成位置に合わせて、合成率を決定する。決定方法としては、円周魚眼画像の欠落領域から、円周魚眼画像の光軸中心に向けて左画像と右画像の合成比率を変えるように決定する方法がある。変化する合成率の例として、左画像の円周魚眼画像の欠落領域については、右側画像の合成率を１００％とする。そして、円周魚眼画像の中心に向けて右側の画像の使用割合を下げて、円周魚眼画像の中心にたどり着いたときに右側画像の使用率が０％で左側画像が１００％になるように、合成率が決定される。
【0225】
Ｓ１８０８で、制御部５０１が、Ｓ１８０７で得られた合成率に従って、右の円周魚眼画像を左の円周魚眼画像に合成する。合成結果の図は、図２１（ｂ）の枠２１１２に示すようになる。
【0226】
Ｓ１８０８に続くＳ１８０９及びＳ１８１０の処理は、Ｓ１８０５に続くＳ１８０９及びＳ１８１０の処理と同様である。保存結果として、図２１（ｂ）の円周魚眼画像２１１３が得られる。
【0227】
ここで、図２１（ｂ）について更に詳細に説明する。２１０６は、保存を行う左側の円周魚眼画像の左側が欠けてしまった画像である。２１０７は、左側を保存する場合に特定した、円周魚眼画像の欠落領域である。２１０８は、左右画像の視差を考慮して合成結果の違和感を減らすためにオーバーラップを行う領域である。２１０９は、左側の画像へオーバーラップされる右側の画像領域を示す枠である。２１１０は、左側画像のオーバーラップ領域の合成先を示した矢印である。本実施形態では、右側画像の対応する領域との合成処理が行われる。２１１１は、右側画像のオーバーラップ領域の合成先を示した矢印である。本実施形態では、左側の円周魚眼画像の欠落領域には、右側の画像がコピーされる。オーバーラップ領域では、合成位置に応じて、左側の画像と右側の画像との合成比率を調整しながら合成処理が行われる。２１１２は、合成処理の結果の円周魚眼画像である。２１１３は、合成結果を保存することにより得られた、左の円周魚眼画像である。ここでは左の円周魚眼画像を保存する例で説明したが、右の円周魚眼画像についても同様の手順で保存することができる。
【0228】
なお、ここでの合成処理では、合成比率を調整することに合成結果の違和感を減らすことが行われたが、ブラーをかけるなどの別の画像処理と組み合わせて行ってもよい。
【0229】
以上の処理によって、左右の円周魚眼画像に欠落領域が存在する場合に、一方の円周魚眼画像の欠落領域を含むオーバーラップ領域に他方の円周魚眼画像の対応する領域をオーバーラップすることで、１つの円周魚眼画像を切り出すことができる。
【0230】
以上説明したように、第６の実施形態によれば、ＰＣ５００は、視差を有する２つの円周魚眼画像を含む画像から１つの円周魚眼画像を切り出す（抽出する）。抽出対象の円周魚眼画像が欠落領域を伴う場合、ＰＣ５００は、抽出対象の円周魚眼画像の欠落領域に、欠落領域に対応する位置にある他方の円周魚眼画像の領域の画素値を設定する。これにより、欠落領域に設定された画素値を含む円周魚眼画像を抽出することが可能になる。
【0231】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0232】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0233】
５００…ＰＣ、５０１…制御部、５０２…ＲＯＭ、５０３…ＲＡＭ、５０４…外部記憶装置、５０５…操作部、５０６…表示部、５０７…通信部、５０８…システムバス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図16D】
【図17】
【図18】
【図19】
【図20】
【図21】