(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022191143
(43)【公開日】2022-12-27
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20221220BHJP
H04N 5/225 20060101ALI20221220BHJP
H04N 13/239 20180101ALI20221220BHJP
H04N 13/178 20180101ALI20221220BHJP
H04N 13/189 20180101ALI20221220BHJP
G03B 35/00 20210101ALI20221220BHJP
【ＦＩ】
H04N5/232 290
H04N5/225 400
H04N5/232 380
H04N13/239
H04N13/178
H04N13/189
G03B35/00
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022036409
(22)【出願日】2022-03-09
(31)【優先権主張番号】P 2021099615
(32)【優先日】2021-06-15
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】庄司 竜太
【テーマコード（参考）】
2H059
5C061
5C122
【Ｆターム（参考）】
2H059AA09
5C061AB04
5C061AB06
5C061AB08
5C061AB21
5C122FA02
5C122FA04
5C122FB04
5C122FB06
5C122FH04
5C122FH09
5C122FH11
5C122GA34
5C122HB01
(57)【要約】
【課題】撮像装置が２眼レンズユニットを認識できなかった場合であっても、撮像装置が記録した画像の種別を認識し、適切に処理することが可能な画像処理装置を提供すること。
【解決手段】画像処理装置は、画像データが表す画像が、２つの円形領域を含んでいるか否かを判定する。画像が２つの円形領域を含んでいると判定された場合、画像処理装置は、画像データに対して所定の処理を実行する。
【選択図】図８
【解決手段】画像処理装置は、画像データが表す画像が、２つの円形領域を含んでいるか否かを判定する。画像が２つの円形領域を含んでいると判定された場合、画像処理装置は、画像データに対して所定の処理を実行する。
【選択図】図８
【特許請求の範囲】
【請求項1】
画像データを取得する取得手段と、
前記画像データが表す画像が、２つの円形領域を含んでいるか否かを判定する判定手段と、
前記判定手段により、前記画像が２つの円形領域を含んでいると判定された場合、前記画像に対して所定の処理を実行する処理手段と、
を有することを特徴とする画像処理装置。
前記画像データが表す画像が、２つの円形領域を含んでいるか否かを判定する判定手段と、
前記判定手段により、前記画像が２つの円形領域を含んでいると判定された場合、前記画像に対して所定の処理を実行する処理手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記判定手段は、前記画像の右領域および左領域のそれぞれで円形領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記判定手段は、前記画像から検出された２つの円形領域のサイズの差が閾値未満であること、および前記２つの円形領域間の距離が閾値未満であることの少なくとも一方を満たす場合に、前記画像が前記２つの円形領域を含んでいると判定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記所定の処理は、前記画像データが表す画像に含まれる円形領域の位置を入れ替えた画像のデータを生成する処理であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項5】
前記円形領域の位置の入れ替えは、前記２つの円形領域の左右の入れ替えであることを特徴とする請求項４に記載の画像処理装置。
【請求項6】
前記処理手段は、前記生成された画像のデータを、所定の種別であることを示すメタデータと関連付けて保存することを特徴とする請求項４または５に記載の画像処理装置。
【請求項7】
前記処理手段は、前記円形領域の位置を入れ替えた画像に正距円筒変換を適用した画像をさらに生成することを特徴とする請求項４から６のいずれか１項に記載の画像処理装置。
【請求項8】
前記取得手段は、前記画像データを撮像装置からリアルタイムに取得することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項9】
前記取得手段は、前記画像データのメタデータをさらに取得し、
前記メタデータに基づいて前記画像データが所定の種別である場合には、前記判定手段による判定を行わないことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
前記メタデータに基づいて前記画像データが所定の種別である場合には、前記判定手段による判定を行わないことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項10】
前記処理手段は、ユーザの指示に基づいて、前記所定の処理を実行することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項11】
前記画像に含まれる円形領域は、円周魚眼像であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項12】
前記画像処理装置は、前記画像データを撮像処理により生成する撮像装置であることを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項13】
前記画像処理装置は、レンズ交換式の撮像装置であることを特徴とする請求項１２に記載の画像処理装置。
【請求項14】
前記判定手段は、少なくとも部分的な円形領域が２つ含まれていると判定される場合に前記画像が２つの円形領域を含んでいると判定することを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項15】
画像処理装置が実行する画像処理方法であって、
画像データを取得する工程と、
前記画像データが表す画像が、２つの円形領域を含んでいるか否かを判定する工程と、
前記画像が２つの円形領域を含んでいると判定された場合、前記画像に対して所定の処理を実行する工程と、
を有することを特徴とする画像処理方法。
画像データを取得する工程と、
前記画像データが表す画像が、２つの円形領域を含んでいるか否かを判定する工程と、
前記画像が２つの円形領域を含んでいると判定された場合、前記画像に対して所定の処理を実行する工程と、
を有することを特徴とする画像処理方法。
【請求項16】
コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
視差画像対を頭部装着型ディスプレイ（ＨＭＤ）などに表示して立体視を提供することが知られている。また、特許文献１には、１つのレンズマウントと２つの結像光学系を有するレンズ（以下、２眼レンズという）を用いて視差画像対を１台で撮影可能な撮像装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－１４１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
光軸が水平方向に離間した２つの結像光学系（右眼光学系および左眼光学系）を有する２眼レンズを用いて１つの撮像素子に１対の像を形成すると、結像光学系と像の位置関係が左右で入れ替わる。すなわち、右目光学系が形成した像（右像）が左側に、左眼光学系が形成した像（左像）が右側に位置した撮像画像が得られる。
【0005】
右像と左像を正しく用いるには、撮像画像内の右像と左像の関係を正しく把握する必要がある。そのためには、右像と左像の位置関係が逆転した像を形成する２眼レンズユニットが装着されていることを撮像装置が認識できなければならない。
【0006】
例えば、撮像装置は、レンズユニットとの通信を通じて取得したレンズユニットの情報（レンズ情報）に基づいて、装着されたレンズユニットが右像と左像の位置関係が逆転した像を形成する２眼レンズユニットであることを認識できるかもしれない。しかし、撮像装置に装着可能なすべてのレンズユニットからレンズ情報が取得できるとは限らない。また、装着されたレンズユニットが右像と左像の位置関係が逆転した像を形成する２眼レンズユニットか否かを判定可能な情報がレンズ情報に含まれていない可能性もある。
【0007】
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明の目的の１つは、撮像装置が２眼レンズユニットを認識できなかった場合であっても、撮像装置が記録した画像の種別を認識し、適切に処理することが可能な画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【0008】
上述の目的は、画像データを取得する取得手段と、画像データが表す画像が、２つの円形領域を含んでいるか否かを判定する判定手段と、判定手段により、画像が２つの円形領域を含んでいると判定された場合、画像に対して所定の処理を実行する処理手段と、を有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【0009】
撮像装置が２眼レンズユニットを認識できなかった場合であっても、撮像装置が記録した画像の種別を認識し、適切に処理することが可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係る画像処理システムの構成例を示す模式図
【図2】実施形態に係るカメラの外観例を示す斜視図
【図3】実施形態に係るカメラの機能構成例を示すブロック図
【図4】２眼レンズユニットの構成例を示す断面図
【図5】１眼レンズユニットおよび２眼レンズユニットが形成する像の位置関係に関する模式図
【図6】実施形態に係るＰＣの機能構成例を示すブロック図
【図7】実施形態におけるカメラの動作に関するフローチャート
【図8】実施形態におけるＰＣの動作に関するフローチャート
【図9】別の実施形態に係る画像処理システムの構成例を示す模式図
【図10】別の実施形態におけるカメラの動作に関するフローチャート
【図11】別の実施形態におけるＰＣの動作に関するフローチャート
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
なお、以下の実施形態では、本発明をパーソナルコンピュータで実施する場合に関して説明する。しかし、本発明は画像処理が可能な任意の電子機器でも実施可能である。このような電子機器には、デジタルカメラ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡ、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。
【0013】
●（第１実施形態）
図１は、本発明の実施形態に係る画像処理装置の一例としてのパーソナルコンピュータ（ＰＣ）１０２と、ＰＣ５００が処理する画像データを生成するデジタルカメラ１００（以下、カメラ１００という）とを有する画像処理システムの模式図である。
図１は、本発明の実施形態に係る画像処理装置の一例としてのパーソナルコンピュータ（ＰＣ）１０２と、ＰＣ５００が処理する画像データを生成するデジタルカメラ１００（以下、カメラ１００という）とを有する画像処理システムの模式図である。
【0014】
カメラ１００は、２眼レンズユニット３００を用いて、視野が立体視１８０度・ステレオ１８０度の撮像画像（以下、ＶＲ画像という。）のデータを取得することができる。本実施形態ではカメラ１００がレンズ交換式であるものとするが、レンズ交換式でなくてもよい。本実施形態において、２眼レンズユニット３００は、視野が１８０度の円周魚眼像を形成する結像光学系を２つ収容している。視差のある円周魚眼像を用いて、立体感のある仮想現実（ＶＲ）画像を再生することができる。２眼レンズユニット３００の構成の詳細については後述する。
【0015】
ＰＣ５００は、一般的なパーソナルコンピュータであり、アプリケーションソフトウェアを実行することにより、本実施形態の画像処理装置として機能する。ＰＣ５００はカメラ１００が撮像処理を実行することにより取得した撮像画像データを、有線もしくは無線通信１５０を通じてカメラ１００から直接取得することができる（図１（ａ））。また、ＰＣ５００は、カメラ１００が例えば半導体メモリカードであるリムーバブルメディア１６０に記録した撮像画像データを読み込むことによって撮像画像データを取得してもよい（図１（ｂ））。
【0016】
【0017】
カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備あるいは撮影指示を行うための操作部である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替える操作部である。モード切替スイッチ１０３は、各種モードを切り替えるための操作部である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。
【0018】
カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、接眼部１１６、接眼検知部１１８、タッチバー１１９を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部である。
【0019】
方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。方向キー１１０の押下した位置に応じた操作が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部である。拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大または縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大させたり、拡大率を大きくさせたりするときに用いられる。
【0020】
再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２７に記録された画像のうち最新の画像を表示部１０８に表示させることができる。メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示させるときに押下される操作部である。ユーザは、表示部１０８に表示されたメニュー画面を、方向キー１１０とＳＥＴボタン１１１を用いて操作することにより、カメラ１００の各種設定を行うことができる。なお、ボタンを用いる代わりに、あるいはボタンと併用してタッチパネル１０９を用いてメニュー画面を操作可能としてもよい。
【0021】
接眼部１１６は、接眼ファインダ（覗き込み型のファインダ）１１７を覗くための窓である。ユーザは接眼部１１６を介して内部の後述するＥＶＦ（Electronic View Finder）２１７に表示された画像を視認することができる。接眼検知部１１８は、接眼部１１６に物体が近接しているか否かを検知するセンサである。
【0022】
タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。すなわち、タッチバー１１９は接眼部１１６を通じて接眼ファインダ１１７を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内にタッチ位置を移動せずに離す操作）、左右へのスライド操作（タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部であり、表示機能を備えていない。本実施形態のタッチバー１１９は、マルチファンクションバー（Ｍ－Ｆｎバー）として機能する。
【0023】
また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４等を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。
【0024】
サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。端子カバー１２２は、カメラ１００を外部機器に接続する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２７を格納するためのスロットを閉塞することで記録媒体２２７およびスロットを保護する。通信端子１２４は、カメラ１００が着脱可能な後述するレンズユニット２００側と通信を行うための端子である。
【0025】
＜カメラ１００の内部構成＞
図３は、カメラ１００に交換可能なレンズユニット２００が装着されたカメラシステムの内部構成（機能構成）例を示すブロック図である。なお、図３において、図２に示した構成には図２と同一符号を付してある。図２に関して既に説明した構成については説明を適宜、省略する。
図３は、カメラ１００に交換可能なレンズユニット２００が装着されたカメラシステムの内部構成（機能構成）例を示すブロック図である。なお、図３において、図２に示した構成には図２と同一符号を付してある。図２に関して既に説明した構成については説明を適宜、省略する。
【0026】
まず、レンズユニット２００について説明する。
レンズユニット２００は、カメラ１００に着脱可能な交換レンズの一例である。レンズユニット２００は一般的な１眼レンズ（光軸が１つのレンズ）である。レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。
レンズユニット２００は、カメラ１００に着脱可能な交換レンズの一例である。レンズユニット２００は一般的な１眼レンズ（光軸が１つのレンズ）である。レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。
【0027】
絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２に含まれるフォーカスレンズを駆動し、レンズユニット２００が合焦する距離を調節する。
【0028】
レンズシステム制御回路２０５は、例えばＣＰＵ、ＲＯＭ、およびＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭに読み込んでＣＰＵが実行することにより、レンズユニット２００の各部の動作を制御する。レンズユニット２００とカメラ１００とは通信端子２０６および１２４を通じて電気的に接続され、レンズシステム制御回路２０５とカメラ１００が有するシステム制御部５０とは相互に通信可能である。レンズシステム制御回路２０５は、システム制御部５０の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。
【0029】
次に、カメラ１００について説明する。
カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部５０を有する。
カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部５０を有する。
【0030】
シャッター２１０は、システム制御部５０の指示に基づいて動作し、撮像部２１１の露光時間を制御するフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。本実施形態において、撮像部２１１は、撮像面位相差検出方式のオートフォーカス（撮像面位相差ＡＦ）に対応した撮像素子である。具体的には、撮像部２１１は、位相差検出方式のオートフォーカスを実現するための焦点検出用信号対を出力可能である。
【0031】
Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号（画像データ）に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２またはメモリ制御部２１３を通じて入力されるデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、ＡＦやＡＥに用いる評価値などを算出する。得られた演算結果に基づいてシステム制御部５０が露光制御や焦点検出制御を行う。撮像部２１１から得られる焦点検出用信号対に基づくデフォーカス量も、評価値の１つとして画像処理部２１４が算出する。さらに、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて画像データに対するＡＷＢ（オートホワイトバランス）処理を行う。
【0032】
Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、Ａ／Ｄ変換器２１２が出力する画像データや、画像処理部２１４が生成した画像データなどを格納する。画像処理部２１４が生成する画像データには、表示部１０８やＥＶＦ２１７に表示するための表示用画像データおよび、記録媒体２２７に記録するための記録用画像データが含まれる。メモリ２１５は、所定枚数分の静止画像データや、所定時間分の動画像データおよび音声データを格納するのに十分な記憶容量を備えている。また、メモリ２１５の一部領域は表示部１０８用のビデオメモリとして用いられる。
【0033】
Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている画像データを表示部１０８やＥＶＦ２１７で表示するのに適したアナログ信号に変換する。したがって、メモリ２１５に書き込まれた表示用画像データは、Ｄ／Ａ変換器２１６を介して表示部１０８やＥＶＦ２１７に表示される。表示部１０８やＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。表示部１０８やＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。
【0034】
撮像部２１１で動画撮影を行いながら、Ａ／Ｄ変換器２１２を通じてメモリ２１５に格納された画像データをＤ／Ａ変換器２１６でアナログ信号に変換し、表示部１０８やＥＶＦ２１７に逐次転送して表示する。これにより、表示部１０８やＥＶＦ２１７におけるライブビュー表示を行うことができる。
【0035】
システム制御部５０は、少なくとも１つのプロセッサ（ＣＰＵ）および／または少なくとも１つの回路からなる制御部である。すなわち、システム制御部５０は、プロセッサ（ＣＰＵ）であってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。例えばシステム制御部５０がプロセッサ（ＣＰＵ）を有する場合、不揮発性メモリ２１９に記憶されたプログラムをシステムメモリ２１８に読み込んでプロセッサで実行することにより、システム制御部５０は、カメラ１００全体を制御する。また、システム制御部５０は、メモリ２１５、Ｄ／Ａ変換器２１６、表示部１０８、ＥＶＦ２１７等を制御することにより表示制御も行う。
【0036】
また、カメラ１００は、システムメモリ２１８、不揮発性メモリ２１９、システムタイマ２２０、通信部２２１、姿勢検知部２２２、接眼検知部１１８を有する。
システムメモリ２１８は、例えばＲＡＭが用いられる。システムメモリ２１８には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２１９から読み出したプログラム等が展開される。
不揮発性メモリ２１９は、例えば電気的に消去・記録可能なＥＥＰＲＯＭであってよい。不揮発性メモリ２１９には、システム制御部５０の動作用の定数、プログラム等が記録される。
システムメモリ２１８は、例えばＲＡＭが用いられる。システムメモリ２１８には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２１９から読み出したプログラム等が展開される。
不揮発性メモリ２１９は、例えば電気的に消去・記録可能なＥＥＰＲＯＭであってよい。不揮発性メモリ２１９には、システム制御部５０の動作用の定数、プログラム等が記録される。
【0037】
システムタイマ２２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。通信部２２１は、無線または有線ケーブルによって接続された外部機器との間で、画像信号や音声信号の送受信を行う。通信部２２１は無線ＬＡＮ（Local Area Network）に準拠した外部機器や、インターネット上の機器とも通信可能である。また、通信部２２１は、Bluetooth（登録商標）に準拠した外部機器と通信可能である。通信部２２１は撮像部２１１で撮影した画像（ライブ画像を含む）や、記録媒体２２７に記録された画像を送信可能であり、外部機器から画像データやその他の各種情報を受信することができる。
【0038】
姿勢検知部２２２は、重力方向に対するカメラ１００の姿勢を表す信号を出力する。姿勢検知部２２２が出力する信号に基づいて、撮像部２１１で撮影された画像が、カメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部２２２の出力する信号に応じた向き情報を撮像部２１１で撮影された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部２２２は、例えば、加速度センサやジャイロセンサ等を用いることができる。システム制御部５０は、姿勢検知部２２２の出力信号に基づいて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。
【0039】
接眼検知部１１８は、ＥＶＦ２１７を内蔵する接眼ファインダ１１７の接眼部１１６に対する何らかの物体の接近を検知することができる。接眼検知部１１８は、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって接眼部１１６に近接した物体の有無を判別することができる。
【0040】
システム制御部５０は、接眼検知部１１８で検知された近接物体の有無に応じて、表示部１０８とＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、接近物体が検出されていなければ表示部１０８の表示をオンとし、ＥＶＦ２１７の表示はオフとする。また、接近物体が検出されていればＥＶＦ２１７の表示をオンとし、表示部１０８の表示はオフとする。なお、接眼検知部１１８は、赤外線近接センサである場合に限られず、接眼とみなせる状態を検知できるものであれば他のセンサを用いてもよい。
【0041】
カメラ１００はまた、ファインダ外表示部１０７、ファインダ外表示駆動回路２２３、電源制御部２２４、電源部２２５、記録媒体Ｉ／Ｆ２２６、操作部２２８、映像信号出力Ｉ／Ｆ２４０等を有する。
【0042】
ファインダ外表示部１０７は、ファインダ外表示駆動回路２２３を介して、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２４は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２４は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２７を含む各部へ供給する。電源部２２５は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２６は、メモリカードやハードディスク等の記録媒体２２７とのインターフェースである。
【0043】
記録媒体２２７は、撮影された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２７は、着脱可能であってもよく、内蔵されていてもよい。映像信号出力Ｉ／Ｆ２４０は、カメラ１００から画像信号を外部機器に出力するためのインターフェースである。映像信号出力Ｉ／Ｆ２４０は規格に準拠した１つ以上のインターフェースを有する。規格に特に制限はないが、例えばＨＤＭＩ（登録商標）規格に準拠したインターフェースであってよい。カメラ１００は、例えば撮影中の動画データを映像信号出力Ｉ／Ｆ２４０に接続された外部機器（映像信号受信装置２４１）に出力する。図１（ａ）におけるＰＣ５００は映像信号受信装置２４１に相当する。
【0044】
操作部２２８は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の指示を入力するために用いられる。操作部２２８は、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、タッチパネル１０９、他の操作部材２２９等が含まれる。他の操作部材２２９には、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、タッチバー１１９等が含まれる。
【0045】
シャッターボタン１０１は、第１シャッタースイッチ２３０と第２シャッタースイッチ２３１を有する。第１シャッタースイッチ２３０は、シャッターボタン１０１の操作途中、いわゆる半押しでオンとなり、第１シャッタースイッチ信号ＳＷ１を発生させる。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１を撮影準備指示と解釈し、撮影準備処理を開始させる。撮影準備処理には、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、フラッシュプリ発光処理などが含まれる。
【0046】
第２シャッタースイッチ２３１は、シャッターボタン１０１の操作完了、いわゆる全押しでオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２を静止画の撮影指示と解釈し、ＡＥ処理で決定した露出条件に基づく静止画撮影動作を開始する。そして、撮像部２１１からの信号読み出しから、撮影で得られた制止画像データを含む画像ファイルを生成して記録媒体２２７に書き込むまでの一連の撮影処理を実行するように各部を制御する。
【0047】
モード切替スイッチ１０３は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等の何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。あるいは、ユーザは、モード切替スイッチ１０３により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２８を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0048】
タッチパネル１０９は、表示部１０８の表示面（タッチパネル１０９の操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル１０９と表示部１０８とは一体的に構成することができる。例えば、タッチパネル１０９は表示部１０８の表示面の上層に取り付けられる。そして、タッチパネル１０９における入力座標と、表示部１０８の表示面上の表示座標とを対応付けることで、あたかもユーザが表示部１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成できる。ＧＵＩはGraphical User Interfaceの略である。タッチパネル１０９には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等の様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル１０９に対する接触があったことでタッチがあったと検知する方式や、タッチパネル１０９に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、何れの方式であってもよい。
【0049】
システム制御部５０は、タッチパネル１０９に対する以下の操作あるいは状態を検出できる。
・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。
・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。
・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。
・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。
・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。
・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。
・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。
・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。
・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。
・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。
【0050】
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0051】
これらの操作・状態や、タッチパネル１０９上に指やペンがタッチしている位置座標はシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル１０９上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル１０９上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０９上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定される。タッチパネル１０９上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル１０９上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定される（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）という。
【0052】
＜多眼レンズユニットの構成＞
図４は、多眼レンズユニットの一例としての２眼レンズユニット３００の構成例を示す模式図である。２眼レンズユニット３００は、ＶＲ１８０規格に準拠したＶＲ画像を形成するＶＲ１８０レンズユニットである。なお、本明細書において「多眼レンズ」とは、１つのレンズマウント（または鏡筒）内に複数の結像光学系が設けられた構成のレンズユニットであり、光軸を複数有する。図４では、２眼レンズユニット３００をカメラ１００に装着した状態を示している。なお、図４では図３に示したカメラ１００の構成の一部のみを示している。
図４は、多眼レンズユニットの一例としての２眼レンズユニット３００の構成例を示す模式図である。２眼レンズユニット３００は、ＶＲ１８０規格に準拠したＶＲ画像を形成するＶＲ１８０レンズユニットである。なお、本明細書において「多眼レンズ」とは、１つのレンズマウント（または鏡筒）内に複数の結像光学系が設けられた構成のレンズユニットであり、光軸を複数有する。図４では、２眼レンズユニット３００をカメラ１００に装着した状態を示している。なお、図４では図３に示したカメラ１００の構成の一部のみを示している。
【0053】
２眼レンズユニット３００は、カメラ１００に着脱可能な交換レンズの一種である。２眼レンズユニット３００は、１つの鏡筒内に２つの結像光学系３０１Ｌおよび３０１Ｒを有し、したがって、光軸を２つ有する。
【0054】
ここでは、２眼レンズユニット３００をカメラ１００に装着した際、２つの光軸が水平直線上に並ぶように２つの結像光学系３０１Ｌおよび３０１Ｒが配置されているものとする。２つの結像光学系３０１Ｌおよび３０１Ｒは略１８０度の視野角を有し、前方半球の範囲を撮影できる。具体的には、２つの結像光学系３０１Ｌおよび３０１Ｒはそれぞれ、左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野を撮影できる。２つの結像光学系３０１Ｌおよび３０１Ｒは左右に視差を有する１対の視差画像を撮像部２１１の撮像面に結像する。以下の説明では結像光学系３０１Ｌを左眼光学系３０１Ｌ、結像光学系３０１Ｒを右眼光学系３０１Ｒと呼ぶ。
【0055】
右眼光学系３０１Ｒおよび左眼光学系３０１Ｌはそれぞれ、複数のレンズと反射ミラー等を有する。複数のレンズには少なくとも、合焦距離を調整するためのフォーカスレンズが含まれる。２眼レンズユニット３００はまた、レンズシステム制御回路３０３を有する。右眼光学系３０１Ｒは第１の光学系の一例であり、左眼光学系３０１Ｌは第２の光学系の一例である。右眼光学系３０１Ｒおよび左眼光学系３０１Ｌはそれぞれ被写体側に位置する各レンズ３０２Ｒ、３０２Ｌが同じ方向を向いており、各光軸が略平行である。
【0056】
なお、図４には示していないが、２眼レンズユニット３００は、ＡＦ駆動回路２０４と同様の構成を有する。この場合、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのフォーカスレンズを連動して駆動するＡＦ駆動回路と、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの少なくとも一方のフォーカスレンズを独立して駆動するＡＦ駆動回路との１つ以上を有しうる。フォーカスレンズの駆動は、システム制御部５０の制御に基づいてレンズシステム制御回路３０３が実施する。
【0057】
また、２眼レンズユニット３００は、鏡筒に設けられたフォーカスリングの回転量および回転方向を検知するエンコーダをさらに有する。レンズシステム制御回路３０３は、エンコーダが検出したフォーカスレンズ操作に応じてＡＦ駆動回路を制御することにより、いわゆるバイワイヤ方式によるマニュアルフォーカス機能を提供する。この場合、２眼レンズユニット３００は、フォーカスリング操作によって駆動するフォーカスレンズをユーザが切り替え可能なスイッチを有してもよい。
【0058】
２眼レンズユニット３００は、２眼立体視が可能なＶＲ画像のフォーマットであるＶＲ１８０フォーマットの画像をカメラ１００で撮影するためのＶＲ１８０用レンズである。ＶＲ１８０用レンズは、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌがそれぞれ略１８０度の視野角を有する魚眼レンズを有する。なお、右眼光学系３０１Ｒおよび左眼光学系３０１ＬはＶＲ１８０としての２眼ＶＲ表示が可能な画像が取得できればよく、視野角は１６０度程度であってもよい。ＶＲ１８０用レンズは、右眼光学系３０１Ｒにより右像（第一像）を、左眼光学系３０１Ｌにより左像（第二像）を、同一撮像面上に形成することができる。ここではカメラ１００の撮像部２１１が１つの撮像素子を有し、２眼レンズユニット３００が１つの撮像素子の撮像面に右像および左像を形成するものとする。しかしながら、カメラ１００が並列配置された２つの撮像素子を有し、２眼レンズユニット３００が一方の撮像素子の撮像面に右像を、他方の撮像素子の撮像面に左像を形成してもよい。
【0059】
２眼レンズユニット３００は、右眼光学系３０１Ｒのフォーカス調整を行うフォーカスリングと、左眼光学系３０１Ｌのフォーカス調整を行うフォーカスリングとを備える。もしくは、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのフォーカス調整を同時に行うフォーカスリングと、右眼光学系３０１Ｒと左眼光学系３０１Ｌの一方のフォーカス調整を行うフォーカスリングとを備える。これらのフォーカスリングを操作することで、ユーザは右眼光学系３０１Ｒおよび左眼光学系３０１Ｌの合焦距離を手動で調整することができる。これらのフォーカスリングは個別に設けられてもよいし、バイワイヤ方式の場合には１つのフォーカスリングの機能を切り替えることで実現されてもよい。
【0060】
２眼レンズユニット３００は、（１眼）レンズユニット２００と同様、マウント部を介してカメラ１００に装着される。マウント部は、レンズマウント部３０４とカメラマウント部３０５とから構成される。２眼レンズユニット３００がカメラ１００に装着されると、カメラ１００の通信端子１２４と、２眼レンズユニット３００の通信端子３０６とが電気的に接続される。これにより、カメラ１００のシステム制御部５０と２眼レンズユニット３００のレンズシステム制御回路３０３とは互いに通信可能となる。ただし、本実施形態においてカメラ１００は、２眼レンズユニット３００から、２眼レンズユニット３００がＶＲ１８０レンズであることや、円周魚眼像である右像と左像の位置関係が逆転することを判定可能な情報を取得できないものとする。２眼レンズユニット３００がＶＲ１８０レンズであることを判定可能な情報とは、例えば、円周魚眼中心座標や円周魚眼半径などであってよい。
【0061】
本実施形態では、右像と左像とは、左右方向に離間して撮像部２１１の撮像面に形成される。すなわち、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌにより形成される２つの光学像が１つの撮像素子上に形成される。撮像部２１１は、結像された被写体像（光信号）をアナログ電気信号に変換する。このように、２眼レンズユニット３００を装着することにより、右眼光学系３０１Ｒと左眼光学系３０１Ｌが形成する視差画像対（右像および左像）を１回の撮影で取得することができる。また、取得された右像と左像とを右眼用の画像と左眼用の画像としてＶＲ表示することにより、ユーザは略１８０度の範囲の立体的なＶＲ画像、いわゆるＶＲ１８０画像を観察することができる。
【0062】
図５は、（１眼）レンズユニット２００と２眼レンズユニット３００が撮像部２１１に形成する被写体像の模式図である。左側が（１眼）レンズユニット２００、右側が２眼レンズユニット３００について示している。ここでは、中央に被写体（人物の顔）４０１が存在するシーンを撮影するものとする。また、便宜上、各レンズユニットの結像光学系の画角の差については無視している。
【0063】
（１眼）レンズユニット２００が撮像部２１１に形成する被写体像は被写体４０１の倒立正像（上下左右が逆の正像）である。したがって、撮像画像４０２ａを画像中心周りに１８０度回転させると、撮影シーンと被写体４０１の上下左右が正しい画像４０３ａが得られる。
【0064】
一方、２眼レンズユニット３００の場合、左眼光学系３０１Ｌと右眼光学系３０１Ｒとがそれぞれ撮像部２１１に被写体４０１の倒立正像を形成した撮像画像４０２ｂが得られる。撮像画像４０２ｂを画像中心周りに１８０度回転させると、画像４０３ｂが得られる。画像４０３ｂのように、左眼光学系３０１Ｌと右眼光学系３０１Ｒが形成する円周魚眼像を記録する形式をメッシュ形式、２つの像が左右に並べて配置される形式をサイドバイサイド形式と呼ぶこともある。画像４０３ｂでは、被写体４０１の上下左右は撮影シーンと等しくなるが、右眼光学系３０１Ｒが形成した被写体像（右像）が左側に、左眼光学系３０１Ｌが形成した被写体像（左像）が右側に存在し、右像と左像の位置関係が逆転している。したがって、画像４０３ｂにおける右側の被写体像を右像、左側の被写体像を左像として用いると、正しい表示が行えない。
【0065】
撮像画像に右像と左像が含まれ、かつ右像と左像の位置関係が逆転していることをカメラ１００が認識できれば、右像および左像に関する情報を撮像画像のデータに関連付けて記録すれば、撮像画像から右像および左像を正しく利用できる。しかしながら、撮像画像に右像と左像が含まれ、かつ右像と左像の位置関係が逆転していることをカメラ１００が認識できない場合、右像および左像に関する情報を撮像画像のデータに関連付けて記録することはできない。本実施形態は、このような場合でも、撮像画像から右像および左像を正しく利用することを可能にする。詳細については後述する。
【0066】
ここで、ＶＲ画像とは、後述するＶＲ表示することができる画像である。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮影した全方位画像（全天球画像）や、表示部に一度で表示できる表示範囲より広い画像範囲（有効画像範囲）を持つパノラマ画像等が含まれる。また、ＶＲ画像は、静止画および動画のいずれであってもよい。動画は記録済みの動画であってもライブ画像（カメラからほぼリアルタイムで取得した画像）であってもよい。
【0067】
ＶＲ画像は、最大で、左右方向３６０度、上下方向３６０度の視野分の画像範囲（有効画像範囲）を持つ。また、ＶＲ画像には、左右方向３６０度未満、上下方向３６０度未満であっても、通常のカメラで撮影可能な画角よりも広範な画角、あるいは、表示部に一度で表示できる表示範囲より広い画像範囲を持つ画像も含まれる。上述した２眼レンズユニット３００を用いてカメラ１００で撮影される画像は、ＶＲ画像の一種である。ＶＲ画像は、例えば、表示装置（ＶＲ画像を表示できる表示装置）の表示モードを「ＶＲビュー」に設定することでＶＲ表示することができる。３６０度の画角を有するＶＲ画像をＶＲ表示させて、ユーザが表示装置の姿勢を左右方向（水平回転方向）に変化させることで、左右方向に継ぎ目のない全方位の画像を観賞することができる。
【0068】
ここで、ＶＲ表示（ＶＲビュー）とは、ＶＲ画像に撮影されている視野のうち、表示装置の姿勢に応じた所定範囲の視野の画像を表示する表示モードである。ＶＲ表示には、ＶＲ画像を仮想球体にマッピングする変形（歪曲補正が施される変形）を行って１つの画像を表示する「１眼ＶＲ表示（１眼ＶＲビュー）」がある。また、ＶＲ表示には、左眼用のＶＲ画像と右眼用のＶＲ画像とをそれぞれ仮想球体にマッピングする変形を行って左右の領域に並べて表示する「２眼ＶＲ表示（２眼ＶＲビュー）」がある。
【0069】
互いに視差のある左眼用のＶＲ画像と右眼用のＶＲ画像を用いて「２眼ＶＲ表示」を行うことで立体視することが可能である。何れのＶＲ表示であっても、例えば、ユーザがＨＭＤ（ヘッドマウントディスプレイ）等の表示装置を装着した場合、ユーザの顔の向きに応じた視野範囲の画像が表示される。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野範囲の画像を表示しているとする。この状態から表示装置の姿勢を表裏反転させる（例えば、表示面を南向きから北向きに変更する）と、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度を中心とした視野範囲の画像に、表示範囲が変更される。すなわち、ユーザがＨＭＤを装着した状態で、顔を北から南に向く（すなわち後ろを向く）ことで、ＨＭＤに表示される画像も北の画像から南の画像に変更される。
【0070】
なお、本実施形態の２眼レンズユニット３００を用いて撮影したＶＲ画像は、前方略１８０度の範囲を撮影したＶＲ１８０フォーマットの画像であり、後方略１８０度の範囲の画像は存在しない。このようなＶＲ１８０フォーマットの画像をＶＲ表示させて、画像が存在しない側に表示装置の姿勢を変更した場合には例えばブランク領域が表示される。
【0071】
このようにＶＲ画像をＶＲ表示することによって、ユーザは視覚的にあたかもＶＲ画像内（ＶＲ空間内）にいるような感覚になる。なお、ＶＲ画像の表示方法は表示装置の姿勢を変更する方法に限られない。例えば、タッチパネルや方向ボタン等を介したユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。また、ＶＲ表示時（表示モード「ＶＲビュー」時）において、姿勢変化による表示範囲の変更に加え、タッチパネルでのタッチムーブ、マウス等でのドラッグ操作、方向ボタンの押下等に応じて表示範囲を変更してもよい。なお、ＶＲゴーグル（ヘッドマウントアダプタ）にスマートフォンなどの表示装置を装着した構成は、ＨＭＤの一種である。
【0072】
次にＰＣ５００について説明する。図６は、ＰＣ５００の機能構成例を示すブロック図である。ＰＣ５００はパーソナルコンピュータとして市販されている電子機器であってよい。
【0073】
制御部５０１はプログラムを実行可能なプロセッサであり、例えばＣＰＵ(Central Processing Unit)である。ＲＯＭ(Read Only Memory)５０２は例えば電気的に書き換え可能な不揮発性メモリである。ＲＯＭ５０２は、制御部５０１が実行するプログラム、各種の設定値やパラメータを記憶する。ＲＡＭ(Random Access Memory)５０３は、制御部５０１が実行するプログラムをロードしたり、さまざまなデータを一時的に記憶したりするために用いられる。ＲＡＭ５０３に一部は、バッファメモリやビデオメモリとして用いられてもよい。
【0074】
外部記憶装置５０４は、ＰＣ５００が内蔵する大規模記憶装置である。外部記憶装置５０４は、代表的にはハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）である。外部記憶装置５０４はＨＤＤまたはＳＳＤに加え、メモリカードリーダなど、リムーバブルメディアを用いる記憶装置を含んでもよい。外部記憶装置５０４にはＯＳ(Operating System)、アプリケーションプログラム、ユーザデータなどが記憶される。外部記憶装置５０４の一部はメモリスワップ領域として用いられてもよい。カメラ１００から受信したり、メモリカードから読み込んだりすることによって取得した画像データファイルは、外部記憶装置５０４のＨＤＤまたはＳＳＤに格納される。
【0075】
操作部５０５は、キーボード、マウス、タッチパネルなど、ユーザが操作可能な入力デバイスの総称である。表示部５０６は例えば液晶ディスプレイ（ＬＣＤ）であり、タッチパネルを有してもよい。表示部５０６は、ＰＣ５００で稼働するＯＳやアプリケーションがさまざまな情報やデータを表示するために用いられる。
【0076】
通信部５０７は例えば外部機器と無線通信を行うための通信回路を有する。通信部５０７は無線通信規格の１つ以上に準拠している。無線通信規格としては例えばBluetooth（登録商標）や無線ＬＡＮ(IEEE 802.11x）などが代表的であるが、これらに限定されない。
【0077】
外部Ｉ／Ｆ５０８は、例えば外部機器と有線通信を行うための通信回路を有する。外部Ｉ／Ｆ５０８は有線通信規格の１つ以上に準拠している。有線通信規格としては例えばＵＳＢ(Universal Serial Bus)、ＨＤＭＩ、Thunderbolt（登録商標）、イーサネット（登録商標）などが代表的であるが、これらに限定されない。
システムバス５０９は上述した各ブロックを相互に通信可能に接続する。
システムバス５０９は上述した各ブロックを相互に通信可能に接続する。
【0078】
次に、カメラ１００の撮影動作について図７のフローチャートを用いて説明する。撮影動作は、システム制御部５０がプログラムを実行して必要な制御を実行することによって実現される。図７に示す撮影動作は、例えば電源スイッチ１０２を操作することにより、ユーザがカメラ１００の電源をオンにした際に開始される。システム制御部５０は、電源オンに伴う起動処理を実行した後、カメラ１００を撮影スタンバイ状態とする。撮影スタンバイ状態においてカメラ１００は動画撮影を継続して行い、ＥＶＦ２１７または表示部１０８にライブビュー表示を行うものとする。
【0079】
Ｓ６０１でシステム制御部５０は、撮像部２１１から動画像の１フレームに相当する画像信号を読み出し、Ａ／Ｄ変換器２１２に出力する。
Ｓ６０２でシステム制御部５０は、画像処理部２１４にライブビュー表示用の画像データを生成させる。画像処理部２１４は、ライブビュー表示用の画像データをメモリ２１５のビデオメモリ領域に格納する。Ｄ／Ａ変換器２１６はメモリ２１５のビデオメモリ領域に格納された画像データをＤ／Ａ変換し、ＥＶＦ２１７および表示部１０８の少なくとも一方に表示させる。また、画像処理部２１４は画像データに基づいて評価値を生成し、システム制御部５０に出力する。システム制御部５０は、評価値に基づいて露出条件を決定したり、レンズユニットの合焦距離を調整したりすることができる。
Ｓ６０２でシステム制御部５０は、画像処理部２１４にライブビュー表示用の画像データを生成させる。画像処理部２１４は、ライブビュー表示用の画像データをメモリ２１５のビデオメモリ領域に格納する。Ｄ／Ａ変換器２１６はメモリ２１５のビデオメモリ領域に格納された画像データをＤ／Ａ変換し、ＥＶＦ２１７および表示部１０８の少なくとも一方に表示させる。また、画像処理部２１４は画像データに基づいて評価値を生成し、システム制御部５０に出力する。システム制御部５０は、評価値に基づいて露出条件を決定したり、レンズユニットの合焦距離を調整したりすることができる。
【0080】
Ｓ６０３でシステム制御部５０は、ユーザから記録開始指示がなされたか否かを判定する。システム制御部５０は、例えば第２シャッタースイッチ信号ＳＷ２を検出した場合に、記録開始指示がなされたものと判定することができる。システム制御部５０は、記録開始指示がなされたと判定されればＳ６０４を実行し、記録開始指示がなされたと判定されなければ次フレームのライブビュー表示のためにＳ６０１から再度実行する。このように、撮影スタンバイ状態において、システム制御部５０は、記録開始指示がなされたと判定されるまで、ライブビュー表示動作を継続して実行する。なお、記録開始指示は、動画ボタン１０６の操作による動画記録の開始指示であってもよい。また、記録開始指示以外の指示を検出した場合、システム制御部５０は指示に応じた動作を実行するが、その詳細については説明を省略する。
【0081】
Ｓ６０４でシステム制御部５０は、撮像部２１１から画像信号を読み出し、Ａ／Ｄ変換器２１２に出力する。システム制御部５０は、例えばライブビュー表示時よりも高解像度の画像信号を読み出す。システム制御部５０は、画像処理部２１４に記録用の画像データを生成させる。画像処理部２１４は、記録用の画像データをメモリ２１５に格納する。
【0082】
Ｓ６０５でシステム制御部５０は、撮像画像データのメタデータとして記録する情報を取得する。システム制御部５０は例えば撮影条件（撮影時のカメラ１００およびレンズユニットの設定、状態に関する情報）や、現像処理に用いるパラメータなどを取得することができる。これらは例示であり、他の情報を取得してもよい。撮影条件には例えばシャッタースピード、絞り値、ＩＳＯ感度などの露出条件、フレームレート、解像度、データの圧縮形式、色空間、ガンマ値、カメラ１００の姿勢、フラッシュ点灯有無などが含まれうる。動画データの場合には、動画ファイル中のフレーム開始位置を示す情報もメタデータに含まれる。また、レンズユニットからレンズ情報が取得できる場合、レンズ情報もメタデータに含めることができる。なお、ここで例示していない情報をメタデータとして記録してもよい。
【0083】
Ｓ６０６でシステム制御部５０は、Ｓ６０４で画像処理部２１４が生成した記録用の画像データを格納したデータファイルを例えば記録媒体２２７に記録する。
Ｓ６０７でシステム制御部５０は、Ｓ６０５で取得した情報を、画像データのメタデータとして、Ｓ６０６で記録したデータファイルに関連付けて記録する。本実施形態では、Ｓ６０６で記録したデータファイルにメタデータを記録する。
Ｓ６０７でシステム制御部５０は、Ｓ６０５で取得した情報を、画像データのメタデータとして、Ｓ６０６で記録したデータファイルに関連付けて記録する。本実施形態では、Ｓ６０６で記録したデータファイルにメタデータを記録する。
【0084】
Ｓ６０８でシステム制御部５０は、ユーザから記録終了指示がなされたか否かを判定する。システム制御部５０は、例えば第２シャッタースイッチ信号ＳＷ２が検出されなければ、記録終了指示がなされたものと判定することができる。動画撮影の場合、システム制御部５０は、例えば動画ボタン１０６の操作を検出すると、記録終了指示がなされたものと判定することができる。システム制御部５０は、記録終了指示がなされたと判定されれば撮影動作を終了する。なお、システム制御部５０は、撮影スタンバイ状態に戻るためにＳ６０１を実行してもよい。記録終了指示がなされたと判定されなければシステム制御部５０はＳ６０４に戻って動画の次フレームまたは静止画の撮影を実行する。
【0085】
カメラ１００に２眼レンズユニット３００が装着されている場合、２つの円周魚眼像が左右に配置され（メッシュ、サイドバイサイド形式）、円周魚眼像の左右の位置関係が逆転しているＶＲ１８０画像（静止画または動画）が記録される。なお、静止画および動画のデータ形式に特に制限はなく、ＲＡＷ形式であっても、現像処理後の形式（ＪＰＥＧ形式やＭＰＥＧ形式など）であってもよい。なお、撮像画像は、記録媒体２２７へ記録する代わりに、あるいは記録媒体２２７への記録に加えて、映像信号出力Ｉ／Ｆ２４０を通じてＰＣ５００に送信されてもよい。ＰＣ５００は、通信部５０７または外部Ｉ／Ｆ５０８を通じて受信した画像データファイルを外部記憶装置５０４に格納する。
【0086】
次に、ＰＣ５００の画像データ表示動作について、図８のフローチャートを用いて説明する。以下の動作は、ＰＣ５００において、制御部５０１が、外部記憶装置５０４に格納されている画像処理アプリケーションを実行することによって実現される。
【0087】
ここでは、画像処理アプリケーションが表示部５０６に提示するＧＵＩをユーザが操作部５０５を通じて操作することにより、処理対象の画像データファイルを選択し、処理の実行を指示したことを制御部５０１が検出したことに応じて動作を開始するものとする。なお、処理対象の画像データファイルは、例えば外部記憶装置５０４（ＨＤＤ，ＳＳＤ，またはメモリカード）に格納されている画像データファイルから選択されるものとする。
【0088】
Ｓ７０１で制御部５０１は、選択された画像データファイルから、ファイル内の画像データに関するメタデータを取得する。
【0089】
Ｓ７０２で制御部５０１は、必要に応じてＳ７０１で取得したメタデータを用い、画像データファイルから、処理を行う画像データをＲＡＭ５０３に読み込む。
【0090】
Ｓ７０３で制御部５０１（画像処理手段）は、Ｓ７０２で読み込んだ画像データの種別を判定する。具体的には、制御部５０１は、画像データが２つの円周魚眼像を含んだ画像のデータであるか否かを判定する。この判定は、画像データがメッシュ形式のＶＲ画像データであるか否かの判定に相当する。円周魚眼像を含んだ画像の場合、円周魚眼像以外の周辺領域は黒画素である。そのため、制御部５０１は例えば画像データの各画素の輝度値に、黒画素の輝度値に近い閾値を適用して二値化画像データを生成する。そして、制御部５０１（判定手段）は、二値化画像データが表す画像が、白の円形領域を２つ含んでいると判定されれば、Ｓ７０２で読み込んだ画像データの種別を、２つの円周魚眼像を含んだ画像のデータであると判定する。
【0091】
白領域が円形か否かは公知の任意の方法で判定することができる。例えば、白領域の外周の上の２点と交わる任意の直線を複数本引き、各直線の中点を通る垂線が１点で交わる場合には円形と判定することができる。ただし、実際には誤差が出ることを考慮し、複数の垂線の交点が一定の距離内に存在すれば円形領域と判定してもよい。
【0092】
また、２つの円形領域が検出された場合、制御部５０１は、円形領域のサイズが同等であるか否か、円形領域間の距離が閾値未満であるか否かをさらに判定してもよい。そして、制御部５０１は、２つの円形領域のサイズが同等であること、および円形領域間の距離が閾値未満であることの少なくとも一方を満たす場合に、画像データが、２つの円周魚眼像を含んだＶＲ画像データであると判定する。
【0093】
２つの円形領域のサイズが同等であること、円形領域間の距離が閾値未満であることは、それぞれ、画像データが２つの円周魚眼像を含んだＶＲ画像データである可能性を高める条件である。円形領域のサイズは例えば領域内の画素数、または領域の外周上の２点を結ぶ直線の最大長であってよい。画素数もしくは最大長の差が閾値未満であれば、２つの円形領域のサイズは同等と判定することができる。また、円形領域間の距離は、２つの円形領域の外周間の最短距離であってよい。
【0094】
別の方法を用いて、画像データが、２つの円周魚眼像を含んだＶＲ画像データであると判定してもよい。例えば、制御部５０１は、画像を左領域と右領域に２分割するように画像データを分割する。そして、制御部５０１は、各領域について、閾値以上の画素で形成される部分領域を検出する。制御部５０１は、部分領域が円形領域であるか否かを上述した方法で判定する。右領域および左領域のそれぞれで円形領域が検出されれば、制御部５０１は、画像データが、２つの円周魚眼像を含んだＶＲ画像データであると判定することができる。この場合も、２つの円形領域のサイズが同等であること、および円形領域間の距離が閾値未満であることの少なくとも一方を満たす場合に、画像データが、２つの円周魚眼像を含んだＶＲ画像データであると判定するようにしてもよい。
【0095】
制御部５０１は、処理対象の画像データが２つの円周魚眼像を含んだ画像のデータであると判定されればＳ７０４を、判定されなければＳ７０７を実行する。
【0096】
なお、撮像部２１１の有効画素領域のサイズが小さい場合、図１２（ｂ）に示すように、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌが形成する被写体像（円周魚眼像）１２２１の一部が欠けた画像１２２０が記録されうる。円周魚眼像の端部が欠けていても、中心部分を用いることでＶＲ画像を表示再生できる。ただし、円周魚眼像に欠けがない場合よりもＶＲ画像の視野角は狭くなる。
【0097】
白領域１２２１が画像１２２０の端部に達している場合、白領域１２２１の外周のうち、画像１２２０の端部１２２２を形成しない部分を用い、上述した方法で白領域１２２１が円形領域の一部であるか否かを判定することができる。すなわち、白領域１２２１の外周のうち、画像１２２０の端部１２２２を形成しない部分に含まれる２点と交わる任意の直線を複数本引き、各直線の中点を通る垂線が１点で交わる場合には白領域１２２１が円形領域の一部であると判定することができる。白領域１２２１が円形領域の一部であると判定されれば、画像１２２０は円周魚眼像の一部を含んでいると判定することができる。
【0098】
例えば、制御部５０１はＳ７０３において、画像が２つの円周魚眼像を含んでいると判定されない場合、一部が欠けた円周魚眼像を２つ含んでいるか否かをさらに判定することができる。そして、制御部５０１は、画像が一部が欠けた円周魚眼像を２つ含んでいると判定された場合、画像が２つの円周魚眼像を含んでいるとみなして、Ｓ７０４以降の処理を実行してもよい。この場合、Ｓ７０３は画像データが少なくとも部分的な円周魚眼像を２つ含んでいるか否かの判定、Ｓ７０４～Ｓ７０６は少なくとも部分的な円周魚眼像を対象とした処理と見なすことができる。
【0099】
Ｓ７０４で制御部５０１は、画像に含まれる２つの円周魚眼像の中心座標と半径を決定する。円の弦の垂直２等分線は円の中心を通るため、円形と判定された白領域の円周の上の２点と交わる任意の直線を２本引き、各直線の垂線２等分線の交点を白領域の中心座標とすることができる。
【0100】
図１２（ａ）を用いて、具体例を説明する。例えばＳ７０３で画像１２００のデータから検出された２つの円形領域１２０１のそれぞれについて、任意の縦位置（Ｙ座標）で水平方向に画素値を調べ、黒から白に変化した画素のＸ座標Ｘ１と、白から黒に変換した画素のＸ座標Ｘ２を求める。また、任意の横位置（Ｘ座標）で垂直方向に画素値を調べ、黒から白に変化した画素のＹ座標Ｙ１と、白から黒に変換した画素のＹ座標Ｙ２を求める。このとき、円形領域１２０１の中心座標１２０２（Ｘ０，Ｙ０）は、Ｘ座標（Ｘ０）が（Ｘ１＋Ｘ２）／２、Ｙ座標（Ｙ０）が（Ｙ１＋Ｙ２）／２である。また、中心座標から水平方向に画素値を調べ、白から黒に変化した画素のＸ座標をＸ３とすると、円の半径は、Ｘ３－（（Ｘ１＋Ｘ２）／２）で求められる。中心座標は例えば画像内の一点（例えば画像中心）を原点とする画像座標として算出する。なお、図１２（ｂ）に示したような、一部が欠けた円形領域１２２１についても、画像の端部を形成する部分１２２２を除く円周上の部分を用いて同様に中心座標および半径を求めることができる。
【0101】
なお、ここで説明した方法は一例であり、他の画像処理によって円周魚眼像の中心座標と半径を算出してもよい。また、誤差を考慮し、１つの円形領域について、２直線の異なる複数の組み合わせのそれぞれから得られる中心座標の平均座標を最終的な中心座標としてもよい。同様に、半径についても中心座標から複数の方向について算出した結果を平均して求めてもよい。
【0102】
Ｓ７０５で制御部５０１（生成手段）は、Ｓ７０４で求めた２つの円形領域の中心座標と半径を用いて、画像データから右像および左像に相当する２つの円形領域の画像を抽出する。制御部５０１は、円形領域が欠けないよう、周囲の黒領域を含むように抽出してもよい。そして、制御部５０１は、右像および左像の配置を左右入れ替えた画像データを生成する。なお、制御部５０１は、配置を入れ替えた後も、Ｓ７０４で求めた左右の円形領域の中心座標が保持されるように抽出した円形領域の画像を配置する。例えば、画像の左側から抽出した円形領域（右像）は、その中心座標が画像の右側の円形領域（左像）について算出された中心座標と一致するように配置する。画像の左側から抽出した円形領域についても同様である。
【0103】
あるいは、配置を入れ替えた後の画像における右眼座標および左眼座標が既知の場合、右眼座標を基準として右像の配置位置を決定し、左眼座標を基準として左像の配置位置を決定してもよい。
【0104】
Ｓ７０６で制御部５０１は、Ｓ７０５で生成した、円周魚眼像の配置を入れ替えたＶＲ１８０画像データを、表示部５０６に表示したり、通信部５０７または外部Ｉ／Ｆ５０８を通じて接続されたＶＲゴーグルなどの立体表示装置に出力したりする。なお、ＶＲ１８０画像データを表示する場合など、制御部５０１は必要に応じて円周魚眼像に正距円筒変換を適用してメッシュ形式からエクイレクタングラー形式への変換などを行ってもよい。
【0105】
Ｓ７０７で制御部５０１は、Ｓ７０２で取得した画像データをそのまま表示部５０６に表示する。
【0106】
図８では、Ｓ７０６およびＳ７０７が終了すると、表示動作を終了するように記載しているが、Ｓ７０１に処理を戻して、別の画像データについての処理が指示されるのを待機してもよい。また、処理対象の画像データがＶＲ１８０動画データの場合には、各フレームについてＳ７０４～Ｓ７０６の処理を繰り返し実施する。動画データについては、先頭フレームに対するＳ７０３、Ｓ７０４の処理結果を２フレーム以降に流用できるため、２フレーム以降についてはＳ７０４を省略できる。
【0107】
なお、Ｓ７０４～Ｓ７０６の任意のタイミングで、右像と左像の配置を入れ替えるか否かをユーザに指定させるようにしてもよい。配置を入れ替えないように指定された場合、制御部５０１はＳ７０２で取得した画像データをそのまま表示する。なお、Ｓ７０３で画像が２つの円周魚眼像を含まないと判定された場合、一部が欠けた円周魚眼像を２つ含んでいるか否かを判定してもよい。そして、画像が一部が欠けた円周魚眼像を２つ含んでいると判定された場合は、一部が欠けた円周魚眼像に対してＳ７０４以降の処理を適用してもよい。
【0108】
また、処理対象の画像データがＶＲ１８０画像データか否かの情報がメタデータに含まれていない場合でも、一般的な撮影情報として、レンズユニットの機種名がメタデータに含まれる場合がある。この場合、Ｓ７０１においてレンズユニットの機種名を読み込み、予め登録されているＶＲ１８０レンズの機種名リストを参照することにより、画像データの種別の判定、すなわち、ＶＲ１８０レンズを用いて撮影された画像データか否かの判定が可能である。この場合、Ｓ７０３の判定は画像処理を行わず実施できる。制御部５０１は、ＶＲ１８０レンズを用いて撮影された画像データであればＳ７０４を、他のレンズを用いて撮影された画像データであればＳ７０７を実行すればよい。
【0109】
また、制御部５０１は、右像および左像の配置を入れ替えた画像データおよび、右像および左像の配置を入れ替え、さらに右像および左像に正距円筒変換を適用した画像データの少なくとも一方を別画像ファイルとして外部記憶装置５０４に保存してもよい。これらの画像データは、ＶＲゴーグルなどの一般的なＶＲ１８０対応機器でそのまま取り扱うことができる。
【0110】
これらの画像データを別途保存する場合、画像データファイルに記録するメタデータとして、画像データがＶＲ１８０画像データであること、右像と左像の配置が入れ替え済であること、正距円筒変換済みであることの１つ以上を示す情報を記録することができる。これにより、画像データを用いるＶＲシステムにおける処理を簡略化できる。
【0111】
本実施形態では、カメラ１００が２眼レンズユニット３００から、２眼レンズユニット３００がＶＲ１８０レンズであることを示す情報を取得できないことを前提とした。カメラ１００が２眼レンズユニット３００から取得可能な情報に基づいて２眼レンズユニット３００がＶＲ１８０レンズであると判定できる場合、ＶＲ１８０画像データであることを示す情報をメタデータとして画像データファイルに記録することができる。これにより、ＰＣ５００はＳ７０３の判定を画像処理を行わず実施できる。制御部５０１は、ＶＲ１８０レンズを用いて撮影された画像データであればＳ７０４を、他のレンズを用いて撮影された画像データであればＳ７０７を実行すればよい。
【0112】
さらに、２眼レンズユニット３００が形成する円周魚眼像（右像および左像）の中心座標や半径を２眼レンズユニット３００から取得できる場合、これらの情報もメタデータとして画像データファイルに記録することができる。制御部５０１は、Ｓ７０１で取得したメタデータに円周魚眼像（右像および左像）の中心座標や半径の情報が含まれている場合、Ｓ７０３，Ｓ７０４の処理をスキップすることができる。そのため、制御部５０１は、Ｓ７０３を実行する前のタイミングで、Ｓ７０１で取得したメタデータに円周魚眼像（右像および左像）の中心座標や半径の情報が含まれているか否かを判定してもよい。そして、制御部５０１は、円周魚眼像（右像および左像）の中心座標や半径の情報が含まれていないと判定される場合にＳ７０３を実行し、含まれていると判定されればＳ７０５を実行する。
【0113】
以上説明したように、本実施形態によれば、画像データが２つの円周魚眼像を含んだ画像のデータであると判定される場合に、画像データの種別をＶＲ１８０画像データであると判定するようにした。そのため、画像データのメタデータからはＶＲ１８０画像データであるか否か判定できない場合であっても、画像の種別を正しく認識し、ＶＲ１８０画像データを適切に処理することが可能になる。したがって、カメラが装着されたレンズユニットがＶＲ１８０レンズであることを認識できない場合であっても、カメラが記録した画像データの種別を正しく認識し、適切に取り扱うことができる。
【0114】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。第２実施形態は、２眼レンズユニット３００を装着したカメラ１００からＰＣ５００に、撮像素子から読み出した画像信号を映像信号としてリアルタイムに送信する形態に関する。以下の説明において、第１実施形態と共通する構成については第１実施形態と同じ参照符号を用いることにより、説明を省略する。
次に、本発明の第２実施形態について説明する。第２実施形態は、２眼レンズユニット３００を装着したカメラ１００からＰＣ５００に、撮像素子から読み出した画像信号を映像信号としてリアルタイムに送信する形態に関する。以下の説明において、第１実施形態と共通する構成については第１実施形態と同じ参照符号を用いることにより、説明を省略する。
【0115】
図９は、第２実施形態に係る画像処理システムの模式図である。本実施形態の画像処理システムは、カメラ１００とＰＣ５００とがケーブル１９０で接続され、カメラ１００の撮像部２１１（撮像素子）から読みされた画像信号がリアルタイムでＰＣ５００に送信される構成を有する。ケーブル１９０は例えばカメラ１００の映像信号出力Ｉ／Ｆ２４０とＰＣ５００の外部Ｉ／Ｆ５０８とを接続する。ここでは一例として画像信号をＨＤＭＩ規格に準拠した伝送方法でカメラ１００からＰＣ５００に送信するものとする。したがって、映像信号出力Ｉ／Ｆ２４０および外部Ｉ／Ｆ５０８はＨＤＭＩ規格に準拠したインタフェースであり、ケーブル１９０はＨＤＭＩケーブルである。しかし、ＤＶＩ(Diginal Visual Interface)、ＳＤＩ、ＵＳＢ Ｖｉｄｅｏ Ｃｌａｓｓなどの他の規格に従って映像信号を送信してもよい。
【0116】
ＰＣ５００は外部Ｉ／Ｆ５０８を介して受信した映像信号を表示部５０６にリアルタイム表示することができる。また、ＰＣ５００は、受信した映像信号をストリーミング可能な形式に変換し、ＰＣ５００に接続されたＨＭＤ１９１に送信したり、クラウドサービス１９２を介して複数のユーザ１９３に対して配信したりすることができる。
【0117】
次に、本実施形態におけるカメラ１００の映像出力動作について図１０のフローチャートを用いて説明する。図１０において、第１実施形態で説明した撮影処理と同様の処理を行う工程については図７と同じ参照符号を付して説明を省略する。映像出力動作は、システム制御部５０がプログラムを実行して必要な制御を実行することによって実現される。図１０に示す撮影動作は、例えば電源スイッチ１０２を操作することにより、ユーザがカメラ１００の電源をオンにした際に開始される。システム制御部５０は、電源オンに伴う起動処理を実行した後、カメラ１００を撮影スタンバイ状態とする。
【0118】
撮影スタンバイ状態においてカメラ１００は動画撮影を継続して行い、ＥＶＦ２１７または表示部１０８にライブビュー表示を行うものとする（Ｓ６０１～Ｓ６０２）。
Ｓ９０３でシステム制御部５０は、映像信号出力Ｉ／Ｆ２４０にケーブル１９０が接続されたか否かを、信号線の電圧に基づいて判定する。システム制御部５０は、ケーブル１９０が接続されたと判定された場合はＳ６０４を、判定されない場合はＳ６０１を実行する。
Ｓ９０３でシステム制御部５０は、映像信号出力Ｉ／Ｆ２４０にケーブル１９０が接続されたか否かを、信号線の電圧に基づいて判定する。システム制御部５０は、ケーブル１９０が接続されたと判定された場合はＳ６０４を、判定されない場合はＳ６０１を実行する。
【0119】
Ｓ６０４でシステム制御部５０は、１フレーム分の画像信号を読み出し、画像処理部２１４に表示用画像データを生成させる。また、Ｓ６０５でシステム制御部５０は、メタデータとしてＰＣ５００に送信する情報を取得する。本実施形態でもシステム制御部５０は２眼レンズユニット３００がＶＲ１８０レンズであることを判定可能な情報を２眼レンズユニット３００から取得できないものとする。
【0120】
Ｓ９０６でシステム制御部５０は、カメラ１００におけるライブビュー表示のための動作と並行して、例えばメモリ２１５の一部領域として用意したＨＤＭＩ信号出力用のバッファに画像データとメタデータを所定の形式で格納する。
【0121】
Ｓ９０７でシステム制御部５０は、バッファに格納された画像データとメタデータとを、映像信号出力Ｉ／Ｆ２４０を通じてＨＤＭＩ信号として出力する。データをＨＤＭＩ信号（ＴＭＤＳシーケンス）に変換するためのエンコード処理などの詳細については説明を省略する。
【0122】
Ｓ９０８でシステム制御部５０は、映像信号出力Ｉ／Ｆ２４０からケーブル１９０が抜かれたか否か、信号線の電圧に基づいて判定する。ケーブル１９０が抜かれたと判定された場合は映像出力動作を終了する。システム制御部５０は、ケーブル１９０が抜かれたと判定されない場合はＳ６０４からの処理を繰り返す。これにより、ライブビュー画像がＰＣ５００の表示部５０６に継続して表示される。
【0123】
本実施形態では、カメラ１００にはＶＲ１８０レンズである２眼レンズユニット３００が装着されている。そのため、ＰＣ５００には、２つの円周魚眼像を含んだＶＲ１８０画像であって、右像と左像との位置が逆転した画像（図５の撮像画像４０２ｂに相当）の映像信号がＰＣ５００に出力される。なお、ＰＣ５００に出力される画像データの信号形式は、ＲＧＢ形式、ＹＣｂＣｒ形式、ＲＡＷ形式のいずれでもよい。ＲＡＷ形式の場合にはＳ９０６で表示用画像データではなくＲＡＷデータをバッファに格納する。なお、画像処理部２１４が生成する表示用画像データはカメラ１００の表示デバイスの解像度に合わせた解像度を有する。ＰＣ５００に送信するための画像データは、ＰＣ５００の表示解像度を考慮した解像度としてもよい。
【0124】
次に、ＰＣ５００の映像表示動作について、図１１のフローチャートを用いて説明する。以下の動作は、ＰＣ５００において、制御部５０１が、外部記憶装置５０４に格納されている画像処理アプリケーションを実行することによって実現される。図１１において、第１実施形態で説明した画像データ表示動作と同様の処理を行う工程については図８と同じ参照符号を付して説明を省略する。ここでは、外部Ｉ／Ｆ５０８とカメラ１００の映像信号出力Ｉ／Ｆ２４０とがケーブル１９０で接続され、ＰＣ５００がカメラ１００から映像信号を受信可能な状態であるものとする。
【0125】
Ｓ１００１で制御部５０１は、外部Ｉ／Ｆ５０８を通じて映像信号を受信したか否かを判定する。制御部５０１は、映像信号を受信したと判定された場合はＳ１００２を実行し、判定されない場合はＳ１００１を実行する。
【0126】
Ｓ１００２で制御部５０１は、外部Ｉ／Ｆ５０８を通じた映像信号の受信が停止したか否かを判定する。制御部５０１は、映像信号の受信が停止した判定された場合は映像表示動作を終了し、判定されない場合はＳ１００３を実行する。
【0127】
Ｓ１００３で制御部５０１は、受信した映像信号をデコードしてメタデータを取得する。
Ｓ１００４で制御部５０１は、受信した映像信号をデコードして画像データを取得する。
以降、制御部５０１は、第１実施形態で説明したＳ７０３以降の処理を実行する。
Ｓ１００４で制御部５０１は、受信した映像信号をデコードして画像データを取得する。
以降、制御部５０１は、第１実施形態で説明したＳ７０３以降の処理を実行する。
【0128】
なお、Ｓ７０４～Ｓ７０６の任意のタイミングで、右像と左像の配置を入れ替えるか否かをユーザに指定させるようにしてもよい。配置を入れ替えないように指定された場合、制御部５０１はＳ１００４で取得した画像データをそのまま表示する。
【0129】
また、Ｓ７０６において、右像および左像の配置を入れ替えた画像データの右像および左像に正距円筒変換を適用してメッシュ形式からエクイレクタングラー形式へ変換してから表示を行ってもよい。メッシュ形式とエクイレクタングラー形式のいずれを表示するかは、ユーザが指定できるようにしてもよい。
【0130】
また、処理対象の画像データがＶＲ１８０画像データか否かの情報がメタデータに含まれていない場合でも、一般的な撮影情報として、レンズユニットの機種名がメタデータに含まれる場合がある。この場合、Ｓ１００３においてレンズユニットの機種名を読み込み、予め登録されているＶＲ１８０レンズの機種名リストを参照することにより、処理対象の画像データの種別判定（ＶＲ１８０レンズを用いて撮影された画像データか否かの判定）が可能である。この場合、Ｓ７０３の判定は画像処理を行わず実施できる。制御部５０１は、ＶＲ１８０レンズを用いて撮影された画像データであればＳ７０４を、他のレンズを用いて撮影された画像データであればＳ７０７を実行すればよい。
【0131】
また、本実施形態でＰＣ５００が受信する映像信号は動画データに相当するため、先頭フレームに対するＳ７０３、Ｓ７０４の処理結果を２フレーム以降に流用できる。したがって、２フレーム以降についてはＳ７０４を省略できる。
【0132】
また、右像および左像の配置を入れ替えた画像データの右像および左像に正距円筒変換を適用してメッシュ形式からエクイレクタングラー形式へ変換した画像データをストリーミング可能な形式に変換し、外部に供給してもよい。例えば、制御部５０１は、ストリーミング可能な形式の画像データをＰＣ５００に接続されたＨＭＤに送信したり、通信部５０７または外部Ｉ／Ｆ５０８を介して配信サーバに送信することができる。これにより、カメラ１００のライブビュー画像を外部装置に供給したり、遠隔地のユーザに配信したりすることができる。
【0133】
また、ＰＣ５００が受信した映像信号をそのままストリーミング可能な形式に変換し、Ｓ７０３～Ｓ７０６に対応する処理を、外部装置（配信サーバやＨＭＤなど）で実施してもよい。
【0134】
本実施形態では、カメラ１００が２眼レンズユニット３００から、２眼レンズユニット３００がＶＲ１８０レンズであることを示す情報を取得できないことを前提とした。しかしながら、カメラ１００が２眼レンズユニット３００から取得可能な情報に基づいて２眼レンズユニット３００がＶＲ１８０レンズであると判定できる場合、ＶＲ１８０画像データであることを示す情報をメタデータとして映像信号に含めることができる。これにより、ＰＣ５００はＳ７０３の判定を画像処理を行わず実施できる。制御部５０１は、ＶＲ１８０レンズを用いて撮影された画像データであればＳ７０４を、他のレンズを用いて撮影された画像データであればＳ７０７を実行すればよい。
【0135】
さらに、２眼レンズユニット３００が形成する円周魚眼像（右像および左像）の中心座標や半径を２眼レンズユニット３００から取得できる場合、これらの情報もメタデータとして画像データファイルに記録することができる。制御部５０１は、Ｓ１００３で取得したメタデータに円周魚眼像（右像および左像）の中心座標や半径の情報が含まれている場合、Ｓ７０３，Ｓ７０４の処理をスキップすることができる。そのため、制御部５０１は、Ｓ７０３を実行する前のタイミングで、Ｓ１００３で取得したメタデータに円周魚眼像（右像および左像）の中心座標や半径の情報が含まれているか否かを判定してもよい。そして、制御部５０１は、円周魚眼像（右像および左像）の中心座標や半径の情報が含まれていないと判定される場合にＳ７０３を実行し、含まれていると判定されればＳ７０５を実行する。
【0136】
以上説明したように、本実施形態によれば、カメラからリアルタイムで送信される映像信号で伝送される画像データが２つの円形領域を含んだ画像のデータであると判定される場合に、画像データの種別をＶＲ１８０画像データであると判定するようにした。そのため、画像データのメタデータからはＶＲ１８０画像データであるか否か判定できない場合であっても、ＶＲ１８０画像データを適切に処理することが可能になる。したがって、カメラが装着されたレンズユニットがＶＲ１８０レンズであることを認識できない場合であっても、カメラから受信した画像の種別を正しく認識し、適切に取り扱うことができる。
【0137】
（その他の実施形態）
第１実施形態において図８のフローチャートを用いて説明した動作は、ＰＣ５００で実行することが必須ではなく、カメラ１００が実行してもよい。すなわち、第１実施形態に係る画像処理装置はカメラ１００であってもよい。
第１実施形態において図８のフローチャートを用いて説明した動作は、ＰＣ５００で実行することが必須ではなく、カメラ１００が実行してもよい。すなわち、第１実施形態に係る画像処理装置はカメラ１００であってもよい。
【0138】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0139】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0140】
１００…カメラ、１０２…ＰＣ、５０１…制御部、５０２…ＲＯＭ、５０３…ＲＡＭ、５０４…外部記憶装置、５０５…操作部、５０６…表示部、５０７…通信部、５０８…外部Ｉ／Ｆ、５０９…システムバス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】