ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024155990
(43)【公開日】2024-10-31
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20241024BHJP
H04N 23/45 20230101ALI20241024BHJP
【ＦＩ】
H04N23/60 100
H04N23/45
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2024145216
(22)【出願日】2024-08-27
(62)【分割の表示】P 2022508151の分割
【原出願日】2021-02-18
(31)【優先権主張番号】P 2020050031
(32)【優先日】2020-03-19
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山本 耕司
(72)【発明者】
【氏名】仙頭 一也
(72)【発明者】
【氏名】高原 弘樹
(57)【要約】
【課題】フレーミング作業を簡略化することを課題とする。
【解決手段】情報処理装置１０は、第１の撮像装置による撮像に関連する撮像関連情報に基づいて、第１の撮像装置が撮像する第１画像と、第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定する決定部１２と、位置合わせ情報を出力する出力部１３と、を有する。
【選択図】図１
【解決手段】情報処理装置１０は、第１の撮像装置による撮像に関連する撮像関連情報に基づいて、第１の撮像装置が撮像する第１画像と、第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定する決定部１２と、位置合わせ情報を出力する出力部１３と、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の撮像部による撮像に関連する撮像関連情報に基づいて、前記第１の撮像部が撮像する第１画像と、前記第１の撮像部の画角とは異なる画角を有する第２の撮像部が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定する決定部と、
前記位置合わせ情報を出力する出力部と、
を有し、
前記決定部は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力部は、前記位置合わせ情報を前記第２の撮像部へ出力する、
情報処理装置。
前記位置合わせ情報を出力する出力部と、
を有し、
前記決定部は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力部は、前記位置合わせ情報を前記第２の撮像部へ出力する、
情報処理装置。
【請求項2】
前記第２の撮像部は、前記第１の撮像部の画角よりも広い画角を有する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記決定部は、
前記撮像関連情報が所定の条件を満たすか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記第１画像に対応するデプスマップ、前記第１画像のうち所定の焦点距離の調整制御によりピントが合わされた被写体近傍に対応する合焦近傍画像、前記第１画像から検出されたエッジ情報または前記第１画像のうち少なくともいずれか１つを前記位置合わせ情報として選択する選択部と、を有する、
請求項１に記載の情報処理装置。
前記撮像関連情報が所定の条件を満たすか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記第１画像に対応するデプスマップ、前記第１画像のうち所定の焦点距離の調整制御によりピントが合わされた被写体近傍に対応する合焦近傍画像、前記第１画像から検出されたエッジ情報または前記第１画像のうち少なくともいずれか１つを前記位置合わせ情報として選択する選択部と、を有する、
請求項１に記載の情報処理装置。
【請求項4】
前記判定部は、前記第１画像の被写体のデプスの分布情報に基づいて前記被写体の凹凸の有無を判定する判定部と、
前記選択部は、前記被写体に凹凸がある場合、前記デプスマップを前記位置合わせ情報として選択する、
請求項３に記載の情報処理装置。
前記選択部は、前記被写体に凹凸がある場合、前記デプスマップを前記位置合わせ情報として選択する、
請求項３に記載の情報処理装置。
【請求項5】
前記判定部は、前記被写体の総画素数に占める所定のデプス範囲内の画素の割合が所定の閾値以内であるか否かにより、前記被写体に凹凸があるか否かを判定する、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記判定部は、前記焦点距離の調整制御によりピントが合わされた合焦近傍以外の領域においてボケ量が所定の閾値を超える画素の数が所定の閾値以内であるか否かを判定し、
前記選択部は、前記合焦近傍以外の領域において前記ボケ量が前記閾値を超える画素の数が前記閾値以内でない場合、前記合焦近傍画像を前記位置合わせ情報として選択する、
請求項３に記載の情報処理装置。
前記選択部は、前記合焦近傍以外の領域において前記ボケ量が前記閾値を超える画素の数が前記閾値以内でない場合、前記合焦近傍画像を前記位置合わせ情報として選択する、
請求項３に記載の情報処理装置。
【請求項7】
前記判定部は、前記第１の撮像部および前記第２の撮像部の間の伝送帯域が所定の閾値以上であるか否かを判定し、
前記選択部は、前記伝送帯域が前記閾値以上である場合、前記第１画像を前記位置合わせ情報として選択し、前記伝送帯域が前記閾値以上でない場合、前記エッジ情報を前記位置合わせ情報として選択する、
請求項３に記載の情報処理装置。
前記選択部は、前記伝送帯域が前記閾値以上である場合、前記第１画像を前記位置合わせ情報として選択し、前記伝送帯域が前記閾値以上でない場合、前記エッジ情報を前記位置合わせ情報として選択する、
請求項３に記載の情報処理装置。
【請求項8】
前記撮像関連情報は、前記第２の撮像部の処理能力をさらに含み、
前記判定部は、前記第２の撮像部の処理能力が所定の閾値以上であるか否かを判定し、
前記選択部は、前記処理能力が前記閾値以上である場合、前記第１画像を前記位置合わせ情報として選択し、前記処理能力が前記閾値以上でない場合、前記エッジ情報を前記位置合わせ情報として選択する、
前記出力部は、前記選択部により選択された前記位置合わせ情報を、前記第２の撮像部が有する位置合わせ部であって前記第２画像および前記第１画像の位置合わせを行う位置合わせ部に、出力する、
請求項３に記載の情報処理装置。
前記判定部は、前記第２の撮像部の処理能力が所定の閾値以上であるか否かを判定し、
前記選択部は、前記処理能力が前記閾値以上である場合、前記第１画像を前記位置合わせ情報として選択し、前記処理能力が前記閾値以上でない場合、前記エッジ情報を前記位置合わせ情報として選択する、
前記出力部は、前記選択部により選択された前記位置合わせ情報を、前記第２の撮像部が有する位置合わせ部であって前記第２画像および前記第１画像の位置合わせを行う位置合わせ部に、出力する、
請求項３に記載の情報処理装置。
【請求項9】
前記選択部は、前記デプスマップ以外を選択する場合、前記被写体までのデプスをさらに前記位置合わせ情報として選択する、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項10】
前記決定部は、
前記第１の撮像部の画角および前記第２の撮像部の画角が重なる重複領域に含まれる第２の撮像部の撮像素子の画素数を前記重複領域の解像度として算出する算出部と、
前記第１画像が前記重複領域の解像度と一致する解像度に変更された第１画像を前記位置合わせ情報として生成する生成部と、を有する、
請求項３に記載の情報処理装置。
前記第１の撮像部の画角および前記第２の撮像部の画角が重なる重複領域に含まれる第２の撮像部の撮像素子の画素数を前記重複領域の解像度として算出する算出部と、
前記第１画像が前記重複領域の解像度と一致する解像度に変更された第１画像を前記位置合わせ情報として生成する生成部と、を有する、
請求項３に記載の情報処理装置。
【請求項11】
前記算出部は、前記第１の撮像部または前記第２の撮像部のいずれかでズーム機能が動作中である場合、前記重複領域の解像度の算出を実行する、
請求項１０に記載の情報処理装置。
請求項１０に記載の情報処理装置。
【請求項12】
第１の撮像部による撮像に関連する撮像関連情報に基づいて、前記第１の撮像部が撮像する第１画像と、前記第１の撮像部の画角とは異なる画角を有する第２の撮像部が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記位置合わせ情報を出力する、
処理をコンピュータが実行し、
前記決定する処理は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力する処理は、前記位置合わせ情報を前記第２の撮像部へ出力する、
情報処理方法。
前記位置合わせ情報を出力する、
処理をコンピュータが実行し、
前記決定する処理は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力する処理は、前記位置合わせ情報を前記第２の撮像部へ出力する、
情報処理方法。
【請求項13】
第１の撮像部による撮像に関連する撮像関連情報に基づいて、前記第１の撮像部が撮像する第１画像と、前記第１の撮像部の画角とは異なる画角を有する第２の撮像部が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記位置合わせ情報を出力する、
処理をコンピュータに実行させ、
前記決定する処理は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力する処理は、前記位置合わせ情報を前記第２の撮像部へ出力する、
情報処理プログラム。
前記位置合わせ情報を出力する、
処理をコンピュータに実行させ、
前記決定する処理は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力する処理は、前記位置合わせ情報を前記第２の撮像部へ出力する、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
カメラを用いる撮影では、一例として、光学ファインダや電子ビューファインダなどの各種のファインダが構図の確認に用いられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１１３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記のファインダでは、撮影者の意図通りの構図がカメラのフレームに収まるまでファインダの内外の間で視線を交互に移動させる試行錯誤が発生するので、フレーミング作業が煩雑化する。
【0005】
そこで、本開示では、フレーミング作業を簡略化できる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、第１の撮像装置による撮像に関連する撮像関連情報に基づいて、前記第１の撮像装置が撮像する第１画像と、前記第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定する決定部と、前記位置合わせ情報を出力する出力部と、を有する。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係るシステムの構成例を示す図である。
【図2】第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
【図3】第１の実施形態に係る情報出力処理の手順を示すフローチャートである。
【図4】第２の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
【図5】デプスの分布情報の一例を示す図である。
【図6】第２の実施形態に係る情報出力処理の手順を示すフローチャートである。
【図7】第３の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
【図8】焦点距離および画角の対応関係の一例を示す図である。
【図9】第３の実施形態に係る情報出力処理の手順を示すフローチャートである。
【図10】コンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0008】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0009】
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１－１．システム構成例
１－２．ユースケースの例
１－３．第１の撮像装置の機能構成例
１－３－１．撮像素子
１－３－２．デジタル信号処理部
１－３－３．表示部
１－４．第２の撮像装置の機能構成例
１－４－１．撮像素子
１－４－２．デジタル信号処理部
１－４－３．位置合わせ部
１－４－４．表示部
１－５．課題の一側面
１－６．課題解決のアプローチの一側面
１－７．情報処理装置の機能構成例
１－７－１．取得部
１－７－２．決定部
１－７－３．出力部
１－８．情報処理装置の処理手順
１－９．効果の一側面
２．第２の実施形態
２－１．情報処理装置の機能構成例
２－２．決定部
２－２－１．判定部
２－２－２．選択部
２－３．情報処理装置の処理手順
２－４．効果の一側面
３．第３の実施形態
３－１．情報処理装置の機能構成例
３－２．決定部
３－２－１．算出部
３－２－２．生成部
３－３．情報処理装置の処理手順
３－４．効果の一側面
４．変形例
４－１．実施形態間の組合せ
４－２．位置合わせの実行主体
４－３．その他の変形例
５．ハードウェア構成
１．第１の実施形態
１－１．システム構成例
１－２．ユースケースの例
１－３．第１の撮像装置の機能構成例
１－３－１．撮像素子
１－３－２．デジタル信号処理部
１－３－３．表示部
１－４．第２の撮像装置の機能構成例
１－４－１．撮像素子
１－４－２．デジタル信号処理部
１－４－３．位置合わせ部
１－４－４．表示部
１－５．課題の一側面
１－６．課題解決のアプローチの一側面
１－７．情報処理装置の機能構成例
１－７－１．取得部
１－７－２．決定部
１－７－３．出力部
１－８．情報処理装置の処理手順
１－９．効果の一側面
２．第２の実施形態
２－１．情報処理装置の機能構成例
２－２．決定部
２－２－１．判定部
２－２－２．選択部
２－３．情報処理装置の処理手順
２－４．効果の一側面
３．第３の実施形態
３－１．情報処理装置の機能構成例
３－２．決定部
３－２－１．算出部
３－２－２．生成部
３－３．情報処理装置の処理手順
３－４．効果の一側面
４．変形例
４－１．実施形態間の組合せ
４－２．位置合わせの実行主体
４－３．その他の変形例
５．ハードウェア構成
【0010】
＜＜１．第１の実施形態＞＞
＜１－１．システム構成例＞
図１は、第１の実施形態に係るシステムの構成例を示す図である。図１に示すシステムは、フレーミング作業を簡略化する側面から、第１の撮像装置１が画像を撮像するフレームの位置を示す標示Ｍを第２の撮像装置５が撮像する画像５０上に表示する撮影支援機能を提供するものである。
＜１－１．システム構成例＞
図１は、第１の実施形態に係るシステムの構成例を示す図である。図１に示すシステムは、フレーミング作業を簡略化する側面から、第１の撮像装置１が画像を撮像するフレームの位置を示す標示Ｍを第２の撮像装置５が撮像する画像５０上に表示する撮影支援機能を提供するものである。
【0011】
図１に示すように、システムには、第１の撮像装置１と、第２の撮像装置５とが含まれ得る。これら第１の撮像装置１及び第２の撮像装置５は、通信可能に接続される。あくまで一例として、第１の撮像装置１及び第２の撮像装置５をＵＳＢ（Universal Serial Bus）ケーブル等を介して接続することができる。また、第１の撮像装置１及び第２の撮像装置５の間で必ずしも双方向の通信が行われずともよく、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル等を介して接続されることとしてもかまわない。
【0012】
１つの側面として、第１の撮像装置１及び第２の撮像装置５は、必ずしも同一の画角を有さずともかまわない。例えば、第１の撮像装置１には、第２の撮像装置５が撮影に使用するレンズよりも焦点距離が長い望遠レンズを搭載できる一方で、第２の撮像装置５には、第１の撮像装置１が撮影に使用するレンズよりも画角が広い広角レンズを搭載できる。
【0013】
他の側面として、第１の撮像装置１及び第２の撮像装置５の間では、両者の光軸が一致してもよく、また、両者の光軸は必ずしも一致せずともかまわない。なお、図１には、あくまで一例として、第１の撮像装置１及び第２の撮像装置５が異なる装置群として例示したが、第１の撮像装置１及び第２の撮像装置５は２つの装置に一体化されることとしてもかまわない。
【0014】
なお、図１には、第１の撮像装置１及び第２の撮像装置５が有線で接続される例が示されているが、これに限定されず、第１の撮像装置１及び第２の撮像装置５を近距離無線通信、あるいは無線通信により接続することもできる。
【0015】
＜１－２．ユースケースの例＞
第１の撮像装置１及び第２の撮像装置５は、必ずしも撮影専用の電子機器でなくともかまわない。例えば、第１の撮像装置１及び第２の撮像装置５は、撮影機能以外の他の機能が備わることを妨げない。
第１の撮像装置１及び第２の撮像装置５は、必ずしも撮影専用の電子機器でなくともかまわない。例えば、第１の撮像装置１及び第２の撮像装置５は、撮影機能以外の他の機能が備わることを妨げない。
【0016】
あくまで一例として、スマートフォンやタブレット端末が撮像する画像５０上にデジタルカメラが撮像するフレームの位置を示す標示Ｍを重ねて表示するユースケースが挙げられる。この場合、第１の撮像装置１がデジタルカメラとして実装され得ると共に、第２の装置５がスマートフォンやタブレット端末などとして実装され得る。
【0017】
他の一例として、ＡＲ（Augmented Reality）グラスが撮像する画像５０上にスタビライザ付のレンズ交換式カメラ（Interchangeable Lens Cameras）等のデジタルカメラが撮像するフレームの位置を示す標示Ｍを重ねて表示するユースケースが挙げられる。この場合、第１の撮像装置１がデジタルカメラとして実装され得ると共に、第２の撮像装置５がＡＲグラスとして実装され得る。
【0018】
なお、図１には、あくまで一例として、第１の撮像装置１が画像を撮像するフレームそのものの標示Ｍが示されているが、標示Ｍの形状および大きさは任意であってかまわない。例えば、第１の撮像装置１が画像を撮像するフレームの位置を示すポインタや図形、記号等であってもかまわない。
【0019】
＜１－３．第１の撮像装置の機能構成例＞
図２は、第１の実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図２に示すように、第１の撮像装置１は、撮像素子１Ａと、デジタル信号処理部１Ｂと、表示部１Ｃと、情報処理装置１０とを有する。
図２は、第１の実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図２に示すように、第１の撮像装置１は、撮像素子１Ａと、デジタル信号処理部１Ｂと、表示部１Ｃと、情報処理装置１０とを有する。
【0020】
ここで、図２には、情報処理装置１０が第１の撮像装置１に組み込まれる例を挙げたが、これはあくまで一例に過ぎない。例えば、情報処理装置１０は、第２の撮像装置５に組み込まれることとしてもよく、また、第１の撮像装置１及び第２の撮像装置５とは異なる第３の装置として実装することもできる。なお、情報処理装置１０については、第１の撮像装置１及び第２の撮像装置５の機能構成例を説明してから説明することとする。
【0021】
＜１－３－１．撮像素子１Ａ＞
撮像素子１Ａには、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを採用できる。あくまで一例として、第１の撮像装置１の光学系、例えば望遠レンズを介して集光された光が撮像素子１Ａにより光電変換される。このような光電変換により得られたＲＡＷ画像がデジタル信号処理部１Ｂへ入力される。
撮像素子１Ａには、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを採用できる。あくまで一例として、第１の撮像装置１の光学系、例えば望遠レンズを介して集光された光が撮像素子１Ａにより光電変換される。このような光電変換により得られたＲＡＷ画像がデジタル信号処理部１Ｂへ入力される。
【0022】
ここで、撮像素子１Ａには、図示しない像面位相差センサを組み込むことができる。例えば、像面位相差センサから出力される位相差信号から被写体までの距離、すなわちデプスを測定することができる。このように像面位相差センサごとに測定されるデプスをデプスマップとしてデジタル信号処理部１Ｂへ出力することができる。
【0023】
なお、ここでは、像面位相差センサを例に挙げたが、像面位相差センサの代わりに位相差センサを第１の撮像装置１に搭載することとしてもよいし、像面位相差センサおよび位相差センサの両方を搭載することもできる。また、ここでは、像面位相差センサや位相差センサを例に挙げたが、これらの以外のデプスセンサが第１の撮像装置１に備わることを妨げない。
【0024】
＜１－３－２．デジタル信号処理部１Ｂ＞
デジタル信号処理部１Ｂは、デジタル信号処理を実行する機能部である。一実施形態として、デジタル信号処理部１Ｂは、ＤＳＰ（Digital Signal Processor）などのハードウェアにより実現することができる。例えば、上記のデジタル信号処理の一例として、ＲＡＷ画像を所定のフォーマットの画像、例えばＹＣ画像へ変換する処理、いわゆるＲＡＷ現像を始め、ホワイトバランス調整や色差補正などの処理が挙げられる。
デジタル信号処理部１Ｂは、デジタル信号処理を実行する機能部である。一実施形態として、デジタル信号処理部１Ｂは、ＤＳＰ（Digital Signal Processor）などのハードウェアにより実現することができる。例えば、上記のデジタル信号処理の一例として、ＲＡＷ画像を所定のフォーマットの画像、例えばＹＣ画像へ変換する処理、いわゆるＲＡＷ現像を始め、ホワイトバランス調整や色差補正などの処理が挙げられる。
【0025】
なお、ここでは、上記のデジタル信号処理部１Ｂがハードウェアにより実現される例を挙げたが、ＲＡＷ現像エンジン等のソフトウェアがプロセッサにより実行されることにより実現されることとしてもよい。
【0026】
＜１－３－３．表示部１Ｃ＞
表示部１Ｃは、各種の情報を表示する機能部である。一実施形態として、表示部１Ｃは、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどを第１の撮像装置１筐体の背面に配置することにより実装することができる。例えば、表示部１Ｃは、デジタル信号処理部１ＢによりＹＣ画像が出力される度に当該ＹＣ画像をリアルタイムで表示する。以下、後述のデジタル信号処理部５Ｂにより出力されるＹＣ画像との間でデジタル信号処理部１Ｂにより出力されるＹＣ画像のラベルを区別する側面から、前者のことを「望遠ＹＣ画像」と記載すると共に後者のことを「広角ＹＣ画像」と記載する場合がある。これによって、望遠ＹＣ画像のライブビュー機能を実現することができる。
表示部１Ｃは、各種の情報を表示する機能部である。一実施形態として、表示部１Ｃは、液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどを第１の撮像装置１筐体の背面に配置することにより実装することができる。例えば、表示部１Ｃは、デジタル信号処理部１ＢによりＹＣ画像が出力される度に当該ＹＣ画像をリアルタイムで表示する。以下、後述のデジタル信号処理部５Ｂにより出力されるＹＣ画像との間でデジタル信号処理部１Ｂにより出力されるＹＣ画像のラベルを区別する側面から、前者のことを「望遠ＹＣ画像」と記載すると共に後者のことを「広角ＹＣ画像」と記載する場合がある。これによって、望遠ＹＣ画像のライブビュー機能を実現することができる。
【0027】
なお、表示部１Ｃは、図示しない入力部と一体化することにより、タッチパネルとして実装することもできる。また、上述の通り、第１の撮像装置１が画像を撮像するフレームの位置を示す標示が第２の撮像装置５の表示部５Ｄに表示される側面があるので、必ずしも表示部１Ｃを第１の撮像装置１に設けずともかまわない。
【0028】
＜１－４．第２の撮像装置５の機能構成例＞
図２に示すように、第２の撮像装置５は、撮像素子５Ａと、デジタル信号処理部５Ｂと、位置合わせ部５Ｃと、表示部５Ｄとを有する。
図２に示すように、第２の撮像装置５は、撮像素子５Ａと、デジタル信号処理部５Ｂと、位置合わせ部５Ｃと、表示部５Ｄとを有する。
【0029】
＜１－４－１．撮像素子５Ａ＞
撮像素子５Ａには、ＣＣＤやＣＭＯＳなどのイメージセンサを採用できる。あくまで一例として、第２の撮像装置５の光学系、例えば広角レンズを介して集光された光が撮像素子５Ａにより光電変換される。このような光電変換により得られたＲＡＷ画像がデジタル信号処理部５Ｂへ入力される。
撮像素子５Ａには、ＣＣＤやＣＭＯＳなどのイメージセンサを採用できる。あくまで一例として、第２の撮像装置５の光学系、例えば広角レンズを介して集光された光が撮像素子５Ａにより光電変換される。このような光電変換により得られたＲＡＷ画像がデジタル信号処理部５Ｂへ入力される。
【0030】
このような撮像素子５Ａにおいても、上記の撮像素子１Ａと同様、図示しない像面位相差センサを組み込むことができる。このように像面位相差センサごとに測定されるデプスをデプスマップとしてデジタル信号処理部５Ｂへ出力することができる。なお、ここでは、像面位相差センサを例に挙げたが、像面位相差センサの代わりに位相差センサを第２の撮像装置５に搭載することとしてもよいし、像面位相差センサおよび位相差センサの両方を搭載することもできる。また、ここでは、像面位相差センサや位相差センサを例に挙げたが、これらの以外のデプスセンサが第２の撮像装置５に備わることを妨げない。
【0031】
＜１－４－２．デジタル信号処理部５Ｂ＞
デジタル信号処理部５Ｂは、デジタル信号処理を実行する機能部である。一実施形態として、デジタル信号処理部５Ｂは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのプロセッサにより仮想的に実現される。例えば、プロセッサは、図示しないストレージからＯＳ（Operating System）の他、ＲＡＷ現像エンジン等のソフトウェアなどのプログラムを読み出す。その上で、プロセッサは、上記のＲＡＷ現像エンジンを実行することにより、ＲＡＭ（Random Access Memory）等のメモリ上にデジタル信号処理部５Ｂに対応するプロセスを展開する。この結果、デジタル信号処理部５Ｂがプロセスとして仮想的に実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサによりデジタル信号処理部５Ｂが実現されることとしてもかまわない。この他、デジタル信号処理部５Ｂは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることを妨げない。
デジタル信号処理部５Ｂは、デジタル信号処理を実行する機能部である。一実施形態として、デジタル信号処理部５Ｂは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのプロセッサにより仮想的に実現される。例えば、プロセッサは、図示しないストレージからＯＳ（Operating System）の他、ＲＡＷ現像エンジン等のソフトウェアなどのプログラムを読み出す。その上で、プロセッサは、上記のＲＡＷ現像エンジンを実行することにより、ＲＡＭ（Random Access Memory）等のメモリ上にデジタル信号処理部５Ｂに対応するプロセスを展開する。この結果、デジタル信号処理部５Ｂがプロセスとして仮想的に実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサによりデジタル信号処理部５Ｂが実現されることとしてもかまわない。この他、デジタル信号処理部５Ｂは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることを妨げない。
【0032】
デジタル信号処理部５Ｂは、上記のデジタル信号処理部１Ｂと同様の機能を発揮することができる。例えば、デジタル信号処理部５Ｂは、上記のデジタル信号処理の一例として、ＲＡＷ画像を所定のフォーマットの画像、例えばＹＣ画像へ変換する処理、いわゆるＲＡＷ現像を始め、ホワイトバランス調整や色差補正などの処理を実行することができる。
【0033】
なお、ここでは、ＲＡＷ現像エンジン等のソフトウェアがプロセッサにより実行されることにより実現される例を挙げたが、上記のデジタル信号処理部１Ｂがハードウェアにより実現されることとしてもよい。
【0034】
＜１－４－３．位置合わせ部５Ｃ＞
位置合わせ部５Ｃは、第１の撮像装置１が撮像する画像および第２の撮像装置５が撮像する画像の位置合わせを行う処理部である。一実施形態として、位置合わせ部５Ｃは、デジタル信号処理部５Ｂと同様、ＣＰＵやＭＰＵなどのプロセッサにより仮想的に実現され得る。例えば、プロセッサは、複数の画像の位置合わせを行う画像処理プログラムを読み出す。その上で、プロセッサは、上記の画像処理プログラムを実行することにより、ＲＡＭ等のメモリ上に位置合わせ部５Ｃに対応するプロセスを展開する。この結果、位置合わせ部５Ｃがプロセスとして仮想的に実現される。
位置合わせ部５Ｃは、第１の撮像装置１が撮像する画像および第２の撮像装置５が撮像する画像の位置合わせを行う処理部である。一実施形態として、位置合わせ部５Ｃは、デジタル信号処理部５Ｂと同様、ＣＰＵやＭＰＵなどのプロセッサにより仮想的に実現され得る。例えば、プロセッサは、複数の画像の位置合わせを行う画像処理プログラムを読み出す。その上で、プロセッサは、上記の画像処理プログラムを実行することにより、ＲＡＭ等のメモリ上に位置合わせ部５Ｃに対応するプロセスを展開する。この結果、位置合わせ部５Ｃがプロセスとして仮想的に実現される。
【0035】
ここで、上記の位置合わせとは、２つの画像間で一方の画像に移動、回転または変形などの変換行列を適用することにより他方の画像に合わせるレジストレーションの全般を指す。１つの側面として、レジストレーションでは、２つの画像の類似度を最大化する変換行列が探索される。例えば、類似度には、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）、相関係数などを用いることができる。また、変換行列の適用時には、２つの画像間で特徴点同士をマッチングさせることもできる。
【0036】
このようなレジストレーションにより、第１の撮像装置１が撮像する画像、例えばデジタル信号処理部１Ｂが出力する望遠ＹＣ画像と、第２の撮像装置５が撮像する画像、例えばデジタル信号処理部５Ｂが出力する広角ＹＣ画像との位置合わせが実現される。さらに、ここでは、あくまで一例として、広角ＹＣ画像に望遠ＹＣ画像を合わせる変換行列が上記のレジストレーションにより得られる例を挙げる。
【0037】
あくまで一例として、位置合わせ部５Ｃは、広角ＹＣ画像に望遠ＹＣ画像を重ねることができる。このとき、第１の撮像装置１および第２の撮像装置５の光軸が同一であれば、図１に示された例の通り、位置合わせにより得られる望遠ＹＣ画像のフレームは矩形状のままとなる。ところが、光軸が同一でない場合、位置合わせにより得られる望遠ＹＣ画像のフレームは矩形状とはならず、歪な形状となる可能性がある。
【0038】
このような側面から、位置合わせ部５Ｃは、望遠ＹＣ画像のフレームの位置、例えば中心位置を示す標示Ｍを広角ＹＣ画像に重畳することができる。以下、望遠ＹＣ画像のフレームの位置の標示Ｍが重畳された広角ＹＣ画像のことを「望遠フレーム標示付きの広角画像」と記載する場合がある。このように得られた望遠フレーム標示付きの広角画像が表示部５Ｄへ出力される。
【0039】
＜１－４－４．表示部５Ｄ＞
表示部５Ｄは、各種の情報を表示する機能部である。一実施形態として、表示部５Ｄは、液晶ディスプレイや有機ＥＬディスプレイなどにより実装することができる他、図示しない入力部と一体化することにより、タッチパネルとして実装することもできる。例えば、表示部５Ｄは、位置合わせ部５Ｃから望遠フレーム標示付きの広角画像が出力される度に当該望遠フレーム標示付きの広角画像をリアルタイムで表示する。
表示部５Ｄは、各種の情報を表示する機能部である。一実施形態として、表示部５Ｄは、液晶ディスプレイや有機ＥＬディスプレイなどにより実装することができる他、図示しない入力部と一体化することにより、タッチパネルとして実装することもできる。例えば、表示部５Ｄは、位置合わせ部５Ｃから望遠フレーム標示付きの広角画像が出力される度に当該望遠フレーム標示付きの広角画像をリアルタイムで表示する。
【0040】
＜１－５．課題の一側面＞
本開示の実施形態１では、上記の撮影支援機能として、望遠フレーム標示付きの広角画像が表示部５Ｄに表示される。このような表示によって、広角ＹＣ画像上で望遠ＹＣ画像のフレームの位置の標示Ｍを俯瞰できる。それ故、ファインダの内外の間で視線を交互に移動させる試行錯誤を不要化できる結果、フレーミング作業の簡略化を実現できる側面がある。
本開示の実施形態１では、上記の撮影支援機能として、望遠フレーム標示付きの広角画像が表示部５Ｄに表示される。このような表示によって、広角ＹＣ画像上で望遠ＹＣ画像のフレームの位置の標示Ｍを俯瞰できる。それ故、ファインダの内外の間で視線を交互に移動させる試行錯誤を不要化できる結果、フレーミング作業の簡略化を実現できる側面がある。
【0041】
このような側面がある一方で、望遠フレーム標示付きの広角画像をリアルタイムで表示するには、望遠ＹＣ画像と広角ＹＣ画像の位置合わせといった画像処理がボトルネックの一因となって広角ＹＣ画像に重畳する望遠ＹＣ画像のフレームの位置の表示に遅延が発生することがある。このように遅延が発生する場合、表示上の望遠ＹＣ画像のフレームの位置と、実際の望遠ＹＣ画像のフレームの位置とに差が生じることになるので、意図通りの構図で撮影できない場合がある。
【0042】
画像の位置合わせについては、様々な技術が提案されているが、いずれも位置合わせやレジストレーションのアルゴリズムそのものにアプローチする技術である。このようなアルゴリズム上の工夫は、２つの画像をいかにして位置合わせするかという工夫に過ぎない。それ故、位置合わせに用いられるのは、あくまで２つの画像であって、いずれかの画像の撮影時に位置合わせに貢献できる情報が取得できるという視点に欠け、位置合わせに用いられない。
【0043】
＜１－６．課題解決のアプローチの一側面＞
そこで、本開示の実施形態に係る情報処理装置１０は、第１の撮像装置１による撮像に関連する撮像関連情報に基づいて第１の撮像装置１および第２の撮像装置５の間の画像の位置合わせに用いる位置合わせ情報を決定して出力する情報出力機能を提供する。
そこで、本開示の実施形態に係る情報処理装置１０は、第１の撮像装置１による撮像に関連する撮像関連情報に基づいて第１の撮像装置１および第２の撮像装置５の間の画像の位置合わせに用いる位置合わせ情報を決定して出力する情報出力機能を提供する。
【0044】
つまり、本開示の実施形態に係る情報処理装置１０は、第１の撮像装置１における撮影ならではの観点から、第２の撮像装置５が撮像する画像との位置合わせを行う上で処理量の削減に貢献できる位置合わせ情報を出力する。
【0045】
したがって、本開示の実施形態に係る情報処理装置１０によれば、望遠ＹＣ画像および広角ＹＣ画像の位置合わせを高速化できるので、望遠フレーム標示付きの広角画像の表示のリアルタイム性を高めることが可能になる。
【0046】
＜１－７．情報処理装置１０の機能構成例＞
図２に示すように、情報処理装置１０は、取得部１１と、決定部１２と、出力部１３とを有する。
図２に示すように、情報処理装置１０は、取得部１１と、決定部１２と、出力部１３とを有する。
【0047】
＜１－７－１．取得部１１＞
取得部１１は、第１の撮像装置１及び第２の撮像装置５により行われる撮像に関連する撮像関連情報を取得する処理部である。ここで、「撮像関連情報」には、下記に例示する通り、第１の撮像装置１及び第２の撮像装置５により撮像される画像そのものに限らず、撮像に関連する情報全般が含まれ得る。なお、ここでは、第１の撮像装置１及び第２の撮像装置５の両方の撮像関連情報が取得される例を挙げたが、いずれか一方の撮像関連情報を取得することもできる。
取得部１１は、第１の撮像装置１及び第２の撮像装置５により行われる撮像に関連する撮像関連情報を取得する処理部である。ここで、「撮像関連情報」には、下記に例示する通り、第１の撮像装置１及び第２の撮像装置５により撮像される画像そのものに限らず、撮像に関連する情報全般が含まれ得る。なお、ここでは、第１の撮像装置１及び第２の撮像装置５の両方の撮像関連情報が取得される例を挙げたが、いずれか一方の撮像関連情報を取得することもできる。
【0048】
イ）撮像素子１Ａと撮像素子５Ａの画サイズや撮像素子サイズ
ロ）第１の撮像装置１および第２の撮像装置５の焦点距離
ハ）第１の撮像装置１および第２の撮像装置５の撮影用のパラメータ
ニ）望遠ＹＣ画像および広角ＹＣ画像から取得できる情報
ホ）第１の撮像装置１および第２の撮像装置５の間のデータ伝送の帯域と安定性の情報
ヘ）第１の撮像装置１および第２の撮像装置５の物理的な位置関係の情報、光軸のずれ量
ト）第１の撮像装置１および第２の撮像装置５が搭載する演算器の処理能力
ロ）第１の撮像装置１および第２の撮像装置５の焦点距離
ハ）第１の撮像装置１および第２の撮像装置５の撮影用のパラメータ
ニ）望遠ＹＣ画像および広角ＹＣ画像から取得できる情報
ホ）第１の撮像装置１および第２の撮像装置５の間のデータ伝送の帯域と安定性の情報
ヘ）第１の撮像装置１および第２の撮像装置５の物理的な位置関係の情報、光軸のずれ量
ト）第１の撮像装置１および第２の撮像装置５が搭載する演算器の処理能力
【0049】
上記イ）～上記ト）の撮像関連情報は、第１の撮像装置１および第２の撮像装置５が画像を撮像するフレーム単位で取得することができる。例えば、上記ハ）について補足すると、上記の撮影用パラメータには、あくまで一例として、露出、ホワイトバランス、シャッタ速度、ＩＳＯ値、Ｆ値などが含まれ得る。上記ニ）について補足すると、上記の取得できる情報には、あくまで一例として、物体認識の結果情報、デプスマップ、適正露光、光源情報、フリッカ情報などが含まれ得る。
【0050】
このような撮像関連情報は、第１の撮像装置１および第２の撮像装置５の両者から取得できる。例えば、第１の撮像装置１に関する撮像関連情報は、デジタル信号処理部１Ｂ、あるいは第１の撮像装置１の光学系を駆動するドライバＩＣ（Integrated Circuit）から取得できる。また、第２の撮像装置５に関する撮像関連情報は、デジタル信号処理部５Ｂ、あるいは第２の撮像装置５の光学系を駆動するドライバＩＣから取得できる。
【0051】
＜１－７－２．決定部１２＞
決定部１２は、取得部１１により取得された撮像関連情報に基づいて位置合わせ情報を決定する処理部である。１つの側面として、決定部１２は、第２の撮像装置５の位置合わせ部５Ｃが広角ＹＣ画像との位置合わせに用いる位置合わせ情報を決定する。このような位置合わせ情報は、広角ＹＣ画像との位置合わせの処理量の削減、ひいては第１の撮像装置１から第２の撮像装置５への伝送量の削減の観点から決定できる。
決定部１２は、取得部１１により取得された撮像関連情報に基づいて位置合わせ情報を決定する処理部である。１つの側面として、決定部１２は、第２の撮像装置５の位置合わせ部５Ｃが広角ＹＣ画像との位置合わせに用いる位置合わせ情報を決定する。このような位置合わせ情報は、広角ＹＣ画像との位置合わせの処理量の削減、ひいては第１の撮像装置１から第２の撮像装置５への伝送量の削減の観点から決定できる。
【0052】
あくまで一例として、決定部１２は、デプスマップ、合焦近傍画像、エッジ情報またはＹＣ画像のうち少なくともいずれか１つもしくはこれらの組合せを位置合わせ情報として決定する。例えば、「デプスマップ」は、位相差センサ、像面位相差センサまたはこれらの両者によりデプスが測定されたマップを指す。また、「合焦近傍画像」とは、望遠ＹＣ画像のうち、焦点距離の調整制御によりピントが合わされた被写体近傍に対応する部分画像を指す。例えば、焦点距離の調整制御は、位相差センサ、像面位相差センサまたはこれらの両者により実現されるＡＦ（AutoFocus）機能等により自動的に行われることとしてもよいし、ＭＦ（ManualFocus）により手動で行われることとしてもよい。また、「エッジ情報」とは、望遠ＹＣ画像からエッジが検出された情報を指す。また、「望遠ＹＣ画像」とは、デジタル信号処理部１Ｂから出力される望遠ＹＣ画像そのものを指す。これら「デプスマップ」、「合焦近傍画像」、「エッジ情報」および「望遠ＹＣ画像」は、第１の撮像装置１または第２の撮像装置５におけるズーム機能の動作時に広角ＹＣ画像の解像度と同一の解像度に変更され得る。
【0053】
＜１－７－３．出力部１３＞
出力部１３は、決定部１２により決定された位置合わせ情報を出力する処理部である。１つの側面として、出力部１３は、決定部１２により決定された位置合わせ情報を第２の撮像装置５の位置合わせ部５Ｃへ伝送する。
出力部１３は、決定部１２により決定された位置合わせ情報を出力する処理部である。１つの側面として、出力部１３は、決定部１２により決定された位置合わせ情報を第２の撮像装置５の位置合わせ部５Ｃへ伝送する。
【0054】
＜１－８．情報処理装置の処理手順＞
図３は、第１の実施形態に係る情報出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、第１の撮像装置１および第２の撮像装置５が画像を撮像するフレームごとに繰り返して実行することができる。
図３は、第１の実施形態に係る情報出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、第１の撮像装置１および第２の撮像装置５が画像を撮像するフレームごとに繰り返して実行することができる。
【0055】
図３に示すように、取得部１１は、第１の撮像装置１及び第２の撮像装置５により行われる撮像に関連する撮像関連情報、例えば上記イ）～上記ヘ）などを取得する（ステップＳ１０１）。
【0056】
続いて、決定部１２は、ステップＳ１０１で取得された撮像関連情報に基づいて第２の撮像装置５の位置合わせ部５Ｃが広角ＹＣ画像との位置合わせに用いる位置合わせ情報を決定する（ステップＳ１０２）。
【0057】
そして、出力部１３は、ステップＳ１０２で決定された位置合わせ情報を第２の撮像装置５の位置合わせ部５Ｃへ伝送し（ステップＳ１０３）、処理を終了する。
【0058】
＜１－９．効果の一側面＞
上述してきたように、第１の実施形態に係る情報処理装置１０は、第１の撮像装置１による撮像に関連する撮像関連情報に基づいて第１の撮像装置１および第２の撮像装置５の間の画像の位置合わせに用いる位置合わせ情報を決定して出力する。
上述してきたように、第１の実施形態に係る情報処理装置１０は、第１の撮像装置１による撮像に関連する撮像関連情報に基づいて第１の撮像装置１および第２の撮像装置５の間の画像の位置合わせに用いる位置合わせ情報を決定して出力する。
【0059】
つまり、第１の実施形態に係る情報処理装置１０は、第１の撮像装置１における撮影ならではの観点から、第２の撮像装置５が撮像する広角ＹＣ画像との位置合わせを行う上で処理量の削減や精度の向上に貢献できる位置合わせ情報を出力する。
【0060】
したがって、第１の実施形態に係る情報処理装置１０によれば、望遠ＹＣ画像および広角ＹＣ画像の位置合わせを高速化できるので、望遠フレーム標示付きの広角画像の表示のリアルタイム性を高めることが可能になる。
【0061】
＜＜２．第２の実施形態＞＞
本開示の実施形態では、上記の位置合わせ情報として、「デプスマップ」、「合焦近傍画像」、「エッジ情報」および「望遠ＹＣ画像」の中から１つまたは複数を選択するアルゴリズムの一例を挙げる。
本開示の実施形態では、上記の位置合わせ情報として、「デプスマップ」、「合焦近傍画像」、「エッジ情報」および「望遠ＹＣ画像」の中から１つまたは複数を選択するアルゴリズムの一例を挙げる。
【0062】
＜２－１．情報処理装置２０の機能構成例＞
図４は、第２の実施形態に係る情報処理装置２０の機能構成例を示すブロック図である。図４に示すように、情報処理装置２０は、図２に示された情報処理装置１０の決定部１２の処理内容が一部異なる決定部２１を有する点が異なる。
図４は、第２の実施形態に係る情報処理装置２０の機能構成例を示すブロック図である。図４に示すように、情報処理装置２０は、図２に示された情報処理装置１０の決定部１２の処理内容が一部異なる決定部２１を有する点が異なる。
【0063】
【0064】
＜２－２－１．判定部２１Ａ＞
判定部２１Ａは、取得部１１により取得された撮像関連情報が所定の条件を満たすか否かを判定する処理部である。
判定部２１Ａは、取得部１１により取得された撮像関連情報が所定の条件を満たすか否かを判定する処理部である。
【0065】
一実施形態として、判定部２１Ａは、デジタル信号処理部１Ｂから取得される望遠ＹＣ画像から検出された被写体に関するデプスの分布情報を取得する。ここで言う「被写体」とは、ＡＦ機能またはＭＦ機能でピントが合わせられた被写体、ＡＦ機能で追尾された被写体、あるいは物体検出の結果として得られた被写体のいずれであってもよい。その上で、判定部２１Ａは、望遠ＹＣ画像の被写体のデプスの分布情報に基づいて被写体の凹凸の有無を判定する。あくまで一例として、判定部２１Ａは、被写体の総画素数に占める所定のデプス範囲Ｔｈ２内の画素の割合が所定の閾値Ｔｈ１以内であるか否かにより、被写体に凹凸があるか否かを条件１として判定する。このような「デプス範囲Ｔｈ２」には、被写体のデプスの分布のピークに基づいて設定することができる。例えば、デプスの分布のピークの前後の一定の範囲をデプス範囲Ｔｈ２と設定することができる。このとき、必ずしもピークの前および後でデプス範囲Ｔｈ２に含める範囲を同一にせずに変更することもできる。
【0066】
図５は、デプスの分布情報の一例を示す図である。図５に示すグラフの縦軸は、画素数を指し、横軸は、デプスを指す。これら縦軸および横軸は、デプスの度数と階級を表すヒストグラムであってもよい。図５には、被写体の総画素数に対応する部分が白の塗り潰しで示される一方で、デプス範囲Ｔｈ２に対応する部分がハッチングで示されている。図５に示す例で言えば、デプス範囲Ｔｈ２に含まれる画素数、すなわちハッチング部分の画素数が被写体の総画素数に占める割合、例えば確率や百分率などが所定の閾値Ｔｈ１、例えば５０％以内であるか否かにより、被写体の凹凸の有無を識別できる。例えば、上記の閾値Ｔｈ１以内である場合、被写体に凹凸があると識別される一方で、上記の閾値Ｔｈ１を超える場合、被写体に凹凸がないと識別される。
【0067】
そして、上記の条件１を満たす場合、すなわちデプス範囲Ｔｈ２内の画素数が被写体の総画素数に占める割合が閾値Ｔｈ１以内である場合、判定部２１Ａは、下記の条件２を判定する。例えば、判定部２１Ａは、望遠ＹＣ画像のうちＡＦ機能またはＭＦ機能でピントが合わせられた合焦近傍以外の領域においてボケ量が所定の閾値Ｔｈ３を超える画素の数が所定の閾値Ｔｈ４以内であるか否かを条件２として判定する。このとき、合焦近傍以外の領域においてボケ量が閾値Ｔｈ３を超える画素の数が閾値Ｔｈ４以内である場合、上記の条件２を満たすと判定される。
【0068】
また、上記の条件１または上記の条件２のいずれかを満たさない場合、判定部２１Ａは、下記の条件３および下記の条件４を判定する。例えば、判定部２１Ａは、第１の撮像装置１および第２の撮像装置５の間の伝送帯域が所定の閾値Ｔｈ５以上であるか否かを条件３として判定する。さらに、上記の条件３を満たす場合、すなわち伝送帯域が所定の閾値Ｔｈ５以上である場合、判定部２１Ａは、第２の撮像装置５の処理能力、例えばプロセッサのクロック周波数やコア数などの性能値が所定の閾値Ｔｈ６以上であるか否かを条件４として判定する。
【0069】
＜２－２－２．選択部２１Ｂ＞
選択部２１Ｂは、判定部２１Ａの判定結果に基づいて「デプスマップ」、「合焦近傍画像」、「エッジ情報」および「望遠ＹＣ画像」の中から１つまたは複数を位置合わせ情報として選択する処理部である。
選択部２１Ｂは、判定部２１Ａの判定結果に基づいて「デプスマップ」、「合焦近傍画像」、「エッジ情報」および「望遠ＹＣ画像」の中から１つまたは複数を位置合わせ情報として選択する処理部である。
【0070】
１つの側面として、選択部２１Ｂは、上記の条件１および上記の条件２を満たす場合、デプスマップを位置合わせ情報として選択する。このような条件分岐は、デプス範囲Ｔｈ２内の画素数が被写体の総画素数に占める割合が閾値Ｔｈ１以内であり、かつ合焦近傍以外の領域においてボケ量が閾値Ｔｈ３を超える画素の数が閾値Ｔｈ４以内である場合に対応する。
【0071】
このような位置合わせ情報の選択が行われるのは、次のような側面がある。すなわち、上記の条件１を満たす場合、望遠ＹＣ画像および広角ＹＣ画像の２つのＹＣ画像間で位置合わせを行わずとも、望遠のデプスマップと広角のデプスマップとの位置合わせを行うことで、位置合わせの十分な精度が得られる可能性が高いからである。さらに、第１の撮像装置１よりも焦点距離が短い第２の撮像装置５では第１の撮像装置１に比べてボケ量が少ない傾向があるが、上記の条件２を満たす場合、第１の撮像装置１および第２の撮像装置５の間でボケ量が乖離する度合いがデプスマップ間の位置合わせに耐え得る程度である可能性が高いと識別できるからである。これらのことから、デプスマップが位置合わせ情報として選択される。このようにデプスマップを位置合わせ情報として選択することで、位置合わせ部５Ｃに画像間の位置合わせを実行させる場合よりも処理量を削減させることができる。さらに、デプスマップは、望遠ＹＣ画像やエッジ情報に比べて情報量が少ないので、第１の撮像装置１から第２の撮像装置５への伝送遅延も抑制できる。
【0072】
他の側面として、選択部２１Ｂは、上記の条件１を満たすが、上記の条件２を満たさない場合、合焦近傍画像を位置合わせ情報として選択する。このような条件分岐は、デプス範囲Ｔｈ２内の画素数が被写体の総画素数に占める割合が閾値Ｔｈ１以内であり、かつ合焦近傍以外の領域においてボケ量が閾値Ｔｈ３を超える画素の数が閾値Ｔｈ４以内でない場合に対応する。
【0073】
このような位置合わせ情報の選択が行われるのは、上記の条件１を満たす場合であっても、上記の条件２を満たさなければ、次のようなケースに該当する可能性が高いからである。すなわち、第１の撮像装置１および第２の撮像装置５の間でボケ量が乖離する度合いがデプスマップ間の位置合わせに耐え得る限度を超える可能性が高いと識別できるからである。このことから、上記の合焦近傍画像が位置合わせ情報として選択される。このように合焦近傍画像を位置合わせ情報として選択することで、合焦近傍以外のボケた領域までが位置合わせ部５Ｃによる位置合わせに用いられることにより、位置合わせの精度が低下するのを抑制できる。さらに、合焦近傍画像は、望遠ＹＣ画像の一部であるので、望遠ＹＣ画像全体を位置合わせに用いる場合よりも、位置合わせの処理量を削減させることができる。加えて、合焦近傍画像は、望遠ＹＣ画像に比べて情報量が少ないので、第１の撮像装置１から第２の撮像装置５への伝送遅延も抑制できる。
【0074】
更なる側面として、選択部２１Ｂは、上記の条件３および上記の条件４を満たす場合、望遠ＹＣ画像および被写体までのデプスを位置合わせ情報として選択する。このような条件分岐は、第１の撮像装置１および第２の撮像装置５の間の伝送帯域が閾値Ｔｈ５以上であり、かつ第２の撮像装置５の処理能力が閾値Ｔｈ６以上である場合に対応する。
【0075】
このような位置合わせ情報の選択が行われるのは、次のような側面がある。すなわち、上記の条件３および上記の条件４の両方を満たす場合、第１の撮像装置１から第２の撮像装置５へ望遠ＹＣ画像を伝送しても伝送遅延が発生しづらく、かつ位置合わせ部５Ｃに望遠ＹＣ画像および広角ＹＣ画像の位置合わせを行わせても処理遅延が発生しづらい可能性が高いからである。さらに、被写体までのデプスを位置合わせ情報に含めることで、位置合わせ部５Ｃに広角ＹＣ画像との位置合わせを実行させる領域を当該デプス近傍に対応する領域に絞り込ませたり、あるいは当該デプス近傍に対応する領域の重みをそれ以外のデプスに対応する領域の重みよりも大きくして位置合わせ部５Ｃに広角ＹＣ画像との位置合わせを実行させたりすることができる。
【0076】
他の側面として、選択部２１Ｂは、上記の条件３または上記の条件４を満たさない場合、エッジ情報および被写体までのデプスを位置合わせ情報として選択する。このような条件分岐は、第１の撮像装置１および第２の撮像装置５の間の伝送帯域が閾値Ｔｈ５以上でないか、あるいは第２の撮像装置５の処理能力が閾値Ｔｈ６以上でない場合に対応する。
【0077】
このような位置合わせ情報の選択が行われるのは、次のような側面がある。すなわち、上記の条件３または上記の条件４のいずれかを満たさない場合、第１の撮像装置１から第２の撮像装置５へ望遠ＹＣ画像を伝送する場合に伝送遅延が発生するか、あるいは位置合わせ部５Ｃに望遠ＹＣ画像および広角ＹＣ画像の位置合わせを行わせる場合に処理遅延が発生する可能性が高いからである。この場合、エッジ情報を位置合わせ情報として選択することで、位置合わせ部５Ｃに画像間の位置合わせを実行させる場合よりも処理量を削減させることができる。さらに、エッジ情報は、望遠ＹＣ画像に比べて情報量が少ないので、第１の撮像装置１から第２の撮像装置５への伝送遅延も抑制できる。さらに、被写体までのデプスを位置合わせ情報に含めることで、位置合わせ部５Ｃに広角のエッジ情報との位置合わせを実行させる領域を当該デプス近傍に対応する領域に絞り込ませたり、あるいは当該デプス近傍に対応する領域の重みをそれ以外のデプスに対応する領域の重みよりも大きくして位置合わせ部５Ｃに広角のエッジ情報との位置合わせを実行させたりすることができる。
【0078】
なお、合焦近傍画像が位置合わせ情報として選択されている場合、上記の条件３および上記の条件４を満たすか否かにより、位置合わせ情報の選択に次のような分岐を設けることができる。例えば、上記の条件３および上記の条件４を満たすならば、合焦近傍のＹＣ画像と被写体までのデプスを選択する一方で、上記の条件３または上記の条件４を満たさないならば、合焦近傍のエッジ情報と被写体までのデプスを選択することができる。また、デプスマップ以外が位置合わせ情報として選択される場合、例えば合焦近傍画像、エッジ情報またはＹＣ画像が選択される場合、被写体に凹凸が少ないケースに該当する。この場合、デプスマップよりも情報量が少ないデプス情報、例えば被写体までのデプスをさらに位置合わせ情報として選択することができる。
【0079】
＜２－３．情報処理装置２０の処理手順＞
図６は、第２の実施形態に係る情報出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、第１の撮像装置１および第２の撮像装置５が画像を撮像するフレームごとに繰り返して実行することができる。
図６は、第２の実施形態に係る情報出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、第１の撮像装置１および第２の撮像装置５が画像を撮像するフレームごとに繰り返して実行することができる。
【0080】
図６に示すように、取得部１１は、第１の撮像装置１及び第２の撮像装置５により行われる撮像に関連する撮像関連情報、例えば上記イ）～上記ヘ）などを取得する（ステップＳ１０１）。
【0081】
続いて、判定部２１Ａは、ステップＳ１０１で取得された撮像関連情報に含まれる望遠ＹＣ画像から検出された被写体に関するデプスの分布情報に基づいて被写体に凹凸があるか否かを条件１として判定する。例えば、判定部２１Ａは、所定のデプス範囲Ｔｈ２内の画素数が被写体の総画素数に占める割合が所定の閾値Ｔｈ１以内であるか否かを条件１として判定する（ステップＳ２０１）。
【0082】
このとき、上記の条件１を満たす場合、すなわちデプス範囲Ｔｈ２内の画素数が被写体の総画素数に占める割合が閾値Ｔｈ１以内である場合（ステップＳ２０２Ｙｅｓ）、判定部２１Ａは、下記の条件２を判定する。すなわち、判定部２１Ａは、望遠ＹＣ画像のうちＡＦ機能またはＭＦ機能でピントが合わせられた合焦近傍以外の領域においてボケ量が所定の閾値Ｔｈ３を超える画素の数が所定の閾値Ｔｈ４以内であるか否かを条件２として判定する（ステップＳ２０３）。
【0083】
ここで、上記の条件２を満たす場合、すなわち合焦近傍以外の領域においてボケ量が閾値Ｔｈ３を超える画素の数が閾値Ｔｈ４以内である場合（ステップＳ２０３Ｎｏ）、選択部２１Ｂは、デプスマップを位置合わせ情報として選択する（ステップＳ２０４）。一方、上記の条件２を満たさない場合、すなわち合焦近傍以外の領域においてボケ量が閾値Ｔｈ３を超える画素の数が閾値Ｔｈ４以内でない場合（ステップＳ２０３Ｙｅｓ）、選択部２１Ｂは、合焦近傍画像を位置合わせ情報として選択する（ステップＳ２０５）。
【0084】
また、上記の条件１または上記の条件２のいずれかを満たさない場合（ステップＳ２０２ＮｏまたはステップＳ２０３Ｎｏ）、判定部２１Ａは、第１の撮像装置１および第２の撮像装置５の間の伝送帯域が所定の閾値Ｔｈ５以上であるか否かを条件３として判定する（ステップＳ２０６）。
【0085】
さらに、上記の条件３を満たす場合、すなわち伝送帯域が所定の閾値Ｔｈ５以上である場合（ステップＳ２０６Ｙｅｓ）、判定部２１Ａは、第２の撮像装置５の処理能力、例えばプロセッサのクロック周波数やコア数などの性能値が所定の閾値Ｔｈ６以上であるか否かを条件４として判定する（ステップＳ２０７）。
【0086】
このとき、上記の条件４をさらに満たす場合、すなわち第２の撮像装置５の処理能力が閾値Ｔｈ６以上である場合（ステップＳ２０７Ｙｅｓ）、選択部２１Ｂは、望遠ＹＣ画像および被写体までのデプスを位置合わせ情報として選択する（ステップＳ２０８）。一方、上記の条件３または上記の条件４のいずれかを満たさない場合（ステップＳ２０６ＮｏまたはステップＳ２０７Ｎｏ）、エッジ情報および被写体までのデプスを位置合わせ情報として選択する（ステップＳ２０９）。
【0087】
ここで、ステップＳ２０５で合焦近傍画像が位置合わせ情報として選択されている場合、上記の条件３および上記の条件４を満たすか否かにより、位置合わせ情報の選択に次のような分岐を設けることができる。例えば、上記の条件３および上記の条件４を満たすならば、合焦近傍のＹＣ画像と被写体までのデプスを選択する一方で、上記の条件３または上記の条件４を満たさないならば、合焦近傍のエッジ情報と被写体までのデプスを選択することができる。
【0088】
その後、出力部１３は、ステップＳ２０４、ステップＳ２０８またはステップＳ２０９で選択された位置合わせ情報を第２の撮像装置５の位置合わせ部５Ｃへ伝送し（ステップＳ１０３）、処理を終了する。
【0089】
＜２－４．効果の一側面＞
上述してきたように、第２の実施形態に係る情報処理装置２０は、被写体の凹凸の有無、ボケ量が大きい領域の多寡、伝送帯域の多寡、および、第２の撮像装置５の処理能力の多寡に応じて、デプスマップ、合焦近傍画像、エッジ情報および望遠ＹＣ画像の中から１つまたは複数を位置合わせ情報として選択する。それ故、第１の撮像装置１の撮影状況に適応する位置合わせ情報を選択することができる。したがって、第２の実施形態に係る情報処理装置２０によれば、処理量の削減および精度の維持のバランスを両立させる位置合わせを実現できる。
上述してきたように、第２の実施形態に係る情報処理装置２０は、被写体の凹凸の有無、ボケ量が大きい領域の多寡、伝送帯域の多寡、および、第２の撮像装置５の処理能力の多寡に応じて、デプスマップ、合焦近傍画像、エッジ情報および望遠ＹＣ画像の中から１つまたは複数を位置合わせ情報として選択する。それ故、第１の撮像装置１の撮影状況に適応する位置合わせ情報を選択することができる。したがって、第２の実施形態に係る情報処理装置２０によれば、処理量の削減および精度の維持のバランスを両立させる位置合わせを実現できる。
【0090】
＜＜３．第３の実施形態＞＞
本開示の実施形態では、第１の撮像装置１または第２の撮像装置５におけるズーム機能の動作時に広角ＹＣ画像の解像度と同一の解像度を有する望遠ＹＣ画像を位置合わせ情報として生成する例を挙げる。
本開示の実施形態では、第１の撮像装置１または第２の撮像装置５におけるズーム機能の動作時に広角ＹＣ画像の解像度と同一の解像度を有する望遠ＹＣ画像を位置合わせ情報として生成する例を挙げる。
【0091】
以下、あくまで一例として、第１の撮像装置１から第２の撮像装置５へ出力される例が望遠ＹＣ画像である例を挙げる。
【0092】
＜３－１．情報処理装置３０の機能構成例＞
図７は、第３の実施形態に係る情報処理装置３０の機能構成例を示すブロック図である。図７に示すように、情報処理装置３０は、図２に示された情報処理装置１０の決定部１２の処理内容が一部異なる決定部３１を有する点が異なる。
図７は、第３の実施形態に係る情報処理装置３０の機能構成例を示すブロック図である。図７に示すように、情報処理装置３０は、図２に示された情報処理装置１０の決定部１２の処理内容が一部異なる決定部３１を有する点が異なる。
【0093】
【0094】
＜３－２－１．算出部３１Ａ＞
算出部３１Ａは、第２の撮像装置５が画像を撮像する画角と、第１の撮像装置１が画像を撮像する画角とが重なる重複領域に含まれる第２の撮像装置５の撮像素子５Ａの画素数を算出する処理部である。
算出部３１Ａは、第２の撮像装置５が画像を撮像する画角と、第１の撮像装置１が画像を撮像する画角とが重なる重複領域に含まれる第２の撮像装置５の撮像素子５Ａの画素数を算出する処理部である。
【0095】
図８は、焦点距離および画角の対応関係の一例を示す図である。図８には、あくまで一例として、第１の撮像装置１および第２の撮像装置２の光軸が一致する例が示されている。図８に示すように、広角側の画角は望遠側の画角よりも大きい。この場合、広角側の画角と望遠側の画角が重複する重複領域、図中のハッチング部分に含まれる第２の撮像装置５の撮像素子５Ａの画素数は、撮像素子１Ａおよび撮像素子５Ａのアスペクトとに基づいて計算できる。例えば、広角側の水平画角は、下記の式（１）にしたがって算出できる。また、望遠側の水平画角は、下記の式（２）にしたがって算出できる。これら式（１）および式（２）から、望遠側の焦点距離または広角側の焦点距離のいずれかが変化する場合、上記の重複領域に含まれる撮像素子５Ａの画素数、すなわち広角側の重複領域の解像度が変化することがわかる。
【0096】
広角側の水平画角＝２×ａｒｃｔａｎ［撮像素子５Ａの水平幅／２／広角側の焦点距離］・・・（１）
望遠側の水平画角＝２×ａｒｃｔａｎ［撮像素子１Ａの水平幅／２／望遠側の焦点距離］・・・（２）
望遠側の水平画角＝２×ａｒｃｔａｎ［撮像素子１Ａの水平幅／２／望遠側の焦点距離］・・・（２）
【0097】
以上のことから、算出部３１Ａは、ズーム機能が動作中である場合、広角側の重複領域の解像度を再計算する。例えば、算出部３１Ａは、ズーム後の望遠側の焦点距離およびズーム後の広角側の焦点距離に基づいて広角側の重複領域の解像度を算出する。このような解像度の算出をズーム機能の動作中に絞り込んで実行することで、ズームに変化がない状況での処理を省略することができる。
【0098】
＜３－２－２．生成部３１Ｂ＞
生成部３１Ｂは、算出部３１Ａにより算出された広角側の重複領域の解像度と一致する解像度の望遠ＹＣ画像を位置合わせ情報として生成する。あくまで一例として、生成部３１Ｂは、ズーム機能が動作中である場合、デジタル信号処理部１Ｂから出力される望遠ＹＣ画像の解像度を、算出部３１Ａにより算出された広角側の重複領域の解像度と一致する解像度に変更する。これによって、ズーム量に応じて望遠ＹＣ画像が拡大または縮小される。
生成部３１Ｂは、算出部３１Ａにより算出された広角側の重複領域の解像度と一致する解像度の望遠ＹＣ画像を位置合わせ情報として生成する。あくまで一例として、生成部３１Ｂは、ズーム機能が動作中である場合、デジタル信号処理部１Ｂから出力される望遠ＹＣ画像の解像度を、算出部３１Ａにより算出された広角側の重複領域の解像度と一致する解像度に変更する。これによって、ズーム量に応じて望遠ＹＣ画像が拡大または縮小される。
【0099】
＜３－３．情報処理装置３０の処理手順＞
図９は、第３の実施形態に係る情報出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、第１の撮像装置１および第２の撮像装置５が画像を撮像するフレームごとに繰り返して実行することができる。なお、図９には、図３に示された一連の処理のうちステップＳ１０２に対応する処理、すなわち決定部３１が実行する処理が抜粋して示されている。
図９は、第３の実施形態に係る情報出力処理の手順を示すフローチャートである。この処理は、あくまで一例として、第１の撮像装置１および第２の撮像装置５が画像を撮像するフレームごとに繰り返して実行することができる。なお、図９には、図３に示された一連の処理のうちステップＳ１０２に対応する処理、すなわち決定部３１が実行する処理が抜粋して示されている。
【0100】
図９に示すように、ズーム機能が動作中である場合（ステップＳ３０１Ｙｅｓ）、算出部３１Ａは、ズーム後の望遠側の焦点距離およびズーム後の広角側の焦点距離に基づいて広角側の重複領域の解像度を算出する（ステップＳ３０２）。その後、生成部３１Ｂは、デジタル信号処理部１Ｂから出力される望遠ＹＣ画像がステップＳ３０２で算出された広角側の重複領域の解像度と一致する解像度に変更された望遠ＹＣ画像を位置合わせ情報として生成する（ステップＳ３０４）。
【0101】
一方、ズーム機能が動作中でない場合（ステップＳ３０１Ｎｏ）、上記の重複領域に含まれる撮像素子５Ａの画素数、すなわち広角側の重複領域の解像度が変化しない。このため、算出部３１Ａは、最後に変更された解像度のまま固定する（ステップＳ３０３）。そして、生成部３１Ｂは、デジタル信号処理部１Ｂから出力される望遠ＹＣ画像がステップＳ３０４で固定された広角側の重複領域の解像度と一致する解像度に変更された望遠ＹＣ画像を位置合わせ情報として生成する（ステップＳ３０４）。
【0102】
このようにステップＳ３０４で生成された位置合わせ情報が第２の撮像装置５の位置合わせ部５Ｃへ出力される。
【0103】
＜３－４．効果の一側面＞
上述してきたように、第３の実施形態に係る情報処理装置３０は、ズーム後の望遠側の焦点距離およびズーム後の広角側の焦点距離に基づいて算出された広角側の重複領域の解像度と一致する解像度の望遠ＹＣ画像を位置合わせ情報として生成する。このため、ズーム機能が動作する場合でも、望遠ＹＣ画像および広角ＹＣ画像の間で縮尺が合った状態で位置合わせ部５Ｃに位置合わせを実行させることができる。したがって、第３の実施形態に係る情報処理装置３０によれば、変換行列の探索範囲を絞り込めると共に位置合わせの精度を向上させることが可能である。
上述してきたように、第３の実施形態に係る情報処理装置３０は、ズーム後の望遠側の焦点距離およびズーム後の広角側の焦点距離に基づいて算出された広角側の重複領域の解像度と一致する解像度の望遠ＹＣ画像を位置合わせ情報として生成する。このため、ズーム機能が動作する場合でも、望遠ＹＣ画像および広角ＹＣ画像の間で縮尺が合った状態で位置合わせ部５Ｃに位置合わせを実行させることができる。したがって、第３の実施形態に係る情報処理装置３０によれば、変換行列の探索範囲を絞り込めると共に位置合わせの精度を向上させることが可能である。
【0104】
＜＜４．変形例＞＞
以下、第１の実施形態～第３の実施形態の変形例について例示する。
以下、第１の実施形態～第３の実施形態の変形例について例示する。
【0105】
＜４－１．実施形態間の組合せ＞
第２の実施形態および第３の実施形態では、両者が個別に実施される例を挙げたが、第２の実施形態および第３の実施形態は組み合わせて実施することができる。この場合、第２の実施形態で位置合わせ情報として選択されるデプスマップ、合焦近傍画像およびエッジ情報についても広角側の重複領域の解像度と一致する解像度に変更できる。あくまで一例として、図６に示されたステップＳ２０１で図９に示すフローチャートの実施することができる。他の一例として、図６に示されたステップＳ２０４、ステップＳ２０５、ステップＳ２０８またはステップＳ２０９で図９に示すフローチャートの実施することができる。
第２の実施形態および第３の実施形態では、両者が個別に実施される例を挙げたが、第２の実施形態および第３の実施形態は組み合わせて実施することができる。この場合、第２の実施形態で位置合わせ情報として選択されるデプスマップ、合焦近傍画像およびエッジ情報についても広角側の重複領域の解像度と一致する解像度に変更できる。あくまで一例として、図６に示されたステップＳ２０１で図９に示すフローチャートの実施することができる。他の一例として、図６に示されたステップＳ２０４、ステップＳ２０５、ステップＳ２０８またはステップＳ２０９で図９に示すフローチャートの実施することができる。
【0106】
＜４－２．位置合わせの実行主体＞
第１の実施形態～第３の実施形態では、位置合わせ部５Ｃによる位置合わせが第２の装置５で実行される例を挙げたが、位置合わせを第１の撮像装置１で実施することもできる。この場合、広角ＹＣ画像上における望遠ＹＣ画像のフレームの位置を第１の撮像装置１から第２の撮像装置５へ伝送することとすればよい。例えば、図６に示された決定部２１の処理は、広角側を望遠側と読み替えると共に望遠側を広角側と読み替えることにより、広角のデプスマップや広角の合焦近傍画像、広角のエッジ情報を位置合わせ情報として伝送できる。このような位置合わせ情報を用いて、第１の撮像装置１は、位置合わせを実施して、広角ＹＣ画像上における望遠ＹＣ画像のフレームの位置を第２の撮像装置５に伝送する。このとき、第１の撮像装置１で位置合わせする時に第１の撮像装置１が取得した画像からエッジ抽出や、ピントが合っている個所の抽出を行う事で、高速に位置合わせを実現できる。
第１の実施形態～第３の実施形態では、位置合わせ部５Ｃによる位置合わせが第２の装置５で実行される例を挙げたが、位置合わせを第１の撮像装置１で実施することもできる。この場合、広角ＹＣ画像上における望遠ＹＣ画像のフレームの位置を第１の撮像装置１から第２の撮像装置５へ伝送することとすればよい。例えば、図６に示された決定部２１の処理は、広角側を望遠側と読み替えると共に望遠側を広角側と読み替えることにより、広角のデプスマップや広角の合焦近傍画像、広角のエッジ情報を位置合わせ情報として伝送できる。このような位置合わせ情報を用いて、第１の撮像装置１は、位置合わせを実施して、広角ＹＣ画像上における望遠ＹＣ画像のフレームの位置を第２の撮像装置５に伝送する。このとき、第１の撮像装置１で位置合わせする時に第１の撮像装置１が取得した画像からエッジ抽出や、ピントが合っている個所の抽出を行う事で、高速に位置合わせを実現できる。
【0107】
＜４－３．その他の変形例＞
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0108】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0109】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0110】
＜＜５．ハードウェア構成＞＞
上述してきた各実施形態に係る情報処理装置１０、２０又は３０は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。以下、上述の実施形態に係る情報処理装置１０、２０又は３０を例に挙げて説明する。図１０は、コンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた各実施形態に係る情報処理装置１０、２０又は３０は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。以下、上述の実施形態に係る情報処理装置１０、２０又は３０を例に挙げて説明する。図１０は、コンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【0111】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【0112】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0113】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
【0114】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【0115】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0116】
例えば、コンピュータ１０００が上述の実施形態に係る情報処理装置１０、２０又は３０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１５に含まれる各機能部を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、コンテンツ記憶部１２１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
【0117】
なお、本技術は以下のような構成も取ることができる。
（１）
第１の撮像装置による撮像に関連する撮像関連情報に基づいて、前記第１の撮像装置が撮像する第１画像と、前記第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定する決定部と、
前記位置合わせ情報を出力する出力部と、
を有する情報処理装置。
（２）
前記決定部は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力部は、前記位置合わせ情報を前記第２の撮像装置へ出力する、
前記（１）に記載の情報処理装置。
（３）
前記決定部は、
前記撮像関連情報が所定の条件を満たすか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記第１画像に対応するデプスマップ、前記第１画像のうち所定の焦点距離の調整制御によりピントが合わされた被写体近傍に対応する合焦近傍画像、前記第１画像から検出されたエッジ情報または前記第１画像のうち少なくともいずれか１つを選択する選択部と、を有する、
前記（２）に記載の情報処理装置。
（４）
前記判定部は、前記第１画像の被写体のデプスの分布情報に基づいて前記被写体の凹凸の有無を判定する判定部と、
前記選択部は、前記被写体に凹凸がある場合、前記デプスマップを前記位置合わせ情報として選択する、
前記（３）に記載の情報処理装置。
（５）
前記判定部は、前記被写体の総画素数に占める所定のデプス範囲内の画素の割合が所定の閾値以内であるか否かにより、前記被写体に凹凸があるか否かを判定する、
前記（４）に記載の情報処理装置。
（６）
前記判定部は、前記焦点距離の調整制御によりピントが合わされた合焦近傍以外の領域においてボケ量が所定の閾値を超える画素の数が所定の閾値以内であるか否かを判定し、
前記選択部は、前記合焦近傍以外の領域において前記ボケ量が前記閾値を超える画素の数が前記閾値以内でない場合、前記合焦近傍画像を選択する、
前記（３）乃至前記（５）に記載の情報処理装置。
（７）
前記判定部は、前記第１の撮像装置および前記第２の撮像装置の間の伝送帯域が所定の閾値以上であるか否かを判定し、
前記選択部は、前記伝送帯域が前記閾値以上である場合、前記第１画像を選択し、前記伝送帯域が前記閾値以上でない場合、前記エッジ情報を選択する、
前記（３）乃至前記（６）に記載の情報処理装置。
（８）
前記判定部は、前記第２の撮像装置の処理能力が所定の閾値以上であるか否かを判定し、
前記選択部は、前記処理能力が前記閾値以上である場合、前記第１画像を選択し、前記処理能力が前記閾値以上でない場合、前記エッジ情報を選択する、
前記（３）乃至前記（７）に記載の情報処理装置。
（９）
前記選択部は、前記デプスマップ以外を選択する場合、前記被写体までのデプスをさらに前記位置合わせ情報として選択する、
前記（３）乃至前記（８）に記載の情報処理装置。
（１０）
前記決定部は、
前記第１の撮像装置の画角および前記第２の撮像装置の画角が重なる重複領域に含まれる第２の撮像装置の撮像素子の画素数を前記重複領域の解像度として算出する算出部と、
前記第１画像が前記重複領域の解像度と一致する解像度に変更された第１画像を前記位置合わせ情報として生成する生成部と、を有する、
前記（２）乃至前記（９）に記載の情報処理装置。
（１１）
前記算出部は、前記第１の撮像装置または前記第２の撮像装置のいずれかでズーム機能が動作中である場合、前記重複領域の解像度の算出を実行する、
前記（１０）に記載の情報処理装置。
（１２）
前記決定部は、前記第１画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力部は、前記位置合わせ情報を前記第１の撮像装置へ出力する、
前記（１）に記載の情報処理装置。
（１３）
第１の撮像装置による撮像に関連する撮像関連情報に基づいて、前記第１の撮像装置が撮像する第１画像と、前記第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記位置合わせ情報を出力する、
処理をコンピュータが実行する情報処理方法。
（１４）
第１の撮像装置による撮像に関連する撮像関連情報に基づいて、前記第１の撮像装置が撮像する第１画像と、前記第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記位置合わせ情報を出力する、
処理をコンピュータに実行させる情報処理プログラム。
（１）
第１の撮像装置による撮像に関連する撮像関連情報に基づいて、前記第１の撮像装置が撮像する第１画像と、前記第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定する決定部と、
前記位置合わせ情報を出力する出力部と、
を有する情報処理装置。
（２）
前記決定部は、前記第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力部は、前記位置合わせ情報を前記第２の撮像装置へ出力する、
前記（１）に記載の情報処理装置。
（３）
前記決定部は、
前記撮像関連情報が所定の条件を満たすか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記第１画像に対応するデプスマップ、前記第１画像のうち所定の焦点距離の調整制御によりピントが合わされた被写体近傍に対応する合焦近傍画像、前記第１画像から検出されたエッジ情報または前記第１画像のうち少なくともいずれか１つを選択する選択部と、を有する、
前記（２）に記載の情報処理装置。
（４）
前記判定部は、前記第１画像の被写体のデプスの分布情報に基づいて前記被写体の凹凸の有無を判定する判定部と、
前記選択部は、前記被写体に凹凸がある場合、前記デプスマップを前記位置合わせ情報として選択する、
前記（３）に記載の情報処理装置。
（５）
前記判定部は、前記被写体の総画素数に占める所定のデプス範囲内の画素の割合が所定の閾値以内であるか否かにより、前記被写体に凹凸があるか否かを判定する、
前記（４）に記載の情報処理装置。
（６）
前記判定部は、前記焦点距離の調整制御によりピントが合わされた合焦近傍以外の領域においてボケ量が所定の閾値を超える画素の数が所定の閾値以内であるか否かを判定し、
前記選択部は、前記合焦近傍以外の領域において前記ボケ量が前記閾値を超える画素の数が前記閾値以内でない場合、前記合焦近傍画像を選択する、
前記（３）乃至前記（５）に記載の情報処理装置。
（７）
前記判定部は、前記第１の撮像装置および前記第２の撮像装置の間の伝送帯域が所定の閾値以上であるか否かを判定し、
前記選択部は、前記伝送帯域が前記閾値以上である場合、前記第１画像を選択し、前記伝送帯域が前記閾値以上でない場合、前記エッジ情報を選択する、
前記（３）乃至前記（６）に記載の情報処理装置。
（８）
前記判定部は、前記第２の撮像装置の処理能力が所定の閾値以上であるか否かを判定し、
前記選択部は、前記処理能力が前記閾値以上である場合、前記第１画像を選択し、前記処理能力が前記閾値以上でない場合、前記エッジ情報を選択する、
前記（３）乃至前記（７）に記載の情報処理装置。
（９）
前記選択部は、前記デプスマップ以外を選択する場合、前記被写体までのデプスをさらに前記位置合わせ情報として選択する、
前記（３）乃至前記（８）に記載の情報処理装置。
（１０）
前記決定部は、
前記第１の撮像装置の画角および前記第２の撮像装置の画角が重なる重複領域に含まれる第２の撮像装置の撮像素子の画素数を前記重複領域の解像度として算出する算出部と、
前記第１画像が前記重複領域の解像度と一致する解像度に変更された第１画像を前記位置合わせ情報として生成する生成部と、を有する、
前記（２）乃至前記（９）に記載の情報処理装置。
（１１）
前記算出部は、前記第１の撮像装置または前記第２の撮像装置のいずれかでズーム機能が動作中である場合、前記重複領域の解像度の算出を実行する、
前記（１０）に記載の情報処理装置。
（１２）
前記決定部は、前記第１画像との位置合わせに用いる位置合わせ情報を決定し、
前記出力部は、前記位置合わせ情報を前記第１の撮像装置へ出力する、
前記（１）に記載の情報処理装置。
（１３）
第１の撮像装置による撮像に関連する撮像関連情報に基づいて、前記第１の撮像装置が撮像する第１画像と、前記第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記位置合わせ情報を出力する、
処理をコンピュータが実行する情報処理方法。
（１４）
第１の撮像装置による撮像に関連する撮像関連情報に基づいて、前記第１の撮像装置が撮像する第１画像と、前記第１の撮像装置の画角よりも広い画角を有する第２の撮像装置が撮像する第２画像との位置合わせに用いる位置合わせ情報を決定し、
前記位置合わせ情報を出力する、
処理をコンピュータに実行させる情報処理プログラム。
【符号の説明】
【0118】
１ 第１の撮像装置
１Ａ 撮像素子
１Ｂ デジタル信号処理部
１Ｃ 表示部
５ 第２の撮像装置
５Ａ 撮像素子
５Ｂ デジタル信号処理部
５Ｃ 位置合わせ部
５Ｄ 表示部
１０ 情報処理装置
１１ 取得部
１２ 決定部
１３ 出力部
１Ａ 撮像素子
１Ｂ デジタル信号処理部
１Ｃ 表示部
５ 第２の撮像装置
５Ａ 撮像素子
５Ｂ デジタル信号処理部
５Ｃ 位置合わせ部
５Ｄ 表示部
１０ 情報処理装置
１１ 取得部
１２ 決定部
１３ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】