特許 7533483 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240806BHJP

   H04N 23/60 20230101ALI20240806BHJP

   G03B 17/18 20210101ALI20240806BHJP

   G06T 5/50 20060101ALI20240806BHJP

【ＦＩ】

H04N23/63

H04N23/60

G03B17/18

G06T5/50

【請求項の数】 18

(21)【出願番号】P 2021566877

(86)(22)【出願日】2020-10-30

(86)【国際出願番号】 JP2020040892

(87)【国際公開番号】W WO2021131325

(87)【国際公開日】2021-07-01

【審査請求日】2023-09-26

(31)【優先権主張番号】P 2019238572

(32)【優先日】2019-12-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110003410

【氏名又は名称】弁理士法人テクノピア国際特許事務所

(74)【代理人】

【識別番号】100116942

【弁理士】

【氏名又は名称】岩田 雅信

(74)【代理人】

【識別番号】100167704

【弁理士】

【氏名又は名称】中川 裕人

(72)【発明者】

【氏名】仙頭 一也

(72)【発明者】

【氏名】高原 弘樹

(72)【発明者】

【氏名】赤松 範彦

【審査官】吉田 千裕

(56)【参考文献】

【文献】特開２０１３－２４７５４３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１０１２２７（ＷＯ，Ａ１）

【文献】特開２０１２－２２７８３９（ＪＰ，Ａ）

【文献】特開２００６－２８１８３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １７／１８

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

第１の撮像装置で撮像された第１画像内で、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の範囲を検出する範囲検出部と、
前記第１画像に、前記範囲検出部で検出した撮像視野の範囲を示す撮像画角枠を合成する撮像画角枠合成部と、
前記第１画像内に、前記第２の撮像装置の撮像視野の画像である第２画像を配置する合成処理を行う画像合成部と、を備え、
前記画像合成部は、前記第１画像内を複数のエリアに分割設定し、前記撮像画角枠が位置するエリアに応じて選択される計算式により前記第２画像の配置位置を設定する
画像処理装置。

【請求項2】

前記複数のエリアには、計算式の選択状態を維持する緩衝エリアが含まれる
請求項１に記載の画像処理装置。

【請求項3】

前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定する
請求項１に記載の画像処理装置。

【請求項4】

前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に対して所定距離関係で追従するように設定する
請求項１に記載の画像処理装置。

【請求項5】

前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の水平方向の位置変化に対して所定の水平距離を保って追従するように設定する
請求項４に記載の画像処理装置。

【請求項6】

前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の垂直方向の位置変化に対して所定の垂直距離を保って追従するように設定する
請求項４に記載の画像処理装置。

【請求項7】

前記画像合成部は、前記第１画像の座標空間において、前記第２画像の配置位置の座標値を、前記撮像画角枠の座標値を用いた演算で算出する
請求項４に記載の画像処理装置。

【請求項8】

前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記撮像画角枠に対する前記第２画像の配置方向が変更されるように前記第２画像の配置位置を再設定する
請求項１に記載の画像処理装置。

【請求項9】

前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記第２画像の配置位置を前記第１画像の範囲内方向にシフトさせるように、前記第２画像の配置位置を再設定する
請求項１に記載の画像処理装置。

【請求項10】

前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記第２画像の合成処理を行わない
請求項１に記載の画像処理装置。

【請求項11】

前記第１画像内に前記第２の撮像装置の画像が含まれる状態を判定した場合、前記第２画像を表示画像として出力する制御を行う
請求項１に記載の画像処理装置。

【請求項12】

前記範囲検出部が前記第１画像内に前記第２の撮像装置の撮像視野の範囲を検出できない場合、
前記画像合成部は前記第１画像内における前記第２画像の配置位置を、予め設定された固定位置に設定する
請求項１に記載の画像処理装置。

【請求項13】

前記範囲検出部が前記第１画像内に前記第２の撮像装置の撮像視野の範囲を検出できない場合、
前記第１画像を表示画像として出力する制御を行う出力制御部を、更に備える
請求項１に記載の画像処理装置。

【請求項14】

前記画像合成部は、前記撮像画角枠のサイズに応じて、前記第１画像に対して前記第２画像を合成するか否かを決定する
請求項１に記載の画像処理装置。

【請求項15】

前記撮像画角枠合成部は、非長方形の前記撮像画角枠を前記第１画像に合成する
請求項１に記載の画像処理装置。

【請求項16】

第１の撮像装置で撮像された第１画像内で、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置のフォーカス枠の範囲を検出する範囲検出部と、
前記第１画像に、前記範囲検出部で検出した合焦領域を示すフォーカス枠を合成するフォーカス枠合成部と、
前記第１画像内に、前記第２の撮像装置の撮像視野の画像である第２画像を配置する合成処理を行う画像合成部と、
を備え、
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記フォーカス枠の位置に応じて設定する
画像処理装置。

【請求項17】

画像処理装置が、
第１の撮像装置で撮像された第１画像内で、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の範囲を検出する範囲検出処理と、
前記第１画像に、前記範囲検出処理で検出した撮像視野の範囲を示す撮像画角枠を合成する撮像画角枠合成処理と、
前記第１画像内に、前記第２の撮像装置の撮像視野の画像である第２画像を配置する画像合成処理と、
を行い、
前記画像合成処理では、前記第１画像内を複数のエリアに分割設定し、前記撮像画角枠が位置するエリアに応じて選択される計算式により前記第２画像の配置位置を設定する
画像処理方法。

【請求項18】

第１の撮像装置で撮像された第１画像内で、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の範囲を検出する範囲検出処理と、
前記第１画像に、前記範囲検出処理で検出した撮像視野の範囲を示す撮像画角枠を合成する撮像画角枠合成処理と、
前記第１画像内に、前記第２の撮像装置の撮像視野の画像である第２画像を配置する画像合成処理と、
を画像処理装置に実行させるとともに、
前記画像合成処理では、前記第１画像内を複数のエリアに分割設定し、前記撮像画角枠が位置するエリアに応じて選択される計算式により前記第２画像の配置位置を設定する処理を
画像処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は画像処理装置、画像処理方法、プログラムに関し、複数の撮像装置による画像の表示処理についての技術分野に関する。

【背景技術】

【0002】

複数の撮像装置による撮像画像を、１つの画面上で表示した使用形態がある。
例えば下記特許文献１には、画角の異なる第１撮像光学系と第２撮像光学系により得られた比較的広い視野の画像と比較的狭い視野の高解像度画像を表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２５１７８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザが撮像を行う状況としては、周辺視野を広く確認しながら目標被写体を追いたいという場合がある。この場合、周辺視野を広く写した第１の撮像装置による画像と、目標被写体を写した第２の撮像装置の画像を同じ画面上に表示することが便利となる。

【0005】

このような表示のためには特許文献１に記載された技術が想定されるが、開示されている技術では、画角の異なる２つの画像を、画面領域を分割して表示している。
これにより表示に対するユーザの視線の移動が大きくなったり、動きがある被写体については広角画像と高解像度画像の視認が難しくなったりする場合がある。また特許文献１には高解像度画像内に広角画像を表示することも開示されているが、この場合、広角画像に現れる被写体の視認が困難になる場合がある。

【0006】

そこで本開示では、第１の撮像装置で撮像された比較的撮像視野の広い画像と、第２の撮像装置で撮像された比較的撮像視野の狭い画像を適切に表示する技術を提案する。

【課題を解決するための手段】

【0007】

本技術に係る画像処理装置は、第１の撮像装置で撮像された第１画像内に、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の画像である第２画像を配置する合成処理を行う画像合成部を備える。
例えば第１の撮像装置の撮像視野の画像として比較的広い視野の第１画像内に、比較的狭い視野の第２画像を重畳した表示画像を生成する。

【0008】

上記した本技術に係る画像処理装置においては、前記第１画像内で、前記第２の撮像装置の撮像視野の範囲を検出する範囲検出部と、前記第１画像に、前記範囲検出部で検出した撮像視野の範囲を示す撮像画角枠を合成する撮像画角枠合成部と、を備えることが考えられる。
即ち第１画像上で、第２の撮像装置で撮像されている被写体の範囲を撮像画角枠として示す画像を生成し、撮像画角枠を含む画像が表示されるようにする。

【0009】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定することが考えられる。
第１画像上に第２画像を合成する際に、その合成する位置を固定位置ではなく、撮像画角枠の位置に応じて設定するようにする。

【0010】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に対して所定距離関係で追従するように設定することが考えられる。
第１画像上に合成する第２画像の配置位置は、例えば撮像画角枠に対して一定距離を保つように、例えばフレーム毎に設定することで、第２画像が撮像画角枠に追従するような状態とする。

【0011】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の水平方向の位置変化に対して所定の水平距離を保って追従するように設定することが考えられる。
例えば第１画像内で撮像画角枠が水平方向（左右方向）に移動することに応じて、水平方向の一定距離を保って第２画像が移動するようにする。

【0012】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の垂直方向の位置変化に対して所定の垂直距離を保って追従するように設定することが考えられる。
例えば第１画像内で撮像画角枠が垂直方向（上下方向）に移動することに応じて、垂直方向の一定距離を保って第２画像が移動するようにする。

【0013】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像の座標空間において、前記第２画像の配置位置の座標値を、前記撮像画角枠の座標値を用いた演算で算出することが考えられる。
例えば撮像画角枠の中心や四隅の座標値を用いて、撮像画角枠と所定距離を保つような第２画像の配置位置の座標を計算する。

【0014】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内を複数のエリアに分割設定し、前記撮像画角枠が位置するエリアに応じて選択される計算式により前記第２画像の配置位置を設定することが考えられる。
第１画像上に合成する第２画像の配置位置を、第１画像内で位置が変動する撮像画角枠に対応して設定する。この場合に、第１画像内を複数エリアに分割設定し、撮像画角枠（例えば撮像画角枠の中心）が位置するエリアに応じた計算式を選択して、第２画像の位置を設定する。

【0015】

上記した本技術に係る画像処理装置においては、前記複数のエリアには、計算式の選択状態を維持する緩衝エリアが含まれることが考えられる。
第１画像上を複数のエリアに分割する場合に、全てのエリアについて、そのエリアに応じた計算式を用意するのではなく、それまでの計算式をそのまま用いる緩衝エリアも設定する。

【0016】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記撮像画角枠に対する前記第２画像の配置方向が変更されるように前記第２画像の配置位置を再設定することが考えられる。
例えば撮像画角枠に対する第２画像の配置方向が右側として第２画像の配置位置を設定したときに、第２画像が第１画像からはみ出るような状態となった場合は、撮像画角枠に対する第２画像の配置方向が左側となるように再設定を行う。
或いは撮像画角枠に対する第２画像の配置方向が上方側として第２画像の配置位置を設定したときに、第２画像が第１画像からはみ出るような状態となった場合は、撮像画角枠に対する第２画像の配置方向が下方側となるように再設定を行う。

【0017】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記第２画像の配置位置を前記第１画像の範囲内方向にシフトさせるように、前記第２画像の配置位置を再設定することが考えられる。
例えば撮像画角枠に対して設定した第２画像の配置位置が、第１画像からはみ出るような位置であった場合は、はみ出しを抑える方向に第２画像の配置方向をシフト移動させる。

【0018】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記第２画像の合成処理を行わないことが考えられる。
つまり第２画像の配置位置が第１画像からはみ出るような位置であった場合は、第２画像の表示が行われないようにする。

【0019】

上記した本技術に係る画像処理装置においては、前記範囲検出部が前記第１画像内に前記第２の撮像装置を検出した場合、前記第２画像を表示画像として出力する制御を行う出力制御部を、更に備えることが考えられる。
つまり第１の撮像装置の前に第２の撮像装置が位置し、第２の撮像装置の背面が第１画像に写されている状態である。この場合は、第１画像への第２画像の合成を行わず、第２画像のみがユーザに対して表示されるようにする。
出力制御部には、画像合成部が該当する場合がある。即ち画像合成部が第２画像を表示画像として出力する制御を行う場合である。また画像合成部を介さないで第２の撮像装置の第２画像が出力される場合も想定される。その場合、画像合成部以外で出力制御部としての機能が発揮されればよい。

【0020】

上記した本技術に係る画像処理装置においては、前記範囲検出部が前記第１画像内に前記第２の撮像装置の撮像視野の範囲を検出できない場合、前記画像合成部は前記第１画像内における前記第２画像の配置位置を、予め設定された固定位置に設定することが考えられる。
例えば第１の撮像装置と第２の撮像装置の撮像視野方向が全く異なるような場合、第１画像内に第２の撮像装置の撮像視野の範囲が存在しないことになる。そのような場合は、第２画像が第１画像内の特定の位置に合成されて表示されるようにする。

【0021】

上記した本技術に係る画像処理装置においては、前記範囲検出部が前記第１画像内に前記第２の撮像装置の撮像視野の範囲を検出できない場合、 前記第１画像を表示画像として出力する制御を行う出力制御部を、更に備えることが考えられる。
例えば第１の撮像装置と第２の撮像装置の撮像視野方向が全く異なり、第１画像内に第２の撮像装置の撮像視野の範囲が存在しないような場合は、第２画像を表示せず、第１画像が表示されるようにする。
この場合も、出力制御部には、画像合成部が該当する場合がある。即ち画像合成部が第１画像を表示画像として出力する制御を行う場合である。また画像合成部を介さないで第１の撮像装置の第１画像が出力される場合も想定される。その場合、画像合成部以外で出力制御部としての機能が発揮されればよい。

【0022】

上記した本技術に係る画像処理装置においては、前記画像合成部は、前記撮像画角枠のサイズに応じて、前記第１画像に対して前記第２画像を合成するか否かを決定することが考えられる。
撮像画角枠のサイズは、第２の撮像装置の画角（ズーム状態）に応じて変化し、特に広角で撮像しているときは、第２の撮像装置の画角が第１の撮像装置の画角に近づき、第１画像内で撮像画角枠が占める範囲が広くなる。このような場合に第２画像を表示させないようにする。

【0023】

上記した本技術に係る画像処理装置においては、前記撮像画角枠合成部は、非長方形の前記撮像画角枠を前記第１画像に合成することが考えられる。
例えば撮像画角枠を、第１，第２の撮像装置の視野方向の差などに応じた形状に表示させる。

【0024】

上記した本技術に係る画像処理装置においては、前記第１画像内で、前記第２の撮像装置のフォーカス枠の範囲を検出する範囲検出部と、前記第１画像に、前記範囲検出部で検出した合焦領域を示すフォーカス枠を合成するフォーカス枠合成部と、を備え、前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記フォーカス枠の位置に応じて設定することが考えられる。
即ち第１画像上で、第２の撮像装置のフォーカス枠が表示されるようにする。そして例えばフォーカス枠の中心の座標値を基準として、撮像画角枠と所定距離を保つような第２画像の配置位置の座標を計算する。

【0025】

本技術に係る画像処理方法は、画像処理装置が、第１の撮像装置で撮像された第１画像内に、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の画像である第２画像を配置する合成処理を行う画像処理方法である。
これにより比較的広い撮像視野の第２画像内で第１画像の表示が行われるようにする。
本技術に係るプログラムは、上記画像処理方法の処理を画像処理装置に実行させるプログラムである。これにより本技術の画像処理装置を容易に実現できるようにする。

【図面の簡単な説明】

【0026】

【図1】本技術の実施の形態の構成例のブロック図である。

【図2】実施の形態の２つの撮像装置の例及び使用状態の説明図である。

【図3】実施の形態の２つの撮像装置の例の説明図である。

【図4】実施の形態で表示される周辺視野画像、撮像画角枠、拡大画の説明図である。

【図5】実施の形態の撮像装置のブロック図である。

【図6】第１から第５の実施の形態の処理例のフローチャートである。

【図7】第１の実施の形態の拡大画配置座標計算処理のフローチャートである。

【図8】実施の形態の各種計算で用いるｘ－ｙ座標系の説明図である。

【図9】実施の形態の各種計算で用いる座標値の説明図である。

【図10】第１の実施の形態のエリア分割と拡大画配置位置設定の説明図である。

【図11】実施の形態の接眼状態となったときの表示画像の説明図である。

【図12】実施の形態の拡大画の特定位置表示又は非表示の状態の説明図である。

【図13】実施の形態の撮像画角枠のサイズによる拡大画の非表示の説明図である。

【図14】実施の形態の拡大画のはみ出しの際の処理の説明図である。

【図15】第２の実施の形態のフォーカス枠の説明図である。

【図16】第２の実施の形態の拡大画配置座標計算処理のフローチャートである。

【図17】第３の実施の形態の拡大画配置座標計算処理のフローチャートである。

【図18】第４の実施の形態の拡大画配置設定の説明図である。

【図19】第５の実施の形態の拡大画配置設定の説明図である。

【図20】第５の実施の形態の拡大画配置座標計算処理のフローチャートである。

【図21】第５の実施の形態のエリア分割設定の変形例の説明図である。

【図22】第６の実施の形態の拡大画配置設定の説明図である。

【図23】第６の実施の形態の撮像画角枠と拡大画の配置関係の説明図である。

【図24】第６、第７の実施の形態の処理例のフローチャートである。

【図25】第６の実施の形態の配置座標再計算処理のフローチャートである。

【図26】第６の実施の形態の拡大画のはみ出しの際の左右変更の説明図である。

【図27】第６の実施の形態の拡大画のはみ出しの際の水平シフトの説明図である。

【図28】第７の実施の形態の拡大画配置設定の説明図である。

【図29】第７の実施の形態の撮像画角枠と拡大画の配置関係の説明図である。

【図30】第７の実施の形態の配置座標再計算処理のフローチャートである。

【図31】第７の実施の形態の拡大画のはみ出しの際の垂直シフトの説明図である。

【図32】実施の形態の撮像画角枠の表示態様の説明図である。

【発明を実施するための形態】

【0027】

以下、実施の形態を次の順序で説明する。
＜１．画像処理装置の構成＞
＜２．第１の実施の形態＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．第６の実施の形態＞
＜８．第７の実施の形態＞
＜９．撮像画角枠の表示＞
＜１０．まとめ及び変形例＞

【0028】

＜１．画像処理装置の構成＞
図１に実施の形態としての画像処理装置３の構成例を示す。この図１では、撮像装置１Ａ、１Ｂ、表示装置２、及び画像処理装置３を示している。

【0029】

撮像装置１Ａ、１Ｂは例えば別体の２台の画像撮像可能な機器を示している。この撮像装置１Ａ、１Ｂは動画や静止画の撮像を行い、その記録を行うことのできる装置である。図２，図３に撮像装置１Ａ、１Ｂの例を示す。

【0030】

図２Ａは一例として、ゴーグル型で表示及び撮像が可能な撮像装置１Ａと、手持ち型の一般的なデジタルカメラとしての撮像装置１Ｂを示している。
例えばユーザは、ゴーグル型の撮像装置１Ａを頭部に装着する。この撮像装置１Ａは例えば撮像部３２を有し、比較的広い撮像視野で画像撮像を行うことが可能とされるとともに、ゴーグル内の表示部（不図示）で撮像画像が表示されるような装置である。
撮像装置１Ｂは静止画や動画を撮像し、メモリカードなどの記録媒体に記録することができる装置である。
撮像装置１Ａと撮像装置１Ｂは有線通信或いは無線通信で画像データやその他のデータの通信が可能とされている。

【0031】

撮像装置１Ａ、１Ｂは、この図２Ａのような組み合わせに限らず、各種の撮像装置の組み合わせが想定される。
例えば図３Ａでは、撮像装置１Ａ、１Ｂが共に手持ち型のデジタルカメラである場合を示している。
図３Ｂでは、撮像装置１Ａが例えば魚眼レンズなどにより全周囲方向を撮像する全方位カメラであり、撮像装置１Ｂが撮像機能を有するスマートフォン等の携帯端末である例を示している。
図３Ｃでは、撮像装置１Ａが監視カメラで、撮像装置１Ｂがビデオカメラである例を示している。

【0032】

これらのように、撮像装置１Ａ、１Ｂの組み合わせは多様であり、例示した以外にも各種の組み合わせが想定される。
但し本実施の形態では少なくとも、撮像装置１Ｂは、撮像装置１Ａの撮像視野内の一部の視野を撮像可能な装置とされているものとする。例えば図２Ａの場合、ゴーグル型の撮像装置１Ａは、広い撮像視野（画角）で周辺視野を撮像可能とされることで、ユーザは内部の表示部で周辺視野の光景を視認できる。そのうえで撮像装置１Ｂにより、当該周辺視野内の存在する目標被写体の撮像を行うことができる。

【0033】

図１では以上のような２台の撮像装置１Ａ、１Ｂを示しているが、画像処理装置３、表示装置２は、撮像装置１Ａ、１Ｂと別体の装置としてもよいし、それぞれ撮像装置１Ａ又は撮像装置１Ｂに内蔵されるものでもよい。
例えば図２Ａのようにゴーグル型の撮像装置１Ａと、手持ち型のデジタルカメラである撮像装置１Ｂを想定した場合、図１の画像処理装置３と表示装置２は撮像装置１Ａに内蔵されることが考えられる。
もちろん画像処理装置３と表示装置２が撮像装置１Ｂに内蔵されたり、画像処理装置３が撮像装置１Ｂに内蔵され表示装置２が撮像装置１Ａに内蔵されたり、その逆に画像処理装置３が撮像装置１Ａに内蔵され表示装置２が撮像装置１Ｂに内蔵されたりするような構成も想定される。

【0034】

以下では撮像装置１Ａ、１Ｂは別体の装置として説明していくが、１台の撮像装置において２系統の撮像系（レンズ系やイメージセンサ等）を備えて、撮像視野の差を持つ２系統の画像撮像を行うことができる構成を想定した場合、その２系統の撮像系を、撮像装置１Ａ、１Ｂに当てはめて考えることもできる。

【0035】

画像処理装置３は、その処理機能として、範囲検出部１０、撮像画角枠合成部１１、画像合成部１２、表示制御部１３としての機能を有する。
例えば画像処理装置３は、マイクロコンピュータ等の演算装置を有するビデオプロセッサとして構成され、ソフトウエアプログラムにより、ＣＰＵ等の演算部において上記の範囲検出部１０、撮像画角枠合成部１１、画像合成部１２、表示制御部１３としての処理機能が実現される。

【0036】

画像処理装置３には、撮像装置１Ａ、１Ｂにより撮像された画像データや、各種付加情報が供給される。
撮像装置１Ａ、１Ｂから画像処理装置３に供給される画像データは、例えば撮像を行うユーザが被写体範囲を確認するための画像データである。このため、いわゆるスルー画としての比較的解像度を落とした画像データでもよいし、ロウ画像データ、或いはロウ画像を現像処理した画像データなどであって、比較的解像度の高いデータであってもよい。
撮像装置１Ａ、１Ｂから画像処理装置３に供給される付加情報としては、例えば、撮像時のフォーカス制御位置や、ズームレンズ制御位置（或いは画角）の情報や、露光情報や、方位センサ、測距センサ、角速度センサ、加速度センサ、照度センサ、位置センサなどの撮像装置１Ａ、１Ｂが搭載している各種センサの検出情報や、撮像装置１Ａ又は撮像装置１Ｂに対するユーザの操作情報などが想定される。

【0037】

画像処理装置３における範囲検出部１０は、撮像装置１Ａで撮像された第１画像内で、撮像装置１Ｂの撮像視野の範囲を検出する処理を行う。例えば図２Ａのようなゴーグル型の撮像装置１Ａで周辺視野の撮像している場合に、その周辺視野の画像内で、撮像装置１Ｂで撮像している視野の範囲を検出する処理である。
例えば図４Ａに周辺視野画像２０として撮像装置１Ａで撮像されている画像の例を示している。この中で撮像装置１Ｂが、撮像画角枠２１で示す視野の範囲を撮像しているとする。範囲検出部１０は、周辺視野画像２０内において、このように撮像画角枠２１で示される範囲を検出する処理を行うものである。

【0038】

範囲検出部１０が検出する周辺視野画像２０内での撮像装置１Ｂの撮像視野の位置は、撮像装置１Ａと撮像装置１Ｂのそれぞれの視野方向に応じて変化する。また範囲検出部１０が検出する周辺視野画像２０内での撮像装置１Ｂの撮像視野のサイズは、撮像装置１Ａと撮像装置１Ｂの画角の差に応じて変化する。例えば撮像装置１Ｂのズーム状態に応じて変化する。
従って例えばフレーム毎に範囲検出部１０は、撮像装置１Ａで撮像された第１画像内における撮像装置１Ｂの撮像視野の範囲を検出する。

【0039】

例えば範囲検出部１０は、撮像装置１Ａから周辺視野の画像データ、付加情報を取得し、撮像装置１Ｂからも撮像している視野範囲の画像データや付加情報を取得できる。範囲検出部１０は、撮像装置１Ａと撮像装置１Ｂの撮像条件の差分を検知し、周辺視野に対する撮像装置１Ｂの撮像視野を検出する。撮像条件の差分とは、例えば撮像方向差や、画角差（拡大率）である。撮像方向差と画角差を取得すれば、撮像装置１Ａの周辺視野内における撮像装置１Ｂの撮像視野を計算により検出することができる。

【0040】

また範囲検出部１０は、画像解析により周辺視野に対する撮像装置１Ｂの撮像視野を算出するようにしてもよい。例えば撮像装置１Ｂからの画像データにおける被写体と、撮像装置１Ａからの周辺視野の画像データについて、いわゆるブロックマッチングや特徴点抽出及び特徴点マッチングなどの処理を行い、一致部分を検出することで、撮像装置１Ａの周辺視野内における撮像装置１Ｂの撮像視野を検出することも可能である。

【0041】

撮像画角枠合成部１１は範囲検出部１０が検出した撮像視野の範囲を示す撮像画角枠２１を合成する処理を行う。つまり図４Ａに破線で示したような撮像画角枠２１としての枠画像を、周辺視野画像２０に合成する処理である。
これによりユーザが、撮像画角枠２１が付加された周辺視野画像２０を視認し、撮像装置１Ｂでどのあたりを撮像しているかを確認できるようにする。
上述のように範囲検出部１０が検出する周辺視野画像２０内での撮像装置１Ｂの撮像視野の位置やサイズはフレーム毎に変化するので、撮像画角枠合成部１１はフレーム毎に、検出された範囲に撮像画角枠２１の画像を合成するような処理を行うことになる。

【0042】

画像合成部１２は、撮像装置１Ａで撮像された第１画像（周辺視野画像２０）内に、撮像装置１Ｂの撮像視野の画像である第２画像を重ね合わせるように配置する合成処理を行う。第２画像の例が図４Ａに示す拡大画２２である。撮像装置１Ｂで撮像されて拡大画２２として表示される画像内容は、撮像画角枠２１内の画像を拡大した画像内容となる。
これによりユーザが、撮像装置１Ａによる周辺視野画像２０を見ながら、撮像装置１Ｂによる撮像画像を詳細に視認できるようにする。
拡大画２２のサイズは固定サイズとすればよいが、例えばユーザ操作により可変設定できるようにしてもよい。
なお、撮像画角枠２１のサイズは撮像装置１Ａ、１Ｂの画角差によるので、場合によっては、撮像画角枠２１のサイズが拡大画２２と同等、もしくは拡大画２２よりも大きくなってしまい、画像内容が拡大されたものとはいえない場合が生ずる可能性はあるが、本来は拡大画像の表示目的で表示させるため、説明上「拡大画２２」と呼ぶ。なお後述するが、本実施の形態では、撮像画角枠２１のサイズによって拡大画２２の画像が「拡大」された状態とならない場合は、拡大画２２を表示させないため、その意味では表示された拡大画２２が拡大画像でない場合は生じないことになる。

【0043】

表示制御部１３は、例えば図４Ａのように合成された画像を表示装置２において表示させる制御を行う。
ユーザは表示装置２において図４Ａのような画像を視認できる。従って周辺視野画像２０内で、撮像装置１Ｂで撮像している範囲を撮像画角枠２１で確認しつつ、さらに拡大画２２で詳細に視認できることになる。
なお図では撮像画角枠２１を破線とし、拡大画２２の枠を実線で囲って示しているが、それぞれ異なる表示態様とすることで、ユーザにとって撮像画角枠２１と拡大画２２の区別がつきやすくなる。異なる表示態様は、枠の色を変えることとしたり、一方の画像をハイライトさせたり、カラー／モノクロの別としたり、輝度を異なるようにしたりするなど、多様な例が考えられる。

【0044】

図１のような構成を図２Ａのように撮像装置１Ａ、１Ｂで実現する場合、例えばゴーグル型の撮像装置１Ａに画像処理装置３、表示装置２が内蔵されることが考えられる。
その場合の撮像装置１Ａの構成例を図５に示す。

【0045】

撮像装置１Ａは、撮像部３２、画像信号処理部３３、画像解析部３４、制御部３５、操作部３６、センサ部３７、表示制御部３８、表示部３９、記憶部４０、外部入力部４１を有する。

【0046】

撮像部３２は撮像のための撮像光学系やイメージセンサを有する。イメージセンサは、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子とされ、撮像光学系を介して入射する被写体からの光を受光し、電気信号に変換して出力する。イメージセンサは、受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像データを、後段の画像信号処理部３３に出力する。

【0047】

画像信号処理部３３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。画像信号処理部３３は、撮像部３２から入力される画像データに対して、各種の処理を施す。
例えば画像信号処理部３３は、通常の可視光画像として画像信号を想定した場合、Ｒ（赤），Ｇ（緑），Ｂ（青）の黒レベルを所定のレベルにクランプするクランプ処理、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する処理等を施す。
さらに画像信号処理部３３は、各種の信号処理が施された画像信号に対して、必要な解像度変換処理、例えば記録用や通信出力用、或いはモニタ画像用の解像度変換を実行する場合もある。
また画像信号処理部３３は、解像度変換された画像データについて、例えば記録用や通信用の圧縮処理、符号化処理等を行う場合もある。

【0048】

画像解析部３４は、画像信号処理部３３での所定の処理が行われた画像信号の各フレーム（又は間欠的なフレーム）を処理対象として画像解析処理を行う。例えばパターンマッチング等の手法により被写体としての物体の種別や動作状態の判定や、特徴量の計測のための物体の領域や属性の判定、或いはそれに基づく計測等を行うことができる。
画像解析部３４で判定した情報は制御部３５に供給され、計測のための一連の処理に用いられる。
なお画像解析部３４はＡＩ（artificial intelligence）エンジンとして構成され、機械学習、ディープラーニング等に基づく画像認識処理を行い、例えば物体の判定や、特徴点の認識ができるようにしてもよい。

【0049】

制御部３５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１Ａの全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

【0050】

このような制御部３５は、撮像部３２におけるシャッタースピード、露光調整、フレームレート等の撮像動作に関する制御や、画像信号処理部３３における各種信号処理のパラメータ制御、画像解析部３４による解析処理の制御を行う。また制御部３５は、ユーザの操作に応じた設定処理、撮像動作制御、表示動作制御等を行う。
なお、制御部３５は画像解析部３４の機能を含むものであってもよい。

【0051】

操作部３６は、装置筐体に設けられるキー、スイッチ、ダイヤル等の操作子、或いはタッチパネルなどが想定される。この操作部３６によっては、例えば電源オン／オフ操作、各種設定操作、目標値の入力操作、プログラムの起動等がユーザによって行われることを想定している。操作部３６は入力された操作に応じた信号を制御部３５へ送る。

【0052】

センサ部３７は、必要に応じて設けられる各種センサを包括的に示している。例えば音声センサ、位置センサ、照度センサ、接触センサ、温度センサ、測距センサ、加速度センサ、角速度センサ、気圧センサ、高度センサ、圧力センサなど、各種のセンサが考えられる。

【0053】

表示部３９はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えばゴーグル型の撮像装置１Ａにおいてゴーグル内に設けられるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスで形成される。ユーザは撮像装置１Ａを装着することで眼前の表示部３９で被写体の画像を見ることができる。
表示制御部３８は表示部３９における表示動作を実行させる処理を行う。例えばキャラクタジェネレータや表示ドライバ等を有し、制御部３５の制御に基づいて、表示部３９に各種の表示、例えば図４Ａのような画像表示を実行させる。
また表示制御部３８は表示部３９において、記録媒体に記録した静止画や動画を再生表示させたりするようにしてもよい。
また表示制御部３８は制御部３５の指示に基づいて、表示部３９において各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させるようにしてもよい。

【0054】

記憶部４０は、例えば不揮発性メモリからなり、例えば撮像部３２で撮像された静止画データや動画データ等の画像ファイルや、画像ファイルの属性情報、サムネイル画像等を記憶する。
記憶部４０の実際の態様は多様に考えられる。例えば記憶部４０は、撮像装置１Ａに内蔵されるフラッシュメモリでもよいし、撮像装置１Ａに着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１Ａに内蔵されている形態として記憶部４０はＨＤＤ（Hard Disk Drive）などとして実現されることもある。

【0055】

外部入力部４１は、有線通信又は無線通信により外部機器からの情報を入力する。この場合、撮像装置１Ｂからの画像データや付加情報の入力を行うための通信部として構成されることが考えられる。

【0056】

以上の構成において、例えば画像信号処理部３３、画像解析部３４、制御部３５、表示制御部３８による機能の一部として、図１の画像処理装置３が実現される。また表示部３９により図１の表示装置２が実現される。
なお図５は撮像装置１Ａの構成として説明したが、撮像装置１Ｂにおいても通常のカメラとして機能する範囲で図５と概略同等の構成を備える。

【0057】

＜２．第１の実施の形態＞
以下、実施の形態の画像処理装置３の処理として各種の例を説明していく。
本実施の形態では、画像処理装置３（例えば画像処理装置３を内蔵する撮像装置１Ａ）は、表示部３９に図４Ａのような表示を行うことで、ユーザが周辺視野画像２０とともに、撮像画角枠２１や拡大画２２を見ることができる。

【0058】

拡大画２２は、例えば周辺視野画像２０内の固定位置に重ねて表示させることが考えられる。特に周辺視野画像２０内に拡大画２２を表示させることで、ユーザは、周辺視野画像２０の全体と拡大画２２の両方を、さほど視線移動させずに視認でき、両方、つまり周辺と目標被写体の確認に便利となる。もちろん撮像画角枠２１も周辺視野画像２０内となることで視認が容易で、ユーザは拡大画２２に写される被写体の位置状態を認識し易い。

【0059】

但し、上述のように撮像画角枠２１の位置やサイズは変動する。このため撮像画角枠２１が拡大画２２と重なってしまう位置やサイズとなる場合もある。その場合、撮像画角枠２１と拡大画２２の一方が見えにくくなることや、重なりにより視認性が悪化することが生ずる。

【0060】

そこで実施の形態では、撮像画角枠２１に応じて拡大画２２の配置位置が可変設定されるようにすることで、見やすい表示状態が維持されるようにする。
例えば図４Ａのように、拡大画２２が撮像画角枠２１の右側に所定距離を開けて配置されるようにするが、撮像画角枠２１が周辺視野画像２０内の右側の位置になった場合、例えば図４Ｂのように、拡大画２２が左側に所定距離を開けて配置されるようにする。
例えばこのようにすることで、撮像画角枠２１の位置やサイズにかかわらず、撮像画角枠２１と拡大画２２の両方が視認し易い状態となりやすい。

【0061】

第１の実施の形態としての具体例を図６，図７で説明する。図６，図７は範囲検出部１０、撮像画角枠合成部１１、画像合成部１２、表示制御部１３の機能を有する画像処理装置３の処理である。
特にこの処理例は、撮像装置１Ａで撮像されている周辺視野画像２０を表示装置２において表示させているときに、撮像装置１Ｂで撮像されている画像（スルー画等）の撮像画角枠２１や拡大画２２を周辺視野画像２０に重ねて表示させる場合の処理である。
この図６の処理は例えば撮像装置１Ｂで撮像される画像データの１フレーム毎に行う。なお間欠的なフレーム毎に行うようにしてもよい。

【0062】

図６のステップＳ１０１で画像処理装置３は、範囲検出部１０の機能により、視野範囲検出を行う。この処理は、現在撮像装置１Ｂで撮像されたフレームの画像が、撮像装置１Ａで撮像されている周辺視野画像２０内のどの範囲に相当する画像であるかを検出する処理である。即ち撮像画角枠２１を表示する範囲を検出することになる。
上述のように画像処理装置３は、撮像装置１Ａと撮像装置１Ｂの撮像条件の差分を検知し、周辺視野に対する撮像装置１Ｂの撮像視野を検出する。或いは画像解析により周辺視野に対する撮像装置１Ｂの撮像視野を検出する。

【0063】

なお、周辺視野画像２０としての視野は、撮像装置１Ａの撮像方向やズーム状態により変動し、また、撮像装置１Ｂの撮像画像の視野も撮像方向やズーム状態により変動するため、このステップＳ１０１での視野範囲検出は、撮像装置１Ａの現在のフレームの撮像画像内で、撮像装置１Ｂの現在のフレームの撮像画像に合致する画像の範囲を検出するものとなる。

【0064】

ステップＳ１０３で画像処理装置３は、周辺視野画像２０内で撮像装置１Ｂの撮像視野が検出できたか否かにより処理を分岐する。例えば図２Ｂのように、撮像装置１Ｂが撮像装置１Ａのレンズ前で視野を塞いでしまった場合や、図２Ｃのように撮像装置１Ａ、１Ｂの撮像方向が大きく異なる場合など、周辺視野画像２０内に撮像装置１Ｂの撮像視野が含まれなくなる場合もある。
一方、図２Ａのように撮像装置１Ａ、１Ｂがほぼ同じ撮像方向である場合や、若干撮像方向がずれている程度の場合は、周辺視野画像２０内に撮像装置１Ｂの撮像視野が含まれ、ステップＳ１０１の検出が可能となる。

【0065】

まず、周辺視野画像２０内において撮像装置１Ｂの撮像視野が検出できた場合について説明していく。
その場合、画像処理装置３はステップＳ１０２からステップＳ１０３に進み、表示する撮像画角枠２１のサイズを判定する。即ちステップＳ１０１で検出した周辺視野画像２０内に撮像装置１Ｂの撮像視野の範囲のサイズであり、例えばその面積である。
ステップＳ１０４では、撮像画角枠２１のサイズが大きいと判定されるか否かにより処理を分岐する。この場合、例えば撮像画角枠２１のサイズが拡大画２２のサイズより大きいか否かを判定する。或いは撮像画角枠２１のサイズが所定値より大きいか否かを判定する。このステップＳ１０３，Ｓ１０４及びサイズが大きいと判定される場合の処理については後述する。

【0066】

例えば撮像装置１Ａ、１Ｂの画角の差が大きく、これによりステップＳ１０４でサイズ大と判定されなければ、画像処理装置３はステップＳ１０５に進んで拡大画配置座標計算を行う。
この拡大画配置座標計算の処理を図７に示している。

【0067】

ここで図７の説明に先立って、計算に用いる座標系について図８で説明しておく。
図８では、周辺視野画像２０の中心座標を原点（０，０）としたｘ軸、ｙ軸による座標系を示している。この周辺視野画像２０の座標系において撮像画角枠２１と拡大画２２の位置を座標で表現する。

【0068】

即ち図９に示すように、撮像画角枠２１の座標やサイズを次のように示す。
中心座標：（ｘ0，ｙ0）
左上隅座標：（ｘul，ｙul）
右上隅座標：（ｘur，ｙur）
左下隅座標：（ｘdl，ｙdl）
右下隅座標：（ｘdr，ｙdr）
垂直方向サイズ：Ｈ
水平方向サイズ：Ｗ

【0069】

また拡大画２２の座標やサイズを次のように示す。
中心座標：（Ｘ0，Ｙ0）
左上隅座標：（Ｘul，Ｙul）
右上隅座標：（Ｘur，Ｙur）
左下隅座標：（Ｘdl，Ｙdl）
右下隅座標：（Ｘdr，Ｙdr）
垂直方向サイズ：Ｈz
水平方向サイズ：Ｗz

【0070】

画像処理装置３は、拡大画配置座標計算として図７のステップＳ１５０で撮像画角枠情報を取得する。即ち図６のステップＳ１０１で求めた視野範囲の情報に基づき、図９に示した撮像画角枠２１の中心や四隅の各座標値を取得する。

【0071】

ステップＳ１５１で画像処理装置３は、撮像画角枠２１の中心、即ち中心座標（ｘ0，ｙ0）が位置するエリアを探索する。
ここで画像処理装置３は、周辺視野画像２０内を分割した複数のエリアを設定している。一例として図１０Ａに、周辺視野画像２０を境界線ＢＤ１，ＢＤ２で水平方向に３分割したエリアＡＲ１，ＡＲ２，ＡＲ３を示している。
なお、各エリアは、同面積となるように分割してもよいが、図１０Ａでは中央のエリアＡＲ２を狭くした例としている。
図７のステップＳ１５１のエリア探索では、中心座標（ｘ0，ｙ0）がエリアＡＲ１，ＡＲ２，ＡＲ３のうちのいずれのエリアに位置するかを求めることになる。画像処理装置３は、各エリアＡＲ１，ＡＲ２，ＡＲ３の範囲又は境界を座標値で把握していることで、この処理は座標値の簡易な比較計算により実行できる。

【0072】

ステップＳ１５２で画像処理装置３は、中心座標（ｘ0，ｙ0）がエリアＡＲ３に位置するか否かにより処理を分岐する。
中心座標（ｘ0，ｙ0）がエリアＡＲ１またはエリアＡＲ２に位置する場合、画像処理装置３はステップＳ１５３に進み、エリアＡＲ１，ＡＲ２用に設定された計算式を用いて拡大画２２の配置座標計算を行う。
また中心座標（ｘ0，ｙ0）がエリアＡＲ３に位置する場合、画像処理装置３はステップＳ１５４に進み、エリアＡＲ３用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0073】

例えば図１０Ｂは撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ２に位置する場合、図１０Ｃは撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ１に位置する場合をそれぞれ示している。いずれの場合も、撮像画角枠２１の右側に所定の水平オフセット量offset_xをもって拡大画２２が配置されるようにする。
一方、図１０Ｄは撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ３に位置する場合を示している。この場合は、撮像画角枠２１の左側に、同じく水平オフセット量offset_xをもって拡大画２２が配置されるようにする。

【0074】

このように撮像画角枠２１の中心座標（ｘ0，ｙ0）が位置するエリアに応じて、拡大画２２の配置位置が右側と左側で異なるようにする。その上で、拡大画２２は撮像画角枠２１に対して一定の水平オフセット量offset_xをもって配置されるようにする。

【0075】

このような拡大画２２の配置のための配置座標計算としては各種の例が考えられるが、まずは一例として、撮像画角枠２１の端辺を基準とする計算例を示す。

【0076】

・エリアＡＲ１，ＡＲ２用の計算式
撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ１，ＡＲ２に位置する場合には、ステップＳ１５３の処理として画像処理装置３は、拡大画２２の四隅の座標を次のように求める。
（Ｘul，Ｙul）＝（ｘr＋offset_x ， ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（ｘr＋offset_x＋Ｗz ， ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl）＝（ｘr＋offset_x ， ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（ｘr＋offset_x＋Ｗz ， ｙ0－Ｈz／２）
ここで“ｘr”は撮像画角枠２１の右端辺のｘ座標値である（図１０Ｂ、図１０Ｃ参照）。即ちｘr＝ｘur＝ｘdrである。

【0077】

・エリアＡＲ３用の計算式
撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ３に位置する場合には、ステップＳ１５４の処理として画像処理装置３は、拡大画２２の四隅の座標を次のように求める。
（Ｘul，Ｙul）＝（ｘl－offset_x－Ｗz ， ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（ｘl－offset_x ， ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl）＝（ｘl－offset_x－Ｗz ， ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（ｘl－offset_x ， ｙ0－Ｈz／２）
また“ｘl”は撮像画角枠２１の左端辺のｘ座標値である（図１０Ｄ参照）。即ちｘl＝ｘul＝ｘdlである。

【0078】

拡大画２２の配置のための配置座標計算は、上記に代えて、撮像画角枠２１の中心座標（ｘ0，ｙ0）を基準とする計算例によっても以下のように可能である。

【0079】

・エリアＡＲ１，ＡＲ２用の計算式
撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ１，ＡＲ２に位置する場合には、ステップＳ１５３の処理として画像処理装置３は、次のように拡大画２２の中心座標（Ｘ0，Ｙ0）を求める。
（Ｘ0，Ｙ0）＝（ｘ0＋Ｗ／２＋offset_x＋Ｗｚ／２ ， ｙ0）
そして拡大画２２の四隅の座標値を次のように求める。
（Ｘul，Ｙul）＝（Ｘ0－Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（Ｘ0＋Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl） ＝（Ｘ0－Ｗz／２ ， Ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（Ｘ0＋Ｗz／２ ， Ｙ0－Ｈz／２）

【0080】

・エリアＡＲ３用の計算式
撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ３に位置する場合には、ステップＳ１５４の処理として画像処理装置３は、次のように拡大画２２の中心座標（Ｘ0，Ｙ0）を求める。
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ／２－offset_x－Ｗｚ／２ ， ｙ0）
そして拡大画２２の四隅の座標値（Ｘul，Ｙul）（Ｘur，Ｙur）（Ｘdl，Ｙdl）（Ｘdr，Ｙdr）を上記同様に求める。

【0081】

例えば以上のような撮像画角枠２１の端辺または中心を基準とする計算により、図７のステップＳ１５３又はステップＳ１５４で拡大画２２の配置位置を計算したら、画像処理装置３は図６のステップＳ１０６に進む。
ステップＳ１０６で画像処理装置３は、拡大画２２の配置状態として、周辺視野画像２０からの許容外のはみ出しが生じているか否かを確認する。
はみ出しの確認に関する処理は後述する。

【0082】

拡大画２２について、周辺視野画像２０からの許容外のはみ出しが生じていないと判定した場合、画像処理装置３はステップＳ１０７に進み、周辺視野画像２０内で撮像画角枠２１と拡大画２２の表示制御を行う。
これにより、表示装置２には図１０Ｂ、図１０Ｃ、又は図１０Ｄのような配置状態で、周辺視野画像２０内において撮像画角枠２１及び拡大画２２が表示されることになる。
特に拡大画２２は撮像画角枠２１のエリアに応じた方向に、所定の水平オフセット量offset_xをもって表示されるため、撮像画角枠２１と拡大画２２は重複せず、また両方を視認し易い位置関係となる。

【0083】

ここまでは撮像画角枠２１と拡大画２２を適切に表示できる場合の処理となるが、これらが表示できない場合や、表示しない方がよい場合もある。
以下、このような例外的な処理について説明する。

【0084】

まず図６のステップＳ１０１で、周辺視野画像２０内において撮像装置１Ｂの視野範囲が検出できない場合について述べる。
この場合、画像処理装置３はステップＳ１０２からステップＳ１２０に進み、接眼検知判定を行う。
ここでいう接眼とは、図２Ｂのようにユーザが撮像装置１Ｂを撮像装置１Ａの直前（つまりユーザの眼前）に持ってきた場合のことである。

【0085】

画像処理装置３は、ステップＳ１２０で、このような接眼状態であることが検知されているか否かを判定する。
この判定手法は多様に考えられる。
例えば撮像装置１Ａの測距センサを用いて、撮像部３２のレンズ直前に他の物体が存在する場合は、接眼状態である可能性が高い。
また接眼状態では、撮像装置１Ａによる周辺視野画像２０は、例えば図１１Ａのように、画面の広範囲で撮像装置１Ｂの背面側が写されている（もしくはフォーカスの合わない状態となっている）ことが想定される。従って、画像解析により、撮像画像内に撮像装置１Ｂと推定される画像が広範囲で含まれている状態を接眼状態と判定することもできる。
また図２のように撮像装置１Ｂをユーザが手で持って撮像するものである場合、撮像装置１Ｂの角速度センサ、加速度センサ、姿勢センサ等の情報を取得し、撮像装置１Ｂが図２Ｂのような接眼状態の位置や姿勢になっていることを推定することもできる。
また、撮像装置１Ａの前面に接触センサを設けて、撮像装置１Ｂ等の物体が触れることを検知してもよい。
更に撮像装置１Ａ、１Ｂが高精度な位置センサを備える場合、その位置関係により接眼を検知できる。
画像処理装置３は、例えばこれらの手法の１又は複数の組み合わせにより、接眼状態の判定が可能である。

【0086】

接眼状態であると判定した場合、画像処理装置３はステップＳ１２１からステップＳ１２２に進み、拡大画２２のみの表示制御を行う。
即ち表示装置２において、周辺視野画像２０や撮像画角枠２１の表示を行わせず、例えば図１１Ｂのように拡大画２２のみを、画面内の中央に表示させる。

【0087】

接眼状態で周辺視野画像２０が例えば図１１Ａのようになると、周辺が適切に表示されなくなり、また撮像装置１Ｂの撮像視野の画像も含まれなくなる。また従って撮像画角枠２１も表示できない。
そこで撮像装置１Ｂの撮像画像としての拡大画２２のみを表示させることとする。特に図２Ｂのような姿勢の場合、ユーザは撮像装置１Ｂのビューファインダーを覗く感覚になるため、撮像装置１Ｂの撮像画像のみが表示されることも違和感を生じさせない。

【0088】

一方、ステップＳ１２０で接眼状態と判定されなかった場合は、画像処理装置３の処理はステップＳ１２１からステップＳ１２３に進む。
これは、例えば図２Ｃのように、撮像装置１Ａ、１Ｂの撮像方向が大きく異なり、撮像装置１Ｂの撮像視野の画像が撮像装置１Ａの撮像画像（周辺視野画像２０）内に存在しない場合と考えられる。

【0089】

そこで画像処理装置３は、例えば図１２Ａのように、周辺視野画像２０と拡大画２２の表示が行われるように制御する。
この場合、当然ながら撮像画角枠２１は表示されない。該当箇所が存在しないためである。拡大画２２については、周辺視野画像２０内の固定位置に表示させる。図１２Ａの例では、周辺視野画像２０の右隅部分に拡大画２２を重畳表示させる例としている。

【0090】

なお、このような場合、画像処理装置３は図１２Ｂのように、周辺視野画像２０のみを表示させるように制御してもよい。
図１２Ｂの表示であれば、例えばユーザが図２Ｃのような姿勢をとったときに、概略自分の視野に相当する周辺視野画像２０に対して、撮像装置１Ｂの視野が入らなくなった状態を認識し易い。
逆に図１２Ａの表示であれば、ユーザがどのような顔の向きで周辺視野を確認した場合でも、撮像装置１Ｂで撮像中の被写体を認識できる。
いずれも利点はあるため、ステップＳ１２３に進む場合に、図１２Ａのように拡大画２２を固定表示するか、図１２Ｂのように拡大画２２を非表示とするかをユーザが選択できるようにしてもよい。

【0091】

続いて図６のステップＳ１０４の撮像画角枠２１のサイズに関する処理について述べる。
画像処理装置３は、周辺視野画像２０内の撮像画角枠２１の範囲が判定できた場合でも、ステップＳ１０４で「サイズ大」と判定した場合は、ステップＳ１１０に進む。
この撮像画角枠２１の「サイズ大」とは図１３Ａのような状態をいう。即ち拡大画２２に比べて、撮像画角枠２１で囲まれる範囲の方が大きくなるような場合である。
具体的にはステップＳ１０４では、
Ｗ×Ｈ≦Ｗz×Ｈz
であるか否かを判定すればよい。
なお拡大画２２のサイズＷz×Ｈzは固定サイズとすることが考えられる。

【0092】

Ｗ×Ｈ≦Ｗz×Ｈzでなければ、ステップＳ１０５に進み、上記の図１０Ｂ、図１０Ｃ、又は図１０Ｄのような表示が行われる。この場合は、撮像画角枠２１より拡大画２２の方が大きいため、拡大画２２を表示する意味があるためである。つまり上述のようにユーザに詳細な撮像装置１Ｂの撮像画像を視認させることができる。

【0093】

一方、Ｗ×Ｈ≦Ｗz×Ｈzであるときは、そのまま同様に処理すると、図１３Ａのような表示になってしまい、拡大画２２を表示する意味があまりなくなる。撮像画角枠２１の範囲の画像（つまり撮像装置１Ａの撮像画像の一部）により、撮像装置１Ｂの撮像画像を詳細に視認できるためである。
そこで画像処理装置３はステップＳ１１０に進み、拡大画２２を非表示として周辺視野画像２０と撮像画角枠２１の表示制御を行う。つまり表示装置２において図１３Ｂのような表示を実行させる。

【0094】

なお、このような状態になるのは、例えば撮像装置１Ｂが広角撮像を行うことで、撮像装置１Ａ、１Ｂの画角差が小さくなった場合として想定される。

【0095】

またステップＳ１０４では、Ｗ×Ｈ≦Ｗz×Ｈzとして判定する以外にも、
Ｗ×Ｈ≦（閾値ｔｈＳ）
としての判定をおこなってもよい。即ち撮像画角枠２１のサイズが所定面積以上となったら、ステップＳ１１０に進むようにしてもよい。
この場合の所定面積としての閾値ｔｈＳは、拡大画２２のサイズに限らない。例えば撮像画角枠２１が若干、拡大画２２より小さいものであっても、撮像画角枠２１が比較的大きくなることで、拡大画２２を表示させる意味が低下することもある。従って、撮像画角枠２１がある程度以上のサイズとなって、枠内の被写体が十分詳細に視認できるサイズの場合は、ステップＳ１１０に進むようにし、拡大画２２を非表示としてもよい。

【0096】

続いて図６のステップＳ１０６の処理について説明する。
ステップＳ１０５で撮像画角枠２１の位置／サイズに応じて拡大画２２の配置位置を計算すると、例えば図１４Ａに示すように、拡大画２２が周辺視野画像２０からはみ出す場合が生じ得る。このはみ出す程度も多様であり、図１４Ｂのように拡大画２２の１／２未満の領域がはみ出したり、図１４Ｂのように拡大画２２の１／２以上の領域がはみ出したりすることなどが生ずる。
基本的には上述のようにエリアＡＲ１，ＡＲ２，ＡＲ３に応じて拡大画２２を右側に配置するか左側に配置するかを設定するが、撮像画角枠２１からのオフセット量offset_xを確保して配置位置を設定するため、撮像画角枠２１のサイズが大きくなったときに図１４Ａ、図１４Ｂ、図１４Ｃのようなはみ出しが生じやすい。

【0097】

このようなはみ出しに対しては多様な考え方で許容範囲を設定することが想定される。
例えば拡大画２２の領域の１／２未満のはみ出しを許容範囲とした場合、図１４Ａ、図１４Ｂのようなはみ出しは許容範囲として、ステップＳ１０７に進む。一方、図１４Ｃのようなはみ出しは許容外として、ステップＳ１１０に進む。上記のようにステップＳ１１０では、拡大画２２を非表示とする（図１３Ｂ参照）。
これにより、拡大画２２について許容外のはみ出しが生じた場合は、拡大画２２を表示させないことで、体裁のよくない表示を行わないようにする。また、エリアＡＲ１，ＡＲ２，ＡＲ３の設定や、それに応じた拡大画２２の算出式が適正であれば、はみ出しが生ずるのは、撮像画角枠２１のサイズがある程度大きくなったときともいえる。従って無理に拡大画２２を表示させなくとも、撮像画角枠２１の範囲の画像により、撮像装置１Ｂの撮像画像を確認しやすいという事情もある。

【0098】

以上の図６の処理が行われることにより、周辺視野画像２０内での撮像画角枠２１や拡大画２２の表示が重なることなく適切に行われる。また周辺視野画像２０、撮像画角枠２１、拡大画２２のそれぞれは、状況に応じて表示されることになる。

【0099】

＜３．第２の実施の形態＞
第２の実施の形態としてフォーカス枠を利用する例を説明する。
例えば図１５Ａのように、周辺視野画像２０内において、撮像画角枠２１に代えてフォーカス枠２３を表示させる。

【0100】

画像処理装置３としては、上述した撮像画角枠２１に関する処理をフォーカス枠２３に関する処理に読み替えればよい。例えば画像処理装置３の機能構成としては、図１の撮像画角枠合成部１１に代えて、図１５Ｂのようにフォーカス枠合成部１１Ａを備える。

【0101】

処理は図６と概略同様で、撮像画角枠２１に関する処理をフォーカス枠２３に関する処理に読み替えればよい。
例えばステップＳ１０１では、撮像装置１Ｂからフォーカス枠の位置情報を取得し、それが周辺視野画像２０内のどの範囲になるかを検出する。またステップＳ１０３はフォーカス枠のサイズを判定する。
そしてステップＳ１０７では、周辺視野画像２０、フォーカス枠２３、拡大画２２の表示制御を行う。ステップＳ１１０では周辺視野画像２０、フォーカス枠２３の表示制御を行う。

【0102】

この場合、拡大画２２の配置位置はフォーカス枠２３を基準に算出することになる。このため図６のステップＳ１０５の拡大画配置座標計算では図１６の処理を行う。
画像処理装置３はステップＳ１６０で周辺視野画像２０内における撮像装置１Ｂのフォーカス枠の位置情報を取得する。そしてステップＳ１６１でフォーカス枠２３の中心座標が位置するエリアを探索する。例えばフォーカス枠の中心がエリアＡＲ１，ＡＲ２，ＡＲ３のいずれかに位置するかを判定する。
以降、ステップＳ１５２，Ｓ１５３，Ｓ１５４は図７と同様である。

【0103】

このようにフォーカス枠２３を基準に拡大画２２の配置位置設定を行うことと、フォーカス枠２３と拡大画２２を共に視認が良好な状態に表示できる。

【0104】

なお、以上では周辺視野画像２０内にフォーカス枠２３と拡大画２２を表示するものとしたが、フォーカス枠２３を表示せずに、撮像画角枠２１を表示する場合に、拡大画２２の配置位置を図１６の処理でフォーカス枠２３を基準に設定することも可能である。
また表示例としては、周辺視野画像２０内に、撮像画角枠２１、フォーカス枠２３、拡大画２２を表示させてもよい。
また周辺視野画像２０内に撮像画角枠２１、フォーカス枠２３のいずれを表示させる場合でも、拡大画２２の配置位置は、これら以外に、被写体の位置を検出できる情報を用いて算出することができる。例えば撮像装置１Ｂの被写体の特徴点、特定形状、色情報、被写体の移動予測位置などである。

【0105】

＜４．第３の実施の形態＞
第３の実施の形態として、第１の実施の形態のようにエリア分割して拡大画２２の左右配置を決める場合に、拡大画２２の左右配置が頻繁に切り替わらないようにする例を説明する。

【0106】

この場合、図６の処理は同様である。画像処理装置３は、図６のステップＳ１０５の拡大画配置座標計算の処理として図１７の処理を行う。
画像処理装置３は、図１７のステップＳ１５０で撮像画角枠情報を取得する。即ち図６のステップＳ１０１で求めた視野範囲の情報に基づき、図９に示した撮像画角枠２１の中心や四隅の各座標値を取得する。

【0107】

図１７のステップＳ１５１で画像処理装置３は、撮像画角枠２１の中心、即ち中心座標（ｘ0，ｙ0）が位置するエリアを探索する。例えば図１０ＡのエリアＡＲ１，ＡＲ２，ＡＲ３のいずれであるかを探索する。

【0108】

中心座標（ｘ0，ｙ0）がエリアＡＲ１であった場合は、画像処理装置３はステップＳ１７０，ステップＳ１７１を経てステップＳ１７３に進み、エリアＡＲ１用に設定された計算式を用いて拡大画２２の配置座標計算を行う。
エリアＡＲ１用の計算式とは、第１の実施の形態でエリアＡＲ１，ＡＲ２用の計算式として挙げた計算式である。

【0109】

中心座標（ｘ0，ｙ0）がエリアＡＲ３に位置する場合、画像処理装置３はステップＳ１７０，ステップＳ１７１を経てステップＳ１７４に進み、エリアＡＲ３用に設定された計算式を用いて拡大画２２の配置座標計算を行う。即ちエリアＡＲ３用の計算式とは、第１の実施の形態と同様である。

【0110】

中心座標（ｘ0，ｙ0）が中央のエリアＡＲ２に位置する場合、画像処理装置３はステップＳ１７０からステップＳ１７２に進み、前フレームで、エリアＡＲ１用の計算式と、エリアＡＲ３用の計算式のいずれを用いて配置座標計算を行ったかにより処理を分岐する。
即ち前フレームでエリアＡＲ１用の計算式を用いた場合は、ステップＳ１７３に進み、エリアＡＲ１用に設定された計算式を用いて拡大画２２の配置座標計算を行う。
また前フレームでエリアＡＲ３用の計算式を用いた場合は、ステップＳ１７４に進み、エリアＡＲ３用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0111】

つまりこの例では、エリアＡＲ２は左右配置切り替えにヒステリシスを持たせた緩衝エリアとして機能する。
例えば撮像画角枠２１が或るフレームでエリアＡＲ１に位置し、拡大画２２が右側に表示されている状態から、フレーム毎に撮像画角枠２１が徐々に右に移動していき、エリアＡＲ２に入ったとしても、拡大画２２が右側に表示されたままとなる。その後さらに撮像画角枠２１が右に移動してエリアＡＲ３に入ったときに拡大画２２が左側に表示される。
また、撮像画角枠２１が或るフレームでエリアＡＲ３に位置し、拡大画２２が左側に表示されている状態から、フレーム毎に撮像画角枠２１が徐々に左に移動していき、エリアＡＲ２に入ったとしても、拡大画２２が左側に表示されたままとなる。その後さらに撮像画角枠２１が左に移動してエリアＡＲ１に入ったときに拡大画２２が右側に表示される。

【0112】

このようにすることで、拡大画２２の表示位置がエリア境界で頻繁に左右に切り替わってしまうことが防止される。これにより頻繁な左右切り替えにより見辛さを生じさせないものとなる。

【0113】

＜５．第４の実施の形態＞
第４の実施の形態を図１８で説明する。
これは図１８Ａのように分割境界ＢＤ０により、エリアＡＲ１、ＡＲ３の２つのエリアに分割した例である。この例では分割境界ＢＤ０を水平方向の中央よりやや右側の位置としている。

【0114】

撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ１内である場合、図１８Ｂ、図１８Ｃのように、撮像画角枠２１の右側に拡大画２２が配置されるようにする。
また撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ３内である場合、図１８Ｄのように、撮像画角枠２１の左側に拡大画２２が配置されるようにする。
つまり、これは第１の実施の形態のエリアＡＲ１，ＡＲ２を、エリアＡＲ１にまとめた考え方である。
このように最低限２つのエリアに分割することで、拡大画２２を適切に左右に配置変更できる。
なお、第３の実施の形態のように左右変更にヒステリシスを持たせる場合は、例えば図１８ＥのようにラインＨＴを設定し、エリアＡＲ１内では、ラインＨＴより右側は、第３の実施の形態におけるエリアＡＲ２と同様に扱うことが考えられる。

【0115】

＜６．第５の実施の形態＞
第５の実施の形態として、周辺視野画像２０内を水平方向に３個、垂直方向に３個に分割して９分割する例を説明する。
例えば図１９Ａに示すように垂直方向の境界線ＢＤ１，ＢＤ２、水平方向の境界線ＢＤ３，ＢＤ４により、エリアＡＲ１からエリアＡＲ９を設定する。

【0116】

この場合も画像処理装置は、図６の処理を行えばよいが、ステップＳ１０５の拡大画配置座標計算の処理としては、９個のエリアＡＲ１からエリアＡＲ９のうちで、撮像画角枠２１の中心座標（ｘ0，ｙ0）が位置するエリアに応じた計算式を用いて、拡大画２２の配置位置を計算することになる。
特にこの場合、拡大画２２の左右の配置だけでなく上下方向の配置の切り替えも行うようにする。

【0117】

具体的には撮像画角枠２１の中心座標（ｘ0，ｙ0）が上下方向での中央のエリアであるエリアＡＲ４、ＡＲ５、ＡＲ６のいずれかに属する場合は、撮像画角枠２１の右側又は左側に水平オフセット量offset_xをもって拡大画２２が配置されるようにする。図１９Ｂは拡大画２２が右側に配置された例を示している。
また撮像画角枠２１の中心座標（ｘ0，ｙ0）が上下方向での下側のエリアであるエリアＡＲ７、ＡＲ８、ＡＲ９のいずれかに属する場合は、撮像画角枠２１の右上側又は左上側に水平オフセット量offset_x及び垂直オフセット量offset_yをもって拡大画２２が配置されるようにする。図１９Ｃは拡大画２２が右上側に配置された例を示している。
また撮像画角枠２１の中心座標（ｘ0，ｙ0）が上下方向での上側のエリアであるエリアＡＲ１、ＡＲ２、ＡＲ３のいずれかに属する場合は、撮像画角枠２１の右下側又は左下側に水平オフセット量offset_x及び垂直オフセット量offset_yをもって拡大画２２が配置されるようにする。図１９Ｄは拡大画２２が右下側に配置された例を示している。

【0118】

このような配置のための図６のステップＳ１０５の処理例を図２０に示す。
画像処理装置３は、図２０のステップＳ１５０で撮像画角枠情報を取得する。即ち図６のステップＳ１０１で求めた視野範囲の情報に基づき、図９に示した撮像画角枠２１の中心や四隅の各座標値を取得する。

【0119】

図２０のステップＳ１５１で画像処理装置３は、撮像画角枠２１の中心、即ち中心座標（ｘ0，ｙ0）が位置するエリアを探索する。例えば図１９ＡのエリアＡＲ１からエリアＡＲ９のいずれであるかを探索する。

【0120】

中心座標（ｘ0，ｙ0）がエリアＡＲ１、ＡＲ２、ＡＲ３のいずれかに位置する場合は、画像処理装置３はステップＳ２０１からステップＳ２１０に進む。

【0121】

そして中心座標（ｘ0，ｙ0）がエリアＡＲ１に位置する場合は、画像処理装置３はステップＳ２１１を経てステップＳ２１３に進み、後述のエリアＡＲ１用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0122】

また中心座標（ｘ0，ｙ0）がエリアＡＲ３に位置する場合は、画像処理装置３はステップＳ２１１を経てステップＳ２１４に進み、後述のエリアＡＲ３用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0123】

中心座標（ｘ0，ｙ0）が中央のエリアＡＲ２に位置する場合、画像処理装置３はステップＳ２１０からステップＳ２１２に進み、前フレームで左エリア用計算式と右エリア用計算式のいずれを用いて配置座標計算を行ったかにより処理を分岐する。
この場合、左エリア用計算式とは、エリアＡＲ１用の計算式、エリアＡＲ４用の計算式、エリアＡＲ７用の計算式を指す。
また右エリア用計算式とは、エリアＡＲ３用の計算式、エリアＡＲ６用の計算式、エリアＡＲ９用の計算式を指す。
前フレームで左エリア用計算式を用いた場合は、ステップＳ２１３に進み、エリアＡＲ１用に設定された計算式を用いて拡大画２２の配置座標計算を行う。
また前フレームで右エリア用の計算式を用いた場合は、ステップＳ２１４に進み、エリアＡＲ３用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0124】

中心座標（ｘ0，ｙ0）がエリアＡＲ４、ＡＲ５、ＡＲ６のいずれかに属する場合は、画像処理装置３はステップＳ２０１、Ｓ２０２を経てステップＳ２２０に進む。

【0125】

そして中心座標（ｘ0，ｙ0）がエリアＡＲ４に位置する場合は、画像処理装置３はステップＳ２２１を経てステップＳ２２３に進み、後述のエリアＡＲ４用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0126】

また中心座標（ｘ0，ｙ0）がエリアＡＲ６に位置する場合は、画像処理装置３はステップＳ２２１を経てステップＳ２２４に進み、後述のエリアＡＲ６用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0127】

中心座標（ｘ0，ｙ0）が中央のエリアＡＲ５に位置する場合、画像処理装置３はステップＳ２２０からステップＳ２２２に進み、前フレームで、左エリア用計算式と右エリア用計算式のいずれを用いて配置座標計算を行ったかにより処理を分岐する。
前フレームで左エリア用の計算式を用いた場合は、ステップＳ２２３に進み、エリアＡＲ４用に設定された計算式を用いて拡大画２２の配置座標計算を行う。
また前フレームで右エリア用計算式を用いた場合は、ステップＳ２２４に進み、エリアＡＲ６用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0128】

中心座標（ｘ0，ｙ0）がエリアＡＲ７、ＡＲ８、ＡＲ９のいずれかに属する場合は、画像処理装置３はステップＳ２０１、Ｓ２０２を経てステップＳ２３０に進む。

【0129】

そして中心座標（ｘ0，ｙ0）がエリアＡＲ７に位置する場合は、画像処理装置３はステップＳ２３１を経てステップＳ２３３に進み、後述のエリアＡＲ７用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0130】

また中心座標（ｘ0，ｙ0）がエリアＡＲ９に位置する場合は、画像処理装置３はステップＳ２３１を経てステップＳ２３４に進み、後述のエリアＡＲ９用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0131】

中心座標（ｘ0，ｙ0）が中央のエリアＡＲ８に位置する場合、画像処理装置３はステップＳ２３０からステップＳ２３２に進み、前フレームで左エリア用計算式と右エリア用計算式のいずれを用いて配置座標計算を行ったかにより処理を分岐する。
前フレームで左エリア用計算式を用いた場合は、ステップＳ２３３に進み、エリアＡＲ７用に設定された計算式を用いて拡大画２２の配置座標計算を行う。
また前フレームで右エリア用計算式を用いた場合は、ステップＳ２３４に進み、エリアＡＲ９用に設定された計算式を用いて拡大画２２の配置座標計算を行う。

【0132】

各エリアに応じて拡大画２２の四隅の座標を求める計算式は次のようになる。
まずは一例として、撮像画角枠２１の端辺を基準とする計算例を示す。
なお各座標の定義は図９のとおりである。
また“ｘr”は撮像画角枠２１の右端辺のｘ座標値、“ｘl”は撮像画角枠２１の左端辺のｘ座標値、“ｙu”は撮像画角枠２１の上端辺のｙ座標値、“ｙd”は撮像画角枠２１の下端辺のｙ座標値である（図１９Ｂ、図１９Ｃ、図１９Ｄ参照）。

【0133】

・エリアＡＲ１用の計算式
（Ｘul，Ｙul）＝（ｘr＋offset_x ， ｙd－offset_y）
（Ｘur，Ｙur）＝（ｘr＋offset_x＋Ｗz ， ｙd－offset_y）
（Ｘdl，Ｙdl）＝（ｘr＋offset_x ， ｙd－offset_y－Ｈz）
（Ｘdr，Ｙdr）＝（ｘr＋offset_x＋Ｗz ， ｙd－offset_y－Ｈz）

【0134】

・エリアＡＲ３用の計算式
（Ｘul，Ｙul）＝（ｘl－offset_x－Ｗz ， ｙd－offset_y）
（Ｘur，Ｙur）＝（ｘl－offset_x ， ｙd－offset_y）
（Ｘdl，Ｙdl）＝（ｘl－offset_x－Ｗz ， ｙd－offset_y－Ｈz）
（Ｘdr，Ｙdr）＝（ｘl－offset_x ， ｙd－offset_y－Ｈz）

【0135】

・エリアＡＲ４用の計算式
（Ｘul，Ｙul）＝（ｘr＋offset_x ， ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（ｘr＋offset_x＋Ｗz ， ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl）＝（ｘr＋offset_x ， ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（ｘr＋offset_x＋Ｗz ， ｙ0－Ｈz／２）

【0136】

・エリアＡＲ６用の計算式
（Ｘul，Ｙul）＝（ｘl－offset_x－Ｗz ， ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（ｘl－offset_x ， ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl）＝（ｘl－offset_x－Ｗz ， ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（ｘl－offset_x ， ｙ0－Ｈz／２）

【0137】

・エリアＡＲ７用の計算式
（Ｘul，Ｙul）＝（ｘr＋offset_x ， ｙu＋offset_y＋Ｈz）
（Ｘur，Ｙur）＝（ｘr＋offset_x＋Ｗz ， ｙu＋offset_y＋Ｈz）
（Ｘdl，Ｙdl）＝（ｘr＋offset_x ， ｙu＋offset_y）
（Ｘdr，Ｙdr）＝（ｘr＋offset_x＋Ｗz ， ｙu＋offset_y）

【0138】

・エリアＡＲ９用の計算式
（Ｘul，Ｙul）＝（ｘl－offset_x－Ｗz ， ｙu＋offset_y＋Ｈz）
（Ｘur，Ｙur）＝（ｘl－offset_x ， ｙu＋offset_y＋Ｈz）
（Ｘdl，Ｙdl）＝（ｘl－offset_x－Ｗz ， ｙu＋offset_y）
（Ｘdr，Ｙdr）＝（ｘl－offset_x ， ｙu＋offset_y）

【0139】

また拡大画２２の配置のための配置座標計算は、上記に代えて、撮像画角枠２１の中心座標（ｘ0，ｙ0）を基準とする計算例によっても可能である。
各エリアについて次のように撮像画角枠２１の中心座標（ｘ0，ｙ0）から拡大画２２の中心座標（Ｘ0，Ｙ0）を求める。

【0140】

・エリアＡＲ１用の計算式
（Ｘ0，Ｙ0）＝（ｘ0＋Ｗ/2＋offset_x＋Ｗｚ/2 ，ｙ0－Ｈ/2－offset_y－Ｈｚ/2）
・エリアＡＲ３用の計算式
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ/2－offset_x－Ｗｚ/2 ，ｙ0－Ｈ/2－offset_y－Ｈｚ/2）
・エリアＡＲ４用の計算式
（Ｘ0，Ｙ0）＝（ｘ0＋Ｗ/2＋offset_x＋Ｗｚ/2 ，ｙ0）
・エリアＡＲ６用の計算式
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ/2－offset_x－Ｗｚ/2 ，ｙ0）
・エリアＡＲ７用の計算式
（Ｘ0，Ｙ0）＝（ｘ0＋Ｗ/2＋offset_x＋Ｗｚ/2 ，ｙ0＋Ｈ/2＋offset_y＋Ｈｚ/2）
・エリアＡＲ９用の計算式
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ/2－offset_x－Ｗｚ/2 ，ｙ0＋Ｈ/2＋offset_y＋Ｈｚ/2）

【0141】

そして各場合において、次の式で拡大画２２の四隅の座標を求める。
（Ｘul，Ｙul）＝（Ｘ0－Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（Ｘ0＋Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl） ＝（Ｘ0－Ｗz／２ ， Ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（Ｘ0＋Ｗz／２ ， Ｙ0－Ｈz／２）

【0142】

以上の例の計算式を用いて図２０の処理が行われることで、拡大画２２は次のように配置される。

【0143】

・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ１内にあるとき、拡大画２２は、撮像画角枠２１の右端辺から水平オフセット量offset_x及び下端辺から垂直オフセット量offset_yをもった右下側に配置される。
・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ３内にあるとき、拡大画２２は、撮像画角枠２１の左端辺から水平オフセット量offset_x及び下端辺から垂直オフセット量offset_yをもった左下側に配置される。
・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ２内にあるとき、拡大画２２は、以上の右下側配置か左下側配置のいずれかの状態となる。

【0144】

・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ４内にあるとき、拡大画２２は、撮像画角枠２１の右端辺から水平オフセット量offset_xをもった右側に配置される。
・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ６内にあるとき、拡大画２２は、撮像画角枠２１の左端辺から水平オフセット量offset_xをもった左側に配置される。
・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ５内にあるとき、拡大画２２は、以上の右側配置か左側配置のいずれかの状態となる。

【0145】

・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ７内にあるとき、拡大画２２は、撮像画角枠２１の右端辺から水平オフセット量offset_x及び上端辺から垂直オフセット量offset_yをもった右上側に配置される。
・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ９内にあるとき、拡大画２２は、撮像画角枠２１の左端辺から水平オフセット量offset_x及び上端辺から垂直オフセット量offset_yをもった左上側に配置される。
・撮像画角枠２１の中心座標（ｘ0，ｙ0）がエリアＡＲ８内にあるとき、拡大画２２は、以上の右上側配置か左上側配置のいずれかの状態となる。

【0146】

例えば以上のように拡大画２２の配置位置が設定されることで、周辺視野画像２０内での撮像画角枠２１や拡大画２２の表示が重なることなく適切に行われる。特に拡大画２２が撮像画角枠２１に対して、エリアに応じて上下左右に配置されること、及びオフセット量offset_x、offset_yとしての所定の距離を保って配置されることで、ユーザに対して視認性のよい表示状態となる。
また左右位置の方向について水平方向の中央のエリアＡＲ２，ＡＲ５，ＡＲ８が拡大画２２の左右配置切り替えにヒステリシスを持たせた緩衝エリアとして機能することで、頻繁な左右切り替わりがなく、視認性向上に適している。
なお、上下方向の配置の切り替わりについてヒステリシスを持たせるようにしてもよい。

【0147】

なお図６のステップＳ１０３，Ｓ１０４，Ｓ１０６，Ｓ１１０，ステップＳ１２０からＳ１２３の処理も行われることで、この第５の実施の形態でも例外的な処理として、拡大画２２が非表示となったり、周辺視野画像２０が非表示となったり、拡大画のみの表示となったりもする。これにより撮像装置１Ａ、１Ｂの視野状態や撮像方向に応じて適した表示が実行される。

【0148】

図２１にはエリア分割の変形例を示している。
この例はエリアＡＲ５を楕円形にした例であるが、このように曲線を用いてエリア分割設定をしてもよい。もちろんエリア分割の例は他にも多様に考えられる。

【0149】

＜７．第６の実施の形態＞
第６の実施の形態としては、以上の第１から第５の実施の形態のようなエリア分割設定を伴わない例を説明する。
但し、撮像画角枠２１に対して、拡大画２２を一定間隔空いた位置に配置することや、撮像画角枠２１が移動すると、水平方向に追従するように拡大画２２を配置することは同様である。
但し、拡大画２２を撮像画角枠２１の左右のいずれに配置するかは、基本的には前フレームと同様とし、特定の条件で左右切り替えを行う。

【0150】

図２２Ａは、撮像画角枠２１の右側に拡大画２２が配置されている状態を示している。
図２２Ｂは、撮像画角枠２１が右側にシフトしたときに、拡大画２２も追従して右側にシフトした位置に配置されている状態を示している。
このいずれの場合も、撮像画角枠２１と拡大画２２は、図２３Ａに示すように水平オフセット量offset_xをもった位置関係となっている。

【0151】

ある時点で、拡大画２２の配置位置が不適切になったと判定されると、拡大画２２の配置位置が左右変更され、例えば図２２Ｃのように、撮像画角枠２１の左側に拡大画２２が配置されるようになる。
この場合も、撮像画角枠２１と拡大画２２は、図２３Ｂに示すように水平オフセット量offset_xをもった位置関係となっている。

【0152】

このように拡大画２２が撮像画角枠２１に水平オフセット量offset_xを維持しながら追従しつつ、撮像画角枠２１の位置に応じて左右配置が変更されること自体は、第１の実施の形態と概略同様であるが、この場合、左右配置の変更がエリア分割設定に基づかない。

【0153】

この第６の実施の形態の画像処理装置３の処理例を図２４に示す。
なお図２４において図６と同様の処理は同一のステップ番号を付し、重複説明を避ける。図６と異なるのは、ステップＳ１０５Ａとして、拡大画配置座標計算の処理が、前フレームと同様に行われることと、それにより拡大画配置座標が適切ではないと判定された場合にステップＳ１３１で拡大画配置座標の再計算が行われることである。

【0154】

ステップＳ１０５Ａでは、拡大画配置座標計算を行う。この場合、前フレームで拡大画２２を撮像画角枠２１の右側に配置していた場合、現フレームでも、右側配置で計算を行う。即ち、
（Ｘ0，Ｙ0）＝（ｘ0＋Ｗ／２＋offset_x＋Ｗｚ／２ ， ｙ0）
として拡大画２２の中心座標（Ｘ0，Ｙ0）を求める。
そして拡大画２２の四隅の座標値を次のように求める。
（Ｘul，Ｙul）＝（Ｘ0－Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（Ｘ0＋Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl） ＝（Ｘ0－Ｗz／２ ， Ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（Ｘ0＋Ｗz／２ ， Ｙ0－Ｈz／２）

【0155】

またステップＳ１０５Ａの時点で、前フレームで拡大画２２を撮像画角枠２１の左側に配置していた場合、現フレームでも、左側配置で計算を行う。即ち、
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ／２－offset_x－Ｗｚ／２ ， ｙ0）
として拡大画２２の中心座標（Ｘ0，Ｙ0）を求める。
そして拡大画２２の四隅の座標値（Ｘul，Ｙul）（Ｘur，Ｙur）（Ｘdl，Ｙdl）（Ｘdr，Ｙdr）を上記同様に求める。

【0156】

これによりステップＳ１０７の表示制御で例えば図２２Ａ、図２２Ｂ、図２２Ｃのような表示が実現される。
但し、ステップＳ１０５Ａの計算では、拡大画２２の配置位置が不適切になる場合がある。即ち、拡大画２２が周辺視野画像２０からはみ出してしまう場合がある。
その場合、画像処理装置３はステップＳ１３０からステップＳ１３１に進み、図２５に示すような配置座標再計算の処理を行う。
なお、この第６の実施の形態では、水平方向（左右方向）のはみ出しのみを考慮した例としている。配置座標再計算の際に、垂直方向（上下方向）のはみ出しのみを考慮した例は第７の実施の形態として後述する。

【0157】

ステップＳ１０５Ａで計算した拡大画２２の配置位置が、周辺視野画像２０からはみ出すものとなって、ステップＳ１３１に進んだ場合、最初は図２５のステップＳ３０１からステップＳ３０２に進む。
この場合、拡大画２２の配置位置を左右反転して再計算する。例えば上記の右側配置で計算したときにはみ出してしまった場合であるときは、上記の左側配置で再計算する。
そして「ｃ１」で示すように図２４のステップＳ１３０に戻る。このように左右反転することで、拡大画２２が周辺視野画像２０からはみ出さない状態になれば、拡大画配置位置ＯＫとしてステップＳ１０７に進む。
図２６Ａは、例えばステップＳ１０５Ａで計算した状態で拡大画２２の配置位置が周辺視野画像２０からはみ出している状態を示しているが、図２６Ｂは、拡大画２２の配置位置を左右反転することで、周辺視野画像２０内となった状態を示している。

【0158】

ところが、左右反転しても、拡大画２２の配置位置が未だ適切な位置とならないことも有り得る。
その場合、画像処理装置３は再びステップＳ１３０からステップＳ１３１に進み、図２５の処理を行う。この場合、既に左右反転は実行ずみであるため、画像処理装置３はステップＳ３０１からステップＳ３０３に進む。そして、まだシフト実行済でないため、ステップＳ３０４で拡大画２２の配置位置をシフトするように配置位置の再計算を行う。
例えば水平オフセット量offset_xの値を小さくしたうえで上記右側配置の式又は左側配置の式で再計算を行う。
即ち
offset_x＝offset_x－Δｘ
として水平オフセット量offset_xの値を変更して再計算を行う。
Δｘの値は、固定値でもよいし、ｘ軸方向のはみ出し量としてもよい。

【0159】

そして「ｃ１」で示すように図２４のステップＳ１３０に戻る。このように水平方向シフトを行うことで、拡大画２２が周辺視野画像２０からはみ出さない状態になれば、拡大画配置位置ＯＫとしてステップＳ１０７に進む。
図２７Ａは、例えば再計算で左右反転しても拡大画２２の配置位置が周辺視野画像２０の左側にはみ出している場合に、右への水平方向シフトを行うことで、拡大画２２の配置位置をはみ出さない位置に変更していることを示している。
図２７Ｂは、例えば再計算で左右反転しても拡大画２２の配置位置が周辺視野画像２０の右側にはみ出している場合に、左への水平方向シフトを行うことで、拡大画２２の配置位置をはみ出さない位置に変更していることを示している。

【0160】

ただし、以上のように左右反転及びシフトを行っても、拡大画２２の配置位置が不適切な場合もありえる。その場合、３たびステップＳ１３１に進むことになるが、その場合は図２５のステップＳ３０３から「ｃ２」で示すように図２４のステップＳ１１０に進む。この場合は、拡大画２２を非表示として周辺視野画像２０と撮像画角枠２１の表示制御を行うこととする。

【0161】

このように第６の実施の形態では、撮像画角枠２１に追従させる拡大画２２が周辺視野画像２０からはみ出る状態となったときに、左右反転させ、さらにそれでもはみ出る場合はシフトさせることで対応する。
なお、拡大画２２が少しでも周辺視野画像２０からはみ出すときに、ステップＳ１３１の再計算を行うものとしてもよいが、若干のはみ出しはステップＳ１３０で許容範囲としてもよい。

【0162】

＜８．第７の実施の形態＞
第７の実施の形態は、第６の実施の形態に加えて、撮像画角枠２１が垂直方向に移動した場合は、拡大画２２の配置位置が反対方向に移動するようにする例である。

【0163】

例えば図８の座標系において、撮像画角枠２１の中心座標（ｘ0，ｙ0）＝（ｘ0，０）の場合は、拡大画２２の中心座標（Ｘ0，Ｙ0）＝（Ｘ0，０）となり、図２２Ａ、図２２Ｂ、図２２Ｃのように撮像画角枠２１の真横方向に拡大画２２の配置位置が設定される。
一方で、撮像画角枠２１の垂直方向位置がｙ座標値＝０より上方にずれた場合、拡大画２２の配置位置は、図２８Ａに示すように同等のずれ分だけ下方にずれるようにする。ただし、図２９Ａのように水平オフセット量offset_xは維持される。
また、撮像画角枠２１の垂直方向位置がｙ座標値＝０より下方にずれた場合、拡大画２２の配置位置は、図２８Ｂに示すように同等のずれ分だけ上方にずれるようにする。この場合も図２９Ｂのように水平オフセット量offset_xは維持される。

【0164】

このようにする場合も処理は図２４と同様であるが、ステップＳ１０５Ａの拡大画配置座標計算の処理では、例えば次のような計算を行う。

【0165】

ステップＳ１０５Ａの拡大画配置座標計算の際に、前フレームで拡大画２２を撮像画角枠２１の右側に配置していた場合、現フレームでも、右側配置で計算を行う。即ち、
（Ｘ0，Ｙ0）＝（ｘ0＋Ｗ／２＋offset_x＋Ｗｚ／２ ， ０－ｙ0）
として拡大画２２の中心座標（Ｘ0，Ｙ0）を求める。
つまり中心座標（Ｘ0，Ｙ0）におけるＹ座標値Ｙ0の計算が第６の実施の形態と異なる。
そして拡大画２２の四隅の座標値を次のように求める。
（Ｘul，Ｙul）＝（Ｘ0－Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘur，Ｙur）＝（Ｘ0＋Ｗz／２ ， Ｙ0＋Ｈz／２）
（Ｘdl，Ｙdl） ＝（Ｘ0－Ｗz／２ ， Ｙ0－Ｈz／２）
（Ｘdr，Ｙdr）＝（Ｘ0＋Ｗz／２ ， Ｙ0－Ｈz／２）

【0166】

またステップＳ１０５Ａの時点で、前フレームで拡大画２２を撮像画角枠２１の左側に配置していた場合、現フレームでも、左側配置で計算を行う。即ち、
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ／２－offset_x－Ｗｚ／２ ， ０－ｙ0）
として拡大画２２の中心座標（Ｘ0，Ｙ0）を求める。
そして拡大画２２の四隅の座標値（Ｘul，Ｙul）（Ｘur，Ｙur）（Ｘdl，Ｙdl）（Ｘdr，Ｙdr）を上記同様に求める。

【0167】

これにより、図２８のように左右に追従し、上下に反転追従するように拡大画２２の配置位置が設定される。
拡大画２２が周辺視野画像２０からはみ出る場合は、画像処理装置３はステップＳ１３１での配置座標再計算の処理は図２５に代えて図３０のように行う。

【0168】

現フレームにおいて最初に配置座標再計算の処理を行う場合、画像処理装置３はステップＳ３２０を経てステップＳ３２１で、先にステップＳ１０５Ａで計算した拡大画２２の配置位置において、水平方向のはみ出しが生じているか否かを確認する。
はみ出しは水平方向と垂直方向に生ずる可能性がある。

【0169】

垂直方向のみにはみ出しが生じている場合は、画像処理装置３はステップＳ３２４に進み、拡大画２２の配置位置を垂直方向にシフトするように配置位置の再計算を行う。
例えば図３１Ａのように上方にはみ出ている場合は、
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ／２－offset_x－Ｗｚ／２ ， ０－ｙ0－Δｙ）
また図３１Ｂのように下方にはみ出ている場合は、
（Ｘ0，Ｙ0）＝（ｘ0－Ｗ／２－offset_x－Ｗｚ／２ ， ０－ｙ0＋Δｙ）
とする。
Δｙの値は、固定値でもよいし、図３１Ａ、図３１Ｂに示すｙ軸方向のはみ出し量としてもよい。
そして「ｃ１」で示すように図２４のステップＳ１３０に戻る。

【0170】

一方、水平方向のはみ出しがある場合は、画像処理装置３は図３０のステップＳ３２１からステップＳ３２５に進み、先にステップＳ１０５Ａで計算した拡大画２２の配置位置において、垂直方向のはみ出しが生じているか否かを確認する。
垂直方向のはみ出しが生じていなければ、画像処理装置３はステップＳ３２６に進み、拡大画２２の配置位置を左右反転して再計算する。例えば上記の右側配置で計算したときにはみ出してしまった場合であるときは、上記の左側配置で再計算する。
そして「ｃ１」で示すように図２４のステップＳ１３０に戻る。

【0171】

図３０のステップＳ３２５で垂直方向のはみ出しが生じている場合、つまり水平方向、垂直方向の両方にはみ出ている場合は、画像処理装置３はステップＳ３２７に進み、拡大画２２の配置位置を左右反転し、かつ垂直方向にシフトするように再計算する。
そして「ｃ１」で示すように図２４のステップＳ１３０に戻る。

【0172】

以上のように左右反転と垂直方向シフトの一方又は両方を行うことで、拡大画２２が周辺視野画像２０からはみ出さない状態になれば、拡大画配置位置ＯＫとして図２４のステップＳ１０７に進む。
ところが、左右反転，垂直方向シフトの一方又は両方を行っても、拡大画２２の配置位置が未だ適切な位置とならないことも有り得る。
その場合、画像処理装置３は再び図２４のステップＳ１３０からステップＳ１３１に進み、図３０の処理を行う。
この場合、既に左右反転は実行ずみであるため、画像処理装置３はステップＳ３２０からステップＳ３２３に進む。そして、まだ水平方向シフトは実行済でないため、ステップＳ３２９で拡大画２２の配置位置を水平方向シフトするように配置位置の再計算を行う。
例えば水平オフセット量offset_xの値を小さくしたうえ（例えばoffset_x＝offset_x－Δｘとする）で上記右側配置の式又は左側配置の式で再計算を行う。

【0173】

そして「ｃ１」で示すように図２４のステップＳ１３０に戻る。このように水平方向シフトを行うことで、拡大画２２が周辺視野画像２０からはみ出さない状態になれば、拡大画配置位置ＯＫとしてステップＳ１０７に進む。
ただし、以上のように左右反転、垂直方向シフト、及び水平方向シフトを行っても、拡大画２２の配置位置が不適切な場合もありえる。その場合、３たびステップＳ１３１に進むことになるが、その場合は図３０のステップＳ３２３から「ｃ２」で示すように図２４のステップＳ１１０に進む。この場合は、拡大画２２を非表示として周辺視野画像２０と撮像画角枠２１の表示制御を行うこととする。

【0174】

以上のように第７の実施の形態では、拡大画２２の配置位置は、撮像画角枠２１に対して水平方向に追従、垂直方向に反転追従し、また周辺視野画像２０からはみ出す場合は垂直方向シフト、左右反転、水平方向シフトで対応する。
なお図３０のような垂直及び水平方向のはみ出しを考慮した配置座標再計算の処理は、第６の実施の形態の場合でも採用できる。

【0175】

＜９．撮像画角枠の表示＞
以上の各実施の形態においては、撮像画角枠２１は長方形で示していたが必ずしも長方形でなくてもよい。例えば図３２Ａに非長方形の撮像画角枠２１を示している。

【0176】

特に撮像装置１Ａと撮像装置１Ｂの撮像方向が異なる場合、その視野方向の差に応じた形状とされることで、撮像装置１Ｂの撮像方向が立体的に視認できるようにしてもよい。
例えば図３２Ｂのように、視点Ｅを撮像装置１Ｂの位置としたときに、撮像画角枠２１を、撮像装置１Ｂの画角を視点Ｅから投影した形状とすることが考えられる。

【0177】

なお、このように撮像画角枠２１が長方形でなくても、図３２Ｂのように擬似的な長方形として扱い、垂直方向サイズＨ、水平方向サイズＷ、中心座標（ｘ0，ｙ0）を定義すれば、上述の各実施の形態の手法で拡大画２２の配置位置を算出できる。

【0178】

＜１０．まとめ及び変形例＞
以上の実施の形態では次のような効果が得られる。
第１から第７の実施の形態の画像処理装置３は、撮像装置１Ａで撮像された周辺視野画像２０（第１画像）内に、撮像装置１Ａの撮像視野内の一部の視野を撮像可能な撮像装置１Ｂの撮像視野の画像である拡大画２２（第２画像）を配置する合成処理を行う画像合成部１２を備える。
撮像装置１Ａで撮像した比較的広い視野の周辺視野画像２０上で、撮像装置１Ｂによる比較的狭い撮像視野の画像である拡大画２２が表示されることで、周辺視野内で一部を拡大した状態で、撮像装置１Ｂの撮像対象を確認できることになる。従ってユーザは、周辺視野を確認しながら、撮像装置１Ｂにより被写体を追うようなことが容易になる。

【0179】

例えば広い光景内で人や動物などの一部の被写体を追って撮像する場合や、モータースポーツなどで非常に速く動く被写体を追う場合などでは、被写体のズーム画のみを確認していると、被写体を追うことが困難となる。実施の形態のように撮像装置１Ａによる周辺視野画像２０内に、撮像装置１Ｂの撮像視野を示す拡大画２２を表示させることで、ユーザは広い視野の範囲を確認しながらズームして目標の被写体を追うことができ、上記のような撮像シチュエーションにおいて好適となる。

【0180】

また撮像装置１Ｂでターゲットとする被写体については、拡大画２２として周辺の他の被写体よりも精細に表示されるため、目標被写体自体の状態の確認にも好適である。
また、より広角の周辺視野画像２０内で拡大画２２を表示させることで、周辺の状況と目標被写体を同時に確認したいユーザは、表示に対する視線の移動が少なくなり、見やすいものとなる。
また拡大画２２内に周辺視野画像２０を表示するのではなく、周辺視野画像２０内に拡大画２２を表示することで、周辺視野画像２０が無闇に小さくならずに、周辺状況の確認にも適している。

【0181】

なお、拡大画２２は、撮像装置１Ｂにより撮像された画像データを用いて、撮像装置１Ａで撮像された周辺画像の画像データに対して合成するが、撮像装置１Ｂにより撮像された画像データを用いなくてもよい。例えば周辺画像の画像データにおける撮像画角枠２１の範囲の画像データを抽出し、補間処理を行って拡大画像データを生成し、その拡大画像データが周辺画像の画像データ上に重畳表示されるように合成処理をおこなってもよい。即ち拡大画２２（第２画像）は、撮像装置１Ｂの撮像視野の画像、即ち撮像装置１Ｂで撮像されている視野範囲を示す画像であればよい。

【0182】

第１，第３，第４，第５，第６，第７の実施の形態では、画像処理装置３は、周辺視野画像２０内で、撮像装置１Ｂの撮像視野の範囲を検出する範囲検出部１０と、周辺視野画像２０に、範囲検出部１０で検出した撮像視野の範囲を示す撮像画角枠２１を合成する撮像画角枠合成部１１とを備えたものとした。
周辺視野画像２０内で撮像画角枠２１が示されることで、周辺視野画像２０内で撮像装置１Ｂがどの範囲を撮像しているかを確認できることになり、ユーザにとっては、より目標被写体を追いやすくなる。
また、撮像画角枠２１と拡大画２２が表示されることで、周辺視野画像２０内で目標被写体の位置を確認しながら、撮像装置１Ｂで撮像している目標被写体の画像（目標被写体の詳細な状況）も確認できる。
特に周辺視野画像２０内に撮像画角枠２１と拡大画２２が表示されることで、ユーザの視線の移動も小さく、周辺と目標被写体を同時に確認しやすくなる。

【0183】

第１，第３，第４，第５，第６，第７の実施の形態では、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、撮像画角枠２１の位置に応じて設定するものとした。
周辺視野画像２０内で撮像画角枠２１と拡大画２２が表示されることで、ユーザは周辺視野画像２０内で撮像装置１Ｂがどの範囲を撮像しているかを確認しながら目標被写体の撮像状況を確認できるが、これらがそれぞれ適切に配置されて表示されることが重要となる。
ところが、周辺視野画像２０内での撮像画角枠２１の位置は、撮像装置１Ａと撮像装置１Ｂのそれぞれの視野方向に応じて変化し、また撮像画角枠２１のサイズは、撮像装置１Ｂのズーム状態（画角）に応じて変化するため、拡大画２２の表示位置を固定していると、撮像画角枠２１と拡大画２２が重なってしまうことも生ずる。
そこで各実施の形態で述べたように、周辺視野画像２０内における拡大画２２の位置が、撮像画角枠２１の位置に応じて可変設定されるようにしている。これにより撮像画角枠２１と拡大画２２が、撮像装置１Ａ，１Ｂの視野方向の変化にも関わらず、重ならずにそれぞれ見やすい状態に配置されて表示され、同時に視認できることになる。

【0184】

第１，第３，第４，第５，第６，第７の実施の形態では、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、撮像画角枠２１の位置に対して所定距離関係で追従するように設定する例を示した。
周辺視野画像２０内で、拡大画２２が撮像画角枠２１に対して所定の距離関係を保って追従するようにすることで、拡大画２２と撮像画角枠２１が重なることがなくなるとともに、表示上で一定距離の関係で配置されるため、ユーザは拡大画２２と撮像画角枠２１の両方を視認しやすくなる。

【0185】

第１，第３，第４，第５，第６，第７の実施の形態では、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、撮像画角枠２１の水平方向の位置変化に対して所定の水平距離を保って追従するように設定する例を示した。
周辺視野画像２０内で、拡大画２２が撮像画角枠２１に対して所定の水平方向の距離関係を保って追従するようにすることで、ユーザは拡大画２２と撮像画角枠２１の両方を水平方向の一定の間隔で視認できる。

【0186】

第５の実施の形態では、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、前記撮像画角枠の垂直方向の位置変化に対して所定の垂直距離を保って追従するように設定する例を示した。
周辺視野画像２０内で、拡大画２２が撮像画角枠２１に対して所定の垂直方向の距離関係を保って追従するようにすることで、ユーザは拡大画２２と撮像画角枠２１の両方を垂直方向の一定の間隔で視認できる。

【0187】

第１，第３，第４，第５，第６，第７の実施の形態では、画像合成部１２は、周辺視野画像２０の座標空間において、拡大画２２の配置位置の座標値を、撮像画角枠２１の座標値を用いた演算で算出する例を述べた。
例えば撮像画角枠の中心や四隅の座標値を用いて、撮像画角枠２１と所定距離を保つような拡大画２２の配置位置の座標を計算する。
これにより簡易な演算で拡大画２２の配置位置座標値を求めることができる。

【0188】

第１，第３，第４，第５の実施の形態では、画像合成部１２は、周辺視野画像２０内を複数のエリアに分割設定し、撮像画角枠２１が位置するエリアに応じて選択される計算式により拡大画２２の配置位置を設定する例を述べた。
周辺視野画像２０内で、拡大画２２が撮像画角枠２１の両者を適度な位置に表示させたいが、単に拡大画２２を撮像画角枠２１に追従させると、例えば両者が右或いは左に寄りすぎたり、拡大画２２が表示できなくなったりする。そこで周辺視野画像２０内を左右方向や上限方向にエリア分割し、エリア毎に適切な配置がなされるように、異なる計算式を用いて拡大画２２の配置位置設定を行う。これにより、撮像画角枠２１の位置に関わらず、ユーザは拡大画２２と撮像画角枠２１を周辺視野画像２０内の適切な位置に視認できることになる。
なお図１０では水平方向に分割した場合、図１９では垂直及び水平方向に分割した場合を示したが、もちろん垂直方向に分割する場合も考えられる。エリアの分割数、各エリアの面積なども多様に考えられる。

【0189】

第３，第５の実施の形態では、周辺視野画像２０を分割した複数のエリアには、計算式の選択状態を維持する緩衝エリアが含まれる例を述べた。
例えば第３の実施の形態におけるエリアＡＲ２や、第５の実施の形態におけるエリアＡＲ２，ＡＲ５，ＡＲ８が、緩衝エリアに該当する。これらは前回の計算式を維持する（図１７のステップＳ１７２、図２０のステップＳ２１２，Ｓ２２２，Ｓ２３２参照）。
このような、計算式の選択状態を維持する緩衝エリアにより、例えば用いる計算式がフレーム毎に頻繁に切り替わってしまうことが防止される。従って、拡大画２２の表示位置が左右方向に頻繁に切り替わるようなチャタリング現象が防止され、ユーザにとって好適な視認状態を提供できることになる。

【0190】

第６，第７の実施の形態では、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、撮像画角枠２１の位置に応じて設定するとともに、設定した配置位置が、拡大画２２の全部又は一部が周辺視野画像２０の範囲外となる場合は、撮像画角枠２１に対する拡大画２２の配置方向が変更されるように拡大画２２の配置位置を再設定する例を述べた。
周辺視野画像２０内で、拡大画２２の配置位置を撮像画角枠２１に応じて設定するようにすると、拡大画２２が周辺視野画像２０の表示範囲外となってはみ出してしまう状態となることが生ずる。その場合は拡大画２２の配置位置が撮像画角枠２１に対して左右方向に反転するようにする。即ち計算式を変更して再計算する（図２４のステップＳ１３１，図２５のステップＳ３０２、図２６から図３０参照）。これにより撮像画角枠２１の位置に関わらず、ユーザにとっては、周辺視野画像２０内において拡大画２２が欠けることなく、しかも撮像画角枠２１に対して適切に距離を保った位置で視認できる状態となる。
なお、左右方向の反転とともに、或いは左右方向の反転に代えて上下方向に反転又は位置変化するようにすることも考えられる。

【0191】

第６，第７の実施の形態では、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、撮像画角枠２１の位置に応じて設定するとともに、その配置位置が、拡大画２２の全部又は一部が周辺視野画像２０の範囲外となる場合は、拡大画２２の配置位置を周辺視野画像２０の範囲内方向にシフトさせるように、拡大画２２の配置位置を再設定する例を述べた。
周辺視野画像２０内で、拡大画２２の配置位置を撮像画角枠２１に追従するようにすると、拡大画２２が周辺視野画像２０の表示範囲外となってはみ出してしまう状態となることが生ずる。その場合は拡大画２２の配置位置を、はみ出しが抑制される方向にシフトさせることで、はみ出しを解消できる場合がある（図２４のステップＳ１３１，図２５のステップＳ３０４参照）。これにより撮像画角枠２１の位置に関わらず、ユーザにとっては、周辺視野画像２０内において拡大画２２が欠けることなく視認できる状態となる。
水平方向のシフト、或いは水平方向と垂直方向のシフトを行う場合を説明したが、もちろん垂直方向のシフトのみが行われる例も想定される。

【0192】

第１，第３，第４，第５，第６，第７の実施の形態では、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、撮像画角枠２１の位置に応じて設定するとともに、設定した配置位置が、拡大画２２の全部又は一部が周辺視野画像２０の範囲外となる場合は、拡大画２２の合成処理を行わない例を述べた。
周辺視野画像２０内で、拡大画２２の配置位置を撮像画角枠２１に追従するようにすると、拡大画２２が周辺視野画像２０の表示範囲外となってはみ出してしまう状態となることが生じ、またはみ出しを修正できない場合もある。そのような場合は拡大画２２の合成を行わず、拡大画２２が表示されないようにする（図６のステップＳ１０６，Ｓ１１０、図２５のステップＳ３０３又は図３０のステップＳ３２３から図２４のステップＳ１１０参照）。
これにより拡大画２２が適切に表示できないときは、そもそも表示しないこととし、不適切な状態でユーザに視認させないようにすることができる。

【0193】

第１から第７の実施の形態では、範囲検出部１０が周辺視野画像２０内に撮像装置１Ｂを検出した場合、例えば撮像装置１Ｂが写り込んでいる状態を検出した場合、拡大画２２を表示画像として出力する制御を行う例を述べた。
周辺視野画像２０内に撮像装置１Ｂの背面が写し込まれた場合、撮像装置１Ｂの視野範囲の画像の全部が周辺視野画像２０内に写らなくなる可能性が高い。つまり撮像装置１Ｂが邪魔になって、撮像装置１Ｂで撮像している光景が、周辺視野画像２０内に現れない状態である。そのような場合、撮像装置１Ｂで撮像されている画像を、そのまま拡大画２２として表示させる（図６及び図２４のステップＳ１２０，Ｓ１２１，Ｓ１２２参照）。
ユーザにとっては、周辺視野画像２０が、撮像装置１Ｂが邪魔になって見づらくなっている画像を視認することはなくなる。
また例えば図２のようなゴーグルカメラとしての撮像装置１Ａを装着していることを想定すると、図２Ｂの状態は、ユーザにとって撮像装置１Ｂを通常に眼前に持ってきてビューファインダーを覗いているような挙動になるため、その状態で撮像装置１Ｂの撮像画像が表示上で視認されることに違和感が生じないばかりか、逆に、ビューファインダーを覗いている状態が再現されることになるため、ユーザの撮像動作にも適していることになる。
なお拡大画を出力する制御を行うのは、画像合成部１２が行うようにしてもよいし、画像合成部１２を介さないで撮像装置１Ｂで撮像された画像が表示装置２に出力されるような構成も考えられる。従って、拡大画２２を出力する出力制御部としての機能が、画像処理装置３において画像合成部１２もしくは他の機能モジュールにより構成されればよい。

【0194】

第１から第７の実施の形態では、範囲検出部１０が周辺視野画像２０内に撮像装置１Ｂの撮像視野の範囲を検出できない場合、画像合成部１２は周辺視野画像２０内における拡大画２２の配置位置を、予め設定された固定位置に設定する例を述べた。
周辺視野画像２０内に撮像装置１Ｂの撮像視野の範囲が存在しないことで撮像画角枠２１の表示位置が検出できない場合、拡大画２２を周辺視野画像２０内の特定位置に合成して表示させるようにする（図６及び図２４のステップＳ１２３参照）。例えば図２Ｃのような状況で、このような状態が生ずる。
この場合、周辺視野画像２０内の特定位置に拡大画２２を表示させることで、ユーザが周辺視野画像２０外の撮像装置１Ｂの撮像視野の画像を確認できるようにする。特にこの場合では撮像画角枠２１が表示できないため、撮像画角枠２１と拡大画２２が重なってしまうことはなく、視認性悪化は生じない。
なお拡大画２２を表示させる特定位置は、常に固定位置としてもよいが、ユーザが任意の位置を指定できるようにしてもよい。

【0195】

第１から第７の実施の形態では、範囲検出部１０が周辺視野画像２０内に撮像装置１Ｂの撮像視野の範囲を検出できない場合、周辺視野画像２０を表示画像として出力する制御を行う例を述べた。
周辺視野画像２０内に撮像装置１Ｂの撮像視野の範囲が存在しないことで撮像画角枠２１の表示位置が検出できない場合、拡大画２２を合成していない周辺視野画像２０を表示させるようにしてもよい（図６及び図２４のステップＳ１２３参照）。つまり拡大画２２を非表示とする。
例えば図２のようなゴーグルカメラとしての撮像装置１Ａを装着していることを想定すると、図２Ｂのように撮像装置１Ａ、１Ｂの撮像視野方向が全く異なる状態では、ユーザにとって撮像装置１Ｂの画像に意識していない状況が多いとも考えられる。そこで拡大画２２については表示しないことで、周辺視野画像２０の全体を視認しやすくすることも好適である。
なお、ステップＳ１２３の処理では、ユーザの選択操作に応じて、拡大画２２を特定位置に合成して表示させる処理を行うか、或いは拡大画２２を表示させないようにするかを切り替えるようにしてもよい。
また拡大画を出力する制御を行うのは、画像合成部１２が行うようにしてもよいし、画像合成部１２を介さないで撮像装置１Ａで撮像された画像が表示装置２に出力されるような構成も考えられる。従って、周辺視野画像２０を出力する出力制御部としての機能が、画像処理装置３において画像合成部１２もしくは他の機能モジュールにより構成されればよい。

【0196】

第１，第３，第４，第５，第６，第７の実施の形態では、画像合成部１２は、撮像画角枠２１のサイズに応じて、周辺視野画像２０に対して拡大画２２を合成するか否かを決定する例を述べた。
撮像装置１Ｂが広角で撮像して撮像画角枠２１が拡大画２２より大きくなるような場合や、拡大画２２と比較しなくとも撮像画角枠２１がある程度大きい場合は、拡大画２２を表示する意味があまりなくなる。ユーザは撮像画角枠２１で囲まれた範囲として、撮像装置１Ｂの撮像視野を詳細に確認できるためである。また撮像画角枠２１が大きくなると、撮像画角枠２１とともに拡大画２２を適切に並べて表示することが困難になるとともに、かえって拡大画２２が邪魔になることもある。
そこで、例えば撮像画角枠２１のサイズが拡大画２２のサイズより大きくなる場合は、拡大画２２を表示させないようにする（図６及び図２４のステップＳ１０４，Ｓ１１０参照）。或いは、撮像画角枠２１のサイズが所定サイズ以上となる場合に拡大画２２を表示させないようにしてもよい。
これによりユーザによる撮像装置１Ｂの撮像視野の確認が撮像画角枠２１でできる状態で、拡大画２２を表示よる視認性の悪化を防止や、周辺視野を見やすくすることができる。

【0197】

第１，第３，第４，第５，第６，第７の実施の形態における撮像画角枠合成部１１としては、非長方形の撮像画角枠２１を周辺視野画像２０に合成する例をのべた（図３２参照）。
例えば撮像画角枠２１を、撮像装置１Ｂの視点Ｅからの投影範囲などとして表示させることで、撮像装置１Ｂの視野を周辺視野画像２０内で立体的に確認できるようになる。

【0198】

第２の実施の形態では、周辺視野画像２０内で、撮像装置１Ｂのフォーカス枠の範囲を検出する範囲検出部１０と、周辺視野画像２０に、範囲検出部１０で検出した合焦領域を示すフォーカス枠を合成するフォーカス枠合成部１１Ａと、を備え、画像合成部１２は、周辺視野画像２０内における拡大画２２の配置位置を、フォーカス枠２３の位置に応じて設定する例を述べた。
周辺視野画像２０内でフォーカス枠２３が示されることで、周辺視野画像２０内で撮像装置１Ｂがどの範囲にフォーカスして撮像しているかを確認できることになり、ユーザにとっては、より目標被写体を追いやすくなる。
また、撮像画角枠２１と拡大画２２が表示されることで、周辺視野画像２０内で目標被写体の位置を確認しながら、撮像装置１Ｂで撮像している目標被写体の画像（目標被写体の詳細な状況）も確認できる。
そしてこの場合、フォーカス枠２３と拡大画２２が重ならないような位置設定が可能となり、視認性が向上される。
なお、このフォーカス枠２３を表示させる例において、第１，第３，第４，第５，第６，第７の実施の形態における撮像画角枠２１に関する処理をそのままフォーカス枠２３に適用して実行することもできる。つまりフォーカス枠２３を表示させる場合に、拡大画２２の配置に関する各実施の形態の処理を適用できる。

【0199】

なお実施の形態においては、撮像装置１Ａ、１Ｂは別体の撮像装置であるとして説明したが、一大の撮像装置として第１の撮像系、第２の撮像系が設けられるものでもよい。例えば第１の撮像系は広角レンズを備えて周辺視野画像２０を撮像し、第２の撮像系はより狭い画角で目標被写体を撮像するような撮像装置において、実施の形態の処理が適用できる。

【0200】

実施の形態のプログラムは、図６、図７、図１６、図１７、図２０、図２４、図２５、図３０のいずれか又は複数の処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、撮像装置１Ａで撮像された周辺視野画像２０内に、撮像装置１Ａの撮像視野内の一部の視野を撮像可能な撮像装置１Ｂの撮像視野の画像である拡大画２２を配置する合成処理を画像処理装置３に実行させるプログラムである。
このようなプログラムにより、上述した画像処理装置３を実現できる。

【0201】

このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

【0202】

またこのようなプログラムによれば、実施の形態の画像処理装置３の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置３として機能させることができる。

【0203】

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

【0204】

なお本技術は以下のような構成も採ることができる。
（１）
第１の撮像装置で撮像された第１画像内に、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の画像である第２画像を配置する合成処理を行う画像合成部を備える
画像処理装置。
（２）
前記第１画像内で、前記第２の撮像装置の撮像視野の範囲を検出する範囲検出部と、
前記第１画像に、前記範囲検出部で検出した撮像視野の範囲を示す撮像画角枠を合成する撮像画角枠合成部と、を備えた
上記（１）に記載の画像処理装置。
（３）
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定する
上記（２）に記載の画像処理装置。
（４）
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に対して所定距離関係で追従するように設定する
上記（２）又は（３）に記載の画像処理装置。
（５）
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の水平方向の位置変化に対して所定の水平距離を保って追従するように設定する
上記（４）に記載の画像処理装置。
（６）
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の垂直方向の位置変化に対して所定の垂直距離を保って追従するように設定する
上記（４）又は（５）に記載の画像処理装置。
（７）
前記画像合成部は、前記第１画像の座標空間において、前記第２画像の配置位置の座標値を、前記撮像画角枠の座標値を用いた演算で算出する
上記（４）から（６）のいずれかに記載の画像処理装置。
（８）
前記画像合成部は、前記第１画像内を複数のエリアに分割設定し、前記撮像画角枠が位置するエリアに応じて選択される計算式により前記第２画像の配置位置を設定する
上記（２）から（７）のいずれかに記載の画像処理装置。
（９）
前記複数のエリアには、計算式の選択状態を維持する緩衝エリアが含まれる
上記（８）に記載の画像処理装置。
（１０）
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記撮像画角枠に対する前記第２画像の配置方向が変更されるように前記第２画像の配置位置を再設定する
上記（２）から（９）のいずれかに記載の画像処理装置。
（１１）
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記第２画像の配置位置を前記第１画像の範囲内方向にシフトさせるように、前記第２画像の配置位置を再設定する
上記（２）から（１０）のいずれかに記載の画像処理装置。
（１２）
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記撮像画角枠の位置に応じて設定するとともに、設定した配置位置が、前記第２画像の全部又は一部が前記第１画像の範囲外となる場合は、前記第２画像の合成処理を行わない
上記（２）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記範囲検出部が前記第１画像内に前記第２の撮像装置を検出した場合、
前記第２画像を表示画像として出力する制御を行う出力制御部を、更に備える
上記（２）から（１２）のいずれかに記載の画像処理装置。
（１４）
前記範囲検出部が前記第１画像内に前記第２の撮像装置の撮像視野の範囲を検出できない場合、
前記画像合成部は前記第１画像内における前記第２画像の配置位置を、予め設定された固定位置に設定する
上記（２）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記範囲検出部が前記第１画像内に前記第２の撮像装置の撮像視野の範囲を検出できない場合、
前記第１画像を表示画像として出力する制御を行う出力制御部を、更に備える
上記（２）から（１３）のいずれかに記載の画像処理装置。
（１６）
前記画像合成部は、前記撮像画角枠のサイズに応じて、前記第１画像に対して前記第２画像を合成するか否かを決定する
上記（２）から（１５）のいずれかに記載の画像処理装置。
（１７）
前記撮像画角枠合成部は、非長方形の前記撮像画角枠を前記第１画像に合成する
上記（２）から（１６）のいずれかに記載の画像処理装置。
（１８）
前記第１画像内で、前記第２の撮像装置のフォーカス枠の範囲を検出する範囲検出部と、
前記第１画像に、前記範囲検出部で検出した合焦領域を示すフォーカス枠を合成するフォーカス枠合成部と、
を備え、
前記画像合成部は、前記第１画像内における前記第２画像の配置位置を、前記フォーカス枠の位置に応じて設定する
上記（１）に記載の画像処理装置。
（１９）
画像処理装置が、第１の撮像装置で撮像された第１画像内に、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の画像である第２画像を配置する合成処理を行う
画像処理方法。
（２０）
第１の撮像装置で撮像された第１画像内に、前記第１の撮像装置の撮像視野内の一部の視野を撮像可能な第２の撮像装置の撮像視野の画像である第２画像を配置する合成処理を、
画像処理装置に実行させるプログラム。

【符号の説明】

【0205】

１Ａ，１Ｂ 撮像装置
２ 表示装置
３ 画像処理装置
４ 撮像部
１０ 範囲検出部
１１ 撮像画角枠合成部
１１Ａ フォーカス枠合成部
１２ 画像合成部
１３ 表示制御部
２０ 周辺視野画像
２１ 撮像画角枠
２２ 拡大画
２３ フォーカス枠
３２ 撮像部
３３ 画像信号処理部
３４ 画像解析部
３５ 制御部
３６ 操作部
３７ センサ部
３８ 表示制御部
３９ 表示部
４０ 記憶部
４１ 外部入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】