特許 7549467 電子機器およびその制御方法ならびにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】電子機器およびその制御方法ならびにプログラム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20240904BHJP

   H04N 23/45 20230101ALI20240904BHJP

   H04N 23/695 20230101ALI20240904BHJP

   H04N 23/60 20230101ALI20240904BHJP

   H04N 23/68 20230101ALI20240904BHJP

   G03B 5/00 20210101ALI20240904BHJP

【ＦＩ】

H04N23/63

H04N23/45

H04N23/695

H04N23/60

H04N23/68

G03B5/00 J

【請求項の数】 15

(21)【出願番号】P 2020098884

(22)【出願日】2020-06-05

(65)【公開番号】P2021192492

(43)【公開日】2021-12-16

【審査請求日】2023-05-30

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】鈴木 隆太

(72)【発明者】

【氏名】一宮 敬

(72)【発明者】

【氏名】池田 宏治

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１３－２４７５４３（ＪＰ，Ａ）

【文献】特開２０１７－１０２２２０（ＪＰ，Ａ）

【文献】特開２０１２－０４９６５１（ＪＰ，Ａ）

【文献】特開２０１７－２０７５２５（ＪＰ，Ａ）

【文献】特開２０１５－００４９９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６８

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

第１の画像を取得する第１の撮像手段と、
前記第１の画像よりも画角の広い第２の画像を取得可能な第２の撮像手段と、
ユーザの一方の目に対応する第１の表示手段と前記ユーザの他方の目に対応する第２の表示手段とのそれぞれに対し、前記第１の画像又は前記第２の画像に基づく画像を表示するように制御する制御手段と、を有し、
前記制御手段は、前記第１の画像に被写体が存在する場合、前記第１の画像を前記第１の表示手段に表示させ、前記第１の画像と前記第２の画像の一部とが略同一の画角となるようにした、前記被写体を含む前記第２の画像の一部を前記第２の表示手段に表示させる、ことを特徴とする電子機器。

【請求項2】

前記制御手段は、前記第１の画像から被写体が存在しなくなった場合、前記第２の画像を前記第１の表示手段と前記第２の表示手段とに表示させる、ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記制御手段は、前記電子機器に対して所定の操作が行われている場合、前記第１の画像に前記被写体が存在するか否かに関わらず、前記第１の画像を前記第１の表示手段と前記第２の表示手段とに表示させる、ことを特徴とする請求項１に記載の電子機器。

【請求項4】

前記第１の撮像手段は、取得される前記第１の画像の画角を変更可能なズーム機構を有し、
前記所定の操作は、前記ズーム機構により取得される画像の画角を変更する操作である、ことを特徴とする請求項３に記載の電子機器。

【請求項5】

前記第１の撮像手段と前記第２の撮像手段のうちの少なくとも一方は、取得される画像の画角を変更可能なズーム機構を有する、ことを特徴とする請求項１から３のいずれか１項に記載の電子機器。

【請求項6】

前記第２の画像の所定範囲に被写体が所定期間にわたって存在することを検出する検出手段を更に備え、
前記制御手段は、前記検出手段により前記第２の画像の前記所定範囲に被写体が前記所定期間にわたって存在することが検出された場合、前記第１の画像の画角と前記第２の画像の画角とが近づくように前記ズーム機構を制御する、ことを特徴する請求項５に記載の電子機器。

【請求項7】

前記制御手段は、前記第１の画像と前記第２の画像の一部とが略同一の画角となるように、前記第２の画像の一部を前記第２の画像から切り出して拡大する、ことを特徴とする請求項１に記載の電子機器。

【請求項8】

前記制御手段は、予め設定された切り出し位置と拡大率に従って、前記第２の画像の一部を切り出して拡大する第１の画像処理を実行する、ことを特徴とする請求項７に記載の電子機器。

【請求項9】

前記制御手段は、前記第１の画像における被写体の領域と前記第２の画像における前記被写体の領域との比較に基づいて、前記第２の画像の一部の切り出し位置と拡大率を決定することにより、前記第２の画像の一部を前記第２の画像から切り出して拡大する第２の画像処理を実行する、ことを特徴とする請求項８に記載の電子機器。

【請求項10】

前記第１の撮像手段は、取得される画像の画角を変更可能なズーム機構を有し、
前記制御手段は、
前記ズーム機構を駆動する動作が行われている場合には前記第１の画像処理を実行し、
前記ズーム機構を駆動する動作が終了した後は、前記第２の画像処理を実行する、ことを特徴とする請求項９に記載の電子機器。

【請求項11】

被写体までの距離を測定する測距手段を更に有し、
前記制御手段は、前記測距手段によって測定された被写体までの距離に応じて、前記切り出し位置を補正する、ことを特徴とする請求項８から１０のいずれか１項に記載の電子機器。

【請求項12】

前記第１の撮像手段の光軸の位置を制御して手振れを補正する第１の手振れ補正手段と、前記第２の撮像手段の光軸の位置を制御して手振れを補正する第２の手振れ補正手段と、を有し、
前記第１の手振れ補正手段と前記第２の手振れ補正手段とは独立した手振れ補正を行う、ことを特徴とする請求項１から１１のいずれか１項に記載の電子機器。

【請求項13】

前記制御手段は、前記第１の画像と前記第２の画像に対してそれぞれ異なるホワイトバランス調整を行う、ことを特徴とする請求項１から１２のいずれか１項に記載の電子機器。

【請求項14】

第１の画像を取得する第１の撮像手段と、前記第１の画像よりも画角の広い第２の画像を取得可能な第２の撮像手段とを有する電子機器の制御方法であって、
制御手段が、ユーザの一方の目に対応する第１の表示手段と前記ユーザの他方の目に対応する第２の表示手段とのそれぞれに対し、前記第１の画像又は前記第２の画像に基づく画像を表示するように制御する制御工程を有し、
前記制御工程では、前記第１の画像に被写体が存在する場合、前記第１の画像を前記第１の表示手段に表示させ、前記第１の画像と前記第２の画像の一部とが略同一の画角となるようにした、前記被写体を含む前記第２の画像の一部を前記第２の表示手段に表示させる、ことを特徴とする電子機器の制御方法。

【請求項15】

コンピュータを、請求項１から１３のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器およびその制御方法ならびにプログラムに関する。

【背景技術】

【0002】

従来、観察対象（被写体）を撮像素子を用いて撮像し、撮像により得られた画像を表示することで遠方の被写体を観察可能にする、例えば電子双眼鏡などの電子機器が知られている。

【0003】

このような電子機器では、小さく被写体が揺れ動く場合や手振れが生じる場合には、表示される画像内の被写体の位置が移動して被写体を観察し難くなる。このような課題に対し、特許文献１では、２つの撮像部と２つの表示部を持つ電子双眼鏡において、センサ信号に基づいて筐体の動きの変化を補正した画像を表示する技術を提案している。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５２２３４８６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、画角の外に移動するような被写体の動きによりユーザが当該被写体を見失ってしまうと、電子双眼鏡を覗いたまま被写体を探すことは困難である。この場合、ユーザは、いったん電子双眼鏡から目を離して肉眼で被写体位置を特定し、再度双眼鏡を覗くといった動作を行う必要がある。

【0006】

本発明は、上記課題に鑑みてなされ、その目的は、被写体が画角からはみ出す程度に移動する場合であっても、被写体の捕捉を容易にする技術を実現することである。

【課題を解決するための手段】

【0007】

この課題を解決するため、例えば本発明の電子機器は以下の構成を備える。すなわち、第１の画像を取得する第１の撮像手段と、前記第１の画像よりも画角の広い第２の画像を取得可能な第２の撮像手段と、ユーザの一方の目に対応する第１の表示手段と前記ユーザの他方の目に対応する第２の表示手段とのそれぞれに対し、前記第１の画像又は前記第２の画像に基づく画像を表示するように制御する制御手段と、を有し、前記制御手段は、前記第１の画像に被写体が存在する場合、前記第１の画像を前記第１の表示手段に表示させ、前記第１の画像と前記第２の画像の一部とが略同一の画角となるようにした、前記被写体を含む前記第２の画像の一部を前記第２の表示手段に表示させる、ことを特徴とする。

【発明の効果】

【0008】

本発明によれば、被写体が画角からはみ出す程度に移動する場合であっても、被写体の捕捉を容易にすることが可能になる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１にかかる電子双眼鏡の構成例を示すブロック図

【図2】実施形態１にかかる表示制御処理の一連の動作を示すフローチャート

【図3】実施形態１にかかる通常時の表示部における画像表示の一例を示す図

【図4】実施形態１にかかる被写体を見失った場合の表示部における画像表示の一例を示す図

【図5】実施形態１にかかるズーム駆動時の表示部における画像表示の一例を示す図

【図6】実施形態１にかかるクロップ処理の一連の動作を示すフローチャート

【図7】実施形態１にかかるクロップ処理の一連の動作を説明するための図

【図8】実施形態１にかかる距離と撮像位置のシフト量の関係を示す図

【図9】実施形態２にかかる表示制御処理の一連の動作を示すフローチャート

【図10】実施形態２にかかる通常時の表示部における画像表示の一例を示す図

【発明を実施するための形態】

【0010】

（実施形態１）
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

以下では電子機器の一例として、複数の撮像部により画角の異なる画像を撮像可能な電子双眼鏡を用いる例を説明する。しかし、本実施形態は、電子双眼鏡に限らず、複数の撮像部により画角の異なる画像を撮像可能な他の機器にも適用可能である。これらの機器には、例えば、眼鏡型の情報端末、デジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、内視鏡や手術用の医療機器などが含まれてよい。

【0012】

（電子双眼鏡１００の構成）
図１は、本実施形態の電子機器の一例としての電子双眼鏡１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

【0013】

電子双眼鏡１００の前面には、左側のレンズ１０１Ｌと右側のレンズ１０１Ｒとが所定の間隔をあけて配置されている。左側の撮像部１０２Ｌと右側の撮像部１０２Ｒはそれぞれ、レンズ１０１Ｌ或いはレンズ１０１Ｒを通過した被写体像を撮像し、画像信号を出力する。レンズ１０１Ｌとレンズ１０１Ｒはそれぞれ複数枚のレンズで構成されてよい。例えば、フォーカス調整は、複数のレンズ内のフォーカスレンズを光軸に沿って移動させることによって実現される。また、レンズ１０１Ｌとレンズ１０１Ｒは、いくつかのレンズ群が移動することで焦点距離が可変となるズームレンズを含む。なお、レンズ１０１Ｌとレンズ１０１Ｒの焦点距離は独立して変更可能であるため、それぞれの焦点距離は同一にも異なるようにも制御され得る。なお、以下の説明では、レンズ１０１Ｌとレンズ１０１Ｒは、焦点距離が可変であるズームレンズを備える場合を例に説明するが、焦点距離が固定である単焦点レンズを備えるように構成されてもよい。

【0014】

撮像部１０２Ｌと撮像部１０２Ｒは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型などのイメージセンサ（撮像素子）を含み、撮像した画像信号を出力する。イメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）などの他の各種イメージセンサで構成されてもよい。また、撮像部１０２Ｌと撮像部１０２Ｒはそれぞれのイメージセンサに適した読み出し回路なども備える。撮像部１０２Ｌと撮像部１０２Ｒとは、焦点距離が異なる状態のレンズ１０１Ｌとレンズ１０１Ｒを通過した被写体像を画像として取得するため、画角の異なる画像を取得可能である。

【0015】

リニアモーター１０３Ｌとリニアモーター１０３Ｒは、それぞれレンズ１０１Ｌとレンズ１０１Ｒのレンズを移動させることができ、フォーカス調整やズーム駆動を行う。リニアモーター１０３Ｌとリニアモーター１０３Ｒに分けることで、左右のレンズのズーム倍率を個別に変更可能である。

【0016】

制御部１０４は、１つ以上のプロセッサ、ＲＡＭおよびＲＯＭを含み、１つ以上のプロセッサがＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより、電子双眼鏡１００の各種処理を実行する。例えば、撮像部１０２Ｌで取得（撮像）された取得画像と撮像部１０２Ｒで取得された取得画像とが同じ画角となるようにクロップ処理を行い、クロップ処理した画像を表示部１０７Ｌと１０７Ｒの少なくとも一方（例えば両方）に表示させる。また、制御部１０４は、レンズ１０１Ｌとレンズ１０１Ｒが駆動中である場合など、所定の条件下においても表示部１０７Ｌと１０７Ｒに対する表示を制御する。なお、クロップ処理や表示制御の詳細については後述する。

【0017】

制御部１０４は、撮像部１０２Ｌと撮像部１０２Ｒで撮影された画像を用いて、画角内に被写体を捕捉しているか否かの判定や、ホワイトバランス調整処理を行う。また、制御部１０４は、ジャイロセンサ１０５Ｌとジャイロセンサ１０５Ｒ、及び加速度センサ１０６Ｌと加速度センサ１０６Ｒからの情報に基づいて撮像部における手振れ量を算出する。また、不図示の光軸制御部によりレンズ１０１Ｌ，レンズ１０１Ｒの光軸を制御することで手振れ補正を行うことができる。

【0018】

表示部１０７Ｌと表示部１０７Ｒはそれぞれ表示パネルを含み、それぞれの表示部はユーザの左目及び右目と対応する。それぞれの表示部は、制御部１０４の指示に応じて、撮像部１０２Ｌや撮像部１０２Ｒで撮像された画像等を表示する。表示部１０７Ｌと表示部１０７Ｒは可動部１０８に取り付けられている。可動部１０８は、表示部１０７Ｌと表示部１０７Ｒの位置を人の左右の目の間隔に合わせられるように、スライドもしくは電子双眼鏡１００が線対称に曲がるように構成される。

【0019】

測距部１０９は、電子双眼鏡１００から被写体までの距離を測定するユニットである。状態切り替え部１１０は、後述するマニュアル操作により被写体を捕捉中であるか否かを切り替えたり、表示部１０７Ｌと表示部１０７Ｒへの表示内容をユーザが切り替え可能に構成されている。例えば、状態切り替え部１１０が押しボタンスイッチで構成される場合、所定期間内に１回押された場合は被写体捕捉情報の切り替えを行い、所定期間内に２回連続で押された場合は表示部１０７Ｌと１０７Ｒの表示内容切り替えを行うことができる。

【0020】

（表示制御処理の一連の動作）
次に、図２を参照して、電子双眼鏡１００における表示部１０７Ｌと表示部１０７Ｒの表示を制御する表示制御処理について説明する。本実施形態の表示制御処理では、前述したレンズ１０１Ｒのズーム倍率は光学ズーム機構により制御される。一方、レンズ１０１Ｌの画角はレンズ１０１Ｒよりも画角が広くなるように制御され、光学ズームは行われない場合を例に説明する。なお、本処理は、制御部１０４の１つ以上のプロセッサがＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより、実現される。

【0021】

ステップＳ２００では、制御部１０４は、レンズ１０１Ｒにおいてズーム駆動中（すなわち光学ズーム機構によりズームレンズを駆動中）であるか否かを判定する。制御部１０４は、例えば、レンズ１０１Ｒのズーム状態を取得して、ズーム駆動中であると判定した場合はステップＳ２０４へ処理を進め、ズーム駆動中でないと判定した場合はステップＳ２０１へ処理を進める。

【0022】

ステップＳ２０１では、制御部１０４は、光学ズーム機構を搭載しているレンズ１０１Ｒを通して取得した画像が、被写体を捕捉しているか否かを判定する。この判定は、例えば、当該画像に被写体が存在するか否か或いは被写体が存在しなくなったかを判定することにより行うことができる。制御部１０４は、この判定を、例えば画像認識処理により画像内の被写体を認識できたか否かにより自動で判定する。或いは、制御部１０４は、ユーザがレンズ１０１Ｒを通して取得した画像を確認したうえで行われる、状態切り替え部１１０に対するマニュアル操作入力を用いて判定するようにしてもよい。制御部１０４は、画像が被写体を捕捉していると判定した場合はステップＳ２０２へ処理を進め、そうでないと判定した場合はステップＳ２０３へ処理を進める。

【0023】

ステップＳ２０２では、制御部１０４は、被写体を捕捉している状態の（それぞれの）画像を表示部１０７Ｌと表示部１０７Ｒに表示する。本ステップの表示方法について、図３を参照して説明する。

【0024】

図３に示す取得画像２００Ｌは撮像部１０２Ｌで取得された画像を表し、取得画像２００Ｒは撮像部１０２Ｒで取得された画像を表している。上述のように、レンズ１０１Ｌの画角がレンズ１０１Ｒの画角に対して広角になるように制御されるため、取得画像２００Ｌの方が取得画像２００Ｒよりも被写体が小さくなる。

【0025】

制御部１０４は、取得画像２００Ｌの一部の領域２０２についてクロップ処理を行って、表示画像２０１Ｌを生成し、表示部１０７Ｌに表示する。表示画像２０１Ｒは、取得画像２００Ｒの画像と同一であり、取得画像２００Ｒがそのまま表示部１０７Ｒに表示される。なお、制御部１０４によるクロップ処理の詳細は、図６を参照して後述する。クロップ処理により、表示画像２０１Ｌと２０１Ｒの画角が略同一となるように制御される。

【0026】

ステップＳ２０３では、制御部１０４は、ステップＳ２０２の状態から被写体を見失っているため、撮像部１０２Ｌの画像を表示部１０７Ｌ及び表示部１０７Ｒに表示する。本ステップの具体的な表示方法について、図４を参照して説明する。

【0027】

取得画像３００Ｌは撮像部１０２Ｌで取得された画像を表し、取得画像３００Ｒは撮像部１０２Ｒで取得された画像を表している。このとき、光学ズームをしているレンズ１０１Ｒを通した取得画像３００Ｒでは被写体を捕捉していないため、取得画像３００Ｒには被写体が存在していない。一方、レンズ１０１Ｌを通した画像は広角で撮像されているため、取得画像３００Ｌ上には被写体が存在している。

【0028】

このため、制御部１０４は、取得画像３００Ｌをそのまま表示画像３０１Ｌとして表示部１０７Ｌに表示する。一方、制御部１０４は、（取得画像３００Ｒに代えて）取得画像３００Ｌをそのまま表示部１０７Ｒに表示させる。このとき、制御部１０４は、表示画像３０１Ｒがレンズ１０１Ｒを通して取得した画像でないことを表すように、表示画像３０１Ｒに現在の光学ズームの倍率枠３０２を表示してもよい。

【0029】

このように、光学ズームを行っているレンズ１０１Ｒの画角で被写体を捕捉していないときは、より広角であるレンズ１０１Ｌを通して取得された画像を表示部１０７Ｌと表示部１０７Ｒの両方に表示する。このようにすることで、ユーザは表示部１０７Ｌ、１０７Ｒを覗いたまま被写体を見つけることができる。なお、上述の説明では取得画像３００Ｌを両方の表示部に表示するようにしているが、いずれか一方に（例えば表示部１０７Ｌ）のみに表示するようにしてもよい。

【0030】

ステップＳ２０４では、制御部１０４は、ユーザが光学ズーム機構によりレンズ１０１Ｒをズーム駆動をしているため、撮像部１０２Ｒの画像を表示部１０７Ｌ及び表示部１０７Ｒに表示する。図５を参照して、ステップＳ２０４の表示方法について説明する。

【0031】

なお、図５に示す取得画像４００Ｌは撮像部１０２Ｌで取得された画像を表し、取得画像４００Ｒは撮像部１０２Ｒで取得された画像を表している。

【0032】

レンズ１０１Ｒにおいてズームレンズを駆動中（ズーム駆動中）である場合、取得画像４００Ｒにおける被写体の大きさが変化する。このため、制御部１０４は、取得された取得画像４００Ｒをそのまま表示画像４０１Ｌ及び表示画像４０１Ｒとして表示部１０７Ｌと表示部１０７Ｒに表示し、取得画像４００Ｌは表示用に使用しない。このように、ズーム駆動中である場合には、ズームレンズを駆動中に取得された取得画像４００Ｒをそれぞれの表示部に表示させることで、代わりにリアルタイムでクロップ処理を行う場合と比べて像ずれや遅延を低減することができる。このため、ユーザは表示画像を所望の画角に設定しやすくなる。

【0033】

なお、上述のステップＳ２０２～Ｓ２０４では、画像を表示する際にホワイトバランス処理や手振れ補正処理などの所定の画像処理を適用してよい。ここでは、本実施形態に特に関連する事項について説明するものとし、画像処理についての一般的な説明は省略するが、記載された事項のみに限定されるものではない。

【0034】

ホワイトバランス処理を行う場合、撮像側と表示側の特性の組み合わせに基づき、画像信号を調整しなければならない。つまり、撮像部のイメージセンサにおける色感度比の製造ばらつきと表示パネルの色発光効率の製造ばらつきとの両方を考慮して画像を補正しなければならない。

【0035】

上述のステップＳ２０２における処理では、一方では撮像部１０２Ｌと表示部１０７Ｌの組み合わせにおいて適切な調整係数を使用し、他方では撮像部１０２Ｒと表示部１０７Ｒの組み合わせで適切な調整係数を使用して、ホワイトバランス調整を行う。

【0036】

ステップＳ２０４では、一方は撮像部１０２Ｒと表示部１０７Ｌの組み合わせとなり、他方は撮像部１０２Ｒと表示部１０７Ｒの組み合わせとなる。つまり、ステップＳ２０２とは異なる撮像部と表示部の組み合わせになるため、調整係数も異なる値が用いられる。

【0037】

また、手振れ補正についても同様である。すなわち、レンズ１０１Ｌ、レンズ１０１Ｒにおけるズーム比や左右それぞれのジャイロセンサ１０５Ｌ及びジャイロセンサ１０５Ｒ、加速度センサ１０６Ｌ及び加速度センサ１０６Ｒの組み合わせに応じて、手ぶれ補正を行う。すなわち、レンズ１０１Ｌの光軸とレンズ１０１Ｒの光軸の制御を独立して調整することで手振れ補正を行う。

【0038】

（クロップ処理に係る一連の動作）
更に、上述したＳ２０２におけるクロップ処理についてより詳細に説明する。なお、ここでは、レンズ１０１Ｒと１０１Ｌを介した取得画像を比較しながらクロップする方法について説明する。本処理は、制御部１０４の１つ以上のプロセッサがＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより、実現される。

【0039】

ステップＳ６００では、制御部１０４は、ステップＳ２０２（図２）で得られた取得画像２００Ｌと取得画像２００Ｒから被写体のエッジ部を特徴点として抽出する。例えば、図７には、取得画像２００Ｌ及び取得画像２００Ｒの特徴点を抽出した場合の画像例を模式的に示している。この例では、検出された特徴点を黒点で示している。

【0040】

ステップＳ６０１では、制御部１０４は、特徴点を結ぶことで形成される領域の面積から面積比を算出する。この面積比は、基準画像を取得画像２００Ｒとした場合、取得画像２００Ｌをクロップした後の拡大率に相当する。なお、制御部１０４は、算出した拡大率から、取得画像２００Ｌにおいてクロップする領域の大きさも決定する。

【0041】

ステップＳ６０２では、制御部１０４は、特徴点を結ぶことで形成される領域の重心位置をそれぞれ算出する。図７に示す例では、重心位置を×印で示す。制御部１０４は、更に、それぞれの重心位置の差を算出し、取得画像２００Ｌの中心座標と「重心位置の差」からクロップ位置を決定する。

【0042】

ステップＳ６０３では、制御部１０４は、測距部１０９からの距離情報に基づいてクロップ位置を補正する。このようにするのは、ステップＳ６０２で決定したクロップ位置により概ね左右の画像を一致させることができるものの、実際には被写体までの距離によりクロップ位置を補正する必要があるためである。

【0043】

図８には、被写体距離と左右の撮像部における被写体位置のシフト量の関係を示している。図８に示す破線は、それぞれ、レンズ１０１Ｌの光軸中心とレンズ１０１Ｒの光軸中心である。基準画像は取得画像２００Ｒであり、撮像部１０２Ｒで撮像される被写体の位置は、被写体までの距離に依らず常に光軸と一致している。一方、撮像部１０２Ｌで撮像される被写体の位置は、被写体距離に応じて光軸上からシフトする。図８では、シフト量を矢印で示しており、被写体までの距離が近いほどシフト量が大きくなる。

【0044】

したがって、ステップＳ６０２で算出した位置でクロップし表示することは、（被写体距離に応じたシフト量が考慮されていないため、実際と異なり）被写体が常に左右の撮像部の光軸上に存在することになる。すなわち、被写体までの距離や立体感が実際とは異なって見えてしまう。

【0045】

そこで、制御部１０４は、ステップＳ６０２で決定したクロップ位置からシフト量の分（図８で示した矢印の分）だけ位置を補正する。具体的には、制御部１０４は、測距部１０９により検出される被写体までの距離とレンズ１０１Ｌ及びレンズ１０１Ｒの基線長と焦点距離から公知の三角測量方式を用いて、シフト量を算出する。

【0046】

ステップＳ６０４では、制御部１０４は、取得画像２００Ｌからクロップする画像を抜き出し、抜き出した画像に拡大処理を施す。例えば、制御部１０４は、ステップＳ６０１～Ｓ６０３の動作で算出したクロップ位置と拡大率に基づいて、取得画像２００Ｌに対して画像を抜き出す処理と拡大処理とを行う。

【0047】

ステップＳ６０５では、制御部１０４は、抜き出して拡大した画像を表示部１０７Ｌに表示する。制御部１０４は、その後、本処理を終了し、呼び出し元であるＳ２０２に戻る。

【0048】

このように、本実施形態に係るクロップ処理では、取得画像２００Ｌと取得画像２００Ｒとを比較してクロップ位置を算出し、更に被写体距離に応じたシフト量によりクロップ位置を補正する。このようにすることでユーザに対して違和感の低減されたクロップ画像を表示することができる。

【0049】

なお、制御部１０４は、上述したクロップ処理とは別の方法でクロップを行ってもよい。例えば、まず、電子双眼鏡１００の製造時にズーム位置に対応したクロップ倍率とクロップ位置の関係を予め測定し、測定したデータを例えばＲＯＭ等に記憶させる。そして、電子双眼鏡１００を使用される際に、制御部１０４は、ズーム位置情報に対するクロップ倍率とクロップ位置を読み出して画像処理を行う。この場合、例えばレンズ１０１Ｌとレンズ１０１Ｒにポテンショメーターを取り付けることでズーム位置を検出できる構成とすればよい。この構成では、上述した画像を比較することでクロップ処理する方法に比べて、制御部１０４の負荷を軽減でき、消費電力を軽減する効果が期待できる。

【0050】

一方、実際には使用環境下での温度や湿度によりレンズの光学特性（倍率やレンズ光軸中心など）が変化するため、画像を比較するクロップ処理ではより正確な表示を行うことができる。

【0051】

（実施形態１の変形例）
上述の実施形態１では、制御部１０４は、ズーム駆動中には広角で撮影した画像を、左右の表示部に表示するようにした。このように表示することは図８で説明したように被写体までの距離や立体感が低減してしまう場合がある。そこで、ズーム駆動中においてもクロップ処理を行うようにすることで、左右の表示の違和感を軽減するようにしてもよい。また、ズーム駆動中には、（被写体の変化により）表示誤差の許容幅が大きくなることが考えられる。このため、例えば、上述した、制御部１０４の処理負荷が少ない「予め記憶しておいた倍率と位置」に基づいてクロップ処理を行う方法を用いてることで、高速かつ十分な表示品質で表示画像を提供可能になる。

【0052】

以上説明したように、本実施形態では、第１の画像と、第１の画像よりも画角の広い第２の画像とを取得し、２つの表示部のそれぞれに対し、第１の画像又は第２の画像に基づく画像を表示するように制御する。特に、画角の狭い第１の画像から被写体が存在しなくなった場合、画角の広い第２の画像を２つの表示部の少なくともいずれかに表示させる。このようにすることで、被写体が画角からはみ出す程度に移動する場合であっても、被写体の捕捉を容易にすることが可能になる。

【0053】

（実施形態２）
次に、実施形態２について説明する。実施形態２では、レンズ１０１Ｌにおいても光学ズームの制御が可能である点が実施形態１と異なる。また、本実施形態では、被写体が捕捉されているかを判定する際に、取得画像において主被写体が安定して存在することを検出するように被写体補足タイマーを用いる。この被写体捕捉タイマーは、制御部１０４の内部に構成されてよく、被写体が画像の所定範囲に存在していることを検出したらタイマーをスタートする。そして、被写体が安定して所定範囲内に存在しているかどうかを、一定時間にわたって被写体を検出し続けるか否かにより判定する。この被写体捕捉タイマーを用いる捕捉安定検出処理により、制御部１０４は、動きの速い被写体が一瞬だけ所定範囲内に存在しているのか、安定して被写体を捕捉し続けることができているのかを判別することが可能となる。

【0054】

なお、本実施形態に係る電子双眼鏡１００の他の構成は実施形態１と同一又は実質的に同一である。従って、同一又は実質的に同一である構成については同一の参照符号を付してその説明を省略し、相違点について重点的に説明する。

【0055】

（表示制御処理の一連の動作）
図９を参照して、本実施形態に係る、表示部１０７Ｌと表示部１０７Ｒの表示を制御する表示制御処理について説明する。なお、本実施形態における表示制御処理は、実施形態１と同様、制御部１０４の１つ以上のプロセッサがＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより、実現される。

【0056】

まず、制御部１０４は、実施形態１と同様にステップＳ２００～Ｓ２０４の処理を実行し、ズーム駆動状態或いは被写体の捕捉状態に応じて表示制御を行う。

【0057】

ステップＳ９０１では、制御部１０４は、ステップＳ２０２で撮像部１０２Ｌの画像をクロップした画像を表示部１０７Ｌに表示した後に、捕捉安定検出手段としての被写体捕捉タイマーに所定時間をセットする。なお、所定時間は（例えば３秒などの）予め設定された値を用いてもよいし、ユーザが変更できるようにしてもよい。

【0058】

なお、制御部１０４は、ステップＳ２０１で被写体を捕捉したことをきっかけにステップＳ９０１に移行し、同時にステップＳ２０２を実行してもよい。

【0059】

ステップＳ９０２では、制御部１０４は、タイマーをカウントダウンしていく。そして、ステップＳ９０３では、制御部１０４は、タイマーの値がゼロであるかを判定し、タイマーがゼロであると判定した場合にはステップＳ９０４へ処理を進める。一方、タイマーがゼロでないと判定した場合、処理をステップＳ９０２へ戻す。すなわち、制御部１０４は、タイマーの値がゼロになるまで、ステップＳ９０２のカウントダウンを繰り返し、タイマーの値がゼロになったら、ステップＳ９０４へ進む。

【0060】

ステップＳ９０４では、制御部１０４は、レンズ１０１Ｌをズーム駆動しながら、撮像部１０２Ｌの画像のクロップサイズを変更し、クロップした画像を表示部１０７Ｌに表示する。このとき、制御部１０４は、表示部１０７Ｌに表示された被写体のサイズが維持されるように、ズーム駆動とクロップサイズの変更を連動させる。このようにすることで、表示部の画像を見ているユーザに違和感を与えずに、ズーム倍率を上げていくことが可能になる。レンズ１０１Ｌとレンズ１０１Ｒのズーム倍率が同じになるまで、レンズ１０１Ｌのズーム駆動とクロップサイズの変更を継続する。制御部１０４は、レンズ１０１Ｌとレンズ１０１Ｒのズーム倍率が同じになったら、その状態での表示を継続する。

【0061】

更に、図１０を参照して、ステップＳ９０４における表示制御について説明する。ステップＳ９０４の最初では、取得画像２００Ｌは撮像部１０２Ｌで取得された画像であり、また、取得画像２００Ｒは撮像部１０２Ｒで取得された画像である。レンズ１０１Ｌを通した画像はレンズ１０１Ｒを通した画像よりも広角であるため、取得画像２００Ｌの被写体の方が取得画像２００Ｒの被写体よりも小さい。この状態で、制御部１０４がレンズ１０１Ｌを（２つの取得画像の画角が近づくように）ズーム駆動すると、被写体が拡大されて、取得画像２００Ｌは取得画像１０００になる。このとき、制御部１０４が、同時にクロップサイズも領域１００２に変更すると、表示画像は１００１になる。このとき、更に、制御部１０４は、被写体のサイズが取得画像２００Ｌと同じになるようにクロップサイズを調整する。このようにすれば、表示画像１００１は表示画像２０１Ｌに比べて、クロップの拡大倍率が低下するため、クロップにより画像の解像度が粗くなる割合を下げて、画質の低下を抑制することができる。

【0062】

その後、制御部１０４は、ズーム倍率をさらに上げていくことで、取得画像１０００の被写体サイズを取得画像２００Ｒと同等になるまで拡大していく。このように、安定的に被写体を捕捉できる場合には、表示画像２０１Ｌをクロップしないで済むため、クロップによる画質の低下を防ぐことができる。

【0063】

以上説明したように、本実施形態では、取得画像２００Ｌからクロップ処理した表示画像を表示した後、レンズ１０１Ｌのズーム駆動とクロップサイズを連続して変更することで、表示画像２０１Ｌのクロップ処理による画質の低下を防ぐすることができる。

【0064】

なお、本実施形態では、レンズ１０１Ｌのズーム駆動とクロップサイズを連続して変更する場合を例に説明した。しかし、表示画像２０１Ｌを一時的にメモリに保持し、その画像を一定時間（例えば０．１秒間）保持し続け、連続ではなく、ステップ状に表示画像を変更してもよい。このようにすれば、レンズ１０１Ｌを速くかつ大きくズーム駆動し、ズーム駆動の通過地点のズーム倍率を予測してクロップサイズを決めてクロップ処理を行うことができる。換言すれば、レンズのズーム駆動完了までの時間を短縮することも可能である。

【0065】

また、本実施形態では、捕捉安定検出処理として被写体捕捉タイマーを用いる場合を例に説明した。しかし、この例に限らず、被写体が安定して画像の所定範囲内に存在していることを検出できれば、他の方法を用いてもよい。例えば、不図示の加速度センサーを電子双眼鏡１００に搭載し、加速度がほぼゼロになったら被写体を捕捉したと判定してもよい。或いは、制御部１０４により画像識別を連続して実行し、連続した識別結果に基づいて安定した被写体の存在を判定してもよい。

【0066】

更に、実施形態１および２ではレンズ１０１Ｒにおけるズームが光学ズームである場合を例に説明したが、光学ズームに限らず電子ズーム（クロップ処理）としてもよい。

【0067】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0068】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0069】

１０１Ｒ、１０１Ｌ…レンズ、１０２Ｒ、１０２Ｌ…撮像部、１０４…制御部、１０７Ｒ、１０７Ｌ…表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】