(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-27
(45)【発行日】2022-05-11
(54)【発明の名称】撮像装置、内視鏡装置及び撮像装置の作動方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20220428BHJP
A61B 1/00 20060101ALI20220428BHJP
A61B 1/045 20060101ALI20220428BHJP
G02B 7/28 20210101ALI20220428BHJP
G02B 23/24 20060101ALI20220428BHJP
H04N 5/225 20060101ALI20220428BHJP
H04N 7/18 20060101ALI20220428BHJP
【ＦＩ】
H04N5/232 120
A61B1/00 735
A61B1/045 610
G02B7/28 N
G02B23/24 B
H04N5/225 500
H04N7/18 M
【請求項の数】
11
(21)【出願番号】P 2020556389
(86)(22)【出願日】2018-11-06
(86)【国際出願番号】 JP2018041224
(87)【国際公開番号】W WO2020095366
(87)【国際公開日】2020-05-14
【審査請求日】2021-04-21
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(72)【発明者】
【氏名】吉野 浩一郎
【審査官】佐藤 直樹
(56)【参考文献】
【文献】国際公開第２０１８／１８６１２３（ＷＯ，Ａ１）
【文献】特開２０１２－０３９２５５（ＪＰ，Ａ）
【文献】特開２００３－２４８１６４（ＪＰ，Ａ）
【文献】特開２０１７－１１８２１２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ａ６１Ｂ １／００
Ａ６１Ｂ １／０４５
Ｇ０２Ｂ ７／２８
Ｇ０２Ｂ ２３／２４
Ｈ０４Ｎ ５／２２５
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、前記被写体像を前記合焦物体位置の異なる２つの光路に分割する光路分割部と、
分割された前記２つの光路の前記被写体像をそれぞれ撮像することによって、第１画像及び第２画像を取得する撮像素子と、
前記第１画像及び前記第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理を行う画像合成部と、
所与のＡＦ（Auto Focus）制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させる制御を行うＡＦ制御部と、
を含み、
前記ＡＦ制御部は、
前記ＡＦ制御モードとして、前記第１画像から算出される第１ＡＦ評価値と、前記第２画像から算出される第２ＡＦ評価値を用いてＡＦ制御を行う第１ＡＦ制御モードを含むことを特徴とする撮像装置。
【請求項2】
請求項１において、前記ＡＦ制御部は、
前記ＡＦ制御モードとして、前記第１ＡＦ評価値と前記第２ＡＦ評価値のいずれか一方を用いてＡＦ制御を行う第２ＡＦ制御モードを含むことを特徴とする撮像装置。
【請求項3】
請求項２において、前記ＡＦ制御部は、
前記第１ＡＦ制御モードと前記第２ＡＦ制御モードの切り替え制御を行うことを特徴とする撮像装置。
【請求項4】
請求項３において、前記ＡＦ制御部は、
前記第１ＡＦ評価値及び前記第２ＡＦ評価値に基づいて、前記注目被写体が所与の基準よりもコントラストが低い低コントラスト被写体であるか否かを判定する低コントラスト被写体判定処理、又は、
前記第１ＡＦ評価値及び前記第２ＡＦ評価値に基づいて、前記注目被写体に対する合焦度合いが所与の基準よりも低い大ボケ状態であるか否かを判定する大ボケ判定処理、
に基づいて、前記第１ＡＦ制御モードと前記第２ＡＦ制御モードの前記切り替え制御を行うことを特徴とする撮像装置。
【請求項5】
請求項１において、前記ＡＦ制御部は、
合焦方向の判別を行う方向判別部をさらに含み、
前記方向判別部は、
前記第１ＡＦ制御モードにおいて、前記第１ＡＦ評価値と前記第２ＡＦ評価値の関係に基づいて、前記合焦方向の判別を行うことを特徴とする撮像装置。
【請求項6】
請求項１において、前記ＡＦ制御部は、
前記フォーカスレンズの駆動量を決定するレンズ駆動量決定部をさらに含み、
前記レンズ駆動量決定部は、
前記第１ＡＦ制御モードにおいて、前記第１ＡＦ評価値と前記第２ＡＦ評価値の関係に基づいて、前記駆動量を決定することを特徴とする撮像装置。
【請求項7】
請求項１において、前記ＡＦ制御部は、
合焦動作が完了したか否かを判定する合焦判定部をさらに含み、
前記合焦判定部は、
前記第１ＡＦ制御モードにおいて、前記第１ＡＦ評価値と前記第２ＡＦ評価値の関係に基づいて、前記合焦動作が完了したか否かを判定することを特徴とする撮像装置。
【請求項8】
請求項２において、前記ＡＦ制御部は、
前記第２ＡＦ制御モードにおいて、前記第１画像を取得する前記撮像素子に対応する第１位置に前記注目被写体の前記被写体像が結像すると判定される位置に、前記フォーカスレンズを移動させる制御を行った後、前記被写体像が結像する位置を、前記第２画像を取得する前記撮像素子に対応する第２位置へ向かう方向に所定量だけ移動させると判定される位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。
【請求項9】
請求項２において、前記ＡＦ制御部は、
前記第１ＡＦ制御モードにおいて、前記第１ＡＦ評価値が最大となる前記フォーカスレンズの位置と、前記第２ＡＦ評価値が最大となる前記フォーカスレンズの位置との間の位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。
【請求項10】
合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、前記被写体像を前記合焦物体位置の異なる２つの光路に分割する光路分割部と、
分割された前記２つの光路の前記被写体像をそれぞれ撮像して、第１画像及び第２画像を取得する撮像素子と、
前記第１画像及び前記第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理を行う画像合成部と、
所与のＡＦ（Auto Focus）制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させる制御を行うＡＦ制御部と、
を含み、
前記ＡＦ制御部は、
前記ＡＦ制御モードとして、前記第１画像から算出される第１ＡＦ評価値と、前記第２画像から算出される第２ＡＦ評価値を用いてＡＦ制御を行う第１ＡＦ制御モードを含むことを特徴とする内視鏡装置。
【請求項11】
合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、前記被写体像を前記合焦物体位置の異なる２つの光路に分割する光路分割部と、分割された前記２つの光路の前記被写体像をそれぞれ撮像して、第１画像及び第２画像を取得する撮像素子と、を含む撮像装置の作動方法であって、前記第１画像及び前記第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理と、
所与のＡＦ（Auto Focus）制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させるＡＦ制御と、
を行い、
前記ＡＦ制御モードとして、前記第１画像から算出される第１ＡＦ評価値と、前記第２画像から算出される第２ＡＦ評価値を用いて前記ＡＦ制御を行う第１ＡＦ制御モードを含むことを特徴とする撮像装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、内視鏡装置及び撮像装置の作動方法等に関する。
【背景技術】
【0002】
内視鏡システムにおいては、ユーザーが行う診断と処置に支障をきたさないため、できるだけ広い被写界深度が要求される。しかし近年では、内視鏡システムにおいても高画素の撮像素子が使用されるに従って、被写界深度が狭くなってきている。このため特許文献１において、ピント位置の異なる２枚の画像を同時に撮影し、これらを合成することによって被写界深度が拡大された合成画像を生成する内視鏡システムが提案されている。以下、被写界深度を拡大する手法を、ＥＤＯＦ（Extended Depth Of Field）技術と表記する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１４／００２７４０号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の内視鏡システムは、焦点切り替え機構をさらに備え、被写界深度を拡大したまま近接観察と遠方観察が可能な構成となっている。近接観察時の合成被写界深度と遠方観察時の合成被写界深度が重なるという条件を満たす設計を行えば、画像がボケる範囲を発生させること無く、内視鏡観察に必要な距離範囲をすべて観察することが可能である。
【0005】
撮像素子をさらに高画素化することによって被写界深度がより狭くなる場合、近接観察時の合成被写界深度と遠方観察時の合成被写界深度を重ねることができなくなり、２つの焦点を切り替えて観察するだけでは画像がボケる範囲が発生してしまう。
【0006】
これに対して、注目被写体に自動的にピントを合わせるＡＦ（Auto Focus）制御を行うことによって、画像のボケを発生させないことが考えられる。しかし合焦状態の異なる２枚の画像を同時に撮影し、これらを用いて合成画像を生成する撮像装置における最適なＡＦ制御手法は、これまで提案されていなかった。
【0007】
本発明の幾つかの態様によれば、所与のタイミングにおいて合焦物体位置の異なる複数の画像を撮像可能である場合において、高速なＡＦ制御を行う撮像装置、内視鏡装置及び撮像装置の作動方法等を提供できる。
【課題を解決するための手段】
【0008】
本発明の一態様は、合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、前記被写体像を前記合焦物体位置の異なる２つの光路に分割する光路分割部と、分割された前記２つの光路の前記被写体像をそれぞれ撮像することによって、第１画像及び第２画像を取得する撮像素子と、前記第１画像及び前記第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理を行う画像合成部と、所与のＡＦ（Auto Focus）制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させる制御を行うＡＦ制御部と、を含み、前記ＡＦ制御部は、前記ＡＦ制御モードとして、前記第１画像から算出される第１ＡＦ評価値と、前記第２画像から算出される第２ＡＦ評価値を用いてＡＦ制御を行う第１ＡＦ制御モードを含む撮像装置に関係する。
【0009】
また本発明の他の態様は、合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、前記被写体像を前記合焦物体位置の異なる２つの光路に分割する光路分割部と、分割された前記２つの光路の前記被写体像をそれぞれ撮像することによって、第１画像及び第２画像を取得する撮像素子と、前記第１画像及び前記第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理を行う画像合成部と、所与のＡＦ（Auto Focus）制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させる制御を行うＡＦ制御部と、を含み、前記ＡＦ制御部は、前記ＡＦ制御モードとして、前記第１画像から算出される第１ＡＦ評価値と、前記第２画像から算出される第２ＡＦ評価値を用いてＡＦ制御を行う第１ＡＦ制御モードを含む内視鏡装置に関係する。
【0010】
また本発明のさらに他の態様は、合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、前記被写体像を前記合焦物体位置の異なる２つの光路に分割する光路分割部と、分割された前記２つの光路の前記被写体像をそれぞれ撮像することによって、第１画像及び第２画像を取得する撮像素子と、を含む撮像装置の作動方法であって、前記第１画像及び前記第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理と、所与のＡＦ（Auto Focus）制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させるＡＦ制御と、を行い、前記ＡＦ制御モードとして、前記第１画像から算出される第１ＡＦ評価値と、前記第２画像から算出される第２ＡＦ評価値を用いて前記ＡＦ制御を行う第１ＡＦ制御モードを含む撮像装置の作動方法に関係する。
【図面の簡単な説明】
【0011】
【図1】撮像装置の構成例。
【図2】被写体像の結像位置と被写界深度範囲の関係を説明する図。
【図3】内視鏡装置の構成例。
【図4】撮像部の構成例。
【図5】撮像素子の有効画素領域の説明図。
【図6】撮像部の他の構成例。
【図7】ＡＦ制御部の構成例。
【図8】ＡＦ制御を説明するフローチャート。
【図9】ＡＦ制御モードの切り替え処理を説明するフローチャート。
【図10】ＡＦ制御モードの切り替え処理を説明する他のフローチャート。
【図11】ＡＦ制御部の他の構成例。
【発明を実施するための形態】
【0012】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0013】
１．概要
特許文献１等には、合焦物体位置の異なる２枚の画像を同時に撮影し、これらを合成することによって、被写界深度が拡大された合成画像を生成する内視鏡システムが開示されている。ここで合焦物体位置とは、レンズ系、像面、物体からなる系が合焦状態にある場合の、物体の位置を表すものである。例えば、像面を撮像素子の面とした場合、合焦物体位置とは、当該撮像素子を用いて上記レンズ系を介した被写体像を撮像した場合に、撮像画像においてピントが理想的に合う被写体の位置を表す。より具体的には、撮像素子によって撮像される画像は、合焦物体位置を含む被写界深度の範囲内に位置する被写体に合焦した画像となる。合焦物体位置は、ピントが合う物体の位置であるため、ピント位置と言い換えてもよい。
特許文献１等には、合焦物体位置の異なる２枚の画像を同時に撮影し、これらを合成することによって、被写界深度が拡大された合成画像を生成する内視鏡システムが開示されている。ここで合焦物体位置とは、レンズ系、像面、物体からなる系が合焦状態にある場合の、物体の位置を表すものである。例えば、像面を撮像素子の面とした場合、合焦物体位置とは、当該撮像素子を用いて上記レンズ系を介した被写体像を撮像した場合に、撮像画像においてピントが理想的に合う被写体の位置を表す。より具体的には、撮像素子によって撮像される画像は、合焦物体位置を含む被写界深度の範囲内に位置する被写体に合焦した画像となる。合焦物体位置は、ピントが合う物体の位置であるため、ピント位置と言い換えてもよい。
【0014】
また以下では結像位置を説明に用いる。結像位置とは、所与の被写体の被写体像が結像する位置を表す。合焦物体位置に存在する被写体の結像位置は撮像素子面上である。また、被写体の位置が合焦物体位置から離れることによって、被写体の結像位置も撮像素子面から離れる。被写体の位置が被写界深度から外れた場合、当該被写体はボケて撮像される。被写体の結像位置とは、当該被写体の点像分布関数（ＰＳＦ：Point Spread Function）のピークとなる位置である。
【0015】
特許文献１等の従来手法では、ＥＤＯＦ技術による深度拡大、及び遠点観察と近点観察の切り替えに基づいて、所望の範囲の被写体に合焦可能であるケースを想定している。しかし撮像素子の高画素化によって被写界深度が狭くなる場合、遠点観察と近点観察の単純な切り替えでは合焦できない範囲が生じる可能性がある。そのため、ＥＤＯＦ技術とＡＦ制御とを組み合わせることに対する要求がある。ただし、ここで想定している光学系は、合焦物体位置の異なる複数の画像を同時に撮像可能であるため、従来のＡＦ制御を単純に適用するのではなく、より適切なＡＦ制御を実行する必要がある。以下、まずＡＦ制御に用いる画像について検討した後、適切な被写界深度範囲を実現するという第１の観点と、高速なＡＦ制御を実現するという第２の観点から、本実施形態の手法を説明する。
【0016】
本実施形態にかかる撮像装置は、合焦物体位置の異なる２枚の画像を同時に撮影し、且つ、これらを合成することによって合成画像を生成する。即ち撮像装置は、所与の１タイミングの被写体の状態を反映した複数の画像を取得可能である。ＡＦ制御に用いる画像に応じてＡＦ制御結果が異なるため、適切なＡＦ制御の実現には処理対象とする画像の選択が重要となる。
【0017】
ここで合成画像は、合焦物体位置が異なる２つの画像の情報が、画像上の位置に応じて複雑に混じり合った状態になっている。このような合成画像から、適切なＡＦ制御を実現するためのフォーカスレンズの移動方向や移動量を算出することはきわめて困難である。適切なＡＦ制御とは、具体的には、注目被写体の結像位置を、目標とする結像位置に移動させる制御である。
【0018】
本実施形態の撮像装置１０は、図１に示すように、対物光学系１１０と、光路分割部１２１と、撮像素子１２２と、画像合成部３３０と、ＡＦ制御部３６０を含む。対物光学系１１０は、合焦物体位置を調整するフォーカスレンズ１１１を含み、被写体像を取得する。光路分割部１２１は、当該被写体像を合焦物体位置の異なる２つの光路に分割する。光路分割部１２１の詳細は、図４～図６を用いて後述する。撮像素子１２２は、分割された２つの光路の被写体像をそれぞれ撮像することによって、第１画像及び第２画像を取得する。以下、相対的に短い光路の被写体像を撮像した画像であって、合焦物体位置が対物光学系１１０から相対的に遠い画像をＦＡＲ画像と表記する。ＦＡＲ画像は、遠点画像と言い換えてもよい。また相対的に長い光路の被写体像を撮像した画像であって、合焦物体位置が対物光学系１１０から相対的に近い画像をＮＥＡＲ画像と表記する。ＮＥＡＲ画像は、近点画像と言い換えてもよい。なおここでの光路は、光が通過する物体の屈折率等を考慮した光学的距離を表す。第１画像とは、ＦＡＲ画像とＮＥＡＲ画像のいずれか一方の画像であり、第２画像とは他方の画像である。図４～図６を用いて後述するように、撮像素子１２２は１つの素子であってもよいし、複数の素子を含んでもよい。
【0019】
画像合成部３３０は、第１画像及び第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理を行う。ＡＦ制御部３６０は、注目被写体にピントが合うと判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。ここでピントが合うとは、注目被写体が被写界深度の範囲内に位置することを表す。
【0020】
そしてＡＦ制御部３６０は、画像合成部３３０における合成処理が行われる前の第１画像及び第２画像の少なくとも一方に基づいて、ＡＦ制御を行う。第１画像は、当該第１画像上における位置によらず合焦物体位置は一定である。同様に第２画像は、当該第２画像上における位置によらず合焦物体位置は一定である。本実施形態の手法によれば、同時に撮像される複数の画像から合成画像を生成する場合において、適切な画像を用いてＡＦ制御を行うことが可能になる。なお、第１画像及び第２画像は、合成処理前の画像であればよく、合成処理以外の画像処理が施された画像であってもよい。例えばＡＦ制御部３６０は、図３を用いて後述するように、前処理部３２０によって前処理が行われた後の画像を用いてＡＦ制御を行ってもよい。或いはＡＦ制御部３６０は、前処理を行う前の画像を用いてＡＦ制御を行ってもよい。
【0021】
続いて第１の観点から本実施形態の手法を説明する。従来のＡＦ制御においては、撮像素子上に注目被写体の被写体像が結像すると判定されるレンズ位置に、フォーカスレンズ１１１を移動させる制御を行う。しかし合焦物体位置の異なる２つの画像を同時に撮影し、これらを用いて合成画像を生成する撮像装置１０においては、結像位置を撮像素子上とする制御を行うことが望ましくない場合がある。
【0022】
図２は、所与の被写体の結像位置と合成画像の被写界深度の関係を説明する図である。なお、図２では対物光学系１１０のうち、フォーカスレンズ１１１を図示している。光路分割部１２１は被写体像の光路を、対物光学系１１０から撮像素子１２２までの光路長が相対的に短い光路と、対物光学系１１０から撮像素子１２２までの光路長が相対的に長い光路の２つに分割する。図２は、２つの光路を１つの光軸ＡＸ上で表現した図であり、光路分割部１２１による光路分割とは、光軸ＡＸ上における位置が異なる２つの撮像素子１２２が設けられることと同義である。２つの撮像素子１２２とは、例えば図２に示す撮像素子Ｆと撮像素子Ｎである。
【0023】
撮像素子Ｆは、光路長が相対的に短い光路による被写体像が結像する撮像素子であり、合焦物体位置が所与の基準位置から遠いＦＡＲ画像を撮像する。撮像素子Ｎは、光路長が相対的に長い光路による被写体像が結像する撮像素子であり、合焦物体位置が基準位置から近いＮＥＡＲ画像を撮像する。ここでの基準位置とは、対物光学系１１０における基準となる位置である。基準位置は、例えば対物光学系１１０のうちの最も被写体に近い固定レンズの位置であってもよいし、挿入部１００の先端位置であってもよいし、他の位置であってもよい。なお２つの撮像素子Ｆ、撮像素子Ｎは、図３を用いて後述するように、１枚の撮像素子１２２によって実現されてもよい。
【0024】
図２のＯＢが被写体を表し、そのうちのＯＢ１が注目被写体を表す。注目被写体とは、被写体のうちユーザーが注目していると判断される被写体を表す。撮像装置１０が内視鏡装置１２である場合、注目被写体とは例えば病変である。ただし、注目被写体はユーザーが重点的な観察を望む被写体であればよく、病変に限定されない。例えば、観察の目的によっては、泡や残渣等が注目被写体となってもよい。注目被写体は、ユーザーによって指定されてもよいし、公知の病変検出手法等を用いて自動的に設定されてもよい。
【0025】
内視鏡視検査を行う際、ユーザーは注目被写体である病変だけでなく、その周囲の構造も観察した上で病変の種類や悪性度、病変の広がり具合等を判断する。また、病変以外の注目被写体においても、注目被写体の周辺領域を観察することは重要である。例えば、図２のＯＢ２やＯＢ３が合成被写界深度の範囲内であることが望ましい。また、挿入部１００と被写体ＯＢの位置関係が変化した場合に、ＯＢ２やＯＢ３がすぐに合成被写界深度から外れてしまうことは望ましくない。
【0026】
従来手法と同様に、撮像素子上に注目被写体の被写体像を結像させる場合を考える。撮像素子Ｆ上に注目被写体ＯＢ１の被写体像を結像させる場合、注目被写体ＯＢ１のＰＳＦはＡ１であり、合成画像の被写界深度はＢ１に示した範囲となる。合成画像の被写界深度であるＢ１は、撮像素子Ｆに対応する被写界深度（Ｂ１１）と撮像素子Ｎに対応する被写界深度（Ｂ１２）を合成した範囲となる。なお説明の便宜上、図２においてはＢ１１の幅とＢ１２の幅を同じにしているが、通常、遠点側ほど被写界深度の幅は広くなる。被写界深度範囲がＢ１に示した範囲となる場合、合成画像は注目被写体から対物光学系１１０に近い方向の被写体には広い範囲においてピントが合い、遠い方向の被写体には相対的に狭い範囲においてピントが合うバランスの悪い画像となる。即ち、Ａ１に示す撮像素子Ｆ上を結像位置とした状態は、注目被写体の周辺被写体まで含めた観察に適していない場合がある。
【0027】
また撮像素子Ｎ上に注目被写体の被写体像を結像させる場合、注目被写体のＰＳＦはＡ２であり、合成画像の被写界深度は、Ｂ２１とＢ２２の合成であるＢ２に示した範囲となる。被写界深度範囲がＢ２に示した範囲となる場合、合成画像は注目被写体から対物光学系に近い方向の被写体には狭い範囲においてのみピントが合い、遠い方向の被写体には相対的に広い範囲においてピントが合ったバランスの悪い画像となる。
【0028】
本実施形態においては、合成画像は注目被写体から対物光学系１１０に近い方向の被写体と、遠い方向の被写体の両方にバランス良くピントが合った画像となることが望ましい。よってＡＦ制御部３６０は、第１画像を取得する撮像素子１２２に対応する第１位置と、第２画像を取得する撮像素子１２２に対応する第２位置の間の位置に、注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。
【0029】
ここで撮像素子１２２に対応する位置とは、光路分割部１２１による光学的な作用に基づいて決定される位置であり、撮像装置１０において撮像素子１２２が配置される物理的な位置とは異なる。例えば、第１位置とは、光路分割部１２１によって分割された２つの光路のうち、相対的に短い光路長に基づいて決定される位置である。第２位置とは、光路分割部１２１によって分割された２つの光路のうち、相対的に長い光路長に基づいて決定される位置である。異なる言い方をすれば、第１位置は、第１画像において所与の被写体に対して理想的にピントがあった状態を実現した場合の、当該被写体の像の結像位置である。同様に第２位置は、第２画像において所与の被写体に対して理想的にピントがあった状態を実現した場合の、当該被写体の像の結像位置である。図２の例であれば、第１位置はＰ１に対応し、第２位置はＰ２に対応する。ただし、長い光路長に対応する位置を第１位置とし、短い光路長に対応する位置を第２位置としてもよい。
【0030】
本実施形態のＡＦ制御部３６０は、例えば注目被写体のＰＳＦがＡ３となる位置に、フォーカスレンズ１１１を移動させる。即ち、ＡＦ制御部３６０は、注目被写体の被写体像の結像位置が、Ｐ１とＰ２の間のＰ３となるレンズ位置にフォーカスレンズ１１１を移動させる制御を行う。この場合、合成画像の被写界深度はＢ３１とＢ３２の合成であるＢ３に示した範囲となる。撮像素子Ｆと撮像素子Ｎの中間位置に注目被写体の被写体像を結像させるＡＦ制御を行うことによって、注目被写体から対物光学系１１０に近い方向の被写体と、遠い方向の被写体の両方にバランス良くピントが合った合成画像を取得することが可能になる。
【0031】
また、図２においては平面的な構造である注目被写体ＯＢ１を垂直な方向から観察する例を示した。しかし注目被写体ＯＢ１を斜めから観察する場合や、注目被写体自体が凹凸等の奥行きを有する被写体である場合も考えられる。この場合も、やはり合成被写界深度範囲のバランスが重要であるため、注目被写体の所与の部分に対応する結像位置を、第１位置と第２位置の間の位置とすることが望ましい。
【0032】
なお、図２においては撮像素子Ｆと撮像素子Ｎから等距離となる位置である中央位置に、被写体像を結像させた場合を示している。しかし実際には、被写界深度の幅は合焦物体位置によって非線形に変化する。具体的には、合焦物体位置が対物光学系１１０から遠いほど、被写界深度の幅が広くなる。そのため、撮像素子Ｆと撮像素子Ｎの中央位置に被写体像を結像させた状態が、最もバランス良くピントが合った状態になるとは限らない。このため被写体像の結像位置は、撮像素子Ｆと撮像素子Ｎの間の任意の位置に調整してもよい。またユーザーの好みに応じて、例えば外部Ｉ／Ｆ部２００等から最終的な結像位置を調整可能に構成してもよい。
【0033】
次に第２の観点から本実施形態の手法を説明する。従来、撮像画像から算出されるＡＦ評価値のピークを探索するＡＦ制御が広く知られている。例えばコントラストＡＦを用いる場合、ＡＦ評価値とはコントラスト値である。ピークを探索する処理においては、例えば、合焦物体位置の異なる複数の画像を撮像し、それぞれの画像から算出されるＡＦ評価値を比較することによって、合焦方向を判別する処理が行われる。合焦方向とは、注目被写体の合焦度合いが向上すると判断されたフォーカスレンズ１１１の移動方向を表す。従来手法においては、合焦物体位置の異なる複数の画像を撮像するために、フォーカスレンズ又は撮像素子の位置を変化させながら、異なる複数のタイミングにおいて撮像を行う必要があった。
【0034】
これに対して本実施形態の手法では、ＡＦ制御部３６０は、所与のＡＦ制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。そしてＡＦ制御部３６０は、ＡＦ制御モードとして、第１画像から算出される第１ＡＦ評価値と、第２画像から算出される第２ＡＦ評価値を用いてＡＦ制御を行う第１ＡＦ制御モードを含む。具体的には、ＡＦ制御部３６０は、所与のタイミングにおいて撮像素子Ｆによって撮像されたＦＡＲ画像のＡＦ評価値と、同じタイミングにおいて撮像素子Ｎによって撮像されたＮＥＡＲ画像のＡＦ評価値の両方を用いたＡＦ制御モードによって動作可能である。
【0035】
本実施形態の手法によれば、所与の１タイミングにおける撮像結果に基づいて、複数のＡＦ評価値の取得及び比較が可能である。よって従来手法に比べて少ない短い時間において合焦方向を判別でき、ＡＦ制御の高速化が可能である。
【0036】
また従来手法では、注目被写体に合焦したか否かは、ＡＦ評価値がピークに到達したか否かによって判定される。ＡＦ評価値の絶対値からは当該値がピークであるか否かを判定できないため、周辺のＡＦ評価値との比較が必須となる。これに対して、本実施形態においては、２つのＡＦ評価値の関係に基づいて合焦が完了したか否かを判定できる。即ち、合焦方向の判別だけでなく、合焦完了の判定についても高速化が可能である。
【0037】
２．システム構成
以下では本実施形態の撮像装置１０が内視鏡装置１２である場合を説明するが、撮像装置１０は内視鏡装置１２に限定されない。撮像装置１０は、合焦物体位置の異なる複数の画像を撮像することによって合成画像を生成し、且つ、ＡＦ制御を実行する装置であればよい。例えば、撮像装置１０は顕微鏡であってもよい。
以下では本実施形態の撮像装置１０が内視鏡装置１２である場合を説明するが、撮像装置１０は内視鏡装置１２に限定されない。撮像装置１０は、合焦物体位置の異なる複数の画像を撮像することによって合成画像を生成し、且つ、ＡＦ制御を実行する装置であればよい。例えば、撮像装置１０は顕微鏡であってもよい。
【0038】
図３は、内視鏡装置１２の詳細な構成例である。内視鏡装置１２は、挿入部１００と、外部Ｉ／Ｆ部２００と、システム制御装置３００と、表示部４００と、光源装置５００を含む。
【0039】
挿入部１００は、体内へ挿入される部分である。挿入部１００は、対物光学系１１０、撮像部１２０、アクチュエータ１３０、照明レンズ１４０、ライトガイド１５０、ＡＦ開始／終了ボタン１６０を含む。
【0040】
ライトガイド１５０は、光源５２０からの照明光を、挿入部１００の先端まで導光する。照明レンズ１４０は、ライトガイド１５０によって導光された照明光を被写体に照射する。対物光学系１１０は、被写体から反射した反射光を、被写体像として結像する。対物光学系１１０は、フォーカスレンズ１１１を含み、フォーカスレンズ１１１の位置に応じて合焦物体位置を変更可能である。アクチュエータ１３０は、ＡＦ制御部３６０からの指示に基づいて、フォーカスレンズ１１１を駆動する。
【0041】
撮像部１２０は、光路分割部１２１及び撮像素子１２２を含み、合焦物体位置の異なる第１画像と第２画像を同時に取得する。また撮像部１２０は、第１画像と第２画像のセットを順次取得する。撮像素子１２２はモノクロセンサであってもよいし、カラーフィルタを備えた素子であってもよい。カラーフィルタは、広く知られたベイヤフィルタであってもよいし、補色フィルタであってもよいし、他のフィルタであってもよい。補色フィルタとは、シアン、マゼンダ及びイエローの各色フィルタを含むフィルタである。
【0042】
図４は、撮像部１２０の構成例を示す図である。撮像部１２０は、対物光学系１１０の挿入部１００後端部側に設けられ、被写体像を合焦物体位置の異なる２つの光学像に分割する偏光ビームスプリッタ１２３と、２つの光学像を撮像することによって２つの画像を取得する撮像素子１２２を含む。即ち、図４に示す撮像部１２０において、光路分割部１２１とは、偏光ビームスプリッタ１２３である。
【0043】
偏光ビームスプリッタ１２３は、図４に示すように、第１プリズム１２３ａ、第２プリズム１２３ｂ、ミラー１２３ｃ、及びλ／４板１２３ｄを備えている。第１プリズム１２３ａ及び第２プリズム１２３ｂは共に光軸に対して４５度の斜度であるビームスプリット面を有し、第１プリズム１２３ａのビームスプリット面には偏光分離膜１２３ｅが設けられている。そして、第１プリズム１２３ａ及び第２プリズム１２３ｂは、互いのビームスプリット面を偏光分離膜１２３ｅを隔てて当接させて偏光ビームスプリッタ１２３を構成している。また、ミラー１２３ｃは、第１プリズム１２３ａの端面近傍に設けられ、ミラー１２３ｃと第１プリズム１２３ａの間にλ／４板１２３ｄが設けられる。第２プリズム１２３ｂの端面には撮像素子１２２が取り付けられている。
【0044】
対物光学系１１０からの被写体像は、第１プリズム１２３ａにおいてそのビームスプリット面に設けられた偏光分離膜１２３ｅによってＰ成分とＳ成分とに分離され、反射光側の光学像と透過光側の光学像との２つの光学像に分離される。Ｐ成分とは透過光であり、Ｓ成分とは反射光である。
【0045】
Ｓ成分の光学像は、偏光分離膜１２３ｅにおいて撮像素子１２２に対して対面側に反射されＡ光路を通り、λ／４板１２３ｄを透過後、ミラー１２３ｃによって撮像素子１２２側に折り返される。折り返された光学像はλ／４板１２３ｄを再び透過する事によって偏光方向が９０°回転し、偏光分離膜１２３ｅを透過した後、撮像素子１２２に結像される。
【0046】
Ｐ成分の光学像は、偏光分離膜１２３ｅを透過した後Ｂ光路を通り、撮像素子１２２に向かって垂直に折り返す第２プリズム１２３ｂのビームスプリット面と反対側に設けられたミラー面によって反射され、撮像素子１２２に結像される。この際、Ａ光路とＢ光路との間において、例えば、数十μｍ程度の所定の光路差を生じさせることによって、ピントが異なる２つの光学像を撮像素子１２２の受光面に結像させる。
【0047】
図５に示すように、撮像素子１２２は、全画素領域の中に２つの受光領域１２２ａ，１２２ｂが設けられている。受光領域は、有効画素領域と言い換えてもよい。受光領域１２２ａ，１２２ｂは、２つの光学像を撮像するために、これらの光学像の結像面とそれぞれ一致する位置に配置されている。そして、撮像素子１２２において、受光領域１２２ａは、受光領域１２２ｂに対して合焦物体位置が相対的に近点側にシフトしている。これによって、合焦物体位置が異なる２つの光学像を撮像素子１２２の受光面に結像させる。
【0048】
図４及び図５の例において、撮像素子１２２のうちの受光領域１２２ａが、ＮＥＡＲ画像を撮像する撮像素子Ｎに対応する。また、撮像素子１２２のうちの受光領域１２２ｂが、ＦＡＲ画像を撮像する撮像素子Ｆに対応する。即ち、図４及び図５の例においては、撮像素子Ｎと撮像素子Ｆは１枚の素子によって実現される。
【0049】
図６は、撮像部１２０の他の構成例を示す図である。図６に示すように、撮像部１２０は、プリズム１２４と、２つの撮像素子１２２を含む。２つの撮像素子１２２とは、具体的には撮像素子１２２ｃ、撮像素子１２２ｄである。図６に示す撮像部１２０において、光路分割部１２１とは、プリズム１２４である。
【0050】
このプリズム１２４は、例えば直角三角形のプリズム素子１２４ａ、１２４ｂの両斜面を当接することによって形成される。プリズム素子１２４ａの端面付近に、該端面に対向する位置に一方の撮像素子１２２ｃが取り付けられている。また、プリズム素子１２４ｂの端面付近に、該端面に対向する位置に他方の撮像素子１２２ｄが取り付けられている。なお、撮像素子１２２ｃと撮像素子１２２ｄとは、特性が揃ったものを用いることが好ましい。
【0051】
プリズム１２４は、対物光学系１１０を経て入射される光を、例えば等量の反射光と透過光とに分離することによって、透過光側の光学像と反射光側の光学像との２つの光学像に分離する。撮像素子１２２ｃは透過光側の光学像を光電変換し、撮像素子１２２ｄは反射光側の光学像を光電変換する。
【0052】
本実施形態においては、撮像素子１２２ｃ、１２２ｄは、合焦物体位置が異なる。例えば、プリズム１２４における撮像素子１２２ｃに至る透過光側の光路長（硝路長）ｄｃに対して反射光側の光路長ｄｄが短く（小さく）なる。そして、撮像素子１２２ｃは、撮像素子１２２ｄに対して合焦物体位置が相対的に近点側にシフトしている。なお、プリズム素子１２４ａと１２４ｂにおける両者の屈折率を異ならせることによって、撮像素子１２２ｃ、１２２ｄに至る光路長を変えてもよい。図６の例において、撮像素子１２２ｃが、ＮＥＡＲ画像を撮像する撮像素子Ｎに対応し、撮像素子１２２ｄが、ＦＡＲ画像を撮像する撮像素子Ｆに対応する。即ち、図６の例においては、撮像素子Ｎと撮像素子Ｆは２枚の素子によって実現される。
【0053】
図４～図６に示したように、撮像部１２０の具体的な構成は種々の変形実施が可能である。また、撮像部１２０は、合焦物体位置の異なる２つの光路の被写体像をそれぞれ撮像することによって、第１画像及び第２画像を取得できればよく、図４～図６を用いて例示した構成に限定されない。
【0054】
ＡＦ開始／終了ボタン１６０は、ユーザーがＡＦの開始／終了を操作するための操作インターフェースである。
【0055】
外部Ｉ／Ｆ部２００は、内視鏡装置１２に対するユーザーからの入力を行うためのインターフェースである。外部Ｉ／Ｆ部２００は、例えばＡＦ制御モードの設定ボタン、ＡＦ領域の設定ボタン、画像処理パラメータの調整ボタンなどを含む。
【0056】
システム制御装置３００は、画像処理やシステム全体の制御を行う。システム制御装置３００は、Ａ／Ｄ変換部３１０、前処理部３２０、画像合成部３３０、後処理部３４０、システム制御部３５０、ＡＦ制御部３６０、光量決定部３７０を含む。
【0057】
本実施形態のシステム制御装置３００（処理部、処理回路）は、下記のハードウェアによって構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子によって構成できる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
【0058】
またシステム制御装置３００である処理回路は、下記のプロセッサによって実現されてもよい。本実施形態の撮像装置１０は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置（ＨＤＤ：Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、撮像装置１０の各部の機能が処理として実現される。撮像装置１０の各部とは、具体的にはシステム制御装置３００の各部であり、Ａ／Ｄ変換部３１０、前処理部３２０、画像合成部３３０、後処理部３４０、システム制御部３５０、ＡＦ制御部３６０、光量決定部３７０を含む。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0059】
また、本実施形態のシステム制御装置３００の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像合成部３３０は画像合成モジュールとして実現され、ＡＦ制御部３６０はＡＦ制御モジュールとして実現される。
【0060】
また、本実施形態のシステム制御装置３００の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。システム制御装置３００は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、システム制御装置３００の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、システム制御装置３００の各部の処理をコンピュータに実行させるためのプログラムである。具体的には本実施形態に係るプログラムは、図８～図１０を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。
【0061】
Ａ／Ｄ変換部３１０は、撮像部１２０から順次出力されるアナログ信号をデジタルの画像に変換し、前処理部３２０に順次出力する。前処理部３２０は、Ａ／Ｄ変換部３１０から順次出力されるＦＡＲ画像及びＮＥＡＲ画像に対して、各種補正処理を行い、画像合成部３３０、ＡＦ制御部３６０に順次出力する。被写体像を２つに分離した後に撮像素子にそれぞれ結像させる場合、以下の幾何的な差異が生じる場合がある。撮像素子１２２の撮像面にそれぞれ結像される２つの被写体像は、相対的に倍率ズレ、位置ズレ、回転方向のズレが発生する。また撮像素子１２２として２つの撮像素子１２２ｃ，１２２ｄを用いる場合、各素子の感度差などから明るさのズレが生じる場合がある。これらのズレ量が大きくなると、合成画像が２重画像となったり、不自然な明るさムラ等が生じてしまう。このため、本実施形態では、前処理部３２０において、上述した幾何的な差異、明るさ差異を補正する。
【0062】
画像合成部３３０は、前処理部３２０から順次出力される、補正された２つの画像を合成することによって１つの合成画像を生成し、後処理部３４０に順次出力する。具体的には、画像合成部３３０は、前処理部３２０により補正された２つの画像間の対応する所定領域において、相対的にコントラストが高い画像を選択する処理によって合成画像を生成する。つまり画像合成部３３０は、２つの画像における空間的に同一の画素領域それぞれにおけるコントラストを比較し、相対的にコントラストが高い方の画素領域を選択することによって、２つの画像から合成された１つの合成画像を生成する。なお画像合成部３３０は、２つの画像の同一の画素領域におけるコントラスト差が小さい又は略同一である場合は、その画素領域に所定の重み付けした後に加算する処理によって、合成画像を生成してもよい。
【0063】
後処理部３４０は、画像合成部３３０から順次出力される合成画像に対し、ホワイトバランス処理、デモザイク処理、ノイズ低減処理、色変換処理、階調変換処理、輪郭強調処理等の各種画像処理を行い、光量決定部３７０、表示部４００に順次出力する。
【0064】
システム制御部３５０は、撮像部１２０、ＡＦ開始／終了ボタン１６０、外部Ｉ／Ｆ部２００、ＡＦ制御部３６０と互いに接続され、各部を制御する。具体的には、システム制御部３５０は、各種制御信号の入出力を行う。ＡＦ制御部３６０は、前処理部３２０から順次出力される、補正された２つの画像のうち少なくとも一方を用いてＡＦ制御を行う。ＡＦ制御の詳細については後述する。光量決定部３７０は、後処理部３４０から順次出力される画像から光源の目標光量を決定し、光源制御部５１０に順次出力する。
【0065】
表示部４００は、後処理部３４０から出力される画像を順次表示する。即ち表示部４００は、深度拡大が行われた画像をフレーム画像とする動画を表示する。表示部４００は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。
【0066】
光源装置５００は、光源制御部５１０、光源５２０を含む。光源制御部５１０は、光量決定部３７０から順次出力される光源の目標光量に従って、光源５２０の光量を制御する。光源５２０は、照明光を発光する。光源５２０は、キセノン光源であってもよいし、ＬＥＤであってもよいし、レーザー光源であってもよい。また光源５２０は他の光源であってもよく、発光方式は限定されない。
【0067】
３．ＡＦ制御の詳細
次に本実施形態のＡＦ制御の具体例を説明する。まずＦＡＲ画像とＮＥＡＲ画像の両方を用いる第１ＡＦ制御モードと、ＦＡＲ画像とＮＥＡＲ画像のいずれか一方を用いる第２ＡＦ制御モードについて説明する。その後、第１ＡＦ制御モードと第２ＡＦ制御モードの切り替え処理と、ＡＦ制御の変形例を説明する。なお、以下の説明におけるコントラスト値はＡＦ評価値の一例であり、他のＡＦ評価値に置き換え可能である。
次に本実施形態のＡＦ制御の具体例を説明する。まずＦＡＲ画像とＮＥＡＲ画像の両方を用いる第１ＡＦ制御モードと、ＦＡＲ画像とＮＥＡＲ画像のいずれか一方を用いる第２ＡＦ制御モードについて説明する。その後、第１ＡＦ制御モードと第２ＡＦ制御モードの切り替え処理と、ＡＦ制御の変形例を説明する。なお、以下の説明におけるコントラスト値はＡＦ評価値の一例であり、他のＡＦ評価値に置き換え可能である。
【0068】
３．１ 第１ＡＦ制御モード
撮像素子Ｆと撮像素子Ｎの中央位置に被写体像が結像した場合、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値はほぼ同等となる。このため撮像素子Ｆと撮像素子Ｎの中央位置に被写体像を結像させるには、ＡＦ制御部３６０は、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値を監視しながらフォーカスレンズ位置を調整すればよい。撮像素子Ｆと撮像素子Ｎの中央位置以外を目標位置とする場合も、既知であるＰＳＦの形状や事前の実験等から被写体像の結像位置と、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値の関係を対応づけておき、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値の関係を監視しながらフォーカスレンズ１１１の位置を調整すればよい。
撮像素子Ｆと撮像素子Ｎの中央位置に被写体像が結像した場合、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値はほぼ同等となる。このため撮像素子Ｆと撮像素子Ｎの中央位置に被写体像を結像させるには、ＡＦ制御部３６０は、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値を監視しながらフォーカスレンズ位置を調整すればよい。撮像素子Ｆと撮像素子Ｎの中央位置以外を目標位置とする場合も、既知であるＰＳＦの形状や事前の実験等から被写体像の結像位置と、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値の関係を対応づけておき、ＦＡＲ画像とＮＥＡＲ画像のコントラスト値の関係を監視しながらフォーカスレンズ１１１の位置を調整すればよい。
【0069】
【0070】
図７は、ＡＦ制御部３６０の構成を示す図である。ＡＦ制御部３６０は、ＡＦ領域設定部３６１、ＡＦ評価値算出部３６２、方向判別部３６３、合焦判定部３６４、レンズ駆動量決定部３６５、目標結像位置設定部３６６、モード切り替え制御部３６７、フォーカスレンズ駆動部３６８を含む。
【0071】
ＡＦ領域設定部３６１は、ＦＡＲ画像及びＮＥＡＲ画像に対してＡＦ評価値の算出対象となるＡＦ領域を設定する。ＡＦ評価値算出部３６２は、ＡＦ領域の画素値に基づいて、ＡＦ評価値を算出する。方向判別部３６３は、フォーカスレンズ１１１の駆動方向を判別する。合焦判定部３６４は、合焦動作が完了したか否かを判定する。レンズ駆動量決定部３６５は、フォーカスレンズ１１１の駆動量を決定する。フォーカスレンズ駆動部３６８は、決定された駆動方向及び駆動量に基づいて、アクチュエータ１３０を制御することによってフォーカスレンズ１１１を駆動する。目標結像位置設定部３６６は、目標結像位置を設定する。目標結像位置とは、注目被写体の結像位置の目標となる位置である。合焦判定部３６４による判定は、被写体像の結像位置が目標結像位置に到達したか否かの判定である。モード切り替え制御部３６７は、ＡＦ制御モードの切り替えを行う。なお、ここではＡＦ制御モードは第１ＡＦ制御モードである例について説明し、モード切り替えの詳細については、図９及び図１０を用いて後述する。
【0072】
図８はＡＦ制御を説明するフローチャートである。ＡＦ制御が開始されるとまず合焦動作が開始される。合焦動作においては、まずＡＦ領域設定部３６１が、前処理部３２０から順次出力されるＦＡＲ画像及びＮＥＡＲ画像のそれぞれに対して、同じ位置にＡＦ領域を設定する（Ｓ１０１）。例えば、ＡＦ領域設定部３６１は、ユーザーが外部Ｉ／Ｆ部２００から設定したＡＦ領域の位置やサイズ等の情報に基づいてＡＦ領域を設定する。或いはＡＦ領域設定部３６１は、既存の病変検出機能等を用いて病変を検出し、検出した病変を含む領域を、自動的にＡＦ領域として設定してもよい。ＡＦ領域とは、注目被写体が撮像された領域である。
【0073】
ＡＦ評価値算出部３６２は、前処理部３２０から順次出力されるＦＡＲ画像及びＮＥＡＲ画像から、それぞれに対応する２つのＡＦ評価値を算出する（Ｓ１０２）。ＡＦ評価値とは、ＡＦ領域内の被写体に対する合焦度合いに応じて大きくなる値である。ＡＦ評価値算出部３６２は、例えばＡＦ領域内の各画素に対してバンドパスフィルタを適用し、その出力値を累積することによってＡＦ評価値を算出する。また、ＡＦ評価値の算出はバンドパスフィルタを用いるものに限定されず、公知の手法を広く適用可能である。以下、ＦＡＲ画像のＡＦ領域に基づいて算出されたＡＦ評価値をＡＦ評価値Ｆと表記し、ＮＥＡＲ画像のＡＦ領域に基づいて算出されたＡＦ評価値をＡＦ評価値Ｎと表記する。
【0074】
目標結像位置設定部３６６は、目標結像位置を表す目標結像位置情報を設定する（Ｓ１０３）。目標結像位置情報は、ＡＦ評価値ＦとＡＦ評価値Ｎの関係を表す値である。ＡＦ評価値ＦとＡＦ評価値Ｎの関係とは、例えば比率情報であるが、差分情報等の他の関係を表す情報でもよい。ここでの比率情報、差分情報は、単純な比率、差分に限定されず、比率或いは差分に基づく種々の情報に拡張可能である。例えば目標結像位置を撮像素子Ｆと撮像素子Ｎの中央位置とする場合であって、ＡＦ評価値ＦとＡＦ評価値Ｎの比率情報を目標結像位置情報として設定する場合、目標結像位置情報は１となる。目標結像位置情報は任意の固定値でもよいし、ユーザーが外部Ｉ／Ｆ部２００から好みに応じて調整してもよい。
【0075】
方向判別部３６３は、ＡＦ評価値Ｆ、ＡＦ評価値Ｎ、及び目標結像位置情報に基づいて、合焦方向を判別する（Ｓ１０４）。合焦方向とは、注目被写体の結像位置を目標結像位置に近づけるための、フォーカスレンズ１１１の駆動方向である。例えば目標結像位置情報が１の場合、方向判別部３６３は、ＡＦ評価値ＦとＡＦ評価値Ｎの値を比較し、いずれの値が小さいかの判定に基づいて合焦方向を判別する。例えばＡＦ評価値Ｆ＞ＡＦ評価値Ｎであれば、結像位置が撮像素子Ｎに近づくようなフォーカスレンズ１１１の駆動方向が、合焦方向となる。広義には、方向判別部３６３は、例えば現在の結像位置を表す値（結像位置情報）を算出し、結像位置情報が目標結像位置情報に近づくフォーカスレンズ１１１の駆動方向を合焦方向とする。結像位置情報は目標結像位置情報と同様の情報である。例えば目標結像位置情報がＡＦ評価値ＦとＡＦ評価値Ｎの比率情報である場合、結像位置情報は、現在のＡＦ評価値ＦとＡＦ評価値Ｎの比率情報である。
【0076】
合焦判定部３６４は、目標結像位置情報、及び結像位置情報に基づいて、合焦動作が完了したか否かを判定する（Ｓ１０５）。例えば合焦判定部３６４は、目標結像位置情報と結像位置情報の差分が、所定の閾値以下であると判定された場合に、合焦が完了したと判定する。或いは合焦判定部３６４は、目標結像位置情報と結像位置情報の比率と、１との差分が所定の閾値以下であると判定された場合に、合焦が完了したと判定してもよい。
【0077】
レンズ駆動量決定部３６５は、フォーカスレンズ１１１の駆動量を決定し、フォーカスレンズ駆動部３６８は、方向判別結果と駆動量に基づいてフォーカスレンズ１１１を駆動する（Ｓ１０６）。フォーカスレンズ１１１の駆動量は所定の値でもよいし、目標結像位置情報と結像位置情報の差分に基づいて決定してもよい。具体的には、目標結像位置情報と結像位置情報の差分が所定の閾値以上である場合は、レンズ駆動量決定部３６５は、目標結像位置と現在の結像位置が大きく離れているため駆動量を大きく設定し、閾値以下である場合は目標結像位置と現在の結像位置が近い位置にあるため駆動量を小さく設定する。またレンズ駆動量決定部３６５は、目標結像位置情報と結像位置情報の比率に基づいて駆動量を決定してもよい。なおＳ１０５において合焦動作が完了したと判定された場合は、駆動量は０に設定される。このような制御を行うことによって、合焦状態に応じて適切なレンズ駆動量の設定が可能となり、高速なＡＦ制御が実現できる。
【0078】
Ｓ１０５において合焦完了と判定された場合（Ｓ１０７の判定結果がＹｅｓ）、ＡＦ制御部３６０は合焦動作を終了した後、待機動作に遷移する。合焦が完了していない場合（Ｓ１０７の判定結果がＮｏ）、ＡＦ制御部３６０は、Ｓ１０１からの制御をフレーム毎に再度実行する。
【0079】
待機動作が開始されると、ＡＦ制御部３６０はシーン変化を検出する（Ｓ２０１）。例えばＡＦ制御部３６０は、前処理部３２０から順次出力される２つの画像、或いはいずれか一方の画像から、ＡＦ評価値、画像の輝度情報、色情報等の経時的な変化度合いを算出する。ＡＦ制御部３６０は、当該経時的な変化度合いが所定以上の場合に、シーン変化が検出されたと判定する。またＡＦ制御部３６０は、画像の動き情報や図示しない加速度センサ、距離センサ等を用いて、挿入部１００の移動度合いや被写体である生体の変形度合いを算出することによって、シーン変化を検出してもよい。
【0080】
シーン変化が検出された場合（Ｓ２０２の判定結果がＹｅｓ）、ＡＦ制御部３６０は待機動作を終了した後、合焦動作に遷移する。シーン変化が検出されない場合（Ｓ２０２の判定結果がＮｏ）、Ｓ２０１からの制御をフレーム毎に再度実行する。
【0081】
以上で説明した通り、本実施形態のＡＦ制御部３６０は、第１画像から算出される第１ＡＦ評価値と、第２画像から算出される第２ＡＦ評価値が、所与の関係となると判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。第１ＡＦ評価値と第２ＡＦ評価値の一方がＡＦ評価値Ｎに対応し、他方がＡＦ評価値Ｆに対応する。このようにすれば、２つのＡＦ評価値の関係に基づいて、被写界深度拡大後の合成画像において、最適な被写界深度範囲を実現できる。より具体的には、撮像素子Ｎ及び撮像素子Ｆの一方に対応する第１位置と他方に対応する第２位置との間に、注目被写体の像が結像する状態を実現できる。
【0082】
具体的には、ＡＦ制御部３６０は、図７に示したように、合焦方向の判別を行う方向判別部３６３をさらに含む。そして方向判別部３６３は、第１ＡＦ制御モードにおいて、第１ＡＦ評価値と第２ＡＦ評価値の関係に基づいて、合焦方向の判別を行う。このような制御を行うことによって、１フレームに相当する時間において方向判別が可能となり、既知のウォブリング等を用いた方向判別と比べて高速なＡＦ制御が実現できる。
【0083】
またＡＦ制御部３６０は、フォーカスレンズ１１１の駆動量を決定するレンズ駆動量決定部３６５をさらに含む。そしてレンズ駆動量決定部３６５は、第１ＡＦ制御モードにおいて、第１ＡＦ評価値と第２ＡＦ評価値の関係に基づいて、駆動量を決定する。このようにすれば、現在の結像位置と目標結像位置との関係を考慮して、柔軟に駆動量を決定することが可能になる。
【0084】
またＡＦ制御部３６０は、合焦動作が完了したか否かを判定する合焦判定部３６４をさらに含む。そして合焦判定部３６４は、第１ＡＦ制御モードにおいて、第１ＡＦ評価値と第２ＡＦ評価値の関係に基づいて、合焦動作が完了したか否かを判定する。従来のコントラストＡＦ等では、ＡＦ評価値のピークを探索する必要があり、例えば合焦方向の切り替わりを所定回数検出すること等が合焦判定の条件として用いられる。これに対して本実施形態の手法によれば、少ないフレーム、狭義には１フレームに相当する時間において合焦判定が可能となり、高速なＡＦ制御が実現できる。
【0085】
なおＡＦ制御部３６０は、撮像素子Ｆに対応する第１位置と撮像素子Ｎに対応する第２位置の中央位置に、注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズ１１１を移動させる制御を行ってもよい。例えばＡＦ制御部３６０は、注目被写体のＰＳＦが図２のＡ３となるレンズ位置にフォーカスレンズ１１１を移動させる。中央位置とは第１位置からの距離と第２位置からの距離が略等しい位置を表す。このようにすれば、図２のＢ３に示した通り、合成被写界深度は、注目被写体の位置を基準として、遠点側にＢ３１、近点側にＢ３２だけの幅を有することになり、バランスのとれた設定が可能になる。中央位置を用いる場合、２つのＡＦ評価値の関係は、比率が１或いは差分が０となる関係、或いはそれに類する関係である。
【0086】
ただし、望ましい合成被写界深度の範囲は、注目被写体の種類、観察状況、ユーザーの好み等によっても変化する。そのため、目標結像位置は第１位置と第２位置の間となる他の位置であってもよい。さらに言えば、ＡＦ制御部３６０は、第１画像を取得する撮像素子に対応する第１位置、第２画像を取得する撮像素子に対応する第２位置、及び第１位置と第２位置の間の位置のいずれかに注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズ１１１を移動させる制御を行ってもよい。即ち、注目被写体の被写体像が、撮像素子Ｆに対応する位置と撮像素子Ｎに対応する位置のいずれかとなることも妨げられない。このようにすれば、目標結像位置を柔軟に設定することが可能になる。例えば図１２（Ｂ）及び図１２（Ｃ）を用いて後述するように、被写体形状が所与の条件を満たす場合、目標結像位置設定部３６６は、撮像素子上の位置を目標結像位置とする目標結像位置情報を設定する。
【0087】
３．２ 第２ＡＦ制御モード
撮像素子Ｆと撮像素子Ｎの間の距離は設計値のため既知である。また、フォーカスレンズ１１１の移動量と結像位置の移動量の関係も設計値のため既知である。このためＡＦ制御部３６０は、以下の制御に基づいて、被写界深度拡大後の合成画像において、最適な被写界深度範囲を実現できる。まずＡＦ制御部３６０は、既知のＡＦ手法を用いて、撮像素子Ｆ及び撮像素子Ｎのいずれか一方に被写体像を結像させる。既知のＡＦ手法は、コントラストＡＦ、位相差ＡＦ等の種々の手法を適用可能である。その後、ＡＦ制御部３６０は、撮像素子Ｆと撮像素子Ｎの中間の任意の位置に被写体像が結像すると判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。
撮像素子Ｆと撮像素子Ｎの間の距離は設計値のため既知である。また、フォーカスレンズ１１１の移動量と結像位置の移動量の関係も設計値のため既知である。このためＡＦ制御部３６０は、以下の制御に基づいて、被写界深度拡大後の合成画像において、最適な被写界深度範囲を実現できる。まずＡＦ制御部３６０は、既知のＡＦ手法を用いて、撮像素子Ｆ及び撮像素子Ｎのいずれか一方に被写体像を結像させる。既知のＡＦ手法は、コントラストＡＦ、位相差ＡＦ等の種々の手法を適用可能である。その後、ＡＦ制御部３６０は、撮像素子Ｆと撮像素子Ｎの中間の任意の位置に被写体像が結像すると判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。
【0088】
即ちＡＦ制御部３６０は、ＡＦ制御モードとして、第１ＡＦ評価値と第２ＡＦ評価値のいずれか一方を用いてＡＦ制御を行う第２ＡＦ制御モードを含む。第２ＡＦ制御モードを用いることによって、合焦物体位置の異なる２枚の画像を同時に撮影する撮像装置１０において、従来と同様のＡＦ制御手法を適用しつつ、合成画像の被写界深度範囲を適切に設定することが可能になる。
【0089】
第２ＡＦ制御モードにおける処理は、図８と同様である。ただし、目標結像位置設定部３６６は、Ｓ１０３において、目標結像位置として、調整後のフォーカスレンズ１１１の位置を設定する。例えば、目標結像位置設定部３６６は、撮像素子Ｆと撮像素子Ｎのいずれか一方に合焦した後に、フォーカスレンズ１１１の位置を調整する際のフォーカスレンズ１１１の調整量を設定する。調整量とは、駆動方向及び駆動量である。
【0090】
Ｓ１０４及びＳ１０５における処理は、公知のＡＦ制御と同様となる。例えばＡＦ評価値算出部３６２は、異なる２つのタイミングにおいて取得された２枚のＦＡＲ画像に基づいて２つのＡＦ評価値Ｆを算出する。方向判別部３６３は、２つのＡＦ評価値Ｆの比較処理に基づいて、注目被写体の結像位置を撮像素子Ｆ上とするための合焦方向を判別する（Ｓ１０４）。また合焦判定部３６４は、ＡＦ評価値Ｆのピークが検出されたと判定された場合に、合焦完了と判定する（Ｓ１０５）。例えば、合焦判定部３６４は、合焦方向の切り替わりが所定回数検出された場合に、合焦完了と判定する。以上ではＦＡＲ画像を用いて撮像素子Ｆに被写体像を結像させる例を示したが、ＡＦ制御部３６０は、ＮＥＡＲ画像を用いて撮像素子Ｎに被写体像を結像させてもよい。
【0091】
レンズ駆動量決定部３６５は、Ｓ１０５において合焦完了と判定されていない場合は、結像位置を撮像素子Ｎと撮像素子Ｆのいずれか一方の位置に移動させるための駆動量を設定する。ここでの駆動量は、固定値であってもよいし、２つのＡＦ評価値Ｆ（或いは２つのＡＦ評価値Ｎ）の関係に基づいて動的に値が変更されてもよい。またレンズ駆動量決定部３６５は、Ｓ１０５において合焦完了と判定された場合、結像位置を撮像素子Ｎと撮像素子Ｆのいずれか一方の位置から目標結像位置に移動させるための駆動量を設定する。この際の駆動量は、目標結像位置設定部３６６によって設定された駆動量（調整量）である。フォーカスレンズ駆動部３６８は、設定された駆動量に従ってフォーカスレンズ１１１を駆動する（Ｓ１０６）。
【0092】
以上のように、ＡＦ制御部３６０は、第２ＡＦ制御モードにおいて、第１画像を取得する撮像素子に対応する第１位置に注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズを移動させる制御を行った後、被写体像が結像する位置を、第２画像を取得する撮像素子に対応する第２位置へ向かう方向に所定量だけ移動させると判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。具体的には、ＡＦ制御部３６０は、第２ＡＦ制御モードにおいて、ＦＡＲ画像を取得する撮像素子Ｆに対応する位置（図２の例であればＰ１）に注目被写体の被写体像が結像するレンズ位置にフォーカスレンズ１１１を制御した後、被写体像が結像する位置を、ＮＥＡＲ画像を取得する撮像素子Ｎに対応する位置（Ｐ２）へ向かう方向に所定量だけ移動させるレンズ位置にフォーカスレンズ１１１を制御する。或いはＡＦ制御部３６０は、第２ＡＦ制御モードにおいて、ＮＥＡＲ画像を取得する撮像素子Ｎに対応する位置（Ｐ２）に注目被写体の被写体像が結像するレンズ位置にフォーカスレンズ１１１を制御した後、被写体像が結像する位置を、ＦＡＲ画像を取得する撮像素子Ｆに対応する位置（Ｐ１）へ向かう方向に所定量だけ移動させるレンズ位置にフォーカスレンズ１１１を制御する。このような制御によって、従来と同様のＡＦ制御手法を適用しつつ、合成画像の被写界深度範囲を適切に設定することが可能になる。
【0093】
３．３ ＡＦ制御モードの切り替え処理
また、以上では第１ＡＦ制御モードにおける処理、第２ＡＦ制御モードにおける処理をそれぞれ説明したが、ＡＦ制御モードは、いずれか一方のモードに固定されるものに限定されない。
また、以上では第１ＡＦ制御モードにおける処理、第２ＡＦ制御モードにおける処理をそれぞれ説明したが、ＡＦ制御モードは、いずれか一方のモードに固定されるものに限定されない。
【0094】
ＡＦ制御部３６０は、第１ＡＦ制御モードと第２ＡＦ制御モードの切り替え制御を行ってもよい。図７に示したように、ＡＦ制御部３６０はモード切り替え制御部３６７をさらに含む。そしてモード切り替え制御部３６７は、被写体の特徴や光学系の結像状態に応じて、ＡＦ評価値Ｆ及びＡＦ評価値Ｎの両方を用いてＡＦ制御を行う第１ＡＦ制御モードと、いずれか一方を用いてＡＦ制御を行う第２ＡＦ制御モードを切り替える。
【0095】
この場合、図９を用いて後述するようにＳ１０３からＳ１０６に対応する全てのステップを切り替えてもよいし、図１０を用いて後述するように一部のステップを切り替えてもよい。被写体の特徴や光学系の結像状態に応じて、最適なＡＦ制御モードを選択することによって、高速且つ高精度なＡＦ制御が実現できる。
【0096】
例えば被写体が非常に低コントラストな被写体である場合は、光学系の結像状態によらずＡＦ評価値ＦとＡＦ評価値Ｎの差が非常に小さくなるため、第１ＡＦ制御モードでは精度良くＡＦ制御を行うことができない可能性がある。このような場合は例えば、まず低コントラスト被写体か否かを判定し、低コントラスト被写体と判定された場合、モード切り替え制御部３６７は第２ＡＦ制御モードに切り替える。例えばモード切り替え制御部３６７は、ＡＦ評価値ＦとＡＦ評価値Ｎの両方が閾値以下である場合に、低コントラスト被写体と判定すればよい。さらにモード切り替え制御部３６７は、ＡＦ評価値ＦとＡＦ評価値Ｎの関係から決まる条件を加えて、低コントラスト被写体を判定してもよい。例えばモード切り替え制御部３６７は、ＡＦ評価値ＦとＡＦ評価値Ｎの差分が閾値以下の場合や、ＡＦ評価値ＦとＡＦ評価値Ｎの比率が１に近い場合に、低コントラスト被写体と判定してもよい。
【0097】
図９は、低コントラスト被写体か否かの判定に基づいて、切り替え制御が行われる場合の合焦動作を説明するフローチャートである。図９のＳ１０１及びＳ１０２は、図８と同様である。次にＡＦ制御部３６０は、注目被写体が低コントラスト被写体か否かを判定する（Ｓ２００）。低コントラスト被写体でないと判定された場合（Ｓ２００の判定結果がＮｏ）、ＡＦ制御部３６０は、第１ＡＦ制御モードを用いてＡＦ制御を行う。即ち、目標結像位置設定部３６６は、ＡＦ評価値ＦとＡＦ評価値Ｎの関係を用いて目標結像位置を設定する（Ｓ１０３１）。方向判別部３６３は、ＡＦ評価値ＦとＡＦ評価値Ｎの関係に基づいて合焦方向を判定し（Ｓ１０４１）、合焦判定部３６４は、ＡＦ評価値ＦとＡＦ評価値Ｎの関係に基づいて合焦が完了したか否かを判定する（Ｓ１０５１）。レンズ駆動量決定部３６５は、方向判別及び合焦判定の結果に基づいてフォーカスレンズ１１１の駆動量を決定し、フォーカスレンズ駆動部３６８は当該駆動量に従ってフォーカスレンズ１１１を駆動する（Ｓ１０６１）。
【0098】
一方、低コントラスト被写体であると判定された場合（Ｓ２００の判定結果がＹｅｓ）、ＡＦ制御部３６０は、第２ＡＦ制御モードを用いてＡＦ制御を行う。即ち、目標結像位置設定部３６６は、撮像素子Ｆまたは撮像素子Ｎのいずれか一方に被写体像を結像させた後のフォーカスレンズ１１１の調整量を設定する（Ｓ１０３２）。方向判別部３６３は、既知のコントラストＡＦにおける方向判別手法を用いて合焦方向を判別し（Ｓ１０４２）、合焦判定部３６４は、既知のコントラストＡＦにおける合焦判定手法を用いて、合焦が完了したか否かを判定する（Ｓ１０５２）。レンズ駆動量決定部３６５は、フォーカスレンズの駆動量を決定し、フォーカスレンズ駆動部３６８が、方向判別結果と駆動量に基づいてフォーカスレンズ１１１を駆動する（Ｓ１０６２）。また第２ＡＦ制御モードにおいては、Ｓ１０５２において合焦が完了したと判定された場合は方向判別結果にかかわらず、Ｓ１０３２において設定されたフォーカスレンズ１１１の調整量に基づいてフォーカスレンズ１１１を駆動する
【0099】
図９に示したＡＦ制御を行うことによって、低コントラスト被写体に対しても高精度なＡＦ制御が実現できる。
【0100】
また、光学系が大ボケしている場合は、ウォブリング駆動等を用いる第２ＡＦ制御モードによって動作する場合、精度良く方向判別を行えない可能性がある。ここで大ボケとは、撮像画像において被写体への合焦度合いが著しく低い状態を表す。このような場合、モード切り替え制御部３６７は、まず大ボケ状態か否かを判定し、大ボケ状態と判定された場合、第１ＡＦ制御モードに切り替える制御を行う。例えばモード切り替え制御部３６７は、ＡＦ評価値ＦとＡＦ評価値Ｎの両方が閾値以下であり、且つ、ＡＦ評価値ＦとＡＦ評価値Ｎの差分が閾値以上の場合に大ボケ状態と判定する。或いはモード切り替え制御部３６７は、ＡＦ評価値ＦとＡＦ評価値Ｎの比率が大きい場合に、大ボケ状態と判定する。
【0101】
図１０は、大ボケ状態か否かの判定に基づいて、切り替え制御が行われる場合の合焦動作を説明するフローチャートである。図１０のＳ１０１及びＳ１０２は、図８と同様である。次にＡＦ制御部３６０は、大ボケ状態か否かを判定する（Ｓ２１０）。大ボケ状態であると判定された場合（Ｓ２１０の判定結果がＹｅｓ）、ＡＦ制御部３６０は、第１ＡＦ制御モードを用いてＡＦ制御を行う。大ボケ状態でないと判定された場合（Ｓ２１０の判定結果がＮｏ）、ＡＦ制御部３６０は、第２ＡＦ制御モードを用いてＡＦ制御を行う。
【0102】
なおＡＦ制御部３６０は、第１ＡＦ制御モードにおいて、図９のＳ１０５１に相当する合焦判定を行わない。合焦状態に近づくことによって、大ボケ状態が解消するため、第１ＡＦ制御モードにおいて合焦判定をする利点が小さいためである。その他のステップにおける制御は、これまでの説明と同様である。このようなＡＦ制御を行うことによって、光学系が大ボケしている場合は高速な方向判別が可能な第１ＡＦ制御モードによるＡＦ制御が実行され、その後、合焦状態に近くなると高精度な合焦が可能な第２ＡＦ制御モードによるＡＦ制御が実行される。これによって、高速かつ高精度なＡＦ制御が実現できる。
【0103】
以上のように、ＡＦ制御部３６０は、第１ＡＦ評価値及び第２ＡＦ評価値に基づいて、注目被写体が所与の基準よりもコントラストが低い低コントラスト被写体であるか否かを判定する低コントラスト被写体判定処理を行う。そしてＡＦ制御部３６０は、低コントラスト被写体判定処理に基づいて、第１ＡＦ制御モードと第２ＡＦ制御モードの切り替え制御を行う。或いは、ＡＦ制御部３６０は、第１ＡＦ評価値及び第２ＡＦ評価値に基づいて、注目被写体に対する合焦度合いが所与の基準よりも低い大ボケ状態であるか否かを判定する大ボケ判定処理を行い、大ボケ判定処理に基づいて、第１ＡＦ制御モードと第２ＡＦ制御モードの切り替え制御を行う。なお、低コントラストと判定する基準、及び大ボケ状態と判定する基準は、所与の固定値であってもよいし、動的に変更されてもよい。
【0104】
このようにすれば、注目被写体の特性、或いは撮像される状況に応じて、適切なＡＦ制御モードを選択することが可能になる。その際、第１ＡＦ評価値と第２ＡＦ評価値の両方を用いることによって、ウォブリング制御等を行う従来手法に比べて、切り替え制御を行うための判定を高速に実行することが可能になる。ただし、低コントラスト被写体判定処理又は大ボケ判定処理において、第１ＡＦ評価値と第２ＡＦ評価値の一方を用いる変形実施も妨げられない。なお、ここでは第１ＡＦ制御モードと第２ＡＦ制御モードの切り替えに低コントラスト被写体か否か、又は、大ボケ状態か否かの判定を用いる例を示したが、切り替え判定はこれに限定されず、他の判定であってもよい。
【0105】
３．４ ＡＦ制御の変形例
また第１ＡＦ制御モードにおけるＡＦ制御は、方向判別及び合焦判定を繰り返す上述の手法に限定されない。例えばＡＦ制御部３６０は、第１ＡＦ制御モードにおいて、第１ＡＦ評価値のピークに対応するフォーカスレンズ１１１の位置と、第２ＡＦ評価値のピークに対応するフォーカスレンズ１１１の位置との間の位置に、フォーカスレンズ１１１を移動させる制御を行う。なおＡＦ評価値のピークとは、ＡＦ評価値の最大値である。
また第１ＡＦ制御モードにおけるＡＦ制御は、方向判別及び合焦判定を繰り返す上述の手法に限定されない。例えばＡＦ制御部３６０は、第１ＡＦ制御モードにおいて、第１ＡＦ評価値のピークに対応するフォーカスレンズ１１１の位置と、第２ＡＦ評価値のピークに対応するフォーカスレンズ１１１の位置との間の位置に、フォーカスレンズ１１１を移動させる制御を行う。なおＡＦ評価値のピークとは、ＡＦ評価値の最大値である。
【0106】
具体的には、ＡＦ制御部３６０は、まず所与の範囲においてフォーカスレンズ１１１を駆動（スキャン）しながら、ＦＡＲ画像及びＮＥＡＲ画像を取得する。各フォーカスレンズ位置において撮像されたＦＡＲ画像とＮＥＡＲ画像に基づいてコントラスト値を算出することによって、フォーカスレンズ位置とＦＡＲ画像のコントラスト値との関係、及び、フォーカスレンズ位置とＮＥＡＲ画像のコントラスト値の関係が求められる。ＡＦ制御部３６０は、それぞれのコントラスト値がピークとなるフォーカスレンズ位置を検出する。その後、ＡＦ制御部３６０は、２つのピークに対するフォーカスレンズ位置の間の任意の位置に、フォーカスレンズ位置を調整する。
【0107】
ＦＡＲ画像のコントラスト値がピークとなるフォーカスレンズ位置とは、注目被写体が撮像素子Ｆ上に結像するフォーカスレンズ位置である。ＮＥＡＲ画像のコントラスト値がピークとなるフォーカスレンズ位置とは、注目被写体が撮像素子Ｎ上に結像するフォーカスレンズ位置である。このようにすれば、フォーカスレンズ１１１を所与の範囲においてスキャンする手法によって、注目被写体の結像位置を、第１位置と第２位置の間の位置に設定できる。そのため、被写界深度拡大後の合成画像において最適な被写界深度範囲を実現できる。
【0108】
またＡＦ制御部３６０は、第２ＡＦ制御モードにおいて、スキャン駆動によるピーク検出に基づいて、ＡＦ制御を行ってもよい。
【0109】
３．５ 被写体形状の推定
図１１は、本実施形態に係る撮像装置１０の一例である内視鏡装置１２の他の構成例である。内視鏡装置１２は、注目被写体およびその周囲の形状を推定する被写体形状推定部６００をさらに含む。また内視鏡装置１２は、目標結像位置設定部３６６を含み、目標結像位置設定部３６６は、被写体形状推定部６００において推定された被写体形状に基づいて、目標結像位置を設定する。そしてＡＦ制御部３６０は、目標結像位置設定部３６６において設定された目標結像位置に、注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。このような制御を行うことによって、被写体の形状に応じて、最適な範囲にピントが合った合成画像を取得することが可能になる。
図１１は、本実施形態に係る撮像装置１０の一例である内視鏡装置１２の他の構成例である。内視鏡装置１２は、注目被写体およびその周囲の形状を推定する被写体形状推定部６００をさらに含む。また内視鏡装置１２は、目標結像位置設定部３６６を含み、目標結像位置設定部３６６は、被写体形状推定部６００において推定された被写体形状に基づいて、目標結像位置を設定する。そしてＡＦ制御部３６０は、目標結像位置設定部３６６において設定された目標結像位置に、注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズ１１１を移動させる制御を行う。このような制御を行うことによって、被写体の形状に応じて、最適な範囲にピントが合った合成画像を取得することが可能になる。
【0110】
図１２（Ａ）～図１２（Ｃ）は、被写体形状と望ましい被写界深度範囲の関係を例示する図である。図２等を用いて説明してきた例では、図１２（Ａ）に示すとおり、注目被写体から対物光学系に近い方向と遠い方向の両方に被写体が存在することを想定した。この場合にバランス良くピントが合った合成画像を取得するために、撮像素子Ｆと撮像素子Ｎの間の位置に目標結像位置を設定した。
【0111】
しかし実際の内視鏡検査においては、対物光学系１１０に対して、注目被写体から遠い方向のみに被写体が存在するようなシーンも発生する。このようなシーンとしては、例えば、図１２（Ｂ）に示すとおり、ポリープ状の病変を正面に近い方向から観察する場合が考えられる。被写体形状推定部６００において、被写体がこのような形状であると推定された場合、目標結像位置設定部３６６は、より撮像素子Ｎに対応する位置に近い位置に目標結像位置を設定する。より具体的には、目標結像位置設定部３６６は、撮像素子Ｎが目標結像位置となる目標結像位置情報を設定する。これによって、ポリープ状の被写体の広い範囲にピントが合った合成画像を取得することが可能になる。
【0112】
また内視鏡検査においては、対物光学系１１０に対して、注目被写体から近い方向のみに被写体が存在するようなシーンも発生する。このようなシーンとしては、例えば、図１２（Ｃ）に示すとおり、陥凹状の病変を正面に近い方向から観察する場合が考えられる。被写体形状推定部６００において、被写体がこのような形状であると推定された場合、目標結像位置設定部３６６は、より撮像素子Ｆに対応する位置に近い位置に目標結像位置を設定する。より具体的には、目標結像位置設定部３６６は、撮像素子Ｆが目標結像位置となる目標結像位置情報を設定する。これによって、陥凹状の被写体の広い範囲にピントが合った合成画像を取得することが可能になる。
【0113】
さらに目標結像位置設定部３６６は、撮像素子Ｆと撮像素子Ｎの間の位置に目標結像位置情報を設定する場合においても、被写体形状推定部６００において推定された被写体形状に基づいて、適応的に目標結像位置情報を設定してもよい。
【0114】
被写体形状推定部６００は、例えば前処理部３２０から出力される画像から輝度分布、色分布等の情報を利用することによって被写体形状を推定する。また被写体形状推定部６００は、ＳｆＭ(Structure From Motion)、ＤｆＤ(Depth from Defocus)等の既知の形状推定技術を用いて、被写体形状を推定してもよい。また内視鏡装置１２は、例えば２眼を用いたステレオ撮影装置やライトフィールドによる撮影装置、パターン投影やＴｏＦ(Time of Flight)による測距装置など、図示しない既知の距離計測あるいは形状計測が可能な装置をさらに備え、これらの出力に基づいて被写体形状推定部６００が被写体形状を推定してもよい。以上のように、被写体形状推定部６００における処理、及び当該処理を実現するための構成は種々の変形実施が可能である。
【0115】
また本実施形態の手法は、対物光学系１１０と光路分割部１２１と撮像素子１２２とを含む撮像装置１０の作動方法に適用できる。撮像装置の作動方法は、第１画像及び第２画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、１つの合成画像を生成する合成処理と、合成処理が行われる前の第１画像及び第２画像の少なくとも一方に基づいて、注目被写体にピントが合うと判定される位置に、フォーカスレンズ１１１を移動させるＡＦ制御と、を行う。また撮像装置１０の作動方法は、上記合成処理と、第１ＡＦ制御モードを含む所与のＡＦ制御モードに従って動作することによって、注目被写体にピントが合うと判定される位置に、フォーカスレンズ１１１を移動させるＡＦ制御と、を行う。
【0116】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内において構成要素を変形することによって具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0117】
１０…撮像装置、１２…内視鏡装置、１００…挿入部、１１０…対物光学系、１１１…フォーカスレンズ、１２０…撮像部、１２１…光路分割部、１２２…撮像素子、１２２ａ，１２２ｂ…受光領域、１２２ｃ，１２２ｄ…撮像素子、１２３…偏光ビームスプリッタ、１２３ａ，１２３ｂ…プリズム、１２３ｃ…ミラー、１２３ｄ…λ／４板、１２３ｅ…偏光分離膜、１２４…プリズム、１２４ａ，１２４ｂ…プリズム素子、１３０…アクチュエータ、１４０…照明レンズ、１５０…ライトガイド、１６０…ＡＦ開始／終了ボタン、２００…外部Ｉ／Ｆ部、３００…システム制御装置、３１０…Ａ／Ｄ変換部、３２０…前処理部、３３０…画像合成部、３４０…後処理部、３５０…システム制御部、３６０…ＡＦ制御部、３６１…ＡＦ領域設定部、３６２…ＡＦ評価値算出部、３６３…方向判別部、３６４…合焦判定部、３６５…レンズ駆動量決定部、３６６…目標結像位置設定部、３６７…モード切り替え制御部、３６８…フォーカスレンズ駆動部、３７０…光量決定部、４００…表示部、５００…光源装置、５１０…光源制御部、５２０…光源、６００…被写体形状推定部、ＡＸ…光軸、ＯＢ…被写体、ＯＢ１…注目被写体、ＯＢ２，ＯＢ３…周辺被写体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】