特許7585150撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム
(51)【国際特許分類】
A61B 1/00 20060101AFI20241111BHJP
A61B 1/04 20060101ALI20241111BHJP
【ＦＩ】
A61B1/00 735
A61B1/04 530
【請求項の数】
23
(21)【出願番号】P 2021110782
(22)【出願日】2021-07-02
(65)【公開番号】P2022027501
(43)【公開日】2022-02-10
【審査請求日】2023-11-22
(31)【優先権主張番号】63/058,524
(32)【優先日】2020-07-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】小林 充
(72)【発明者】
【氏名】足立 理
(72)【発明者】
【氏名】池田 誠
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】国際公開第２０１７／０２２２８３（ＷＯ，Ａ１）
【文献】特開２００９－２７６６０５（ＪＰ，Ａ）
【文献】特開２０１９－０７８９６５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０３０９９９２（ＵＳ，Ａ１）
【文献】特開２０１９－０８６７６０（ＪＰ，Ａ）
【文献】特開２０１６－００１８０７（ＪＰ，Ａ）
【文献】特開２０２０－１０８１７６（ＪＰ，Ａ）
【文献】特開２０１９－０４６９６０（ＪＰ，Ａ）
【文献】国際公開第２０１６／１４００６６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
Ｇ０２Ｂ ７／２８－７／４０
Ｇ０１Ｎ ２１／８４－２１／９５８
(57)【特許請求の範囲】
【請求項1】
位相差オートフォーカスを実行する撮像装置であって、マトリクス状に配置された複数の通常画素および複数の位相差検出画素を含むイメージセンサと、
画像信号を生成するために前記通常画素を駆動する第１の露光時間、および位相差検出信号を生成するために前記位相差検出画素を駆動する第２の露光時間を制御する露光制御回路と、
前記第１の露光時間に第１の照射光を被写体に照射し、前記第２の露光時間に第２の照射光を前記被写体に照射する照明部と、
を備え、
前記第２の照射光の波長範囲は、前記第１の照射光の波長範囲よりも狭く、
前記第１の照射光は、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤを同時に発光させることによって照射される白色光であり、
前記第２の照射光は、前記赤色ＬＥＤ、前記緑色ＬＥＤ及び前記青色ＬＥＤから選択される一つを発光させることによって照射される単色光である、
撮像装置。
【請求項2】
前記第２の照射光は青色光であり、４３０ｎｍ～４９０ｎｍの波長範囲を含む、請求項１に記載の撮像装置。
【請求項3】
前記第２の照射光は緑色光であり、５００ｎｍ～５６０ｎｍの波長範囲を含む、請求項１に記載の撮像装置。
【請求項4】
前記第２の照射光は赤色光であり、５８０ｎｍ～６４０ｎｍの波長範囲を含む、請求項１に記載の撮像装置。
【請求項5】
前記第２の照射光は緑色光であり、前記イメージセンサがカラーフィルタを含まない場合、前記第２の照射光は５２０ｎｍ～５４０ｎｍの波長範囲を含む、請求項１に記載の撮像装置。
【請求項6】
前記イメージセンサは、緑色光でピーク感度を有するフォトダイオードを含む、請求項１に記載の撮像装置。
【請求項7】
前記第２の照射光は、前記第１の照射光の発光強度よりも高く設定された発光強度を有する、請求項１に記載の撮像装置。
【請求項8】
前記第２の照射光の前記発光強度は、前記第１の照射光の前記発光強度の２００％である、請求項７に記載の撮像装置。
【請求項9】
前記複数の位相差検出画素はそれぞれ、前記複数の位相差検出画素のそれぞれの画素面の少なくとも半分を覆う遮光層を含む、請求項１に記載の撮像装置。
【請求項10】
前記第２の露光時間は、前記第１の露光時間よりも長く設定される、請求項１に記載の撮像装置。
【請求項11】
前記複数の位相差検出画素の数は、前記撮像装置の全画素数の５０％以下である、請求項１に記載の撮像装置。
【請求項12】
前記通常画素および前記位相差検出画素は、前記マトリクス状に交互に配置されている、請求項１に記載の撮像装置。
【請求項13】
前記露光制御回路は、前記イメージセンサの基板上に配置されている、請求項１に記載の撮像装置。
【請求項14】
イメージセンサを有する撮像装置が位相差オートフォーカスを実行する位相差オートフォーカスの実行方法であって、複数の通常画素および複数の位相差検出画素を前記イメージセンサにマトリクス状に配置し、
前記イメージセンサに配置された露光制御回路によって、画像信号を生成するために前記通常画素を駆動する第１の露光時間、および位相差検出信号を生成するために前記位相差検出画素を駆動する第２の露光時間を制御し、
照明源によって、前記第１の露光時間に第１の照射光を被写体に照射し、前記第２の露光時間に第２の照射光を前記被写体に照射すること、
を含み、
前記第２の照射光の波長範囲は、前記第１の照射光の波長範囲よりも狭く、
前記第１の照射光は、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤを同時に発光させることによって照射される白色光であり、
前記第２の照射光は、前記赤色ＬＥＤ、前記緑色ＬＥＤ及び前記青色ＬＥＤから選択される一つを発光させることによって照射される単色光である、
位相差オートフォーカスの実行方法。
【請求項15】
前記第２の照射光は青色光であり、４３０ｎｍ～４９０ｎｍの波長範囲を含む、請求項１４に記載の位相差オートフォーカスの実行方法。
【請求項16】
前記第２の照射光は緑色光であり、５００ｎｍ～５６０ｎｍの波長範囲を含む、請求項１４に記載の位相差オートフォーカスの実行方法。
【請求項17】
前記第２の照射光は赤色光であり、５８０ｎｍ～６４０ｎｍの波長範囲を含む、請求項１４に記載の位相差オートフォーカスの実行方法。
【請求項18】
前記第２の照射光は緑色光であり、前記イメージセンサがカラーフィルタを含まない場合、前記第２の照射光は５２０ｎｍ～５４０ｎｍの波長範囲を含む、請求項１４に記載の位相差オートフォーカスの実行方法。
【請求項19】
前記第２の照射光は、前記第１の照射光の発光強度よりも高く設定された発光強度を有する、請求項１４に記載の位相差オートフォーカスの実行方法。
【請求項20】
被検体に挿入される先端部を有する内視鏡と、請求項１に記載の撮像装置であって、前記先端部の内部に配置された撮像装置と、
前記内視鏡に接続され、前記位相差オートフォーカスに基づいて被検体の領域を撮像するために前記撮像装置に照明光を提供する光源装置と、
を備える、内視鏡システム。
【請求項21】
前記第１の照射光は白色光であり、前記第２の照射光は単色光である、請求項２０に記載の内視鏡システム。
【請求項22】
イメージセンサを有する撮像装置に、画像信号を生成するために前記イメージセンサの通常画素を駆動する第１の露光時間、および位相差検出信号を生成するために前記イメージセンサの位相差検出画素を駆動する第２の露光時間を制御し、
照明源に対し、前記第１の露光時間に第１の照射光を被写体に照射させ、前記第２の露光時間に第２の照射光を前記被写体に照射させること、
を実行させ、
前記第２の照射光の波長範囲は、前記第１の照射光の波長範囲よりも狭く、
前記第１の照射光は、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤを同時に発光させることによって照射される白色光であり、
前記第２の照射光は、前記赤色ＬＥＤ、前記緑色ＬＥＤ及び前記青色ＬＥＤから選択される一つを発光させることによって照射される単色光である、
プログラム。
【請求項23】
前記第１の照射光は白色光であり、前記第２の照射光は単色光である、請求項２２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置、位相差オートフォーカス（Phase-difference Detection Auto-Focus：ＰＤＡＦ）の実行方法、内視鏡システム、およびプログラムに関する。
【背景技術】
【0002】
撮像装置は、オートフォーカス（Auto-Focus：ＡＦ）を使用して、被写体との距離に関わらずユーザによって撮影された写真の鮮明度の向上を可能にする（例えば、特許文献１参照）。このような撮像装置は、医療機器、デジタル（動画／静止画）カメラなどに使用されることがある。ＡＦ方式は、ＰＤＡＦ方式、コントラストＡＦ（Contrast Detection Auto-Focus：ＣＤＡＦ）方式、およびＰＤＡＦとＣＤＡＦを組み合わせたハイブリッドＡＦ方式を含む。
【0003】
ＰＤＡＦ技術を使用する撮像装置では、ＡＦは、撮像光学系の射出瞳を分割することによって得られる２つの画像間の位相差を測定することによって実行される。ＰＤＡＦを実行するために、画像を撮影する撮像素子としてのイメージセンサに加えて外部位相差センサが設けられ、この位相差センサの出力に基づいて位相差が得られる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－８７８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ＰＤＡＦ方式では、ＡＦ時に撮像光学系の焦点位置（レンズ位置）を移動させるためのＡＦスキャン動作を実行する必要がなく、したがって比較的短時間でＡＦを実行することができるという利点がある。このようにＰＤＡＦ方式はＡＦの実行時間（合焦位置の検出時間）の観点から優れている。しかし、従来のＰＤＡＦ方式は、ＡＦの精度（合焦位置の検出精度）の観点から不利である。例えば、画像、特に動画を撮像するときまたは連続的に画像を撮影するときにＰＤＡＦ方式を適用する場合、合焦精度が低下する。
【0006】
従来のＰＤＡＦ方式のこの問題は、錯乱円（Circle of Confusion：ＣｏＣ）に関する。ＣｏＣは、撮像装置内で光が収束するときにレンズによって作られる光学的にぼやけた円である。光が焦点面で収束しないときに光の円や不鮮明なスポットを生じる。光が焦点面から遠くに収束するにつれ、または焦点面に近づいて収束するにつれ、この不鮮明なスポットは大きくなる。円が小さいほど焦点が合い鮮明である一方で、不鮮明なスポットが大きいほど焦点が合わず不鮮明であることを意味する。従来のＰＤＡＦ方式は、４００ｎｍ～８３０ｎｍの波長を有する白色光を照射することによって実行され、白色光はレンズを通過して波長の異なる光（Ｒ、Ｇ、Ｂ）に分割される。これら波長の異なる光が撮像装置内で収束すると、それぞれが直径の異なる円を形成して焦点面周辺でより大きな不鮮明なスポットとなる。結果としてＰＤＡＦの精度が低下し、イメージセンサの画素サイズが小さいほど精度向上がより困難になる。
【0007】
本開示は、上記に鑑みてなされたものであって、位相差オートフォーカスの精度を向上させることができる撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示に係る撮像装置は、位相差オートフォーカスを実行する撮像装置であって、マトリクス状に配置された複数の通常画素および複数の位相差検出画素を含むイメージセンサと、画像信号を生成するために前記通常画素を駆動する第１の露光時間、および位相差検出信号を生成するために前記位相差検出画素を駆動する第２の露光時間を制御する露光制御回路と、前記第１の露光時間に第１の照射光を被写体に照射し、前記第２の露光時間に第２の照射光を前記被写体に照射する照明部と、を備え、前記第２の照射光の波長範囲は、前記第１の照射光の波長範囲よりも狭い。
【0009】
本開示に係る位相差オートフォーカスの実行方法は、イメージセンサを有する撮像装置が位相差オートフォーカスを実行する位相差オートフォーカスの実行方法であって、複数の通常画素および複数の位相差検出画素を前記イメージセンサにマトリクス状に配置し、前記イメージセンサに配置された露光制御回路によって、画像信号を生成するために前記通常画素を駆動する第１の露光時間、および位相差検出信号を生成するために前記位相差検出画素を駆動する第２の露光時間を制御し、照明源によって、前記第１の露光時間に第１の照射光を被写体に照射し、前記第２の露光時間に第２の照射光を前記被写体に照射すること、を含み、前記第２の照射光の波長範囲は、前記第１の照射光の波長範囲よりも狭い。
【0010】
本開示に係る内視鏡システムは、被検体に挿入される先端部を有する内視鏡と、前記先端部の内部に配置された上記した撮像装置と、前記内視鏡に接続され、前記位相差オートフォーカスに基づいて被検体の領域を撮像するために前記撮像装置に照明光を提供する光源装置と、を備える。
【0011】
本開示に係るプログラムは、イメージセンサを有する撮像装置に、画像信号を生成するために前記イメージセンサの通常画素を駆動する第１の露光時間、および位相差検出信号を生成するために前記イメージセンサの位相差検出画素を駆動する第２の露光時間を制御し、照明源に対し、前記第１の露光時間に第１の照射光を被写体に照射させ、前記第２の露光時間に第２の照射光を前記被写体に照射させること、を実行させ、前記第２の照射光の波長範囲は、前記第１の照射光の波長範囲よりも狭い。
【0012】
本発明のさらなる特徴および利点は、以下の明細書に記載され、部分的には本明細書から明らかになり、または本開示の手法によって理解され得る。本発明の目的およびその他の利点は、特に、本明細書および特許請求の範囲ならびに添付の図面に記載される構造によって実現されかつ達成されるであろう。
【発明の効果】
【0013】
本開示によれば、位相差オートフォーカスの精度を向上させることができる。
【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
以下、図面を参照して本開示の実施形態を説明する。
【0016】
図１は、本開示の実施形態に係る撮像装置の構成を概略的に示すブロック図である。図１に示すように、撮像装置は、レンズ鏡筒（レンズ部）１１、光学フィルタ１２、イメージセンサ１３、メイン処理部１４、照明制御部１５、センサ駆動部１６、位相差ＡＦ（ＰＤＡＦ）処理部１７、画像処理部１８、焦点駆動部１９、表示部２０、操作部２１、フラッシュメモリ２２、焦点アクチュエータ２３、および照明部２４を含むことができる。
【0017】
本開示の実施形態では、撮像装置は、レンズ鏡筒１１と一体化して構成することができる。レンズ鏡筒１１は、撮像装置に取り外し可能に取り付けられていてもよい。レンズ鏡筒１１は、レンズ群および絞りなどの撮像光学系１１Ａを含んでいてもよく、光学フィルタ１２を介してイメージセンサ１３に入射した光を集光する。撮像光学系１１Ａのレンズ群の焦点位置は光軸Ｌ方向に移動可能であり、これにより焦点を調整する。光学フィルタ１２は、イメージセンサ１３によって撮影された画像で発生した偽色およびモアレを低減するように構成されている。光学フィルタ１２は、撮像光学系１１Ａからの光の一部の成分を減衰させてイメージセンサ１３に向けて出射する、光学ローパスフィルタであってもよい。
【0018】
イメージセンサ１３は、被写体からの光が撮像光学系１１Ａを通過し光学フィルタ１２を介して入射して被写体（図示せず）の画像を撮影するように構成されている。本実施形態では、イメージセンサ１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってもよく、またはＣＣＤ（Charge Coupled Device）イメージセンサであってもよい。イメージセンサ１３は、センサ駆動部１６に画像信号を供給する。
【0019】
メイン処理部１４は、撮像装置に含まれる各ブロックを制御する。メイン処理部１４は、ＣＰＵ（Central Processing Unit）３１、メモリ３２、ＡＤＣ（Analog to Digital Converter）３３、ＤＡＣ（Digital to Analog Converter）３４、および通信Ｉ／Ｆ（Interface）３５を含んでいてもよい。
【0020】
ＣＰＵ３１は、メモリ３２に格納されたプログラムを実行することによって、照明制御部１５、フラッシュメモリ２２などを制御し、それによってＡＦ、画像の撮影、様々な画像処理、および撮影画像の記録などの、様々な処理を実行する。
【0021】
メモリ３２は、ＲＡＭ（Random Access Memory）などの揮発性メモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの不揮発性メモリなどを含み、ＣＰＵ３１によって実行されるプログラム、およびＣＰＵ３１を動作させるために必要なデータを格納する。メモリ３２は、以下で説明するＰＤＡＦのＡＦパラメータに関するデータを格納してもよい。
【0022】
ＡＤＣ３３は、アナログ信号をデジタル信号にＡＤ変換する。ＤＡＣ３４は、デジタル信号をアナログ信号にＤＡ変換する。通信Ｉ／Ｆ３５は、インターネットなどとの間の通信を制御する。
【0023】
照明制御部１５は、被写体を照明する照明光、ならびにＰＤＡＦ用の補助光を照明部２４が発光するように制御する。本開示の実施形態では、照明制御部１５は、イメージセンサ１３の撮像動作と同期して、被写体を照明する光としての電子フラッシュを照明部２４に発光させる（点灯させる）。また、照明制御部１５は、ＰＤＡＦの動作と同期して、照明部２４にトーチ補助光を発光させる。
【0024】
センサ駆動部１６は、イメージセンサ１３を制御して画像を撮影する。センサ駆動部１６はまた、必要に応じて、イメージセンサ１３によって撮影された画像の画像信号のＡＤ変換し、メイン処理部１４およびＰＤＡＦ処理部１７に画像信号を供給する。
【0025】
ＰＤＡＦ処理部１７は、ＰＤＡＦに基づいて、撮像光学系１１Ａのレンズ位置を移動させるためのレンズ移動量を計算する。以下に詳細に説明するように、ＰＤＡＦでは、センサ駆動部１６からの画像信号のうち、位相差検出画素の画素値が計算され、前記レンズ移動量がメイン処理部１４に供給される。
【0026】
画像処理部１８は、イメージセンサ１３によって撮影され、センサ駆動部１６およびメイン処理部１４を介して供給された画像に対して、γ変換、色補間、およびＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｙ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの所定の圧縮／伸張方式を使用した圧縮／伸張などの画像処理を実行する。
【0027】
焦点駆動部１９は、メイン処理部１４による制御に従って焦点アクチュエータ２３を駆動し、撮像光学系１１Ａのレンズ位置を光軸Ｌ方向に移動させることによって焦点調整を行う。
【0028】
表示部２０は、ＬＣＤ（Liquid Crystal Display）パネルを含み、撮像装置の撮像モード、画像撮影前のプレビュー画像、画像撮影後の確認用の画像、ＡＦ時の合焦状態の画像などに関する情報を表示することができる。操作部２１は、ユーザによって操作されるスイッチ群であり、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチなどを含む。フラッシュメモリ２２は、撮像装置から取り外し可能である。フラッシュメモリ２２には、メイン処理部１４から供給された撮影画像が記録（格納）される。
【0029】
本開示の実施形態では、照明部２４は、照明制御部１５による制御に応じて、被写体を照明する第１の照射光、およびＰＤＡＦ用の第２の照射光を発光する。図１２Ａおよび図１２Ｂは、照明部２４を示す拡大図である。照明部２４は、赤色ＬＥＤ、緑色ＬＥＤ、および青色ＬＥＤを有する。第１の照射光は、白色光である。図１２Ａに示すように、照明部２４は、赤色ＬＥＤ、緑色ＬＥＤ、および青色ＬＥＤを発光させることによって、第１の照射光を照射する。第２の照射光は単色光であり、緑色、青色、赤色、およびその他のカラー光から選択された１つであってもよい。第２の照射光は、第１の照射光よりも狭い波長範囲を有する。この構成によって位相差オートフォーカスの精度を向上させることができる。
【0030】
照明部２４の例としては、キセノン管を使用したフラッシュ照明装置、連続的に発光可能なＬＥＤ（Light Emitting Diode）を含むＬＥＤ照明装置などが挙げられるが、これらに限定されない。撮像装置が内視鏡などの医療デバイス、またはスマートフォンなどの携帯用デバイスに搭載される場合、照明部２４として比較的小型のＬＥＤ照明装置を採用することができる。
【0031】
本実施形態では、ＰＤＡＦ処理部１７は、イメージセンサの外部に配置されている。ＰＤＡＦ処理部１７は、イメージセンサ１３に含まれていてもよく、または組み込まれていてもよい。
【0032】
ＰＤＡＦ処理部１７は、ハードウェアまたはソフトウェアのいずれかによって実現されてもよい。ＰＤＡＦ処理部１７がソフトウェアによって実現される場合、例えば、ソフトウェアに含まれるプログラムがメイン処理部１４などのコンピュータにインストールされ、メイン処理部１４のＣＰＵ３１によって実行される。ＰＤＡＦ処理部１７がハードウェアによって実現される場合、例えば、ＰＤＡＦを実行する回路がメイン処理部１４に接続され、メイン処理部１４のＣＰＵ３１によって制御されてもよい。
【0033】
ある実施形態では、ＣＰＵ３１がプログラムに従って実行する処理は、必ずしも以下で説明するフローチャートに示す順序で時系列的に実行する必要はない。すなわち、ＣＰＵ３１がプログラムに従って実行する処理には、並列にまたは個別に実行される処理（例えば、並列処理またはオブジェクトごとに実行される処理）も含まれる。
【0034】
プログラムは、コンピュータとしてのメイン処理部１４に設けられた非一時的な記録媒体としてのメモリ３２にあらかじめ記録されていてもよい。あるいは、プログラムは、例えば、取り外し可能な記録媒体であるフラッシュメモリ２２に格納（記録）され、いわゆるパッケージソフトウェアとして提供されてもよい。
【0035】
プログラムは、フラッシュメモリ２２からメイン処理部１４にインストールされるだけでなく、インターネットなどの通信ネットワーク、または地上波放送などの放送ネットワークを介して、メイン処理部１４にダウンロードされることによって、そこに設けられたメモリ３２にインストールされてもよい。
【0036】
図２は、撮像光学系１１Ａ側から見たイメージセンサ１３の構成例を示す平面図である。図２に示すように、イメージセンサ１３は、光を受光する受光面５０を含んでいてもよい。受光面５０は、Ｈ×Ｖ個の画素を含む（Ｈは水平方向の行に並ぶ画素数を表し、Ｖは垂直方向の列に並ぶ画素数を表す）。
【0037】
この実施形態では、イメージセンサ１３はまた、第１の照射光の第１の露光時間および第２の照射光の第２の露光時間を制御する露光制御回路が搭載された基板を含む。イメージセンサ１３は、基板上に、ＰＤＡＦ処理回路を含んでいてもよい。
【0038】
受光面５０は、例えば、それぞれが複数の画素を含む画素群としての矩形のブロックに分割される。図２に示すように、画素ブロック５１は、画素群として９×９個の画素を含む。画素ブロック５１では、例えば、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の（原色）カラーフィルタがオンチップで画素上にベイヤー配列で設けられていてもよい。ベイヤー配列下では、カラーフィルタのパターンは、緑色５０％、赤色２５％、および青色２５％である。ベイヤーフィルタの代替として、色および配置を様々に変更したもの、および、カラーコサイトサンプリング、Ｆｏｖｅｏｎ Ｘ３センサ、ダイクロイックミラー、または透明な回折フィルタアレイなどの全く異なる技術の両方が含まれていてもよい。
【0039】
本実施形態では、Ｒ、Ｇ、およびＢのカラーフィルタが設けられている画素は、それぞれＲ画素、Ｇ画素、およびＢ画素と呼ばれる。Ｒ画素、Ｇ画素、およびＢ画素は、オンチップのカラーフィルタにより、それぞれＲ、Ｇ、およびＢの光の分光感度を有する。ベイヤー配列では、２×２画素（２×２は水平方向の行×垂直方向の列を意味する）が基本単位とされ、対角線上の位置にＧ画素が配置され、残りの２つの位置にＲ画素およびＢ画素が配置される。
【0040】
図２では、基本単位の２×２の画素において、例えば、Ｒ画素は右上の位置に配置され、Ｂ画素は左下の位置に配置され、Ｇ画素は左上の位置および右下の位置に配置されている。基本単位の左上の位置にあるＧ画素はＧｒで表され、その右下の位置にあるＧ画素はＧｂで表される。ベイヤー配列では、上記の基本単位が水平方向および垂直方向に繰り返し配置されている。
【0041】
受光面５０は、ＰＤＡＦに使用される位相差を検出するための複数の位相差検出画素５３と、位相差検出画素５３以外の画素であって、位相差を検出するために使用されない通常画素（撮影画像となる画像を得る目的に使用される画素）５２とを含む。複数の通常画素５２および複数の位相差検出画素５３はマトリクス状に配置されている。
【0042】
本実施形態では、位相差検出画素５３の左半部分または右半部分が遮光されている。これは、例えば、撮像光学系１１Ａの射出瞳の異なる領域としての右半部分または左半部分を通過した光を受光するためである。
【0043】
図３Ａおよび図３Ｂは、通常画素５２の構成例を示す図である。図３Ａは、受光面５０における通常画素５２を含む領域のみの構成例を示す平面図である。図３Ｂは、図３Ａの線分Ｌ１１に沿って切り取られた通常画素５２の断面を概略的に示す断面図である。
【0044】
通常画素５２は、図３Ｂに示すように、下からフォトダイオード（Photo Diode：ＰＤ）６１、ＣＬ（Contact Layer）６２、カラーフィルタ６３、およびオンチップレンズ（マイクロレンズ）６４が積層されるように構成されている。通常画素５２では、オンチップレンズ６４に入射した光のうち、所定の色成分を有する光がカラーフィルタ６３を通過して、透明なＣＬ６２を介してＰＤ６１に入射する。ＰＤ６１では、そこに入射した光が受光され、光電変換される。ＰＤ６１の光電変換の結果として得られる電気信号は、通常画素５２の画素値として出力される。ＰＤ６１としては、例えば、緑色光でピーク感度を有するフォトダイオードを使用してもよい。
【0045】
ある実施形態では、カラーフィルタ６３を省略してもよい。この場合、通常画素および位相差検出画素はカラーフィルタを有しておらず、白色光がＰＤ６１に入射する。
【0046】
図４Ａ～図４Ｃは、位相差検出画素５３の構成例を示す図である。図４Ａは、受光面５０における位相差検出画素５３を含む領域の構成例を示す平面図である。図４Ｂは、図４Ａの線分Ｌ２１に沿って切り取られた位相差検出画素５３のうち、左遮光画素５３Ｌの断面を概略的に示す断面図である。図４Ｃは、図４Ａの線分Ｌ２２に沿って切り取られた位相差検出画素５３のうち、右遮光画素５３Ｒの断面を概略的に示す断面図である。
【0047】
図４Ａに示すように、受光面５０のＲ画素、Ｇ画素、およびＢ画素のうち、いくつかのＧ画素が位相差検出画素５３として機能する。Ｇ画素の代わりに、いくつかのＲ画素、または、いくつかのＢ画素を位相差検出画素として採用してもよい。体腔内の組織では、照明部２４が第１の照射光および第２の照射光を照射すると、主に赤色が反射する。それ故、体腔内の組織からの反射光の検出性を向上させるため位相差検出画素としてＲ画素が採用され得る。
【0048】
位相差検出画素５３は、左遮光画素５３Ｌおよび右遮光画素５３Ｒを含んでいてもよい。図４Ｂに示すように、左遮光画素５３Ｌは、例えば、撮像光学系１１Ａの射出瞳の異なる領域としての右半部分を通過した光を受光するために、光を遮蔽するように構成された左半部分（層）の遮光層６６を含む。図４Ｃに示すように、右遮光画素５３Ｒは、例えば、撮像光学系の射出瞳の異なる領域としての左半部分を通過した光を受光するために、光を遮蔽するように構成された右半部分（層）の遮光層６６を含む。
【0049】
この実施形態では、左および右半部分の遮光層６６は、Ａｌ、Ｃｕ、またはＷ金属などの金属で作製されているが、金属に限定されるものではない。これらは金属層および非金属層を含んでいてもよい。
【0050】
撮像光学系１１Ａの射出瞳を分割することによって得られる２つの画像間の位相差を検出するために、左遮光画素５３Ｌと右遮光画素５３Ｒとが対になっている。
【0051】
本実施形態では、図３の通常画素５２と同様に構成されている位相差検出画素５３内の構造要素は、通常画素５２内の構造要素と同じ参照符号で表されている。したがって、その説明は適宜省略する。
【0052】
位相差検出画素５３は、ＰＤ６１からオンチップレンズ６４までが含まれるという点において、通常画素５２と類似している。しかし、位相差検出画素５３は、ＣＬ６２に遮光層６６が設けられているという点で通常画素５２とは異なる。
【0053】
位相差検出画素５３のうちの左遮光画素５３Ｌでは、図４Ｂに示すように、左遮光画素５３Ｌの左半部分に入射する光を遮蔽するように、遮光層６６が設けられている。この構成により、左遮光画素５３Ｌでは、オンチップレンズ６４側から見て、オンチップレンズ６４の中央から右半部分のみが開放される。その結果、例えば、（図１の）撮像光学系１１Ａの射出瞳の右半部分を通過した光は、左遮光画素５３Ｌによって受光される。
【0054】
位相差検出画素５３のうちの右遮光画素５３Ｒでは、図４Ｃに示すように、右遮光画素５３Ｒの右半部分に入射する光を遮蔽するように、遮光層６６が設けられている。この構成により、右遮光画素５３Ｒでは、オンチップレンズ６４側から見て、オンチップレンズ６４の中央から左半部分のみが開放される。その結果、撮像光学系１１Ａの射出瞳の左半部分を通過した光は、右遮光画素５３Ｒによって受光される。
【0055】
本実施形態では、位相差検出画素５３は、受光面５０の全体にわたって、例えば水平方向に、規則的に配置されている。位相差検出画素５３の数が増えると、位相差、より具体的にはＰＤＡＦの精度が向上するが、撮影画像の画質が劣化する。したがって、ＰＤＡＦの精度と撮影画像の画質とのトレードオフを考慮して、位相差検出画素５３の数、およびその配置位置を決定することができる。ある実施形態では、位相差検出画素５３の数は、撮像装置の全画素数の５０％以下にすることができる。別の実施形態では、位相差検出画素５３の数は、少なくとも通常画素５２の数以上に設定される。
【0056】
位相差検出画素５３の配置パターンは、一定パターンとされていてもよいし、例えば、受光面５０の中心部分または周辺部分などの位置に応じて異なるパターンにされていてもよい。通常画素および位相差検出画素がマトリクス状に交互に配置されてもよい。図１３は、位相差検出画素５３の例示的な配置パターンを示した図である。
【0057】
図５は、右遮光画素５３Ｒが存在するラインから得られる右遮光系列、および右遮光画素５３Ｒと対になった左遮光画素５３Ｌが存在するラインから得られる左遮光系列の例を示す図である。
【0058】
図５では、水平軸は画素の位置を示し、垂直軸は画素値を示す。図５に示すように、通常画素５２であるＲ画素が存在するラインＬ３１のいくつかのＧ画素は、右遮光画素５３Ｒとして機能する。さらに、図５において、ラインＬ３１直後のラインＬ３２のいくつかのＧ画素は、左遮光画素５３Ｌとして機能する。さらに、例えば、右遮光画素５３Ｒと、右遮光画素５３Ｒから左斜め下にある左遮光画素５３Ｌとを対にして、（左遮光画像と右遮光画像との間の）位相差を検出する。
【0059】
左遮光系列および右遮光系列を使用することによって、画素数の単位で位相差を得る（検出する）ことができる。被写体像が合焦状態にあるときに得られるデフォーカス量はゼロであるので、位相差に基づいて検出されるデフォーカス量がゼロになるように撮像光学系１１Ａのレンズ位置を移動させることによってＡＦを実行することができる。
【0060】
図６は、位相差とデフォーカス量の関係を説明するための図である。ＰＤＡＦでは、レンズ位置が合焦位置のときに位相差がゼロであると仮定して、位相差がほぼゼロになるように、レンズ位置を直接移動させる。
【0061】
位相差およびデフォーカス量はいずれも、被写体像の焦点のずれ量を示すが、ＡＦでは、デフォーカス量は、現在のレンズ位置から合焦位置までどれくらい離れているかを示す物理量として使用される。つまり、ＡＦでは、デフォーカス量は、現在のレンズ位置から合焦位置までの距離および方向を示す。
【0062】
図６に示すように、水平軸は位相差を示し、垂直軸はデフォーカス量を示す。位相差は、被写体像の焦点のずれ量を、左遮光像と右遮光像との相対的な位置関係として示し、その単位は画素数である。
【0063】
位相差およびデフォーカス量は、理想的には図６に示すような線形の関係を有し、したがって位相差およびデフォーカス量の一方を、位相差およびデフォーカス量の他方から求めることができる。
【0064】
ここで、位相差をデフォーカス量に変える（変換する）ための係数を変換係数ａとすると、デフォーカス量は、位相差を使用して式（１）に従って求めることができる。
デフォーカス量［ｕｍ］＝位相差［画素数］×変換係数ａ［ｕｍ／画素数］ （１）
デフォーカス量［ｕｍ］＝位相差［画素数］×変換係数ａ［ｕｍ／画素数］ （１）
【0065】
位相差とデフォーカス量の関係を変換特性として使用する場合、その変換特性は理想的には直線で示される。図６に示すように、水平軸が位相差を示し、垂直軸がデフォーカス量を示す２次元平面において、変換係数ａは、直線で示される変換特性の傾きを示す。
【0066】
変換係数ａは、撮像装置を製造する工場で撮像装置のテストなどを実施することによって事前（出荷前）に取得することができる。
【0067】
図７は、本実施形態に係る照明部によって発光される第１の照射光および第２の照射光の露光時間と発光強度を説明するための図である。
【0068】
本実施形態では、照明制御部１５は、照明部２４が被写体を照明する光としての第１の照射光を発光し、またＰＤＡＦの補助光としての第２の照射光も発光するように、照明部２４を制御する。第１の照射光は、イメージセンサ１３の撮像動作と同期した電子フラッシュであってもよい。第２の照射光は、ＡＦ動作と同期したトーチ補助光であってもよい。
【0069】
照明制御部１５は、露光制御回路（図示せず）から同期信号を受信する。露光制御回路は、画像信号を生成する通常画素５２を駆動するための第１の露光時間（第１の露光タイミング）と、位相差検出信号を生成する位相差検出画素５３を駆動するための第２の露光時間（第２の露光タイミング）とを制御する。照明部２４は、照明制御部１５の制御下で、第１の照射光を第１の露光時間で被写体に照射し、また、第２の照射光を第２の露光時間で被写体に照射するができる。第１の露光時間は、第２の露光時間と同じでもよく、または異なっていてもよい。各位相差検出画素５３は、位相差検出画素５３の画素面の少なくとも５０％を覆う遮光層６６を含んでいるので（図４参照）、位相差検出画素が適切に露光されるように、第２の露光時間は第１の露光時間よりも長く設定されてもよい。
【0070】
露光制御回路は、イメージセンサ１３の基板上に配置されてもよい。
【0071】
遮光層６６は、位相差検出画素５３の画素面の少なくとも５０％を覆っているため、位相差検出画素５３は、通常画素５２よりも低い感度を有する。この理由から、図７に示すように本実施形態では、第２の照射光の発光強度は第１の照射光の発光強度よりも高く設定されている。例えば、第２の照射光の発光強度は第１の照射光の発光強度に対して相対比率で２００％の発光強度に設定されてもよい。このように構成することによって位相差検出画素が適切に露光される。
【0072】
図８Ａは、本実施形態に係る第１の照射光のスペクトルを概略的に示す図である。図８Ｂは、本実施形態に係る第２の照射光のスペクトルを概略的に示す図である。図８Ｂにおいて、左から順に青色光、緑色光、および赤色光のスペクトルを示している。これらの図の横軸は波長（ｎｍ）を示す。図８Ａに示すように、第１の照射光は白色光であってもよく、４００ｎｍ～８３０ｎｍの波長範囲を有してもよい。第２の照射光は単色光であり、青色光、緑色光、赤色光、またはその他のカラー光の１つであってもよい。
【0073】
第２の照射光が青色光の場合、その波長範囲は４３０ｎｍ～４９０ｎｍの範囲であり、より好ましくは４５０ｎｍ～４７０ｎｍの範囲である。
【0074】
第２の照射光が緑色光の場合、その波長範囲は、５００ｎｍ～５６０ｎｍの範囲であり、より好ましくは５２０ｎｍ～５４０ｎｍの範囲である。第２の照射光が緑色光であり、イメージセンサ１３がカラーフィルタを含まない場合、第２の照射光は５２０ｎｍ～５４０ｎｍの波長範囲を含んでいてもよい。
【0075】
第２の照射光が赤色光の場合、その波長範囲は、５８０ｎｍ～６４０ｎｍの範囲であり、より好ましくは６００ｎｍ～６２０ｎｍの範囲である。
【0076】
【0077】
図９Ａは、緑色光によって形成される右位相差検出信号および左位相差検出信号を示す。図９Ａに示すように、右位相差検出信号および左位相差検出信号は、それぞれ明確なピーク値を有する。位相差検出信号の全体的な形状は、鋭角形状である。右位相差検出信号および左位相差検出信号の２つの明確なピーク値を測定することによって、緑色光に基づく位相差の値を正確に計算することができる。
【0078】
図９Ｂは、青色光によって形成される右位相差検出信号および左位相差検出信号を示す。図９Ｂに示すように、右位相差検出信号および左位相差検出信号は、それぞれ明確なピーク値を有する。位相差検出信号の全体的な形状は、鋭角形状である。右位相差検出信号および左位相差検出信号の２つの明確なピーク値を測定することによって、青色光に基づく位相差の値を正確に計算することができる。
【0079】
図９Ｃは、赤色光によって形成される右位相差検出信号および左位相差検出信号を示す。図９Ｃに示すように、右位相差検出信号および左位相差検出信号は、それぞれ明確なピーク値を有する。位相差検出信号の全体的な形状は、鋭角形状である。右位相差検出信号および左位相差検出信号の２つの明確なピーク値を測定することによって、赤色光に基づく位相差の値を正確に計算することができる。
【0080】
しかし、レンズがすべての色を同じ焦点面に集束させるわけではない（色収差）ために、緑色光、青色光、および赤色光によって計算される位相差の値は互いに異なる。図９Ｄは、そのような状況を示しており、緑色光、青色光、および赤色光の波長を含む白色光によって右位相差検出信号および左位相差検出信号が形成されている。図９Ｄに示すように、白色光によって形成された右位相差検出信号および左位相差検出信号は、緑色光、青色、および赤色光が異なるピーク値を有するため、それぞれの明確なピーク値を有さない。それ故、位相差検出信号の全体的な形状は、尖っていない鈍角形状である。その結果、白色光に基づいて位相差の値を正確に計算することは困難である。
【0081】
次に、本実施形態に係るＰＤＡＦを実行する方法について説明する。
【0082】
撮像装置は、ＰＤＡＦ方式に基づいて、撮像光学系１１Ａの（レンズ群の）レンズ位置を制御する。より具体的には、イメージセンサ１３の内部にも配置され得るＰＤＡＦ処理部１７が、ＰＤＡＦ方式に基づいて焦点検出を実行し、焦点検出の結果に基づいて、撮像光学系１１Ａの（レンズ群）のレンズ位置を移動させるためのレンズ移動量を計算する。
【0083】
まず、センサ駆動部１６は、露光制御回路を使用して、画像信号を生成する通常画素５２を駆動するための第１の露光時間を制御する。
【0084】
センサ駆動部１６はまた、露光制御回路を使用して、位相差検出信号を生成する位相差検出画素５３を駆動するための第２の露光時間を制御する。
【0085】
照明部２４は、第１の照射光を第１の露光時間に被写体に照射する。この実施形態では、第１の照射光は白色光である。
【0086】
照明部２４は、第２の照射光を第２の露光時間に被写体に照射する。この実施形態では、第２の照射光は単色光であり、緑色光、青色光、赤色光、およびその他の任意のカラー光から選択された１つであってもよい。
【0087】
第１の照射光が４００ｎｍ～８３０ｎｍの波長範囲を含む白色光であるため、第２の照射光の波長は第１の照射光の波長よりも狭い。
【0088】
位相差検出画素５３は、通常画素５２よりも低い感度を有するため、第２の照射光の発光強度は第１の照射光の発光強度よりも高く設定されている。例えば、第２の照射光の発光強度は第１の照射光の発光強度に対して相対比率で２００％の発光強度に設定されてもよい。
【0089】
各位相差検出画素５３は画素面の少なくとも５０％を覆う遮光層６６を有しており、位相差検出画素５３が適切に露光されるように第２の露光時間は第１の露光時間よりも長く設定されてもよい。
【0090】
次に、上述の撮像装置を使用した使用例について、図１０および図１１を参照して説明する。図１０は、上述した撮像装置を使用する内視鏡システム１の例示的な構成を概略的に示す図である。図１１は、図１０の内視鏡２の先端の部分断面図である。
【0091】
図１０に示すように、内視鏡システム１は、内視鏡２、ユニバーサルコード５、コネクタ６、光源装置７、プロセッサ部（制御装置）８、および表示装置１０を含む。
【0092】
内視鏡２は、挿入部３を被検体の体腔内に挿入することによって、被写体像を撮像し、画像信号を出力する。ユニバーサルコード５は、内視鏡２の挿入部３の先端部３ｂまで延びる複数のケーブル３３１、３４１（図１１）を含み、挿入部３の先端部３ｂに設けられた撮像装置に接続されている。コネクタ６は、ユニバーサルコード５の基端に設けられており、光源装置７およびプロセッサ部８に接続されている。
【0093】
光源装置７は、コネクタ６およびユニバーサルコード５を介して白色光を照射する。白色光は、先端部３ｂの照明窓３８から被検体に向けて照射される照明光となる。白色光は、画像信号を生成するために使用される。光源装置７はまた、コネクタ６およびユニバーサルコード５を介して、緑色光、青色光、赤色光、または他のカラー光の１つであり得る単色光を照射する。単色光は、照明窓３８から被検体に向けて照射される照明光となる。この単色光は、ＰＤＡＦ機構による位相差検出信号を生成するために使用される。
【0094】
プロセッサ部８は、コネクタ６から出力された画像信号に対して所定の画像処理を実行し、内視鏡システム１全体を制御する。表示装置１０は、プロセッサ部８によって処理された被検体の画像を表示する。
【0095】
内視鏡２を操作するための様々なボタンおよびつまみを備えた操作部４は、内視鏡２の挿入部３の基端側に接続されている。操作部４は、生体鉗子、電気ナイフ、検査プローブなどの処置具を被検体の体腔内に挿入するための処置具挿入口４ａを含む。
【0096】
挿入部３は、撮像装置を含む先端部３ｂと、先端部３ｂの基端部側に連続して設けられ、上下方向に湾曲可能な湾曲部３ａと、湾曲部３ａの基端部側に連続して設けられた可撓管部３ｃとを含む。
【0097】
内視鏡２の先端部３ｂには、図１１に示すように、光源装置７から白色光および単色光を伝送するためのライトガイド３２１が配置されている。ライトガイド３２１は、照明窓３８に接続されている。白色光および単色光は、照明窓３８から被検体に向けて照射される。
【0098】
先端部３ｂには、撮像装置が設けられている。撮像装置はイメージセンサ１３を備えている。イメージセンサ１３は、その基板に内蔵された露光制御回路およびＰＤＡＦ制御部を含んでいてもよい。露光制御回路は、画像信号を生成する通常画素５２を駆動する第１の露光時間を制御し、位相差検出信号を生成する位相差検出画素５３を駆動する第２の露光時間を制御する。ＰＤＡＦ制御部は、位相差検出信号の値の計算に基づいて、ＰＤＡＦを実行するためのレンズ鏡筒（レンズ部）１１の移動を制御する。
【0099】
【0100】
撮像装置は、レンズ部１１を含んでいてもよい。イメージセンサ１３は、レンズ部１１の基端側に配置され、先端部３ｂの先端部分３０ｂの内側に接着剤で接着されたＣＣＤまたはＣＭＯＳイメージセンサであってもよい。レンズ部１１は、複数の対物レンズを含んでもよい。撮像装置は、イメージセンサ１３から光軸方向に延びるフレキシブル基板１６１と、フレキシブル基板１６１の表面に形成された複数の導電層を有する積層基板１４１と、イメージセンサ１３に接着され、イメージセンサ１３の受光面を覆うガラス蓋１２１とをさらに含んでもよい。
【0101】
レンズ部１１によって結像された被写体９の像（および、その影９ｓの像）は、レンズ部１１の結像位置に配置されたイメージセンサ１３によって検出され、画像信号に変換される。画像信号（出力信号）は、フレキシブル基板１６１、積層基板１４１、電子部品１５１、およびケーブル３３１または３４１を介して、プロセッサ８に出力される。
【0102】
撮像装置は、例えば、デジタルカメラおよびカメラ機能付き携帯機器などの、可視光、赤外光、紫外光、またはＸ線などの光を感知する様々な電子機器、車の前後、周囲、車内などの画像を撮影する車載センサ、安全運転（例えば、自動停止）、運転者の状態認識などに使用される、走行中の車両および道路を監視する監視カメラ、ならびに車両間などの距離を測定する距離センサ、ユーザのジェスチャを撮影し、そのジェスチャに従って機器を操作する、テレビ、冷蔵庫、およびエアコン、防犯用の監視カメラおよび個人認証用のカメラ、皮膚の画像を撮影する皮膚測定装置および頭皮の画像を撮影する顕微鏡、スポーツなどのためのアクションカメラおよびウェアラブルカメラ、畑および作物の状態を監視するためのカメラに使用されてもよい。
【0103】
本開示は、上述の例示的な実施形態に限定されるものではない。当業者は、添付の請求項の範囲内で様々な変更および修正を見出すことがあり、それらが当然に本開示の技術的範囲に入るであろうことを理解すべきである。さらに、本明細書に記載されている効果は、単に説明的または例示的な効果であり、限定的なものではない。すなわち、上記の効果とともに、または上記の効果の代わりに、本開示による技術は、本明細書の記載から当業者に明らかである他の効果を実現し得る。
【符号の説明】
【0104】
１ 内視鏡システム
２ 内視鏡
７ 光源装置
１３ イメージセンサ
２４ 照明部
５２ 通常画素
５３ 位相差検出画素
２ 内視鏡
７ 光源装置
１３ イメージセンサ
２４ 照明部
５２ 通常画素
５３ 位相差検出画素
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図10】
【図11】
【図12A】
【図12B】
【図13】