特許 7114666 構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-29

(45)【発行日】2022-08-08

(54)【発明の名称】構造化照明画像およびレギュラー画像をキャプチャするための単一イメージセンサ

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220801BHJP

   H04N 5/225 20060101ALI20220801BHJP

   H04N 5/235 20060101ALI20220801BHJP

   H04N 7/18 20060101ALI20220801BHJP

   H04N 5/378 20110101ALI20220801BHJP

   H04N 5/369 20110101ALI20220801BHJP

   H04N 5/343 20110101ALI20220801BHJP

   A61B 1/045 20060101ALI20220801BHJP

   G02B 23/24 20060101ALI20220801BHJP

【ＦＩ】

H04N5/232

H04N5/225 300

H04N5/235 600

H04N5/235 400

H04N5/225 500

H04N7/18 M

H04N5/378

H04N5/369 600

H04N5/343

A61B1/045 610

A61B1/045 630

G02B23/24 B

H04N5/225 600

【請求項の数】 7

(21)【出願番号】P 2020162517

(22)【出願日】2020-09-28

(62)【分割の表示】P 2018519713の分割

【原出願日】2016-09-22

(65)【公開番号】P2021010173

(43)【公開日】2021-01-28

【審査請求日】2020-09-28

(31)【優先権主張番号】14/884,788

(32)【優先日】2015-10-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514295253

【氏名又は名称】キャプソ・ヴィジョン・インコーポレーテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】カン－フアイ・ワン

(72)【発明者】

【氏名】イ・シュ

(72)【発明者】

【氏名】ゴードン・ウィルソン

(72)【発明者】

【氏名】チェンユ・ウ

【審査官】高野 美帆子

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０２４０４９２（ＵＳ，Ａ１）

【文献】特開２０１０－０４５７８９（ＪＰ，Ａ）

【文献】特表２００８－５１７５１３（ＪＰ，Ａ）

【文献】特開２０１２－２４２３６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／３７８

Ｈ０４Ｎ ５／３６９

Ｈ０４Ｎ ５／３４３

Ａ６１Ｂ １／０４５

Ｇ０２Ｂ ２３／２４

(57)【特許請求の範囲】

【請求項1】

受け付けた光エネルギーに応じて画素信号を生成し、受け付けた光のエネルギーによって前記画素信号の電圧レベルが決められる画素アレイと、
前記画素アレイに接続されて前記画素アレイが生成した前記画素信号をアクセスする少なくとも１つの出力回路と、
第２ダイナミックレンジ、および、前記第２ダイナミックレンジよりも低減された第１ダイナミックレンジを有する少なくとも１つのアナログ／デジタル変換器と、
前記画素アレイ、前記少なくとも１つの出力回路、前記少なくとも１つのアナログ／デジタル変換器、またはそれらの組み合わせに接続される少なくとも１つのタイミング制御回路と、を備え、
前記少なくとも１つのタイミング制御回路は、
前記画素アレイにより、第１フレーム期間において、第１リセット信号を前記画素アレイに印加することにより前記画素アレイの画素列をリセットして、前記画素アレイの前記画素列を構造化照明に露出して第１アナログ信号を生成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素アレイの前記画素列からの前記第１アナログ信号を構造化照明画像の第１デジタル出力信号に変換することにより、コモン画像平面に形成される前記構造化照明画像をキャプチャし、
前記画素アレイにより、前記第１フレーム期間よりも長い第２フレーム期間において、第２リセット信号を前記画素アレイに印加することにより前記画素アレイの前記画素列をリセットして、前記画素列を非構造化照明に露出して第２アナログ信号を形成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの第２アナログ信号をレギュラー画像の第２デジタル出力信号に変換することにより、前記コモン画像平面と同じ画像平面に形成される前記レギュラー画像をキャプチャする、ように構成され、
前記構造化照明画像は、前記レギュラー画像よりも前または後にキャプチャされ、前記レギュラー画像に関する深度または形状の情報の導出に用いられ、
前記少なくとも１つのタイミング制御回路は、前記第１ダイナミックレンジおよび前記レギュラー画像よりも低い空間解像度で前記構造化照明画像をキャプチャするように構成される、
統合イメージセンサ。

【請求項2】

前記少なくとも１つのアナログ／デジタル変換器は、前記第１および第２ダイナミックレンジ両方を提供できる設定可能なアナログ／デジタル変換器である請求項１に記載の統合イメージセンサ。

【請求項3】

前記少なくとも１つのアナログ／デジタル変換器は、前記第１および第２ダイナミックレンジをそれぞれ提供する２つのアナログ／デジタル変換器を有する請求項１に記載の統合イメージセンサ。

【請求項4】

受け付けた光エネルギーに反応して画素信号を生成し、受け付けた光のエネルギーによって前記画素信号の電圧値が決められる画素アレイと、
構造化照明光源と、
非構造化照明光源と、
前記画素アレイに接続されて前記画素アレイが生成した前記画素信号をアクセスする少なくとも１つの出力回路と、
第２ダイナミックレンジ、および、前記第２ダイナミックレンジよりも低減された第１ダイナミックレンジを有する少なくとも１つのアナログ／デジタル変換器と、
前記画素アレイ、前記少なくとも１つの出力回路、前記少なくとも１つのアナログ／デジタル変換器、またはそれらの組み合わせに接続される少なくとも１つのタイミング制御回路と、を備え、
前記少なくとも１つのタイミング制御回路は、
前記画素アレイにより、第１フレーム期間において、第１リセット信号を前記画素アレイに印加することにより前記画素アレイの画素列をリセットして、前記画素アレイの前記画素列を前記構造化照明光源からの第１の光に露出して前記画素列からの第１アナログ信号を形成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素アレイの前記画素列からの前記第１アナログ信号を構造化照明画像の第１デジタル出力信号に変換することにより、コモン画像平面に形成される前記構造化照明画像をキャプチャし、
前記画素アレイにより、前記第１フレーム期間よりも長い第２フレーム期間において、第２リセット信号を前記画素アレイに印加することにより前記画素アレイの前記画素列をリセットして、前記画素列を非構造化照明光源の第２の光に露出して前記画素列からの第２アナログ信号を形成し、前記少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの前記第２アナログ信号をレギュラー画像の第２デジタル出力信号に変換することにより、前記コモン画像平面と同じ画像平面に形成される前記レギュラー画像をキャプチャする、ように構成され、
前記構造化照明画像は、前記レギュラー画像よりも前または後にキャプチャされ、前記レギュラー画像に関する深度または形状の情報の導出に用いられ、
前記構造化照明画像は、前記第１ダイナミックレンジおよび前記レギュラー画像よりも低い空間解像度でキャプチャされる、
内視鏡。

【請求項5】

飲み込みに適し、前記画素アレイ、前記構造化照明光源、前記非構造化照明光源、前記少なくとも１つの出力回路、および前記少なくとも１つのタイミング制御回路が内部に封入されて密封されるハウジング、をさらに備える請求項４に記載の内視鏡。

【請求項6】

前記少なくとも１つのアナログ／デジタル変換器は、前記第１および第２ダイナミックレンジ両方を提供できる調整可能なアナログ／デジタル変換器である請求項４に記載の内視鏡。

【請求項7】

前記少なくとも１つのアナログ／デジタル変換器は、前記第１および第２ダイナミックレンジをそれぞれ提供する２つのアナログ／デジタル変換器を有する請求項４に記載の内視鏡。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、２０１５年１０月２６日付で出願された米国特許出願第１４/８８４，７８８号に基づく優先権を主張する。ここでは上記米国特許出願の全体内容を参照として引用する。

【0002】

本発明は、レギュラー画像および対応するレギュラー画像の深度や形状などの情報を導出するための構造化照明画像をキャプチャできる単一のイメージセンサに関する。

【背景技術】

【0003】

内視鏡、自律型カプセルカメラなどの生体の腔体、管道の撮像装置が知られている。内視鏡は、生体の開口や手術の切口から体内に、例えば口から食道に、直腸から結腸に進入するフレキシブルまたは剛性のチューブ状装置である。レンズを用いて画像が先端に形成されるとともに、中継システムまたは同期光ファイバを介して体外の末端に伝送される。また、ＣＣＤやＣＭＯＳアレイなどに概念上に類似している設備を用いて、先端にて画像を電気的に記録でき、ケーブルを介して前記画像データが電気信号の形式で末端に転送される。内視鏡は、医師が視野をコントロールすることを可能であり、一般的に使われている診断ツールである。

【0004】

近年、生体内内視鏡の代わりに、カプセル内視鏡が開発された。カプセル内視鏡は、飲み込み型カプセルにカメラと、主にデジタルカメラにより記録された画像を含むデータを体外の基地局の受信機や記録装置へ伝送するための無線発信機と、を有する。該カプセルはさらに基地局からの命令信号を受信する無線受信機が収容されてもよい。高周波の電気信号の代わりに、低周波の電磁信号を用いてもよい。電力は、外部のインダクタからカプセル内の内部インダクタへの電磁誘起により供給されまたはカプセル内のバッテリーから供給される。

【0005】

また、２０１１年７月１９日付け登録されたＵＳ７９８３４５８「内蔵式データ記憶装置または規制認可された帯域におけるデジタルワイヤレス伝送を用いる生体内自律型カメラ」により、内蔵式データ記憶装置を用いる自律型カメラが開示されている。カプセルカメラは内蔵式記憶装置は、キャプチャされた画像を不揮発性オンボードメモリに保存する。カプセルカメラは人体から排出されると回収される。カプセルカメラの出力手段を介して、カプセルカメラの不揮発性オンボードメモリ内に格納された画像へアクセスできる。

【0006】

内視鏡によってキャプチャされた二次元画像は診断に有用であったが、診断の精度を向上させ、診断プロセスを簡易化するために、深度情報を含む胃腸（ＧＩ）の画像（すなわち、三次元（３Ｄ）画像）をキャプチャすることが望ましい。３Ｄ撮像の分野では、３Ｄ画像は、被写場面のテクスチャ情報をキャプチャするレギュラーのカメラと、視野内の深度情報をキャプチャする独立の深度カメラ（例えば、タイムオブフライトカメラ）とによって確立できる。３Ｄ画像は、平面に設置された複数のカメラを用いて、異なる視角で被写場面を撮影することによりキャプチャすることができる。そして、３Ｄ三角計測用のための多視野における点対応が確立される。しかし、スペースが限られている胃腸内では、マルチカメラシステムは容易に適用できない可能性がある。過去２０年間、構造化照明の技術は、単一のカメラでも被写場面の被写体の深度または形状を導出できるように進化してきた。構造化照明システムでは、通常、光源になる投射手段から被写場面の被写体に既知の幾何学パターンが投射される。投射されたパターンがあるかどうかにかかわらず、レギュラーのカメラを使用して画像をキャプチャすることができる。構造化照明でキャプチャされた画像を使用して、被写場面の被写体に関連する形状情報を導出できる。被写体の３Ｄ構造モデルを作るために、深度または形状情報、および非構造化照明でキャプチャしたレギュラー画像が使用される。構造化照明に係る技術はすでに知られており、例えば、「構造化照明による３Ｄ表面撮像技術」（Geng、Advances in Optics and Photonics、3巻、2号、128-160頁、2011年3月31日）において、様々な構造化照明のパターンを使用して説明し、対応する効果を比較した。他の例では、「構造化照明による３Ｄコンピュータビジョン：設計、校正および実施上の問題」（DePiero氏ら、コンピュータの進歩、43巻、1996年1月1日を、243-278頁）において、異なる設計、校正および実施上の問題が記載されている。したがって、構造化照明技術の詳細について、ここで省略する。

【発明の概要】

【発明が解決しようとする課題】

【0007】

構造化照明の技術は、他の技術よりも胃腸の３Ｄ撮像に適しているが、胃腸への適用にはまた問題がある。たとえば、ほとんどの構造化照明は定置物体に応用される。したがって、キャプチャされた構造化照明画像とレギュラー画像との間では、被写体は動かない。しかし、胃腸を撮像するカプセルカメラの応用では、カプセルカメラおよび胃腸（ＧＩ）部分（例えば、小腸および結腸）の両方が動く。したがって、構造化照明画像およびレギュラー画像を連続的にキャプチャする期間中、それらの間に相対的な動きが生じる。また、カプセルカメラはエネルギーの消耗に対する要求に敏感な場面で応用されている。レギュラー画像のキャプチャに加えて、構造化照明の使用によりエネルギーが消費される。さらに、レギュラー画像がキャプチャされた後に構造化照明画像をキャプチャする場合、利用可能なフレームレートが半減される。レギュラー画像と同じフレームレートを維持しようとする場合、２倍のフレームレートで画像をキャプチャするとともに、画像のキャプチャに２倍の電力が消耗されてしまう。したがって、これらの問題が克服され胃腸で使用できる構造化照明の応用の開発が求められている。

【課題を解決するための手段】

【0008】

本発明は、統合イメージセンサを用いて混合されたレギュラー画像およびレギュラー画像よりも短い撮像期間でキャプチャする構造化照明画像をキャプチャする方法および装置を提供する。構造化照明画像のフレーム期間の短縮を実現するために、構造化照明画像は、低減されたダイナミックレンジ、低減された空間解像度、またはそれらの組み合わせでキャプチャされた画像に対応できる。前記キャプチャ処理は、リセット信号を画素アレイに印加することによる前記画素アレイの画素列をリセットすること、前記画素アレイの画素列からアナログ信号を読み取ること、少なくとも１つのアナログ／デジタル変換器を用いて前記画素列からの前記アナログ信号を画像のデジタル出力に変換することを含む。

【0009】

低減されたダイナミックレンジは、アナログ／デジタル変換器によって低減された解像度に対応する。また、低減されたダイナミックレンジは、ランプ参考電圧を生成するための低減されたランプ期間に対応し、前記少なくとも１つのアナログ／デジタル変換器は前記ランプ参考電圧と入力されたアナログ電圧を比較する。逐次近似アナログ／デジタル変換器を用いる場合、前記低減されたダイナミックレンジは、入力されたアナログ電圧と比較するために前記アナログ／デジタル変換器に入力される基準電圧を改善するための低減された逐次近似の回数に対応する。また、前記低減されたダイナミックレンジは、前記イメージセンサの低減された電荷の蓄積のための累積時間に対応する。この場合、構造化照明画像に対しイメージセンサの画素列からの第1アナログ信号のアナログゲインは増加する。

【0010】

さらに、構造化照明画像のフレーム期間の累積時間において、第１強度を有する構造化照明が被写体に投射され、第１レギュラー画像のフレーム期間の累積時間において、第２強度を有する非構造化照明が被写体に投射される。前記構造化照明は、少なくとも２つの異なる色またはパターンを有する複数の光源によって生成される。１つの実施例によれば、複数の光源の少なくとも１つに関連するスペクトルは、環境光または非構造化照明に投射される想定被写体に関連する第２スペクトルとは実質的に異なる。前記イメージセンサは、モザイクパターンに配置された少なくとも第１カラーに対応する第１画素および第２カラーに対応する第２画素を含むカラーイメージセンサに対応し、前記第１スペクトルは実質的に前記第１画素に関連する第１カラーに集中する。

【0011】

前記非構造化照明は、狭帯域または蛍光により発される。実質上、前記第１強度は前記第２強度よりも高い。また、前記第１強度の期間は人間の視覚残像の時間よりも実質的に短い期間である。

【0012】

１つの実施例によれば、前記構造化照明画像に用いられる前記イメージセンサの前記画素列の最小リセット時間は、前記レギュラー画像のキャプチャに用いられる前記イメージセンサの前記画素列の最小リセット時間よりも実質的に短い。

【0013】

さらに、前記構造化照明画像をキャプチャするための前記構造化照明をトリガして生成するように第１制御信号が生成される。前記構造化照明は前記構造化照明画像の累積期間に施される。前記構造化照明は、第１列の累積の終了前および最終列の加算の開始後に施されてよい。また、さらに、前記第２のレギュラー画像をキャプチャするための前記第２の光をトリガして生成するように第２制御信号が生成される。

【0014】

さらに、構造化照明画像を提供することによりレギュラー画像の深度または形状の情報が導出される。画素アレイの選択された列のみに対し、第１リセット信号の印加、第1アナログ信号の読出し、および第1のアナログ信号の変換が施されて、構造化照明画像の持続時間を短縮する。したがって、レギュラー画像と比較して、構造化照明画像は、垂直解像度が低下する。前記構造化照明画像の画像期間は、構造化照明画像をキャプチャするための第１リセット時間、第１累積時間、および第１読出し時間の合計である。画素アレイの選択された列は、画素アレイのＮ列ごとのうちの一つに対応し、Ｎは１より大きい整数である。選択された列ごとにサブサンプリングを適用することにより、構造化照明画像の画像期間をさらに短縮することができる。１つの実施例では、第１構造化照明画像とレギュラー画像とを含む連結画像をキャプチャする過程を繰り返すことにより、表示される前記レギュラー画像に関するシーケンスと、深度または形状の情報を導出するために用いられる構造化照明画像に関するシーケンスとを生成してもよい。

【0015】

他の実施例では、低いダイナミックレンジが使用されるか否かにかかわらず、構造化照明画像の空間解像度を低減することができる。言い換えれば、構造化照明画像は、レギュラーのダイナミックレンジでキャプチャすることはできるが、空間解像度は低い。例えば、イメージセンサは、選択された列のみを出力するように設定されてもよい。また、イメージセンサは、列ごとにサブサンプリングした画素を出力するように設定されてもよい。さらに、イメージセンサは、選択された列のサブサンプリングした画素のみを出力するように設定されてもよい。また、他の実施例では、第1構造化照明画像は、レギュラー画像と比較して、垂直方向、水平方向または両方向が縮小された画像エリアでキャプチャされてもよい。

【0016】

１つの実施例によれば、人体の胃腸内の画像をキャプチャするために、統合イメージセンサがカプセル型ハウジング内に密封され、さらに、前記カプセル型ハウジング内で構造化照明画像をキャプチャするための第１の光をトリガして生成するように第１制御信号が生成され、前記カプセル型ハウジング内でレギュラー画像をキャプチャするための第２の光をトリガして生成するように第２制御信号が生成される。

【0017】

また、他の実施例によれば、第1構造化照明画像は、シーケンス制御信号を生成して構造化照明のシーケンスを生成し、そして複数の構造化照明画像をキャプチャすることによって複数の構造化照明画像に対応できる。前記構造化照明は、被写場面の被写体に対して異なる位置にある光源から、同じ投射手段による異なるパターンから、または異なるパターンと位置両方の組み合わせからのものである。

【0018】

１つの構造化照明画像と比較して、複数の構造化照明画像を使用することにより、より多くの３Ｄポイントを得ることができる。したがって、１つの実施例では、複数の構造化照明画像を連続してキャプチャすることができる。

【0019】

また、他の実施例によれば、構造化照明画像が介在する第１レギュラー画像および第２レギュラー画像をキャプチャすることにより合成レギュラー画像を生成する。そして、第１および第２レギュラー画像を合成して、合成レギュラー画像が生成される。構造化照明画像のフレーム期間は、第１レギュラー画像のフレーム期間と第２レギュラー画像のフレーム期間との総合よりも短い。前記合成レギュラー画像において、第２レギュラー画像に対し、前記第１レギュラー画像の方の重み付けが高くまたは低くするために、第１レギュラー画像の第１累積時間は、第２レギュラー画像の第２累積時間よりも長くまたは短くしてもよい。例えば、第1累積時間は、第２累積時間の３倍であってもよい。合成画像は、第１レギュラー画像の３/４と第２レギュラー画像の１/４の重み付け効果を有する。また、合成レギュラー画像において同じ重みになるように、第１レギュラー画像と第２レギュラー画像は、同じ累積時間を有してもよい。

【0020】

さらに別の実施形態では、構造化照明画像およびレギュラー画像をキャプチャする単一のイメージセンサに対する二重露出制御が開示される。システムは、イメージセンサに第１露出制御を発信することによって、１つ以上の構造化照明画像に用いられる構造化照明の光源、前記イメージセンサに関連する第１ゲインまたは第１累積時間、またはそれらの組み合わせを調節して、構造化照明の光源からの構造化照明におけるイメージセンサの視野内において、１つ以上の構造化照明画像をキャプチャする。また、前記システムは、イメージセンサに第２露出制御を発信することによって、１つ以上のレギュラー画像に用いられる構造化照明の光源、前記イメージセンサに関連する第２ゲインまたは第２累積時間、またはそれらの組み合わせを調節して、イメージセンサの視野内において、１つ以上のレギュラー画像をキャプチャする。レギュラー画像および構造化照明画像は交替的にキャプチャされる。第１露出制御は第２露出制御に基づいて決定されてもよいし、第２の露出制御は第１露出制御に基づいて決定されてもよい。また、第２露光制御は前記レギュラー画像に用いられる非構造化照明の光源を調整できる。

【図面の簡単な説明】

【0021】

【図1】図１は、８ビットのダイナミックレンジを有するアナログ／デジタル変換器の例を示す図である。

【図2A】図２Ａ、図２Ｂは、アナログ／デジタル変換器の参考信号に用いられるランプ電圧の波形であって、図２Ａは９ビットのダイナミック解像度の波形、図２Ｂは６ビットのダイナミック解像度の波形である。

【図2B】図２Ａ、図２Ｂは、アナログ／デジタル変換器の参考信号に用いられるランプ電圧の波形であって、図２Ａは９ビットのダイナミック解像度の波形、図２Ｂは６ビットのダイナミック解像度の波形である。

【図3】図３は、本発明の実施例に係る連結された構造化照明画像とレギュラー画像をキャプチャするための画素アレイを示すブロック図である。

【図4A】図４Ａは、本発明の実施例に係る２つのレギュラー画像をキャプチャするシーケンスを示す図である。

【図4B】図４Ｂは、本発明の実施例に係る連結された構造化照明画像とレギュラー画像の例を示す図である。

【図5】図５は、図４Ｂに示すシーケンスに対応して、本発明の実施例に係る構造化照明画像をキャプチャするために構造化照明を実施する持続時間を示す図であり、明確に説明するために一部の過程を省略した。

【図6】図６は、本発明の実施例に係る構造化照明画像とレギュラー画像をキャプチャするために構造化照明を実施する図である。

【図7A】図７Ａは、本発明の実施例に係る画像を２つの期間でキャプチャするシーケンスを示す図であり、第１期間に第１レギュラーサブ画像がキャプチャされ、第２期間に構造化照明画像と第２レギュラーサブ画像からなる混合画像がキャプチャされ、最終に合成されたレギュラー画像が出力され、第１期間の累積期間が第２期間の累積期間とほぼ同一のシーケンスを示す図である。

【図7B】図７Ｂは、図７Ａに類似するシーケンスを示す図であり、第１期間の累積期間が第２期間の累積期間のほぼ３倍のシーケンスを示す図である。

【図8】図８は、本発明の実施例に係る連結された構造化照明画像と構造化照明画像よりも高いダイナミックレンジを有するレギュラー画像をキャプチャするフローチャートを示す図である。

【図9】図９は、本発明の他の実施例に係る連結された構造化照明画像と構造化照明画像よりも高いダイナミックレンジを有するレギュラー画像をキャプチャするフローチャートを示す図である。

【発明を実施するための形態】

【0022】

理解されるように、本明細書および図面により、様々な形態で本発明の各部材を設置、デザインすることができる。図に示すように、下記の本発明に係るシステム及び方法の具体的実施の形態によりこの発明が限定されるものではなく、選択された具体的実施例を代表的に示すだけのものである。明細書全文に渡って、「１つの具体的実施例」や「一具体的実施例」などの用語の意味は、本発明において、具体的実施例に合わせた特定の特徴、構造、特性を、少なくとも１つの具体的実施例に含まれるとのことである。このように、明細書全文に渡って、記載されている「１つの具体的実施例」、「一具体的実施例」は同じ具体的実施例を指すのではない。

【0023】

また、１つまたは多数の具体的実施例を適当に特徴的構造や特性を組み合わせることができる。当該技術分野の熟練者であれば、１つまたは多数の具体的なディーテルがなくても、他の方法や手段により、本発明を実施することができる。各実施例の説明に当たって、本発明と混同しないように、本明細書には周知技術の構造及び操作の詳細が明記されていない。本発明の実施例をより理解しやすくするために、図面には、全文に記載の部材と対応する部材に符号が付記され、同じ部材は常に同じ符号が付記される。下記の説明は、単に例示であって、本発明の特許請求の範囲により限定された装置または方法のいくつかの選択された実施例一致している。

【0024】

内視鏡は、通常、口や肛門などの自然開口部を通して体内に挿入される。 したがって、内視鏡は、侵入感を最小限に抑えるために小型であることが好ましい。 また、内視鏡でキャプチャした胃腸内のライブ画像や映像から深度情報や形状情報を抽出するしようとする場合も、構成要素の小型を維持することが肝心である。 さらに、小型で画像や映像から深度情報などを抽出するというカメラは、ウェアラブルデバイスなどのコンパクトなサイズが求められる応用にも適用できる。

【0025】

所定イメージセンサの前に所定幅の通過帯域を有するカラーフィルターを配置して、色情報および深度情報を同時に取得する深度情報抽出技術が知られている。フィルターの通過帯域を有する環境光源のスペクトルがセンサに投射するエネルギーを無視してもよい。ＲＧＢ画素を用いる場合、第４タイプの画素を併用して、これらの画素の先端に照射されてフィルタの帯域を通過したスペクトルの光をキャプチャすることができる。そして、実質的に帯域内のスペクトルを有する構造化照明をシーンに投射する。しかし、この方法によっては、このようなイメージセンサがキャプチャした画像や映像の空間解像度が低下する。

【0026】

また、ＲＧＢセンサにおいて可視の構造化照明パータンを投射することによって３Ｄトポロジーの深度情報を取得する技術も知られている。しかし、リアルタイム画像や映像は、重ねられた構造化照明に乱れされる。本発明は、単一のカメラで構造化照明を用いて画像やリアルタイム映像をキャプチャし深度情報を抽出する。

【0027】

前記のように、従来の単一のカメラによる構造化照明画像のキャプチャ方法はいくつかの欠点がある。例えば、フレームレートが３０フレーム／秒のカメラを採用できる。また、ライブ映像及び構造化照明の有無に対応する交互画像が採用されている従来の方法がある。１つの問題点として、見ようとする深度情報は１／３０秒で対応する画像から離れる。フィールドにおいて動きがある場合、深度情報が１／３０秒で離れる画像の３Ｄトポロジーを正確に表示できない恐れがある。また、この例において、見ようとする映像の有効フレームレートが１５フレーム／秒に低下してしまう。

【0028】

映像の応用において、フレームレートは所定の応用にとって肝心である。例えば、移動の速い対象例えば飛行中の銃弾の映像をキャプチャする場合、フレームレートの高い例えば１００フレーム／秒またはそれ以上のカメラが必要とされる。このような場合、構造化照明を利用すると、フレームレートが半分に削減され、所定の応用が妨害される恐れがある。カプセルカメラにおいて、胃腸（ＧＩ）中の映像は通常数フレーム／秒であるが、カメラが２倍のフレームレートで作動することによって、構造化照明画像をキャプチャするために低下する有効フレームレートを補正できる。しかし、このようにすることにより、２倍の電力が消耗され、電力が限られているカプセルカメラにとって好ましくない。

【0029】

フレームレートごとに対応するフレーム期間がある。フレーム期間において、センサはセンサに照射した入射光に応じて発した電荷を累積するフレーム期間のサブセットを消費する。いかなる動きによるキャプチャした画像のぼけを防止し実質上静止画像を取得するために、累積の期間を十分に小さくする必要がある。

【0030】

図１は、イメージセンサに用いられるアナログ／デジタル変換器（ＡＤＣ）の例を示す図である。このＡＤＣは、入力されるアナログ信号１２０と基準信号１３０を比較する比較器１１０を備える。画素に接続されるアナログ回路からのアナログ信号１２０を比較器の一端に入力してランプ電圧と比較する。１つの実施例に従って、デジタルロジック回路のクロックを用いてクロックの周期ごとに上昇するランプ電圧を生成してもよい。図２Ａ、図２Ｂには、９ビット（５１２段階）および６ビット（６４段階）のランプ電圧の２つの例が示される。ランプ電圧を生成させるクロックもカウンタ１４０によってカウントされる。ランプ電圧レベルが画素に接続されるアナログ回路からののアナログ信号１２０の電圧値に達すると、比較器出力は切り換えられ（例えばハイからローまたはローからハイへ）てその旨を示す。同時に、比較器からの出力信号がレジスタ１５０を起動させ、ランプ電圧値がアナログ信号１２０を超えたことを示すクロック数をカウントするカウント値がラッチされる。また、画素の製造ミスによる一定パターンのノイズを除去するために、相関２重サンプリング（ＣＤＳ）技術を用いて画素からの出力に対し測定を２回行うことは知られている。アナログ回路（例えば相関２重サンプリング回路）やデジタル回路によってオフセット除去リセット信号を除去してもよい。デジタルの実施例の場合、累積期間の後、リセット後のデジタルカウンタの出力は、画素のデジタルカウンタの出力から消去してもよい。

【0031】

画素に電荷の累積速度および画素から信号の読出し速度はいくつかの要因に依存する。また、図１の例に示すように、各画素に接続されたアナログ回路から出力されるアナログ信号１２０と基準信号（すなわちランプ電圧）が比較される。所望のデジタル画素解像度（例えば、９ビットｖｓ６ビット）に応じて、対応するランプ信号が生成される。 読出し速度は、カウンタ、比較器および他の関連回路の速度に依存する。より高いデジタル解像度（すなわちより高いダイナミックレンジ）に対応するランプ信号の生成には、より長い時間がかかる。図２Ｂのような６ビットのダイナミックレンジを実施する場合は、図２Ａのような９ビットのダイナミックレンジを実施する場合よりも８倍速くなる。

【0032】

ＡＤＣの他の形態としては、逐次近似ＡＤＣが挙げられる。この逐次近似ＡＤＣは、基準電圧が粗いレベルから始まる。入力電圧が基準電圧を上回るか下回るかに応じて、基準電圧は、前の基準電圧の半分だけ前の基準電圧を増減することにより改善される。改善された基準電圧が目前の基準電圧として用いられるように順次に比較を行う。所望の解像度に達すると、プロセスは終了する。近似ごとに、入力電圧が基準電圧よりも高いか低いかを示すために１ビットが使用される。したがって、ＡＤＣの解像度は、逐次近似ＡＤＣの逐次近似の回数に関連する。一般的に、ダイナミックレンジが高いほど、読出し時間は長くなる。比較の回数が増えるだけでなく、ランプ電圧または基準電圧の精度がより要求されるため、電圧の安定に時間がかかる。センサアレイには固有の大きなＲＣ定数を有し、最低限の精度を満たすために一定の処理時間がかかる。高いダイナミックレンジの場合、基準電圧（すなわち、ランプ参考信号）を伝送する導線のインダクタンス、並びにＲ（抵抗）、Ｃ（容量）により、時間がかかる。センサアレイの導線は、通常長さが千μm程度であるので、周りのインダクタンスは数ｎＨ程度になる。インダクタンスは、抵抗と異なり、導体の断面に反比例して減少することはない。フィールド中の被写体の鮮明な色合いを提供する画像や映像のクオリティにとっては、高ダイナミックレンジは重要な要因である。一方、構造照明パターンの画像は、グリッドの幾何情報など既知の情報に基づいて、主に深度や形状情報を導出するために使用される。導出された重要な情報は、グリッドラインの位置に関連している。したがって、実質的に、人間の目で見られるレギュラー画像よりも低いダイナミックレンジが要求される。

【0033】

構造化照明画像に要求されるダイナミックレンジがレギュラー画像よりもはるかに低いので、本発明は、ダイナミックレンジに対する異なる要求によるアドバンテージを利用して構造化照明画像のフレーム時間を短縮する。図３は、本発明の実施例に係る統合イメージセンサのブロック図である。統合イメージセンサは、画像アレイが受け付けた光エネルギーに反応して、受け付けた光エネルギーに依存する電圧レベルを有する信号データを生成する画素アレイ３１０と、前記画素アレイに接続されて画素アレイが生成した信号データをアクセスする出力回路３２０と、第１および第２ダイナミックレンジを有する少なくとも１つのアナログ／デジタル変換器３３０と、タイミング制御回路３４０ａ、３４０ｂとを備える。画素アレイはモノクロームのものでも、カラーのものでもよい。画素アレイＣＭＯＳセンサからなるものでも、ＣＣＤセンサからなるものでもよい。タイミング制御回路の制御で、出力回路が画素アレイに電気的に接続される。例えば、タイミング制御回路の制御によって、画素アレイの出力は、列ごとに出力回路に伝送される。出力回路は、さらに増幅器およびリセット後の画素のオフセットを処理するためのＣＤＳ回路を備えてもよい。タイミング制御回路３４０ａ、３４０ｂは、２つの独立したブロックでもよく、統合された１つのブロックでもよい。

【0034】

ＡＤＣは、第１ダイナミックレンジおよび第１ダイナミックレンジよりも大きい第２ダイナミックレンジで作動される。例えば、第１ダイナミックレンジは６ビットで、第２ダイナミックレンジは９ビットであってもよい。 一つのＡＤＣに異なるダイナミックレンジを有してもよい。 並行的ではなく連続的に構造化照明画像とレギュラー画像がキャプチャされるため、ダイナミックレンジを変換可能な単一のＡＤＣ、例えば、Ｗｏｎｇ氏らによる２０１３年２月５日付けの米国特許第８３６９４５８号に開示されている自動的に変換可能なＡＤＣ。タイミング制御回路には、列走査回路及び行走査回路が含まれる。タイミング制御回路は、リセット信号などの様々な制御信号を生成する役割を担う。以下、構造化照明画像とレギュラー画像をキャプチャするイメージセンサの設定について、好ましい実施形態が提供される。

【0035】

図４Ａは、レギュラー画像をキャプチャするイメージセンサのタイミングの例を示し、当該列タイミングには、水平方向において各フレーム、かつ垂直方向において、第１列（上）から最終列（下）が示される。典型的なイメージセンサでは、画素は列ごとに読取られる。各列の動作は、列リセット、累積、および読出しを含むいくつかのステップを有する。通常は図４Ａに示すように、列ごとにずらして行われる。ただし、現列の読出しステップは、前の列の読出しが完了するまで待機する必要がある。レギュラー画像をキャプチャするイメージセンサの場合、同じ撮像時間、同じシーケンスパターンがフレームごとに繰り返される。すべての画像は同じ期間時間を有する。図４Ａは、典型的なイメージセンサの典型的なタイミング図を示す。タイミングチャートはスケールに合わせて描かなくてもよい。

【0036】

図４Ｂは本発明の実施例に係る混合された構造化照明画像とレギュラー画像をキャプチャするタイミングを示す図であり、構造化照明画像のキャプチャには小さいダイナミックレンジが使用される。構造化照明画像のフレーム持続時間は、図４Ｂに示すように、次のレギュラー画像のフレーム持続時間よりもはるかに短い。図４Ｂに示されたタイミングチャートは、特に構造化照明画像の部分は、スケールに合わせて描かれたものではない。構造化照明画像の部分について、詳しく説明するために拡大して描かれている。図４Ｂに示すように、構造化照明画像に関連するタイミング信号は斜体太字で示されている。小さいダイナミックレンジは、例えば、図２Ａ、図２Ｂに示される大きいステップを有する上昇ランプ電圧によって生成された基準電圧との比較を抑えることにより実現される。あるいは、基準電圧は、初期電圧と終期電圧との間の小さいランプ範囲で生成されてもよい。構造化照明画像は、レギュラー画像よりも読出しが速いので、構造化照明画像は、レギュラー画像のリセットタイミング期間に収めることが可能である。構造化照明画像は、レギュラー画像と同じ高いダイナミックレンジを必要としないので、構造化照明画像のリセットはレギュラー画像ほど徹底にする必要はない。したがって、構造化照明のリセット時間を短くすることができる。したがって、１つの実施形態では、構造化照明画像のイメージセンサの画素列間の最小リセット時間は、レギュラー画像のそれよりもはるかに短い。

【0037】

図５は、図４Ｂと同様に、タイミングセットアップを示すために、便宜上、いくつかの記載が省略される。構造化照明の持続時間は、実質的に、第１列の累積ステップの終期に近接する。一方、構造化照明の持続時間は、構造化照明画像の最終列の累積段階内に収めなければならない。最適な構造化照明のパルス持続時間は最終列の累積の始めから第１列の読出しステップの始めまでである。構造化照明画像のキャプチャを加速させ、環境光のような他の光源のエネルギーによる影響を低減するために、シーンがカメラに入るときに構造化照明の持続時間が短く設定される。累積が予想より多くの時間を必要とする場合、強度または持続時間を増すことによって構造化照明のパルスエネルギーを増加することが可能である。好ましい実施形態では、構造化照明の強度は、通常光源または環境光の強度よりも強い。しかしながら、構造化照明は人間の視覚残像の時間よりも実質的に短い期間に用いることができ、相対的に弱い非構造化照明およびＳＮ比の高い構造化照明で画像を露出する。非構造化照明は、広帯域や狭帯域、蛍光に対応可能である。構造化照明のパルスのエネルギーは、システムパワーにより制限され、または人を邪魔せず、分散せず、または構造化照明に曝された人間の目が損傷しない前提で制限される。また、他のエネルギーの制限は、医療用撮像の応用時の構造化照明のエネルギーによるダメージの閾値である。イメージセンサのアナログゲインの向上により構造化照明によって生成された画素の輝度が背景ノイズや他の光源の輝度よりもはるかに高くなり、構造化照明のエネルギーが許容可能な低いレベルにある。ゲインの向上によりノイズの増幅やイメージセンサのダイナミックレンジの低下の可能性がある。

【0038】

主に胃腸での使用が想定されている場合、短い持続時間および高い強度の構造化照明を使用すれば、非胃腸での使用に有利である。例えば、本発明は、自然のシーンの混合されたレギュラー画像と構造化照明画像をキャプチャする従来の撮像に適用して、および構造化照明画像得られた深度または形状情報を利用してシーンの３Ｄ画像に付与する。構造化照明画像からより信頼できる深度または形状情報を得るためには、基本シーンの環境光のカラースペクトルまたは１つ以上の非構造化照明とは非常に異なるスペクトルを有する構造化照明光源を選択することが望ましい。

【0039】

累積期間中に、より高い（すなわち、最も重要な）ビットの読み取りを開始する読出計画があっても、大きいダイナミックレンジほど読出しに時間がかかる。これは、より多くの比較およびより長い基準電圧安定化時間が必要とされるためである。したがって、構造化照明画像のダイナミックレンジを小さくすれば、列処理期間を短縮できる。これは、グローバルシャッタモードで作動するイメージセンサにも適用できる。したがって、入力されるアナログ電圧と比較するためにＡＤＣに供給される基準電圧に関連する安定化時間は、第１構造化照明画像においてレギュラー画像よりも短い。必要な精度が小さいため、リセット信号は、画素および/または関連回路が所望のレベルにリセットされるまでに保持される必要はない。

【0040】

図５に示すように、好ましい構造化照明は、持続時間を短くするように所定の時間に用いられるが、この短い持続時間はすべての画素列の累積時間の少なくとも一部を占める。フレーム信号とクロックからの制御信号によって、構造化照明がトリガされる信号が導出される。しかし、構造化照明の制御信号が統合センサの他のモジュールから発信される場合もある。また、他の実施例では、システムが最適化になるように、センサからの制御信号の所定のまたはプログラムブルな遅延によって、タイミングが調整される。

【0041】

１つの実施形態では、構造化照明は、少なくとも２つの異なる色またはパターンを有する複数の光源によって生成される。複数の色を用いることにより、選択されたカラースペクトルが実質的に想定したシーンのレギュラー画像を照明する非構造化照明または環境光のスペクトルと異なるように、色または色の組み合わせを選択することができる。構造化照明に関連するスペクトルは、想定した被写体のレギュラー画像に関連するスペクトルとは実質的に異なる。イメージセンサは、モザイクパターンに配置された少なくとも第１および第２カラー画素を含むカラーイメージセンサに対応し、構造化照明に関連するスペクトルは、実質的に第１または第２カラー画素のスペクトルに集中される。第１または第２画素のスペクトルは、実質的に構造化照明のスペクトルに対応し、所定のデジタル出力信号を読出しによって、空間解像度が低下した条件でも構造化照明画像をキャプチャすることができる。

【0042】

カプセルカメラの適用では、統合イメージセンサはカプセル形態のハウジング内に密封されて人間の胃腸を撮像する。胃腸には環境光がないため、カプセルカメラは、レギュラー画像のための構造化照明および通常照明を提供しなければならない。この場合、上記構造化照明画像の構造化照明光源およびレギュラー画像の照明光源両方がハウジング内に密封される。

【0043】

図６は、図５のシーケンス図に対応する他の観点を示す図である。その中の構造化照明画像およびレギュラー画像の画像の出力には、異なる充填パターンでハイライトされている。図６には、構造化照明画像に関連するタイミング信号が示され、ここで、ｓｌｉリセットが構造化照明画像のリセットに対応し、ｓｌｉ累積期間が構造化照明画像の加算期間に対応し、ｓｌｉ出力が構造化照明画像の出力に対応する。図６にも構造化照明の持続時間が示され、ここでは、構造化照明がｓｌｉ累積中に施される。構造化照明画像をキャプチャする全期間は、レギュラー画像をリセットするリセット期間内に発生することができる。図６の例に示すように、構造化照明画像のリセット期間は、レギュラー画像のリセット期間に比べて、はるかに短い。図６のタイミングチャートに示すように、構造化照明画像とレギュラー画像との連結画像をキャプチャするサイクルが示され、レギュラー画像のタイミングが変更されたことが示される。特に、レギュラー画像をキャプチャするためのリセット期間は、構造化照明画像のキャプチャを収めるために、実質的に低減される。したがって、本発明の実施形態の図６に示すシーケンスの組み合わせは、２つの別の画像または構造化照明画像とタイミングの修正されたレギュラー画像の組み合わせによるものと考えられる。

【0044】

さらに、上記実施例では、キャプチャされた構造化照明画像は、レギュラー画像に時間的に接近しているので、関連するレギュラー画像に対してより正確な深度、形状情報が提供される。他の実施例では、レギュラー画像を２つのサブ画像に分割しその間に構造化照明画像をキャプチャするツーセクションキャプチャが開示される。レギュラー画像のレギュラー累積時間は、２つのサブ画像の間に分割される。２つのサブ画像のデジタル出力が１つのレギュラー画像に合成されて出力される。この方法はいくつかの利点がある。まず、各サブ画像は、レギュラー画像用のＡＤＣを使用してデジタル出力に変換される。したがって、各サブ画像は、単一のセクションによるレギュラー画像のように、同じダイナミックレンジを有する。２つのサブ画像のデジタル出力を合成する場合、最終のレギュラー画像には依然フルダイナミックレンジが保持される。全累積時間を有する１つの画素は１２８にデジタル化されるアナログ信号が得られると仮定する。各セクションに対して半分の加算時間使用することにより、画素は半分のアナログ信号が得られることになるので、６４にデジタル化される。累積時間はトータル期間の重要な要素であるため、半分の累積時間は重要である。したがって、各セクションに累積時間の半分だけを使用するので、他の時間よりもトータル時間が短くなる。

【0045】

図７Ａは、本発明の実施例に係るツーセクション方法の例を示す図である。第１セクションにおいて、レギュラー画像がレギュラータイミングでキャプチャされる。第２セクションには、構造化照明画像とタイミングの修正されたレギュラー画像からなる混合画像がキャプチャされる。構造化照明画像は、２つのセクション出力の間にキャプチャされる。第１セクションの出力はイメージセンサ内部または外部のメモリやバッファに一時的に格納することができる。第２セクションの出力が完了すると、２つのセクションからの２つの出力値が合成される。構造化照明画像が１つのレギュラー画像の２つ分のサブ画像の間にキャプチャされるので、この構造化照明画像は、レギュラーシーン画像のキャプチャされた時間に非常に近接している。したがって、構造化照明画像は、レギュラー画像と密接に関連している。２つのセクションに関連する２つのサブ画像からの出力は、１つのレギュラー画像に合成される。１つの実施形態では、交替的なサブレギュラー画像と構造化照明画像のグループが連続的にキャプチャされる。例えば、奇数番がレギュラー画像であり、偶数番が構造化照明画像である。１番の画像および３番の画像の２つのサブ画像は、構造化照明画像である２番の画像に対応するようにレギュラー画像に合成することができる。同様に、３番の画像および５番の画像の２つのサブ画像は、構造化照明画像である４番の画像に対応するようにレギュラー画像に合成することができる。５番の画像および７番の画像は、構造化照明画像である６番の画像に対応するようにレギュラー画像に合成することができる。このプロセスは、持続してすべてのレギュラー画像のサブ画像に使用でき、一般に２回使用される。この場合、画像番号１、３、５、７... の重み係数は、... ５０/５０/５０/５０であってもよく、または６０/４０/６０/４０/６０であってもよい。２つの組み合わせの重み付きの原則は、１００％の目標累積時間になることである。

【0046】

図７Ａに示すように、２つのサブ画像の累積時間はほぼ同じである。しかし、これらの２つの累積時間が異なってもよい。例えば、図７Ｂに示すように、第１のサブ画像の累積時間を第２のサブ画像の累積時間の３倍（本発明では累積期間ともいう）にしてもよい。この場合、２つのサブ画像からのデジタル出力が合成されると、合成された画像は第１のサブ画像（すなわち３/４）と第２のサブ画像（１/４）の重み付け効果を有する。重み付けは各累積期間中の累積電荷に反映するので、異なる累積時間に対し重み付けを行う必要はない。累積が長ければ累積電荷が多くなり、アナログ信号が高くなる。したがって、２つのデジタル出力の合計は、２つのサブ画像の重み付けの合計を示し、重み係数は累積期間に対応する。

【0047】

構造化照明画像の別の応用では、１つ以上のレギュラー画像に関連する１つの構造化照明画像と比較して、複数の構造化照明画像を使用してより多くの３Ｄポイントを得ることができる。例えば、人体の胃腸（ＧＩ）を渡る際に、カプセルカメラによって複数の構造化照明画像を連続的にキャプチャすることができる。複数の構造化照明画像の間、前または後にレギュラー画像がキャプチャされる。キャプチャされた構造化照明画像を使用して、胃腸の３Ｄモデルを導出できる。この３Ｄ胃腸モデルは、関連する胃腸のレギュラー画像の検査に有用である。

【0048】

２つのセクションのレギュラー画像およびその間に構造化照明画像をキャプチャすることについては、上述のように構造化照明画像の撮像期間を短縮するためである。例えば、構造化照明画像は、第１のレギュラー画像および第２のレギュラー画像よりも低いダイナミックレンジでイメージセンサによってキャプチャされてもよい。また、構造化照明画像は、第１のレギュラー画像および第２のレギュラー画像よりも低い空間解像度でキャプチャされてもよい。さらに、構造化照明画像は、第１のレギュラー画像および第２のレギュラー画像よりも、垂直方向、水平方向または両方向が縮小された画像エリアでキャプチャされてもよい。

【0049】

場合によっては、選択された画像エリアの深度または形状情報のみが必要される。これらの場合、選択された画像エリアのみに対して構造化照明画像をキャプチャしてもよい。よって、構造化照明画像のフレーム期間を短縮する他の方法が提供される。レギュラー画像と比較して、縮小された画像エリアは垂直方向、水平方向、または両方向が縮小された画像エリアに対応することができる。この方法は、ダイナミックレンジを減少させる、または空間解像度を低下させるなどの他の方法と組み合わせて、構造化照明画像のフレーム期間を短縮することもできる。

【0050】

構造化照明画像のフレーム期間を短縮するために空間解像度を低減することも考えられる。例えば、イメージセンサの所定の画素列を残して、残りの画素列をスキップすることにより、より低い垂直解像度で構造化照明画像をキャプチャすることができる。

【0051】

カプセル内視鏡を含む内視鏡への適用の場面では、環境光がなく、内視鏡の照明が唯一の光源である。したがって、各列の露光の持続時間が同じであれば、列毎の累積時間は同じである必要はない。内視鏡の環境では、構造化照明画像がレギュラー画像よりも低いダイナミックレンジを有し、また、構造化照明画像とレギュラー画像との間の時間的の近接の利点が得られる。したがって、本発明によれば、構造化照明画像は、レギュラー画像に関連するより正確な深度または形状情報を保持する。

【0052】

エネルギーの消耗に対する要求に敏感なカプセル内視鏡やウェアラブルデバイスなどでは、小さいダイナミックレンジでエネルギーが節約され、少ない比較操作と短い累積時間により、構造化照明のエネルギーがより少なくて済む。一方、構造化照明画像は、ＳＮ比があまり重要ではないので、エネルギーをさらに節約するために、そのゲインを高く設定してもよい。

【0053】

カメラシステムは、通常、キャプチャされた画像の全体の強度を所定の範囲内で見るための正しいレベルに調節ようにイメージセンサの動作パラメータを制御する露出制御機能を有する。画像の強度は画素強度によって決められる。詳細な制御は、通常、カメラシステムの設計者の好みによるものである。例えば、画像の強度は、画像の中央部の画素の強度の平均値によって決められる。また、他の実施例では、画素の中央部の強度の平均値が画像の強度として使用される。また、他の実施例では、中央部の代わりに画像の複数のエリアの強度が使用される。強度が高すぎる場合、ゲインまたは累積時間を短縮させてもよい。強度が低すぎる場合、ゲインまたは累積時間を延長させてもよい。また、１つの画像から後続の画像への調整の量は、強度が所定の基準または範囲からのズレによって決められる。

【0054】

カメラシステムは、包囲光を増加するための照明を提供してもよい。通常の内視鏡またはカプセル内視鏡のようなカメラシステムには、唯一の照明光源のみを有してもよい。パイプラインの検査や深海探査に使用されるカメラにおいても、カメラの照明が唯一の照明光源である。このようなシステムでは、露出制御が、ゲイン、累積時間、照明強度、および/またはエネルギー、またはそれらの組み合わせを制御する。画像の強度が強すぎる場合、後続する１または１以上の画像に対して（ゲイン×累積時間×光エネルギー）の値を減少し、一方、画像の強度が弱すぎる場合、後続する１または１以上の画像に対して（ゲイン×加算時間×光エネルギー）の値を増加する。また、１つの画像から後続の画像への調整の量は、強度が所定の基準または範囲からのズレによって決められる。

【0055】

本発明の１つの実施形態によれば、単一イメージセンサを使用して構造化照明画像およびレギュラー画像をキャプチャする二重露光制御提供される。実施形態によれば、単一イメージセンサは、構造化照明画像用とレギュラー画像用の２つの露光制御回路を有する。レギュラー画像の照明が実質的にカメラシステムによる光源の制御に依存する場合（例えば、環境光が無視できるまたは存在しない場合）、両ケースはにおいてはシーンとの距離は実質的に同じなので、露光条件は構造化照明と通常照明とは類似している。したがって、１つの露出制御回路を使用し、他の露出制御を第１の露出制御回路に従う。例えば、構造化照明による（ゲインx加算時間x光エネルギー）を、通常照明による（ゲインx加算時間x光エネルギー）に線形的に依存させてもよく、その逆も同じである。 別の実施形態では、他の対応関係が使用される。 例えば、ガンマ型依存関係(gamma-type dependence)または強度分布依存関係を使用してもよい。

【0056】

環境光が存在する場合では、構造化照明画像の分析に用いられる構造化照明パターンを容易に識別するために、構造化照明は十分に強くなければならない。この場合、上記分析における光の強度は、環境光、またはカメラシステムの露出制御によって制御されるシーンに投射される１又は１以上の光が含まれる。この場合、環境光が十分であれば、レギュラー画像に対し、カメラで光の投射を制御する必要はない場合もある。しかし、構造化照明は、構造化照明画像におけるパターンおよび／または色を示すために、投射される構造化照明は十分な強度が必要という別の制限がある。構造化照明のスペクトルがイメージセンサの特定の色スペクトルに実質的に集中する場合、構造化照明画像の特定の色の強度および／または全体の強度を考慮しなければならない。１つの実施形態では、構造化照明光源が複数の色を生成できれば、レギュラー画像における各色成分の強度を考慮なければならない。レギュラー画像中の弱い色に対応する構造化照明光源の色を選択すれば、構造化照明の色が強調されるかまたは統計的に背景よりも高い信号比を有するので、分析がより簡単になる。

【0057】

図８は、本発明の実施例に係る混合された構造化照明画像とレギュラー画像をキャプチャするフローチャートを示す図である。ステップ８１０では、第１フレーム周期において、イメージセンサで第１構造化照明画像をキャプチャする。ステップ８２０では、第１フレーム期間よりも長い第２フレーム期間において、イメージセンサでレギュラー画像をキャプチャし、第１構造化照明画像はレギュラー画像の前または後にキャプチャされる。

【0058】

図９は、本発明の他の実施例に係る連結された構造化照明画像と構造化照明画像よりも高いダイナミックレンジを有するレギュラー画像をキャプチャするフローチャートを示す図である。ステップ９１０において、第１リセット信号を画像アレイに印加して画素アレイの画素列をリセットする。ステップ９２０において、イメージセンサの画素列を構造化照明に露出して画素列からの第１アナログ信号を形成する。ステップ９３０において、少なくとも１つのＡＤＣを用いて、イメージセンサの画素列からの第１アナログ信号を第１構造化照明画像の第１デジタル出力信号に変換する。ステップ９４０において、第２リセット信号を画像アレイに印加して前記画素アレイの画素列をリセットする。ステップ９５０において、イメージセンサの画素列を非構造化照明に露出して画素列から第２アナログ信号を発信させる。ステップ９６０において、少なくとも１つのＡＤＣを用いて、イメージセンサの画素列からの第２アナログ信号をレギュラー画像の第２デジタル出力信号に変換する。なお、ステップ９６０において、第１構造化照明画像はレギュラー画像の前または後にキャプチャされ、第１のダイナミックレンジは第２のダイナミックレンジより小さい。

【0059】

本発明は、精神及び重要特性を離脱しない範囲で特定の形式で実施することができる。上記実施例は本発明を説明するためのものであり、本発明を制限するためのものではない。本発明は、上記説明ではなく特許請求の範囲によって制限される。請求の範囲に均等するものはすべて本発明に含まれる。

【符号の説明】

【0060】

１１０：比較器
１４０：カウンタ
１５０：レジスタ
３１０：画素アレイ
３２０：出力回路
３３０：アナログ／デジタル変換器
３４０ａ、３４０ｂ：タイミング制御回路

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】