特表 2023-553792 撮像システム、腹腔鏡及び対象物を撮像するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-26

(54)【発明の名称】撮像システム、腹腔鏡及び対象物を撮像するための方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20231219BHJP

【ＦＩ】

A61B1/00 731

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2023528630

(86)(22)【出願日】2021-11-11

(85)【翻訳文提出日】2023-05-17

(86)【国際出願番号】 EP2021081374

(87)【国際公開番号】W WO2022101338

(87)【国際公開日】2022-05-19

(31)【優先権主張番号】20207498.5

(32)【優先日】2020-11-13

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】523176059

【氏名又は名称】ジョシ・イノベーションズ・ゲーエムベーハー

【氏名又は名称原語表記】ＪＯＳＨＩ ＩＮＮＯＶＡＴＩＯＮＳ ＧＭＢＨ

(74)【代理人】

【識別番号】110001508

【氏名又は名称】弁理士法人 津国

(72)【発明者】

【氏名】カリム，ファイサル

(72)【発明者】

【氏名】マンダール，スバモイ

(72)【発明者】

【氏名】ジョシ，シリス

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA24

4C161CC06

4C161DD01

4C161LL01

4C161LL08

4C161NN01

4C161PP07

4C161PP08

4C161PP11

(57)【要約】

光を伝達するように構成された光学チャネル（２）と、第１光路（１１）に沿って対象物（３）を撮像することによって第１画像データを生成するように構成された第１センサ（１０）と、第２光路（２１）に沿って前記対象物（３）を撮像することによって第２画像データを生成するように構成された第２センサ（２０）と、を含む撮像システム（１）が提供される。前記第１センサ（１０）と前記第２センサ（２０）とは、焦点がシフトされている。さらに、前記第１光路（１１）及び前記第２光路（２１）は、少なくとも一部が光学チャネル（２）を通ってガイドされる。

【特許請求の範囲】

【請求項1】

光を伝達するように構成された光学チャネル（２）と、
第１光路（１１）に沿って対象物（３）を撮像することによって第１画像データを生成するように構成された第１センサ（１０）と、
第２光路（２１）に沿って前記対象物（３）を撮像することによって第２画像データを生成するように構成された第２センサ（２０）と、を含み、
前記第１センサ（１０）と前記第２センサ（２０）とは、焦点がシフトされており、
前記第１光路（１１）及び前記第２光路（２１）は、少なくとも一部が光学チャネル（２）を通ってガイドされる、撮像システム（１）。

【請求項2】

前記第１光路（１１）及び前記第２光路（２１）は、異なる長さを有する請求項１に記載の撮像システム（１）。

【請求項3】

前記第１センサ（１０）及び前記第２センサ（２０）は、前記対象物（３）を同時に撮像するようにさらに構成される請求項１又は２に記載の撮像システム（１）。

【請求項4】

前記第１光路（１１）及び／又は前記第２光路（２１）に配置され、前記第１センサ（１０）及び／又は前記第２センサ（２０）の焦点を変化させるように構成されるフォーカスシステム（４）をさらに含む請求項１～３のいずれか１項に記載の撮像システム（１）。

【請求項5】

前記第１センサ（１０）及び／又は前記第２センサ（２０）の焦点が調整され得るように、前記フォーカスシステム（４）を制御するように構成されたフォーカス手段（１０４）をさらに含む請求項４に記載の撮像システム（１）。

【請求項6】

前記第１画像データ及び前記第２画像データは、前記対象物（３）の同一の領域を表す請求項１～５のいずれか１項に記載の撮像システム（１）。

【請求項7】

前記第１画像データ及び前記第２画像データに基づいて、前記対象物の深度情報を生成するように構成された制御ユニットをさらに含む請求項１～６のいずれか１項に記載の撮像システム（１）。

【請求項8】

前記制御ユニットは、前記第１画像データの少なくとも１つの第１パッチのエントロピーと、前記第２画像データの少なくとも１つの第２パッチのエントロピーとを比較することによって、前記深度情報を生成するようにさらに構成されており、前記第１画像データにおける前記少なくとも１つの第１パッチの位置は、前記第２画像データにおける前記少なくとも１つの第２パッチの位置と対応する請求項７に記載の撮像システム（１）。

【請求項9】

前記少なくとも１つの第１パッチは、前記少なくとも１つの第２パッチと同じサイズ、好ましくは、２０×２０ピクセルのサイズを有する請求項８に記載の撮像システム（１）。

【請求項10】

前記光学チャネル（２）は、前記第１センサ（１０）及び前記第２センサ（２０）の視野が可変であるように回転可能である請求項１～９のいずれか１項に記載の撮像システム（１）。

【請求項11】

前記第１センサ（１０）及び第２センサ（２０）が、互いに対して傾斜するように配置される請求項１～１０のいずれか１項に記載の撮像システム（１）。

【請求項12】

請求項１～１１のいずれか１項に記載の撮像システム（１）を含む腹腔鏡（１００）。

【請求項13】

第１センサ（１０）を用いて第１光路（１１）に沿って対象物を撮像することにより、前記対象物の第１画像データを生成することと、
第２センサ（２０）を用いて第２光路（２１）に沿って前記対象物を撮像することにより、前記対象物の第２画像データを生成することと、を含み、
前記第１センサ（１０）と前記第２センサ（２０）とは、焦点がシフトされ、
前記第１光路（１１）及び前記第２光路（２１）は、少なくとも一部が同一の光学チャネル（２）を通ってガイドされる、対象物を撮像するための方法。

【請求項14】

深度情報を生成するように、前記第１画像データと前記第２画像データとを互いに比較する工程をさらに含む請求項１３に記載の方法。

【請求項15】

前記第１画像データ及び前記第２画像データは、同時に生成される請求項１３又は１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム、腹腔鏡及び対象物を撮像するための方法に関する。

【背景技術】

【0002】

撮像システムは、撮像される対象物の画像を取得するために使用される場合がある。撮像システムは、しばしばビデオスコープ又はビデオプローブと呼ばれるビデオスコープとして使用される腹腔鏡又は内視鏡に設けられる場合がある。このような腹腔鏡には、腹腔鏡の対象物のためのイメージセンサが取り付けられ、検査中の対象物の画像を取得するように構成される。検査中の対象物は、体内の臓器、又は機械の内部など、アクセスが困難な別の種類の対象物であるかもしれない。したがって、腹腔鏡は、内部のスペースが少ないスリムな装置である。そのため、腹腔鏡の内部に、撮像される対象物の詳細な画像を取得するために使用され得る撮像システムを組み込むことが困難であった。

【0003】

欧州特許出願公開第１６９１６６７号明細書は、腹腔鏡と、腹腔鏡からの患者の患部の画像情報を変換して保存するように適合されたコンピュータと、画像情報を出力するために使用されるモニタと、を含む立体視腹腔鏡装置を開示する。腹腔鏡は、マニピュレータ及び一対の平行な左右の支持ロッドを含む支持ユニットと、所定の角度範囲内で互いに離間するように適合された左右一対のフレキシブルチューブを含むフレキシブルチューブユニットと、マニピュレータの操作により腹腔内の患部を撮影するようにフレキシブルチューブユニットの先端部に設置された左右一対のカメラを含む二眼カメラアッセンブリと、を備える。このような構成により、患者の患部の画像情報を立体視写真に加工することができ、精密な診断や腹腔鏡手術が可能となる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、立体視技術は、両眼視による立体視の方法によって、写真に奥行き（ｄｅｐｔｈ：深度）の錯覚を生じさせるだけの技術である。しかし、撮像の対象物を詳細に解析するためには、実際の深度情報を提供することが望まれる。

【0005】

したがって、本発明の実施形態の目的は、対象物の実際の深度情報の決定に使用可能な画像を取得できる撮像システム、腹腔鏡及び対象物を撮像するための方法を提供することにある。

【0006】

この目的は、請求項１の特徴を含む撮像システム、請求項１２の特徴を含む腹腔鏡、及び請求項１３の特徴を含む対象物を撮像するための方法によって解決される。

【課題を解決するための手段】

【0007】

本発明の一態様によれば、光を伝達するように構成された光学チャネルと、第１光路に沿って対象物を撮像することによって第１画像データを生成するように構成された第１センサと、第２光路に沿って対象物を撮像することによって第２画像データを生成するように構成された第２センサとを備え、第１センサと第２センサとは、焦点がシフトされており、第１光路及び第２光路は、少なくとも一部が光学チャネルを通ってガイドされる、撮像システムが提供される。

【0008】

撮像システムは、光学撮像システムであってもよく、第１センサ及び第２センサを用いて対象物の画像データを作成するようにしてもよい。すなわち、第１画像データ及び第２画像データは、同じ視野角から対象物の同じ部分を撮像してもよい。これは、第１及び第２画像データを素早く連続して又は同時に生成することができるデュアルセンサ撮像システムを提供することによって達成される。撮像データは、好ましくは、画像のシーケンス、例えば、ビデオストリームを含む。さらに、第１光路及び第２光路は、同じ光学チャネルを通ってガイドされるので、第１センサ及び第２センサの対象物が撮像される方向（すなわち、視野角）は同じである。この結果、追加の位置合わせや記録処理を実行することなく、第１画像データと第２画像データとが互いに完全に重なるように自動的に記録される。第１センサと第２センサとは、焦点がシフトされているので、第１画像データは、第２画像データと比較して、異なるフォーカスポイント（すなわち、画像データによって対象物が鮮明に描写される点）を有する。すなわち、第１センサは、光学チャネルの遠位端から第１距離ｄ１を有する点に焦点を合わせ、第２センサは、光学チャネルの遠位端から第２距離ｄ２を有する更なる点に焦点を合わせてもよい。第１距離ｄ１と第２距離ｄ２との差は、２つのセンサの焦点シフトとなり得る。焦点シフトは、撮像システムのハードウェアによって決定されてもよい。より詳細には、焦点シフトは、撮像システム内のセンサの配置によって及び／又は撮像システム内の光学系によって提供されてもよい。したがって、焦点距離及び／又は光路は、センサの特定の配置又は光学系によって、短縮又は延長され得る（以下により詳細に説明する）。

【0009】

撮影システムは、人体や動物の内臓に関する診断や治療に必然的な情報を提供するために使用される腹腔鏡の中に設けられてもよい。さらに、腹腔鏡は、大型機械のメンテナンスに使用することができ、例えば、アクセスが困難な歯車を交換する必要があるか否かを、機械全体を分解することなく確認することができる。撮像システムの複数のセンサは、各センサが独自の焦点を有するデュアルセンサを有するカメラヘッドが提供され得るように、腹腔鏡のカメラヘッド内に収容され得る。換言すれば、複数のセンサは、シャフト内にセンサが存在しないように、専らカメラヘッド内に収容され得る。したがって、シャフトをスリムにして、例えば、狭い空洞（cavity）でも問題なく操作することができるようにしてもよい。したがって、複数のセンサは、操作している間に、点検される空洞の外側にある場合がある。とりわけ、このことは、内視鏡の重量分布が、カメラヘッドと比べてシャフトが比較的に軽い重量を有するように有利に変更され得るという事実をもたらす。内視鏡は、ユーザ又はロボットによって、カメラヘッド又はその近傍に保持されるので、内視鏡の操作は、更に簡略化される可能性がある。すなわち、各センサは、これらのセンサが互いに対して焦点シフトされるような独自のフォーカスポイントを有していてもよい。例えば、各センサは、それ独自の焦点距離を有してもよい。すなわち、複数のセンサの焦点距離は異なっていてもよい。さらに、腹腔鏡は、カメラヘッドから突出し、撮像されるべき対象物の近傍にもたらされ得るシャフトを有してもよい。すなわち、シャフトは、例えば、少なくとも一部が人体内又は狭い空洞内に挿入されてもよく、シャフトが光学チャネルを含んでいてもよい。シャフトは、その近位端でカメラヘッドに接続されることがある。カメラヘッドは、シャフトから取り外すことができる。換言すれば、複数のセンサは、シャフトから分離することができる。したがって、シャフト自体を分解することなく、複数のセンサを容易に交換、変更、修理、メンテナンス等することができる場合がある。つまり、シャフトは、引き続き使用することができ、カメラヘッドのみを交換することができる。シャフトの遠位端は、撮像される対象物に面していてもよい。シャフトだけでなく、光学チャネルも、少なくとも部分的に可撓性を有するように構成されることがある。さらに、シャフトは、制御可能に移動可能であってもよい（例えば、シャフトの遠位端を方向転換させるように制御可能に曲げられる）。この結果、腹腔鏡は、それが使用されるべきあらゆる環境に適応することができ、他の対象物の背後に位置する領域まで到達することができる。シャフト内には、シャフトの屈曲とは無関係に、第１光路及び第２光路をシャフトの近位端からシャフトの遠位端に導くように構成された光学チャネルが（例えば、導波管の形態で）設けられることがある。さらに、シャフトの遠位端及び／又は近位端において、第１光路及び第２光路を導波管内及び導波管外に適切に導くために、光学デバイス（例えば、単一レンズ又は複数レンズのアレイ）が、それぞれに設けられる場合がある。

【0010】

第１センサ及び第２センサのシフトした焦点（例えば、各センサの異なる焦点距離）は、各センサの光路の少なくとも１つに、少なくとも１つの追加のレンズを設けることによって実現することができる。しかし、少なくとも１つの光路に、１つの追加のレンズのみが設けられてもよい。さらに、対象物からの光を複数のセンサに適切に導くために、更なる複数のレンズ、又は光学系が設けられてもよい。本発明の一実施形態による撮像システムを使用すれば、互いに完全に重なり合い、追加の記録処理を必要とせずに、更に直接に処理することができる第１及び第２画像データが得られる。例えば、それぞれが異なる焦点（例えば、フォーカルポイント）を有する完全に重なる画像は、対象物の深度情報を決定するために使用されてもよい（更なる詳細は後述する）。

【0011】

光学チャネルは、細長いボディであってもよい。さらに、光学チャネルは、中空であってもよいし、透明な材料で作られていてもよい。光学チャネルは、第１センサ及び第２センサに面する近位端と、撮像される対象物に面する遠位端とを有してもよい。遠位端は、撮像システムから突出していてもよく、第１光路及び第２光路の出口ポートであってもよい。したがって、第１光路及び第２光路は、第１センサの視野角と第２センサの視野角とが同じになるように、遠位端で互いに位置合わせされる。光学チャネルは、遠位端で光学チャネルを出る光路が発散して延び、好ましくは３０°～９０°、好ましくは５０°～７０°の延び角を有するように構成されてもよい（すなわち、光路は、より大きなシーンを捕らえるように光学チャネルを出ると円錐形になり得る）。例えば、光学チャネルは、光ファイバーで作られてもよい。さらに、光学チャネルは、光学チャネルが曲線を描く場合であっても光を導くことができるように、少なくとも部分的に撓むことができる。好ましくは、光学チャネルは、それが設けられる腹腔鏡のシャフトに応じて可撓性を有する。したがって、障害物の背後に位置する対象物は、シャフトを障害物の周りに経路選択することによって容易に撮像され得る。撮像システムは、１つの光学チャネルのみを有していてもよい。したがって、撮像システムは、撮像システムを操作するために必要なスペースが少なくて済むように、コンパクトにすることができる。一方、立体撮像システムは、固有のシステム条件により、２つ以上の光学チャネルを有する場合があり、したがって、操作のためにより多くのスペースを必要とする場合がある。

【0012】

第１及び第２センサは、イメージセンサ又はセンサチップとも呼ばれるフォトセンサであってもよく、好ましくは、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、相補型対称金属酸化膜半導体（ＣＯＳ－ＭＯＳ）センサとも呼ばれる。さらに、第１センサ及び第２センサは、電荷結合素子（ＣＣＤ）センサであってもよい。また、第１センサ及び第２センサは、同じ種類のセンサであってもよい。或いは、第１センサは、第２センサと比較して、異なるセンサであってもよい。異なる種類のセンサを設けることにより、異なる画質及び／又は異なる画像情報を取得することができる。例えば、低解像度の画像データは、対象物の大まかな情報を提供するために使用され、一方、高解像度の画像は、更なる処理において、詳細な情報のために使用されることがある。好ましくは、少なくとも１つのセンサの最小解像度は、１０８０×１９２０ピクセルである。好ましくは、各センサは、同じ解像度を有する。以下では、第１センサ及び第２センサと称するが、撮像システムは、２つ以上のセンサを備えていてもよく、各センサは、独自の光路を有している。すなわち、３つのセンサが設けられている場合、３つの光路も設けられているなどである。例えば、撮像システムは、３つ、４つ、５つ又はそれ以上のセンサを有することができる。この場合、各センサの各光路は、少なくとも一部が同じ光学チャネルを通ってガイドされる。より多くのセンサの使用は、撮像される対象物が大きな空間的広がりを有する場合、又は撮像される対象の非常に詳細な情報を取得する場合に、特に有用である。さらに、各センサは、センサ上に照射される光の量を制御するように構成された独自のシャッタを有することができる。この結果、シャッタースピードを調整することにより、センサーを異なる光条件に適応させることができる。或いは、センサーは、画像データの連続的なビデオストリームを取得することもできる。

【0013】

ＣＭＯＳセンサが使用される場合、画像データは、センサによって出力される電圧信号であろう。好ましくは、センサの各画素は、特定の電圧信号を有することができる。すなわち、ＣＭＯＳセンサは、デジタル信号を出力することができる。また、ＣＣＤセンサが用いられる場合、画像データは、電荷信号であってもよい。電圧信号は、電磁界によって劣化し難いので、撮像システムのセンサとして、ＣＭＯＳセンサが用いられることが好ましい。

【0014】

画像データは、複数のセンサの出力であってもよい。さらに、画像データは、１つ又は複数のカラーチャネルの輝度情報を含んでもよい。カラーチャネルは、特定の光スペクトルを表すことがある。例えば、画像データは、緑カラーチャネル、ＲＧＢカラーチャネル及び／又はＮＩＲ（近赤外線）カラーチャネルの情報を含んでもよい。ＲＧＢカラーチャネルは、緑カラーチャネル、赤カラーチャネル及び青カラーチャネルを含むと見なされる。さらに、各センサは、異なる色チャネルの情報を含む画像データを提供することができる。すなわち、第１センサは、緑カラーチャネルの情報を含む第１画像データを提供することができ、一方、第２センサは、ＮＩＲチャネルの情報を含む第２画像データを提供することができる。さらに、ＮＩＲ－ＮＩＲ、ＲＧＢ－ＲＧＢ、緑－緑、ＮＩＲ－ＲＧＢ、緑－ＮＩＲ、緑－ＲＧＢなど、各センサの異なるカラーチャネルの更なる組み合わせも可能である。ここで、各カラーチャネルは、異なる波長帯によって定義され得る。画像データの更なる処理のために、撮像システムは、処理ユニット（例えば、コンピュータ）に接続されるか又は接続可能であってもよく、又は制御ユニットを有していてもよい。制御ユニットは、画像データを更に処理するように構成されてもよい。例えば、制御ユニットは、画像データ内に含まれる情報、例えば、輝度分布を示すヒストグラムを決定してもよい。さらに、画像データは、対象物を描写した画像又は写真から構成されてもよい。悪い光条件に対処するために、撮像システムは、撮像される対象物を照らすように構成された光源を備えてもよい。より詳細には、光源は、光源の光を光学チャネル内又は光学チャネルと平行に撮像される対象物に導くように構成された、追加の導波器と結合されることがある。

【0015】

光路とは、光線が対象物から複数のセンサに至る経路のことである。すなわち、光は、撮像すべき対象物によって反射され、光路に導入され、光路にガイドされ、光路によって出力され、第１及び第２センサによって撮像され得る。光路は、それぞれのセンサで受光される光線によって規定されてもよい。換言すれば、光路の長さは、センサから撮像される対象物までの長さを測定することができる。さらに、各光路内には、対象物からの光線を各センサに適切に導くように構成された複数レンズ又は複数レンズのアレイが設けられることがある。さらに、撮像システムは、第１光路及び／又は第２光路を分割するように構成された少なくとも１つのプリズムを含むことができる。好ましくは、プリズムは、ビームスプリッタプリズムとして構成される。プリズムは、特定の波長をフィルタリングするように、すなわち、光の特定の波長のみを転送するように構成されていてもよい。したがって、センサに伝達される波長は、予め決定されることがある。例えば、緑カラーチャネルに対応する波長のみがプリズムによって伝達されることがある。さらに、プリズムは、一方の光路の長さを他方の光路に対して増大させることもできる。したがって、プリズムが複数のタスクを有することにより、撮像システムは、最小限のコンポーネントで実現され得る。さらに、撮像システムは、撮像システムの開口を制御するように構成された光路又は光学チャネルに少なくとも１つの開口を含むことができる。すなわち、絞りが広く開けば開くほど、画像の被写界深度は浅くなり、逆もまた然りである。一般に、絞りが大きく開いている場合、画像データは、より良い品質を有し、より多くの情報を含む。したがって、絞りは、最大開度となるように調整することが好ましい。この結果、深度のフィールドは、比較的狭くてもよい。さらに、撮像システムは、各光路に対して１つの絞りを有していてもよい。

【0016】

第１センサと第２センサとのシフトされた焦点は、各センサに異なる焦点距離を設けることによって提供されてもよい。第１センサ及び第２センサの焦点距離は、撮像システム内に設けられた光学レンズの主軸からそれぞれの光路に沿ったフォーカスポイントまでの距離であってもよい。光学レンズは、センサに画像を投影するように構成されてもよい。各センサは、別々のレンズに割り当てられていてもよい。すなわち、センサが２つある場合、撮像システムは、２つの光学レンズを有していてもよい。さらに、焦点距離は、撮像システムが光を収束又は発散させる強さを示す指標であってもよい。焦点距離が、正であれば光を収束させ、負であれば光を発散させることを示す。焦点距離が短いシステムは、光線をより鋭く曲げ、より短い距離で焦点を合わせ、より早く発散させる。例えば、第１センサーと第２センサーとの焦点距離の比は、０．１～１、好ましくは、０．３～０．７の範囲にあることができる。この範囲では、対象物の最良の撮像がアーカイブされ得る。換言すれば、上記の比率を有することで、第１センサのフォーカスポイントと第２のセンサのフォーカスポイントとの間の距離は、最適な範囲にある。より詳細には、第１画像データと第２画像データとが、互いに結合又は比較される場合、上記の比率は、完全に焦点から外れているために、対象物の情報が失われることがないことを保証する。換言すれば、焦点が合っている部分の間の距離が、過度に大きくならないようにするための比率である。

【0017】

本発明によれば、追加の記録処理なしに、互いに完全に記録される少なくとも２つの画像データが受信又は生成されることがある。すなわち、少なくとも２つのセンサによって生成された対象物の画像データは、同じサイズ、同じ位置を有し、同じ視点から撮像されることがある。したがって、対象物のいくつかの部分は、第１画像データ上で焦点が合っている可能性があり、対象物のいくつかの他の部分は、第２画像データ上で焦点が合っている可能性がある。さらに、対象物のある部分は、第１画像データ上で部分的に焦点が合っており、第２画像データ上で部分的に焦点が合っている場合がある。この結果、両方の画像データを互いに組み合わせたり、比較したりすることで、対象物の単一画像や対象物の立体画像と比較して、対象物のより多くの情報（例えば、より多くのディテール、深度情報など）を含む全体画像や全体データを生成することができる。画像データの前記組み合わせ又は比較は、両方の画像データが完全に重なるように互いに記録されているため、容易に行われる。すなわち、画像データが更に処理される前に、画像データを互いに記録する必要はない。換言すれば、第１画像データ及び第２画像データは、対象物の全く同じ部分（すなわち、シーン）を含むことができる。この結果、本発明は、完全に重なり合い、したがって、容易に処理することができる画像データを生成する非常に効率的な方法を提供する。好ましくは、複数のセンサの焦点シフトは、撮像システムによって事前に（すなわち、対象物の撮像の前に）決定される。すなわち、焦点シフトは、撮像システムのハードウェアによって設定され得る。

【0018】

好ましくは、第１光路と第２光路とは、異なる長さを有する。したがって、第１センサのフォーカスポイントは、第２センサのフォーカスポイントと比較して、異なる位置に配置される。好ましくは、少なくとも１つのセンサと光路の近位端との間の距離、及び／又は、複数のセンサ間の距離は、調整可能であってもよい。この結果、各センサの焦点距離は異なってもよく、すなわち、それぞれのセンサから、それぞれの画像データによってシャープに描写される対象物の点までの距離が異なってもよい。光路の異なる長さを設けることは、第１センサ及び第２センサの異なる焦点距離（すなわち、第１センサ及び第２センサの焦点シフト）を実現するための簡単且つ安定した方法である。例えば、複数のセンサは、光学チャネルの近位端から異なる距離を有していてもよい。すなわち、第１センサは、第２センサと比較して、光学チャネルの近位端から遠く離れた位置にあるように、撮像システム内に配置されてもよい。この結果、同じセンサ及び同じ画像設定（例えば、絞り、シャッター速度等）が使用され得る一方で、異なるフォーカスポイント（すなわち、第１センサ及び第２センサの焦点シフト）は、撮像システム内の複数のセンサの異なる位置により確保される。この結果、第１画像データ及び第２画像データを取得するために、同じ構成要素が使用され得る。したがって、撮像システムを簡素化し、製造コストを低減することができる。

【0019】

好ましくは、第１センサ及び第２センサは、対象物を同時に撮像するように更に構成される。すなわち、第１画像データ及び第２画像データは、同時に生成又は取得され得る。この結果、第１画像データが取得されたときと、第２画像データが取得されたときとの間に、対象物が移動したり形状が変化したりする可能性がないため、第１画像データ及び第２画像データの両方が互いに完全に記録される。すなわち、第１画像データと第２画像データとは、個々のフォーカスポイント（すなわち、焦点／ぼかし）のみで互いに異なる可能性がある。したがって、撮像システムは、撮像システム内に設けられた両方のセンサに使用される１つのシャッターのみを含むことができる。したがって、システムは、更に簡素化され得ると同時に、第１画像データ及び第２画像データの完全な重なり合いが保証される。

【0020】

好ましくは、システムは、第１光路及び／又は第２光路に配置され、第１センサ及び／又は第２センサの焦点を変化させるように構成されたフォーカスシステムを更に含む。したがって、少なくとも１つのセンサの焦点（例えば、フォーカスポイント又は焦点距離）を調整することができる。換言すれば、第１センサのフォーカスポイント及び／又は第２センサのフォーカスポイント間の距離が変更されてもよい。この結果、撮像システムは、異なる空間的拡張を有する異なる対象物に適合させることができる。さらに、撮像システムは、異なるアプリケーションに適合させることができる。例えば、画像処理システムが腹腔鏡検査中に使用される場合（すなわち、腹腔鏡と組み合わせて）、第１センサは、シャフトの遠位端から測定した６ｃｍの距離に焦点を合わせ、第２センサは、シャフトの遠位端から測定した９ｃｍの距離で焦点を合わせることができる。したがって、センサーの焦点シフトは３ｃｍである。焦点シフトは、特定の用途に応じて、正又は負であってもよい。このため、撮像システムは、複数の用途で使用されてもよく、複数の対象物が撮像システムを用いて撮像されてもよい。例えば、フォーカスシステムは、第１センサのフォーカスポイントと第２センサのフォーカスポイントとの間の上記の定義された比が得られるように、複数のセンサの少なくとも１つのフォーカスポイントを調整するように構成されてもよい。

【0021】

好ましくは、システムは、第１センサ及び／又は第２センサの焦点（例えば、焦点距離）が調整され得るように、フォーカスシステムを制御するように構成されたフォーカス手段を更に備える。フォーカス手段は、ユーザの手で把持されるように構成されたフォーカスリングであってもよい。したがって、フォーカス手段は、ユーザが把持できるように、撮像システムの外側（及び腹腔鏡の外側）に露出されてもよい。フォーカスリングの位置（すなわち、回転）は、撮像される対象物の複数のセンサからの距離に依存することがある。対象物までの距離が大きいほど、複数のセンサー上の対象物の少なくとも一部をシャープに描写するために、フォーカスリングを回転させる必要があり、逆もまた然りである。フォーカス手段は、ユーザの手の他の指が画像処理システム（すなわち、腹腔鏡）を保持する間に、ユーザの数本の指（例えば、２本の指）だけがそれに接触することができるような大きさにすることができる。この結果、撮像システムは、片手で操作可能であることが好ましい。すなわち、ユーザは、焦点調節や撮像システムの保持のために、撮像システムを両手で操作する必要がない。この結果、撮像システムは、操作性の向上を実現する。さらに、フォーカス手段は、制御ユニットによって自動的に操作されるようにしてもよい。より詳細には、画像データの取得前に、特定の用途に応じて各センサの焦点を調整するように、制御ユニットによってフォーカス手段が制御される場合がある。代替的に又は追加的に、フォーカス手段は、所定のステップ（すなわち、値を増加させる）で各センサの焦点距離を調節するように制御ユニットによって制御されることができる。各ステップにおいて、画像データは、第１センサ及び第２センサによって取得され得る。ステップサイズは、０．１ｍｍ～５ｍｍの範囲であってもよく、好ましくは、０．５ｍｍ～２ｍｍの範囲である。フォーカス手段は、内視鏡のカメラヘッドに設けられてもよい。したがって、シャフトには、フォーカス手段が設けられていない場合がある。これにより、シャフトの重量を低く抑えることができる。この結果、内視鏡全体の操作性を向上させることができる。さらに、内視鏡の操作時に、フォーカス手段を検査中の空洞（例えば、人体）の外側に配置することができる。したがって、フォーカス手段は、ユーザ又はロボットが容易にアクセスできるようにすることができる。

【0022】

好ましくは、第１画像データ及び第２画像データは、同一のシーン、例えば、対象物の全く同じ部分を表す。センサーの焦点（例えば、焦点距離）に応じて、及び／又は、使用される異なる種類のセンサーに応じて、第１画像データの視野は、第２画像データの視野よりも小さく、又はその逆もあり得る。第１画像データ及び第２画像データ内で対象物の同一の視野を提供するために、より大きな視野をカバーする画像データは、対象物の同一の視野を正確に含むように（例えば、画像データの一部、例えば、外縁を切り取ることによって）調整されることがある。この結果、両方の画像データは、容易な方法で比較可能又は結合可能であり得る。例えば、両方の画像データにおいて、画像データの端が基準点として使用されることがある。換言すれば、第１画像データによって表される対象物の部分と第２画像データとが正確に重なり合う。したがって、画像データの更なる処理は、更に改善され、簡略化され得る。

【0023】

好ましくは、撮像システムは、第１画像データ及び第２画像データに基づいて、対象物の深度情報を生成するように構成された制御ユニットを更に含む。換言すれば、撮像システムは、画像データを更に処理するための制御ユニットを含んでもよい。制御ユニットは、コンピュータに類似したデバイスであってもよく、入力データを受信し、入力データを処理し、処理されたデータを出力するように構成され得る。特に、対象物の２Ｄ座標を含む画像データ（例えば、複数の画像データ）が入力データであり、対象物の第３の座標（すなわち、深度情報又は３Ｄ形状情報）が出力データであってもよい。なお、深度情報の生成は、複数の画像データが利用され得る一例である。すなわち、制御ユニットは、対象物の深度マップ（例えば、３次元画像データ）を出力してもよい。具体的には、深度マップは、対象物の各点の空間的な位置、又は座標を記述する３つの座標をそれぞれ有する点の散布図であってもよい。すなわち、制御ユニットは、第１画像データ及び第２画像データに基づいて、深度マップを決定するように構成されてもよい。

【0024】

さらに、制御ユニットは、画像データを、パッチと呼ばれる１つ又はいくつかの（例えば、＞９）画素のセグメントに分割するように構成されてもよい。さらに、制御ユニットは、第１画像データのパッチと第２画像データのパッチとを比較するように構成されてもよい。パッチは、矩形パッチ又は二次曲線パッチであってもよい。特に、制御ユニットは、各パッチにおいて、対象物がどの程度シャープに描写されているかを判定する（すなわち、各パッチのシャープネスを判定する）ように構成されていてもよい。パッチは、複数のサイズを有することができる。すなわち、それぞれの画像データに設けられるパッチの大きさは、画像データによって描写される対象物に応じて、及び／又は、特定の適用（例えば、手術の種類）に応じて変化し得る。すなわち、多くのテクスチャが存在する領域では、パッチサイズは小さくてもよく（例えば、５×５ピクセル）、一方、画像データの画素強度がより均質である領域、すなわち、テクスチャが少ない領域では、ピクセルサイズは大きくてもよい（例えば、５０×５０又は最大１０００ピクセル）。例えば、画像データのうち、エッジが多く描写されている領域にテクスチャが多く存在する場合がある。したがって、テクスチャが多い領域では、この領域の高精度な情報を得るためにパッチサイズを小さくし（すなわち、解像度を高くし）、一方、テクスチャが少ない領域では、制御ユニットによって行われる処理を加速するために、パッチサイズを大きくするので、撮像システムは、高効率で動作し得る。

【0025】

好ましくは、第１画像データにおける少なくとも１つ又は各第１パッチの位置は、第１画像データにおける少なくとも１つ又は各第２パッチの位置に対応する。好ましくは、少なくとも１つの第１パッチは、少なくとも１つの第２パッチと同じサイズ、好ましくは、２０×２０ピクセルのサイズを有する。すなわち、第１パッチは、第１画像データ内で、第２画像データ内の第２パッチと同じ位置を有する。より詳細には、第１画像データと第２画像データとが互いに記録されている場合、第１パッチと第２パッチとは互いに重なり合う。したがって、各パッチについて、制御ユニットによって深度値（すなわち、Ｚ座標）が決定されてもよい（すなわち、各パッチについて３Ｄ空間におけるｘ、ｙ及びｚ座標が決定される）。パッチは、１画素又は数画素の大きさを有することができる。しかし、必要な計算資源は、画像データ内に含まれるパッチの数に依存する。したがって、好ましくは、各パッチは、２０×２０ピクセルの大きさを有することができる。このような大きさであれば、システムの効率が確保されるとともに、深度マップの精度が確保される。

【0026】

さらに、制御ユニットは、第１画像データの各パッチ及び第２画像データの各パッチのシャープネスを決定するように構成されてもよい。複数のパッチが同じシャープネスを有する場合があることに留意されたい。各パッチのシャープネスは、それぞれのパッチのエントロピーに比例する。換言すれば、シャープネスは、エントロピーと同義である。第１画像データのパッチを第１パッチとし、第２画像データのパッチを第２パッチとすることができる。第１パッチと第２パッチとは、互いに完全に重なり合っている（すなわち、同じシーン／対象物の一部を描写している）場合がある。換言すれば、第１パッチと第２パッチ（一対のパッチともいう）は、第１画像データ内及び第２画像データ内の同じ場所に位置していてもよい。上記で説明したように、第１センサの焦点距離と第２センサの焦点距離とは、予め設定されている場合がある。したがって、第１センサの焦点距離と第２センサの焦点距離とは既知である。下記の式（１）を用いて、制御ユニットは、第１パッチ及び第２パッチによって描写される対象物の部分の深度（すなわち、ｚ座標）を決定してもよい。

【0027】

【数1】

但し、ｄは、第１パッチ及び第２パッチに描写される対象物の部分の未知の距離（すなわち、深度又はｚ座標）、ｄ_１は、第１センサの焦点距離、Ｉ_１は、第１パッチのシャープネス、ｄ_２は、第２センサの焦点距離、Ｉ_２は、第２パッチのシャープネスである。

【0028】

上記の式（１）を用いて有用な深度情報を得るために、第１センサ及び第２センサの焦点距離、並びにパッチサイズを慎重に選択する必要がある。好ましくは、焦点距離は、実行される特定の適用（例えば、実行される特定の手術又は腹腔鏡検査）に依存する。例えば、第１センサの焦点距離は、シャフトの遠位端から測定して６ｃｍであってもよく、第２センサの焦点距離は、シャフトの遠位端から測定して９ｃｍであってもよい。第１センサの焦点距離は、手術の種類から決定される経験値であってもよい（例えば、腹腔鏡検査の場合、腹腔鏡の先端（すなわち、シャフトの遠位端）から測定して６ｃｍとすることができる）。

【0029】

画像のシャープネスは、特定のパッチの画像の情報密度（例えば、エントロピー）によって表されてもよい。制御ユニットは、第１画像データ及び第２画像データの各パッチの対（すなわち、各第１パッチ及び対応する各第２パッチ）に対して、上記の式１を適用するように構成されていてもよい。この結果、画像データのパッチの各対の深度値が、制御ユニットによって決定され得る。深度情報を有する制御ユニットは、深度情報と、パッチのそれぞれの対のｘ及びｙ座標とを用いて、深度マップを作成するように構成されてもよい。換言すれば、制御ユニットは、パッチのそれぞれの対のｘ、ｙ及びｚ3座標に基づい３Ｄモデルを作成するように構成されることがある。

【0030】

代替的又は追加的に、制御ユニットは、フォーカススタッキングの方法を使用して３Ｄモデルを作成するように構成されてもよい。深度マップを作成するために使用され得る更なる方法は、いわゆるフォーカス／デフォーカスからの深度である。さらに、制御ユニットは、少なくとも２つの２次元画像データ（すなわち、第１画像データ及び第２画像データ）に基づいて、深度情報（すなわち、３次元画像データ）を作成するために、上記の方法の１つ又は複数を実行するように構成されていてもよい。具体的には、制御ユニットは、深度マップを作成するための少なくとも２つの方法を組み合わせるように構成されてもよい。特に、画像データの他のパッチと比較して相対的に高いテクスチャを有する画像データのパッチに対して、上記の式１を適用してもよい。また、画像データの他の領域と比較して相対的に悪いテクスチャを有する画像データの他の領域に対して、シェイプフロムライトニング法を適用してもよい。この結果、画像データの異なる部分に異なる方法を適用することによって、深度マップ生成の性能が著しく改善される可能性がある。このため、本発明の少なくとも１つの実施形態は、２つのセンサによって得られた画像データの焦点の相対的な差異を３Ｄ形状情報に変換することができる。換言すれば、画像データ内の全てのパッチの３Ｄ座標は、各センサによって生成されたそれぞれのパッチ（すなわち、１つの画素又は画素の配列の）の焦点／ぼかしを比較することによって計算／決定することができる。任意選択で、制御ユニットは、得られた深度マップをフィルタリングすることによって、深度マップを更に処理するように構成されてもよい。より詳細には、誤った深度情報を削除するために、制御ユニットは、互いに隣接する深度マップの深度情報を比較するように構成されてもよい。万が一、ある深度が隣接する深度に比べて過度に高い又は低い（すなわち、前段階の閾値を超える）場合、この深度情報が誤りである可能性が高いため、制御ユニットは、そのような深度情報を削除するように構成されてもよい。この結果、制御ユニットによって出力される深度マップは、精度が向上する可能性がある。

【0031】

好ましくは、制御ユニットは、第１画像データの少なくとも１つの第１パッチのエントロピーと、第２画像データの少なくとも１つの第２パッチのエントロピーとを比較することによって、深度情報を生成するように更に構成されている。画像のシャープネスは、エントロピーと同義語である。エントロピーは、画像データ内に含まれる情報（すなわち、画像データのパッチのシャープネスを示す指標）の一例である。

【0032】

すなわち、第１画像データと第２画像データとは、そのエントロピーに基づいて互いに比較され得る。したがって、制御ユニットは、第１画像データのエントロピーと、第２画像データのエントロピーとを決定するように構成されてもよい。具体的には、エントロピーが高いほど、それぞれの画像データに焦点が合っていることを意味する。したがって、エントロピーが低いほど、それぞれの画像データに焦点が合っていない（すなわち、暈けている）ことになる。なお、エントロピーは、下記の式（２）で求めることができる。

【0033】

【数2】

但し、ｋは、１つのチャネル又はバンド（例えば、観察対象のグレーチャネル又はグリーンチャネル）のレベル数であり、ｐｋは、グレーレベルｋに関連する確率である。さらに、バンドとして、ＲＧＢチャネル及び／又はＮＩＲチャネルを使用することができる。また、対象物の特定部分の深さを判定するための上記の式（１）で用いたシャープネスＩ_１及びＩ_２は、それぞれエントロピーで代用することができる。すなわち、上記の式（２）を用いて、第１パッチについてエントロピーＨ_１が決定され、第２パッチについて（さらに各パッチの対について）エントロピーＨ_２が決定される。そして、Ｈ_１及びＨ_２は、第１パッチ及び第２パッチに描写された対象物の特定部分の深度を決定するための式（１）におけるＩ_１及びＩ_２の代わりに使用される。すなわち、エントロピーは、シャープネスと同義である。

【0034】

以下、深度推定精度を向上させるための３つのオプション機能の概要を説明する。

【0035】

好ましくは、制御ユニットは、少なくとも１つのセンサの焦点の調整を監視するように構成されてもよい。例えば、制御ユニットは、フォーカス手段の操作を検出することができる。焦点は、人間のユーザによって、及び／又は、撮像システムを操作するロボットによって調整されてもよい。すなわち、センサの少なくとも１つの焦点が調整される場合、制御ユニットは、その調整量を監視してもよい。換言すれば、制御ユニットは、各センサの焦点のシフト（すなわち、距離）を検出してもよい。また、制御ユニットは、画像データに基づいて、画像データのどの部分がシャープに描写されているかを検出してもよい（例えば、エッジ検出を用いて）。さらに、制御ユニットは、対象物のシャープに描写された部分が、例えば、内視鏡の先端からどの程度の距離にあるかを知見してもよい。画像データ内の焦点の位置と、画像データのどの部分がシャープに描写されているかという知識を組み合わせることによって、制御ユニットは、深度推定を向上させることができる。すなわち、制御ユニットは、現時点で画像データのどの部分がシャープに描写されているか、各センサの焦点位置はどこにあるかという情報を得ることができる。その結果、制御ユニットは、画像データのシャープに描写された部分の深度を決定してもよい。また、監視は、リアルタイムで行われてもよい。したがって、深度推定の継続的な改善が可能である。焦点調整の監視は、光学的エンコーダ、電気的測定、及び／又は、他の機械的センサを設けることによって実現され得る。上記の手段の少なくとも１つを用いることで、焦点調整を効率的に測定することができる。また、これらの測定手段を組み合わせて使用することにより、測定精度を向上させることができる。

【0036】

好ましくは、制御ユニットは、撮像システムの動作を監視するように構成されてもよい。すなわち、制御ユニットによって撮像システムの空間的な位置が監視されてもよい。例えば、撮像システムが内視鏡に設けられている場合、制御ユニットは、内視鏡の空間的な位置を検出してもよい。好ましくは、位置がリアルタイムで検出される。そして、この情報は、深度推定精度を向上させるために利用されてもよい。空間的な位置は、光学トラッカー、電磁トラッカー、及び／又は、アクチュエータの監視によって検出され得る。アクチュエータは、ロボットによって撮像システムを操作するために使用され得る。すなわち、ロボットが、撮像システムを操作する際に撮像システムを移動させる場合、制御ユニットは、そのような移動を検出し、この結果、撮像システムの現在の空間的な位置を決定することができるであろう。さらに、撮像システムは、加速度センサ及び／又は回転センサを含むことができる。したがって、撮像システムの動きは、正確に監視され得る。撮像システムの既知の空間的な位置と、画像データのどの部分が鮮明に描かれているかという情報（上記の概要を参照）とに基づいて、深度推定精度を更に向上させることができる。

【0037】

好ましくは、制御ユニットは、画像データ内の既知の対象物の大きさを用いて、深度情報を推定するように構成されてもよい。すなわち、制御ユニットは、既知の対象物の寸法を知見することによって、（例えば、内視鏡の先端側からの）既知の対象物までの距離を決定するように構成されていてもよい。対象物は、検査中の空洞内に存在するマーキングであってもよい。さらに、マーキングは、検査中（例えば、手術中）に追加的に使用される器具に設けられることもある。さらに、対象物は、器具そのものであってもよいし、検査対象の空洞内に存在する他の対象物であってもよい。したがって、深度推定精度を向上させるために、光学的な較正が実行される場合がある。

【0038】

深度推定精度を向上させることは、深度推定の誤った結果を減少させるために有用であり得る。深度推定が、第１画像データ及び第２画像データの一部のコントラストに基づいて行われる場合があることに起因して、誤った結果が生じる場合がある（上記の概要を参照）。先に定義された３つの特徴は、例えば、深度推定が正しいか否かをチェックするために使用され得る。後者の特徴は、光学的な較正を実行するために必要な追加の構造的な手段が存在しないため、有利であり得る。換言すれば、光学的な較正は、追加のセンサなどを必要とすることなく、制御ユニットによって実行され得る。しかしながら、深度推定精度を向上させるために、上記の特徴のうちの２つ又は３つ全てが実行されてもよい。さらに、上記のように得られた情報は、撮像システム（例えば、撮像システムを構成する内視鏡）の歪みを補償するためにも使用され得る。上記の特徴の少なくとも１つは、コンピュータビジョンの技術を用いて実施することができる。コンピュータビジョンは、コンピュータがデジタル画像又は動画から高レベルの理解を得る方法を扱う学際的な科学分野であると考えられる。工学の観点から、人間の視覚系が行うことができるタスクを理解し、自動化することを求めることができる。コンピュータビジョンの課題には、デジタル画像の取得、処理、分析、理解、及び数値や記号情報を生成するための現実世界からの高次元データの抽出方法（例えば、意思決定の形式）が含まれる。この文脈での理解とは、視覚的なイメージ（画像データ）を、思考プロセスに意味を持たせ、適切な行動を引き出すことができる世界の記述に変換することを意味する場合がある。この画像理解は、幾何学、物理学、統計学、学習理論の助けを借りて構築されたモデルを用いて、画像データから記号情報を切り離すことと見なすことができる。

【0039】

好ましくは、光学チャネルは、第１センサ及び第２センサの視野が可変であるように回転可能である。特に、光学チャネルの遠位端部のみが回転するように構成されてもよい。すなわち、光学チャネルは、一部のみ回転させることができる。センサは、光学チャネルの回転に対して固定されていてもよい。或いは、光学チャネルの遠位端に設けられた光学デバイス（例えば、単一レンズ又は複数レンズのアレイ）は、回転されることによって視野を変化させるように構成されていてもよい。したがって、光学チャネルの近位端は、撮像システム内に固定的に保持され、遠位端は、撮像される対象物に向けられるように回転されることがある。光学チャネルの回転可能な部分は、撮像システムから突出することができる。光学チャネルは、光学チャネルが湾曲することなく真っ直ぐに延びる初期位置を有することができる。さらに、光学チャネルは、初期位置において、光学チャネルの軸を中心に回転してもよい。具体的には、光学チャネルは、初期位置における光路の軸に対して約２０°～４０°、好ましくは、約３０°傾斜しているように構成されていてもよい。さらに、光路は、光路が光学チャネルを出た後、円錐形状を有していてもよい。前述の円錐は、光学チャネルの少なくとも一部を中心軸で回転させることにより傾斜させることができる。具体的には、回転されることによって、光路は、光学チャネルの中心軸に対して３０°だけ偏位することができる。さらに、光学チャネルの少なくとも遠位端は、複数のセンサに対して移動可能であってもよい。その結果、撮像システムは、狭い空間や空洞であっても、複数の用途で使用することができる。すなわち、第１及び第２画像データを取得するために、光学チャネルの一部のみが、撮像される対象物に向けられることがある。したがって、アクセスが困難な対象物であっても、撮像システムによって撮像される可能性がある。さらに、光学チャネルの軸を中心に視野を回転させることができ、光学チャネルの軸に対して視野を傾斜させることができることにより、検査対象の空洞の全周囲を見渡すことができる。例えば、撮像システムを構成する内視鏡は、空洞の全体像を把握するために空洞内で移動させる必要がない。

【0040】

好ましくは、第１センサと第２センサは、互いに対して傾斜するように配置される。すなわち、センサの少なくとも２つは、互いに対して傾斜している。例えば、複数のセンサは、これらの高感度表面が互いに傾斜している場合に、互いに対して傾斜している。傾斜は、センサが互いに同一平面上にある構成と比較して、撮像システムがよりコンパクトになり得るという効果を提供する。好ましくは、複数のセンサは、検査対象の空洞に挿入されるように構成されたシャフト要素とは別個のカメラヘッドに収容される。したがって、カメラヘッドは、複数のセンサを傾斜して配置することにより、コンパクトな寸法を有することができる。すなわち、コンパクトなカメラヘッドを確保するために、シャフトの方向に沿ったカメラヘッドの延長が制限される場合がある。特に、複数のセンサーは、互いに対して実質的に９０°傾斜していることがある。実質的に９０°とは、複数のセンサの間に９０°プラスマイナス１０°の角度を形成する、複数のセンサの配置を意味する場合がある。したがって、許容されるレベルの公差を考慮して、撮像システムを効率的に製造することができる。

【0041】

好ましくは、第１センサ及び第２センサは、第１画像データ及び第２画像データを生成するために、ＲＧＢ光スペクトル、緑光スペクトル及び／又はＮＩＲ光スペクトルを使用するように構成される。したがって、特定の用途に応じて、所定の条件下で多くの情報を含む光スペクトルが使用され得る。具体的には、緑光スペクトルは、比較的悪い光条件下で多くの情報を有する。一方、ＮＩＲ光スペクトルは、ほぼ暗い光条件下で多くの情報を提供する。この結果、異なる光条件下での画像データによって、形状や情報を容易に認識又は判断することができる。さらに、第１センサと第２センサとは、異なる光スペクトル／チャネルを使用することができる。例えば、第１センサは、緑のスペクトルを使用し、第２センサは、ＮＩＲのスペクトルを使用することができる。この結果、光条件が変化しても、深度情報を決定することができる。

【0042】

本発明の更なる態様によれば、上記の撮像システムを備える腹腔鏡が提供される。すなわち、腹腔鏡は、上記の撮像システムを構成するカメラヘッドを含む内視鏡であってもよい。撮像システムを収容するカメラヘッドは、カメラアダプタを介して腹腔鏡に接続されてもよい。フォーカスリングは、カメラヘッドと腹腔鏡のテレスコープとを橋渡しするように、腹腔鏡のカメラアダプタに配置されることができる。テレスコープは、腹腔鏡のシャフトであってもよい。光学チャネルは、シャフト内に配置されることがある。さらに、シャフトは、光学チャネルが腹腔鏡（例えば、テレスコープ）の遠位端で回転できるようにフレキシブルであってもよいし、腹腔鏡の遠位端から突出してもよい。さらに、腹腔鏡は、光源を含んでいてもよい。光源は、光学チャネルの遠位端が向けられる領域を照らすように調整可能であってもよい。したがって、光の状態が悪い場合でも、第１び第２画像データを適切に生成することができる。光源は、好ましくは、ＬＥＤ光源であってもよい。この結果、１つのカメラヘッドを用いて少なくとも２つの焦点シフトされた画像データを取得することができる腹腔鏡が提供され得る。この結果、腹腔鏡は、高度に統合された設計を有することができ、広い分野の用途に使用することができる。腹腔鏡は、ロボットによって操作されるように構成されてもよい。すなわち、腹腔鏡は、ロボットから操作コマンドを受信し、ロボットに情報（例えば、画像データ）を送信するように構成されたインタフェースを有していてもよい。したがって、腹腔鏡は、少なくとも部分的に自動化された手術環境において使用することができる。

【0043】

本発明の更なる態様によれば、対象物を撮像する方法が提供され、この方法は、第１センサを用いて第１光路に沿って対象物を撮像することによって対象物の第１画像データを生成することと、第２センサを用いて第２光路に沿って対象物を撮像することによって対象物の第２画像データを生成することと、を含み、第１センサ及び第２センサは、焦点シフトされており、第１光路及び第２光路は、少なくとも一部が同じ光学チャネルを介してガイドされる。

【0044】

好ましくは、この方法は、第１画像データ及び第２画像データをパッチに分割することをさらに含み、第１画像データのパッチ及び第２画像データのパッチは、互いに対応する。換言すれば、第１画像データのパッチは、第２画像データの対応するパッチと全く同じ領域をカバーする。第１画像データの対応するパッチと、第２画像データの対応するパッチとは、一対のパッチと見なすことができる。

【0045】

好ましくは、本方法は、深度情報を生成するように、第１画像データ及び第２画像データを互いに比較すること、をさらに含む。

【0046】

好ましくは、複数の画像は、少なくとも一対のパッチを比較することによって、互いに比較される。

【0047】

好ましくは、第１画像データと第２画像データとは、同時に生成される。

【0048】

装置に関連して説明された利点及び特徴は、方法にも適用可能であり、その逆もまた然りである。明示的に説明されていない場合、個々の実施形態又はその個々の側面及び特徴は、そのような組み合わせ又は交換が有意義であり、本発明の意味においてであればいつでも、説明した本発明の範囲を限定又は拡大することなく、互いに組み合わせ又は交換することができる。本発明の一態様に関して記載されている利点は、適用可能な限り、本発明の他の態様の利点でもある。

【図面の簡単な説明】

【0049】

【図1】図１は、本発明の実施形態による撮像システムの概略図である。

【図2】図２は、本発明の実施形態による撮像システムの概略図である。

【図3】図３は、本発明の実施形態による撮像システムの一部を示す概略図である。

【図4】図４は、本発明の実施形態による腹腔鏡の斜視図である。

【発明を実施するための形態】

【0050】

次に、本発明の有用な実施形態について、添付の図面を参照しながら説明する。同様の要素又は特徴は、図面において同じ参照符号で指し示されている。

【0051】

図１は、本発明の実施形態に係る撮像システム１を模式的に示す図である。なお、図１には、ｘ軸、ｙ軸、ｚ軸を有する座標系が描かれている。撮像システム１は、対象物３を撮像するように構成されている。撮像システム１は、第１画像データ及び第２画像データを生成するように構成された第１センサ１０及び第２センサ２０を含む。さらに、第１センサ１０及び第２センサ２０は、焦点シフトされる。本実施形態では、両センサ１０、２０は、ＣＭＯＳセンサである。画像データは、ｘ－ｙ平面における空間情報（すなわち、２次元情報）を含む。したがって、撮像システム１は、第１センサ１０と対象物３との間に延びる第１光路１１と、第２センサ２０と対象物３との間に延びる第２光路２１とを含む。さらに、撮像システム１は、対象物３に面する遠位端５と、第１センサ１０及び第２センサ２０に面する近位端６とを有する光学チャネル２を含む。光学チャネル２は、その中心軸Ｃに沿って延びる細長い透明体であり、本実施形態では、中心軸Ｃはｚ軸に沿って延びている。第１及び第２光路１１、２１は、それぞれ第１及び第２センサ１０、２０から、撮像システム１内に設けられたビームスプリッタプリズム７まで延びている。ビームスプリッタプリズム７において、第１光路１１と第２光路２１は、ビームスプリッタプリズム７によって合流／分割され、さらに光学チャネル２の近位端６まで延びる。すなわち、ビームスプリッタプリズム７は、センサ１０、２０と光学チャネル２との間の光路１１、２１に設けられている。そして、第１及び第２光路は、光学レンズ（図示せず）によって導かれる。別の実施形態では、各光路は、それぞれ光学レンズを有する。その後、第１及び第２光路１１、２１ は、いずれも光学チャネル２を通して導かれる。光チャネルの遠位端５からは、両方の光路が同じように対象物３に向かって導かれる。この結果、第１センサ１０及び第２センサ２０は、同じ視点を有する（すなわち、同じ視野を有する）対象物の同じ部分を撮像し得る。さらに、撮像システム１は、第１センサ１０及び第２センサ２０の焦点（例えば、焦点距離）を調整するように構成されたフォーカスシステム４を含む。本実施形態では、フォーカス系はレンズ配置であり、光学チャネル２内に設けられている。すなわち、フォーカスシステム４は、両センサ１０、２０の焦点を同時に調整することができるように配置されている。すなわち、光学チャネルは、フォーカスシステム４が設けられる２つの部分の間に作られてもよい。図示していない更なる実施形態では、各センサのフォーカスを個別に調整することができるような、各センサ用のフォーカスシステムが設けられる。本実施形態では、２つのセンサ１０、２０のフォーカスは、第１及び第２画像データの取得に先立って設定される。

【0052】

さらに、第１センサ１０と第２センサ２０とは、焦点シフトされるように撮像システム１内に配置されている。すなわち、第１センサ１０は、第２センサ２０と比較して、異なるフォーカス（すなわち、異なるフォーカス距離）を有する。換言すれば、第１センサ１０のフォーカスポイントは、第２センサ２０のフォーカスポイントと比較して、異なる位置に配置されている。本実施形態では、第２光路２１に追加のレンズ８を設けることで、シフトされた焦点を実現する。すなわち、第１光路と第２光路を導くために使用され得る光学系（図示せず）に加えて、追加のレンズ８が設けられる。その結果、対象物３の同じ部分を、第１センサ１０と第２センサ２０の両方でシャープに撮像することはできない。図１に描写された実施形態では、対象物３の第１部分３１は、第１センサ１０によってシャープな態様で撮像されるが、第２センサ２０によって撮像される第１部分３１は暈ける（すなわち、シャープな態様で描写されない）。

【0053】

図２は、本発明の実施形態に係る撮像システム１を模式的に示す図である。図２に描写された撮像システム１は、図１に描写された撮像システム１と同じである。図１に対する違いは、ｚ軸に沿った異なる位置にある対象物３の第２部分３２が描写されていることである。さらに、第２部分３２は、第２センサ２０によってシャープな態様で撮像され、一方、第２部分３２は、第１センサ１０によって暈けた態様で撮像される。なお、図に描写されている第１部分３１及び第２部分３２は、説明の簡略化のために図面では省略されている対象物３の部分である。すなわち、撮像される対象物３の一部は、第１センサ１０でシャープとなり、撮像される対象物３の別の一部は、第２センサ２０でシャープとなる。この結果、両センサの像軸（第１光路１１及び第２光路２１）が少なくとも一部同一でありながら、センサが焦点シフトしているデュアルセンサ光学撮像システムが提供される。したがって、完全に記録された画像データを取得することができる。しかしながら、図面に描写されていない更なる実施形態によれば、撮像システムは、上記の実施形態の２つのセンサと同様の方法で構成及び配置された２つ以上のセンサをそれぞれ含む。

【0054】

さらに、撮像システム１は、第１画像データ及び第２画像データを複数のパッチに分割するように構成された制御ユニットを含む。本実施形態では、各パッチは、２０×２０画素の大きさを有している。さらに、制御ユニットは、各パッチの画像情報（すなわち、エントロピー）を決定する。すなわち、第１画像データは、第２画像データと同じパッチで分割される。この結果、パッチの対が決定される場合がある。パッチの対は、第１画像データの第１パッチと、これに対応する第２画像データの第２パッチとで構成されてもよい。次に、各パッチのエントロピーと、第１センサ１０及び第２センサ２０の既知の焦点距離とを用いて、パッチのそれぞれの対の深さ（すなわち、ｚ座標）が決定される。これは、パッチの各対について行われる。

【0055】

いくつかの実施形態では、フォーカスシステム４は、センサ１０、２０のフォーカスポイントを所定の増分でシフトするように操作される。いくつかの実施形態では、フォーカスシステム４は、制御ユニットによって自動的に制御及び操作される。別の実施形態では、フォーカスシステム４は、フォーカス手段（例えば、フォーカスリング）１０４（図３を参照）を介して、ユーザによって手動で操作され得る。各増分において、画像データは、第１センサ１０及び第２センサ２０によって生成される。画像データは、第１センサ１０及び第２センサ２０によって同時に又は連続的に生成され得る。本実施形態では、制御ユニットは、以下の式（１）を用いてパッチの各対の深度を決定する。

【0056】

【数3】

但し、ｄは、第１パッチ及び第２パッチに描写される対象物の部分の未知の距離（すなわち、深度又はｚ座標）、ｄ_１は、第１センサの焦点距離、Ｉ_１は、第１パッチのシャープネス、ｄ_２は、第２センサの焦点距離、Ｉ_２は、第２パッチのシャープネスであ

【0057】

アルゴリズムが機能するためには、第１センサ１０及び第２センサ２０の焦点距離と、パッチサイズの選択との慎重な選択が必要であるため、これらの要素は、画像化される対象物の特定の構成に応じて慎重に選択されるべきであることに注意されたい。各センサ１０、２０の焦点距離は既知である。したがって、各パッチの深度情報は、上記の式（１）を用いて決定することができる。

【0058】

図３には、本発明の実施形態に係る撮像システム１の一部が描写されている。具体的には、図３では、２組の模式図が描かれている。各図面において、光学チャネル２が模式的に描写されている。さらに、第１及び第２光路１１、２１が概略的に描写されている（すなわち、第１光路１１と第２光路２１とが重なっている）。光路は、円錐形状を有する光学チャネルの遠位端６から延びる（すなわち、発散して走る）。本実施形態では、円錐形状は、６０°の鋭角αを有する。したがって、本実施形態の光学チャネル２は、その遠位端に、６０°の発散角を有するように、第１光路１１及び第２光路２１を発散するように構成されるレンズを含む。

【0059】

図３の第１段目では、光学チャネル２が初期位置に描写されている。図３の第２段目では、光学チャネルは、光路１１、２１を異なる方向に向けるように、少なくとも部分的に回転される。特に、本実施形態によれば、光学チャネル２は、少なくとも部分的にｚ軸を中心に回転可能である。したがって、第１及び第２光路１１、２１は、ｚ軸を中心に回転させることができる。本実施形態では、光路は、光路の中心軸Ｄがｚ軸に対して３０°の角度を有するように傾斜している（図３における第２段目の図面を参照）。第２行目の左側の図面は、光路１１、２１を光学チャネル２の下側に向かわせた状態を示し、一方、第２行目の右側の図面は、光路１１、２１を光学チャネル２の上側に向かわせた状態を示す。すなわち、光路１１、２１ は、ｚ軸の全周にわたって回転させることができる。

【0060】

図４では、本発明の実施形態による腹腔鏡１００が描かれている。腹腔鏡１００は、ハウジング１０２内に撮像システム１を含む。腹腔鏡は、遠位端１０３を有するシャフト１０１を有する。光学チャネル２は、腹腔鏡１００のシャフト１０１内に設けられている。さらに、腹腔鏡１００は、腹腔鏡の遠位端１０３から第１光路１１及び第２光路１２に沿って対象物３に向かって光を照射するように構成された光源（図示せず）を含む。

【0061】

上述の議論は、本システムを単に例示することを意図しており、添付の特許請求の範囲を特定の実施形態又は実施形態群に限定するものとして解釈されるべきではない。したがって、本システムは、例示的な実施形態を参照して特に詳細に説明されたが、多数の修正及び代替の実施形態が、後続の特許請求の範囲に規定される本システムのより広い、意図された精神及び範囲から逸脱することなく、当業者によって考案され得ることも理解されるべきである。したがって、明細書及び図面は、例示として見なされるべきであり、添付の特許請求の範囲を限定することを意図していない。

【符号の説明】

【0062】

１ 撮像システム
２ 光学チャネル
３ 対象物
４ フォーカスシステム
５ 光学チャネルの遠位端
６ 光学チャネルの近位端
７ ビームスプリッタプリズム
８ レンズ
１０ 第１センサ
１１ 第１光路
２０ 第２センサ
２１ 第２光路
３１ 対象物の第１部分
３２ 対象物の第２部分
１００ 腹腔鏡
１０１ シャフト
１０２ ハウジング
１０３ 腹腔鏡の遠位端
１０４ フォーカス手段
α 光路の角度
Ｃ 光学チャネルの軸
Ｄ 光路の軸
ｘ ｘ軸
ｙ ｙ軸
ｚ ｚ軸

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2022-05-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

光を伝達するように構成された光学チャネル（２）と、
第１光路（１１）に沿って対象物（３）を撮像することによって第１画像データを生成するように構成された第１センサ（１０）と、
第２光路（２１）に沿って前記対象物（３）を撮像することによって第２画像データを生成するように構成された第２センサ（２０）と、を含み、
前記第１センサ（１０）と前記第２センサ（２０）とは、焦点がシフトされており、
前記第１光路（１１）及び前記第２光路（２１）は、少なくとも一部が光学チャネル（２）を通ってガイドされ、
前記第１センサ（１０）及び第２センサ（２０）が、互いに対して傾斜するように配置される、撮像システム（１）。

【請求項2】

前記第１光路（１１）及び前記第２光路（２１）は、異なる長さを有する請求項１に記載の撮像システム（１）。

【請求項3】

前記第１センサ（１０）及び前記第２センサ（２０）は、前記対象物（３）を同時に撮像するようにさらに構成される請求項１又は２に記載の撮像システム（１）。

【請求項4】

前記第１光路（１１）及び／又は前記第２光路（２１）に配置され、前記第１センサ（１０）及び／又は前記第２センサ（２０）の焦点を変化させるように構成されるフォーカスシステム（４）をさらに含む請求項１～３のいずれか１項に記載の撮像システム（１）。

【請求項5】

前記第１センサ（１０）及び／又は前記第２センサ（２０）の焦点が調整され得るように、前記フォーカスシステム（４）を制御するように構成されたフォーカス手段（１０４）をさらに含む請求項４に記載の撮像システム（１）。

【請求項6】

前記第１画像データ及び前記第２画像データは、前記対象物（３）の同一の領域を表す請求項１～５のいずれか１項に記載の撮像システム（１）。

【請求項7】

前記第１画像データ及び前記第２画像データに基づいて、前記対象物の深度情報を生成するように構成された制御ユニットをさらに含む請求項１～６のいずれか１項に記載の撮像システム（１）。

【請求項8】

前記制御ユニットは、前記第１画像データの少なくとも１つの第１パッチのエントロピーと、前記第２画像データの少なくとも１つの第２パッチのエントロピーとを比較することによって、前記深度情報を生成するようにさらに構成されており、前記第１画像データにおける前記少なくとも１つの第１パッチの位置は、前記第２画像データにおける前記少なくとも１つの第２パッチの位置と対応する請求項７に記載の撮像システム（１）。

【請求項9】

前記少なくとも１つの第１パッチは、前記少なくとも１つの第２パッチと同じサイズ、好ましくは、２０×２０ピクセルのサイズを有する請求項８に記載の撮像システム（１）。

【請求項10】

前記光学チャネル（２）は、前記第１センサ（１０）及び前記第２センサ（２０）の視野が可変であるように回転可能である請求項１～９のいずれか１項に記載の撮像システム（１）。

【請求項11】

請求項１～１０のいずれか１項に記載の撮像システム（１）を含む腹腔鏡（１００）。

【請求項12】

第１センサ（１０）を用いて第１光路（１１）に沿って対象物を撮像することにより、前記対象物の第１画像データを生成することと、
第２センサ（２０）を用いて第２光路（２１）に沿って前記対象物を撮像することにより、前記対象物の第２画像データを生成することと、を含み、
前記第１センサ（１０）と前記第２センサ（２０）とは、焦点がシフトされ、
前記第１光路（１１）及び前記第２光路（２１）は、少なくとも一部が同一の光学チャネル（２）を通ってガイドされ、
前記第１センサ（１０）及び第２センサ（２０）が、互いに対して傾斜するように配置される、対象物を撮像するための方法。

【請求項13】

深度情報を生成するように、前記第１画像データと前記第２画像データとを互いに比較する工程をさらに含む請求項１２に記載の方法。

【請求項14】

前記第１画像データ及び前記第２画像データは、同時に生成される請求項１２又は１３に記載の方法。

【国際調査報告】