IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス ビンテル ウント イーベーエー ゲーエムベーハーの特許一覧

特許7261835内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品
<>
  • 特許-内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品 図1
  • 特許-内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品 図2
  • 特許-内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-12
(45)【発行日】2023-04-20
(54)【発明の名称】内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品
(51)【国際特許分類】
   A61B 1/045 20060101AFI20230413BHJP
   A61B 1/06 20060101ALI20230413BHJP
   A61B 1/00 20060101ALI20230413BHJP
【FI】
A61B1/045 618
A61B1/06 610
A61B1/00 510
A61B1/045 622
【請求項の数】 14
【外国語出願】
(21)【出願番号】P 2021104422
(22)【出願日】2021-06-23
(65)【公開番号】P2022002701
(43)【公開日】2022-01-11
【審査請求日】2021-12-07
(31)【優先権主張番号】10 2020 116 473.4
(32)【優先日】2020-06-23
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】591228476
【氏名又は名称】オリンパス ビンテル ウント イーベーエー ゲーエムベーハー
【氏名又は名称原語表記】OLYMPUS WINTER & IBE GESELLSCHAFT MIT BESCHRANKTER HAFTUNG
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】トルシュテン ユルゲンス
【審査官】小野 健二
(56)【参考文献】
【文献】国際公開第2019/239942(WO,A1)
【文献】特開2005-027120(JP,A)
【文献】特開2014-124331(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32
(57)【特許請求の範囲】
【請求項1】
少なくとも1つのCMOSイメージセンサ(26)を有するビデオ内視鏡(20)と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニット(30)と、画像評価ユニット(40)と、コントロールユニット(50)と、表示装置(60)とを備える内視鏡観察システム(10)の作動方法であって、
前記ビデオ内視鏡(20)が、白色光照明の下で白色光画像(42)を取得する工程と、
前記画像評価ユニット(40)が、少なくとも1つの所定の特徴を有する少なくとも1つの構造(6)の有無を確認するために前記白色光画像(42)をリアルタイムで評価する工程と、
前記画像評価ユニット(40)が、少なくとも1つの白色光画像(42)において少なくとも1つの所定の特徴を有する少なくとも1つの構造(6)の存在を検出した場合、特殊光観察モードを設定し、前記コントロールユニット(50)が、前記光源ユニット(30)に前記少なくとも1つの特殊光を用いて特殊光照明を発生させる工程と
前記ビデオ内視鏡(20)が、前記特殊光照明の下でビデオストリームの1つまたは複数の画像取得する工程と
前記画像評価ユニット(40)が、前記白色光画像において検出された前記所定の特徴を備える前記構造(6)を含む、前記白色光画像(42)の部分領域(44)を特定することと、前記イメージセンサ(26)の前記部分領域(44)のみを読み取ることと、を備える特殊光処理モードにおける画像処理を施す工程と
前記画像評価ユニット(40)が、前記部分領域(44)から読み取られた画像データ、1つの特殊光画像(46)または複数の特殊光画像(46)として更に処理する工程とを含むことを特徴とする内視鏡観察システム(10)の作動方法。
【請求項2】
前記画像評価ユニット(40)が前記白色光画像(42)において少なくとも1つの所定の特徴を有する構造を検出しなかった場合、前記白色光画像(42)は前記表示装置(60)を用いて表示されることを特徴とする、請求項1に記載の内視鏡観察システム(10)の作動方法。
【請求項3】
前記1つの特殊光画像(46)または複数の特殊光画像(46)は、単独で、または白色光画像(42)に重ね合わされた1つの合成画像(48)または複数の合成画像(48)として、前記表示装置(60)を用いて表示されることを特徴とする、請求項1または2に記載の内視鏡観察システム(10)の作動方法。
【請求項4】
前記画像評価ユニット(40)が、前記白色光画像(42)において少なくとも1つの所定の特徴を有する少なくとも1つの構造(6)の存在を検出した場合、交互の白色光および特殊光照明がビデオ画像シーケンスと同期して発生され、それぞれの場合に、1つの白色光画像(42)と1つの特殊光画像(46)から成る1組が処理され、合成画像(48)に結合されることを特徴とする、請求項1から3のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
【請求項5】
前記ビデオ画像シーケンスおよび前記同期する交互の白色光および特殊光照明は、前記特殊光照明および特殊光画像取得の時間が、前記白色光照明および白色光画像取得の時間より短い時間的リズムで発生することを特徴とする、請求項4に記載の内視鏡観察システム(10)の作動方法。
【請求項6】
前記光源ユニット(30)は、特殊光として、狭帯域光観察(NBI)用の照明、近赤外蛍光観察(NIRF)用の照明、および赤色光観察(RDI)用の照明のうちの1つ以上の照明を発生させるように設計され、NBI照明は腸ポリープが検出された場合に発生されることを特徴とする、請求項1から5のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
【請求項7】
RDI照明は出血が検出された場合に発生されることを特徴とする、請求項6に記載の内視鏡観察システム(10)の作動方法。
【請求項8】
前記画像評価ユニット(40)は、前記画像評価ユニット(40)により検出された前記所定の特徴を有する前記構造(6)に基づいて、利用可能な複数の特殊光モードのうちの1つを選択するように設計されていることを特徴とする、請求項1から7のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
【請求項9】
前記所定の特徴および前記特殊光モードは、事前選択および設定されるか、既に事前選択および設定されていることを特徴とする、請求項に記載の内視鏡観察システム(10)の作動方法。
【請求項10】
少なくとも1つの所定の特徴を有する前記構造(6)が検出されること、および/または前記構造(6)を含む前記部分領域(44)が選択されること、および/または人工知能に基づく画像評価アルゴリズムを用いて前記特殊光モードが選択されることを特徴とする、請求項に記載の内視鏡観察システム(10)の作動方法。
【請求項11】
前記画像評価アルゴリズムは、少なくとも1つの所定の特徴を有する前記構造(6)を含む白色光画像(42)を用いて事前訓練された1つ以上の分類ニューラルネットワークに基づくことを特徴とする、請求項10に記載の内視鏡観察システム(10)の作動方法。
【請求項12】
前記画像評価ユニット(40)は、対応する構造(6)の有無を確認するために前記特殊光画像(46)を評価することを特徴とする、請求項1から10のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
【請求項13】
内視鏡観察システム(10)であって、少なくとも1つのCMOSイメージセンサ(26)を有するビデオ内視鏡(20)と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニット(30)と、画像評価ユニット(40)と、コントロールユニット(50)と、表示装置(60)とを備え、前記コントロールユニット(50)は、信号伝達のため、前記光源ユニット(30)、前記ビデオ内視鏡(20)、および前記画像評価ユニット(40)に接続され、前記画像評価ユニット(40)は、信号伝達のため、前記ビデオ内視鏡(20)に接続されており、前記ビデオ内視鏡(20)と、前記光源ユニット(30)と、前記画像評価ユニット(40)と、前記コントロールユニット(50)と、前記表示装置(60)とを有する前記観察システム(10)は、請求項1から12のいずれか1項に記載の内視鏡観察システム(10)の作動方法を実行するように設計および構成されていることを特徴とする、内視鏡観察システム(10)。
【請求項14】
請求項13に記載の内視鏡観察システム(10)のためのプログラムコード手段を備えるソフトウェアプログラム製品であって、前記内視鏡観察システム(10)の前記画像評価ユニット(40)において実行される画像評価プログラムコンポーネントと、前記観察システム(10)の前記コントロールユニット(50)において実行される制御プログラムコンポーネントとを備えており、前記画像評価プログラムコンポーネントおよび前記制御プログラムコンポーネントは、前記画像評価ユニット(40)および前記コントロールユニット(50)において実行される場合には、請求項1から12のいずれか1項に記載の内視鏡観察システム(10)の作動方法を実行するように設計されていることを特徴とする、ソフトウェアプログラム製品。
【発明の詳細な説明】
【発明の詳細な説明】
【0001】
本発明は、内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品に関する。
最新の内視鏡観察システムは、RGBスペクトル全体を備えた、可視スペクトル(VIS)に不可欠な白色光照明を用いる白色光モードに加えて、種々の特殊光観察モードを提供している。このような特殊光観察(SLI)モードは、例えば、狭帯域光観察(NBI)、近赤外蛍光観察(NIRF)、および赤色光観察(RDI)を含む。RDIは、オリンパステクノロジーが特許権を有する方法であって、米国特許第10,034,600B2号および米国特許第9,775,497号B2に開示されている。このリストは網羅的なものではない。
【0002】
近赤外蛍光観察(NIRF)は、血管灌流を分析・評価するため、肝胆道系の組織を確認するため、リンパ節を見つけるため、またはICG(インドシアニングリーン)、CY5.5、ZW800あるいはZW-1などの外因性造影剤の投与後に尿管を可視化するために用いることができる。赤色光観察(RDI)は、動脈の出血源を特定するために用いることができる。狭帯域光観察(NBI)は、例えば、ポリープを切除すべきか否かを決定するためにNICE分類1型の腸ポリープとNICE分類2型の腸ポリープとを区別するなど、良性過形成とがん組織またはがんの前駆体とを区別することに役立ち得る。
【0003】
通常の検査および手術は、視覚化のための白色光照明(VIS)を用いて医師により行われる。その白色光画像において、特殊光観察モードでのより精密な検査を必要とする異常を医師が発見した場合、医師は自身の訓練および経験に基づいて適切な特殊光観察モードを選択する。
【0004】
これを背景に、本発明の目的は、改良された形の内視鏡観察を用いて、検査または手術中に医師を支援することである。
この目的は、少なくとも1つのCMOSイメージセンサを有するビデオ内視鏡と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニットと、画像評価ユニットと、コントロールユニットと、表示装置とを備える内視鏡観察システムを用いた、内視鏡観察法により実現され、上記の方法は、白色光画像が、白色光照明の下でビデオ内視鏡を用いて取得され、少なくとも1つの所定の特徴を有する少なくとも1つの構造の有無を確認するために、画像評価ユニットによりリアルタイムで評価され、画像評価ユニットが、少なくとも1つの白色光画像において少なくとも1つの所定の特徴を有する少なくとも1つの構造の存在を検出した場合、光源ユニットが少なくとも1つの特殊光を用いて特殊光照明を発生させる特殊光観察モードが設定され、特殊光観察モードでは、特殊光照明の下でビデオストリームの1つまたは複数の画像が取得されて、白色光画像において検出された所定の特徴を備える構造を含む白色光画像の部分領域を特定することと、イメージセンサのこの部分領域のみを読み取ることと、を備える特殊光処理モードにおける画像処理を施され、部分領域から読み取られた画像データは、1つの特殊光画像または複数の特殊光画像として更に処理される点において、更に発展している。
【0005】
本発明による方法は、内視鏡ビデオシステム、すなわちビデオ内視鏡または内視鏡用のカメラヘッドの大多数が、CCDイメージセンサではなくCMOSイメージセンサを備えているという事実に基づいている。CCDイメージセンサと違って、多くのCMOSイメージセンサは「関心領域」(ROI)と呼ばれる部分領域における読み取りのみ可能であり、これにより読み取り速度が大幅に速くなる。部分領域は、通常、長方形の領域であり、本発明の文脈においては、妥当な場合、例えば、長方形の長辺の長さの2%から20%を占める境界を有する構造を完全に含むような寸法の長方形の領域である。例えば、腸ポリープは、通常、画像における上記の画像領域の約10%から20%を占める。多くの臨床的状況において、この種のROIは、上記の画像全体の相当する面積にわたって広がる。そのような場合、例えば1980x1080ピクセルのHD解像度を有するCMOSイメージセンサは、例えば対向する頂点が例えば600/200および1061/662といった座標を有する長方形の領域などの、ポリープを含む対応する部分領域において、独占的かつ非常に速やかに読み取りが可能である。結果として生じる、腸ポリープを含むROIは、461x462ピクセル(約213,000ピクセル)の大きさを有し、したがって上記のフルHD画像の大きさのほぼ10分の1に過ぎない。
【0006】
本発明による方法を用いれば、白色光観察モードでCMOSイメージセンサの画像データ全体が読み取られるよりも、CMOSイメージセンサの部分領域が読み取られ、処理される方が速いため、特殊光観察モードが作動された場合であっても、高い画像リフレッシュレートを得ることが可能である。部分領域が選択されていなければ、白色光画像および特殊光画像の交互シーケンスの場合の画像リフレッシュレートは、例えば50Hzから25Hzのように半分になり、白色光画像シーケンスは25Hzとなり、特殊光画像シーケンスも25Hzとなるであろう。急速な動きの場合、これによってモーションアーチファクトが生じ得る。
【0007】
多くの特殊光観察モードはまた、不鮮明である。求められる高い光感度または利得係数のため、かなりの画像ノイズが生じる。ノイズは、露光時間を増やすことまたは連続するフレームを組み合わせることにより、低減させることができる。これらの手段は、部分領域を選択しない通常の時系列観察では非常に限定されるが、特殊光条件下において本発明によって可能なより高い画像リフレッシュレートを、より密接な連続によって特殊光画像の実効露光時間を増やすために用いることができる。
【0008】
本発明による方法は、白色光画像上で所定の特徴を有する構造が自動的に検出される画像認識を行うことにより、担当医師を支援することも可能にする。そのような構造は、例えば灌流血管、リンパ節、動脈出血または腸ポリープなどであってもよいが、このリストは網羅的なものではない。これらの構造の所定の特徴は、豊富な画像資料に基づいて広く知られ、また明確に文書化されており、自動画像評価によって特定することができる。この場合、本発明によれば、特定された構造がより詳細に、より正確に表示される適切な特殊光観察が設定される。医師は、特殊光観察モードを設定するための決定から解放され、何もすることなく特殊光観察が示される。
【0009】
進行中の検査は、通常、ビデオストリームとして処理される。本発明による方法は、その進行中のビデオストリームに適用可能であるが、医師が所望する場合は、精密検査および文書作成に用いるため、スナップショット機能を用いてビデオストリームから分離された個々の画像にも適用可能である。
【0010】
部分領域は画像評価ユニットにおいて選択され、CMOSイメージセンサのどの部分領域が読み取られるかについての命令が、画像評価ユニットから直接的に、またはコントロールユニットを介して発せられる。画像評価ユニットは、例えばプログラムまたはプログラムのサブルーチンなどの機能ユニットとして、コントロールユニット内にソフトウェアとして組み込まれてもよい。
【0011】
様々な検査における正常な状態とは、関連する構造が見当たらないことである。この場合、画像評価ユニットが白色光画像において少なくとも1つの所定の特徴を有する構造を検出しなければ、白色光画像が表示装置を用いて有利に表示される。
【0012】
実施形態において、1つの特殊光画像または複数の特殊光画像は、単独で、または白色光画像に重ね合わされた1つの合成画像または複数の合成画像として、表示装置を用いて表示される。特殊光画像を単独で表示することは、医師の訓練された観察眼によって容易に解釈可能な、手を加えていない表示であるという利点を有する。上記の構造の位置において、特殊光画像が白色光画像に一致するように重ね合わされた合成画像を表示することは、特殊光画像を周囲の構造にはめ込むという利点を提供する。この種の融合画像または合成画像は、拡張現実画像(ARI)と呼ぶことができる。合成画像に関して、特殊光画像は、特殊光画像では見えない白色光画像の下部構造がまだ見えるように、例えば5%から50%など一定の透明度を有した状態で、または透明度0%から5%の不透明な状態で、白色光画像に重ね合わせることが可能である。
【0013】
ビデオストリームで表示される合成画像シーケンスを備える実施形態において、画像評価ユニットが、白色光画像において少なくとも1つの所定の特徴を有する少なくとも1つの構造の存在を検出した場合、白色光および特殊光の交互照明がビデオ画像シーケンスと同期して発せられ、それぞれの場合に、1つの白色光画像および1つの特殊光画像から成る1組が処理され、合成画像に結合される。この合成画像ビデオストリームからの個々のフレームはスナップショット機能を用いて取得可能であり、より精密な検査および文書作成に用いることができる。したがって、本特許出願および本発明の範囲において、「特殊光観察モード」の用語は、白色光画像および特殊光画像が交互シーケンスで取得され、更に処理されて結合される場合も含む。
【0014】
一実施形態において、ビデオ画像シーケンスおよび同期する白色光および特殊光の交互照明は、特殊光照明および特殊光画像取得の持続時間が、白色光照明および白色光画像取得の持続時間より短い時間的リズムで発生する。特殊光画像取得のそれぞれの場合に、CMOSイメージセンサの1つの部分領域のみが読み取られ、その部分領域の画像データのみが画像評価ユニット内で更に処理されるため、特に、特殊光画像には構造認識が適用されないため、このことが可能となる。したがって、画像表示の頻度、すなわち個々のフレームの連続を半減させることはもはや不要であり、むしろ純白色光ビデオシーケンスと同様に高い頻度を有する画像シーケンスを実現することが可能であるため、モーションアーチファクトがかなり防止される。これを実行するための1つの可能性は、画像評価ユニットと一体化し得るコントロールユニットにあり、コントロールユニットはビデオ内視鏡内のイメージセンサおよび光源ユニットに、対応して同期する時系列において画像またはサブ画像を取得し、白色光照明および特殊光照明を提供するよう命令する。
【0015】
実施形態において、光源ユニットは、特殊光として、狭帯域光観察(NBI)用の照明、近赤外蛍光観察(NIRF)用の照明、および赤色光観察(RDI)用の照明のうちの1つ以上の照明を発生させるように設計され、具体的には、RDI照明は出血が検出された場合に発生され、および/またはNBI照明は腸ポリープが検出された場合に発生される。画像評価装置は、所定の特徴を有する検出された構造に基づいて、利用可能な複数の特殊光モードのうちの1つを選択するように設計されていてもよい。あるいは、所定の特徴および特殊光モードが、事前選択および設定されるか、既に事前選択および設定されていてもよい。このことは、例えば、出血が予想され、検出され、止血される結腸内視鏡検査または手術などにおいて、特定の構造を探す検査の場合に有用であろう。
【0016】
実施形態において、少なくとも1つの所定の特徴を有する構造が検出され、および/またはその構造を含む部分領域が選択され、および/または人工知能に基づく画像評価アルゴリズムを用いて、特殊光モードが選択される。そのような場合、画像評価アルゴリズムは、具体的にはCNNに基づき、少なくとも1つの所定の特徴を有する構造を含む白色光画像を用いて事前訓練された1つ以上の分類ニューラルネットワークに基づいてもよい。
【0017】
更に、実施形態において、画像評価ユニットは対応する構造の存在を探すために特殊光画像を評価し、具体的には、構造の存在を確認するか、そうでなければ、再び特殊光観察モードから離脱するよう促す。特殊光観察モードは、関係する構造を非常に高コントラストで、それゆえ明確に認識できるように表示するのに特に適しているため、こうした構造に関する特殊光画像の評価は、対応する構造の存在に関して高い有意性をもたらす。特殊光画像には白色光画像の1つの部分領域しか存在せず、それゆえ評価すべきデータ量が小さいので、対応する画像評価も白色光画像の場合よりも速い。
【0018】
本発明の目的は、少なくとも1つのCMOSイメージセンサを有するビデオ内視鏡と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニットと、画像評価ユニットと、コントロールユニットと、表示装置とを備える内視鏡観察システムによっても実現され、内視鏡観察システムにおいて、コントロールユニットは、信号伝達のため、光源ユニット、ビデオ内視鏡、および画像評価ユニットに接続され、画像評価ユニットは、信号伝達のため、ビデオ内視鏡に接続されており、ビデオ内視鏡と、光源ユニットと、画像評価ユニットと、コントロールユニットと、表示装置とを有する観察システムは、本発明による前述の方法を実行するように設計および構成されている。
【0019】
本発明による観察システムのビデオ内視鏡は、内視鏡シャフトの遠位領域あるいはハンドルのいずれかにCMOSセンサを備えてもよく、または内視鏡と、イメージセンサとしてCMOSセンサを備えるカメラヘッドとの組み合わせとして設計されてもよい。
【0020】
さらに、本発明の目的は、本発明による内視鏡観察システムのためのプログラムコード手段を備えるソフトウェアプログラム製品によっても実現され、ソフトウェアプログラム製品は、観察システムの画像評価ユニットにおいて実行される画像評価プログラムコンポーネントと、観察システムのコントロールユニットにおいて実行される制御プログラムコンポーネントとを備えており、画像評価プログラムコンポーネントおよび制御プログラムコンポーネントは、画像評価ユニットおよびコントロールユニットにおいて実行される場合には、本発明による前述の方法を実行するように設計されている。
【0021】
本発明による内視鏡観察システムおよび本発明によるソフトウェアプログラム製品は、本発明による前述の方法に関連し、この方法の利点、特徴、および特性を同様に実現する。
本発明の更なる特徴は、請求項および添付の図面とともに本発明による実施形態の説明から明らかになるであろう。本発明による実施形態は、個々の特徴または複数の特徴の組み合わせを実現し得る。
【0022】
本発明の範囲において、「特に」または「好ましくは」によって指定された特徴は、任意選択的な特徴であると解される。
本発明は、文中においてより詳細には説明されない本発明による具体的内容の全てに関して図面を明示的に参照する、図面に関連した例示的な実施形態に基づいて、本発明の概念を限定することなく、以下で説明される。
【図面の簡単な説明】
【0023】
図1】本発明による内視鏡観察システムの概略図である。
図2】観察の概念の概略図である。
図3】本発明による方法のための例示的なフロー図である。
【発明を実施するための形態】
【0024】
上記の図面において、同一または類似の要素および/または部品には、それぞれ同一の参照符号が与えられているため、再度の紹介は常に省略される。
図1は、本発明による内視鏡観察システム10の動作状況における概略図である。例えば、腸ポリープ、出血、灌流血管等の所定の特徴を有する構造6が発見される検査が、患者の体2の体腔4において、ビデオ内視鏡20を用いて行われる。
【0025】
ビデオ内視鏡20は、ハンドル28に接した内視鏡シャフト22を備え、そのシャフト22の遠位端には、入射レンズ24およびここでは図示されていない光学系の後方に、CMOSイメージセンサ26が配置されている。あるいは、ビデオ内視鏡20は、従来の内視鏡とカメラヘッドとの組み合わせとして設計されてもよい。
【0026】
ビデオ内視鏡20は光源ユニット30に接続されているが、光源ユニット30はビデオ内視鏡20の一部であってもよく、あるいは内視鏡観察システム10の制御装置の一部であってもよい。様々な光源およびフィルタユニットを有する光源ユニット30は、1つ以上の特殊光照明手順に従って白色光および特殊光を交互に発生させるように設計されており、その光はビデオ内視鏡20を介して体腔4内に向けられて、検査周辺部を照らす。
【0027】
観察システム10は、光源ユニット30およびビデオ内視鏡20に接続された画像評価ユニット40とコントロールユニット50とを更に備え、また画像評価ユニット40に接続された表示装置60も備える。上記の様々な構成要素、特に画像評価ユニット40およびコントロールユニット50は、本発明による方法を実行するように設計されている。この目的のために、これらのユニットは、画像評価および制御を行うプログラムコード手段を備えている。
【0028】
図2は、観察の概念を概略的な形で表している。撮像および画像の取得は、画像評価ユニット40を用いた評価の対象となる白色光画像42の取り込みに基づく。この種の白色光画像42は、例えば、HD解像度を有してもよく、白色光照明の下で光源ユニット30から生成される。白色光画像42が、例えば灌流血管、出血、腸ポリープ等の特徴など所定の特徴を有する構造6を含む場合、画像評価ユニット40は、構造6を含む白色光画像42の部分領域44を特定する。
【0029】
構造6が検出されたため、特殊光観察用の特殊光照明が次の画像用に設定され、CMOSセンサ26が部分領域44のみにおいて読み取られる。読み取られた部分領域44の表示、特に擬似カラー表示が、白色光画像42上の正確な位置に特殊光画像46として重ねられ、表示装置60上において担当医師に対して表示される合成画像48を作り出す。合成画像48は、いずれの場合も、白色光画像および特殊光画像のペアが取得されて組み合わされたり、より詳しい検査および文書作成のための個別画像として用いられたりする、特殊光観察モードにおけるビデオストリームの一部であってもよい。好ましくは、特殊光観察モードにおけるビデオストリームの場合、ビデオ内視鏡20と構造6とが互いに相対移動可能であるため、各白色光画像は分析され、部分領域44は再決定される。
【0030】
特定の特殊光観察モードの選択は、例えば、1つのみの特殊光観察モードが関係する結腸内視鏡検査などの特定の検査を行う医師により事前に実行されるか、または画像評価ユニット40における画像評価アルゴリズムが、発見された構造6に基づいてどの特殊光観察モードを選択するかを決定する。この種の選択アルゴリズムは、例えば、対応する構造とそれぞれ最適な特殊光観察モードとを特定および分類するために、対応する構造を有する以前に取得された白色光画像を用いて訓練されたニューラルネットワークに基づいてもよい。
【0031】
図3は、本発明による方法の例示的なフロー図である。まず、白色光画像42の取得(方法ステップ100)から始まり、次に、所定の特徴を有する構造6の有無を確認するために白色光画像42が分析される(方法ステップ102)。構造6が発見されない場合、白色光画像42がそのまま表示され(方法ステップ104)、新たな白色光画像42が取得される(方法ステップ100)。白色光画像42において構造6が実際に発見された場合、白色光画像42における構造6の位置する部分領域44が特定される。続いて、対応する特殊光照明を備える、予め設定された、または適切な特殊光観察モードが設定され(方法ステップ106)、設定された特殊光照明の下で画像が取得され、CMOSイメージセンサ26の画像データが部分領域44内のみで読み取られ、特殊光画像46として更に処理される(方法ステップ108)。そして、特殊光画像46は白色光画像42に重ねられて、合成画像48として表示される(方法ステップ110)。このプロセスは、検査が完了するまで、または本発明による検査モードが終了するまで、方法ステップ100から繰り返される。
【0032】
図面のみから得られる特徴および他の特徴と組み合わせて開示されている個々の特徴を含む、全ての挙げられた特徴は、単独および組み合わせて本発明に不可欠なものとして考えられる。本発明による実施形態は、個々の特徴または複数の特徴の組み合わせにより実現し得る。
【0033】
[符号の説明]
2…体、4…体腔、6…構造、10…内視鏡観察システム、20…ビデオ内視鏡、22…内視鏡シャフト、24…入射レンズ、26…CMOSイメージセンサ、28…ハンドル、30…光源ユニット、40…画像評価ユニット、42…白色光画像、44…部分領域、46…特殊光画像、48…合成画像、50…コントロールユニット、60…表示装置、100…白色光画像の取得、102…白色光画像の分析、104…白色光画像の表示、106…特殊光観察モードの設定、108…特殊光画像の取得、110…合成画像の生成および表示
図1
図2
図3