特表 2024-506686 画像処理システムおよびそれを使用する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-14

(54)【発明の名称】画像処理システムおよびそれを使用する方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240206BHJP

【ＦＩ】

A61B1/045 618

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023548893

(86)(22)【出願日】2022-01-25

(85)【翻訳文提出日】2023-09-26

(86)【国際出願番号】 US2022070329

(87)【国際公開番号】W WO2022178475

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】63/150,107

(32)【優先日】2021-02-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506192652

【氏名又は名称】ボストン サイエンティフィック サイムド，インコーポレイテッド

【氏名又は名称原語表記】ＢＯＳＴＯＮ ＳＣＩＥＮＴＩＦＩＣ ＳＣＩＭＥＤ，ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】デュバル、ジョージ ウィルフレッド

(72)【発明者】

【氏名】フィーリング、キルステン

(72)【発明者】

【氏名】バルバート、ルイス ジェイ．

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161BB02

4C161BB04

4C161CC06

4C161DD03

4C161HH51

4C161LL02

4C161LL08

4C161MM05

4C161QQ06

4C161QQ07

4C161SS21

4C161WW02

4C161WW08

(57)【要約】

医療デバイスのビデオ画像を強調する方法が提供される。方法は、１つまたは複数の画像センサから第１および第２の画像フレームを受信することを含む。第１の画像フレームを分割して複数の第１の画像サブブロックが生成される。１つまたは複数のルックアップテーブルに基づき複数の第１の画像サブブロックに少なくとも１つの曲線が関連付けられる。第１の画像サブブロックの少なくとも１つにてターゲットが識別される。第２の画像フレームを分割して複数の第２の画像サブブロックが生成される。１つまたは複数のルックアップテーブルに基づき複数の第２の画像サブブロックに少なくとも１つの曲線が関連付けられる。第２の画像サブブロックの少なくとも１つにて上記ターゲットが識別される。第１および第２の画像サブブロックのターゲットのヒストグラム強調画像が生成される。ターゲットのヒストグラム強調画像に基づいてビデオ画像ストリームが生成される。

【特許請求の範囲】

【請求項1】

医療デバイスにおいてビデオ画像を強調する方法であって、
１つまたは複数の画像センサから第１の画像フレームおよび第２の画像フレームを受信すること、
前記第１の画像フレームを分割することによって複数の第１の画像サブブロックを生成すること、
１つまたは複数のルックアップテーブルに基づいて、少なくとも１つの曲線を前記複数の第１の画像サブブロックに関連付けること、
前記複数の第１の画像サブブロックのうちの少なくとも１つにおいてターゲットを識別すること、
前記第２の画像フレームを分割することによって複数の第２の画像サブブロックを生成すること、
前記１つまたは複数のルックアップテーブルに基づいて、少なくとも１つの曲線を前記複数の第２の画像サブブロックに関連付けること、
前記複数の第２の画像サブブロックのうちの少なくとも１つにおいて前記ターゲットを識別すること、
前記複数の第１の画像サブブロックおよび前記複数の第２の画像サブブロックにおいて前記ターゲットのヒストグラム強調画像を生成すること、および、
前記ターゲットの前記ヒストグラム強調画像に基づいてビデオ画像ストリームを生成すること、
を備える方法。

【請求項2】

前記複数の第１の画像サブブロックに基づいて前記第２の画像フレームを分割することによって前記複数の第２の画像サブブロックを生成すること、および、
前記複数の第１の画像サブブロックの前記少なくとも１つの曲線および前記複数の第２の画像サブブロックの前記少なくとも１つの曲線に基づいて、前記複数の第２の画像サブブロックのうちの前記少なくとも１つにおいて前記ターゲットを識別すること、
をさらに備える請求項１に記載の方法。

【請求項3】

前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの各々のヒストグラムデータを生成することをさらに備え、
前記複数の第１の画像サブブロックの前記少なくとも１つの曲線および／または前記複数の第２の画像サブブロックの前記少なくとも１つの曲線は、前記複数の第１の画像サブブロックの各々および／または前記複数の第２の画像サブブロックの各々の前記ヒストグラムデータに少なくとも基づいて決定される、請求項１または２に記載の方法。

【請求項4】

前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの各々の前記ヒストグラムデータは、前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックにおける前記ターゲットに累積分布関数を少なくとも適用することによって生成される、請求項３に記載の方法。

【請求項5】

前記ヒストグラム強調画像のフレームを生成することは、前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの各々のヒストグラムデータを補間することを含む、請求項１～４のうちのいずれか一項に記載の方法。

【請求項6】

前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルを決定すること、および、
前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットの前記クリッピングレベルに基づいて、前記複数の第２の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルを決定すること、
をさらに備える請求項１～５のうちのいずれか一項に記載の方法。

【請求項7】

前記１つまたは複数のルックアップテーブルに基づいて、前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックに対して区分的変換を実行することをさらに備える請求項１～６のうちのいずれか一項に記載の方法。

【請求項8】

前記複数の第２の画像サブブロックのうちの少なくとも１つにおいて前記ターゲットを識別することは、
前記複数の第１の画像サブブロックの前記少なくとも１つの曲線と前記複数の第２の画像サブブロックの前記少なくとも１つの曲線との間の類似性に基づいて、前記複数の第２の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットを予測することを含む、請求項１～７のうちのいずれか一項に記載の方法。

【請求項9】

前記少なくとも１つの曲線が、対数曲線、累乗曲線、Ｓ曲線、Ｊ曲線、または区分線形曲線を含む、請求項１～８のうちのいずれか一項に記載の方法。

【請求項10】

前記複数の第２の画像サブブロックのうちの少なくとも１つにおいて前記ターゲットを識別することは、
前記複数の第１の画像サブブロックの１つまたは複数の導関数に基づいて第１のサブブロックデータを決定すること、および、
前記複数の第２の画像サブブロックの１つまたは複数の導関数に基づいて第２のサブブロックデータを決定すること、
を含む、請求項１～９のうちのいずれか一項に記載の方法。

【請求項11】

前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの前記１つまたは複数の導関数が、グレースケール変換された画像および／またはカラー画像の１つまたは複数の導関数を含む、請求項１０に記載の方法。

【請求項12】

前記複数の第１の画像サブブロックの前記１つまたは複数の導関数および／または前記複数の第２の画像サブブロックの前記１つまたは複数の導関数が第１の導関数と第２の導関数とを含む、請求項１～１１のうちのいずれか一項に記載の方法。

【請求項13】

前記複数の第１の画像サブブロックの前記１つまたは複数の導関数と前記複数の第２の画像サブブロックの前記１つまたは複数の導関数との間の類似性に基づいて、前記複数の第２の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットの位置を特定することをさらに備える請求項１～１２のうちのいずれか一項に記載の方法。

【請求項14】

前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの前記１つまたは複数の導関数が第２の導関数を含む、請求項１３に記載の方法。

【請求項15】

前記複数の第１の画像サブブロックの前記１つまたは複数の導関数に基づいて、前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルを決定すること、および、
前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットの前記クリッピングレベルと、前記複数の第２の画像サブブロックの前記１つまたは複数の導関数とに少なくとも基づいて、前記複数の第２の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルを決定すること、
をさらに備える請求項１～１４のうちのいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の種々の態様は、概して、画像処理システム、デバイス、および関連する方法に関する。本開示の実施例は、とりわけ、ビデオ画像を強調するためのシステム、デバイス、および関連する方法に関する。本特許出願は、２０２１年２月１７日に出願された米国仮特許出願第６３／１５０，１０７号に対する優先権の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

技術の発展により、様々な患者にますます複雑な医療処置を行う能力が医療システム、デバイス、および方法のユーザに与えられている。しかしながら、内視鏡の分野において、例えば、患者内の標的治療部位、例えば、患者の胃腸管に位置する腫瘍または病変を正確に可視化することは既知の課題である。ヒストグラム強調方法を使用する画像強調技術は画像品質を改善するものであるが、ヒストグラム強調に必要とされる高度な反復プロセスは、画像プロセッサに負担をかけて画像処理遅延を生じさせ得るおよび／またはビデオ画像に対するその有効性を制限し得るものとなる。

【発明の概要】

【0003】

本開示の態様は、特に、画像処理システム、とりわけ、サブブロック生成ロジック、ヒストグラム強調ロジック、およびサブブロック予測ロジックを提供するためのシステム、デバイス、および方法に関する。本開示の態様の各々は、他の開示される態様のいずれかに関連して説明される特徴のうちの１つまたは複数を含み得る。

【0004】

一態様によれば、医療デバイスにおいてビデオ画像を強調する方法が提供される。方法は、１つまたは複数の画像センサから第１の画像フレームおよび第２の画像フレームを受信することを含む。前記第１の画像フレームを分割することによって複数の第１の画像サブブロックが生成される。１つまたは複数のルックアップテーブルに基づいて、前記複数の第１の画像サブブロックに対して少なくとも１つの曲線が関連付けられる。前記複数の第１の画像サブブロックのうちの少なくとも１つにおいてターゲットが識別される。前記第２の画像フレームを分割することによって複数の第２の画像サブブロックが生成される。前記１つまたは複数のルックアップテーブルに基づいて、前記複数の第２の画像サブブロックに対して少なくとも１つの曲線が関連付けられる。前記複数の第２の画像サブブロックのうちの少なくとも１つにおいて前記ターゲットが識別される。前記複数の第１の画像サブブロックおよび前記複数の第２の画像サブブロックにおける前記ターゲットのヒストグラム強調画像が生成される。前記ターゲットの前記ヒストグラム強調画像に基づいてビデオ画像ストリームが生成される。

【0005】

本明細書に記載される方法のいずれかは、以下のステップのいずれかを含み得る。前記複数の第２の画像サブブロックは、前記複数の第１の画像サブブロックに基づいて前記第２の画像フレームを分割することによって生成される。前記ターゲットは、前記複数の第１の画像サブブロックの前記少なくとも１つの曲線および前記複数の第２の画像サブブロックの前記少なくとも１つの曲線に基づいて、前記複数の第２の画像サブブロックの前記少なくとも１つにおいて識別される。前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの各々のヒストグラムデータが生成される。前記複数の第１の画像サブブロックの前記少なくとも１つの曲線および／または前記複数の第２の画像サブブロックの前記少なくとも１つの曲線は、前記複数の第１の画像サブブロックの各々および／または前記複数の第２の画像サブブロックの各々の前記ヒストグラムデータに少なくとも基づいて決定される。前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの各々の前記ヒストグラムデータが、前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックにおける前記ターゲットに累積分布関数を少なくとも適用することによって生成される。前記ヒストグラム強調画像のフレームを生成することが、前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの各々の前記ヒストグラムデータを補間することを含む。前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルが決定される。前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットの前記クリッピングレベルに基づいて、前記複数の第２の画像サブブロックのうちの少なくとも１つにおける前記ターゲットのクリッピングレベルが決定される。前記１つまたは複数のルックアップテーブルに基づいて、前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックに対して区分的変換が実行される。前記複数の第２の画像サブブロックのうちの少なくとも１つにおける前記ターゲットは、前記複数の第１の画像サブブロックの前記少なくとも１つの曲線と前記複数の第２の画像サブブロックの前記少なくとも１つの曲線との間の類似性に基づいて前記複数の第２の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットを予測することによって識別され得る。前記少なくとも１つの曲線が、対数曲線、累乗曲線、Ｓ曲線、Ｊ曲線、または区分線形曲線を含む。前記複数の第１の画像サブブロックの１つまたは複数の導関数に基づいて第１のサブブロックデータを決定し、前記複数の第２の画像サブブロックの１つまたは複数の導関数に基づいて第２のサブブロックデータを決定することによって、前記複数の第２の画像サブブロックのうちの少なくとも１つにおける前記ターゲットが識別される。前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの前記１つまたは複数の導関数は、グレースケール変換された画像および／またはカラー画像の１つまたは複数の導関数を含む。前記複数の第１の画像サブブロックの前記１つまたは複数の導関数および／または前記複数の第２の画像サブブロックの１つまたは複数の導関数が第１の導関数と第２の導関数とを含む。前記複数の第１の画像サブブロックの前記１つまたは複数の導関数と前記複数の第２の画像サブブロックの前記１つまたは複数の導関数との間の類似性に基づいて、前記複数の第２の画像サブブロックのうちの少なくとも１つにおける前記ターゲットの位置が特定される。前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの前記１つまたは複数の導関数が第２の導関数を含む。前記複数の第１の画像サブブロックの前記１つまたは複数の導関数に基づいて、前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルが決定される。前記複数の第１の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルと、前記複数の第２の画像サブブロックの前記１つまたは複数の導関数とに少なくとも基づいて、前記複数の第２の画像サブブロックのうちの前記少なくとも１つにおける前記ターゲットのクリッピングレベルが決定される。

【0006】

一態様によれば、医療デバイスは、シャフトと、前記シャフトの遠位端に結合された１つまたは複数の画像センサと、前記シャフトの前記遠位端に結合された少なくとも１つの照明デバイスとを含む。前記医療デバイスは、ビデオ画像を強調する画像処理を実行するための命令を記憶した１つまたは複数のコンピュータ可読媒体と、前記画像処理を実行するための前記命令を実行するように構成された１つまたは複数のプロセッサとをさらに含む。前記１つまたは複数のプロセッサは、前記１つまたは複数の画像センサから第１の画像フレームおよび第２の画像フレームを受信する。前記１つまたは複数のプロセッサは、前記第１の画像フレームを分割することによって複数の第１の画像サブブロックを生成する。前記１つまたは複数のプロセッサは、少なくとも１つの曲線を前記複数の第１の画像サブブロックに関連付ける。前記１つまたは複数のプロセッサは、前記複数の第１の画像サブブロックのうちの少なくとも１つにおいてターゲットを識別する。前記１つまたは複数のプロセッサは、前記複数の第１の画像サブブロックに基づき前記第２の画像フレームを分割することによって複数の第２の画像サブブロックを生成する。前記１つまたは複数のプロセッサは、１つまたは複数のルックアップテーブルに基づいて、少なくとも１つの曲線を前記複数の第２の画像サブブロックに関連付ける。前記１つまたは複数のプロセッサは、前記複数の第２の画像サブブロックのうちの少なくとも１つにおいて前記ターゲットを識別する。前記１つまたは複数のプロセッサは、前記複数の第１の画像サブブロックおよび前記複数の第２の画像サブブロックにおける前記ターゲットのヒストグラム強調画像を生成する。前記１つまたは複数のプロセッサは、前記ターゲットの前記ヒストグラム強調画像に基づいてビデオ画像ストリームを生成する。

【0007】

本明細書に記載される医療デバイスのいずれかは、以下の特徴のいずれかを含み得る。前記１つまたは複数の画像センサは、前向き画像センサおよび／または横向き画像センサを含む。前記１つまたは複数のプロセッサは、前記複数の第１の画像サブブロックおよび／または前記複数の第２の画像サブブロックの各々のヒストグラムデータを生成する。前記複数の第１の画像サブブロックの前記少なくとも１つの曲線および／または前記複数の第２の画像サブブロックの前記少なくとも１つの曲線は、前記複数の第１の画像サブブロックの各々および／または前記複数の第２の画像サブブロックの各々の前記ヒストグラムデータに少なくとも基づいて決定される。前記１つまたは複数のプロセッサは、前記複数の第１の画像サブブロックの１つまたは複数の導関数に基づいて第１のサブブロックデータを決定する。前記１つまたは複数のプロセッサは、前記複数の第２の画像サブブロックの１つまたは複数の導関数に基づいて第２のサブブロックデータを決定する。

【0008】

一態様によれば、非一時的コンピュータ可読媒体は、ビデオ画像を強調するための命令を記憶する。前記命令は、前記１つまたは複数のプロセッサによって実行されたときに、前記１つまたは複数のプロセッサに動作を実行させる。前記１つまたは複数のプロセッサは、１つまたは複数の画像センサから第１の画像フレームおよび第２の画像フレームを受信する。前記１つまたは複数のプロセッサは、前記第１の画像フレームを分割することによって複数の第１の画像サブブロックを生成する。前記１つまたは複数のプロセッサは、１つまたは複数のルックアップテーブルに基づいて、少なくとも１つの曲線を前記複数の第１の画像サブブロックに関連付ける。前記１つまたは複数のプロセッサは、前記複数の第１の画像サブブロックのうちの少なくとも１つにおいてターゲットを識別する。前記１つまたは複数のプロセッサは、前記第２の画像フレームを分割することによって複数の第２の画像サブブロックを生成する。前記１つまたは複数のプロセッサは、１つまたは複数のルックアップテーブルに基づいて、少なくとも１つの曲線を前記複数の第２の画像サブブロックに関連付ける。前記１つまたは複数のプロセッサは、前記複数の第２の画像サブブロックのうちの少なくとも１つにおいて前記ターゲットを識別する。前記１つまたは複数のプロセッサは、前記複数の第１の画像サブブロックおよび前記複数の第２の画像サブブロックにおける前記ターゲットのヒストグラム強調画像を生成する。前記１つまたは複数のプロセッサは、前記ターゲットの前記ヒストグラム強調画像に基づいてビデオ画像ストリームを生成する。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の態様による例示的な医療システムの概略図である。

【図2】図２は、本開示の態様による、図１の医療システムを使用して画像フレームを強調する例示的なプロセスを示す図である。

【図3】図３Ａおよび図３Ｂは、本開示の態様による、図１の医療システムを使用してビデオ画像を強調する例示的なプロセスを示す図である。

【図4】図４Ａおよび図４Ｂは、本開示の態様による、図１の医療システムを使用してビデオ画像を強調する別の例示的なプロセスを示す図である。

【図5】図５は、本開示の態様による、図１の医療システムを使用してビデオ画像を強調するさらに別の例示的なプロセスを示す図である。

【図6】図６は、本開示の態様による、図１の医療システムを使用してビデオ画像を強調する例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0010】

本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本開示の例示的な態様を示し、以下の説明とともに本開示の原理を説明する役割を果たす。
本開示の実施例は、画像コントラスト強調技術を使用して、対象（例えば、患者）における１つまたは複数の治療部位のビデオ画像を強調するためのシステム、デバイス、および方法を含む。以下、添付の図面に例示されている本開示の態様について詳細に参照する。可能な限り、同一または類似の部分を参照するために、図面を通して同一または類似の参照番号が使用される。用語「遠位」は、デバイスを患者内に導入するときにユーザから最も遠い部分を指す。対照的に、用語「近位」は、デバイスを対象内に配置するときにユーザに最も近い部分を指す。本明細書で使用される「備える」、「備えている」という用語、またはそれらの任意の他の変形語は、要素のリストを含むプロセス、方法、物品、または装置が、必ずしもそれらの要素のみを含むわけではなく、明示的に列挙されていない他の要素、あるいはそのようなプロセス、方法、物品、または装置に固有の他の要素も含み得るように、非排他的な包含をカバーすることが意図されている。用語「例示的」は、「理想的」ではなく「例」の意味で使用される。本明細書で使用される「約」、「実質的に」、および「およそ」という用語は、記述された値の＋／－１０％以内の値の範囲を示す。

【0011】

本開示の実施例は、医療システムの１つまたは複数の画像センサを使用して、対象内の１つまたは複数の治療／診断部位のビデオ画像フレームを捕捉するために使用され得る。いくつかの実施形態において、医療デバイスは、プロセッサと、患者の１つまたは複数の治療／診断部位のビデオ画像フレームを強調するための１つまたは複数の実行可能命令およびアルゴリズムを記憶するメモリとを含む、画像処理デバイスを含み得る。また、プロセッサおよびメモリは、固定曲線を有するルックアップテーブルと、サブブロック低減技術とを使用してコントラスト強調画像フレームを生成し得る。実施形態において、メモリは、撮像ロジック、サブブロック生成ロジック、ヒストグラム強調ロジック、およびサブブロック予測ロジックにしたがったプログラム可能かつ実行可能な命令を含み得る。画像処理デバイスはさらに、ユーザ入力を受信するように動作可能なユーザインターフェースを含み得る。医療デバイスの画像処理デバイスによって生成された処理画像は、ディスプレイデバイスに出力され得るピクセル値を有する強調ビデオ画像フレームを含み得る。

【0012】

本開示の実施例は、種々の医療処置を行うための、および／または大腸（結腸）、小腸、盲腸、食道、胃腸管の任意の他の部分、および／または任意の他の適切な患者の解剖学的構造の部分（本明細書では、まとめて「標的治療部位」と呼ぶ）を治療するためのシステム、装置、および方法に関する。本明細書に記載される種々の実施例は、１回の使用または使い捨て医療デバイス、あるいは滅菌可能な再使用可能デバイスを含む。以下、上記で説明され、添付の図面に示される本開示の実施例を詳細に参照する。可能な限り、同一または同様の部分を指すために、図面全体を通して同一の参照番号が使用される。

【0013】

図１は、本開示の一実施例による例示的な医療システム１００の概略図を示す。医療システム１００は、１つまたは複数の光源１３０、画像処理デバイス１０１、医療器具１１０、および医療デバイス１４０を含み得る。画像処理デバイス１０１は、例えば、有線接続１１８、無線接続などによって医療器具１１０に通信可能に結合され得る。実施例において、画像処理デバイス１０１は、画像処理デバイス１０１がデータ（例えば、画像センサデータ）を受信し、情報（例えば、強度、動き、またはスペクトルデータなど）を処理し、および／または医療システム１００のユーザに出力するための処理画像またはビデオ画像ストリームを生成することが可能な複数のハードウェア要素を組み込んだコンピュータシステムである。画像処理デバイス１０１の例示的なハードウェア要素は、少なくとも１つのプロセッサ１０２、少なくとも１つのメモリ１０３、少なくとも１つのユーザインターフェース１０８、および少なくとも１つのディスプレイ１０９を含み得る。

【0014】

画像処理デバイス１０１のプロセッサ１０２は、非一時的コンピュータ可読媒体、例えば、画像処理デバイス１０１のメモリ１０３に記憶され得る機械可読命令を実行することが可能な任意のコンピューティングデバイスを含み得る。例として、プロセッサ１０２は、コントローラ、集積回路、マイクロチップ、コンピュータ、および／またはプログラムを実行するために必要とされる計算および論理演算を行うように動作可能な任意の他のコンピュータ処理ユニットを含み得る。本明細書でより詳細に説明されるように、プロセッサ１０２は、メモリ１０３上に記憶された命令にしたがって１つまたは複数の動作を実行するように構成される。

【0015】

図１を引き続き参照すると、画像処理デバイス１０１のメモリ１０３は、機械可読命令、例えば、撮像ロジック１０４、サブブロック生成ロジック１０５、ヒストグラム強調ロジック１０６、およびサブブロック予測ロジック１０７を記憶する非一時的コンピュータ可読媒体を含み得る。撮像ロジック１０４は、医療機器１１０の１つまたは複数の構成要素、例えば、画像センサ１５０Ａ，１５０Ｂおよび１つまたは複数の光源１３０を作動させることによって、医療システム１００がデジタル画像（例えば、生デジタル画像）を取り込むことを可能にする実行可能命令またはアルゴリズムを含み得る。画像センサ１５０Ａ，１５０Ｂは、例えば、１つまたは複数のカラー画像センサおよび／またはモノクロ画像センサを含み得る。図１に示されるように、画像センサ１５０Ａは前向きセンサであってよく、画像センサ１５０Ｂは周辺センサまたは横向きセンサであってよい。画像センサ１５０Ａ，１５０Ｂは、前向きセンサまたは横向きセンサの任意の組み合わせであってもよい。画像センサ１５０Ａ，１５０Ｂは、医療器具１１０のシャフト１２０の先端１２２における周囲環境の生画像（例えば、デジタル画像）または他の感知データを捕捉するように構成されるとともに動作可能であり得る。いくつかの実施形態において、画像センサ１５０Ａ，１５０Ｂは、１つまたは複数の画像センサ、例えば、ＲＧＢ（すなわち、赤－緑－青）デジタルセンサ、ＲＧＢ－Ｉｒ（すなわち、赤－緑－青－赤外線）デジタルセンサ、モノクロセンサなどを含み得る。画像センサ１５０Ａ，１５０Ｂは、白色光、紫外光、近赤外光、および／または可視スペクトル内または可視スペクトルを超える他の波長のものから色をフィルタリングするための１つまたは複数の構成要素を含み得る。１つまたは複数の光源１３０は、白色光、カラー光（例えば、赤色、青色、および緑色）、紫外光、近赤外（ＮＩＲ）光、および／または可視スペクトル内若しくは可視スペクトルを超える様々な他の波長のものを放射するように構成され得る。１つまたは複数の光源１３０は、１つまたは複数の発光ダイオード（以下、ＬＥＤ）であってよい。また、医療器具１１０の画像センサ１５０Ａ，１５０Ｂは、例えば、有線接続１１８や無線接続などを介して、医療システム１００の画像処理デバイス１０１に通信可能に結合され得る。

【0016】

一実施形態において、画像センサ１５０Ａ，１５０Ｂは、１つまたは複数の光センサアレイ（図示せず）を含むことができ、１つまたは複数の光センサアレイは、その光センサアレイによって受け取られた光ビームを電流に変換するように構成され得るとともに動作可能とされ得る。例えば、画像センサ１５０Ａ，１５０Ｂ上に配置された１つまたは複数のフォトセンサアレイは、受光された光からの光子がその１つまたは複数のフォトセンサアレイ上に配置された複数のフォトサイト（図示せず）によって吸収されるときに電流を生成し得る。また、複数のフォトサイトの各々は、１つまたは複数のフォトセンサアレイの表面に沿ったそのフォトサイトの位置で入射光の異なる波長を受け取り、捕捉し、吸収するように動作可能とされ得る。したがって、複数のフォトサイトは入射光を捕捉して電気信号を生成することができ、この電気信号は定量化され、結果として得られる処理画像ファイルに数値として記憶される。１つまたは複数の光センサアレイは、種々の適切な形状、サイズ、および／または構成を含み得ることが理解され得る。

【0017】

いくつかの実施形態において、画像処理デバイス１０１のメモリ１０３（例えば、撮像ロジック１０４、サブブロック生成ロジック１０５、ヒストグラム強調ロジック１０６、およびサブブロック予測ロジック１０７）は、ビデオ画像フレームを強調するために、コントラスト制限適応ヒストグラム均等化（ＣＬＡＨＥ：contrast limited adaptive histogram equalization）アルゴリズムを含み得る。ＣＬＡＨＥは、隣接画素間の差が小さい画像領域において輝度と色の両方のコントラストを強調する画像処理アルゴリズムである。その結果、強調された細部は、医師によってより良好に検出および診断され得る。実施形態において、ＣＬＡＨＥを使用する医療器具１１０（例えば、内視鏡）は、腸壁上のポリープまたは血管の強調画像を提供し得る。実施形態において、これらの画像は、医療器具１１０の画像センサ１５０Ａおよび／または画像センサ１５０Ｂによって捕捉されたリアルタイムビデオ画像フレームである。

【0018】

図１を引き続き参照すると、サブブロック生成ロジック１０５は、医療システム１００が例えば画像センサ１５０Ａおよび／または画像センサ１５０Ｂによって捕捉された１つまたは複数の画像フレームを分割することによって複数のサブブロック（またはタイル）を生成することを可能にする実行可能命令またはアルゴリズムを含み得る。一実施形態において、サブブロック生成ロジック１０５は、複数のサブブロックの各々について最良適合サイズを決定するために１つまたは複数の反復動作を実行し得る。ヒストグラム強調ロジック１０６は、医療システム１００が例えばサブブロック生成ロジック１０５によって生成された複数のサブブロックの各々について１つまたは複数のヒストグラムを生成することを可能にする実行可能命令またはアルゴリズム（例えば、ＣＬＡＨＥ）を含み得る。１つまたは複数のヒストグラムは、複数のサブブロックの画像における強度（またはグレースケール）の値の発生のカウントを表し得る。また、ヒストグラム強調ロジック１０６は、１つまたは複数の画像フレームにおける様々な特徴を強調するために、複数のサブブロックの各々に対して生成された１つまたは複数のヒストグラムをクリッピングするための１つまたは複数のクリッピング閾値レベルを決定し得る。一実施形態において、ヒストグラム強調ロジック１０６は、画像を歪ませることなく１つまたは複数の画像フレームを強調するための最良のクリッピング閾値レベルを決定するために１つまたは複数の反復動作を実行し得る。さらに、ヒストグラム強調ロジック１０６は、医療システム１００がビデオ画像ストリームを生成するために例えばヒストグラム強調画像をマッピングするとともに補間を実行して強調画像フレームをレンダリングすることを可能にする実行可能命令またはアルゴリズム（例えば、ＣＬＡＨＥ）を含み得る。

【0019】

図１を引き続き参照すると、サブブロック予測ロジック１０７は、医療システム１００が例えば関心領域（または標的特徴）を含有する画像フレームの１つまたは複数のサブブロックを予測および／または識別することを可能にする実行可能命令またはアルゴリズムを含み得る。サブブロック予測ロジック１０７によって識別された１つまたは複数のサブブロックは、サブブロック生成ロジック１０５によって生成された複数のサブブロックの画像を変換するために利用され得る。複数のサブブロックの画像は、１つまたは複数の固定曲線またはグラフに関連付けられた１つまたは複数のルックアップテーブルに基づいて変換され得る。１つまたは複数の固定曲線またはグラフは、例えば、対数曲線、累乗曲線、Ｓ曲線、Ｊ曲線、区分線形曲線（piece-wise linear curve）などを含み得る。サブブロック予測ロジック１０７は、１つまたは複数の固定曲線またはグラフ（またはルックアップテーブル曲線）のうちの１つを、ヒストグラム強調ロジック１０６によって生成されたヒストグラムのうちの少なくとも１つに割り当てる（または選択する）ことができる。ヒストグラムへのルックアップテーブル曲線の割り当ては、複数のサブブロックの画像のヒストグラムにおけるグレースケール値の分布に依存し得る。ヒストグラム強調ロジック１０６は、割り当てられたルックアップテーブル曲線を利用して、画像センサ１５０Ａ，１５０Ｂによって取り込まれた画像のコントラスト強調を実行し得る。

【0020】

図１を引き続き参照すると、サブブロック予測ロジック１０７は、サブブロック生成ロジック１０５によって生成されたサブブロック内の画像の導関数を利用することもできる。画像の導関数は、サブブロックの画像中のエッジの場所（または位置）を識別およびマッピングするために利用され得る。次いで、サブブロック予測ロジック１０７は、サブブロックの画像中のエッジの場所に基づいて、サブブロックの画像における１つまたは複数の関心領域を予測および／または識別し得る。次いで、ヒストグラム強調ロジック１０６は、識別された関心領域を利用して、本開示のコントラスト強調を実行し得る。

【0021】

いくつかの実施形態において、撮像ロジック１０４、サブブロック生成ロジック１０５、ヒストグラム強調ロジック１０６、および／またはサブブロック予測ロジック１０７は、医療システム１００がユーザ入力を必要とせずに自動的に標的部位の周期的画像処理を実行することを可能にする実行可能命令およびアルゴリズムを含み得る。他の実施形態では、画像処理デバイス１０１は、例えば画像処理デバイス１０１のユーザインターフェース１０８から、標的部位の画像処理を開始するためのユーザ入力を受信するように構成され得る。いくつかの実施形態において、ユーザインターフェース１０８は画像処理デバイス１０１と一体のデバイスであってよく、他の実施形態においては、ユーザインターフェース１０８は、医療器具１１０上のスイッチ、ボタン、または他の入力を含む画像処理デバイス１０１と（例えば、無線、有線などにより）通信する遠隔デバイスであってもよいことが理解され得る。

【0022】

医療システム１００の動作をサポートする種々のプログラミングアルゴリズムおよびデータがメモリ１０３内に全体的にまたは部分的に存在し得ることが理解され得る。メモリ１０３は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードドライブ、および／または機械可読命令を記憶することができる任意のデバイスなど、データおよびアルゴリズムを記憶するのに適した任意のタイプのコンピュータ可読媒体を含み得る。メモリ１０３は、医療システム１００の１つまたは複数の構成要素（例えば、医療器具１１０、医療デバイス１４０など）からの画像データ（ただし、これに限定されない）を含む１つまたは複数のデータセットを含み得る。

【0023】

図１を引き続き参照すると、医療器具１１０は、例えば、医療デバイス１４０などの対象（例えば、患者）に対する医療システム１００の１つまたは複数の構成要素の位置付けを容易にするように構成され得る。いくつかの実施形態において、医療器具１１０は、任意のタイプの内視鏡、十二指腸鏡、胃鏡、結腸鏡、尿管鏡、気管支鏡、カテーテル、または他の送達システムであってよく、ハンドル１１２、作動機構１１４、少なくとも１つのポート１１６、およびシャフト１２０を含み得る。医療器具１１０のハンドル１１２は、医療システム１００の１つまたは複数の他の構成要素の管腔（複数可）と連通する１つまたは複数の管腔（図示せず）を有し得る。ハンドル１１２はさらに、ハンドル１１２の１つまたは複数の管腔内に開口する少なくとも１つのポート１１６を含む。本明細書でさらに詳細に説明されるように、少なくとも１つのポート１１６は、それを通じて例えば医療システム１００の医療デバイス１４０などの１つまたは複数の器具を受容するようにサイズ決定および形状決定されている。

【0024】

医療器具１１０のシャフト１２０は、十分な可撓性を有するチューブを含み、シャフト１２０が対象の蛇行した解剖学的構造内におよび／またはそれを通じて標的治療部位に挿入されるときに選択的に屈曲、回転、および／または捻れるように構成され得る。シャフト１２０は、シャフト１２０内に延在する１つまたは複数の管腔（図示せず）を有し得る。この管腔は、例えば、器具（例えば、医療デバイス１４０）を受容するための作業管腔を含む。他の実施例においては、シャフト１２０は、１つまたは複数の遠位部分／ツール（例えば、関節継手、エレベータなど）を作動させるための１つまたは複数の制御ワイヤを受容するための制御ワイヤ管腔、流体を送達するための流体管腔、照明アセンブリ（図示せず）の少なくとも一部を受容するための照明管腔、および／または撮像アセンブリ（図示せず）の少なくとも一部を受容するための撮像管腔などの付加的管腔を含み得る。

【0025】

図１を引き続き参照すると、医療器具１１０はさらに、シャフト１２０の遠位端に先端１２２を含み得る。いくつかの実施形態において、先端１２２は、シャフト１２０の遠位端に取り付けられ得るが、他の実施形態においては、先端１２２は、シャフト１２０と一体であってもよい。例えば、先端１２２は、シャフト１２０の遠位端を内部に受容するように構成されたキャップを含み得る。先端１２２は、シャフト１２０の１つまたは複数の管腔と連通する１つまたは複数の開口部を含み得る。例えば、先端１２２は、医療デバイス１４０がシャフト１２０の作業管腔から出ることができる作業開口部１２３を含み得る。なお、シャフト１２０の先端１２２における他の１つまたは複数の開口部は示されていない。医療器具１１０の作動機構１１４は、ハンドル１１２上に位置し、ノブ、ボタン、レバー、スイッチ、および／または他の適切なアクチュエータを含み得る。作動機構１１４は、（例えば、制御ワイヤの作動を通して）シャフト１２０の少なくとも偏向を制御するように構成されている。

【0026】

医療システム１００の医療デバイス１４０は、医療デバイス１４０の近位端１４１と医療デバイス１４０の遠位端１４４との間に、長手方向本体１４２を有するカテーテルを含み得る。医療デバイス１４０の長手方向本体１４２は、可撓性を有し、医療デバイス１４０が医療器具１１０の作業管腔に挿入されるときに屈曲する、回転する、および／または捻れるように構成され得る。医療デバイス１４０は、長手方向本体１４２を移動させる、回転させる、および／または屈曲するように構成され得るハンドルを長手方向本体１４２の近位端１４１に含み得る。また、医療デバイス１４０の近位端１４１におけるハンドルは、医療デバイス１４０の長手方向本体１４２を通じて１つまたは複数のツールを受容するようにサイズ決定された１つまたは複数のポート（図示せず）を画定し得る。

【0027】

図１を引き続き参照すると、医療器具１１０は、少なくとも１つのポート１１６を経由し、作業管腔を介したシャフト１２０を通じて、先端１２２における作業開口部１２３まで、医療デバイス１４０を受容するように構成され得る。この例では、医療デバイス１４０は、作業開口部１２３から遠位に延出して、例えば、以下でさらに詳細に説明されるように、対象の標的治療部位などにおいて、先端１２２の周囲環境内に延在し得る。医療デバイス１４０の遠位端１４４は、シャフト１２０の作業管腔を通じた長手方向本体１４２の平行移動に応答して、先端１２２から遠位に延在し得る。医療デバイス１４０は、標的治療部位で１つまたは複数の動作を実施するために、長手方向本体１４２の遠位端１４４に１つまたは複数のエンドエフェクタ（図示せず）を含み得る。

【0028】

一実施形態において、医療器具１１０は、光ファイバ１４６への接続のために、医療器具１１０の管腔のうちの少なくとも１つを介したシャフト１２０を通じて１つまたは複数の光源１３０を受容するようにさらに構成され得る。この例では、１つまたは複数の光源１３０は、光源１３０が画像処理デバイスとは別個に（例えば、ケーブルを介して）医療器具１１０に結合されるように、画像処理デバイス１０１とは別個の構成要素として示されている。他の実施形態においては、光源１３０が画像処理デバイス１０１によって医療器具１１０に通信可能に結合され得るように、１つまたは複数の光源１３０が画像処理デバイス１０１上に含まれてもよいことが理解され得る。

【0029】

図１を引き続き参照すると、医療器具１１０の先端１２２は、当該先端１２２において光ファイバ１４６および画像センサ１５０Ａおよび／または画像センサ１５０Ｂを含み得る。一実施形態において、光ファイバ１４６は、１つまたは複数の光源１３０の各々が単一の光ファイバ１４６を通して光を伝送することができるように、医療システム１００の１つまたは複数の光源１３０に結合され得る。図示されていないが、複数の光源１３０は、ファイバスプリッタ／コンバイナを介して光ファイバ１４６に結合され得ることが理解され得る。医療器具１１０の光ファイバ１４６は、１つまたは複数の光源１３０からの様々な振幅の光を、シャフト１２０の先端１２２から遠位に送達するように構成され得るとともに動作可能とされ得る。いくつかの実施形態において、光ファイバ１４６は、白色光、紫外光、近赤外（ＮＩＲ）光、および／または可視スペクトル内または可視スペクトルを超える種々の他の波長のものを送達するように構成され得る。

【0030】

他の実施形態において、医療器具１１０は、図示されていないが、シャフト１２０の先端１２２にマルチカラーＬＥＤアセンブリを含み得る。マルチカラーＬＥＤアセンブリは、例えば、画像センサ１５０Ａおよび／または画像センサ１５０Ｂの周りに環状アレイで配置された１つまたは複数のＬＥＤを含み得る。ＬＥＤの各々は、互いに異なる光波長および／または振幅のものを送信するように構成され得るとともに動作可能とされ得る。異なる照明源は異なるスペクトル（例えば、赤色、緑色、および青色）を生成し得ることが理解され得る。

【0031】

他の実施形態において、本明細書でさらに説明されるように、画像センサ１５０Ａ，１５０Ｂは、入射光の色にかかわらず、画像センサ１５０Ａ，１５０Ｂの個々のピクセル位置においてすべての入射光を完全に捕捉するように構成され得るとともに動作可能とされ得る。

【0032】

図１を引き続き参照すると、医療システム１００の医療器具１１０は、先端１２２を標的部位に隣接して位置付けるように、対象の身体（図示せず）内に挿入され得る。例えば、シャフト１２０は、先端１２２を対象の身体の鼻または口（または他の適切な自然な身体開口部）の中に挿入することによって、対象（例えば、患者）の消化管を通じて誘導され、標的部位に到達するまで、対象の身体の胃腸管（例えば、食道、胃、小腸など）を移動し得る。シャフト１２０の長さは、医療器具１１０の近位端（ハンドル１１２を含む）が対象の外部にあり、医療器具１１０の先端１２２が対象の身体の内部にあるように十分とされ得ることが理解され得る。本開示は、対象の消化管における医療システム１００の使用に関するが、本開示の特徴は、対象の身体内の種々の他の場所（例えば、他の器官、組織など）において使用され得ることが理解され得る。

【0033】

図２は、本開示の実施形態による、サブブロック検出技術を利用してコントラスト強調画像を生成する例示的な画像強調プロセス２００を示す。図２の例示的な一実施形態において、画像センサ１５０Ａおよび／または画像センサ１５０Ｂは、シャフト１２０の先端１２２で光源１３０（または多色ＬＥＤアセンブリ）によって照明され得る対象（例えば、患者）の標的部位（例えば、食道、胃、小腸、他の臓器、組織、ポリープなど）において画像フレーム（例えば、生デジタル画像フレーム）を捕捉し得る。ヒストグラム強調ロジック１０６は、画像センサ１５０Ａおよび／または画像センサ１５０Ｂによって捕捉された画像フレームについて１つまたは複数のヒストグラム２０２を生成し得る。例えば、ヒストグラム強調ロジック１０６は、画像フレーム内の画素の強度（またはグレースケール）レベルを決定し、その画像フレーム内で決定された強度レベルの頻度に基づいて１つまたは複数のヒストグラム２０２を生成し得る。

【0034】

図２を引き続き参照すると、サブブロック予測ロジック１０７は、１つまたは複数の固定の変換ルックアップテーブル曲線２０４（またはルックアップテーブル曲線２０４）を１つまたは複数のヒストグラム２０２に割り当て（または選択または適合させ）得る。ルックアップテーブル曲線２０４は、１つまたは複数の適応アルゴリズム（例えば、機械学習）に基づいて予め決定され得るおよび／または動的に決定され得る。一実施形態において、ルックアップテーブル曲線２０４は、１つまたは複数のヒストグラム２０２における強度レベルの頻度の分布特性（または形状）に基づいて選択され得るとともに、１つまたは複数のヒストグラム２０２に適合させられ得る。例えば、サブブロック予測ロジック１０７は、１）二峰性分布特性を有するヒストグラムには区分的曲線２０６を割り当て、２）大部分が左にシフトされた（例えば、暗シフトされた）分布特性を有するヒストグラムには対数またはＮ乗ルート曲線２０８を割り当て、３）相対的に右にシフトされた（例えば、明シフトされた）分布特性を有するヒストグラムには逆対数またはＮ乗曲線２１０を割り当て、４）相対的に中央に分布を有する（例えば、混合された）ヒストグラムにはＳ曲線２１２を割り当て得る。勿論、ヒストグラム２０２の他の分布特性に基づいて他のルックアップテーブル曲線が割り当てられてもよい。サブブロック予測ロジック１０７は、画像センサ１５０Ａおよび／または画像センサ１５０Ｂによって捕捉された各画像フレームのルックアップテーブル曲線２０４と適合させられた１つまたは複数のヒストグラム２０２の情報（またはデータ）を記憶し得る。サブブロック予測ロジック１０７は、画像フレーム内の関心領域（またはターゲット特徴）を迅速に予測するために、現在の画像フレームのヒストグラムに割り当てられたルックアップテーブル曲線２０４を、先の画像フレームのヒストグラムに割り当てられたルックアップテーブル曲線２０４と比較し得る。

【0035】

図２を引き続き参照すると、ヒストグラム強調ロジック１０６は、サブブロック予測ロジック１０７によって予測された関心領域（またはターゲット特徴）を含むサブブロックについてのヒストグラムの累積分布関数（ＣＤＦ：cumulative distribution function）を導出し得る。次いで、ヒストグラム強調ロジック１０６は、ＣＤＦに基づいてピクセル強度レベルを再分配することによって、予測された関心領域を含むサブブロックの均等化ヒストグラム２１６を生成し得る。また、ヒストグラム強調ロジック１０６は、均等化ヒストグラム２１６を生成するために、ヒストグラム２０２に割り当てられたルックアップテーブル曲線２０４を利用し得る。すなわち、ヒストグラム強調ロジック１０６は、ルックアップテーブル曲線の値をヒストグラム２０２に直接適用して均等化ヒストグラム２１６を生成することができ、これにより、累積分布関数を導出するために必要とされ得る時間量を低減することができる。いくつかの実施形態において、均等化ヒストグラム２１６は、非常に集中したピクセル強度領域（１つまたは複数）のコントラストレベルを過度に増幅する場合があり、それによってノイズを増幅させる場合がある。したがって、ヒストグラム強調ロジック１０６は、均等化ヒストグラム２１６を所定のクリッピング閾値レベルでクリッピングすることによって、コントラストレベルの過剰増幅を制限することができる。例えば、ヒストグラム強調ロジック１０６は、所定のクリッピング閾値レベルを超える強度値を、クリッピングされたヒストグラムの底部に再分配し得る。いくつかの例では、クリッピング閾値レベルを上回る強度値の再分配は、過剰な強度値をもたらし得る。しかしながら、強度値の再分配は、過剰な強度値が無視できるようになるまで繰り返され得る。

【0036】

図３Ａおよび図３Ｂは、本開示の一実施例による例示的なビデオ画像強調プロセス３００Ａ，３００Ｂを示す。図３Ａの一つの例示的な実施形態において、画像センサ１５０Ａは、図２を参照して説明した方法と同様な方法で、標的部位において画像フレーム３０２（例えば、生デジタル画像フレーム）を捕捉し得る。画像センサ１５０Ａは、管腔内を移動する前向き画像センサであってよい。サブブロック生成ロジック１０５は、画像フレーム３０２のサブブロックの数および／またはサイズを決定し得る。例えば、サブブロック生成ロジック１０５が画像フレーム３０２を受信すると、サブブロック生成ロジック１０５は、画像フレーム３０２を複数のサブブロックに（例えば、４×４サブブロック行列に）分割し得る。サブブロック生成ロジック１０５は、１つまたは複数の反復動作を行うことで、画像フレーム３０２内の１つまたは複数の特徴を強調および強化するための理想的なサブブロックサイズを決定し得る。画像フレーム３０２は、画像フレーム３０２内の特徴の均質性に基づいて複数のサブブロックに分割され得る。すなわち、サブブロック生成ロジック１０５は、画像フレーム３０２内の特徴の色および／または強度の量の著しい変化に基づいて、画像フレーム３０２のサブブロックの適切なサイズを決定し得る。画像フレーム３０２内の１つまたは複数の特徴の強調は、より高いコントラストを提供することによって、例えば、微光画像を改善することができる。すなわち、画像フレーム３０２内の改善された特徴は、診断および／または適用される治療のために標的部位内で医療器具１１０を誘導しながら、管腔内のより良好な視覚的深度および／または腸壁の血管構造内のより良好な画定を提供し得る。

【0037】

図３Ａを引き続き参照すると、ヒストグラム強調ロジック１０６は、図２を参照して説明したのと同様に、複数のヒストグラム、例えば、ヒストグラム３１１ａ～３１４ａ、３２１ａ～３２４ａ、３３１ａ～３３４ａ、および３４１ａ～３４４ａを生成し得る。例えば、ヒストグラム強調ロジック１０６は、画像フレーム３０２の各サブブロック中のピクセルの強度（またはグレースケール）レベルの頻度を決定し、複数のヒストグラム３１１ａ～３４４ａを生成し得る。ヒストグラム３１１ａ～３１４ａは、画像フレーム３０２の第１の行内のサブブロックの画像特徴に基づいて生成され得る。ヒストグラム３２１ａ～３２４ａは、画像フレーム３０２の第２の行内のサブブロックの画像特徴に基づいて生成され得る。ヒストグラム３３１ａ～３３４ａは、画像フレーム３０２の第３の行内のサブブロックの画像特徴に基づいて生成され得る。ヒストグラム３４１ａ～３４４ａは、画像フレーム３０２の第４の行内のサブブロックの画像特徴に基づいて生成され得る。図３Ａには４×４のサブブロック行列が示されているが、画像フレーム３０２の行列内のサブブロックの数は、例えば、画像フレーム３０２内の特徴の色および／または強度の量にしたがって変化し得る。次いで、サブブロック予測ロジック１０７は、図３Ｂに示されるように、ヒストグラム３１１ａ～３４４ａの各々についてルックアップテーブル曲線を決定し得る。

【0038】

図３Ｂを参照すると、サブブロック予測ロジック１０７は、ルックアップテーブル曲線３１１ｂ～３４４ｂをヒストグラム３１１ａ～３４４ａの各々に割り当て得る。サブブロック予測ロジック１０７は、特定の特性（または形状）を有するヒストグラムを特定のタイプのルックアップテーブル曲線とマッチングするための１つまたは複数のアルゴリズムを含み得る。例えば、画像フレーム３０２の第１の行のサブブロックにおいて、ヒストグラム３１１ａは、ルックアップテーブル曲線３１１ｂに割り当てられ得る（または適合させられ得る）。ルックアップテーブル曲線３１１ｂは、区分線形曲線であり得る。ヒストグラム３１２ａは、ルックアップテーブル曲線３１２ｂに割り当てられ得る。ルックアップテーブル曲線３１２ｂは、Ｓ字曲線であり得る。ヒストグラム３１３ａは、ルックアップテーブル曲線３１３ｂに割り当てられ得る。ルックアップテーブル曲線３１３ｂは、Ｓ字曲線であり得る。ヒストグラム３１４ａは、ルックアップテーブル曲線３１４ｂに割り当てられ得る。ルックアップテーブル曲線３１４ｂは、区分線形曲線であり得る。したがって、画像フレーム３０２の複数のサブブロックのヒストグラム３２１ａ～３４４ａは、上記で説明したヒストグラム３１１ａ～３１４ａを参照した方法と同様の方法で、ルックアップテーブル曲線３２１ｂ～３４４ｂに割り当てられ得る。ルックアップテーブル曲線３２１ｂ～３４４ｂは、例えば、対数曲線、累乗曲線、Ｓ曲線、Ｊ曲線、区分線形曲線などを含み得る。

【0039】

図３Ａおよび図３Ｂを引き続き参照すると、サブブロック予測ロジック１０７は、画像センサ１０５Ａによって捕捉された各画像フレームに対してプロセス３００Ａ，３００Ｂを繰り返し得る。すなわち、サブブロック予測ロジック１０７は、画像センサ１０５Ａによって捕捉された各画像フレームの各サブブロックのヒストグラムにルックアップテーブル曲線（例えば、３１１ｂ～３４４ｂ）を割り当て得る。次いで、ヒストグラム強調ロジック１０６は、サブブロックのヒストグラムに割り当てられた割当てルックアップテーブル曲線に関連する情報またはデータを利用して、捕捉された画像フレームにおける変化を予測または識別し得る。例えば、管腔内を前向き方向に移動する画像センサ１５０Ａは、１つのフレームから次のフレームまで大きく変化しない可能性があるヒストグラムプロファイルを含む画像を捕捉し得る。したがって、ヒストグラム強調ロジック１０６は、１つのフレームから次のフレームに割り当てられたルックアップテーブル曲線における差異および類似性を分析することによって、画像フレームにおける変化を迅速に検出または識別することができる。次いで、ヒストグラム強調ロジック１０６は、検出された変化を利用して、関心領域を含むサブブロックに関連付けられたヒストグラムを均等化し、本開示の実施形態によるコントラスト強調を実行し得る。

【0040】

図４Ａおよび図４Ｂは、本開示の実施形態による、導関数を使用したサブブロック予測（または低減）技術を利用してコントラスト強調ビデオ画像ストリームを生成する、例示的なビデオ画像強調プロセス４００Ａ，４００Ｂを示す。例えば、画像フレーム内のどこで変化が最も生じているかを迅速に決定するために、画像フレームの第１および第２の導関数が利用され得る。画像フレームの第１および第２の導関数は、画像フレーム内の特徴のエッジが画像フレームの複数のサブブロック内のどこに位置し得るかをマッピングするために利用され得る。一実施形態において、画像フレームの第１の特徴４０２は、第１の暗部４０２ｃ、明部４０２ｂ、および第２の暗部４０２ａを含み得る。画像フレームの第２の特徴４０４は、第１の明部４０４ａ、暗部４０４ｂ、および第２の明部４０４ｃを含み得る。ステップ４１０において、サブブロック予測ロジック１０７は、第１の特徴４０２および第２の特徴４０４にそれぞれ基づいて強度プロファイル４１２，４１４を決定し得る。強度プロファイル４１２，４１４は、第１および第２の特徴４０２，４０４における２つの異なる領域間の境界を識別し得る。ステップ４２０において、サブブロック予測ロジック１０７は、強度プロファイル４１２，４１４の第１の導関数４２２，４２４をそれぞれ計算し得る。第１の導関数４２２，４２４は、第１の特徴４０２および第２の特徴４０４の極大値および極小値を検出し得る。ステップ４３０において、サブブロック予測ロジック１０７は、強度プロファイル４１２，４１４の第２の導関数４３２，４３４をそれぞれ計算し得る。第２の導関数４３２，４３４は、強度プロファイル４１２，４１４のゼロ交差（例えば、最も明るいおよび最も暗い）コントラストを識別し得る。第１の導関数４２２，４２４および第２の導関数４３２，４３４は、１）グレースケール変換された画像、２）ＹＣｂＣｒ画像（すなわち、輝度、青色差クロマ成分、および赤色差クロマ成分を有する画像）のＹ（輝度）チャネル、または３）代表的な近似として色チャネルを使用すること（典型的な画像センサは緑色チャネルで最も感度が高いため、緑色チャネルを選択することが好ましい場合がある）に基づいて計算され得る。いくつかの実施形態において、赤色チャネル（解剖学的部分の典型的な陰影）は第１の導関数４２２，４２４および第２の導関数４３２，４３４を計算するために利用され得る。第１の導関数４２２，４２４および第２の導関数４３２，４３４は、サブブロック予測ロジック１０７により利用され、修正を必要とするサブブロックのみを識別し、関心領域のみを追跡して、有限サブブロックコントラスト強調を実行することができる。

【0041】

図４Ｂを参照すると、例示的なビデオ画像強調プロセス４００Ｂは、修正を必要とするサブブロックのみをマッピングするために、プロセス４００Ａを参照して導出された第１および第２の導関数を利用し得る。図４Ｂの一つの例示的な実施形態において、画像センサ１５０Ｂ（例えば、横向き画像センサ）は、シャフト１２０の先端１２２で光源１３０（または多色ＬＥＤアセンブリ）によって照明され得る対象（例えば、患者）の標的部位（例えば、食道、胃、小腸、他の器官、組織、ポリープなど）において画像フレーム（例えば、生デジタル画像フレーム）を捕捉し得る。側視画像センサの性質に起因して、横向き画像センサ（例えば、画像センサ１５０Ｂ）によって検出される画像は、あるフレームから次のフレームにかけて大きく変化し得る。例えば、ステップ４４０において、画像センサ１５０Ｂは、第１の画像フレーム４４２および第２の画像フレーム４４４を捕捉し得る。第１の画像フレーム４４２は、図２、図３Ａ、および図３Ｂにおいて説明したプロセスにしたがって、サブブロック生成ロジック１０５およびヒストグラム強調ロジック１０６によって決定された第１のターゲットサブブロック場所４４５ａを含み得る。第２の画像フレーム４４４は、図２、図３Ａ、および図３Ｂにおいて説明したプロセスにしたがって、サブブロック生成ロジック１０５およびヒストグラム強調ロジック１０６によって決定された第２のターゲットサブブロック場所４４５ｂを含み得る。

【0042】

図４Ｂを引き続き参照すると、ステップ４５０において、サブブロック予測ロジック１０７は、第１の画像フレーム４４２の第１の導関数フレーム４５２および第２の画像フレーム４４４の第１の導関数フレーム４５４を計算および生成し得る。ステップ４６０において、サブブロック予測ロジック１０７は、第１の画像フレーム４４２の第２の導関数フレーム４６２および第２の画像フレーム４４４の第２の導関数フレーム４６４を計算および生成し得る。一実施形態において、サブブロック予測ロジック１０７は、次いで、第１の画像フレーム４４２の第１の導関数フレーム４５２および／または第２の導関数フレーム４６２内の特徴のエッジを識別し得る。また、サブブロック予測ロジック１０７は、第２の画像フレーム４４４の第１の導関数フレーム４５４および／または第２の導関数フレーム４６４内の特徴のエッジを識別し得る。さらに、サブブロック予測ロジック１０７は、第１の導関数フレーム４５２および／または第２の導関数フレーム４６２内の第１のターゲットサブブロック場所４４５ａ内における関心領域または特徴を識別し得る。サブブロック予測ロジック１０７は、次いで、第２の画像フレーム４４４の第１の導関数フレーム４５４および／または第２の導関数フレーム４６４内の第２のターゲットサブブロック場所４４５ｂを識別または決定し得る。第２のターゲットサブブロック場所４４５ｂは、第１の導関数フレーム４５２および／または第２の導関数フレーム４６４の第１のターゲットサブブロック場所４４５ａ内のエッジと、第２の画像フレーム４４４の第１の導関数フレーム４５２および／または第２の導関数フレーム４６２内のエッジとの間の類似性および差異を識別することによって決定され得る。サブブロック予測ロジック１０７は、各フレームにおいて決定された第１および第２の導関数データを利用して、後続のフレームの第１および第２の導関数データと連続的に比較し得る。この技術は、本開示の実施形態にしたがってコントラスト強調を実行するための関心領域を迅速に識別し追跡することができる。例えば、第１の導関数データは、画像の極大値および極小値を検出することによってエッジ検出（重要な特徴がフレームごとに追跡され得る）の示唆を示し得る。次いで、第２の導関数データは、検出されたエッジのゼロ交差（エッジが最も明るいものから最も暗いものになる）を強調表示し得る。したがって、ヒストグラム強調ロジック１０６は、図４Ａおよび図４Ｂにおいて開示されるターゲットサブブロック識別および追跡プロセスを利用することによって、本開示のコントラスト強調を実行するための全体的な処理時間を低減し得る。

【0043】

図５は、図２、図３Ａ～図３Ｂ、および図４Ａ～図４Ｂに開示されたプロセスにしたがってサブブロック予測および追跡技術を利用することによってリアルタイムビデオ画像ストリームの画像フレームを強調するための例示的なプロセス５００を示す。この例示的なプロセスは、画像フレームのターゲットサブブロック内の関心のある領域または特徴を決定するために必要とされる時間量を大幅に低減し得る。したがって、例示的なプロセス５００は、リアルタイムビデオ画像ストリームを処理および表示する際の遅延を低減することができる。

【0044】

図５を引き続き参照すると、ステップ５０２において、サブブロック生成ロジック１０５は、画像センサ１５０Ａおよび／または画像センサ１５０Ｂから１つまたは複数の入力画像フレーム（例えば、生デジタル画像フレーム）を受信し得る。ステップ５０４において、サブブロック生成ロジック１０５は、先の画像フレームのサブブロック行列に基づいて現在の画像フレームを分割し得る。すなわち、サブブロック生成ロジック１０５は、現在の画像フレームに対するサブブロックサイズ決定プロセスを、前のフレームの所定のサブブロックサイズを用いて開始し得る。一実施形態では、ステップ５０６において、サブブロック予測ロジック１０７は、１つまたは複数のルックアップテーブル曲線（例えば、ルックアップテーブル曲線２０４）を先の画像フレームのサブブロック行列に割り当て得る。さらに、サブブロック予測ロジック１０７は、先のサブブロック行列の第１の導関数および第２の導関数を計算し得る。次いで、サブブロック生成ロジック１０５は、割り当てられたルックアップテーブル曲線および／またはサブブロック行列の第１の導関数および第２の導関数を利用して、現在の画像フレームのサブブロック行列のサイズを決定し得る。

【0045】

ステップ５０８において、サブブロック生成ロジック１０５は、先の画像フレームのサブブロック行列のサイズまたはサブブロック生成ロジック１０５によって生成された別のサブブロック行列のサイズが、現在の画像フレームの所望の特徴を強調するのに適しているかどうかを判定し得る。先の画像フレームのサブブロック行列のサブブロックのサイズが適切でない場合、ステップ５０４において、サブブロック生成ロジック１０５は、追加の反復動作を実行することによって現在の画像を異なるサイズのサブブロックに分割し得る。例えば、サブブロック生成ロジック１０５は、現在の画像フレームの特徴を強調するための適切なサイズがステップ５０８において決定されるまで、現在の画像フレームのための１つまたは複数のサブブロック行列を生成し得る。このステップでは、サブブロック生成ロジック１０５は、先のサブブロック行列を決定するために複数の反復動作をすでに実行している可能性があるので、現在の画像フレームのサブブロック行列の適切なサイズを決定するための処理時間を大幅に短縮することができる。加えて、ルックアップテーブル曲線ならびに先のフレームの第１の導関数および第２の導関数に関連付けられた情報またはデータは、現在の画像フレームのサブブロック行列の適切なサイズを決定するための処理時間をさらに短縮することができる。

【0046】

図５を引き続き参照すると、ステップ５０８において、現在の画像フレームのサブブロック行列のサイズが適切であると判定すると、ステップ５１０において、ヒストグラム強調ロジック１０６は、現在の画像フレームのサブブロック行列の各サブブロック（または領域）についてヒストグラムを生成し得る。例えば、ヒストグラム強調ロジック１０６は、サブブロック生成ロジックによって生成されたサブブロックの各々についてヒストグラムを生成し得る。次いで、ヒストグラム強調ロジック１０６は、現在の画像フレームのターゲットサブブロックに対応する累積分布関数（ＣＤＦ）を決定することによって、ターゲットサブブロックの均等化ヒストグラムを生成し得る。一実施形態において、サブブロック予測ロジック１０７は、１つまたは複数のルックアップテーブル曲線（例えば、ルックアップテーブル曲線２０４）を、各画像フレームのサブブロックのヒストグラムおよび／または第１および第２の導関数に割り当て得る。次いで、ヒストグラム強調ロジック１０６は、割り当てられたルックアップテーブル曲線および／または第１および第２の導関数に関連付けられた情報またはデータを利用して、先の画像フレームのターゲットサブブロックに基づいて現在の画像フレームのターゲットサブブロックを予測および／または追跡し得る。

【0047】

ステップ５１２において、ヒストグラム強調ロジック１０６は、先のフレームのクリッピング閾値レベルに基づいて決定されたクリッピング閾値レベルでヒストグラムをクリッピングし得る。一実施形態において、ヒストグラム強調ロジック１０６は、適切なクリッピング閾値レベルを決定するために、先の画像フレームの第１の導関数および第２の導関数に関連する情報を利用し得る。ステップ５１４において、ヒストグラム強調ロジック１０６は、クリッピングされたヒストグラムが現在の画像フレームの所望の特徴を強調するのに適しているか否かを判定し得る。所定のクリッピング閾値レベルでクリッピングされたヒストグラムが適切でない場合、ステップ５１２において、ヒストグラム強調ロジック１０６は、追加の反復動作を実行し得る。例えば、ヒストグラム強調ロジック１０６は、現在の画像フレームの所望の特徴を強調するための適切なクリッピング閾値レベルがステップ５１４において決定されるまで、現在の画像フレームについて１つまたは複数の異なるクリッピング閾値レベルを生成し得る。このステップでは、ヒストグラム強調ロジック１０６は、先のフレームのクリッピング閾値レベルを決定するために複数の反復動作をすでに実行している可能性があるので、現在の画像フレームの適切なクリッピング閾値レベルを決定するための処理時間を大幅に短縮することができる。加えて、先のフレームの第１および第２の導関数に関連する情報またはデータは、適切なクリッピング閾値レベルを決定するための処理時間をさらに短縮することができる。

【0048】

図５を引き続き参照すると、ステップ５１４において適切なクリッピング閾値レベルを決定すると、ヒストグラム強調ロジック１０６は、ステップ５１６において、クリッピングされたヒストグラムから得られた画素データをマッピングして、現在の画像フレームに対する強調された画像フレームを生成し得る。例えば、ヒストグラム強調ロジック１０６は、クリッピングされたヒストグラムから得られたピクセル強度値を現在の画像フレームの各ピクセルに割り当て得る。次いで、ヒストグラム強調ロジック１０６は、マッピング処理に基づいて生成された強調画像フレームに１つまたは複数の補間関数を適用し得る。一実施形態において、ヒストグラム強調ロジック１０６は、強調画像フレームの各サブブロック内の各画素の位置に基づいて、強調画像フレームの１つまたは複数の画素を補間し得る。ステップ５１８において、ヒストグラム強調ロジック１０６は、補間適用された強調画像フレームを撮像ロジック１０４に出力して、強調画像フレームに基づいて強調リアルタイム画像ストリームを生成し得る。

【0049】

図６は、ビデオ画像ストリームの画像フレームを強調するための例示的な方法６００のフロー図を示す。ステップ６０２において、サブブロック生成ロジック１０５は、１つまたは複数の画像センサから第１の画像フレームと第２の画像フレームとを受信し得る。一実施形態において、１つまたは複数の画像センサは、前向き画像センサおよび／または横向き画像センサを備え得る。ステップ６０４において、サブブロック生成ロジック１０５は、第１の画像フレームを分割することによって複数の第１の画像サブブロックを生成し得る。ステップ６０６において、サブブロック予測ロジック１０７は、１つまたは複数のルックアップテーブルに基づいて、少なくとも１つの曲線を複数の第１の画像サブブロックに関連付け得る。一実施形態において、少なくとも１つの曲線は、対数曲線、累乗曲線、Ｓ曲線、Ｊ曲線、または区分線形曲線を含み得る。

【0050】

ステップ６０８において、サブブロック予測ロジック１０７は、複数の第１の画像サブブロックのうちの少なくとも１つにおいてターゲットを識別し得る。ステップ６１０において、サブブロック生成ロジックは、複数の第２の画像サブブロックを生成し得る。一実施形態において、サブブロック生成ロジックは、複数の第１の画像サブブロックに基づいて第２の画像フレームを分割することによって複数の第２の画像サブブロックを生成し得る。ステップ６１２において、サブブロック予測ロジック１０７は、１つまたは複数のルックアップテーブルに基づいて、少なくとも１つの曲線を複数の第２の画像サブブロックに関連付け得る。一実施形態において、ヒストグラム強調ロジック１０６は、複数の第１の画像サブブロックおよび／または複数の第２の画像サブブロックの各々のヒストグラムデータを生成し得る。複数の第１の画像サブブロックの少なくとも１つの曲線および／または複数の第２の画像サブブロックの少なくとも１つの曲線は、複数の第１の画像サブブロックの各々および／または複数の第２の画像サブブロックの各々のヒストグラムデータに少なくとも基づいて決定され得る。また、複数の第１の画像サブブロックおよび／または複数の第２の画像サブブロックの各々のヒストグラムデータは、複数の第１の画像サブブロックおよび／または複数の第２の画像サブブロック内におけるターゲットに累積分布関数を少なくとも適用することによって生成され得る。

【0051】

ステップ６１４において、サブブロック予測ロジック１０７は、複数の第２の画像サブブロックのうちの少なくとも１つにおいてターゲットを識別し得る。一実施形態において、サブブロック予測ロジック１０７は、複数の第１の画像サブブロックの少なくとも１つの曲線および複数の第２の画像サブブロックの少なくとも１つの曲線に基づいて、複数の第２の画像サブブロックのうちの少なくとも１つにおけるターゲットを識別し得る。一実施形態において、サブブロック予測ロジック１０７は、複数の第１の画像サブブロックの少なくとも１つの曲線と複数の第２の画像サブブロックの少なくとも１つの曲線との間の類似性に基づいて、複数の第２の画像サブブロックのうちの少なくとも１つにおけるターゲットを予測し得る。別の実施形態において、サブブロック予測ロジック１０７は、複数の第１の画像サブブロックの１つまたは複数の導関数に基づいて第１のサブブロックデータを決定し得るとともに、複数の第２の画像サブブロックの１つまたは複数の導関数に基づいて第２のサブブロックデータを決定し得る。複数の第１の画像サブブロックおよび／または複数の第２の画像サブブロックの１つまたは複数の導関数は、グレースケール変換された画像および／またはカラー画像の１つまたは複数の導関数を備え得る。また、複数の第１の画像サブブロックの１つまたは複数の導関数および／または複数の第２の画像サブブロックの１つまたは複数の導関数は、第１の導関数と第２の導関数とを含み得る。一実施形態において、サブブロック予測ロジック１０７は、複数の第１の画像サブブロックの１つまたは複数の導関数と複数の第２の画像サブブロックの１つまたは複数の導関数との間の類似性に基づいて、複数の第２の画像サブブロックのうちの少なくとも１つにおけるターゲットの位置を特定し得る。複数の第１の画像サブブロックおよび／または複数の第２の画像サブブロックの１つまたは複数の導関数は、第２の導関数を含む。

【0052】

ステップ６１６において、ヒストグラム強調ロジック１０６は、複数の第１の画像サブブロックおよび複数の第２の画像サブブロックにおけるターゲットのヒストグラム強調画像を生成し得る。一実施形態において、ヒストグラム強調ロジック１０６は、複数の第１の画像サブブロックのうちの少なくとも１つにおけるターゲットのクリッピングレベルを決定し得る。複数の第１の画像サブブロックのうちの少なくとも１つにおけるターゲットのクリッピングレベルは、複数の第１の画像サブブロックの１つまたは複数の導関数に基づき得る。また、ヒストグラム強調ロジック１０６は、複数の第１の画像サブブロックのうちの少なくとも１つにおけるターゲットのクリッピングレベルと複数の第２の画像サブブロックの１つまたは複数の導関数とに少なくとも基づいて、複数の第２の画像サブブロックのうちの少なくとも１つにおけるターゲットのクリッピングレベルを決定し得る。また、ヒストグラム強調ロジック１０６は、複数の第１の画像サブブロックのうちの少なくとも１つにおけるターゲットのクリッピングレベルに基づいて、複数の第２の画像サブブロックのうちの少なくとも１つにおけるターゲットのクリッピングレベルを決定し得る。一実施形態において、ヒストグラム強調ロジック１０６は、１つまたは複数のルックアップテーブルに基づいて、複数の第１の画像サブブロックおよび／または複数の第２の画像サブブロックに対して区分的変換を実行し得る。

【0053】

ステップ６１８において、ヒストグラム強調ロジック１０６は、ターゲットのヒストグラム強調画像に基づいてビデオ画像ストリームを生成し得る。一実施形態において、ヒストグラム強調画像のフレームは、複数の第１の画像サブブロックおよび／または複数の第２の画像サブブロックの各々のヒストグラムデータを補間することによって生成され得る。

【0054】

画像処理デバイス１０１のプロセッサ１０２に通信可能に結合された医療システム１００のディスプレイ１０９を示す図１を再び参照すると、プロセッサ１０２は、図２、図３Ａ～図３Ｂ、図４Ａ～図４Ｂ、図５、および図６に示すプロセスおよび方法にしたがって生成された強調画像フレームを、医療システム１００のユーザが見るためにディスプレイ１０９に送信するように動作可能とされ得る。いくつかの実施例において、医療システム１００は、図２、図３Ａ～図３Ｂ、図４Ａ～図４Ｂ、図５、および図６に示され、本明細書で説明されるプロセスおよび方法を連続的に実行するように構成され得るとともに動作可能とされ得る。これにより、ディスプレイ１０９は、強調されたリアルタイムビデオ画像ストリームを出力して１つまたは複数の対象物体の連続的な（例えば、ライブ、リアルタイムなどの）画像を提供することができる。

【0055】

上述したシステム、デバイス、アセンブリ、および方法の各々は、画像フレームを強調して、強調されたリアルタイムビデオ画像ストリームを生成するために使用され得る。画像処理システムを含む医療デバイスを提供することによって、１つまたは複数の先の画像フレームのヒストグラム強調データを使用して、強調されたリアルタイムビデオ画像ストリームを生成することにより、ユーザは、処置中に対象内の標的部位の１つまたは複数の特徴および／または特性の視覚化を強調することができる。医療デバイスは、ユーザが標的部位の場所を正確に識別することを可能にし、それによって、全体的な処置時間を低減し、処置の効率を向上させ、標的治療部位内に標的物体を不正確に位置付けることによって引き起こされる対象の身体への不必要な害を回避し得る。

【0056】

本開示の範囲から逸脱することなく、開示されたデバイスおよび方法において様々な修正および変形が行われ得ることが当業者には明らかである。開示されるデバイスは、例えば、プロセッサおよび非一時的コンピュータ可読媒体などの複数のハードウェア構成要素を組み込む種々の好適なコンピュータシステムおよび／またはコンピューティングユニットを含み得る。それらは、デバイスが本明細書に記載されるものにしたがって処置中に１つまたは複数の動作を行うことを可能にすることが理解され得る。本開示の他の態様は、本明細書の検討および本明細書に開示される特徴の実施から当業者には明らかである。本明細書および実施例は例示的なものにすぎないと考えられることが意図されている。

【0057】

図１の画像処理デバイス１０１は、任意のコンピューティングデバイスであり得ることが理解され得る。また、画像処理デバイス１０１は、キーボード、マウス、タッチスクリーン、モニタ、ディスプレイなどの入力デバイスおよび出力デバイスと接続するための入力ポートおよび出力ポートを含み得る。勿論、処理負荷を分散させるために、様々なシステム機能はいくつかの同様のプラットフォーム上で分散方式にて実装されてもよい。代替として、システムは、１つのコンピュータハードウェアプラットフォームの適切なプログラミングによって実装されてもよい。

【0058】

一実施形態において、開示されるシステム、方法、および／またはグラフィカルユーザインターフェースのいずれかは、本明細書の説明と一致または類似するコンピューティングシステムによって実行または実装され得る。必須ではないが、本開示の態様は、データ処理デバイス、例えば、サーバコンピュータ、ワイヤレスデバイス、および／またはパーソナルコンピュータによって実行されるルーチンなど、コンピュータ実行可能命令の文脈において説明される。当業者は、本開示の態様が、他の通信、データ処理、またはコンピュータシステム構成を用いて実施され得ることを理解し得る。そのような他の通信、データ処理、またはコンピュータシステム構成には、インターネットアプライアンス、ハンドヘルドデバイス（携帯情報端末（「ＰＤＡ」）を含む）、ウェアラブルコンピュータ、任意の種類のセルラーまたはモバイルフォン（ボイスオーバＩＰ（「ＶｏＩＰ」）フォンを含む）、ダム端末、メディアプレーヤ、ゲームデバイス、仮想現実デバイス、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電化製品、セットトップボックス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどが含まれる。実際に、「コンピュータ」、「コンピューティングデバイス」などの用語は、本明細書では概して互換的に使用され、上記のデバイスおよびシステムのいずれか、ならびに任意のデータプロセッサを指す。

【0059】

本開示の態様は、本明細書で詳細に説明されるコンピュータ実行可能命令のうちの１つまたは複数を実行するように特にプログラムされ、構成され、および／または構築される専用コンピュータおよび／またはデータプロセッサにおいて具現化され得る。いくつかの機能などの本開示の態様は、単一のデバイス上で排他的に実行されるものとして説明されるが、本開示は、機能またはモジュールが、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、および／またはインターネットなどの通信ネットワークを介してリンクされた異なる処理デバイス間で共有される分散環境で実施することもできる。同様に、複数のデバイスを含むものとして本明細書で提示される技術は、単一のデバイスにおいて実装されてもよい。分散コンピューティング環境では、プログラムモジュールは、ローカルおよび／またはリモートメモリ記憶デバイスの両方に配置され得る。

【0060】

本開示の態様は、磁気的または光学的に読み取り可能なコンピュータディスク、ハードワイヤードまたは予めプログラムされたチップ（例えば、ＥＥＰＲＯＭ半導体チップ）、ナノテクノロジーメモリ、生物学的メモリ、または他のデータ記憶媒体を含む、非一時的コンピュータ可読媒体上に記憶および／または分散され得る。代替的に、本開示の態様の下でのコンピュータ実装命令、データ構造、画面表示、および他のデータは、ある期間にわたって伝搬媒体上の伝搬信号（例えば、電磁波、音波など）上で、インターネットおよび／または他のネットワーク（ワイヤレスネットワークを含む）を介して配信されてもよく、および／あるいは任意のアナログまたはデジタルネットワーク（パケット交換、回線交換、または他の方式）上で提供されてもよい。

【0061】

本技術のプログラム態様は、典型的には、あるタイプの機械可読媒体上で搬送されるか、またはその中で具現化される実行可能コードおよび／または関連データの形態の「製品」または「製造品」と考えることができる。「ストレージ」タイプの媒体は、ソフトウェアプログラミングのためにいつでも非一時的ストレージを提供することができる、様々な半導体メモリ、テープドライブ、ディスクドライブなど、コンピュータ、プロセッサなどの有形メモリ、またはそれらの関連モジュールのいずれかまたはすべてを含む。ソフトウェアの全部または一部は、時にはインターネットまたは様々な他の電気通信ネットワークを介して通信され得る。そのような通信は、例えば、１つのコンピュータまたはプロセッサから別のコンピュータまたはプロセッサへの、例えば、モバイル通信ネットワークの管理サーバまたはホストコンピュータからサーバのコンピュータプラットフォームへの、および／またはサーバからモバイルデバイスへのソフトウェアのロードを可能にし得る。したがって、ソフトウェア要素を担持することができる別のタイプの媒体は、ローカルデバイス間の物理インターフェースにわたって、有線および光地上通信線ネットワークを通して、様々なエアリンクを介して使用されるような、光、電気、および電磁波を含む。有線または無線リンク、光リンクなど、そのような波を搬送する物理的要素も、ソフトウェアを担持する媒体とみなすことができる。本明細書で使用される場合、非一時的有形「記憶」媒体に限定されない限り、コンピュータまたは機械「可読媒体」などの用語は、実行のためにプロセッサに命令を提供することに関与する任意の媒体を指す。

【0062】

本開示の他の実施形態は、本明細書の検討および本明細書に開示される本発明の実施から当業者には明らかである。本明細書および実施例は例示としてのみ考慮され、本発明の真の範囲および思想は特許請求の範囲によって示されることが意図される。

【0063】

本明細書に記載される医療デバイスのいずれかの態様のうちの１つ以上は、医療撮像システム、または結腸鏡、気管支鏡、尿管鏡、十二指腸鏡などの他のスコープ、または他のタイプの撮像装置などの、当該技術分野で公知の任意の他の医療デバイスと組み合わせて使用され得ることが理解され得る。

【0064】

本開示の原理を特定の用途のための例示的な例を参照して本明細書で説明したが、本開示はそれに限定されない。当業者および本明細書で提供される教示へアクセスする者は、追加の修正、適用、および均等物の置換がすべて本明細書で説明される実施例の範囲内に入ることを認識し得る。したがって、本発明は、上述した説明によって限定されるものと見なされるべきではない。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【国際調査報告】