▶ ボストン サイエンティフィック サイムド，インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-23
(54)【発明の名称】画像処理システム及びその使用方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20230516BHJP
【ＦＩ】
A61B1/045 610
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022560450
(86)(22)【出願日】2021-04-02
(85)【翻訳文提出日】2022-10-28
(86)【国際出願番号】 US2021025619
(87)【国際公開番号】W WO2021207034
(87)【国際公開日】2021-10-14
(31)【優先権主張番号】63/005,832
(32)【優先日】2020-04-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506192652
【氏名又は名称】ボストン サイエンティフィック サイムド，インコーポレイテッド
【氏名又は名称原語表記】ＢＯＳＴＯＮ ＳＣＩＥＮＴＩＦＩＣ ＳＣＩＭＥＤ，ＩＮＣ．
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】バルバート、ルイス ジェイ．
(72)【発明者】
【氏名】デュバル、ジョージ ウィルフレッド
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC06
4C161DD03
4C161LL02
4C161SS21
4C161TT02
4C161TT07
4C161WW07
(57)【要約】
フィルタアレイを含むセンサを含む医療装置である。センサは、原画像を撮像するように構成され、フィルタアレイは、原画像をフィルタ処理して、第１、第２、及び第３のピクセル値を含む原ピクセル値のフレームを得るように構成される。この医療装置は、実行されるとプロセッサに原ピクセル値のフレームから第１のピクセル値を除外させるデモザイキング命令を記憶する非一時的コンピュータ可読媒体を含む。プロセッサは、フレーム上の除外された第１のピクセル値及び第３のピクセル値のロケーションにおいて第２の予想ピクセル値を生成し、フレーム上の除外された第１のピクセル値及び第２のピクセル値のロケーションにおいて第３の予想ピクセル値を生成する。プロセッサは、第２のピクセル値、第２の予想ピクセル値、第３のピクセル値、及び第３の予想ピクセル値から、部分解像フレームを有する処理済み画像を生成する。
【特許請求の範囲】
【請求項1】
医療装置であって、該医療装置はシャフトを備え、
該医療装置は、前記シャフトの遠位端に連結されるとともにフィルタアレイを含むセンサを備え、前記センサは原画像を撮像するように構成され、かつ、前記フィルタアレイは、前記原画像を原ピクセル値のフレームにフィルタ処理するように構成され、該原ピクセル値のフレームは、複数の第１のピクセル値、複数の第２のピクセル値、及び複数の第３のピクセル値を含み、
該医療装置はプロセッサと、デモザイキング命令を記憶する非一時的コンピュータ可読媒体とを備え、該デモザイキング命令は、前記プロセッサにより実行されると、前記プロセッサに、
前記原ピクセル値のフレームから前記複数の第１のピクセル値を除外させ、
前記フレーム上の前記複数の除外された第１のピクセル値と前記複数の第３のピクセル値のロケーションにおける複数の第２の予想ピクセル値を生成させ、
前記フレーム上の前記複数の除外された第１のピクセル値と前記複数の第２のピクセル値のロケーションにおける複数の第３の予想ピクセル値を生成させ、
前記複数の第２のピクセル値と、前記複数の第２の予想ピクセル値と、前記複数の第３のピクセル値と、前記複数の第３の予想ピクセル値とから部分解像フレームを有する処理済み画像を生成させる
医療装置。
【請求項2】
前記非一時的コンピュータ可読媒体に記憶された前記デモザイキング命令は、前記プロセッサに、前記原画像内の１つ以上のエッジを検出させ、
前記処理済み画像のエッジディテールを増大させるために前記１つ以上のエッジの鮮鋭化エンハンスメントを実行させる、請求項１に記載の医療装置。
【請求項3】
前記非一時的コンピュータ可読媒体に記憶された前記デモザイキング命令は、前記プロセッサに、前記鮮鋭化エンハンスメントステップを実行することから作成された鮮鋭化エンハンスメント画像を出力させ、
前記鮮鋭化エンハンスメント画像を前記処理済み画像と融合させる、請求項２に記載の医療装置。
【請求項4】
前記非一時的コンピュータ可読媒体に記憶された前記デモザイキング命令は、前記プロセッサに、前記複数の第２のピクセル及び前記複数の第３のピクセルの各々の輝度値を設定させ、
前記処理済み画像のコントラストを高めるために前記輝度値を調整することにより、前記複数の第２のピクセルと前記複数の第３のピクセルのコントラストエンハンスメントを実行させる、請求項３に記載の医療装置。
【請求項5】
前記非一時的コンピュータ可読媒体に記憶された前記デモザイキング命令は、前記プロセッサに、前記コントラストエンハンスメントステップの実行から作成されたコントラストエンハンスメント画像を出力させ、
前記コントラストエンハンスメント画像を前記処理済み画像と融合させる、請求項４に記載の医療装置。
【請求項6】
前記非一時的コンピュータ可読媒体に記憶された前記デモザイキング命令は、前記プロセッサに、上述のすべてのステップを閾値まで繰り返させる、請求項５に記載の医療装置。
【請求項7】
前記非一時的コンピュータ可読媒体に記憶された前記デモザイキング命令は、前記プロセッサに、前記複数の第１のピクセルのカラーピクセル値を特定するために、波長シフト入力を受け取らせる、請求項１～６の何れか一項に記載の医療装置。
【請求項8】
前記プロセッサに通信可能に連結されて、前記プロセッサに前記波長シフト入力を示す信号を伝送するように構成されたユーザインタフェースをさらに含む、請求項７に記載の医療装置。
【請求項9】
前記センサは、ＲＧＢイメージセンサを含み、前記フィルタアレイは赤－緑－青ベイヤカラーフィルタアレイを含み、前記複数の第１のピクセルは赤ピクセルを含み、前記複数の第２のピクセルは青ピクセルを含み、前記複数の第３のピクセルは緑ピクセルを含む、請求項１～８の何れか一項に記載の医療装置。
【請求項10】
前記センサは、ＲＧＢ＋Ｉｒイメージセンサを含み、前記フィルタアレイは赤－緑－青－赤外ベイヤカラーフィルタアレイを含む、請求項１～９の何れか一項に記載の医療装置。
【請求項11】
前記複数の第１のピクセルは青ピクセルを含み、前記複数の第２のピクセルは赤ピクセルと緑ピクセルを含み、前記複数の第３のピクセルは赤外ピクセルを含む、請求項１０に記載の医療装置。
【請求項12】
前記センサは、ＲＧＢイメージセンサとモノクロームセンサとを含む、請求項１～１１の何れか一項に記載の医療装置。
【請求項13】
前記ピクセルの部分解像フレーム内の各ロケーションは、前記原ピクセルのフレームから少なくとも１つのカラーピクセル値が除外されるように、１つの撮像されたカラーピクセル値と１つの再構成されたカラーピクセル値を含む、請求項１～１２の何れか一項に記載の医療装置。
【請求項14】
前記シャフトの前記遠位端に連結された光源をさらに含み、前記光源は光ファイバ、紫外光、又はマルチカラーＬＥＤアレイである、請求項１～１３の何れか一項に記載の医療装置。
【請求項15】
前記非一時的コンピュータ可読媒体に記憶された前記デモザイキング命令は、前記プロセッサに、前記部分解像フレームの前記処理済み画像を表示装置に出力させる、請求項１～１４の何れか一項に記載の医療装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の各種の態様は一般に、画像処理システム、装置、及び関連する方法に関する。本開示の例は、デジタル色素内視鏡検査等のためのシステム、装置、及び関連する方法に関する。
【背景技術】
【0002】
技術開発により、医療システム、装置、及び方法の使用者は対象者に対してますます複雑な処置を施行することが可能となっている。低侵襲手術の技術分野における１つの課題は、対象者の体内の標的治療部位、例えば対象者の胃腸管の中にある腫瘍又は病変を可視化することにかかわる。色素注入を伴う色素内視鏡検査法は、管腔である胃腸管内の粘膜表面における変化を検出しやすくなり得る。しかしながら、血管を可視化するための撮像方法や装置が限定的であることから、処置が長引き、その有効性が制限され、及び／又は患者に危害が及び得る。
【発明の概要】
【0003】
本開示の態様は、中でも画像処理システムを提供するためのシステム、装置、及び方法と、中でも波長シフトデモザイキングロジックに関する。本明細書で開示される態様の各々は、開示された他の態様の何れかに関して記載されている特徴の１つ以上を含み得る。
【0004】
ある例によれば、医療装置は、シャフトと、シャフトの遠位端に連結され、フィルタアレイを含むセンサと、を含む。センサは、原画像を撮像するように構成され、フィルタアレイは、原画像をフィルタ処理して、複数の第１のピクセル値、複数の第２のピクセル値、及び複数の第３のピクセル値を含む原ピクセル値のフレームを得るように構成される。医療装置は、プロセッサと、非一時的コンピュータ可読媒体とを含み、該非一時的コンピュータ可読媒体は、プロセッサにより実行されると、プロセッサに、原ピクセル値のフレームから複数の第１のピクセル値を除外させるデモザイキング命令を記憶する。プロセッサは、フレーム上の複数の除外された第１のピクセル値と複数の第３のピクセル値のロケーションにおいて複数の第２の予想ピクセル値を生成する。プロセッサは、フレーム上の複数の除外された第１のピクセル値と複数の第２のピクセル値のロケーションにおいて複数の第３の予想ピクセル値を生成する。プロセッサは、複数の第２のピクセル値と、複数の第２の予想ピクセル値と、複数の第３のピクセル値と、複数の第３の予想ピクセル値とから部分解像フレームを有する処理済み画像を生成する。
【0005】
本明細書に記載の医療装置の何れも、以下の特徴の何れでも含み得る。非一時的コンピュータ可読媒体に記憶されたデモザイキング命令は、プロセッサに原画像内の１つ以上のエッジを検出させ、処理済み画像のエッジディテールを増大させるために１つ以上のエッジの鮮鋭化エンハンスメント（ｓｈａｒｐｅｎｅｄ ｅｎｈａｎｃｅｍｅｎｔ）を実行させる。非一時的コンピュータ可読媒体内に記憶されたデモザイキング命令は、プロセッサに、鮮鋭化エンハンスメントステップを実行することから作成された鮮鋭化エンハンスメント画像を出力させ、鮮鋭化エンハンスメント画像を処理済み画像と融合させる。非一時的コンピュータ可読媒体に記憶されたデモザイキング命令は、プロセッサに、複数の第２のピクセル及び複数の第３のピクセルの各々の輝度値を設定させ、処理済み画像のコントラストを高めるために輝度値を調整することにより、複数の第２のピクセルと複数の第３のピクセルのコントラストエンハンスメントを実行させる。非一時的コンピュータ可読媒体に記憶されたデモザイキング命令は、プロセッサに、コントラストエンハンスメントステップの実行から作成されたコントラストエンハンスメント画像を出力させ、コントラストエンハンスメント画像を処理済み画像と融合させる。非一時的コンピュータ可読媒体に記憶されたデモザイキング命令は、プロセッサに、上述のすべてのステップを閾値まで繰り返させる。非一時的コンピュータ可読媒体に記憶されたデモザイキング命令は、プロセッサに、複数の第１のピクセルのカラーピクセル値を特定するために、波長シフト入力を受け取らせる。さらに、プロセッサに通信可能に連結されて、プロセッサに波長シフト入力を示す信号を伝送するように構成されたユーザインタフェースを含む。センサは、ＲＧＢイメージセンサを含み、フィルタアレイは赤－緑－青ベイヤカラーフィルタアレイを含む。複数の第１のピクセルは赤ピクセルを含み、複数の第２のピクセルは青ピクセルを含み、複数の第３のピクセルは緑ピクセルを含む。センサは、ＲＧＢ＋Ｉｒイメージセンサを含み、フィルタアレイは赤－緑－青－赤外ベイヤカラーフィルタアレイを含む。複数の第１のピクセルは青ピクセルを含み、複数の第２のピクセルは赤ピクセルと緑ピクセルを含み、複数の第３のピクセルは赤外ピクセルを含む。センサは、ＲＧＢイメージセンサとモノクロームセンサとを含む。ピクセルの部分解像フレーム内の各ロケーションは、１つの撮像されたカラーピクセル値と１つの再構成されたカラーピクセル値を含み、それによって原ピクセルのフレームから少なくとも１つのカラーピクセル値が除外される。さらに、シャフトの遠位端に連結された光源を含み、光源は光ファイバ、紫外光、又はマルチカラーＬＥＤアレイである。非一時的コンピュータ可読媒体に記憶されたデモザイキング命令は、プロセッサに、部分解像フレームの処理済み画像を表示装置に出力させる。
【0006】
他の例によれば、画像処理方法は、原画像を撮像するステップと、原画像をフィルタ処理して、複数の第１のピクセル、複数の第２のピクセル、及び複数の第３のピクセルを含む原ピクセルのフレームを得るステップと、を含む。方法は、少なくとも複数の第１のピクセルを除外するステップと、フレームに沿って複数の除外された第１のピクセルと複数の第３のピクセルのピクセルロケーションに、欠けていた第２のピクセルを生成するステップと、を含む。方法は、フレームに沿って複数の除外された第１のピクセルと複数の第２のピクセルのピクセルロケーションに、欠けていた第３のピクセルを生成するステップと、複数の第２のピクセル、複数の第３のピクセル、生成された第２のピクセル、及び生成された第３のピクセルから部分的にサンプリングされたデジタル画像を構成するステップと、を含む。
【0007】
本明細書に記載の方法の何れも、以下のステップの何れも含み得る。原ピクセルのフレーム内のエッジを検出するステップと、部分的にサンプリングされたデジタル画像中のエッジディテールを増大させるために、エッジの鮮鋭度を高めるステップと、を含む方法。部分的にサンプリングされたデジタル画像中の複数の第２のピクセルと複数の第３のピクセルのコントラストを高めるために、複数の第２のピクセルの及び複数の第３のピクセルの各々に関する輝度値を変更するステップを含む方法。波長シフト入力を受け取って、複数の第１のピクセルのカラーピクセル値を特定するステップを含む方法。原ピクセルのフレームは、複数の第４のピクセルをさらに含む。少なくとも複数の第４のピクセルを除外するステップを含む方法。
【0008】
他の例によれば、プロセッサと、プロセッサにより実行されると、プロセッサに、照明源からの複数の波長を有する光を伝送させ、プロセッサに通信可能に連結されたデジタルイメージセンサにより検出された複数のピクセル値の少なくとも小部分を除去させる命令を記憶する非一時的コンピュータ可読媒体である。デジタルイメージセンサは、光の複数の波長をフィルタ処理し、複数のピクセル値を得るように構成されたフィルタアレイを含む。プロセッサは、複数の予想ピクセル値を生成し、複数のピクセル値と複数の予想ピクセル値を含む部分解像フレームを有する処理済み画像を作り、処理済み画像から複数のピクセル値の少なくとも小部分を除去する。
【0009】
以上の一般的な説明文と以下の詳細な説明文はどちらも例示及び解説のためにすぎず、特許請求の範囲による本発明を限定するものではないと理解されたい。
本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の例示的な態様を図解しており、説明文と共に本開示の原理を説明する役割を果たす。
本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の例示的な態様を図解しており、説明文と共に本開示の原理を説明する役割を果たす。
【図面の簡単な説明】
【0010】
【図1】本開示の態様による例示的な医療システムの概略図。
【発明を実施するための形態】
【0011】
本開示の例は、対象者（例えば、患者）の体内の１つ以上の標的治療部位の画像を、処理済み画像の中で標的部位の１つ以上の特徴（例えば、血管、脈管系等）を強調することによって品質向上させるシステム、装置、及び方法を含む。以下に本開示の態様を詳しく説明するが、その例が添付の図面に示されている。可能なかぎり、図面全体を通じて同じ又は同様の参照番号は同じ又は類似の部品を指すために使用される。「遠位」という用語は、装置を患者の体内に導入するときに使用者から最も遠い部分を指す。それに対して、「近位」という用語は、装置を対象者の体内に設置するときに使用者に最も近い部分を指す。本明細書で使用されるかぎり、「～を備える／からなる（ｃｏｍｐｒｉｓｅｓ）」、「～を備えている／からなる（ｃｏｍｐｒｉｓｉｎｇ）」という用語又はその他のあらゆる変形型は非排他的な包含をカバーするものであり、列挙された要素を含むプロセス、方法、物品、又は装置は、必ずしもこれらの要素だけを含むのではなく、明示的に挙げられていない、又はかかるプロセス、方法、物品、又は装置に固有のその他の要素を含み得る。「例示的」という用語は、「理想的」ではなく「例」という意味で使用される。本明細書で使用されるかぎり、「約」、「実質的に」、及び「ほぼ」という用語は、明記された値の＋／－１０％の値の範囲を示す。
【0012】
本開示の例は、対象者の体内の標的部位を、対象者の管腔である胃腸管の１つ以上の特徴及び／又は特性を視覚的に強調するピクセル値の部分解像フレーム（ｐｅｒｔｉａｌ－ｒｅｓｏｌｕｔｉｏｎ ｆｒａｍｅ）を有する処理済み画像を生成することによって特定するために使用され得る。このような特徴及び／又は特性には、例えば、腫瘍、病変、血管、粘膜表面の変化等が含まれる。幾つかの実施形態において、医療装置は画像処理装置を含み得、これはプロセッサと、部分解像フレームを生成するための１つ以上のアルゴリズムを記憶するメモリと、を含む。実施形態では、メモリはデモザイキングロジック、エッジエンハンスメントロジック、及び／又はコントラストエンハンスメントロジックに従ったプログラム可能な命令を含み得る。さらに、画像処理装置は、そこでユーザ入力を受け取るように動作可能なユーザインタフェースを含み得、これは例えば、少なくとも１つのカラーピクセル値をフィルタで除去するための波長シフト入力であり、その後でイメージセンサにより撮像された他のカラーピクセル値の補間及びエンハンスメントが行われる。医療装置の画像処理装置により生成された処理済み画像は、ピクセル値の部分解像フレームを含み得、それが表示装置へと出力され得る。
【0013】
本開示の例は、各種の医療処置を行うため、及び／又は大腸（結腸）、小腸、盲腸、食道、及び胃腸管の他の何れかの部分及び／又はその他の何れかの適当な患者の体内構造の部分（まとめて、本明細書では「標的治療部位」と呼ぶ）を治療するための装置及び方法に関し得る。本明細書に記載の様々な例は、単回使用又は使い捨ての医療装置を含む。以下に、上で説明され、添付の図面に示される本開示の例を詳しく説明する。可能なかぎり、図面全体を通じて同じ参照番号は同じ又は類似の部品を指すために使用される。
【0014】
図１は、本開示の例による例示的な医療システム１００の概略図を示す。医療システム１００は、１つ以上の光源１３０、画像処理装置１０１、医療器具１１０、及び医療装置１４０を含み得る。画像処理装置１０１は、医療器具１１０に、例えばワイヤード接続、ワイヤレス接続等によって通信可能に連結され得る。例において、画像処理装置１０１は、画像処理装置１０１がデータ（例えば、イメージセンサのデータ）を受信し、情報（例えば、波長データ）を処理し、及び／又は医療システム１００の使用者に対して出力するための処理画像を生成することができるようにする複数のハードウェアコンポーネントが組み込まれたコンピュータシステムである。画像処理装置１０１の例示的なハードウェアコンポーネントとしては、少なくとも１つのプロセッサ１０２、少なくとも１つのメモリ１０３、少なくとも１つのユーザインタフェース１０８、及び少なくとも１つのディスプレイ１０９を含み得る。
【0015】
画像処理装置１０１のプロセッサ１０２は機械可読命令を実行できる何れかのコンピューティング装置を含み得、命令は非一時的コンピュータ可読媒体、例えば画像処理装置１０１のメモリ１０３に記憶され得る。例えば、プロセッサ１０２は、コントローラ、集積回路、マイクロチップ、コンピュータ、及び／又はプログラムを実行するために必要な計算とロジック演算を実行するように動作可能な他のあらゆるコンピュータ処理ユニットを含み得る。本明細書中でより詳しく説明するように、プロセッサ１０２は、メモリ１０３上に記憶された命令に従って１つ以上の演算、例えばイメージングロジック１０４、デモザイキングロジック１０５、エッジエンハンスメントロジック１０６、コントラストエンハンスメントロジック１０７等を実行するように構成される。
【0016】
引き続き図１を参照すると、画像処理装置１０１のメモリ１０３は、その上に機械可読命令、例えばイメージングロジック１０４、デモザイキングロジック１０５、エッジエンハンスメントロジック１０６、及びコントラストエンハンスメントロジック１０７を記憶する非一時的コンピュータ可読媒体を含み得る。イメージングロジック１０４は、医療システム１００が、医療器具１１０の１つ以上のコンポーネント、例えば１つ以上のイメージセンサ１５０、１５０Ａ、１５０Ｂ（図２Ａ～図２Ｃ）を作動させることによって原デジタル画像を撮像できるようにする実行可能な命令を含み得る。
【0017】
さらに、デモザイキングロジック１０５は、医療システム１００がデジタル画像（例えば、モザイク状画像）を、画像をデモザイキングし、モザイク状画像の中の欠けた及び／又は未知のピクセル値を再構成することによって処理することができるようにする実行可能な命令を含み得る。理解すべき点として、カラーフィルタセンサアレイを使用してイメージセンサにより撮像されたデジタル画像は、モザイクパターンに配置された各種のカラーピクセル値を有する原画像を提供し得る。パターンの各ピクセルアレイは、１つのカラーピクセル値のみを含み、それによってその上では１つ以上のカラーピクセル値が除去され得る。本明細書中で詳しく説明するように、デジタル画像はピクセル値の２次元アレイを含み、各ピクセル値は画像内のあるピクセルロケーションにおける複数のスペクトルバンドのうちの１つにおける光強度（例えば、カラーピクセル値）に対応する。
【0018】
引き続き図１を参照すると、エッジエンハンスメントロジック１０６は、医療システム１００が標的部位のモザイク状画像を処理し、モザイク状画像内の１つ以上のエッジの精細度を高めることができるようにする実行可能な命令を含み得る。理解すべき点として、デモザイキングプロセスは固有の副作用を含み得、これは例えば、画像内の１つ以上のエッジの鮮鋭度の低下である。例えば、デモザイキングプロセスにより、画像の高周波数ディテール（ｈｉｇｈ－ｆｒｅｑｕｅｎｃｙ ｄｅｔａｉｌ）が減衰し、及び／又は画像の低周波数ディテール（ｌｏｗ－ｆｒｅｑｕｅｎｃｙ ｄｅｔａｉｌ）が強調され得る。
【0019】
この例では、画像内の鮮鋭なコントラストの境界のエッジにおいて色フリンジが生じ得、この場合、鮮鋭なコントラストの境界のエッジがモザイク状画像のカラーピクセル内のフリンジアーチファクトを含み得る。さらに後述するように、エッジエンハンスメントロジック１０６は、医療システム１００がデジタル画像（例えば、モザイク状画像）を、エッジを検出し、前記エッジのディテールを増大させて、カラーピクセル内で前記画像のより鮮鋭な精細度を提供することによって処理することができるようにする実行可能な命令を含み得る。
【0020】
引き続き図１を参照すると、コントラストエンハンスメントロジック１０７は、医療システム１００が標的部位のモザイク状画像を処理し、モザイク状画像内の１つ以上のピクセルのコントラストを高めることができるようにする実行可能な命令を含み得る。理解すべき点として、デモザイキングプロセスは固有の副反応を含み得、これは例えば、画像内のピクセル間の色差信号の減少による画像のコントラストの低下である。
【0021】
この例において、カラーピクセルの解像フレーム（ｒｅｓｏｌｕｔｉｏｎ ｆｒａｍｅ）は、各種のカラーピクセル間で画像の１つ以上の特徴を差別化するのに十分な明るさを欠いているかもしれない。さらに後述するように、コントラストエンハンスメントロジック１０７は、医療システム１００がデジタル画像（例えば、モザイク状画像）を、特定のカラーピクセルの輝度をスケーリングし、解像フレームの明るさを増大させて、カラーピクセル内で前記画像のより明瞭な鮮鋭度を提供することによって処理することができるようにする実行可能な命令を含み得る。
【0022】
幾つかの実施形態において、イメージングロジック１０４、デモザイキングロジック１０５、エッジエンハンスメントロジック１０６、及び／又はコントラストエンハンスメントロジック１０７は、医療システム１００が標的部位の周期的な画像処理を、ユーザ入力を必要とせずに自動的に実行できるようにする実行可能な命令を含み得る。他の実施形態では、画像処理装置１０１は、標的部位の画像処理を開始する、例えば画像処理装置１０１のユーザインタフェース１０８からのユーザ入力を受信するように構成され得る。認識すべき点として、幾つかの実施形態では、ユーザインタフェース１０８は画像処理装置１０１と一体の装置であり得、他の実施形態では、ユーザインタフェース１０８は画像処理装置１０１と通信する（例えば、ワイヤレス、ワイヤード等）リモート装置であり得る。
【0023】
理解すべき点として、医療システム１００の動作を支援する各種のプログラミングアルゴリズム及びデータは全部又は一部がメモリ１０３の中にあり得る。メモリ１０３は、データ及びアルゴリズムを記憶するのに適した何れの種類のコンピュータ可読媒体も含み得、これは例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、ハードドライブ、及び／又は機械可読命令を記憶することのできるあらゆる装置である。メモリ１０３は、１つ以上のデータセットを含み得、これには医療システム１００の１つ以上のコンポーネント（例えば、医療器具１１０、医療装置１４０等）からの画像データが含まれるが、これに限定されない。
【0024】
引き続き図１を参照すると、医療器具１１０は、医療システム１００の１つ以上のコンポーネント、例えば医療装置１４０を対象者（例えば、患者）に関して位置決めしやすくするように構成され得る。実施形態において、医療器具１１０は、何れの種類の内視鏡、十二指腸内視鏡、胃内視鏡、大腸内視鏡、尿管鏡、気管支鏡、カテーテル、又はその他の送達システムでもあり得、ハンドル１１２、操作機構１１４、少なくとも１つのポート１１６、及びシャフト１２０を含み得る。医療器具１１０のハンドル１１２は、医療システム１００の１つ以上の他のコンポーネントのルーメンと連通する１つ以上のルーメン（図示せず）を有し得る。ハンドル１１２は、ハンドル１１２の１つ以上のルーメン中へと開放する少なくとも１つのポート１１６をさらに含む。本明細書中でさらに詳しく説明するように、少なくとも１つのポート１１６は、その中に１つ以上の器具、例えば医療システム１００の医療装置１４０を受けるような大きさ及び形状である。
【0025】
医療器具１１０のシャフト１２０は十分に柔軟なチューブを含み得、シャフト１２０は、対象者の曲がりくねった体内構造の中に、及び／又はそこを通って標的治療部位へと挿入される際に、選択的に曲がり、回転し、及び／又は捩じれるように構成される。シャフト１２０は、その中を通って延びる１つ以上のルーメン（図示せず）を有し得、これは例えば、器具（例えば、医療装置１４０）を受けるための作業ルーメンを含む。他の例では、シャフト１２０は、１つ以上の遠位部品／ツール（例えば、関節運動継手、エレベータ等）を操作するための１つ以上のコントロールワイヤを受けるためのコントロールワイヤルーメン、流体を送達するための流体ルーメン、照明アセンブリ（図示せず）の少なくとも一部を受けるための照明ルーメン、及び／又はイメージングアセンブリ（図示せず）の少なくとも一部を受けるためのイメージングルーメン等の追加のルーメンを含み得る。
【0026】
引き続き図１を参照すると、医療器具１１０は、シャフト１２０の遠位端にチップ１２２をさらに含み得る。幾つかの実施形態において、チップ１２２はシャフト１２０の遠位端に取り付けられ得、他の実施形態では、チップ１２２はシャフト１２０と一体であり得る。例えば、チップ１２２はその中にシャフト１２０の遠位端を受けるように構成されたキャップを含み得る。チップ１２２は、シャフト１２０の１つ以上のルーメンと連通する１つ以上の開口を含み得る。例えば、チップ１２２は作業口１２３を含み得、それを通じて医療装置１４０がシャフト１２０の作業ルーメンから出られ得る。認識すべき点として、シャフト１２０のチップ１２２の他の１つ以上の開口は示されていない。医療器具１１０の操作機構１１４はハンドル１１２上にあり、１つ以上のノブ、ボタン、レバー、スイッチ、及び／又はそれらの適当なアクチュエータを含み得る。操作機構１１４は、少なくともシャフト１２０の向きを制御する（例えば、コントロールワイヤの操作を通じて）ように構成される。
【0027】
医療システム１００の医療装置１４０は、医療装置１４０の近位端１４１と医療装置１４０の遠位端１４４との間の長さ方向本体１４２を有するカテーテルを含み得る。医療装置１４０の長さ方向本体１４２は柔軟であり得、それによって医療装置１４０が、医療器具１１０の作業ルーメンの中に挿入される際、曲がり、回転し、及び／又は捩じれるように構成される。医療装置１４０は、長さ方向本体１４２の近位端１４１にハンドルを含み得、これは、長さ方向本体１４２を動かし、回転させ、及び／又は曲げるように構成され得る。さらに、医療装置１４０の近位端１４１のハンドルは、医療装置１４０の長さ方向本体１４２を通じて１つ以上のツールを受けるような大きさの１つ以上のポート（図示せず）を画定し得る。
【0028】
引き続き図１を参照すると、医療器具１１０は、医療装置１４０を少なくとも１つのポート１１６から、作業ルーメンを介してシャフト１２０を通り、チップ１２２の作業口１２３へと受けるように構成され得る。この例では、医療装置１４０は、作業口１２３から遠位方向に、チップ１２２の周囲環境へと、後でさらに詳しく説明するように、例えば対象者の標的治療部位において延び得る。医療装置１４０の遠位端１４４は、長さ方向本体１４２がシャフト１２０の作業ルーメンの中で移動したことに応答して、チップ１２２から遠位方向に延び得る。医療装置１４０は、長さ方向本体１４２の遠位端１４４において、標的治療部位に１つ以上の動作を行うための１つ以上のエンドエフェクタ（図示せず）を含み得る。
【0029】
医療器具１１０はさらに、光ファイバ１４６に接続されるように医療器具１１０のルーメンの少なくとも１つを介してシャフト１２０を通る１つ以上の光源１３０を受けるように構成され得る。この例では、１つ以上の光源１３０は画像処理装置１０１とは別のコンポーネントとして示されており、それによって光源１３０は医療器具１１０に、画像処理装置とは別に（例えば、ケーブルを介して）連結される。認識すべき点として、他の実施形態では、１つ以上の光源１３０は画像処理装置１０１に含められてもよく、それによって光源１３０は画像処理装置１０１と共に医療器具１１０に通信可能に連結され得る。
【0030】
次に図２Ａ～図２Ｃを参照すると、本開示の１つ以上の例による医療器具１１０のチップ１２２が示されている。まず図２Ａを参照すると、１つの実施形態において、医療器具１１０のチップ１２２はチップ１２２に光ファイバ１４６とイメージセンサ１５０を含み得る。この例では、光ファイバ１４６は医療システム１００の１つ以上の光源１３０に連結され得、それによって１つ以上の光源１３０の各々は１本の光ファイバ１４６を通じて光を伝送し得る。図示されていないが、認識すべき点として、複数の光源１３０はファイバスプリッタ／コンバイナを介して光ファイバ１４６に連結され得る。医療器具１１０の光ファイバ１４６は、１つ以上の光源１３０からの様々な振幅の光をシャフト１２０のチップ１２２から遠位方向に送達するように構成され、そのように動作可能であり得る。幾つかの実施形態において、光ファイバ１４６は、白光、紫外光、近赤外（ＮＩＲ）光、及び／又は可視スペクトル内若しくはそれを超える他の各種の波長を送達するように構成され得る。
【0031】
引き続き図２Ａを参照すると、医療器具１１０のイメージセンサ１５０は医療システム１００の画像処理装置１０１に、例えばワイヤード接続、及び／又はワイヤレス接続等を介して通信可能に連結され得る。医療器具１１０のイメージセンサ１５０は、シャフト１２０のチップ１２２の周囲環境の原画像（例えば、デジタル画像）を撮像するように構成され、そのように動作可能であり得る。幾つかの実施形態において、イメージセンサ１５０はイメージセンサ、例えばＲＧＢ（すなわち、赤－緑－青）デジタルセンサ、ＲＧＢ－Ｉｒ（すなわち、赤－緑－青－赤外）デジタルセンサ、及び／又はモノクロームセンサ等を含み得る。本明細書でさらに詳しく説明するように、イメージセンサ１５０は、白光、紫外光、近赤外光、及び／又は可視スペクトル内若しくはそれを超える他の波長からの色をフィルタ処理するための１つ以上のコンポーネントを含み得る。
【0032】
他の実施形態において、次に図２Ｂを参照すると、医療器具１１０はシャフト１２０のチップ１２２にマルチカラーＬＥＤアセンブリを含み得る。この例では、マルチカラーＬＥＤアセンブリは、イメージセンサ１５０の周囲に環状アレイとして配置された１つ以上の発光ダイオード（以下、ＬＥＤ）１４６Ａ、１４６Ｂ、１４６Ｃ、１４６Ｄを含み得る。ＬＥＤ １４６Ａ、１４６Ｂ、１４６Ｃ、１４６Ｄの各々は、相互に関して異なる光の波長及び／又は振幅（例えば、色）を伝送するように構成され、そのように動作可能であり得る。理解すべき点として、異なる照明源で異なるスペクトルを生成し得る。認識すべき点として、医療器具１１０のＬＥＤ １４６Ａ、１４６Ｂ、１４６Ｃ、１４６Ｄはチップ１２２に本明細書で図示され、記載されているものより多い、及び／又は少ないダイオードを含み得、それも本開示の範囲から逸脱しない。
【0033】
他の実施形態において、次に図２Ｃを参照すると、医療器具１１０はシャフト１２０のチップ１２２にマルチセンサアセンブリを含み得る。この例では、マルチセンサアセンブリは、カラーイメージセンサ１５０Ａとモノクロームイメージセンサ１５０Ｂを含み得る。本明細書中でさらに詳しく説明するように、カラーイメージセンサ１５０Ａは、カラーイメージセンサ１５０Ａの個々のピクセルロケーションの各々において入射光のうち入射光の色に応じた部分を撮像するように構成され、そのように動作可能であり得る。幾つかの実施形態において、カラーイメージセンサ１５０Ａは、例えばＲＧＢ（赤－緑－青デジタルセンサ）、及びＲＧＢ－Ｉｒ（赤－緑－青－赤外）デジタルセンサ等を含み得る。本明細書でさらに詳しく説明するように、モノクロームイメージセンサ１５０Ｂは、入射光の色に関係なく、モノクロームセンサ１５０Ｂの個々のピクセルロケーションの各々において入射光の全部を完全に撮像するように構成され、そのように動作可能であり得る。
【0034】
次に図３を参照すると、医療器具１１０のイメージセンサ１５０は、その上に複数のマイクロレンズ１５４が配置された外面１５２を含み得る。幾つかの例において、外面１５２及び／又は複数のマイクロレンズ１５４は、ガラス、プラスチック、及び／又はその他の透明材料で形成され得る。イメージセンサ１５０は、相対的に外面１５２の下に配置されたカラーフィルタアレイ１５６を含むカラーイメージセンサであり得る。カラーフィルタアレイ１５６は、所定のパターンに配置された複数のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃを有する光ファイバ装置を含み得る。この例では、複数のマイクロレンズ１５４の各々は、外面１５２の下に配置されたカラーフィルタアレイ１５６の複数のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃのうちの少なくとも１つと整合させて位置付けられ得る。
【0035】
幾つかの実施形態において、カラーフィルタアレイ１５６は、複数の第１のカラーピクセルロケーション１５８Ａ、複数の第２のカラーピクセルロケーション１５８Ｂ、及び／又は複数の第３のカラーピクセルロケーション１５８Ｃを含み得る。複数のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃは、カラーフィルタアレイ１５６に沿ってモザイクパターン、例えばベイヤパターンで配置され得る。この例では、複数の第１のカラーピクセルロケーション１５８Ａは赤色フィルタを含み得、複数の第２のカラーピクセルロケーション１５８Ｂは緑色フィルタを含み得、複数の第３のカラーピクセルロケーション１５８Ｃは青色フィルタを含み得る。他の実施形態では、複数のカラーピクセル１５８Ａ、１５８Ｂ、１５８Ｃは、本明細書で図示され、記載されているもの以外の各種の適当なカラーフィルタ及び／又はパターンを含み得る。例えば、イメージセンサ１５０がＲＧＢ－Ｉｒセンサを含む実施形態では、カラーフィルタアレイ１５６は追加的に、赤外色フィルタに対応する複数の第４のカラーピクセルロケーションを含み得ると理解すべきである。
【0036】
引き続き図３を参照すると、イメージセンサ１５０のカラーフィルタアレイ１５６は、光ビーム１０の１つ以上の波長１２、１４、１６（例えば、光強度、スペクトルバンド、色等）を選択的に伝送するように構成され、そのように動作可能であり得る。例えば、カラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃの各々は、光ビーム１０（例えば、少なくとも１つの波長１２、１４、１６）の、前記カラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃのカラーフィルタに応じた一部分を、それを通じて送達し、及び／又は透過させることができるように構成される。従って、各カラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃでは、１つのカラー成分（例えば、カラーピクセル値）だけがイメージセンサ１５０により測定され得る。本明細書でさらに説明するように、カラーピクセル値はスペクトルの有色範囲（例えば、赤範囲、緑範囲、青範囲等）のエネルギ量を含み得る。
【0037】
この例では、複数のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃの各々は、光ビーム１０の１つの波長１２、１４、１６だけがカラーフィルタアレイ１５６を透過できるようにし得る。イメージセンサ１５０はさらに、相対的にカラーフィルタアレイ１５６の下に配置されたフォトセンサアレイ１６０をさらに含み得、イメージセンサ１５０のカラーフィルタアレイ１５６は外面１５２とフォトセンサアレイ１６０との間に位置付けられ得る。イメージセンサ１５０のフォトセンサアレイ１６０は、複数のフォトサイト１６２と複数のフォトサイト１６２に通信可能に連結された回路構成１６４を有するフォトダイオード（例えば、半導体装置）を含み得る。
【0038】
引き続き図３を参照すると、複数のフォトサイト１６２はアレイ状（例えば、グリッド）に配置され、複数のフォトサイト１６２の各々は、フォトセンサアレイ１６０の上方に配置されたカラーフィルタアレイ１５６の複数のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃの少なくとも１つと整合させて位置付けられる。フォトセンサアレイ１６０は、外面１５２及びカラーフィルタアレイ１５６を通じて受け取った光ビーム１０を電流に変換するように構成され、そのように動作可能であり得る。この例では、受け取った光からの光子が複数のフォトサイト１６２に吸収されると、電流がフォトセンサアレイ１６０により生成され得る。
【0039】
この例において、複数のフォトサイト１６２の各々は、フォトセンサアレイ１６０の表面に沿ったフォトサイト１６２のロケーションで、入射光１０内の１つのカラーピクセル値（例えば、赤、緑、青）のみの数量を測定するように構成され得る。従って、複数のフォトサイト１６２は入射光１０を撮像し、電気信号を生成し得、それが定量化され、結果として得られる処理済み画像ファイル内に数値として保存され得る。認識すべき点として、フォトセンサアレイ１６０は本明細書で図示され、説明されたもの以外の各種の適当な形状、大きさ、及び／又は構成を含み得る。他の実施形態で、イメージセンサ１５０はモノクロームセンサ（例えば、モノクロームセンサ１５０Ｂ）であり得、それによって図示され、上述されたカラーフィルタアレイ１５６は、外面１５２とフォトセンサアレイ１６０との間から完全に排除され得る。この例で、フォトセンサアレイ１６０に沿った各フォトサイト１６２は、光ビーム１０の３つの波長１２、１４、１６の全てを受け取り、撮像し、吸収するように動作可能であり得る。
【0040】
次に図３、図４を図５のフロー図と併せて参照すると、医療システム１００を使って標的部位の処理済み画像を生成するための例示的な方法２００が概略的に示されている。図３～５の図とそれに関する以下の説明は、本明細書に記載の主題を特定の方法に限定しようとするものではない。
【0041】
まず、図１に関して、医療システム１００の医療器具１１０は対象者の体（図示せず）の中に挿入され、チップ１２２が標的部位に隣接するように位置付けられ得る。例えば、シャフト１２０は対象者（例えば、患者）の消化管の中で、チップ１２２を対象者の鼻又は口（或いは体のその他の適当な自然の開口）に挿入し、対象者の体内の胃腸管（例えば、食道、胃、小腸等）を通って標的部位に到達させることにより案内され得る。認識すべき点として、シャフト１２０の長さは、医療器具１１０の近位端（ハンドル１１２を含む）が対象者の体外にあり、同時に医療器具１１０のチップ１２２は対象者の体内にあるようにするのに十分であり得る。本開示は対象者の消化管における医療システム１００の使用に関しているが、本開示の特徴は対象者の体内のその他の様々な位置（例えば、他の器官、組織等）でも使用できると理解すべきである。
【0042】
追加的に、医療器具１１０が対象者の体内に受け入れられ、シャフト１２０のチップ１２２が標的部位の比較的近くに配置されたところで、医療装置１４０が少なくとも１つのポート１１６から医療器具１１０の中に受けられ得る。この例では、医療装置１４０の長さ方向本体１４２は、シャフト１２０のルーメンの少なくとも１つ（例えば、作業ルーメン）を通じてシャフト１２０の中で移動させられる。長さ方向本体１４２の遠位端１４４は、シャフト１２０のチップ１２２から、シャフト１２０の作業ルーメンと連通する作業口１２３を通じて遠位方向に延び得る。認識すべき点として、このステップは任意選択的であり得、医療器具１１０の中に医療装置１４０を受けられるようにすることは、方法２００の他の様々なステップで行われても、及び／又は完全に省かれてもよい。チップ１２２は、標的治療部位に隣接し、それと対向するように位置付けられ得る。
【0043】
図５を参照すると、ステップ２０２において、画像処理装置１０１のプロセッサ１０２がイメージングロジック１０４を実行して、１つ以上の光源１３０を作動させたことに応答し、１つ以上の標的対象が医療器具１１０により照明され得る。光ファイバ１４６（図２Ａ）及び／又はマルチカラーＬＥＤアセンブリ１４６Ａ、１４６Ｂ、１４６Ｃ、１４６Ｄ（図２Ｂ）を含む医療器具１１０の例では、１つ以上の光源１３０からの光が医療器具１１０のチップ１２２から発せられて、標的対象を照明し得る。
【0044】
ステップ２０４において、標的対象が医療器具１１０からの光により照明されると、イメージセンサ１５０は、プロセッサ１０２がイメージングロジック１０４を実行することにより作動されて、標的対象の１つ以上の原デジタル画像を撮像し得る。理解すべき点として、画像処理装置１０１のプロセッサ１０２は、医療器具１１０のイメージセンサ１５０に回路構成１６４を介して通信可能に連結され得る。例えば、再び図３を参照すると、光ファイバ１４６及び／又はマルチカラーＬＥＤアセンブリ１４６Ａ、１４６Ｂ、１４６Ｃ、１４６Ｄにより標的対象に伝送される光１０は、標的対象で反射し、イメージセンサ１５０で受け取られ得る。この例では、光１０の複数の波長１２、１４、１６が外面１５２上の複数のマイクロレンズ１５４のうちの１つ以上を通って受け取られ得る。
【0045】
複数の波長１２、１４、１６は、カラーフィルタアレイ１５６の対応する１つ以上のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃ、例えばそこを通って光ビーム１０を受け取るマイクロレンズ１５４と整合するもので受け取られ得る。複数のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃの各々において、光１０の複数の波長１２、１４、１６のうちの１つ以上は、カラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃのカラーフィルタに応じて、カラーフィルタアレイ１５６を透過できないように（例えば、フィルタ処理、除外、排除、ブロック）され得る。それゆえ、光１０を受け取るカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃのカラーフィルタ構成（例えば、赤、緑、青等）によって、波長１２、１４、１６（例えば、赤、青、緑等）のうちのどれが前記ロケーションでのカラーフィルタアレイ１５６を透過できるかが決まる。
【0046】
従って、理解すべき点として、カラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃの各々は、前記ロケーションで入射光１０の約３分の１（例えば、３３％）だけがフォトセンサアレイ１６０を透過できるようにし得る。例えば、複数の第１のカラーピクセルロケーション１５８Ａ（例えば、赤色フィルタ）の各々では、光１０の波長１２（例えば、光スペクトルの赤範囲）だけがカラーフィルタアレイ１５６を透過でき、それによって波長１４、１６（例えば、それぞれ青と緑）は前記第１のカラーピクセルロケーション１５８Ａでカラーフィルタアレイ１５６により除去され得る。認識すべき点として、この実施形態ではそれぞれ、複数の第２のカラーピクセルロケーション１５８Ｂ（例えば、緑色フィルタ）は波長１４（例えば、光スペクトルの緑範囲）を透過させるように構成され得、複数の第３のカラーピクセルロケーション１５８Ｃ（例えば、青色フィルタ）は波長１６（例えば、光スペクトルの青範囲）を透過させるように構成され得る。
【0047】
引き続き図３を参照すると、光１０の、カラーフィルタアレイ１５６を透過する個々の波長１２、１４、１６は、フォトセンサアレイ１６０に沿って検出され、複数のフォトサイト１６２（すなわち、そこを通る光ビーム１０を受け取るカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃと整合するもの）のうちの１つ以上により吸収され得る。この例では、光１０のうち複数のフォトサイト１６２の各々により吸収される部分は、電流に変換され得る。イメージセンサ１５０により撮像される原デジタル画像は、フォトセンサアレイ１６０に沿ったフォトサイト１６２の各グリッドロケーションで測定された光エネルギの定量的記録を含み得、各フォトサイト１６２はその上で受け取った波長１２、１４、１６のカラーピクセル値を特定するように構成される。
【0048】
この例において、画像処理装置１０１のプロセッサ１０２は、イメージングロジック１０４を実行すると、フォトセンサアレイ１６０にカラーピクセル値の電気信号を画像処理装置１０１に、例えば回路構成１６４を介して送信させ得る。カラーピクセル値の電気信号は、画像処理装置１０１のメモリ１０３の中に記憶され、デモザイキングロジック１０５、エッジエンハンスメントロジック１０６、及び／又はコントラストエンハンスメントロジック１０７によって処理済みの画像を生成するために使用され得る。
【0049】
図５を参照すると、ステップ２０６において、波長シフト入力が医療システム１００の使用者によって、例えば画像処理装置１０１のユーザインタフェース１０８を介して入力され得る。波長シフト入力は、イメージセンサ１５０により撮像された原デジタル画像のデモザイキングプロセスを調整するための１つ以上の光波長の識別情報、振幅、及び／又はカラーピクセル値等を含み得る。認識すべき点として、幾つかの実施形態では、ステップ２０６はステップ２０２及び２０４の前に行われ、及び／又は画像処理装置１０１のメモリ１０３の中に自動的に事前プログラムされていてもよく、それによって方法２００は波長シフト入力が事前に特定された状態でステップ２０８に進み得る。
【0050】
次に図４を参照すると、画像処理装置１０１で受け取った原デジタル画像は、イメージセンサ１５０により測定された複数のカラーピクセル値２２Ａ、２２Ｂ、２２Ｃで形成される原ピクセル２０のフレーム（例えば、グリッド）を含み得る。理解すべき点として、原ピクセル２０のフレームに沿ったグリッドロケーションの各々は、フォトセンサアレイ１６０上のフォトサイト１６２のロケーションに対応し得る。それゆえ、原ピクセル２０のフレーム上のグリッドロケーションの各々は、フォトサイト１６２がそれを通じて波長１２、１４、１６を受け取るカラーフィルタアレイ１５６のカラーピクセルロケーション１５８Ａ、１５８Ｂ、１５８Ｃに関するグリッドロケーションの相対位置に基づいて、第１のカラーピクセル値２２Ａ、第２のカラーピクセル値２２Ｂ、又は第３のカラーピクセル値２２Ｃの少なくとも１つを含む。
【0051】
ステップ２０８において、プロセッサ１０２は原ピクセル２０のフレームをカラーピクセル値２２Ａ、２２Ｂ、２２Ｃにより分離して、ステップ２０６で受け取った波長シフト入力に基づいて第１のカラーピクセル値２２Ａ、第２のカラーピクセル値２２Ｂ、又は第３のカラーピクセル値２２Ｃのうちの少なくとも１つをフィルタ処理（例えば、除外）し得る。換言すれば、画像処理装置１０１は、イメージセンサ１５０により撮像された原デジタル画像のデモザイキングプロセスを、原ピクセル値のフレーム２０の中の複数のカラーピクセル値２２Ａ、２２Ｂ、２２Ｃからカラーピクセル値２２Ａ、２２Ｂ、２２Ｃの小部分へとシフトさせるように構成される。
【0052】
従って、後で詳しく説明するように、原デジタル画像のデモザイキングプロセス（ステップ２１０Ａ、２１０Ｂ）、エッジエンハンスメントプロセス（ステップ２１２Ａ、２１２Ｂ）、及び／又はコントラストエンハンスメントプロセス（ステップ２１４Ａ、２１４Ｂ）は、イメージセンサ１５０により撮像された原デジタル画像に含まれる原ピクセル値のフレーム２０の一部のみについて実行される。例えば、画像処理装置１０１のプロセッサ１０２は、波長シフト入力に従って複数の第１のカラーピクセル値２２Ａを取り除き、これによって、画像処理装置１０１により生成される結果的な処理済み画像はピクセルの部分解像フレームを含む。
【0053】
例えば、引き続き図５を参照すると、ステップ２１０Ａにおいて、プロセッサ１０２は、例えば波長１２（例えば、赤）及び波長１６（例えば、青）を受け取ったグリッドロケーションなど、波長１４（例えば、緑）を受け取らなかった原ピクセル２０のフレームに沿ったグリッドロケーションでの第２のカラーピクセル値２２Ｂ（例えば、緑）の推定値を計算するために、（デモザイキングロジック１０５を実行するとき）複数の第２のカラーピクセル値２２Ｂのデモザイキングプロセスを実行する。プロセッサ１０２は、原ピクセル値のフレーム２０上の、波長１４を受け取らなかったグリッドロケーションでの未知の第２のカラーピクセル値２２Ｂの量を、既知の第２のカラーピクセル値２２Ｂの測定値から補間によって推定し得る。
【0054】
この例では、デモザイキングロジック１０５を実行するプロセッサ１０２は、欠けている第２のカラーピクセル値２２Ｂを、測定された第２のカラーピクセル値２２Ｂを含む隣接する（例えば、隣の）グリッドロケーションから補間する。プロセッサ１０２は、未知の第２のカラーピクセル値２２Ｂの量を、波長１４を受け取った隣のグリッドロケーションから特定する。理解すべき点として、プロセッサ１０２はステップ２１０Ｂにおいて、ステップ２１０Ａに関して上述したものと実質的に同様の方法で、デモザイキングロジック１０５を実行し、原ピクセル値のフレーム２０に沿った未知の、及び／又は欠けている第３のカラーピクセル値２２Ｃを、再構成し得る。
【0055】
引き続き図５を参照すると、ステップ２１２Ａにおいて、画像処理装置１０１のプロセッサ１０２は、エッジエンハンスメントロジック１０６を実行し、イメージセンサ１５０により撮像された原デジタル画像をさらに再構成し得る。この例で、エッジエンハンスメントロジック１０６は、プロセッサ１０２により実行されると、原ピクセル値２０のフレーム内の１つ以上のエッジのディテール及び／又は精細度を高め得る。例えば、プロセッサ１０２は、原ピクセル値のフレーム２０の中の各グリッドロケーション内の１つ以上のエッジの位置を検出し、そのエッジの周囲のノイズレベルを、そのグリッドロケーションにおける複数の第２のカラーピクセル値２２Ｂの１つ以上を調整することによって最小化し得る。幾つかの実施形態において、プロセッサ１０２は、グリッドロケーション内の１つ以上のエッジの鮮鋭度を、複数の第２のカラーピクセル値２２Ｂの勾配（例えば、大きさ）を高めることにより向上させ得る。
【0056】
理解すべき点として、プロセッサ１０２はステップ２１２Ｂにおいて、ステップ２１２Ａに関して上述したものと実質的に同様の方法で、エッジエンハンスメントロジック１０６を実行し、原ピクセル値２０のフレームに沿った複数の第３のカラーピクセル値２２Ｃの１つ以上を調整することにより、デジタル画像のエッジを再構成し得る。認識すべき点として、他の実施形態では、他の様々な適当なエッジエンハンスメントプロセスがエッジエンハンスメントロジック１０６に含められ、プロセッサ１０２により実行され得る。
【0057】
引き続き図５を参照すると、ステップ２１４Ａにおいて、画像処理装置１０１のプロセッサ１０２は、コントラストエンハンスメントロジック１０７を実行して、イメージセンサ１５０により撮像された原デジタル画像をさらに再構成し得る。この例では、コントラストエンハンスメントロジック１０７は、プロセッサ１０２により実行されると、原ピクセル値のフレーム２０の表現のコントラストを強調させ得る。例えば、プロセッサ１０２は、原ピクセル値のフレーム２０の中の各グリッドロケーション内の複数の第２のカラーピクセル値２２Ｂの１つ以上の明るさ成分（例えば、輝度）を増大させ得る。幾つかの実施形態において、プロセッサ１０２は、原ピクセル値のフレーム２０内の１つ以上のグリッドロケーションの明るさを、その中にある第２のカラーピクセル値２２Ｂを縮小して、第２のカラーピクセル値２２Ｂにより提供されるコントラスト貢献度を低下させることによって調整し得る。
【0058】
理解すべき点として、プロセッサ１０２はステップ２１４Ｂにおいて、ステップ２１４Ａに関して上述したものと実質的に同様の方法で、コントラストエンハンスメントロジック１０７を実行し、原ピクセル値のフレーム２０に沿った複数の第３のカラーピクセル値２２Ｃの１つ以上を調整することにより、デジタル画像の局所的コントラストを高め得る。認識すべき点として、他の実施形態では、他の様々な適当なコントラストエンハンスメントプロセスがコントラストエンハンスメントロジック１０７に含められ、プロセッサ１０２により実行され得る。
【0059】
引き続き図５を参照すると、ステップ２１６において、画像処理装置１０１のプロセッサ１０２は、デモザイキングプロセス（ステップ２１０Ａ、２１０Ｂ）、エッジエンハンスメントプロセス（ステップ２１２Ａ、２１２Ｂ）、及びコントラストエンハンスメントプロセス（ステップ２１４Ａ、２１４Ｂ）の現在のイテレーションが所定の及び／又はダイナミックな反復閾値と等しい、又はそれより大きいかを特定し得る。幾つかの実施形態において、所定の反復閾値は、事前に決定されて画像処理装置１０１のメモリ１０３に記憶されるか、又は医療システム１００の使用者により選択的に入力され得る。
【0060】
他の実施形態において、反復閾値はプロセッサ１０２により、例えばデモザイキング、エッジエンハンスメント、及びコントラストエンハンスメントプロセスを通じたデジタル画像の初期変換からのピーク精細度、コントラスト、及び視認性を含む１つ以上の要因に基づいてダイナミックに決定され得る。この例では、原ピクセル値２０の初期状態を示すデータ（例えば、フレームのヒストグラム）は、１回目のイテレーションの完了時にプロセッサ１０２により解析され得、精細度、コントラスト、及び視認性の特性に関するピーク値が特定され得る。従って、プロセッサ１０２は継続的に、プロセスの毎回のイテレーションの完了時に、初期のピーク値（即ち、ダイナミック反復閾値）に関するデジタル画像の現在の精細度、コントラスト、及び視認性を特定し得る。
【0061】
ステップ２１６でプロセッサ１０２が方法２００の現在のイテレーションが所定の（又はダイナミック）閾値より低いと特定したことに応答して、画像処理装置１０１はステップ２１０Ａ、２１０Ｂに戻り、デモザイキング、エッジエンハンスメント、及び／又はコントラストエンハンスメントプロセスのうちの１つ以上を実行するように構成され、そのように動作可能であり得る。ステップ２１６でプロセッサ１０２が方法２００の現在のイテレーションが所定の（又はダイナミックな）閾値と少なくとも等しいか、又はそれより大きいと特定したことに応答して、画像処理装置１０１は、補間された出力画像を生成するように構成され、そのように動作可能であり得る。認識すべき点として、イメージセンサ１５０により当初撮像された原ピクセル値２０のフレームの反復的エンハンスメントに応答して、精細度、コントラスト、及び／又は視認性が改善された画像が提供され得る。
【0062】
引き続き図５を参照すると、ステップ２１８において、画像処理装置１０１のプロセッサ１０２は、本明細書で図示され、記載された方法２００のプロセスから得られる処理済みの画像を生成し得る。この例では、出力画像は、カラーピクセル値の部分解像フレーム、例えば複数の第２のカラーピクセル値２２Ｂ及び複数の第３のカラーピクセル値２２Ｃを含み得る。従って、画像処理装置１０１のプロセッサ１０２により生成されるデジタル画像では、イメージセンサ１５０により当初撮像された原ピクセル値２０のフレームのグリッドロケーションの１つ以上から少なくとも複数の第１のカラーピクセル値２２Ａが省かれ得る。この例では、生成された画像からは、画像処理装置１０１は部分解像画像（ｐａｒｔｉａｌ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ）を生成するように、原ピクセル値２０のフレームのグリッドロケーションの各々において第１のカラーピクセル値２２Ａが除外されている。
【0063】
医療システム１００のディスプレイ１０９が画像処理装置１０１のプロセッサ１０２に通信可能に連結された状態で、プロセッサ１０２は、部分解像画像をディスプレイ１０９に送信して、医療システム１００の使用者が見えるように動作可能であり得る。幾つかの例において、医療システム１００は、本明細書で図示され、説明される方法２００を連続的に実行するように構成され、そのように動作可能であり得、それによってディスプレイ１０９は１つ以上の標的対象の連続的（例えば、ライブ、リアルタイム等）イメージングを提供するための複数の部分解像画像を出力し得る。
【0064】
認識すべき点として、処理済みの画像から原ピクセル値２０のフレーム内の（イメージセンサ１５０により）当初撮像された複数のカラーピクセル値２２Ａ、２２Ｂ、２２Ｃの少なくとも１つを除外することによって、標的治療部位の１つ以上の特徴及び／又は構造（例えば標的対象）の差別化が容易になり得る。例えば、ステップ２０６でプロセッサ１０２が波長シフト入力に従ってカラーピクセル値２２Ａ、２２Ｂ、２２Ｃのうちの少なくとも１つをフィルタ処理により排除することにより、血管を周囲の組織からよりよく区別できるようになり得る。幾つかの例において、１つ以上の標的対象の主要な色は相互に実質的に類似し得、例えば組織と血管は概して赤で表示され、それによって生成画像中で前記特徴が区別しにくい。この例では、青及び／又は緑カラーピクセル（例えば、それぞれ第２のカラーピクセル値２２Ｂ及び第３のカラーピクセル値２２Ｃ）を強調することにより、前記特徴がよりよく区別可能となり得る。
【0065】
追加的に、理解すべき点として、１つ以上の色成分（例えば、赤）のコントラストは、標的治療部位内の１つ以上の他の色成分（例えば、緑、青）と比較してより低い場合がある。結果として得られるデジタル画像から色成分のうちの１つ以上、例えば第１のカラーピクセル値２２Ａ（例えば、赤）を除外することによって対象者の脈管が強調され得るが、これは、原ピクセル値２０のフレームから保持されるのが第２のカラーピクセル値２２Ｂ（例えば、青）と第３のカラーピクセル値２２Ｃ（例えば、緑）だけであるからである。
【0066】
医療装置１４０の光ファイバ１４６が紫外光を生成するように動作可能である実施形態において、医療システム１００は、望ましい（例えば、健康な）組織を望ましくない（例えば、不健康な）組織から区別することのできる部分解像フレームを生成するように構成され得るが、これは前記組織が紫外光下では異なる色の蛍光を発し得ることによる。この例では、ステップ２０６の波長シフト入力は第１のカラーピクセル値２２Ａ（例えば、赤）と第３のカラーピクセル値２２Ｃ（例えば、緑）を含み得、それによって結果として得られる処理済み画像内には第２のカラーピクセル値２２Ｂ（例えば、青）だけが含まれ得る。
【0067】
医療器具１１０のイメージセンサ１５０がＲＧＢ－Ｉｒセンサを含む実施形態において、イメージセンサにより検出され、撮像される原ピクセル値２０のフレームは、複数の第１のカラーピクセル値２２Ａ（例えば、赤）、複数の第２のカラーピクセル値２２Ｂ（例えば、青）、複数の第３のカラーピクセル値２２Ｃ（例えば、緑）、及び可視スペクトルに含まれず、赤外スペクトルにより近い複数の第４のカラーピクセル値（例えば、赤外）を含み得る。この例において、医療システム１００は、標的治療部位（例えば、体内管腔）内の比較的暗い領域を、第１のカラーピクセル値２２Ａ、第３のカラーピクセル値２２Ｃ、及び／又は第４のカラーピクセル値を強調することによってより見やすくすることができる部分解像フレームを生成するように構成され得る。従って、ステップ２０６の波長シフト入力は、処理済み画像から除外するための第２のカラーピクセル値２２Ｂ（例えば、青）を含み得る。
【0068】
シャフト１２０のチップ１２２がカラーイメージセンサ１５０Ａ（例えば、ＲＧＢ－Ｉｒセンサ）とモノクロームイメージセンサ１５０Ｂを含む実施形態において、画像処理装置１０１は、カラーイメージセンサ１５０Ａにより撮像された部分解像画像を生成し、その一方で、モノクロームイメージセンサ１５０Ｂで原ピクセル値２０のフレーム内の比較的暗い領域のコントラストをさらに高めるように構成され得る。この例では、モノクロームイメージセンサ１５０Ｂは、光１０内で照射された近赤外波長を感知し得るため、第４のカラーピクセル値（例えば、赤外）が容易に検出され得る。認識すべき点として、標的治療部位内に１つ以上の材料、例えば蛍光色素を提供することにより、モノクロームイメージセンサ１５０Ｂによる１つ以上の標的対象の可視化が容易となり得る。
【0069】
上述のシステム、装置、アセンブリ、及び方法の各々は、対象者のピクセル値の部分解像フレームを生成するために使用され得る。波長シフトデモザイキングロジックを記憶する画像処理システムを含む医療装置を提供することにより、使用者は処置中に、光源を操作することなく、対象者の体内の標的部位の１つ以上の特徴及び／又は特性をよりよく可視化し得る。この医療装置により、使用者は標的部位の位置を正確に特定することが可能となり得、それによって全体的な処置時間が短縮され、処置の効率が向上し、標的治療部位における標的対象の位置の特定が不正確であった場合に生じる対象者の体への不必要な危害が回避される。
【0070】
当業者にとって、開示された装置及び方法には、本開示の範囲から逸脱することなく、様々な改良や変更を加え得ることが明らかであろう。開示された装置は複数のハードウェアコンポーネント、例えばプロセッサと、装置が本明細書に記載のものに従って処置中の１つ以上の動作を実行できるようにする非一時的コンピュータ可読媒体を内蔵する各種の適当なコンピュータシステム及び／又はコンピューティングユニットを含み得ると認識すべきである。本明細書の考察とその中で開示される特徴の実践から、当業者にとっては本開示のその他の態様も明らかとなるであろう。本明細書と例は例示的にすぎないとみなされるものとする。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【国際調査報告】