(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-16
(54)【発明の名称】マッピングおよび/またはセグメンテーションのための複数の発光画像のグローバル処理
(51)【国際特許分類】
A61B 10/00 20060101AFI20230808BHJP
A61B 34/00 20160101ALI20230808BHJP
【FI】
A61B10/00 E
A61B34/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022569028
(86)(22)【出願日】2021-07-27
(85)【翻訳文提出日】2022-12-28
(86)【国際出願番号】 EP2021070986
(87)【国際公開番号】W WO2022023332
(87)【国際公開日】2022-02-03
(32)【優先日】2020-07-29
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】522166138
【氏名又は名称】サージビジョン・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング
【氏名又は名称原語表記】SurgVision GmbH
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100189555
【氏名又は名称】徳山 英浩
(74)【代理人】
【識別番号】100100479
【氏名又は名称】竹内 三喜夫
(72)【発明者】
【氏名】タルティス,アドリアン
(72)【発明者】
【氏名】コッホ,マクシミリアン
(57)【要約】
医療用途における患者(106)の1つ以上の身体部分(109)を撮像するための手法を提案する。対応する方法(500)は、身体部分(109)の複数の発光画像の値のグローバルレンジを表示部(169)の(共通の)ダイナミックレンジにマッピングするマッピング関数を決定すること(533~536)を含む。発光画像は、マッピング関数に従って、それらの値を変換することによってマッピングされる(539~545)。そして、得られたマッピング済み発光画像は、表示部(169)上に一緒に表示される(584)。追加または代替として、方法(500)は、発光画像またはマッピング済み発光画像に等しい開始画像のための少なくとも1つの(共通の)セグメンテーション閾値を提供すること(557)を含む。開始画像の値とセグメンテーション閾値との比較に従って、開始画像がそれぞれ区分される(560~569)。
【特許請求の範囲】
【請求項1】
医療用途における患者(106)の1つ以上の身体部分(109)を撮像するための手法(500)であって、該方法(500)は、コンピュータ装置(121)の制御の下で、
コンピュータ装置(121)に、身体部分(109)の複数の発光画像を提供するステップであって、複数の発光画像の各々は、身体部分(109)の対応する場所から発光物質によって放出される発光光を表す複数の値を含む、ステップ(506~521)と、
コンピュータ装置(121)によって、全ての発光画像の値のうち最低値から最高値までのグローバルレンジを決定するステップ(533)と、
コンピュータ装置(121)によって、グローバルレンジを表示部(169)のダイナミックレンジにマッピングするマッピング関数を決定するステップ(536)と、
コンピュータ装置(121)によって、マッピング関数に従って、対応する発光画像の値をそれぞれ変換することによって、発光画像を、対応するマッピング済み発光画像にマッピングするステップと(539~545)と、
コンピュータ装置(121)によって、マッピング済み発光画像を含む処理済み画像を、表示部(169)に一緒に表示するステップ(584)と、を含む方法。
【請求項2】
コンピュータ装置(121)に、患者(106)から、および/または、患者(106)から抽出された1つ以上のサンプルから取得された発光画像を提供するステップ(506~521)を含む、請求項1に記載の方法(500)。
【請求項3】
コンピュータ装置(121)によって、異常値を除去するためにフィルタ処理された全ての発光画像の値のうち最低値から最高値までのグローバルレンジを決定するステップ(533)を含む、請求項1または2に記載の方法(500)。
【請求項4】
コンピュータ装置(121)に、様々な撮像方向からの身体部分の共通のもの、身体部分の共通のものの異なる領域、および/または、異なる身体部分を表す発光画像を提供するステップ(506~521)を含む、請求項1~3のいずれかに記載の方法(500)。
【請求項5】
コンピュータ装置(121)によって、ユーザに、発光画像を連続して取得するために、患者(109)の対応するイメージング配置を設定するように催促するステップ(515)と、
コンピュータ装置(121)によって、ユーザによる、対応するイメージング配置の確認に応答して、発光画像の各々を取得するステップ(518)と、を含む、請求項1~4のいずれかに記載の方法(500)。
【請求項6】
コンピュータ装置(121)によって、ダイナミックレンジの手動調整を受信するステップと(590)と、
コンピュータ装置(121)によって、ダイナミックレンジの手動調整に応答して、マッピング関数を決定する前記ステップ(536)と、発光画像をマッピングする前記ステップ(539~545)と、処理済み画像を表示する前記ステップ(584)とを繰り返すステップと、を含む、請求項1~5のいずれかに記載の方法(500)。
【請求項7】
コンピュータ装置(121)によって、対応するマッピング済み発光画像の内容に従って、対応する発光画像をマッピング(539~545)する品質をそれぞれ示す、マッピング済み発光画像の対応するランキング指標を計算するステップ(575~581)と、
コンピュータ装置(121)によって、マッピング済み発光画像の対応するランキング指標に関連して、処理済み画像を一緒に表示部(169)に表示するステップ(584)と、を含む、請求項1~6のいずれかに記載の方法(500)。
【請求項8】
コンピュータ装置(121)によって、マッピング済み発光画像の各々のランキング指標を、マッピング済み発光画像の値の中心傾向統計パラメータに従って計算するステップ(575~581)を含む、請求項7に記載の方法(500)。
【請求項9】
コンピュータ装置(121)によって、開始画像の各々の値を分離数のセグメントに分離するために、全ての発光画像またはマッピング済み発光画像に等しい開始画像にとって共通である少なくとも1つのセグメンテーション閾値を提供するステップ(557)と、
コンピュータ装置(121)によって、開始画像の値とセグメンテーション閾値との比較に従って、対応する開始画像を前記分離数のセグメントに区分することによって、それぞれ開始画像から対応する区分化画像を生成するステップ(560~569)と、
コンピュータ装置(121)によって、区分化画像をさらにベースとした処理済み画像を表示部(169)に一緒に表示するステップ(584)と、を含む、請求項1~8のいずれかに記載の方法(500)。
【請求項10】
コンピュータ装置(121)によって、開始画像の各々を、開始画像の値とセグメンテーション閾値との比較に従って、発光物質の検出および非検出をそれぞれ表す、セグメントの検出のものとセグメントの非検出のものとに区分するステップ(560~569)を含む、請求項9に記載の方法(500)。
【請求項11】
コンピュータ装置(121)によって、全ての開始画像の値を前記分離数のグループに分離するために、全ての開始画像の値に従って、前記少なくとも1つのセグメンテーション閾値を決定するステップ(557)を含む、請求項9または10に記載の方法(500)。
【請求項12】
コンピュータ装置(121)によって、セグメンテーション閾値の手動調整を受信するステップ(593)と、
コンピュータ装置(121)によって、セグメンテーション閾値の手動調整に応答して、開始画像を区分する前記ステップ(560~569)と、処理済み画像を表示する前記ステップ(584)とを繰り返すステップと、を含む、請求項9~11のいずれかに記載の方法(500)。
【請求項13】
コンピュータ装置(121)によって、対応する区分化画像の内容に従って、対応する開始画像を区分する(560~569)品質をそれぞれ示す、区分化画像の対応するランキング指標を計算するステップ(575~581)と、
コンピュータ装置(121)によって、区分化画像の対応するランキング指標に関連して、処理済み画像を一緒に表示部(169)に表示するステップ(584)と、を含む、請求項9~12のいずれかに記載の方法(500)。
【請求項14】
コンピュータ装置(121)によって、区分化画像のセグメントの値の対応する中心傾向統計パラメータ間の比較に従って、区分化画像の各々のランキング指標を計算するステップ(575~581)を含む、請求項13に記載の方法(500)。
【請求項15】
コンピュータ装置(121)に、発光画像に対応する複数の反射率画像を提供するステップ(506~521)であって、反射率画像の各々は、対応する場所から反射される可視光をそれぞれ表す、身体部分(109)の場所についての複数の値を含む、ステップと、
コンピュータ装置(121)によって、区分化画像を、対応する反射率画像の上に重ね合わせることによって、対応する複数のオーバーレイ画像を生成するステップ(566)と、
コンピュータ装置(121)によって、オーバーレイ画像を含む処理済み画像を表示部(169)に一緒に表示するステップ(584)と、含む、請求項9~14のいずれかに記載の方法(500)。
【請求項16】
コンピュータ装置(121)によって、1つ以上の比較画像を検索するステップ(524)であって、比較画像の各々は、比較実体の対応する場所から発光物質によって放出される発光光を表す複数の値を含む、ステップと、
コンピュータ装置(121)によって、全ての比較画像の値にさらに従って、グローバルレンジを決定するステップ(533)と、
コンピュータ装置(121)によって、マッピング関数に従って比較画像の値を変換することによって、比較画像を、それぞれ対応するマッピング済み比較画像にマッピングするステップ(539~545)と、
コンピュータ装置(121)によって、マッピング済み比較画像をさらに含む処理済み画像を一緒に表示部(169)に表示するステップ(584)と、を含む、請求項1~15のいずれかに記載の方法(500)。
【請求項17】
コンピュータ装置(121)によって、発光物質の対応する既知の濃度を含む1つ以上の部位を有する基準デバイスの少なくとも1つの基準画像を含む比較画像を検索するステップ(524)を含む、請求項16に記載の方法(500)。
【請求項18】
コンピュータ装置(121)によって、患者(106)の身体部分(109)に対応する追加の患者の1つ以上の追加の身体部分の1つ以上の評価画像を含む比較画像を検索するステップ(524)を含む、請求項16または17に記載の方法(500)。
【請求項19】
発光物質は、方法(500)を実施する前に患者に予め投与される発光剤である、請求項1~18のいずれかに記載の方法(500)。
【請求項20】
発光物質は蛍光物質であり、発光画像は蛍光画像であり、
蛍光画像の各々の値は、蛍光物質の励起光によって照明された身体部分(109)の対応する場所から蛍光物質によって放出される蛍光光を表す、請求項1~19のいずれかに記載の方法(500)。
【請求項21】
コンピュータプログラム(400)がコンピュータ装置(121)上で実行される場合、コンピュータ装置(121)に、請求項1~20のいずれかに記載の方法(500)を実行させるように構成されたコンピュータプログラム(400)。
【請求項22】
コンピュータプログラムを具現化するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品であって、コンピュータプログラムは、コンピュータ装置のワーキングメモリに読み込み可能であり、これにより請求項1~20のいずれかに記載の方法を実施するコンピュータ装置を構成する、コンピュータプログラム製品。
【請求項23】
請求項1~20のいずれかに記載の方法(500)のステップを実行するように構成された手段(400)を含むコンピュータ装置(121)。
【請求項24】
請求項1~20のいずれかに記載の方法の各ステップを実行するための回路を備えるコンピュータ装置。
【請求項25】
請求項23または24に記載のコンピュータ装置(121)と、発光画像を取得する取得ユニット(136~148)と、を備えるイメージングシステム(100)。
【請求項26】
請求項19に記載の方法(500)のステップを実行するように構成されたコンピュータ装置(121)を備え、
励起光を身体部分(109)に印加するための照明ユニット(124~133)を備える、請求項25に記載のイメージングシステム(121)。
【請求項27】
請求項15に従属したときの請求項19に記載の方法(500)のステップを実行するように構成されたコンピュータ装置(121)を備え、
照明ユニット(124~133)はさらに、身体部分(109)に白色光を印加するためのものであり、
取得ユニット(136~148)はさらに、反射率画像を取得するためのものである、請求項26に記載のイメージングシステム(121)。
【請求項28】
請求項1~20のいずれかに記載の方法に従って、身体部分を撮像し、これにより患者の手術処置中に、処理済み画像を表示部に一緒に表示するステップと、
処理済み画像の表示に従って、患者を手術するステップと、を含む手術方法。
【請求項29】
請求項1~20のいずれかに記載の方法に従って、身体部分を撮像し、これにより患者の診断処置中に、処理済み画像を表示部に一緒に表示するステップと、
処理済み画像の表示に従って、患者の健康状態を評価するステップと、を含む診断方法。
【請求項30】
請求項1~20のいずれかに記載の方法に従って、身体部分を撮像し、これにより患者の治療処置中に、処理済み画像を表示部に一緒に表示するステップと、
処理済み画像の表示に従って、患者を治療するステップと、を含む治療方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、イメージング応用に関する。より詳細には、本開示は、医療用途における発光(luminescence)画像の処理に関する。
【背景技術】
【0002】
本開示の背景は、その文脈に関する技術の議論とともに以下に導入される。しかしながら、この議論が文書、行為、アーチファクト等を参照した場合でも、議論された技術が先行技術の一部であることや、本開示に関連する分野における共通の一般的知識であることを示唆したり表現したりするものではない。
【0003】
画像(デジタル形式)は、1つ以上の材料物体を含む場面(scene)の視覚的表現を提供するために一般に使用される。特に、イメージング手法は、患者の身体部分(典型的には、それらが直接見えない場合でも実質的に非侵襲的に)を検査する医療用途の機器において利用される。
【0004】
次第に検討されている特定のイメージング手法が、発光イメージング、特に蛍光(fluorescence)イメージングである。発光イメージングは、加熱とは異なる励起を受けた場合、発光物質による光の放出からなる発光現象をベースとしており、特に蛍光物質(蛍光色素分子と呼ばれる)において蛍光現象が発生する。これらは、照明された場合に光(蛍光)を放出する。身体部分(蛍光画像)の様々な場所から放出される蛍光光によって画定される身体部分の画像は、そこに存在する蛍光色素分子を表す。例えば、蛍光剤(可能性として、腫瘍のような病変など、所望のターゲットの特定の分子に到達し、そして、蛍光分子イメージング(FMI)アプリケーションではそこに固定状態に留まるように構成される)が、患者に投与されることがある。そして、蛍光画像中の(固定化)蛍光剤の表現は、対応するターゲットの識別(および定量化)を容易にする。この情報は、いくつかの医療用途において使用でき、例えば、手術用途では切除対象の病変のマージン(縁)を認識するために、診断用途では病変を発見/監視するために、治療用途では治療対象の病変を描写するために使用できる。
【0005】
しかしながら、病変の正確な認識はかなり困難な状態のままであり、それは、いくつかの妨害因子によって悪影響を受けるためである。
【0006】
特に、それに関連する医療処置中に同じ身体部分から取得される様々な蛍光画像は、様々なダイナミックレンジを有することがある。これにより、絶対的観点(定量化のため)および相対的観点(異なる蛍光画像間で)の両方で蛍光剤の識別が非常に困難になる。
【0007】
従って、蛍光画像は、一般に(ほぼ均質な特性を備えた部分によって画定されるセグメントに区分され、蛍光剤(および対応するターゲット)を身体部分の残りから区別する。この目的のため、各蛍光画像の値(身体部分の対応する場所を表す)が、セグメンテーション閾値と比較される。セグメンテーション閾値は、蛍光画像の値の統計的分布に従って計算される。しかしながら、妨害光(例えば、手術器具、手、手術ツール、周囲の身体部分およびバックグラウンド材料に起因する)は、蛍光画像の値の統計的分布にバイアスをかけて、そして、そのセグメンテーション閾値にバイアスをかける(それを増加または減少させる)。
【0008】
これは、身体部分の場所を誤って分類するリスクを伴う。例えば、手術用途では、これは病変のマージン(縁)の正確な認識に関して不確実性をもたらす(病変の不完全な切除または健康組織の過剰な除去のリスクを伴う)。診断用途では、これは、病変の識別および/または定量化に悪影響を及ぼし、これは誤った解釈を導くことがある(偽陽性/陰性のリスクおよび誤ったフォローアップ)。治療用途では、これは、治療対象の病変の描写に悪影響を及ぼす(治療の減少した有効性または健康組織への損傷のリスクを伴う)。上記のすべては、患者の健康に有害となり得る。
【発明の概要】
【課題を解決するための手段】
【0009】
本開示の簡略化した要旨は、ここでは、その基本的な理解を提供するために提示している。しかしながら、この要旨の唯一の目的は、本開示のいくつかの概念を、下記のより詳細な説明の前置きとして簡略化した形態で導入することである。それは、そのキー要素の識別としてもその範囲の描写としても解釈されるべきでない。
【0010】
一般論として、本開示は、蛍光画像をグローバルレベルで処理するアイデアをベースとしている。
【0011】
特に、一態様が、医療用途における患者の1つ以上の身体部分を撮像するための方法を提供する。身体部分の複数の発光画像の値のグローバルレンジを表示部のダイナミックレンジにマッピングするマッピング関数が決定される。発光画像は、マッピング関数に従って値を変換することによって、マッピングされる。得られたマッピング済み発光画像は、表示部に一緒に表示される。
【0012】
追加または代替として、全ての発光画像の値に従って、全ての発光画像の値を分離数のグループに分離するための少なくとも1つのセグメンテーション閾値が決定される。発光画像は、発光画像の値とセグメンテーション閾値との比較に従って区分化される。
【0013】
更なる態様が、この方法を実装するためのコンピュータプログラムを提供する。
【0014】
更なる態様が、対応するコンピュータプログラム製品を提供する。
【0015】
更なる態様が、この方法を実装するためのコンピュータ装置を提供する。
【0016】
更なる態様が、コンピュータ装置を備えるイメージングシステムを提供する。
【0017】
更なる態様が、対応する手術方法を提供する。
【0018】
更なる態様が、対応する診断方法を提供する。
【0019】
更なる態様が、対応する治療方法を提供する。
【0020】
より詳細には、本開示の1つ以上の態様が独立請求項に記述され、その有利な特徴が従属請求項に記述されており、全ての請求項の言い回しは、参照により文字どおりにここに組み込まれている(他の全ての態様に準用される任意の特定の態様を参照して提供される任意の有利な特徴を備える)。
【図面の簡単な説明】
【0021】
本開示の手法、そしてその追加の特徴および利点は、下記詳細な説明を参照して、添付図面と関連して読まれる非限定的な表示を単に用いて、最善に理解されるであろう(ここで、簡略化のために、対応する要素は等しいまたは類似の参照符号が付与され、それらの説明は繰り返さず、各実体の名前は、一般にそのタイプおよびその属性(例えば、値、内容および表現)の両方を示すために使用される)。
【0022】
【
図1】本開示の一実施形態に係る手法を実践するために使用できるイメージングシステムの概略ブロック図を示す。
【
図2A】本開示の一実施形態に係る手法の一般的原理を示す。
【
図2B】本開示の一実施形態に係る手法の一般的原理を示す。
【
図2C】本開示の一実施形態に係る手法の一般的原理を示す。
【
図2D】本開示の一実施形態に係る手法の一般的原理を示す。
【
図3A】本開示の他の実施形態に係る手法の一般的原理を示す。
【
図3B】本開示の他の実施形態に係る手法の一般的原理を示す。
【
図4】本開示の一実施形態に係る手法を実装するために使用できる主要なソフトウェアコンポーネントを示す。
【
図5A】本開示の一実施形態に係る手法の実装に関連する動作の流れを記述する動作図を示す。
【
図5B】本開示の一実施形態に係る手法の実装に関連する動作の流れを記述する動作図を示す。
【
図6】本開示の一実施形態に係る手法の様々な適用例を示す。
【
図7】本開示の一実施形態に係る手法の様々な適用例を示す。
【
図8】本開示の一実施形態に係る手法の様々な適用例を示す。
【
図9】本開示の一実施形態に係る手法の様々な適用例を示す。
【発明を実施するための形態】
【0023】
特に、
図1を参照すると、本開示の実施形態に係る手法を実践するために使用できるイメージングシステム100の概略ブロック図を示す。
【0024】
イメージングシステム100は、その視野103内に含まれる場面(scene)(イメージングシステム100が感度を有する立体角内の世界の一部によって定義される)を撮像することを可能にする。例えば、イメージングシステム100は、蛍光ガイド手術(FGS)、特に腫瘍に関連する場合には蛍光ガイド切除(FGR)において外科医を支援するための蛍光イメージング手法を適用するために使用される。この特定の場合、場面は、蛍光剤が事前に投与された(例えば、腫瘍に蓄積するようにしている)手術処置を受けている患者106に関連する。場面は、患者106の身体部分109を含み、手術空洞112(例えば、低侵襲手術での小さな皮膚切開部)が、切除すべき腫瘍115を露出させるために開放されている。場面はまた、手術空洞112(不図示)とは異なる1つ以上の異物、例えば、手術器具、手、手術ツール、周囲の身体部分、バックグラウンド材料などを含むことがある。
【0025】
イメージングシステム100は、視野103の画像を取得するためのイメージングプローブ118と、その動作を制御する中央ユニット121とを有する。
【0026】
イメージングプローブ118から開始すると、それは下記コンポーネントを備える。励起光源124および白色光源127がそれぞれ励起光および白色光を発生する。励起光は、蛍光剤の蛍光色素分子を励起するのに適した波長およびエネルギー(例えば、近赤外線(NIR)タイプ)を有し、一方、白色光は、人間の眼に実質的に無色であるように見える(例えば、人間の眼にとって可視であるスペクトルの全ての波長を等しい強度で含む)。
【0027】
伝送光学系130および伝送光学系133は、励起光および白色光を(同じ)視野103にそれぞれ伝送する。収集光学系136は、視野103からの光を収集する(落射照明配置で)。収集された光は、視野103内に存在する任意の蛍光色素分子(励起光によって照明される)によって放出される蛍光光を含む。実際、蛍光色素分子は、励起光を吸収した場合に励起(電子)状態になり、励起状態は不安定であり、その結果、蛍光色素分子は、そこから極めて短時間で基底(電子)状態に減衰し、これにより照明された蛍光色素分子の量に依存した強度で(励起状態で熱として散逸されるエネルギーのために励起光のものより長い特性波長で)蛍光光を放出する。
【0028】
さらに、収集された光は、視野103内に存在する任意の物体(白色光によって照明される)によって反射される可視光(可視スペクトル内)を含む。ビームスプリッタ139が、収集された光を2つのチャネルに分割する。例えば、ビームスプリッタ139は、収集された光を、可視光のスペクトルと蛍光光のスペクトルとの間の閾値波長の上下の波長でそれぞれ透過し反射するダイクロイックミラーである(または逆も同様)。ビームスプリッタ139の(透過した)チャネルでは、そのスペクトル中の収集された光の一部によって規定される蛍光光を用いて、発光フィルタ142が、蛍光光をフィルタ処理して、励起光(これは、視野によって反射されるかもしれない)および周囲光(固有の蛍光によって生成されるかもしれない)を除去する。
【0029】
蛍光カメラ145(例えば、EMCCDタイプ)が、発光フィルタ142からの蛍光光を受光し、視野103内の蛍光色素分子の分布を表す対応する蛍光(デジタル)画像を発生する。ビームスプリッタ139の他の(反射した)チャネルでは、そのスペクトルにおける集光された光の一部によって規定される可視光を備え、反射率(または写真)カメラ148(例えば、CCDタイプ)が、可視光を受光し、視野103内で人間の眼に見えるものを表す対応する反射率(デジタル)画像を発生する。
【0030】
中央ユニット121に移動すると、それは、バス構造151を介して互いに接続された幾つかのユニットを備える。特に、1つ以上のマイクロプロセッサ(μP)154が、中央ユニット121の論理能力を提供する。不揮発性メモリ(ROM)157が、中央ユニット121のブートストラップのための基本コードを保存し、揮発性メモリ(RAM)160が、マイクロプロセッサ154によってワーキングメモリとして使用される。中央ユニット121には、プログラムおよびデータを保存するための大容量メモリ163(例えば、半導体ディスク(SSD))が設けられる。
【0031】
さらに、中央ユニット121は、周辺機器または入力/出力(I/O)ユニットのための複数のコントローラ166を備える。特に、コントローラ166は、励起光源124、白色光源127、蛍光カメラ145およびイメージングプローブ118の反射率カメラ148を制御する。さらに、コントローラ166は、更なる周辺機器(参照符号169で全体として示す)、例えば、蛍光/反射率画像を表示するための1つ以上のモニタ、コマンド入力用のキーボード、モニタ上のポインタを移動するためのトラックボール、着脱可能なストレージユニット(例えば、USBキー)を読み書きするための駆動装置、(通信)ネットワーク(例えば、ローカルエリアネットワーク(LAN))に接続するためのネットワークインタフェースカード(NIC)を制御する。
【0032】
ここで
図2A~
図2Dを参照して、本開示の一実施形態に係る手法の一般的な原理を示す。
【0033】
図2Aから開始すると、患者の1つ以上の身体部分の複数の蛍光画像が提供される(各1つは、身体部分の対応する場所を表す複数の値を含む)。例えば、蛍光画像は、様々な(撮像)方向から撮像される同じ身体部分、同じ身体部分の様々な領域、または異なる身体部分に関する。懸案の具体的な用途では、蛍光画像は、図示の例では6つの方向から取得された手術処置を受けている身体部分109に関する。
【0034】
図2Bに移動して、全蛍光画像の値のグローバルレンジが決定される。グローバルレンジは、全蛍光画像の最低値から最高値までに及ぶ(可能性として、その異常値を除去するためにフィルタ処理されることがある)。
【0035】
図2Cに移動して、マッピング関数が決定される。マッピング関数は、グローバルレンジを、蛍光画像を表示するためのダイナミックレンジ(例えば、リニアで)にマッピングする。ダイナミックレンジ(全蛍光画像について共通)は、この目的のために使用される表示部に関する(懸案の用途ではイメージングシステムのモニタ、不図示)。
【0036】
図2Dに移動して、各蛍光画像はダイナミックレンジにマッピングされる。この目的のために、蛍光画像の各値は、マッピング関数に従って変換される。こうした得られた(マッピング済み)蛍光画像は、(懸案の用途においてイメージングシステムのモニタ上に、不図示)一緒に表示される。
【0037】
上述した手法は、様々な蛍光画像における身体部分の表現を均一化する。
【0038】
実際、マッピング済み蛍光画像は、この時点で同じダイナミックレンジに正規化される。これによりマッピング済み蛍光画像の定量評価が容易になり(絶対的な意味で)、さらに、これによりマッピング済み蛍光画像間の比較が容易になる(相対的な意味で)。
【0039】
特に、懸案のこの例では、(固定化された)蛍光剤の識別、そして対応するターゲットの識別が著しく改善される。
【0040】
ここで
図3A~
図3Bを参照すると、本開示の他の実施形態に係る手法の一般的な原理を示す。
【0041】
図3Aから開始すると、セグメンテーション閾値(またはそれ以上)が提供される。セグメンテーション閾値は、全ての蛍光画像(それらのオリジナルの形態、またはダイナミックレンジへのマッピング後のいずれか)で共通である。例えば、ある実装では、セグメンテーション閾値は、全蛍光画像に従ってグローバルに決定される。特に、セグメンテーション閾値は、全蛍光画像の値を、様々なグループ(実質的に均一な特性を備える)の(分離)数に分離するための全蛍光画像の値の統計的分布に従って決定される。懸案の特定の用途では、セグメンテーション閾値は、全蛍光画像の値を、蛍光剤の検出および非検出にそれぞれ対応する2つのグループに分離する。
【0042】
図3Bに移動して、各蛍光画像は、身体部分の対応する領域(実質的に均一な特性を備える)を表す同じ(分離)数の様々なセグメントに区分される。セグメントは、蛍光画像の値と(同じ)セグメンテーション閾値との比較に従って決定される。懸案の特定用途では、各蛍光画像は、蛍光剤が検出される(検出)セグメントと、蛍光剤が検出されない(非検出)セグメントと(そして、腫瘍および健康組織をそれぞれ表す)に区分される。
【0043】
上述した手法は、(可能ならばマッピング済み)蛍光画像のセグメンテーションの精度を著しく増加させる。
【0044】
実際、現時点で全蛍光画像の値が考慮されるため、それらのいくつかにおいて可能性のある異常の影響が希釈される。従って、全蛍光画像の値の統計的分布は、異常によってバイアスが少なくなる。これは、セグメンテーション閾値のより低いバイアスに反映される。
【0045】
特に、この例では、外乱光(例えば、異物によるもの)が、セグメンテーション閾値により低い程度に悪影響を及ぼす。その結果、身体部分の場所を誤って分類するリスクが実質的に低減される。
【0046】
上述した蛍光画像のマッピングおよび/またはセグメンテーションにより、手術用途において切除すべき病変のマージン(縁)の認識、診断用途における病変の識別/定量化、および治療用途における処置すべき病変の描写が容易になる。上記の全てが、患者の健康に有益な効果を有する。
【0047】
ここで
図4を参照すると、本開示の一実施形態に係る手法を実装するために使用できる主要なソフトウェアコンポーネントが示される。
【0048】
全てのソフトウェアコンポーネント(プログラムおよびデータ)は、全体として参照400で示している。ソフトウェアコンポーネント400は、典型的には、大容量メモリに保存され、プログラムが実行する場合、オペレーティングシステムおよび本開示の手法に直接に関係しない他のアプリケーションプログラム(簡素化のために図では省略)とともに、イメージングシステムの中央ユニットのワーキングメモリに(少なくとも部分的に)ロードされる。プログラムは、例えば、リムーバブルストレージユニットから、またはネットワークから大容量メモリに最初にインストールされる。この点に関して、各プログラムは、コードのモジュール、セグメントまたは一部でもよく、これは、特定の論理機能を実装するための1つ以上の実行可能命令を含む。
【0049】
特に、取得部403が、この目的のために適切に照明された視野の蛍光/反射率画像を取得するために専用のイメージングシステムのコンポーネントを駆動する(懸案の例では手術処置の際)。取得部403は、蛍光画像リポジトリ406および反射率画像リポジトリ409に書き込み、これらは、進行中のイメージングプロセス中にそれぞれ取得される、対応する蛍光画像および反射率画像のセットを収納する。蛍光画像リポジトリ406および反射率画像リポジトリ409は、蛍光画像および反射率画像(同じ時間で同じ方法で取得される)の各ペアについて対応するエントリ(entry)を備える。
【0050】
蛍光/反射率画像リポジトリ406,409のエントリは、蛍光/反射率画像のビットマップを保存し、これは、それぞれ画素(即ち、視野の対応する場所を表す基本画素)の値を含むセル(例えば、512個の行および512個の列)のマトリクス(行列)で定義される。蛍光画像の各(蛍光)値は、場所で放射される蛍光光の強度の関数として画素の輝度を定義し、一方、反射率画像の各(反射率)値は、場所で反射される可視光の強度の関数として画素の輝度を定義する(例えば、グレースケール表現における黒から白まで)。エントリは、蛍光/反射率画像の説明ラベルをさらに記憶してもよい。例えば、説明ラベルは、蛍光/反射率画像が取得されたイメージング配置(例えば、その撮像方向、領域および/または身体部分)を示す。
【0051】
必要に応じて、比較画像リポジトリ412が、対応する比較実体の1つ以上の比較(蛍光)画像を含む。例えば、比較画像は、基準(蛍光)画像以上を含み、これは、蛍光剤の既知の濃度を含む1つ以上の部位を表す基準デバイスを表す(例えば、異なる濃度の蛍光剤を含む液体が充填された容器)。追加または代替として、比較画像は、様々な患者の同じタイプの身体部分の1つ以上の評価(蛍光)画像を含む(例えば、健康状態のものと、同じ病変を持つもの)。比較画像リポジトリ412は、各比較画像ごとにエントリを有する。エントリは、比較画像のビットマップを保存し、これはセルのマトクリスによって定義され(蛍光画像と同じまたは異なるサイズを備える)、それぞれが、対応する画素の(比較)値を含む。エントリはさらに、比較画像の説明ラベルを保存してもよい。例えば、説明ラベルは、基準画像における蛍光剤の濃度、評価画像における身体部分のタイプおよび/または状態を示す。
【0052】
構成情報リポジトリ415が、撮像プロセスのための構成情報を保存する。構成情報は、蛍光/反射率画像が取得できる様々なイメージング配の指示を含む。例えば、イメージング配置は、同じ身体部分の撮像方向(例えば、全ての解剖学的方向(即ち、前部、後部、上側、下側、内側、側方))、同じ身体部分の異なる領域(例えば、健康組織および病理組織)、異なる身体部分(例えば、対応する器官)などである。構成情報は、ダイナミックレンジ(蛍光画像をマッピングするため)の指示を含む。構成情報は、マッピング関数を決定するためのパラメトリック関数の指示を含み、このパラメトリック関数は、グローバルレンジおよびダイナミックレンジによって定義されるパラメータに依存する。例えば、パラメトリック関数は、リニアタイプである。
【0053】
y=m・x+Ld-m・Lg
m=(Hd-Ld)/(Hg-Lg)
【0054】
ここで、LgおよびHgは、それぞれグローバルレンジの下限および上限であり、HdおよびHdは、それぞれダイナミックレンジの下限および上限である。取得部403は、構成情報リポジトリ415(特に、イメージング配置)を読み出す。コンフィギュレータ(構成部)418は、構成情報を更新するためのユーザインタフェースを見せる。例えば、ユーザインタフェースは、イメージング配置を選択する(全ての利用可能なものの中で)ためのチェックボックスと、ダイナミックレンジの下限および上限を変更するためのスライダとを含む。コンフィギュレータ418は、構成情報リポジトリ415(特に、イメージング配置およびダイナミックレンジ)を読み書きする。
【0055】
マッパー(マッピング部)421が、(全蛍光画像および、可能ならば1つ以上の比較画像の値の)グローバルレンジを決定し、それに応じてマッピング関数(蛍光/比較画像をマッピングするため)を決定する。マッパー421は、蛍光画像リポジトリ406、比較画像リポジトリ412、および構成情報リポジトリ415(特に、ダイナミックレンジおよびパラメトリック関数)を読み出す。さらに、マッパー421は、マッピング関数リポジトリ424を書き込む。マッピング関数リポジトリ424は、マッピング関数の指示(実際のグローバルレンジおよびダイナミックレンジによって定義されるパラメトリック関数のインスタンスからなる)を保存する。
【0056】
マッパー421はさらに、マッピング関数に従って蛍光/比較画像をマッピングする。マッパー部421は、マッピング済み画像リポジトリ427を書き込む。マッピング済み画像リポジトリ427は、蛍光画像に対応するマッピング済み(蛍光)画像のセットと、可能ならば、比較画像に対応するマッピング済み(比較)画像のセットとを保存する。各マッピング済み蛍光/比較画像は、ビットマップによって形成され、これは、蛍光画像(マッピング済み蛍光画像について)または比較画像(マッピング済み比較画像について)と同じサイズを持つセルのマトリクスによって定義され、それぞれが対応する画素の(マッピング済み)値を含む。
【0057】
閾値部430は、(可能ならばマッピングされた)蛍光画像を区分するためのセグメンテーション閾値を決定する。閾値部430は、蛍光画像リポジトリ406および/またはマッピング済み画像リポジトリ427(特に、マッピング済み蛍光画像)を読み取る。さらに、閾値部430は、セグメンテーション閾値リポジトリ433を書き込む。セグメンテーション閾値リポジトリ433は、セグメンテーション閾値を保存する。
【0058】
セグメンタ(区分部)436が、初めに提供されたとき、またはそれらのマッピング後のいずれかで蛍光画像を区分する(セグメンテーション閾値に従って)。セグメンタ436は、蛍光画像リポジトリ406および/またはマッピング済み画像リポジトリ427(特に、マッピング済み蛍光画像)を読み取り、そしてセグメンテーション閾値リポジトリ433を読み取る。セグメンタ436はまた、セグメンテーション閾値を手動で変更するためのユーザインタフェースを見せてもよい(例えば、スライダを用いて)。さらに、セグメンタ436は、セグメンテーションマスクリポジトリ439を書き込む。セグメンテーションマスクリポジトリ439は、蛍光画像に対応するセグメンテーションマスクのセットを保存する。
【0059】
各セグメンテーションマスクは、蛍光画像と同じ大きさを持つセルのマトリックスによって形成され、それぞれが対応する場所の分類を示すセグメンテーションラベルを含む。1つのセグメンテーション閾値だけ、そして2つの(検出/非検出)セグメントだけを備える場合、セグメンテーションラベルは、例えば、(バイナリ)セグメンテーションフラグであり、これは、場所が検出セグメントに属する場合には、アサート(アクティブ化)され(例えば、論理値1)、場所が非検出セグメントに属する場合には、デアサート(非アクティブ化)される(例えば、論理値0)。
【0060】
プロセッサ442が、蛍光画像に対応する処理済み(蛍光)画像のセットと、可能ならば比較画像に対応する処理済み(比較)画像のセットとを発生する。処理済み蛍光画像は、マッピング済み蛍光画像、(可能ならばマッピング済み)蛍光画像の対応する非検出セグメントの値を(黒に)リセットすることによって得られる区分化(蛍光)画像、または、セグメント化画像を、対応する反射率画像に重ね合わせることによって得られるオーバーレイ画像でもよい。処理済み比較画像は、マッピング済み比較画像または(オリジナル)比較画像でもよい。
【0061】
プロセッサ442は、蛍光画像リポジトリ406、反射率画像リポジトリ409、比較画像リポジトリ412、マッピング済み画像リポジトリ427、およびセグメンテーションマスクリポジトリ439のうちの1つ以上を読み取る。さらに、プロセッサ442は、処理済み画像リポジトリ445を書き込む。処理済み画像リポジトリ445は、各処理済み(蛍光/比較)画像のためのエントリを含む。エントリは、処理済み蛍光/比較画像のビットマップを保存し、これは、蛍光画像(処理済み蛍光画像について)または比較画像(処理済み比較画像について)と同じサイズを持つセルのマトクリスによって定義され、それぞれが対応する画素の(処理済み)値を含む。
【0062】
エントリはさらに、対応する蛍光/比較画像の説明ラベルを保存する。さらに、処理済み蛍光画像の場合、エントリは、プロセッサ442によって計算されるランキング指標(蛍光剤を検出するための処理済み蛍光画像の能力を示す)も保存する。表示部駆動部448は、処理済み(蛍光/比較)画像を表示部に、可能ならば、対応する説明ラベルおよび/またはランキング指標と一緒に表示するための表示部を駆動する(即ち、イメージングシステムのモニタ)。表示部駆動部448は、処理済み画像リポジトリ445を読み出す。
【0063】
ここで
図5A~
図5Bを参照すると、本開示の一実施形態に係る手法の実装に関連する動作の流れを説明する動作図を示す。
【0064】
特に、動作図は、方法500を用いて医療用途(懸案の例では手術処置)において患者の1つ以上の身体部分を撮像するために使用できる例示的なプロセスを表現する。この点に関して、各ブロックは、イメージングシステム上で、特定された論理機能を実装するための1つ以上の実行可能命令に対応できる。
【0065】
手術処置の前に、健康管理オペレータ(例えば、看護師)が、蛍光剤を患者に投与する。蛍光剤(例えばインドシアニングリーン、メチレンブルー等)は、切除対象の腫瘍など、特定の(生物学的)ターゲットに到達し、そこにほぼ固定化されたままとなるように適合している。この結果は、非ターゲット化蛍光剤(例えば、受動(passive)蓄積など、特定の相互作用なしにターゲット本体に蓄積するように適合される)、またはターゲット化蛍光剤(特定の相互作用を用いてターゲットに付着するように適合される、例えば、様々な組織、血管特性、代謝特性などと相互作用することが可能な化学結合特性および/または物理的構造に基づいて、ターゲット特異的リガンドを蛍光剤の処方中に組み込むことによって)のいずれかを使用することによって達成できる。
【0066】
例えば、蛍光剤は、ボーラスとして静脈内に患者に投与される(シリンジを用いて)。その結果、蛍光剤は、腫瘍に到達するまで患者の血管系内を循環し、それに結合する。代わりに、残りの(未結合)蛍光剤は、血液プールからクリアされる。蛍光剤が腫瘍に蓄積し、患者の残り部分から洗い流される待機時間(例えば、数分から24~72時間まで)の後、手術処置は開始できる。従って、(健康管理)オペレータは、イメージングシステムを切り替える。
【0067】
これに応答して、プロセスは、黒い開始円503からブロック506に進むことによって開始する。オペレータが開始コマンドをイメージングシステムに入力すると(例えば、そのキーボードを用いて)、取得部は、ブロック509において、視野を照明するために励起光源および白色光源を点灯させる。
【0068】
そして、様々な(選択された)イメージング配置から蛍光/反射率画像を取得するためのループが実行される。ループは、ブロック512において開始し、取得部は、構成情報リポジトリから(現在の)イメージング配置の指示を検索する(対応する順序で最初のものから開始する)。取得部は、ブロック515において、モニタにメッセージを表示し、オペレータに、イメージング配置に従って、手術空洞が外科医によって開放された領域にイメージングプローブを接近させて置くように催促する(例えば、身体部分の対応領域を撮像するために、または対応する身体部分を撮像するために、対応する撮像方向に従って相互に配置される)。
【0069】
いったん、要求されたイメージング配置が確立されると、オペレータは、ブロック518において、確認コマンドをイメージングシステムに入力し(例えば、そのキーボードを用いて)、それに応答して、取得部は、蛍光画像および反射率画像の(新しい)ペアを同時に取得し、それは、対応するリポジトリに追加する。こうして蛍光画像および反射率画像は、実質的に同時に取得され、それらは、空間的にコヒーレントである同じ視野の異なる表現(それぞれ蛍光光および可視光の意味で)を提供する(即ち、予測可能な相関は、これらの画素の間に存在し、完全同一性にまで達する)。
【0070】
取得部は、ブロック521において、最後のイメージング配置が検討されたか否かを検証する。否定であれば、プロセスは、ブロック512に戻り、次のイメージング配置について同じ動作を繰り返す。逆に(いったん全てのイメージング配置が検討されると)、ループを出てブロック524に下降する。この時点で、必要に応じて、1つ以上の比較画像が、対応するリポジトリ内にある全ての利用可能なものの中から選択される。例えば、比較画像は、構成パラメータに従ってプロンプトに応答して手動で選択され、またはデフォルトで定義される(これらの全てまで)。
【0071】
動作の流れは、イメージングシステムの動作モードに従ってブロック527において分岐する(例えば、イメージング手順の開始時に手動で選択され、構成パラメータによって定義され、または、1つのみ利用可能である)。特に、蛍光画像がマッピングされる場合、ブロック539~554が実行され、一方、蛍光画像が区分される場合、ブロック557~572が実行される。両方の場合、プロセスは、ブロック575において再び合流する。
【0072】
ここでブロック530(マッピング)を検討すると、マッパーは、必要に応じて、1つ以上の(線形または非線形の)前処理動作(例えば、メディアンフィルタ処理、ローパスフィルタ処理、ノイズ抑制アルゴリズム、画素-バイス非線形性補償活用較正(pixel-vise non-linearity compensation leveraging calibration)データなどに基づいて)を実行することによって蛍光画像を前処理する。この前処理動作は、グローバルに(全ての蛍光画像に)、個別に(各蛍光画像に)、または局所的に(各蛍光画像の様々な領域に)適用してもよい。
【0073】
いずれの場合も、マッパーは、ブロック533において、もしあれば(対応するリポジトリから検索されたもの)、全ての(可能ならば、前処理された)蛍光画像および(選択された)比較画像のグローバルレンジを決定する。この目的のために、マッパーは、全ての蛍光/比較画像の値を走査し(任意の順序で)、グローバルレンジの下限値および上限値をそれぞれ定義する最低値および最高値を決定する。
【0074】
この動作は、全ての値に無差別に適用されてもよく、または、異常値をフィルタ除去することによって適用されてもよい。例えば、マッパーは、全ての蛍光/比較画像の値の下限パーセンタイル(百分位数)(例えば、0.2~2.0、1.0など)および上限パーセンタイル(例えば、98.0~99.8、99.0など)を計算する。そして、マッパーは、下限パーセンタイル未満または上限パーセンタイル超の値を無視する。マッパーは、ブロック536において、マッピング関数を決定する。マッピング関数は、グローバルレンジ(いま決定された)およびダイナミックレンジ(構成情報リポジトリから検索された)に従って評価されたパラメトリック関数のインスタンス(構成情報リポジトリから検索された)によって定義される。
【0075】
そして、ブロック539においてループに入る。マッパーは、(現在の)蛍光/比較画像を検討する(任意の順序で最初のものから開始する)。マッパーは、ブロック542において、蛍光/比較画像の対応する値に適用されたマッピング関数の結果に等しいマッピング済み蛍光/比較画像の各値を設定することによって、蛍光/比較画像に対応するマッピング済み蛍光/比較画像を発生する。そして、マッパーは、こうして得られたマッピング済み蛍光/比較画像を、対応するリポジトリに保存する。
【0076】
マッパーは、ブロック545において、最後の蛍光/比較画像が検討されたかどうかを検証する。否定であれば、プロセスはブロック539に戻り、次の蛍光/比較画像に対して同じ動作を繰り返す。逆に(全ての蛍光/比較画像が検討されると)、ループを出て、ブロック548に降下する。この時点で、プロセッサは、必要に応じて、マッピング済み比較画像に等しい処理済み比較画像(対応するリポジトリ内にある)を、対応する比較画像の説明ラベル(それらのリポジトリから)の追加とともに設定する。
【0077】
動作の流れは、イメージングシステムの動作モードに従って、ブロック551においてさらに分岐する。マッピング済み蛍光画像も区分される場合、プロセスは、ブロック557に続く(後述する)。逆に、プロセッサは、ブロック554において、対応する蛍光画像の説明ラベルの追加(リポジトリから)とともに、マッピング済み蛍光画像に等しい処理済み蛍光画像(対応するリポジトリ内にある)を設定する。そして、動作の流れはブロック575へ下降する。
【0078】
ここでブロック557(区分)を検討すると、閾値部は、全ての関連画像(対応するリポジトリから検索される)、即ち、ブロック527からこのポイントに直接に到達した場合の蛍光画像、または、蛍光画像をマッピングした後にブロック551からこのポイントに到達した場合のマッピング済み蛍光画像(両方の場合も以下では開始画像と称する)の値からセグメンテーション閾値を決定する。例えば、セグメンテーション閾値は、大津のアルゴリズムを適用することによって、セグメンテーション閾値によって分離されたグループ間の全ての開始画像の値のクラス内分散を最小化するように計算される。
【0079】
そして、ブロック560においてループに入る。セグメンタは、(現在の)開始画像を検討する(任意の順序で最初のものから開始する)。セグメンタは、ブロック563において、開始画像の対応する値がセグメンテーション閾値より高いまたは低い(可能ならば厳密に)場合(対応する場所がそれぞれ検出セグメントまたは非検出セグメントに属することを意味する)、セグメンテーションマスクの各セグメンテーションフラグをアサートまたはデアサートすることによって、開始画像に対応するセグメンテーションマスクを生成する。そして、セグメンタは、こうして得られたセグメンテーションマスクを対応するリポジトリに保存する。
【0080】
プロセッサは、ブロック566において、開始画像、セグメンテーションマスクおよび、可能ならば反射率画像(リポジトリから検索される)に従って、対応する処理済み蛍光画像を生成する。例えば、処理済み蛍光画像が区分された画像である場合、セグメンテーションマークの対応するセグメンテーションフラグがデアサート(非検出セグメント)である場合には、開始画像の各値をリセット(黒色に)することによって生成される。代替として、処理済み蛍光画像がオーバーレイ画像である場合、セグメンテーションマークの対応するセグメンテーションフラグがアサート(検出セグメント)である場合には、開始画像の対応する値の色表現(例えば、輝度がそれとともに増加する赤色に)に等しい、あるいは、セグメンテーションマークの対応するセグメンテーションフラグがデアサート(非検出セグメント)である場合には、反射率画像の対応する(白黒)値に等しいその各値をセットすることによって生成される。
【0081】
いずれの場合も次に、プロセッサは、こうして得られた処理済み蛍光画像を、開始画像の説明ラベルの追加とともに、対応するリポジトリに保存する。セグメンタは、ブロック569において、最後の開始画像が検討されたか否かを検証する。否定であれば、プロセスは、ブロック560に戻り、次の開始画像について同じ動作を繰り返す。逆に(いったん全ての開始画像が検討されると)、ループを出てブロック572に下降する。この時点で、マッピングされていない比較画像の存在下で、プロセッサは、対応する説明ラベル(それらのリポジトリから)の追加とともに、比較画像に等しい処理済み比較画像(対応するリポジトリ内の)を設定する。そして、動作の流れはブロック575へ下降する。
【0082】
ここでブロック575を参照すると、処理済み蛍光画像のランキング指標を計算するためのループに入る。ループは、プロセッサが(現在の)処理済み蛍光画像を考慮する(任意の順序で最初のものから開始する)ことで始まる。プロセッサは、ブロック578において、処理済み蛍光画像のランキング指標を計算する。特に、区分化/オーバーレイ画像の場合、ランキング指標は、対応する(可能ならばマッピング済み)蛍光画像のセグメンテーションの質を示すものである。例えば、ランキング指標は、対応するセグメンテーションフラグが、対応するセグメンテーションマスクにおいてデアサートされた区分化画像(非検出セグメント)の値の平均によって除算された、対応するセグメンテーションフラグが、対応するセグメンテーションマスクにおいてアサートされた区分化画像(検出セグメント)の値の平均に設定される。
【0083】
その代わり、マッピング済み蛍光画像の場合、ランキング指標は、対応する蛍光画像のマッピングの品質を示すものである。例えば、ランキング指標は、マッピング済み蛍光画像の全ての値の平均に設定される。そして、プロセッサは、ランキング指標を処理済み蛍光画像に追加する(対応するリポジトリの中に)。プロセッサは、ブロック581において、最後に処理済み蛍光画像が検討されたか否かを検証する。否定であれば、プロセスはブロック575に戻り、次の処理済み蛍光画像に対して同じ動作を繰り返す。逆に(全ての処理済み蛍光画像が検討されると)、ループを出て、ブロック584に降下する。
【0084】
ここで、表示部駆動部は、処理済み蛍光画像および処理済み比較画像(もしあれば)をイメージングシステムのモニタ(例えば、同じウインドウ内)に説明ラベルと一緒に表示する。例えば、こうして外科医は、身体部分の最も有用な表現(例えば、蛍光剤の最高量)を提供する(最良の)処理済み蛍光画像を決定できる。特に、処理済み蛍光画像がマッピング済み蛍光画像である場合、それらの共通のダイナミックレンジは、検出された蛍光剤の直接比較を可能にする。
【0085】
追加または代替として、処理済み蛍光画像が区分化/オーバーレイ画像である場合、検出セグメントの強調表示は、検出された蛍光剤の評価を容易にし、その表現は、オーバーレイ画像の場合、身体部分の解剖学的構造においてさらに状況説明される。いずれの場合も、処理済み蛍光画像に関連付けられたランキング指標は、蛍光剤を検出するための処理済み蛍光画像の能力の対応する定量化により、最良の処理済み蛍光画像の認識をさらに容易にする。例えば、ランキング指標は、その値によって、その予め定めた範囲と関連付けられた対応するラベルまたは色(例えば、明確に陽性、不明、明確に陰性、または赤色、黄色および緑色など)によって表示してもよい。
【0086】
その結果、外科医は、どれが手術手順にとって最も有効な(最良の)撮像方向であるかを決定できる。追加または代替として、こうして外科医は、検出された蛍光剤を、患者の同じ身体部分(例えば、健康状態および病変を持つ)、および/または、他の身体部分(例えば、異なる関連する器官など)の様々な領域において比較できる。さらに、処理済み比較画像は、検出された蛍光剤の定量的評価(特に蛍光画像と一緒にマッピングされる場合)を推定することを可能にする。例えば、比較画像が参照画像を含む場合、検出された蛍光剤を既知の量と比較することが可能になり、一方、比較画像が評価画像を含む場合、他の患者の同じタイプの身体部分(既知の状態)において、検出された蛍光剤を比較することが可能になる。
【0087】
次に、動作の流れは、外科医の選択に従ってブロック587で分岐する。外科医がダイナミックレンジを調整するようにオペレータに要求した場合、オペレータは、ブロック590において、コンフィギュレータのユーザインタフェースを介して(例えば、マウスを用いて対応するスライダに作用して、ダイナミックレンジの下限および/または上限を変更することによって)それを相応に更新する。最後に、コンフィギュレータは、ダイナミックレンジの更新されたバージョンを構成情報リポジトリに保存する(前のバージョンを置換することによって)。そして、プロセスは、ブロック536に戻り、ダイナミックレンジの更新されたバージョンを用いて同じ動作を繰り返す。
【0088】
代わりに、外科医がセグメンテーション閾値を調整することをオペレータに要求する場合、オペレータは、ブロック593において、セグメンタのユーザインタフェースを介して(例えば、マウスを用いて対応するスライダに作用して、それを増加/減少させることによって)それを相応に更新する。そして、プロセスは、ブロック560に戻り、セグメンテーション閾値の更新されたバージョンについて同じ動作を繰り返す。それ以外に、プロセスが完了したことを外科医が確認すると、動作の流れは、同心円状の白/黒停止円596に終了する(励起光源および白色光源を取得部によって消灯した後)。
【0089】
そして、上述したプロセスの結果は、様々な目的のために使用できる。例えば、更なる(標準)撮像手順は、イメージングプローブおよび身体部分を、こうして決定された最良の撮像方向に従って往復配置することによって実施してもよい。これにより、手術処置の品質に対する有益な効果を伴って、最適化された(イメージング)条件で動作することが可能になる。追加または代替として、外科医には、手術処置の間およびその開始時での身体部分の(比較可能な)表現、あるいは、手術処置中の身体部分の(比較可能な)表現、および手術処置の開始時での同じ身体部分または他の身体部分の他の領域の表現を提供できる。これにより、外科医は手術処置の進行を正確に追跡することが可能になる。
{0001} The result of the above-described process may then be used for different purposes. For example, a further (standard) imaging procedure may be performed by reciprocally arranging the imaging probe and the body-part according to the best imaging direction so determined. This allows operating in optimized (imaging) conditions, with a beneficial effect on the quality of the surgical procedure. In addition or in alternative, the surgeon may be provided with (comparable) representations of the body-part during the surgical procedure and at its beginning, or with (comparable) representations of the body-part during the surgical procedure and representations of other regions of the same body-part or of other body-parts at the beginning of the surgical procedure. This allows the surgeon to track the progress of the surgical procedure accurately.
【0090】
ここで
図6~
図9を参照すると、本開示の一実施形態に係る手法の適用について様々な例を示している。
【0091】
図6から開始すると、2つの蛍光画像600a,600bが、手術処置を受けている同じ身体部分の異なる撮像方向から取得される。この場合、蛍光画像600a,600bの比較が、これらの異なるダイナミックレンジのために極めて困難である。
【0092】
図7に移動にすると、上述したように、これらの蛍光画像から、対応するマッピング済み蛍光画像700a,700bが生成される。ここで、マッピング済み蛍光画像700a,700bの比較は、これらの共通のダイナミックレンジのために、はるかにより容易である。
【0093】
図8に移動すると、基準画像800fが追加される。基準画像800fは、蛍光剤の異なる(既知の)濃度を示し、時計12時の位置から反時計回りに移動するほど増加する。これによりマッピング済み蛍光画像700a,700bに示される蛍光剤と、基準画像800fに示される既知の量とを比較することが可能になる。
【0094】
図9に移動すると、上述したように、これらのマッピング済み蛍光画像から、対応する区分化画像900a,900bが生成される。区分化画像900a、900bは、基準画像800fと一緒に再び示されており、検出された蛍光剤の評価(即ち、区分化画像900a,900b間の比較、および基準画像800fを基準としたその定量化)をさらに容易にする。
【0095】
(変形例)
当然には、局所的および特定の要件を満たすために、当業者は、多くの論理的および/または物理的な変形および変更を本開示に適用できる。より詳細には、本開示は、その1つ以上の実施形態を参照して、ある程度の詳細さで説明しているが、形態、詳細そして他の実施形態における種々の省略、置換および変更が可能であることは理解すべきである。特に、本開示の様々な実施形態が、前述の説明に記載された特定の詳細(例えば、数値)なしで実施でき、より完全な理解を提供できるが、逆に、不必要な詳細についての説明を不明瞭にしないために、周知の特徴を省略または簡略化していることがある。さらに、本開示の任意の実施形態に関連して説明した特定の要素および/または方法ステップは、他の任意の実施形態において、一般的な設計選択の事項として組み込み可能であることを明確に意図している。さらに、同じグループおよび様々な実施形態、例または代替例で提示されるアイテムは、事実上互いに等価であると解釈されるべきではない(しかし、それらは別個で自律的な実体である)。いずれの場合も、各数値は、適用可能な許容誤差に従って修正されるものとして読むべきであり、特に他に示していない限り、用語「実質的に(substantially)」、「約(about)」、「おおよそ(approximately)」は、10%の範囲内、好ましくは5%の範囲内、さらにより好ましくは1%の範囲内であると理解すべきである。さらに、数値の各範囲は、(その端点を含む)範囲内の連続体に沿った任意の可能な数を明示的に特定するものとして意図すべきである。序数または他の修飾子は、単に、同じ名前を備えた要素を区別するラベルとして使用しており、それ自体、優先度、優先権または順序を暗示していない。用語「含む(include)」、「備える(comprise)」、「有する(have」、「収容する(contain)」、「含む(involve)」等は、オープンで完全網羅でない意味を伴うと意図すべであり(即ち、記載したアイテムに限定されない)、用語「に基づいて(based on)」、「に応じて(dependent on)」、「に従って(according to)」、「に応じて(function of)」等は、完全網羅でない関係として意図すべきであり(即ち、可能性ある追加の変数が含まれる)、用語"a/an"は、1つ以上のアイテムとして意図すべきであり(他の明示していない限り)、用語「ための手段(means for)」(または任意のミーンズプラスファンクション形式)は、関連する機能を実行するように適応または構成される任意の構造として意図すべきである。
【0096】
例えば、一実施形態が、医療用途において患者の1つ以上の身体部分を撮像するための方法を提供する。しかしながら、この方法は、任意の医療用途(例えば、手術、診断、治療、研究室分析など)において、任意の患者(例えば、ヒト、動物、患者から取得されたもの、患者から抽出されたサンプルから取得されたものなど)の任意の数およびタイプの身体部分(例えば、それぞれが、1つ以上の器官、例えば、肝臓、前立腺または心臓など、器官のある領域、例えば、健康/病理状態、のような器官の領域、腹部の四半部など、組織などを表す)を撮像するために使用できる。いずれの場合も、この方法は、医師のタスクを容易にできるが、それは、彼らを支援できる中間結果を提供するだけでなく、厳密には、医師自身が常に行われる医療行為を伴う。
【0097】
一実施形態では、この方法は、コンピュータ装置の制御下で下記ステップを含む。しかしながら、コンピュータ装置は、任意のタイプのものでもよい(下記参照)。
【0098】
一実施形態では、この方法は、身体部分の複数の発光画像を(コンピュータ装置に)提供することを含む。しかしながら、発光画像は、任意の時点(例えば、1つ以上の医療処置の間、1つ以上の研究室分析の間、これらの任意の組合せなど)で取得されてもよく、これらは、任意の方法で提供できる(例えば、直接取得され、取り外し可能なストレージユニットで転送され、ネットワークを介してアップロードされる等)。発光画像は、任意の方法で(例えば、様々な撮像方向から撮像された身体部分、身体部分の様々な領域、様々な身体部分、それらの任意の組合せなどを表す)身体部分に関連してもよい。
【0099】
一実施形態では、発光画像の各々が、身体部分の対応する場所から発光物質によって放出される発光光を表す複数の値を含む。しかしながら、各発光画像は、任意のサイズおよび形状(例えば、そのフレーム全体またはその関心領域(ROI))を有することができ、任意のタイプおよび任意の場所(例えば、画素またはボクセルについてのグレースケールまたはカラー値等)の値を含んでもよい。発光光は、任意のタイプのものでもよく(例えば、NIR、赤外線(IR)、可視光等)、任意の方法(例えば、対応する励起光、またはより一般には加熱とは異なるいずれか他の励起に応答して)で、任意の外因性/内因性の発光物質(例えば、任意の発光(ルミネセンス)現象、例えば、蛍光、燐光、化学発光、バイオ発光、誘導ラマン放射などをベースとした任意の発光剤、任意の天然発光成分など)によって、放出されてもよい。
【0100】
一実施形態では、この方法は、全ての発光画像の値のうちの最低値から最高値までのグローバルレンジを決定する(コンピュータ装置によって)ことを含む。しかしながら、グローバルレンジは、任意の方法で決定してもよい(例えば、発光画像の全ての値から、無差別に、それらの異常値を除去するためにフィルタ処理され、発光画像だけ、または比較画像も考慮するなど)。
【0101】
一実施形態では、この方法は、グローバルレンジを表示部のダイナミックレンジにマッピングするマッピング関数を決定する(コンピュータ装置によって)ことを含む。しかしながら、マッピング関数は、任意のタイプ(例えば、線形、対数など)であってもよく、任意の表示部(例えば、モニタ、バーチャル眼鏡、プリンタなど)のためでもよい。
【0102】
一実施形態では、この方法は、マッピング関数に従って対応する発光画像の値を変換することによって、発光画像を対応するマッピング済み発光画像にマッピングする(コンピュータ装置によって)ことを含む。しかしながら、発光画像は、任意の目的のためにマッピングされてもよい(例えば、それらの値について調整したり、ログ圧縮したり、飽和させるなど)。
【0103】
一実施形態では、この方法は、マッピング済み発光画像を含む処理済み画像を表示部に一緒に表示する(コンピュータ装置によって)ことを含む。しかしながら、処理済み画像は、任意のタイプのものでもよく(例えば、マッピング済み発光画像だけ、さらに(マッピング済み)比較画像、区分化画像および/またはオーバーレイ画像を含む)、これらは任意の方法で表示してもよい(例えば、局所的または遠隔的に、説明ラベル付きまたは無し、任意のランキング指標付きまたは無し等)。
【0104】
さらに、実施形態は、追加の有利な特徴を提供するが、これらは基本的な実装においてすべて省略してもよい。
【0105】
特に、一実施形態では、この方法は、患者から取得された発光画像、および/または患者から抽出された1つ以上のサンプルを提供する(コンピュータ装置によって)ことを含む。しかしながら、発光画像は、患者から任意の方法で取得してもよい(例えば、生きているか死亡している患者から、任意のタイプの1つ以上の医療処置において、例えば、身体部分の手術/治療処置中に取得された1つ以上の発光画像を用いて、同じ身体部分の前回の診断処置中に取得された1つ以上の発光画像、同じ身体部分の異なる治療処置中に取得された発光画像と一緒に用いて等)、任意の数およびタイプのサンプルから(例えば、切除生検、コア生検など)、あるいは、それらの任意の組合せで(例えば、医療処置を実施する前に患者から抽出された、同じ身体部分の1つ以上のサンプルから取得された1つ以上の発光画像と一緒に、身体部分の任意の医療処置中に患者から取得された1つ以上の発光画像を提供することによって)。
【0106】
一実施形態では、この方法は、異常値を除去するためにフィルタ処理された、全ての発光画像の値の最低値から最高値までのグローバルレンジを決定する(コンピュータ装置によって)ことを含む。しかしながら、発光画像の値は、任意の方法でフィルタ処理してもよい(例えば、それらの任意のパーセンタイル未満および超えの値、任意の複数の四分位範囲未満および超えの値、Z得点(Z-score)が任意の閾値、例えば、±3の未満および超えの値を破棄することによって)、任意の時間に(例えば、グローバルレンジの決定の際に異常値を無視することによって、発光画像中の異常値を事前にリセットすることによって等)。
【0107】
一実施形態では、この方法は、様々な撮像方向からの身体部分の共通のもの、身体部分の共通のものの異なる領域、および/または、異なる身体部分を表す発光画像を(コンピュータ装置に)提供することを含む。しかしながら、発光画像は、任意の数およびタイプの撮像方向、領域、身体部分またはこれらの任意の組合せに関連してもよい(例えば、上述したものに対して部分的で異なる追加の撮像方向、領域および身体部分)。
【0108】
一実施形態では、この方法は、ユーザに、発光画像を連続して取得するために、患者の対応するイメージング配置を設定するように催促する(コンピュータ装置によって)ことを含む。しかしながら、ユーザは、任意の方法で(例えば、対応する視覚メッセージ、音声メッセージなどを出力することによって)催促され、患者の任意のイメージング配置(例えば、共通の身体部分の異なる撮像方向、共通の身体部分の異なる領域、異なる身体部分など)を設定してもよい。
【0109】
一実施形態では、この方法は、対応するイメージング配置のユーザによる確認に応答して、発光画像の各々を取得する(コンピュータ装置によって)ことを含む。しかしながら、確認は、任意の方法で提供されてもよい(例えば、ボタンをクリックしたり、キーを押下したり、コマンドを発声したりなど)。いずれの場合も、対応する説明ラベルを手動で入力する可能性の有無に拘らず、発光画像を自由に取得することを妨げるものではない。
【0110】
一実施形態では、この方法は、ダイナミックレンジの手動調整を受信する(コンピュータ装置によって)ことを含む。しかしながら、ダイナミックレンジの手動調整は、任意の方法で提供してもよい(例えば、任意の入力ユニット、例えば、スライダ、アップ/ダウンボタン、入力ボックスなどを介して、定性的または定量的に、相対的または絶対的な意味で)。
【0111】
一実施形態では、この方法は、ダイナミックレンジの手動調整に応答して、マッピング関数を決定することと、発光画像をマッピングすることと、処理済み画像を表示することとを繰り返す(コンピュータ装置によって)ことを含む。しかしながら、これらの動作は、任意の方法で繰り返してもよい(例えば、マッピング済み発光画像をそれらの新しいバージョンに置換することによって、それらの比較のためにマッピング済み発光画像の異なるバージョンを一緒に表示することによって等)。
【0112】
一実施形態では、この方法は、対応するマッピング済み発光画像の内容に従って、対応する発光画像をマッピングする品質をそれぞれ示す、マッピング済み発光画像の対応するランキング指標を計算する(コンピュータ装置によって)ことを含む。しかしながら、ランキング指標は、任意のタイプのものでもよい(例えば、1つ以上の中心傾向統計パラメータ、1つ以上の分散統計パラメータ、それらの任意の組合せなどに基づいて)。
【0113】
一実施形態では、この方法は、マッピング済み発光画像の対応するランキング指標に関連して、処理済み画像を一緒に表示部に表示する(コンピュータ装置によって)ことを含む。しかしながら、ランキング指標は、任意の方法でマッピング済み発光画像に関連付けてもよい(例えば、これらを、任意の方法で、例えば、数字、グラフ、ラベル、色などの任意の視覚インジケータを用いて定量的/定性的に、対応する処理済み画像に近接して表示することによって、処理済み画像をそのランキング指標に従って単に順序付けすることによって等)。
【0114】
一実施形態では、この方法は、マッピング済み発光画像の各々のランキング指標を、マッピング済み発光画像の値の中心傾向統計パラメータに従って計算する(コンピュータ装置によって)ことを含む。しかしながら、中心傾向統計パラメータは、任意のタイプのものでもよい(例えば、平均値、中央値、モードなど)。
【0115】
一実施形態では、この方法は、開始画像の各々の値を分離数のセグメントに分離するために、全ての発光画像またはマッピング済み発光画像に等しい開始画像にとって共通である少なくとも1つのセグメンテーション閾値を提供する(コンピュータ装置によって)ことを含む。しかしながら、セグメンテーション閾値は、任意の数でもよく、任意の方法で提供してもよい(例えば、自動的に決定したり、手動で設定する等)。いずれの場合も、マッピングだけ(セグメンテーションなし)、セグメンテーションだけ(マッピングなし)、マッピングの後にセグメンテーション、またはセグメンテーションの後にマッピング(全体の蛍光画像またはそれらのセグメントに別個に適用される)を実装する可能性は除外されない。
【0116】
一実施形態では、この方法は、開始画像の値とセグメンテーション閾値との比較に従って、対応する開始画像を前記分離数のセグメントに区分することによって、それぞれ開始画像から対応する区分化画像を生成する(コンピュータ装置によって)ことを含む。しかしながら、各開始画像は、セグメンテーション閾値に従って任意の方法で区分してもよい(例えば、バイナリ、マルチレベル、マルチバンドなど)。
【0117】
一実施形態では、この方法は、区分化画像をさらにベースとした処理済み画像を表示部に一緒に表示する(コンピュータ装置によって)ことを含む。しかしながら、処理済み画像は、任意の方法で区分化画像をベースとしてもよい(例えば、区分化画像を含み、区分化画像は対応する反射率画像上にオーバーレイされる等)。いずれの場合も、区分化画像を異なる方法で使用する可能性は、その表示なしの場合でも除外されない(例えば、異なるセグメントの統合値、その任意の比較などを計算し出力することによって)。
【0118】
一実施形態では、この方法は、開始画像の各々を、開始画像の値とセグメンテーション閾値との比較に従って、発光物質の検出および非検出をそれぞれ表す、セグメントの検出のものとセグメントの非検出のものとに区分する(コンピュータ装置によって)ことを含む。しかしながら、各区分化画像の検出/非検出セグメントを使用して、対応する処理済み画像を任意の方法で表示してもよい(例えば、非検出セグメントの値が黒色にリセットされ、検出セグメントの値がカラーであり、非検出セグメントの値が白黒である等)。いずれの場合も、開始画像を異なる方法で区分する可能性は除外されない(例えば、非検出セグメントおよび、対応する異なる発光物質の複数の検出セグメントなど)。
【0119】
一実施形態では、この方法は、全ての開始画像の値を前記分離数のグループに分離するために、全ての開始画像の値に従って前記少なくとも1つのセグメンテーション閾値を決定する(コンピュータ装置によって)ことを含む。しかしながら、セグメンテーション閾値は、任意の方法で決定してもよい(例えば、ヒストグラム形状方式、クラスタリング方式、エントロピー方式などを用いて)。
【0120】
一実施形態では、この方法は、セグメンテーション閾値の手動調整を受信する(コンピュータ装置によって)ことを含む。しかしながら、セグメンテーション閾値の手動調整は、任意の方法で提供してもよい(ダイナミックレンジに対して同じでも異なってもよい)。
【0121】
一実施形態では、この方法は、セグメンテーション閾値の手動調整に応答して、開始画像を区分することと、処理済み画像を表示することとを繰り返す(コンピュータ装置によって)ことを含む。しかしながら、これらの動作は、任意の方法で繰り返してもよい(例えば、区分化画像を新しいバージョンに置換することによって、これらの比較のために区分化画像の異なるバージョンを一緒に表示することによって等)。
【0122】
一実施形態では、この方法は、対応する区分化画像の内容に従って、対応する開始画像を区分する品質をそれぞれ示す、区分化画像の対応するランキング指標を計算する(コンピュータ装置によって)ことを含む。しかしながら、ランキング指標は、任意のタイプのものでもよい(例えば、1つ以上の中心傾向統計パラメータ、1つ以上の分散統計パラメータ、それらの任意の組合せなどの任意の比較に基づいて)。
【0123】
一実施形態では、この方法は、区分化画像の対応するランキング指標に関連して、処理済み画像を一緒に表示部に表示する(コンピュータ装置によって)ことを含む。しかしながら、ランキング指標は、任意の方法で区分化画像に関連付けてもよい(例えば、マッピング済み発光画像に対して同じでも異なっても)。
【0124】
一実施形態では、この方法は、区分化画像のセグメントの値の対応する中心傾向統計パラメータ間の比較に従って、区分化画像の各々のランキング指標を計算する(コンピュータ装置によって)ことを含む。しかしながら、ランキング指標は、任意の中心傾向統計パラメータ(例えば、マッピング済み発光画像に対して同じでも異なってもよい)の任意の比較(例えば、比率、差分など)に基づくものでもよい。
【0125】
一実施形態では、この方法は、発光画像に対応する複数の反射率画像を提供する(コンピュータ装置によって)ことを含む。しかしながら、反射率画像は、任意の方法で提供してもよい(発光画像に対して同じでも異なってもよい)。
【0126】
一実施形態では、反射率画像の各々は、対応する場所から反射される可視光をそれぞれ表す、身体部分の場所についての複数の値を含む。しかしながら、反射率画像は、適切なアップスケール/ダウンスケーリングの直接またはその後に、身体部分の同じ場所について任意のタイプの値を含んでもよい(発光画像に対して同じでも異なってもよい)。さらに、反射率画像の値は、身体部分によって反射される任意の可視光を表してもよい(例えば、著しい発光現象を生じさせない任意の光によって照明される等)。
【0127】
一実施形態では、この方法は、区分化画像を、対応する反射率画像の上に重ね合わせることによって、対応する複数のオーバーレイ画像を生成する(コンピュータ装置によって)ことを含む。しかしながら、区分化画像は、反射率画像の上に任意の方法で重ね合わせてもよい(例えば、カラーと白黒に、異なる色を用いてなど)。
【0128】
一実施形態では、この方法は、オーバーレイ画像を含む処理済み画像を表示部に一緒に表示する(コンピュータ装置によって)ことを含む。しかしながら、区分化画像を表示する可能性は除外されない(オーバーレイ画像の代替または追加として)。
【0129】
一実施形態では、この方法は、1つ以上の比較画像を検索する(コンピュータ装置によって)ことを含む。しかしながら、比較画像は任意の数でもよく、これらは任意の方法で検索してもよい(例えば、大容量メモリから読み出したり、ネットワークからダウンロードしたり、ローカルに取得したり等)。
【0130】
一実施形態では、比較画像の各々は、比較実体の対応する場所から発光物質によって放出される発光光を表す複数の値を含む。しかしながら、各比較画像は、任意の比較実体(例えば、基準デバイス、更なる患者の更なる身体部分、これらの任意の組合せなど)の任意の場所(蛍光画像に対して同じでも異なっていてもよい)について任意の数の値を含んでもよい。
【0131】
一実施形態では、この方法は、全ての比較画像の値にさらに従って、グローバルレンジを決定する(コンピュータ装置によって)ことを含む。しかしながら、グローバルレンジは、任意の方法で決定してもよい(例えば、検索されたもの、またはそれらの任意の前処理の後に比較画像を使用することによって、発光画像に対して同じでも異なっていてもよい等)。いずれの場合も、発光画像および比較画像について別個のグローバルレンジを使用する可能性は除外されない。
【0132】
一実施形態では、この方法は、マッピング関数に従って比較画像の値を変換することによって、比較画像を、それぞれ対応するマッピング済み比較画像にマッピングする(コンピュータ装置によって)ことを含む。しかしながら、比較画像は、任意の方法でマッピングされてもよい(例えば、発光画像に対して同じでも異なってもよい)。
【0133】
一実施形態では、この方法は、マッピング済み比較画像をさらに含む処理済み画像を一緒に表示部に表示する(コンピュータ装置によって)ことを含む。しかしながら、元のバージョンの比較画像を表示する可能性は除外されない(マッピング済み比較画像の代替または追加として)。
【0134】
一実施形態では、この方法は、発光物質の対応する既知の濃度を含む1つ以上の部位を有する基準デバイスの少なくとも1つの基準画像を含む比較画像を検索する(コンピュータ装置によって)ことを含む。しかしながら、基準画像は、任意の数でもよく、それぞれが、任意の数およびタイプの部位(同じ発光物質が異なる濃度で、および/または異なる発光物質で充填されている固定/取り外し可能な容器、例えば、バイアル、チューブ等)を含む任意の基準デバイスを表す。
【0135】
一実施形態では、この方法は、患者の身体部分に対応する追加の患者の1つ以上の追加の身体部分の1つ以上の評価画像を含む比較画像を検索する(コンピュータ装置によって)ことを含む。しかしながら、評価発光画像は、任意の数でもよく、それぞれが、患者の身体部分(例えば、同じイメージングシステムで、異なるイメージングシステムで、異なる場所で、任意の健康/病理状態などで取得されたもの)を表す。
【0136】
一実施形態では、発光物質は、この方法を実施する前に患者に予め投与される発光剤である。しかしながら、発光剤は、任意のタイプのものでもよく(例えば、任意のターゲット化発光剤、例えば、特定または非特定の相互作用に基づくものなど、任意の非ターゲット化発光剤など)、それは任意の方法で(例えば、シリンジ、注入ポンプなど)および任意の時間に(例えば、事前に、この方法を実施する直前、その間に連続的など)予め投与されてもよい。いずれの場合も、これは、患者との任意の相互作用とは独立して実施できるデータ処理方法である。さらに、発光剤はまた、患者に非侵襲的方法で投与されてもよい(例えば、胃腸管を撮像するための経口で、ネブライザによる気道へ、局所スプレー塗布、または手術処置中の局所導入など)、またはいずれの場合も、プロの医療専門知識を必要としたり、または自身の健康リスク(例えば、筋肉注射で)を伴うこともない患者への実質的な物理的介入を必要としない。
【0137】
一実施形態では、発光物質は、蛍光物質である(発光画像は蛍光画像であり、蛍光画像の各々の値は、蛍光物質の励起光によって照明された身体部分の対応する場所から蛍光物質によって放出される蛍光光を表す)。しかしながら、蛍光物質は、任意のタイプでもよく(例えば、外因性または内因性など)、任意の励起光(例えば、NIR、IR、可視光などのタイプ)に応答してもよい。
【0138】
一実施形態が、医療用途において患者を撮像するための他の方法を提供する。一実施形態では、この方法は、コンピュータ装置の制御下で下記ステップを含む。一実施形態では、この方法は、患者の1つ以上の身体部分の複数の発光画像を提供する(コンピュータ装置によって)ことを含む。一実施形態では、発光画像の各々が、身体部分の対応する場所から発光物質が放出する発光光を表す複数の値を含む。一実施形態では、この方法は、全ての発光画像の値を、全ての発光画像の値に従って分離数のグループに分離するための少なくとも1つのセグメンテーション閾値を決定する(コンピュータ装置によって)ことを含む。一実施形態では、この方法は、発光画像の値とセグメンテーション閾値との比較に従って、発光画像をそれぞれの前記分離数のセグメントに区分する(コンピュータ装置によって)ことを含む。しかしながら、これらのステップの各々は、任意の方法で、上記のような任意の特徴の追加とともに実施してもよい。
【0139】
一般に、同じ手法が同等の方法で実装される場合、同様の検討が適用される(より多くのステップまたはその一部の同じ機能を備えた類似のステップを使用することによって、いくつかの非必須のステップを除去したり、または更なる任意のステップを追加することによって)。さらに、ステップは、異なる順序で、同時に、またはインターリーブ方式で実行してもよい(少なくとも部分的に)。
【0140】
一実施形態が、コンピュータプログラムがコンピュータ装置で実行される場合、コンピュータ装置に、上記の方法を実施させるように構成されたコンピュータプログラムを提供する。一実施形態が、コンピュータプログラム製品を提供し、これは、コンピュータプログラムを具現化するコンピュータ読み取り可能な記憶媒体を含み、コンピュータプログラムは、コンピュータ装置のワーキングメモリに読み込み可能であり、これにより同じ方法を実施するコンピュータ装置を構成する。しかしながら、(コンピュータ)プログラムは、既存のソフトウェアプログラム(例えば、イメージングシステムのマネージャ)にとってスタンドアロンモジュールとして、プラグインとして、または後者では直接にでも実装してもよい。いずれの場合も、プログラムが異なる方法で構成される場合、または追加のモジュールまたは機能が提供される場合、同様の検討が適用される。同様に、メモリ構造は、他のタイプのものでもよく、または同等のエンティティ(実体)(必ずしも物理的記憶媒体から構成されない)と置換してもよい。プログラムは、任意のコンピュータ装置(下記参照)によって使用するのに適した任意の形態をとってもよく、それによりコンピュータ装置を所望の動作を実行するように構成できる。特に、プログラムは、外部または常駐のソフトウェア、ファームウェアまたはマイクロコード(オブジェクトコードまたはソースコードのいずれか、例えば、コンパイル式またはインタープリ式で)の形態でもよい。さらに、任意のコンピュータ可読記憶媒体上にコンピュータプログラムを提供することが可能である。記憶媒体は、コンピュータ装置によって使用される命令を保持し保存できる任意の有形媒体(それ自体は一時的な信号とは異なる)である。例えば、記憶媒体は、電子、磁気、光学、電磁気、赤外線または半導の体タイプのものでもよい。こうした記憶媒体の例は、固定ディスク(プログラムがプリロードされてもよい)、取り外し可能なディスク、メモリキー(例えば、USBタイプ)などである。プログラムは、記憶媒体から、またはネットワーク(例えば、伝送ケーブル、光ファイバ、無線接続、ネットワークデバイスを含む、インターネット、ワイドエリアネットワーク、および/またはローカルエリアネットワーク)を介して、コンピュータ装置にダウンロードしてもよい。コンピュータ装置内の1つ以上のネットワークアダプタが、ネットワークからプログラムを受信し、コンピュータ装置の1つ以上の記憶装置に保存用にそれを転送する。いずれの場合も、本開示の一実施形態に係る手法は、ハードウェア構造(例えば、半導体材料の1つ以上のチップ内に集積された電子回路、例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などによって)、または適切にプログラム設定されまたは他の方法で構成されたソフトウェアおよびハードウェアとの組合せで実装するのに役立つ。
【0141】
一実施形態が、コンピュータ装置を提供し、これは、上述の方法のステップを実施するように構成された手段を備える。一実施形態が、同じ方法の各ステップを実施するための回路(即ち、適切に構成された任意のハードウェア、例えば、ソフトウェアによって)を含むコンピュータ装置を提供する。しかしながら、コンピュータ装置は、任意のタイプのものでもよい(例えば、イメージングシステムの中央ユニット、別個のコンピュータなど)。
【0142】
一実施形態が、上述したコンピュータ装置を備えるイメージングシステムを提供する。しかしながら、イメージングシステムは、任意のタイプのものでもよい(例えば、ガイド付き手術機器、内視鏡、腹腔鏡など)。
【0143】
一実施形態では、イメージングシステムは、発光画像を取得する取得ユニットを備える。しかしながら、取得ユニットは、任意のタイプのものでもよい(例えば、任意の数およびタイプのレンズ、導波路、ミラー、EMCCD、CMOS、InGaAs、PMTセンサなど)。
【0144】
一実施形態では、イメージングシステムは、励起光を身体部分に印加するための照明ユニットを含む。しかしながら、照明ユニットは、任意のタイプのものでもよい(例えば、レーザ、LED、UVランプの方式など)。
【0145】
一実施形態では、照明ユニットはさらに白色光を身体部分に印加するためのものである。しかしながら、照明ユニットは、任意の方法で白色光を印加してもよい(例えば、LED、ハロゲン/キセノンランプなどで)。
【0146】
一実施形態では、取得ユニットはさらに反射率画像を取得するためのものである。しかしながら、反射率画像は、任意の方法で取得してもよい(例えば、任意の数およびタイプのレンズ、導波路、ミラー、CCD、ICCD、CMOSセンサなど)。
【0147】
一般に、コンピュータ装置およびイメージングシステムがそれぞれ異なる構造を有し、または同等のコンポーネントを備える場合、または、それが他の動作特性を有する場合にも同様の検討が適用される。いずれの場合も、その全コンポーネントは、より多くのエレメントに分離してもよく、または2つ以上のコンポーネントが単一エレメントに統合されてもよい。さらに、各コンポーネントは、対応する動作の実行を並列的にサポートするように複製されてもよい。さらに、他に指定されない限り、異なるコンポーネント間の任意の相互作用は、一般に、連続的である必要はなく、1つ以上の仲介者を介して直接的または間接的でよい。
【0148】
一実施形態が、下記ステップを含む手術方法を提供する。身体部分は、上記方法に従って撮像され、これにより患者の手術処置中に処理済み画像を表示部に一緒に表示する。患者は、処理済み画像の表示に従って手術される。しかしながら、提案された方法は、任意の種類の手術方法において、用語の最も広い意味で用途を見出すことができ(例えば、治療目的のため、予防目的のため、審美的目的のためになど)、そして任意の患者の任意の種類の身体部分に作用するために(上記参照)。
【0149】
一実施形態が、下記ステップを含む診断方法を提供する。身体部分は、上記方法に従って撮像され、これにより患者の診断処置中に処理済み画像を表示部に一緒に表示する。患者の健康状態は、処理済み画像の表示に従って評価される。しかしながら、提案された方法は、任意の種類の診断方法において、用語の最も広い意味で用途を見出すことができ(例えば、新しい病変を発見するため、既知の病変を監視するためなど)、そして任意の患者の任意の種類の身体部分を解析するために(上記参照)。
【0150】
一実施形態が、下記ステップを含む治療方法を提供する。身体部分は、上記方法に従って撮像され、これにより患者の治療処置中に処理済み画像を表示部に一緒に表示する。患者は、処理済み画像の表示に従って治療される。しかしながら、提案された方法は、任意の種類の治療方法において、用語の最も広い意味で用途を見出すことができ(例えば、病理学的状態を治療するため、その進行を回避するため、病理学的状態の発生を防止するため、または単に患者の快適性の改善するため)、そして任意の患者の任意の種類の身体部分に作用するために(上記参照)。
【手続補正書】
【提出日】2023-03-15
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0089
【補正方法】変更
【補正の内容】
【0089】
そして、上述したプロセスの結果は、様々な目的のために使用できる。例えば、更なる(標準)撮像手順は、イメージングプローブおよび身体部分を、こうして決定された最良の撮像方向に従って往復配置することによって実施してもよい。これにより、手術処置の品質に対する有益な効果を伴って、最適化された(イメージング)条件で動作することが可能になる。追加または代替として、外科医には、手術処置の間およびその開始時での身体部分の(比較可能な)表現、あるいは、手術処置中の身体部分の(比較可能な)表現、および手術処置の開始時での同じ身体部分または他の身体部分の他の領域の表現を提供できる。これにより、外科医は手術処置の進行を正確に追跡することが可能になる。
【国際調査報告】