特表 2024-526099 人工知能を用いた光学フィルタ及び蛍光アプリケーションの協調設計

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-17

(54)【発明の名称】人工知能を用いた光学フィルタ及び蛍光アプリケーションの協調設計

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240709BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 612

G06T7/00 350B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023577468

(86)(22)【出願日】2022-06-15

(85)【翻訳文提出日】2023-12-14

(86)【国際出願番号】 EP2022066313

(87)【国際公開番号】W WO2022263515

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】102021115587.8

(32)【優先日】2021-06-16

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】502303382

【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100230514

【弁理士】

【氏名又は名称】泉 卓也

(72)【発明者】

【氏名】ステファン ザウアー

(72)【発明者】

【氏名】ミルコ ヴィルトバッハ

(72)【発明者】

【氏名】アレクサンダー フライターク

(72)【発明者】

【氏名】アンナ アルペロヴィッチ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096BA06

5L096BA13

5L096HA11

5L096KA04

(57)【要約】

本発明は、デジタル蛍光画像を予測するためのコンピュータ実装方法に関する。本方法は、白色光及び少なくとも１つの光学フィルタを用いて、カラーチャネル情報の第１の数を有する第１のデジタル画像捕捉ユニットを使用する顕微手術光学系によって組織試料の第１のデジタル画像を捕捉するステップと、入力画像の対応するデジタル蛍光表示を予測するための訓練済み学習モデルを有する訓練済み機械学習システムを使用し、捕捉された第１のデジタル画像のデジタル蛍光表示の形式で第２のデジタル画像を予測するステップとを有する。第１の捕捉デジタル画像は訓練済み機械学習システムの入力画像として使用され、少なくとも１つの光学フィルタのパラメータ値は機械学習システムの訓練プロセス中に決定される。

【特許請求の範囲】

【請求項1】

デジタル蛍光画像（３２６）を予測するためのコンピュータ実装方法（１００）であって、
－白色光及び少なくとも１つの光学フィルタ（３１８）を用いて、カラーチャネル情報の第１の数（３２２）を有する第１のデジタル画像捕捉ユニット（３０４）を有する顕微手術光学系によって組織試料（３０２ａ）の第１のデジタル画像を捕捉するステップ（１０２）と、
－入力画像の対応するデジタル蛍光表現を予測するための訓練済み学習モデルを含む訓練済み機械学習システム（３２４）により、前記捕捉された第１のデジタル画像のデジタル蛍光表現の形式で第２のデジタル画像（３２６）を予測するステップ（１０４）と
を含み、
－前記第１の捕捉デジタル画像は前記訓練済み機械学習システム（３２４）の入力画像として使用され、
－前記少なくとも１つの光学フィルタのパラメータ値は前記機械学習システム（３２４）の訓練中に決定されている、
コンピュータ実装方法（１００）。

【請求項2】

前記訓練済み機械学習システムの前記学習モデルを訓練することが、
－第２の画像捕捉ユニット（３０４）を有する顕微手術光学系によって白色光下で捕捉された組織試料（３０２）の複数の第１のデジタル訓練画像を提供するステップ（２０２）であって、第１のデジタル訓練画像ごとに異なるスペクトル範囲のカラーチャネル情報の第２の数（３０６）が利用可能である、提供するステップ（２０２）と、
－デジタル訓練画像の第１のセットと同じ組織試料（３０２）を各々表す複数の第２のデジタル訓練画像（３１６）を提供するステップ（２０４）であって、前記第２のデジタル訓練画像は前記組織試料の病変要素の指示を有する、提供するステップ（２０４）と、
－前記複数の第２のデジタル訓練画像の種類のデジタル画像を予測するための前記訓練済み機械学習モデルを形成するために前記機械学習システム（３１２）を訓練するステップ（２０６）であって、前記機械学習システムの入力値として、
－前記カラーチャネル情報の第２の数（３０６）の形式の前記複数の第１のデジタル訓練画像、
－グラウンドトゥルース（３１６）としての前記複数の第２のデジタル訓練画像、
－前記カラーチャネル情報の第１の数を形成するための少なくとも１つのデジタル的にシミュレートされた光学フィルタ（３０８）によって前記カラーチャネル情報の第２の数（３０６）を低減するためのパラメータ値
が使用される、訓練するステップ（２０６）と
を含み、
前記デジタル的にシミュレートされた光学フィルタ（３０８）によって前記カラーチャネル情報の第２の数（３０６）を前記カラーチャネル情報の第１の数（３１０、３２２）まで低減した後、前記複数の第２のデジタル訓練画像の前記種類のデジタル画像を予測するための訓練データとして前記複数の第１のデジタル訓練画像が使用され、
前記機械学習システムの前記訓練が終了した後、前記少なくとも１つの光学フィルタの前記パラメータ値の少なくとも一部が前記機械学習システムの出力値として出力される、
請求項１に記載の方法（１００）。

【請求項3】

前記少なくとも１つの光学フィルタ（３１８）の前記パラメータ値が、前記第１のカラーチャネル情報の数（３１０、３２２）及び／又は前記デジタル的にシミュレートされた光学フィルタ（３０８）のフィルタ形状を含む、請求項１又は２に記載の方法（１００）。

【請求項4】

前記カラーチャネル情報の第２の数が前記カラーチャネル情報の第１の数を上回る、請求項１又は２に記載の方法（１００）。

【請求項5】

前記カラーチャネルの第２の数（３０６）を低減するための前記パラメータ値は、フィルタ形状及び前記カラーチャネル情報の第１の数（３１０、３２２）のそれぞれの中心周波数で構成されるグループから選択される少なくとも１つである、請求項１～４の何れか一項に記載の方法（１００）。

【請求項6】

前記第１のデジタル画像の前記捕捉中に前記白色光の光源を制御するためのパラメータ値は、前記機械学習システム（３１２）の前記訓練が終了した後で前記機械学習システム（３１２）の追加の出力値として生成される、請求項２に記載の方法（１００）。

【請求項7】

前記デジタル蛍光表現は、ＵＶ範囲内の光源を用いて生成されるような表現に対応する、請求項１～６の何れか一項に記載の方法（１００）。

【請求項8】

前記学習モデルがそのセットアップの点でエンコーダ－デコーダモデルに対応する、請求項１～７の何れか一項に記載の方法（１００）。

【請求項9】

前記エンコーダ－デコーダモデルがＵ－Ｎｅｔアーキテクチャの形式の畳み込みネットワークである、請求項１～８の何れか一項に記載の方法（１００）。

【請求項10】

デジタル蛍光画像（３２６）を予測するための予測システム（６００）であって、
－プログラムコードを記憶するメモリ（６０４）及び前記メモリ（６０４）に接続される１つ又は複数のプロセッサ（６０２）
を含み、
前記１つ又は複数のプロセッサ（６０２）は前記プログラムコードを実行するとき、前記予測システム（６００）に以下のユニット、つまり
－白色光及び少なくとも１つの光学フィルタ（３１８）を使用する顕微手術光学系によって組織試料（３０２ａ）の第１のデジタル画像を捕捉するための、カラーチャネル情報の第１の数（３０６）を有する第１のデジタル画像捕捉ユニット（６０６）、
－前記捕捉された第１のデジタル画像のデジタル蛍光表現の形式で第２のデジタル画像（３２６）を予測するための訓練済み機械学習システム（３２６）であって、入力画像の対応するデジタル蛍光表現を予測するための訓練済み学習モデルを含む、訓練済み機械学習システム（３２６）
を制御させ、
－前記第１の捕捉デジタル画像は前記訓練済み機械学習システム（３２６）の入力画像として使用され、
－前記少なくとも１つの光学フィルタ（３１８）のパラメータ値は前記機械学習システム（３１２）の訓練中に決定されている、
予測システム（６００）。

【請求項11】

デジタル蛍光画像を予測するためのコンピュータプログラム製品であって、その上に記憶されたプログラム命令を含むコンピュータ可読記憶媒体を含み、前記プログラム命令は１つ又は複数のコンピュータ又は制御ユニットによって実行可能であり、前記１つ又は複数のコンピュータ又は制御ユニットに請求項１～９の何れか一項に記載の方法を実行させる、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルによる予測方法に関し、とりわけデジタル蛍光画像を予測するためのコンピュータ実装方法に関する。本発明は、デジタル蛍光画像を予測するための予測システム及びコンピュータプログラム製品に更に関する。

【背景技術】

【0002】

脳腫瘍は、比較的侵攻性であり、生存確率が約１／３と相対的に低い治療成功率をしばしば有する発生頻度が低くない種類の癌を含む。このような疾患の治療は、典型的には除去のための外科的介入、放射線療法、及び／又はその後の通常は長期にわたる化学療法を必要とする。生検がそれぞれの治療の判断基準を形成することが多く、分子検査も使用されている。当然ながら、かかる治療は医学的危険を伴う。放射計によって記録された画像を解析する潜在能力が最近は非常に進歩し、その結果、かかる腫瘍検査は少なくとも生検を補完することができる。そのように補完することは、生検が不可能であり又は望ましくない場合に該当し得る。最近では、このような画像ベースの診断が手術中でさえ使用可能になっている。しかし必要な計算能力は現在のところ非常に高く、そのことが実際のリアルタイム支援がこれまで不可能であった理由である。

【0003】

病変組織、即ち腫瘍を含む組織が健常組織に再び成長して入り込んで行くのを防ぐために、及び健常組織をできるだけ多く残すために、病変組織領域を完全に及び可能な限り正確に除去しなければならないのは脳腫瘍の分野だけではない。この組織の部分切除（切除術）は通常、特殊な器具を備える手術室の中で外科医によって行われる。そのために、手術用顕微鏡も一般に使用される。この場合、健常組織と癌組織との間の正確な境界線は、典型的な白色手術灯の下では困難を伴ってしか認識することができない。その結果、切除後に健常組織を除去し過ぎる又は癌組織を除去しなさ過ぎる危険が明らかにある。どちらの結果も最適以下として指定され得る。

【0004】

これまでは、最適化された照明（例えばＢＬＵＥ４００又はＹＥＬＬＯＷ５６０）の下で健常組織と病変組織とを比較的明瞭に区別するために造影剤を注入することが概して更に必要であった。その結果、手術中に照明のプリセットを比較的頻繁に切り替えなければならないことも必要になり、このことは原則としてより長い手術時間、全体的により高額の手術費、及び患者への優しさの低下を招く。

【0005】

従来技術は、白色光下で記録された組織記録から蛍光画像を確認するために人工知能を使用するための初期の手法を実際に開示している。それでもなお、非常に多数のカラーチャネルを有する高解像度カメラがそのために必要である。

【0006】

従って、患者が軽度の追加治療（例えば化学療法）を受けるだけで済むように、外科医がリアルタイムで（即ち大幅な時間遅延なしに）及び注意力を大きく散漫にすることなく健常組織と癌組織とを明確に区別するのに役立つ低侵襲手術支援を有することが望ましい。

【発明の概要】

【課題を解決するための手段】

【0007】

この目的は、独立請求項による、本明細書で提案する方法、対応するシステム、及び関連するコンピュータプログラム製品によって実現される。更なる構成がそれぞれ従属する請求項によって記載される。

【0008】

本発明の一態様によれば、デジタル蛍光画像を予測するためのコンピュータ実装方法が提示される。この場合、本方法は、白色光及び少なくとも１つの光学フィルタを用いて、カラーチャネル情報の第１の数（又はカラーチャネルの数）を有する第１のデジタル画像捕捉ユニットを有する顕微手術光学系によって組織試料の第１のデジタル画像を捕捉することを含むことができる。更に本方法は、入力画像の対応するデジタル蛍光表現を予測するための訓練済み学習モデルを含む訓練済み機械学習システムにより、捕捉された第１のデジタル画像のデジタル蛍光表現の形式で第２のデジタル画像を予測することを含み得る。この場合、第１の捕捉デジタル画像は訓練済み機械学習システムの入力画像として使用することができ、少なくとも１つの光学フィルタのパラメータ値は機械学習システムの訓練中に決定されている可能性がある。

【0009】

本発明の別の態様によれば、デジタル蛍光画像を予測するための予測システムが提示される。この予測システムは、白色光を用いて組織試料の第１のデジタル画像を捕捉するための、カラーチャネル情報の第１の数（又はカラーチャネルの数）及び光学フィルタを有する第１のデジタル画像捕捉ユニットと、少なくとも１つの訓練済み機械学習システムとを有する顕微手術光学系を含み得る。この場合、機械学習システムは、入力画像の対応するデジタル蛍光表現を予測するための訓練済み学習モデルを含み得る。この機械学習システムは、捕捉された第１のデジタル画像のデジタル蛍光表現の形式で第２のデジタル画像を予測するように適合させることができる。この場合、第１の捕捉デジタル画像は訓練済み機械学習システムの入力画像として機能することができ、少なくとも１つの光学フィルタのパラメータ値は機械学習システムの訓練中に決定されている可能性がある。

【0010】

デジタル蛍光画像を予測するための提案したコンピュータ実装方法は、関連するシステムにも適宜適用され得る複数の利点及び技術的効果を有する。

【0011】

訓練段階において機械学習モデルを作成し予測段階において機械学習モデルを使用するために様々な性能レベルの基礎となるコンピュータシステムが使用される慣行は、本明細書で提案する方法によって更に発展する。原則として、機械学習モデルの開発に利用できる時間は予測段階中よりも訓練段階の方が長い。予測段階では、即ち生産的使用中は、機械学習システムの出力は可能な限り短い時間遅延で可能でなければならない。時間遅延が可能な限り短いことは、主に例えば外科的介入を支援するために等、機械学習システムがリアルタイムの状況で使用される場合に不可欠である。

【0012】

本明細書で提案する概念によれば、訓練データを作成するためにハイパースペクトルカメラを便宜上使用することができ、このカメラは多数の異なるカラーチャネル情報を利用可能にする。この出発点から、統合的手法における訓練プロセスの間、予測段階中の利用可能資源を訓練段階中と同じくらい早く予期するために、デジタル的にシミュレートされた光学フィルタによってカラーチャネルの数が大幅に低減される。そのために、統合された機械学習モデルを有する機械学習システム、及びデジタル的にシミュレートされた光学フィルタのパラメータの両方が、統合的最適化プロセスにおいて同時に適合され又は訓練される。更に、例えばデジタル捕捉システムによって照射される組織試料に使用される照明光のスペクトル等の追加の制約を考慮することができる。

【0013】

訓練の終了後、デジタル的にシミュレートされた光学フィルタの確認されたパラメータを現実に存在する物理的フィルタに採用することができる。更に、デジタル捕捉ユニット（例えばＲＧＢカメラ）を使用することができ、そのカラーチャネルの数及び（例えば波長感度に関する）種類は訓練プロセス中の低減されたカラーチャネルの数に可能な限り適合される。この点に関して、後の生産的使用中に利用可能なデジタル捕捉ユニット（例えばＲＧＢカメラ）の制約も訓練中に既に既定のものとすることができる。これらの対策は、予測段階中に必要な計算能力を大幅に減らし、提案した方法及び対応するシステムを、外科的介入を支援するためにリアルタイムで使用できるようにするのに役立つ。統合的最適化が提供されなかったので又は必要な計算能力がリアルタイム支援にとって不十分だったので、過去に提案された方法はこの障害で挫折した。

【0014】

このようにして手術対象組織の表現を蛍光表現によって外科医に提供することができ、そのことは外科医が健常組織と病変組織とを明確に及び外科医の注意を更に逸らすことなく区別することを可能にする。このことは、たとえ生産的操作において、即ち予測段階（推論）の間、（訓練段階のためのハイパースペクトルカメラとは対照的に）比較的単純なカメラのみを使用可能であっても当てはまる。

【0015】

このようにして、時間のかかる多次元生検を必要とすることなく、外科医にとって非常に有利な手術対象組織の光学的表現がリアルタイムで生じる。

【0016】

技術的観点から、異なるように最適化された個々の機械学習システムの並置、学習システム間のデータ転送、並びに個々の機械学習システムの時間及び最適化に関する追加の高額支出も回避される。

【0017】

本明細書で提示するシステムは最終的に、予測段階のために物理的に製造される光学フィルタ形式のハードウェアであって、そのパラメータは訓練段階中の統合的最適化の間に確認される、ハードウェア、及び使用される機械学習システムのソフトウェアの最適化に非常に有利に基づく。

【0018】

更なる例示的実施形態を以下で提示し、それらは方法との関連及び対応するシステムとの関連の両方において有効性を有し得る。

【0019】

本方法の或る有利な実施形態によれば、訓練済み機械学習システムの訓練済み学習モデルは、第２の画像捕捉ユニットを有する顕微手術光学系によって白色光下で捕捉された組織試料の複数の第１のデジタル訓練画像を提供することを含み得る。この場合、第１のデジタル訓練画像ごとに、異なるスペクトル範囲のカラーチャネル情報の第２の数（例えばハイパースペクトルカメラの６４カラーチャネル）が利用可能であり得る。

【0020】

更に本方法は、デジタル訓練画像の第１のセットと同じ組織試料を各々表す複数の第２のデジタル訓練画像を提供することであって、第２のデジタル訓練画像は組織試料の病変要素の指示を有し得る、提供すること、及び複数の第２のデジタル訓練画像の種類のデジタル画像を予測するための訓練済み機械学習モデルを形成するために機械学習システムを訓練することを含み得る。この場合、機械学習システムの入力値として、カラーチャネル情報の第２の数（即ち例えば６４カラーチャネル）の形式の複数の第１のデジタル訓練画像、「グラウンドトゥルース」としての複数の第２のデジタル訓練画像、カラーチャネル情報の第１の数を形成するための少なくとも１つのデジタル的にシミュレートされた光学フィルタによってカラーチャネル情報の第２の数を低減するためのパラメータ値を使用することができる。この場合、訓練の学習目標としての「グラウンドトゥルース」という用語を当業者なら認識されよう。これは、機械学習システムのための未知の入力の場合にその外観を予測することを意図した訓練画像の注釈付きバージョン、又はそれを出力値／出力マッピングとして生成することを含む。

【0021】

この場合、デジタル的にシミュレートされた光学フィルタによってカラーチャネル情報の第２の数をカラーチャネル情報の第１の数まで低減した後、複数の第２のデジタル訓練画像の種類のデジタル画像を予測するための訓練データとして複数の第１のデジタル訓練画像を使用することができる。加えて、機械学習システムの訓練が終了した後、少なくとも１つの光学フィルタのパラメータ値の少なくとも一部が機械学習システムの出力値として出力され得る。この文脈では、少なくとも１つの光学フィルタのパラメータ値の一部は、確認された全てのパラメータ値が出力されることも意味し得る。

【0022】

組織試料は、例えば癌組織の形態の病変組織、具体的には病変した脳組織であり得ることを指摘しておく。更に第２の訓練画像は、可視光下及び／又は特定の照明条件（例えば紫外線）下の捕捉画像として生成されたことに留意すべきである。

【0023】

本方法の更なる有利な実施形態によれば、少なくとも１つの光学フィルタのパラメータ値は、第１のカラーチャネル情報の数及び／又はデジタル的にシミュレートされた光学フィルタのフィルタ形状を含み得る。この場合、フィルタは複数のデジタル的にシミュレートされた光学フィルタでも構成可能であることに留意すべきである。このようにして、光学フィルタの様々なパラメータ値を変化させることができる。光学フィルタの製造中、これらのパラメータ値の複数を同時に実現することができる。

【0024】

本方法の或る洗練された実施形態によれば、カラーチャネル情報の第２の数（即ちカラーチャネルの数）は、カラーチャネル情報の第１の数を上回り得る。例として、第２の数はハイパースペクトルカメラのカラーチャネルの数、例えば６４カラーチャネル（より広くは例えば３０から１３０個のカラーチャネル）を構成し得るのに対し、第１の数は第１のデジタル画像捕捉ユニットのカラーチャネルの数を構成する。後者は１０未満、又は好ましくは３から４個のカラーチャネルを含み得る。このようにしてカラーチャネルの数を大幅に低減することができ、それによって必要な計算能力を明確に低減することができる。このことは、進行中の操作中に本方法を直接使用することに対して好ましい効果を有する。

【0025】

本方法の或る拡張された実施形態によれば、カラーチャネルの第２の数を低減するためのパラメータ値は、フィルタのフィルタ形状又はカラーチャネル情報の第１の数のそれぞれの中心周波数に関係し得る。この実施形態に基づく更なる実施形態によれば、カラーチャネルの第２の数を低減するためのパラメータ値は、包絡線としての１つ又は複数のカメラ感度曲線（例えばカラーチャネルごとに１本）又はそれらの数、及び／又は幾何学的に記述された構造の形状に関係することもでき、これはガウス分布、矩形形状等に関係することができる。

【0026】

本方法の或る拡張された実施形態によれば、第１のデジタル画像の捕捉中に白色光の光源を制御するためのパラメータ値は、機械学習システムの訓練が終了した後で機械学習システムの追加の出力値として生成することができる。この手段によっても、機械学習モデルを有する機械学習システムの訓練中に使用された環境変数を、本方法の実際の生産的使用に対して使用可能にすることもできる。

【0027】

本方法の或る有用な実施形態によれば、デジタル蛍光表現はＵＶ範囲内の光源、例えばＢＬＵＥ４００を用いて生成されるような表現に対応し得る。更に、スペクトル範囲はプリファランスを用いて表現することもできる。それでもなお、本願の文脈では、「蛍光表現」という呼称はこれらの他のスペクトル範囲にも使用可能であるべきである。便宜的に、蛍光表現では（使用される光にもよるが）組織試料内で造影剤、例えば４３０～４４０ｎｍの波長範囲内の励起では５－ＡＬＡ（アミノレブリン酸）又は５６０ｎｍ付近の波長範囲内の励起ではフルオレセインナトリウムが使用される。

【0028】

本方法の追加の有利な実施形態によれば、学習モデルはそのセットアップの点でエンコーダ－デコーダモデルに対応し得る。

【0029】

更に実施形態は、コンピュータ又は他の命令処理システムによって使用するための、又はそれらに関連してプログラムコードを含むコンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品に関係することができる。本明細書の文脈では、コンピュータ使用可能媒体又はコンピュータ可読媒体は、プログラムコードの記憶、通信、転送、又は搬送に適した任意の装置であり得る。

【0030】

本発明の例示的実施形態は、異なる実装カテゴリに関して説明され得ることを指摘しておく。とりわけ一部の例示的実施形態は方法に関して説明するのに対し、他の例示的実施形態は対応する装置の文脈で説明され得る。これにもかかわらず、当業者なら上記の及び下記の説明に由来する方法の特徴の可能な組み合わせ、更には対応するシステムによる特徴の可能な組み合わせを、たとえそれらが異なる請求項のカテゴリに属していても、別段の指定がなければ識別し組み合わせることができる。

【0031】

上記で既に説明した態様及び本発明の追加の態様が、とりわけ説明する例示的実施形態及び図面に関して説明する追加の更なる具体的構成から明らかになる。

【0032】

本発明の好ましい例示的実施形態を例として、及び以下の図面に関して説明する。

【図面の簡単な説明】

【0033】

【図1】デジタル蛍光画像を予測するための、本発明によるコンピュータ実装方法の或る例示的実施形態の流れ図のような表現を示す。

【図2】図１による例示的実施形態の拡張を示す。

【図3】機械学習システムの訓練段階及び予測段階、更にはフィルタの使用に関する或る例示的実施形態の図を示す。

【図4】訓練中のカラーチャネルの数の或る例示的実施形態の図を示す。

【図5】機械学習システム及びデジタル的にシミュレートされたフィルタの同時最適化の結果としての２つの可能な波長分布を示す。

【図6】デジタル蛍光画像を予測するための予測システムを示す。

【図7】図６によるシステムを含むコンピュータシステムの或る例示的実施形態を示す。

【発明を実施するための形態】

【0034】

［００２０］本明細書の文脈では、慣例、用語、及び／又は表現は以下のように理解されるべきである。

【0035】

本明細書で「機械学習システム」という用語は、非手順的にプログラムされたやり方で出力値を生成するために使用されるシステム或いは方法を表し得る。そのために、教師あり学習の場合、機械学習システム内に存在する機械学習モデルは訓練データ及び関連する所望の出力値（注釈付きデータ又はグラウンドトゥルースデータ）を用いて訓練される。訓練段階の後に生産段階、即ち予測段階（「推論段階」）が続き得る一方、出力値は非手順的なやり方で過去に未知の入力値から生成／予測される。機械学習システムのための多数の異なるアーキテクチャが当業者に知られている。それらは例えば分類器として訓練され使用され得るニューラルネットワークも含む。訓練段階の間、既定の入力値を所与とした所望の出力値が典型的には「逆伝播」と呼ばれる方法によって学習され、ニューラルネットワークのノードのパラメータ値又はノード間の接続が自動で適合される。このようにして、訓練済み機械学習モデルを有する訓練済み機械学習システムを形成するために、本来存在する機械学習モデルが調整され又は訓練される。

【0036】

上記の解説を踏まえて「予測」という用語は、機械学習システムの生産的使用の段階を表し得る。機械学習システムの予測段階の間、過去に未知の入力データが提供される訓練済み機械学習モデルに基づいて出力値が生成され又は予測される。

【0037】

本明細書で「デジタル蛍光画像」という用語は、組織試料に予め加えられた造影剤の助けを借りて特定の波長の光（例えばＵＶ光）の下で観察される画像の外観形態を有する組織試料のデジタル画像を表す。

【0038】

本明細書で「第１のデジタル画像」という用語は、少数のカラーチャネル（例えば単色又は３から４個のカラーチャネル、概して１０個未満のカラーチャネル）を有するデジタル画像捕捉ユニット（例えばＲＧＢカメラ）によるデジタル画像の捕捉記録を表す。この最初のデジタル画像は、そこからデジタル蛍光画像を予測するために予測段階中に捕捉される。概して、「カラーチャネルの数」及び「カラーチャネル情報の数」という用語は本願の文脈では同義語として理解することができる。

【0039】

本明細書で「組織試料」という用語は、生体物質を表し得る。組織試料は本方法における検査に有利に利用可能である。組織試料は「正常な」ヒト組織或いは脳組織を含み得る。

【0040】

本明細書で「顕微手術光学系」という用語は、手術用顕微鏡を表し得る。後者は外科手術、例えば低侵襲介入に使用することができる。顕微手術光学系は、照明システム、デジタル捕捉ユニット（例えば１つ又は複数のカラーチャネルを有するデジタルカメラ）、画像処理及びオペレータ制御ユニット、並びに出力画面を含み得る。

【0041】

本明細書で「デジタル画像捕捉ユニット」という用語は、デジタル画像変換器を有するカメラを表し得る。このカメラは、複数のカラーチャネル情報を同時に捕捉することができる。ハイパースペクトルカメラの場合、例えば６４個のカラーチャネルを捕捉することができるが、他の数（例えば３０から１３０個）のカラーチャネルも考えられる。このようなカメラは訓練画像を捕捉するために使用できる一方、有意により通常のカラーチャネルの数、例えば３から４のオーダー（又は単色）のカラーチャネルを有するカメラが予測段階中に生産的使用のために使用できる。

【0042】

本明細書で「カラーチャネル情報の第１の数」という用語は、予測動作モードで使用される画像捕捉ユニットのカラーチャネルの数を表すことができる。

【0043】

本明細書で「光学フィルタ」という用語は、特定の基準に従って入射光ビームを選択的に通すことを可能にする装置であり得る。この基準は波長選択的とする（又は偏光状態に依存する）ことができ、そのためフィルタは特定の異なる波長範囲に対してより透過的であり、他の波長範囲に対しては透過性が低く（実質的に全く透過しないまで）なる。

【0044】

「第２のデジタル画像」という用語は、生産的操作中に機械学習システムによって生成される予測画像を表し得る。

【0045】

本明細書で「デジタル蛍光表現」という用語は、特定の波長の光（例えばＵＶ光）で照射されているかのように見え、それにより例えば生体組織内に存在する造影剤に関する蛍光効果が特定の波長の光の結果として見えるようになるデジタル画像の特定の表現とすることができる。

【0046】

「白色光」という用語は、可視波長スペクトルで主に発光する光源（例えば白色光ＬＥＤ、キセノン等）からの光を表す。

【0047】

「少なくとも１つの光学フィルタのパラメータ値」という用語は、フィルタが透過的である実質的には波長（又はその範囲）を表す。透過率対波長表現における包絡線は、透過範囲の平均値のように更なるパラメータとなり得る。

【0048】

本明細書で「第１のデジタル訓練画像」という用語は、多数のカラーチャネル（例えば６４個、又はより広くは３０から１３０個のカラーチャネル）が利用可能なデジタル画像を表す。

【0049】

「第２の画像捕捉ユニット」という用語は、例えばハイパースペクトルカメラの場合のように、記録のために多数のカラーチャネルデータを提供するように適合される画像捕捉ユニットを表す。

【0050】

「第２のデジタル訓練画像」という用語は、教師あり学習の場合に機械学習システムの訓練に不可欠なグラウンドトゥルースデータのデジタル画像を表す。グラウンドトゥルースデータは、予測として期待される、即ち「学習される」ことが意図される種類のデジタル画像を表す。

【0051】

「組織試料の病変要素の指示」という用語は、デジタル画像内の様々な注釈によって識別することができる。これは特定の画像抜粋のピクセル単位の注釈、他の何らかの方法で色によって印付けされた領域、又はデジタル画像のセグメンテーションの特定の形態を含み得る。

【0052】

「カラーチャネル情報の第２の数を低減するためのパラメータ値」という用語は、デジタル的にシミュレートされたフィルタの特性を表し得る。これはフィルタの数或いは透過特性に関し得る。

【0053】

「デジタル的にシミュレートされた光学フィルタ」という用語は、カラーチャネル情報を変更する機械学習システムのユニットを示す。これはデジタル色透過フィルタを含み得る。

【0054】

「デジタル的にシミュレートされた光学フィルタのフィルタ形状」という用語は、例えばフィルタの透過スペクトル線（又は波長範囲）の包絡線、その平均値、又は関連する標準偏差を示し得る。

【0055】

「白色光の光源を制御するためのパラメータ値」という用語は、デジタル画像を作成するために使用される白色光の特性を表し得る。これは照明光源の放出光のスペクトル範囲及び強度値を本質的に含み得る。

【0056】

本明細書で「エンコーダ－デコーダモデル」という用語は、直後に再び復号化されるように入力データを符号化又はコード化する機械学習システムのアーキテクチャを表す。エンコーダとデコーダとの中間には、必要なデータが一種の特徴ベクトルとして存在する。復号中、機械学習モデルの訓練に応じて入力データ内の特定の特徴を特別に強調することができる。

【0057】

本明細書で「Ｕ－Ｎｅｔアーキテクチャ」という用語は、内部的に収縮経路及び拡大経路を有する機械学習モデルのアーキテクチャを表す。より詳細な定義を図４に関連して示す。

【0058】

図面の詳細な説明を以下に示す。この場合、図中の詳細及び指示の全てが概略的に示されていることが理解されよう。最初に、デジタル蛍光画像を予測するための、本発明によるコンピュータ実装方法の或る例示的実施形態の流れ図のような表現を示す。更なる例示的実施形態、又は対応するシステムの例示的実施形態を以下に記載する。

【0059】

図１は、デジタル蛍光画像を予測するためのコンピュータ実装方法１００の或る好ましい例示的実施形態の流れ図のような表現を示す。この場合、本方法は、白色光及び少なくとも１つの光学フィルタを用いて、カラーチャネル情報の第１の数、例えば３から４個のカラーチャネルを有する第１のデジタル画像捕捉ユニット、例えばＲＧＢカメラを有する顕微手術光学系により、組織試料（例えば病変した脳組織）の第１のデジタル画像を捕捉すること（１０２）を含む。フィルタは、典型的には照射される組織試料とカメラとの間に位置する。

【0060】

更に方法１００は、入力画像の対応するデジタル蛍光表現を予測するための訓練済み学習モデルを含む訓練済み機械学習システムにより、捕捉された第１のデジタル画像のデジタル蛍光表現の形式で第２のデジタル画像を予測すること（１０４）を含む。

【0061】

入力データ又は入力画像として訓練済み機械学習システムのための第１の捕捉デジタル画像が使用され、更に、少なくとも１つの光学フィルタのパラメータ値は機械学習システムの訓練中に決定されている。

【0062】

図２は、図１による例示的実施形態の拡張、とりわけ図１におけるその生産段階又は予測段階中に示した上記の方法の訓練段階２００を示す。この場合、訓練済みの複合機械学習システムの複合機械学習モデルを訓練することは、組織試料（即ち例えばここでも脳組織又は癌組織）の複数の第１のデジタル訓練画像を提供すること（２０２）を含み、それらの画像は第２の画像捕捉ユニットを有する顕微手術光学系、即ち例えば手術用顕微鏡によって白色光下で捕捉され、第１のデジタル訓練画像ごとに、異なるスペクトル範囲のカラーチャネル情報の第２の数が利用可能である。この第２の数は、典型的には図１による生産的予測動作モードにおけるカラーチャネルの第１の数よりも多い。例えば６４個のカラーチャネルを有するハイパースペクトルカメラが有利に使用される。

【0063】

更に訓練段階２００は、デジタル訓練画像の第１のセットと同じ組織試料をそれぞれ表す複数の第２のデジタル訓練画像を提供すること（２０４）を含む。この場合、第２のデジタル訓練画像は組織試料の病変要素の指示を含む。これらの指示は、例えばピクセル単位の注釈、光学的に強調された囲み領域、及び／又は病変組織領域の境界若しくは他の画像セグメンテーション等、様々な形を取ることができる。この表現は通常の可視光下、例えば白色光下、又は特殊光下、及び造影剤による強調（蛍光表現）とすることができる。

【0064】

更に訓練段階２００は、複数の第２のデジタル訓練画像の種類のデジタル画像、即ち病変組織の可視マーキングを有するデジタル画像を予測するための訓練済み機械学習モデルを形成するための、機械学習システムの（所謂教師あり学習下での）実際の訓練２０６を含む。この場合、複合機械学習システムの入力値として以下、つまり（ｉ）カラーチャネル情報の第２の数の形式の、即ちより多数のカラーチャネル情報を有する複数の第１のデジタル訓練画像、（ｉｉ）グラウンドトゥルースとしての複数の第２のデジタル訓練画像、即ち訓練される所望の結果画像、及び（ｉｉｉ）カラーチャネル情報の第１の数を形成するための少なくとも１つのデジタル的にシミュレートされた光学フィルタによってカラーチャネル情報の第２の数を低減するためのパラメータ値を使用する。この場合、パラメータ値はフィルタの数、色のスペクトル又はフィルタ形状に関する指示を含み得る。

【0065】

更に、デジタル的にシミュレートされた光学フィルタによってカラーチャネル情報の第２の数をカラーチャネル情報の第１の数まで低減した後、複数の第２のデジタル訓練画像の種類のデジタル画像を予測するための訓練データとして複数の第１のデジタル訓練画像を使用する。これは、異なるシステム又は異なる機械学習システムが使用されることなく一度に行われる。

【0066】

加えて、機械学習システムの訓練が終了した後、少なくとも１つの光学フィルタのパラメータ値が機械学習システムの出力値として出力される。つまり学習システムは、機械学習モデルを形成するための機械学習システムの訓練中に、かかるパラメータ値がシミュレートされた光学フィルタの特性であるものとして学習する。少なくとも１つの光学フィルタのパラメータ値は、例えばフィルタの数又は関連する周波数帯域に関係し得る。図３で一層詳細に説明するように、デジタル的にシミュレートされたフィルタの特性は、予測段階において使用するためのこの種の光学フィルタを生成するために直接使用することができる。

【0067】

図３は、機械学習システムの訓練段階及び予測段階、更にはフィルタの使用についての同時表現３００を示す。図面の左側は訓練段階に関するのに対し、図面の右側は予測段階に関する。複数の組織試料３０２が、組織３０２から訓練データを生成するために、多数のカラーチャネル３０６を有するデジタル捕捉システム３０４によって捕捉される。これらのデジタル画像（第１の訓練データ）はデジタル的にシミュレートされたフィルタ３０８を通して導かれ、デジタル的にシミュレートされたフィルタ３０８の下流にあるこれらのデジタル画像３１０は低減された数のカラーチャネル３１０を有する表現で利用できるようになる。

【0068】

このようにしてカラーチャネルの数に関して低減されたこれらのデジタル画像３１０が、機械学習システム３１２のための訓練データとして使用される。訓練のための注釈付きデータとして、第１の訓練データのデジタル画像の印付けされたバージョンが第２の訓練データとして機械学習システム３１２に供給される。

【0069】

加えて光学フィルタ３０８の特性が変更され、それにより機械学習システム３１２の学習速度及び学習の成功（速い又は遅い収束）に影響を与える。このことはデジタル的にシミュレートされた光学フィルタ３０８及び機械学習システム３１２のパラメータの同時最適化３１４をもたらし、それにより予測段階（図３の右側）において生産的に使用可能な機械学習モデルが訓練段階の終了時に利用可能になる。

【0070】

図３の右側に例として示す訓練済み機械学習システム３２４の使用段階も、生体組織３０２ａを捕捉することから始まる。これは例えば手術中又は検査中に、画像捕捉ユニット３２０、即ち例えばＲＧＢカメラによって行うことができる。潜在的に病変した組織３０２ａは例えば白色光（照明光源は不図示）によって照射され、光学フィルタ３１８によるビームのフィルタリング後に捕捉ユニット／カメラ３２０によってデジタル画像に変換される。このデジタル画像は、例えば３～４個のカラーチャネル３２２からの色情報で構成される。理想的には、カラーチャネル３２２の数は、機械学習システム３１２の訓練中にデジタル的にシミュレートされた光学フィルタ３１０によってハイパースペクトルカメラ３０４のカラーチャネル３０６から生成されたカラーチャネル３１２の数に対応する。訓練段階及び予測段階のそれぞれ等価な要素を図３の左側から図３の右側への破線矢印で示している。

【0071】

蛍光表現の形式のデジタル出力画像３２６を出力するために、少数のカラーチャネル３２２を有するカメラ３２０（例えばＲＧＢカメラ）によって捕捉されるデジタル画像が訓練済み機械学習システム３２４に供給され、即ち入力データとして使用される。

【0072】

この文脈では、機械学習システム３１２の訓練中のフィルタ３０８がデジタル的にシミュレートされるが、訓練済み機械学習システム３２４の予測段階中に使用されるフィルタ３１８は現実に存在するフィルタであり、訓練済み機械学習システム３１４が訓練終了時に実際に出力する光学特性又はパラメータを有するフィルタであることを再び明確に指摘しておくべきである。その結果、実際の光学フィルタ３１８が、デジタル的にシミュレートされたフィルタ３０８及び訓練内の機械学習システム３１２のパラメータの同時最適化３１４中に確認された仕様に従って正確に製造される。グラウンドトゥルースデータ３１６も、訓練のための追加の入力値として必要である。

【0073】

図４は、訓練中のカラーチャネルの数に関する例示的実施形態４００の図を示す。例えばハイパースペクトルカメラの（デジタル画像の）デジタル記録の結果であるＮ個のカラーチャネル４０２は、光源の特性４０４に関して中和する（即ち独立させる）ことができ、それによりそれらの特性も機械学習システム４１４の訓練中に追加の制約として使用することができる。かかる制約の例は、その数、並びに様々な波長における光の可用性、その密度、及びそれぞれの強度であり得る。

【0074】

次に、捕捉画像について同数のカラーチャネル４０６によって入手可能な色情報が、使用される光源の特性から抽象化（ａｂｓｔｒａｃｔ）される。次に、機械学習システム４１４（それに対応して図３の機械学習システム３１２、３２４を参照されたい）の特性と共に最適化されるシミュレートされた光学フィルタ４０８の制約を考慮することができる。更に、（とりわけ特定の波長に関する）カメラ感度パラメータも追加の制約４１０として考慮することができる。その結果、デジタル入力画像のカラーチャネルの数４０２よりも少ない（又は著しく少ない）低減したカラーチャネルの数４１２を有するデジタル画像が得られる。

【0075】

象徴的に表現した制約４０４、４０８、４１０との間の両矢印は訓練中の機械学習システム４１４への影響を表す。低減したカラーチャネルの数４１２を有するデジタル訓練画像が機械学習システムに入力データとして供給される。教師あり学習では、デジタル訓練画像に対してそれぞれ期待される結果を表す参照データ（グラウンドトゥルースデータ）４１６も訓練中に機械学習システム４１４に供給される。これらのグラウンドトゥルースデータ４１６は、蛍光表現において期待される出力画像を最終的に表し、その画像は意図される（予測される）は、多数のカラーチャネルの数４０２を有するデジタル入力画像が存在する場合。

【0076】

更に、更なるパラメータ４１８を出力することができる。これらは主に、デジタル的にシミュレートされた光学フィルタ４０８の特性、更には例えば予測段階のための照明光源のスペクトル範囲特性、或いは予測段階において使用されるデジタル捕捉ユニット（即ちＲＧＢカメラ、単色カメラ等）のスペクトル範囲感度パラメータに関係する。

【0077】

例として、機械学習システム４１４としてＵ－Ｎｅｔを使用することができる。Ｕ－Ｎｅｔは、知られているように記号４１４によって示す収縮経路及び拡大経路で構成される。Ｕ－Ｎｅｔは、例えば２つの３×３畳み込み（パディングなしの畳み込み）を繰り返し適用することで構成され、それぞれの場合に、増幅線形ユニット（ＲｅＬＵ）及びダウンサンプリングのためのストライド２の２×２プーリング演算が先行する。この場合、特徴チャネル数はダウンサンプリングステップごとに２倍になる。他方で拡大経路は、特徴マップのアップサンプリングと、それぞれの場合に特徴チャネル数を半分にするそれに続く２×２畳み込み（「アップサンプリング」）、及び収縮経路によって相応に「クロップ」される特徴マップの連結、及びそれぞれＲｅＬＵが続く２つの３×３畳み込みで構成される。

【0078】

十分に表現されていない蛍光グループが存在する場合、可能な限り同じ強度を伴ってあり得る全てのグループ内の訓練画像の数を使用するために、データ増強技法（Ｌ／Ｒミラー画像、トップ／ボトムミラー画像、ランダム回転、ランダム画像クロップ等）を適用することができる。或いは、解剖学的変異体の画像を使用することもできる。

【0079】

図５は、機械学習システム（図３の３１２参照）及びデジタル的にシミュレートされたフィルタの同時最適化の結果として可能な２つの波長分布（又は周波数分布）を示す。図５０２は、ＲＧＢ表現に容易に変換することができる本質的に３つの相互に分離した周波数／波長範囲を示す。図５０４は、異なる周波数範囲に関する異なる減衰を伴う４つのフィルタ範囲を有する。これは実際には、各スペクトル範囲がデジタル捕捉ユニットのセンサチャネルを表すことができる２つの可能な例しか含まないことを指摘すべきである。縦線の高さは、それぞれの波長におけるそれぞれのフィルタの加重感度に対応する。この場合、表現５０２の追加の制約は、３つのチャネルが比較的小さな標準偏差を伴うガウス感度分布をそれぞれ有することに関係する。表現５０４は４つの極大値を有し、そのうちの例えば１つは青色範囲内に、１つは緑色範囲内に、２つは赤色範囲内にあり得る。ここでも標準偏差は比較的小さい。機械学習システムの学習段階中に最適化が行われなかった場合、潜在的なフィルタの強度線は言うならば数学的によりカオス的にｘ軸上に分布することになり（不図示）、実際の物理的な光学フィルタに変換可能な個別のスペクトル範囲は識別できない。

【0080】

理想的には、実際の光学フィルタ（図３の３１８参照）は全く同じ感度曲線を有する。

【0081】

フィルタに関して提示したこれらの３つの可能な物理的制約は、ここでのよい例を表す。この場合、表現５０２は完全に表された感度仕様を表す（即ち学習中にフィルタパラメータの変更は行われない）。この場合、表現５０４は後で（予測段階中に）使用されるカメラの感度曲線、換言すれば例えば小さい標準偏差及び既定の波長の最高感度値に対する特定の値等の制約を有するガウス感度状態曲線の特性（又はパラメータ）に対応する。２つ前の段落で説明した最後の事例は、おそらく実際の物理的フィルタに関して、ハードウェアの観点から１：１の方法で困難を伴ってしか実現することができない。

【0082】

同じように、更なる実施形態では、使用する光源の特性を追加の制約として訓練段階中に使用することができる。

【0083】

更なる実施形態は、デジタル的に捕捉された画像の時間的シーケンスを提供することができる。ここでの目的は、連続画像が使用される場合に大きく変化するデジタルスペッキング（「フリッカ」）を回避することである。提供可能な単純な対策は、時間の経過に伴うよりソフトな遷移による個々の捕捉フレーム（個々の画像）の後処理である。更に発展した形態では、更なる実施形態において２Ｄモデルの全ての２Ｄ演算が３Ｄ空間内で実行されるように（即ち３Ｄ畳み込み、３Ｄプーリング等）３Ｄモデルの生成が行われ得る。２Ｄモデルと時間制限モデルとの組み合わせも、更に発展した追加の例示的実施形態として使用することができる。

【0084】

図６は、デジタル蛍光画像を予測するための予測システム６００の或る例示的実施形態を示す。この場合、予測システムは、プログラムコードを記憶するメモリ６０４と、メモリに接続され、プログラムコードを実行するとき予測システム６００に以下のユニット、つまり白色光及び少なくとも１つの光学フィルタを使用する顕微手術光学系によって組織試料の第１のデジタル画像を捕捉するための、カラーチャネル情報の第１の数を有する第１のデジタル画像捕捉ユニット６０６、及び捕捉された第１のデジタル画像のデジタル蛍光表現の形式で第２のデジタル画像を予測するための訓練済み機械学習システム６０８を制御させる１つ又は複数のプロセッサ６０２とを含む。この場合、訓練済み機械学習システムは、入力画像の対応するデジタル蛍光表現を予測するための訓練済み学習モデルを含み、第１の捕捉デジタル画像は訓練済み機械学習システムの入力画像として使用され、少なくとも１つの光学フィルタのパラメータ値は機械学習システムの訓練中に決定されている。

【0085】

更に予測システム６００は、顕微手術光学系によって白色光下で捕捉された組織試料の複数の第１のデジタル訓練画像のための第２の画像捕捉ユニット６１０を明示的に含むこと、又はメモリ６０４内に記憶されたプログラムコードのプロセッサ６０２との相互作用によってそのユニットの機能を果たすことができる。この場合、第１のデジタル訓練画像ごとに、異なるスペクトル範囲のカラーチャネル情報の第２の数が利用可能である。

【0086】

更に、複数の第２のデジタル訓練画像を提供するための提供ユニット６１２が存在してもよく、この第２のデジタル訓練画像はそれぞれの場合においてデジタル訓練画像の第１のセットと同じ組織試料を表し、第２のデジタル訓練画像は組織試料の病変要素の指示を有する。提供ユニット６１２は画像メモリとして実装することができる。

【0087】

更に、複数の第２のデジタル訓練画像の種類のデジタル画像を予測するための訓練済み機械学習モデルを形成するための機械学習システムを訓練するために、訓練システム６１４を更に備えることができる。この場合、機械学習システムの入力値として、カラーチャネル情報の第２の数の形式の複数の第１のデジタル訓練画像、グラウンドトゥルース（又はグラウンドトゥルースデータ）としての複数の第２のデジタル訓練画像、及びカラーチャネル情報の第１の数を形成するための少なくとも１つのデジタル的にシミュレートされた光学フィルタによってカラーチャネル情報の第２の数を低減するためのパラメータ値が使用され、複数の第１のデジタル訓練画像は、デジタル的にシミュレートされた光学フィルタによってカラーチャネル情報の第２の数をカラーチャネル情報の第１の数まで低減した後、複数の第２のデジタル訓練画像の種類のデジタル画像を予測するための訓練データとして使用される。機械学習システムの訓練が終了した後、少なくとも１つの光学フィルタのパラメータ値が機械学習システムの出力値として更に出力される。

【0088】

信号及び／又はデータを交換するために及び協調的な挙動のために、モジュール及び／又はユニット、具体的にはプロセッサ６０２、メモリ６０４、第１のデジタル画像捕捉ユニット６０６、訓練済み機械学習システム６０８、第２の画像捕捉ユニット６１０、提供ユニット６１２、及び訓練システム６１４が電気信号線に又はシステム内部バスシステム６１６を介して接続され得ることを明示的に言及する。

【0089】

図７は、予測システムの少なくとも一部を含み得るコンピュータシステム７００の図を示す。本明細書で提案する概念の実施形態は原則として、プログラムコードを記憶し及び／又は実行するためにその内部で使用されるプラットフォームに関係なく、実質的にあらゆる種類のコンピュータと共に使用することができる。図６は、本明細書で提示した方法によるプログラムコードを実行するのに適したコンピュータシステム７００を例として示す。手術用顕微鏡内に既に存在するコンピュータシステムも、ことによると対応する拡張を伴って本明細書で提示した概念を実装するためのコンピュータシステムとして機能し得る。

【0090】

コンピュータシステム７００は複数の汎用機能を有する。この場合、コンピュータシステムは、タブレットコンピュータ、ラップトップ／ノートブックコンピュータ、別のポータブル又はモバイル電子装置、マイクロプロセッサシステム、マイクロプロセッサベースのシステム、特別に構成された専用機能を有するコンピュータシステム、或いはコンピュータによって制御される顕微鏡システムの構成部分とすることができる。コンピュータシステム７００は、本明細書で提案した概念の機能を実装するために実行可能な、例えばプログラムモジュール等のコンピュータシステムで実行可能な命令を実行するように構成され得る。そのために、プログラムモジュールは、特定のタスク又は特定の抽象データ型を実装するためのルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造等を含み得る。

【0091】

コンピュータシステムのコンポーネントは、１つ又は複数のプロセッサ又は処理ユニット７０２、記憶システム７０４、及び記憶システム７０４を含む様々なシステムコンポーネントをプロセッサ７０２に接続するバスシステム７０６を含み得る。コンピュータシステム７００は、典型的にはコンピュータシステム７００がアクセス可能な複数のアクセス可能な揮発性又は不揮発性記憶媒体を含む。記憶システム７０４は、プロセッサ７０２によって実行されるように、記憶媒体のデータ及び／又は命令（コマンド）を例えばＲＡＭ（ランダムアクセスメモリ）７０８等の揮発性の形式で記憶することができる。これらのデータ及び命令は、本明細書で提示した概念の１つ又は複数の機能及び／又はステップを実現する。記憶システム７０４の更なるコンポーネントは、プログラムモジュール及びデータ（参照符号７１６）並びにワークフローも記憶することができる永続メモリ（ＲＯＭ）７１０及び長期メモリ７１２であり得る。

【0092】

コンピュータシステムは、通信を目的とする幾つかの専用装置（キーボード７１８、マウスポインティング装置（不図示）、画面７２０等）を含む。これらの専用装置は、タッチセンスディスプレイに組み合わせることもできる。別途提供されるＩ／Ｏコントローラ７１４は、外部装置との円滑なデータ交換を保証する。ネットワークアダプタ７２２は、ローカルネットワーク又はグローバルネットワーク（ＬＡＮ、ＷＡＮ、例えばインターネット経由）を介した通信のために利用可能である。ネットワークアダプタは、バスシステム７０６を介してコンピュータシステム７００の他のコンポーネントによってアクセスされ得る。この場合、図面には示していないが他の装置もコンピュータシステム７００に接続できることが理解されよう。

【0093】

加えて、デジタル蛍光画像を予測するための予測システム６００（図６参照）の少なくとも一部をバスシステム７０６に接続することができる。予測システム６００及びコンピュータシステム７００は、任意でメモリ及び／又はプロセッサを共同で使用することができる。

【0094】

本発明の様々な例示的実施形態の説明は理解を向上させる目的で行ったが、本発明の概念をこれらの例示的実施形態に直接限定するものではない。当業者なら更なる修正及び改変を自ら開発するであろう。本明細書で使用した用語は、例示的実施形態の基本原理を最もよく説明し、当業者が容易に理解できるようにするよう選択している。

【0095】

本明細書に示した原理は、システムとして、方法として、それらの組み合わせとして、及び／又はコンピュータプログラム製品として何れも具体化することができる。この場合のコンピュータプログラム製品は、プロセッサ又は制御システムに本発明の様々な態様を実装させるためのコンピュータ可読プログラム命令を含む１つ（又は複数）のコンピュータ可読記憶媒体を含み得る。

【0096】

媒体として、電子、磁気、光学、電磁、若しくは赤外線媒体、又は半導体システム、例えばＳＳＤ（ソリッドステートメモリとしてのソリッドステートデバイス／ドライブ）、ＲＡＭ（ランダムアクセスメモリ）及び／又はＲＯＭ（読み出し専用メモリ）、ＥＥＰＲＯＭ（電気的に消去可能なＲＯＭ）又はそれらの任意の組み合わせが転送媒体として使用される。適切な転送媒体は、伝搬電磁波、導波管又は他の伝送媒体内の電磁波（例えば光ケーブル内の光パルス）、又は電線内で伝送される電気信号も含む。

【0097】

コンピュータ可読記憶媒体は、命令実行装置による使用のために命令を保持し又は記憶する具現化装置とすることができる。本明細書に記載するコンピュータ可読プログラム命令は、例えばケーブルによる接続又はモバイル無線ネットワークを介してサービスプロバイダから（スマートフォンの）アプリとして対応するコンピュータシステム上にダウンロードすることもできる。

【0098】

本明細書に記載した本発明の動作を実行するためのコンピュータ可読プログラム命令は、機械依存命令又は機械非依存命令、マイクロコード、ファームウェア、ステータス定義データ、又は例えばＣ＋＋、Ｊａｖａ等若しくは例えばプログラミング言語「Ｃ」等の従来の手続き型プログラミング言語若しくは同様のプログラミング言語で書かれた任意のソースコード又はオブジェクトコードとすることができる。コンピュータ可読プログラム命令は、コンピュータシステムによって完全に実行することができる。一部の例示的実施形態では、本発明の態様に従って電子回路を構成し又は個別化するためにコンピュータ可読プログラム命令のステータス情報を使用することによってコンピュータ可読プログラム命令を実行する、例えばプログラム可能論理回路、書替え可能ゲートアレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）等の電子回路も存在し得る。

【0099】

本明細書で提示した発明は、本発明の例示的実施形態による方法、機器（システム）、及びコンピュータプログラム製品の流れ図及び／又はブロック図に関して更に示されている。流れ図及び／又はブロック図の実質的に如何なるブロックもコンピュータ可読プログラム命令として具現化され得ることを指摘しておくべきである。

【0100】

コンピュータ可読プログラム命令は、プロセッサ又はコンピュータ又は他のプログラム可能なデータ処理装置によって実行される命令が、流れ図及び／又はブロック図に示す機能又は手順を実装するための手段を生成するような機械を作成するために、汎用コンピュータ、専用コンピュータ、又は別のやり方でプログラム可能なデータ処理システムに提供され得る。これらのコンピュータ可読プログラム命令は、それに対応してコンピュータ可読記憶媒体上に記憶することもできる。

【0101】

この意味で、図示した流れ図又はブロック図の中の任意のブロックは、特定の論理機能を実装するための複数の実行可能命令を表すモジュール、セグメント、又は命令の一部を表すことができる。一部の例示的実施形態では、個々のブロック内で表される機能を異なる順序で、任意で並列にでも実装することができる。

【0102】

添付の特許請求の範囲における関連機能を有する手段及び／又はステップの全てについての図示した構造、材料、シーケンス、及び等価物が、特許請求の範囲によって表現される構造、材料、又はシーケンスの全てを適用することを意図する。

【符号の説明】

【0103】

１００ 方法
１０２ 方法１００のステップ
１０４ 方法１００のステップ
２００ 拡張された方法１００
２０２ 方法２００のステップ
２０４ 方法２００のステップ
２０６ 方法２００のステップ
３００ 訓練段階と予測段階の比較
３０２ 組織
３０４ ハイパースペクトルカメラ、捕捉システム
３０６ カラーチャネル
３１０ 低減した数のカラーチャネル
３１２ 訓練中の機械学習システム
３１４ 同時最適化
３１６ グラウンドトゥルースデータ
３１８ 物理フィルタ
３２０ 画像捕捉ユニット、カメラ
３２２ カラーチャネル
３２４ 学習システム
３２６ 出力画像
４００ 例示的実施形態
４０２ カラーチャネル
４０４ 制約、特性
４０６ カラーチャネル
４０８ フィルタ、制約
４１０ フィルタ、制約
４１２ 低減した数のカラーチャネル
４１４ 学習システム
４１６ グラウンドトゥルースデータ
４１８ 更なる出力パラメータ
５０２ 相互に分離した３つの周波数／波長範囲
５０４ ４つの波長極大値を有する表現
６００ 予測システム
６０２ プロセッサ
６０４ メモリ
６０６ 画像捕捉ユニット
６０８ 学習システム
６１０ 画像捕捉ユニット
６１２ 提供ユニット
６１４ 訓練システム
６１６ バスシステム
７００ コンピュータシステム
７０２ プロセッサ
７０４ 記憶システム
７０６ バスシステム
７０８ ＲＡＭ
７１０ ＲＯＭ
７１２ 長期メモリ
７１４ Ｉ／Ｏコントローラ
７１６ プログラムモジュール及びデータ
７１８ キーボード
７２０ 画面
７２２ ネットワークアダプタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】