▶ シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドの特許一覧
特開2022-107671敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022107671
(43)【公開日】2022-07-22
(54)【発明の名称】敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色
(51)【国際特許分類】
G06T 1/00 20060101AFI20220714BHJP
G06T 7/00 20170101ALI20220714BHJP
G06V 10/82 20220101ALI20220714BHJP
G01N 33/48 20060101ALI20220714BHJP
G01N 33/483 20060101ALI20220714BHJP
G01N 33/49 20060101ALI20220714BHJP
G02B 21/36 20060101ALI20220714BHJP
G02B 21/00 20060101ALN20220714BHJP
【ＦＩ】
G06T1/00 295
G06T1/00 510
G06T7/00 350C
G06V10/82
G06T7/00 630
G01N33/48 M
G01N33/483 C
G01N33/49 A
G02B21/36
G02B21/00
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022083740
(22)【出願日】2022-05-23
(62)【分割の表示】P 2020537129の分割
【原出願日】2018-09-06
(31)【優先権主張番号】62/560,272
(32)【優先日】2017-09-19
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】507269175
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド
【氏名又は名称原語表記】ＳＩＥＭＥＮＳ ＨＥＡＬＴＨＣＡＲＥ ＤＩＡＧＮＯＳＴＩＣＳ ＩＮＣ．
(74)【代理人】
【識別番号】110003317
【氏名又は名称】特許業務法人山口・竹本知的財産事務所
(74)【代理人】
【識別番号】100075166
【弁理士】
【氏名又は名称】山口 巖
(74)【代理人】
【識別番号】100133167
【弁理士】
【氏名又は名称】山本 浩
(74)【代理人】
【識別番号】100169627
【弁理士】
【氏名又は名称】竹本 美奈
(72)【発明者】
【氏名】エル－ゼイリー，ノア ヨウズリー
(72)【発明者】
【氏名】ラパカ，サイキラン
(72)【発明者】
【氏名】ケイメン，アリ
(57)【要約】
【課題】ホログラフィック顕微鏡（ＤＨＭ）装置、訓練装置及び仮想染色装置を含む細胞可視化システム。
【解決手段】ＤＨＭ装置は細胞のＤＨＭ画像を生成し、仮想染色装置は敵対的生成ネットワークと対応していない訓練データを用いて、訓練装置により生成されたアルゴリズムに基づいてＤＨＭ画像を着色する。仮想的に染色されたＤＨＭ画像を生成するコンピュータ実施方法は、敵対的生成ネットワークを用いて訓練された画像変換アルゴリズムの取得、１つ以上の細胞の描出を含むＤＨＭ画像の受信、画像変換アルゴリズムを用いたＤＨＭ画像の処理による仮想的なＤＨＭ画像の染色を含む。仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように１つ以上の細胞のデジタル着色を含む。
【選択図】図４B
【解決手段】ＤＨＭ装置は細胞のＤＨＭ画像を生成し、仮想染色装置は敵対的生成ネットワークと対応していない訓練データを用いて、訓練装置により生成されたアルゴリズムに基づいてＤＨＭ画像を着色する。仮想的に染色されたＤＨＭ画像を生成するコンピュータ実施方法は、敵対的生成ネットワークを用いて訓練された画像変換アルゴリズムの取得、１つ以上の細胞の描出を含むＤＨＭ画像の受信、画像変換アルゴリズムを用いたＤＨＭ画像の処理による仮想的なＤＨＭ画像の染色を含む。仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように１つ以上の細胞のデジタル着色を含む。
【選択図】図４B
【特許請求の範囲】
【請求項1】
仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するための、コンピュータを用いて行われる方法であって、
ＤＨＭ装置を用いて取得された、１つ以上の細胞の描出を含むＤＨＭ画像を受信するステップと、
画像変換アルゴリズムを用いて前記ＤＨＭ画像を処理することによって、前記ＤＨＭ画像を仮想的に染色するステップと、を含み、
前記仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように、１つ以上の細胞をデジタル的に着色することを含む、方法。
ＤＨＭ装置を用いて取得された、１つ以上の細胞の描出を含むＤＨＭ画像を受信するステップと、
画像変換アルゴリズムを用いて前記ＤＨＭ画像を処理することによって、前記ＤＨＭ画像を仮想的に染色するステップと、を含み、
前記仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように、１つ以上の細胞をデジタル的に着色することを含む、方法。
【請求項2】
前記画像変換アルゴリズムは、敵対的生成ネットワークを用いて訓練される、請求項１に記載のコンピュータを用いて行われる方法。
【請求項3】
前記画像変換アルゴリズムは、敵対的損失およびサイクル一貫性損失を用いて訓練される、請求項２に記載のコンピュータを用いて行われる方法。
【請求項4】
前記ＤＨＭ画像を仮想的に染色する際、白血球細胞の着色が、各白血球細胞の種類に基づいて行われることを含む、請求項１に記載のコンピュータを用いて行われる方法。
【請求項5】
前記白血球細胞の着色に基づいて、サンプル内の白血球細胞の種類の比率を定量化することをさらに含む、請求項４に記載のコンピュータを用いて行われる方法。
【請求項6】
１つ以上の細胞がバクテリア細胞を含み、前記バクテリア細胞の着色が、バクテリアの種類に基づいて行われる、請求項１に記載のコンピュータを用いて行われる方法。
【請求項7】
グラフィカル・ユーザ・インターフェースを介して前記仮想的に染色されたＤＨＭ画像を表示することをさらに含む、請求項１に記載のコンピュータを用いて行われる方法。
【請求項8】
仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するための、コンピュータを用いて行われる方法であって、
各白血球細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された白血球細胞の画像を含む第２の訓練データセットとを受け取るステップであって、前記第１の訓練データセットの画像は、前記第２の訓練データセットの画像と対になっていないステップと、
敵対的生成ネットワークを用いる学習プロセスを前記第１の訓練データセットと前記第２の訓練データセットに対して適用して、画像変換アルゴリズムを生成するステップと、
前記画像変換アルゴリズムをＤＨＭ画像に対して適用して、仮想的に染色されたＤＨＭ画像を生成するステップと、
グラフィカル・ユーザ・インターフェースを介して前記仮想的に染色されたＤＨＭ画像を表示するステップと、を含む方法。
各白血球細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された白血球細胞の画像を含む第２の訓練データセットとを受け取るステップであって、前記第１の訓練データセットの画像は、前記第２の訓練データセットの画像と対になっていないステップと、
敵対的生成ネットワークを用いる学習プロセスを前記第１の訓練データセットと前記第２の訓練データセットに対して適用して、画像変換アルゴリズムを生成するステップと、
前記画像変換アルゴリズムをＤＨＭ画像に対して適用して、仮想的に染色されたＤＨＭ画像を生成するステップと、
グラフィカル・ユーザ・インターフェースを介して前記仮想的に染色されたＤＨＭ画像を表示するステップと、を含む方法。
【請求項9】
前記敵対的生成ネットワークは、複数の仮想的に染色されたＤＨＭ画像を生成するように構成された第１の生成ネットワークと、前記複数の仮想的に染色されたＤＨＭ画像と前記第２の訓練データセット内の画像とを識別するように構成された第１の識別ネットワークとを含む、請求項８に記載のコンピュータを用いて行われる方法。
【請求項10】
前記敵対的生成ネットワークは、複数の仮想的なＤＨＭ画像を生成するように構成された第２の生成ネットワークと、前記複数の仮想的なＤＨＭ画像と前記第１の訓練データセット内の画像とを識別するように構成された第２の識別ネットワークとをさらに含む、請求項９に記載のコンピュータを用いて行われる方法。
【請求項11】
前記学習プロセスは、敵対的損失およびサイクル一貫性損失を用いて、前記画像変換アルゴリズムを生成する、請求項８に記載のコンピュータを用いて行われる方法。
【請求項12】
前記グラフィカル・ユーザ・インターフェースは、携帯装置で実行される携帯アプリケーションである、請求項８に記載のコンピュータを用いて行われる方法。
【請求項13】
仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するように構成された細胞可視化システムであって、
１つ以上の細胞のＤＨＭ画像を受け取って、前記ＤＨＭ画像に対して画像変換アルゴリズムを適用して、仮想的に染色されたＤＨＭ画像を生成するように構成された装置を含み、
前記画像変換アルゴリズムは、対になっていないデータセットを用いて生成される、細胞可視化システム。
１つ以上の細胞のＤＨＭ画像を受け取って、前記ＤＨＭ画像に対して画像変換アルゴリズムを適用して、仮想的に染色されたＤＨＭ画像を生成するように構成された装置を含み、
前記画像変換アルゴリズムは、対になっていないデータセットを用いて生成される、細胞可視化システム。
【請求項14】
前記対になっていないデータセットを用いて前記画像変換アルゴリズムを生成するように構成された装置をさらに含み、
前記対になっていないデータセットは、各細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された細胞の画像を含む第２の訓練データセットとを含む、請求項１３に記載の細胞可視化システム。
前記対になっていないデータセットは、各細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された細胞の画像を含む第２の訓練データセットとを含む、請求項１３に記載の細胞可視化システム。
【請求項15】
前記訓練装置が、敵対的生成ネットワークを用いて前記画像変換アルゴリズムを生成するように構成されている、請求項１４に記載の細胞可視化システム。
【請求項16】
前記敵対的生成ネットワークは、
仮想的に染色されたＤＨＭ画像の例を生成するように構成された第１の生成ネットワークと、前記仮想的に染色されたＤＨＭ画像の例と前記第２の訓練データセット中の画像とを識別するように構成された第１の識別ネットワークと、
仮想的なＤＨＭ画像の例を生成するように構成された第２の生成ネットワークと、前記仮想的なＤＨＭ画像の例と前記第１の訓練データセット中の画像とを識別するように構成された第２の識別ネットワークと、
を含む、請求項１５に記載の細胞可視化システム。
仮想的に染色されたＤＨＭ画像の例を生成するように構成された第１の生成ネットワークと、前記仮想的に染色されたＤＨＭ画像の例と前記第２の訓練データセット中の画像とを識別するように構成された第１の識別ネットワークと、
仮想的なＤＨＭ画像の例を生成するように構成された第２の生成ネットワークと、前記仮想的なＤＨＭ画像の例と前記第１の訓練データセット中の画像とを識別するように構成された第２の識別ネットワークと、
を含む、請求項１５に記載の細胞可視化システム。
【請求項17】
前記訓練装置に対して前記第１の訓練データセットを提供するように構成されたＤＨＭ装置をさらに備える、請求項１４に記載の細胞可視化システム。
【請求項18】
前記ＤＨＭ装置が、１つ以上の細胞のＤＨＭ画像を仮想染色装置に対して提供するようにさらに構成されている、請求項１７に記載の細胞可視化システム。
【請求項19】
前記１つ以上の細胞は、白血球細胞である、請求項１３に記載の細胞可視化システム。
【請求項20】
前記仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように、１つ以上の細胞をデジタル的に着色することを含む、請求項１３に記載の細胞可視化システム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本出願は、２０１７年９月１９日に出願された米国仮出願第６２／５６０，２７２号に基づく優先権を主張するものであり、上記仮特許出願の開示を参照により本明細書に援用する。
本出願は、２０１７年９月１９日に出願された米国仮出願第６２／５６０，２７２号に基づく優先権を主張するものであり、上記仮特許出願の開示を参照により本明細書に援用する。
【0002】
本発明は、概して、細胞の仮想（ヴァーチャル）染色に関する。より詳細には、本発明は、サイクル一貫性（ｃｙｃｌｅ ｃｏｎｓｉｓｔｅｎｃｙ）を有する敵対的生成ネットワーク（ＧＡＮ：ｇｅｎｅｒａｌ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）を用いたホログラフィック顕微鏡画像中の細胞の仮想染色に関するものである。
【背景技術】
【0003】
干渉位相顕微鏡としても知られる（デジタル）ホログラフィック顕微鏡（ＤＨＭ：ｄｉｇｉｔａｌ ｈｏｌｏｇｒａｐｈｉｃ ｍｉｃｒｏｓｃｏｐｙ）は、透明な検体のナノメートル以下の光学的厚さ変化を定量的に追跡する能力を有する画像化（イメージング）技術である。検体に関する強度（振幅）情報のみを取得する従来のデジタル顕微鏡とは異なり、ＤＨＭは、位相と強度の両方を取得する。ホログラムとして取得された位相情報は、コンピュータアルゴリズムを用いて検体に関する拡張された形態情報（深さや表面特性など）を再構成するために使用できる。現代のＤＨＭ実装は、高速走査／データ収集速度、低ノイズ、高解像度および無標識（ラベル・フリー）サンプル収集などの幾つかの更なる長所を提供できる。
【0004】
軸外（オフ・アクシス）ＤＨＭシステムは、オブジェクト（物体）と基準ビームとの間の小さな角度によって、全視野にわたって変調正弦縞（フリンジ）パターンが存在するホログラムを作成する。換言すると、センサ表面に衝突する平面波は、センサの位置で破壊的かつ建設的に干渉することにより、正弦パターンを形成する。さらに、図１に示すように、光学的フーリエ平面（またはフーリエ平面への共役面）の位置にあるピンホールを用いて、オブジェクト・ビーム１０から基準ビーム２０を生成し、それによって物体空間シグネチャを消去し、均一な平面波を提供して、干渉またはホログラム画像を作成するが、それらは、保存されたり、ユーザに表示されてもよい。
【0005】
ＤＨＭは、血液サンプル内の複数の細胞を画像化するために、血液学的に用いられる。ビームが撮像される細胞を通過すると、細胞特性に基づいて屈折する。これらの屈折変動は、核内の光学的厚さの変化として、ＤＨＭを通して捉えることができる。白血球細胞（ＷＢＣ：ｗｈｉｔｅ ｂｌｏｏｄ ｃｅｌｌ）では、即ち、好塩基球、好酸球、リンパ球、単球、好中球では、核と膜が異なった性質を有しており、細胞の種類に基づいて細胞構成成分の構造が異なる。このように、ＤＨＭ画像（イメージ）の出現は、細胞種類によって変化する。
【0006】
したがって、ＤＨＭ画像は、血液サンプル中の異なる種類のＷＢＣを区別するために使用できる。ＷＢＣの細胞種類の区別と計数（カウント）は、全血球計算（ＣＢＣ：Ｃｏｍｐｌｅｔｅ Ｂｌｏｏｄ Ｃｏｕｎｔ）の重要な一面である。なぜなら、幾つかの理由の中でもとりわけ、複数の細胞種類の所定の比率における不均衡は、様々な自己免疫疾患を示すことができるので、様々な患者診断が可能になるからである。したがって、臨床医は、患者診断中に血液サンプルの取得されたＤＨＭ画像を使用することがある。
【0007】
従来、自動計数および分析用のレーザー光のフローサイトメーターなどの自動化機械に対して血液サンプルを提供することによって、様々なＷＢＣ種類の計数を得ることがある。自動化された結果を確認または補うため、または自動化機械がない場合には、臨床医によって、赤血球についても顕微鏡を用いて手動で検査されて、様々な種類のＷＢＣが計数されて観察（レビュー）されることがある。様々なＷＢＣ種類を視覚的に区別するため、検査前に末梢血塗抹などで血液サンプルを色素で染色することがある。血液フィルムは、スライドグラスの一端に血液を滴下し、スプレッダーを用いてスライドグラスの長さにわたって血液サンプルを単層中に分散させることで作られる。例えば図２に示されるように、様々な種類のＷＢＣの核の各々は、異なるように染色を吸収するため、臨床医が血液塗抹サンプル中の様々なＷＢＣを計数して、検査することが可能になる。
【0008】
手動による血液染色プロセスには、時間と労力がかかる。各サンプルは血液塗抹標本のプロセスを経る必要があり、臨床医は顕微鏡を用いてサンプルを観察して、様々な細胞の種類を探して、計数しなければならない。このプロセスは非効率的である。ＤＨＭ画像は、従来の顕微鏡検査に代わるものであり、血液サンプルを検査して、サンプル中の様々な種類の白血球を計測するために使用することができる。しかしながら、ＤＨＭ画像は、図３の例のＤＨＭ画像に示されているように、臨床医によって各細胞の種類が容易に識別されて、分類されるためには、十分な詳細または解像度を有していないことがある。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本開示は、ＤＨＭ画像から仮想的に染色画像を生成する細胞可視化システムを提供することなどによって、手動染色処理を行う必要性をなくすか、補うことによって、従来技術に関する上記問題および他の問題を克服することを目的とする。さらに、本開示は、仮想的に染色された細胞の各々を識別して、提示する仕方を決定する際に、自動化システムを訓練することが困難であったＤＨＭ画像化（イメージング）の問題を克服することを目的とする。特に、各プロセスの性質上、同一細胞に対して染色画像と対応するＤＨＭ画像を得ることは不可能であるため、仮想染色は単に実際の染色の再現とはならない。本開示は、さらに、細胞可視化システムを訓練することに関するこの問題を克服することを目的とする。
【課題を解決するための手段】
【0010】
本開示の実施形態の一態様では、仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するための、コンピュータを用いて実施される方法に関する。この方法は、敵対的生成ネットワーク（ＧＡＮ）用いて訓練された画像変換アルゴリズムを取得することと、ＤＨＭ装置を用いて取得された１つ以上の細胞の描出を含むＤＨＭ画像を受け取ることとを含む。この方法はさらに、画像変換アルゴリズムを用いてＤＨＭ画像を処理することによって、ＤＨＭ画像を仮想的に染色することを含む。仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するために、１つ以上の細胞のデジタル（電子）的な着色を含む。
【0011】
本開示の実施形態の別の態様では、仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するための、別のコンピュータを用いて実施される方法に関する。この方法は、個々の白血球細胞のＤＨＭ画像を含む第１のトレーニングデータセットと、実際に染色された白血球細胞の画像を含む第２のトレーニングデータセットとを受け取ることを含み、ここで、第１のトレーニングデータセット中の画像は、第２のトレーニングデータセット中の画像とは対（ペア）になっていない。また、この方法は、第１のトレーニングデータセットおよび第２のトレーニングデータセットに対して、敵対的生成ネットワークを使用する学習プロセスを適用して、画像変換アルゴリズムを生成することを含む。この方法はさらに、ＤＨＭ画像を受信することと、ＤＨＭ画像に対して画像変換アルゴリズムを適用して仮想的に染色されたＤＨＭ画像を生成することと、グラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を介して仮想的に染色されたＤＨＭ画像を表示することとを含む。
【0012】
本開示の実施形態のさらに別の態様では、仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するように構成された細胞可視化システムに関する。細胞可視化システムは、１つ以上の細胞のＤＨＭ画像を受け取って、ＤＨＭ画像に対して画像変換アルゴリズムを適用して、仮想的に染色されたＤＨＭ画像を生成するように構成された仮想染色装置を含み、ここで、画像変換アルゴリズムは、対になっていないデータセットを用いて生成される。
【0013】
本発明の更なる特徴及び利点は、添付図面を参照して説明される、以下の好適な実施形態の詳細な説明から明らかになる。
【0014】
本発明の上記態様及び他の態様は、添付図面を参照して、以下の詳細な説明から最もよく理解される。好適な実施形態は、本発明を例示するために図示されているが、本発明は開示されている特定の装置（デバイス、機器など）に限定されないことを理解されたい。図面には以下の図が含まれている。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
本開示には、ＤＨＭ画像の仮想的（ヴァーチャル）な染色を用いて、細胞可視化を実行する装置、システム、および関連する方法の実施形態が記載されている。いくつかの実施形態において、細胞可視化システムは、血液サンプルを受け取ることと、白血球細胞を含むサンプル中の細胞のＤＨＭ画像を生成することとを含むように構成される。細胞可視化システムは、各白血球細胞の種類を識別して、関連するＤＨＭ画像を修正することによって、各白血球細胞を色分けするが、手動の染色および顕微鏡を用いて細胞がどのように見えるのかを模倣するように構成できる。
【0017】
開示された実施形態では、細胞可視化システムは、対になっていないデータサンプルを用いる深層学習（ディープ・ラーニング）アルゴリズムを用いて、白血球細胞を分類するように訓練できる。例えば、サイクル一貫性を有する敵対的生成ネットワークを用いて、細胞可視化システムを訓練して、ＤＨＭ画像中の様々な種類の白血球細胞を識別する仕方と、白血球細胞があたかも同等の手動プロセスで染色されたかのように見えるように、画像を色分けする仕方とを学習できる。
【0018】
図４Ａは、開示された実施形態に係る細胞可視化システム１００の模式図である。細胞可視化システム１００は、ＤＨＭ装置１１０、訓練（トレーニング）装置１２０、および仮想染色（仮想的に染色する）装置１３０を含む。細胞可視化システム１００は、従来の顕微鏡（例えば、図２の画像）を用いて手動で染色されて観察される細胞の外観を模倣するように、仮想的に染色されたＤＨＭ画像を生成するように構成されている。図４Ｂは、仮想的に染色されたＤＨＭ画像を生成するために、細胞可視化システム１００に渡されるデータの例示的な流れをさらに示している。
【0019】
ＤＨＭ装置１１０、訓練装置１２０、および仮想染色装置１３０の各々は、別体であってもよいし、複合装置内に選択的に組み合わされていてもよい。ＤＨＭ装置１１０は、受け取った血液サンプルに基づいてＤＨＭ画像を生成するように構成されたＤＨＭ構成要素を含むが、これは当技術分野で公知である。訓練装置１２０は、ＤＨＭ画像および訓練データを受信して、訓練処理を実行して、訓練された画像変換処理を行うように構成されている。仮想染色装置１３０は、ＤＨＭ装置１１０から受信したＤＨＭ画像を仮想的に染色された画像に変換するために、訓練された画像変換処理を受け取って、実行するように構成されている。仮想染色装置１３０は、ユーザ（例えば、臨床医）が観察（レビュー）できるように、仮想的に染色された画像を表示するようにさらに構成することができる。
【0020】
図４Ｂは、細胞可視化システム１００における例示的なプロセスフローの模式図である。ＤＨＭ装置１１０は、図３に示すような細胞のＤＨＭ画像を生成するように構成されている。例えば、ＤＨＭ装置１１０は、血液サンプルを受け取って、サンプルが流れている間に軸外ＤＨＭを用いて周期的データを取得できる。取得されたデータは、赤血球細胞および白血球細胞を含む多くの細胞を包むＤＨＭ画像に変換され得る。多くの細胞を含むこれらの取得画像は、一般に生のＤＨＭ画像と呼ばれている。いくつかの実施形態では、ＤＨＭ装置１１０は、この生データを１つ以上の細胞の別々の画像に分離するために、生のＤＨＭ画像を前処理するように構成されている。例えば、ＤＨＭ装置１１０は、生のＤＨＭ画像内の明るいスポットを探し出して、スポットのどの部分が細胞であるのかを識別するために、明るいスポットのどの部分が、大きさまたは他の分類項目の閾値を超えているかを識別する分析を実行できる。分類された細胞の各々は、別々のＤＨＭ画像に変換されてもよく、その結果、図３に示したような別々の細胞画像が得られてもよい。
【0021】
訓練装置１２０は、１つ以上のＩ／Ｏ装置（ＤＨＭ装置に接続されたＩ／Ｏ装置を含む）を介して、画像（イメージ）データを受け取るように構成されている。また、訓練装置１２０は、Ｉ／Ｏ装置を介してＤＨＭ画像（すなわち、染色されたサンプルの画像）ではない、他の画像の形態で訓練（トレーニング）データを受け取るように構成されている。訓練データは、図２に示したような実際に染色された細胞の画像を取得するように構成された装置などの様々な画像化（イメージング）装置によって提供され得る。訓練データはまた、訓練中に使用される画像に関する識別情報を含むことができる。例えば、各画像は、画像中の細胞または細胞の種類（例えば、好塩基球、好酸球、リンパ球、単球、または好中球）を識別する情報を含み得る。
【0022】
仮想染色装置１３０は、訓練（トレーニング）装置１２０と通信して、訓練装置１２０から訓練プロセスを受け取るように構成されている。例示的な実施形態では、訓練プロセスは、敵対的生成ネットワークを用いてＤＨＭ画像を仮想的に染色されたＤＨＭ画像に変換する、訓練装置１２０によって生成されるアルゴリズムである。この変換について、本明細書では、ＤＨＭ画像を「仮想的に染色する」と参照しているが、少なくともいくつかの実施形態では、対応する手動で染色された細胞の外観を模倣するように、１つまたは複数の細胞をデジタル（電子）的に着色することを含んでいる。仮想染色装置１３０は、関連するプロセスを実行するように構成されていて、仮想的に染色されたＤＨＭ画像を生成して、臨床医に対して観察可能なように表示する。仮想染色装置１３０は、仮想的に染色されたＤＨＭ画像に関するデータを生成および保存して、画像フィルタリング（フィルタ化）、細胞の計数（カウント）、細胞分析などのさらなるプロセスで分析および／または使用可能なようにさらに構成されていてもよい。
【0023】
訓練装置１２０は、敵対的生成ネットワークを用いて、仮想染色装置１３０を訓練して、ＤＨＭ画像を、仮想的に染色されたＤＨＭ画像に変換するように構成されている。例示的な実施形態では、訓練装置１２０は、訓練アルゴリズムとして、敵対的生成ネットワークを用いる。一般に、敵対的生成ネットワークは、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）の範畴に属する、人工知能アルゴリズムの一種である。最も単純な形式では、敵対的生成ネットワークは、２つのニューラルネットワークの組合せである。そのうち１方のネットワークは、訓練データセット（例えば、物理的に染色されたサンプルの画像）から例（例えば、仮想的に染色された画像）を生成する仕方を学習し、もう１方のネットワークは、生成された例と訓練データセットとを区別するように試みる。それら２つについて識別ネットワークが一貫して区別できないように、実際のデータと収束する例が生成ネットワークによって生成されるとき、訓練プロセスは成功する。
【0024】
敵対的生成ネットワークでは、訓練の例は、２つのデータセットＸとＹから構成される。データセットは対（ペア）になっていない。つまり、ＸとＹには、訓練画像の１対１の対応がないことを意味する。生成ネットワークは、Ｘデータセット中の任意の画像ｘに対して、画像ｙ’を生成する仕方を学習する。より具体的には、生成ネットワークは、画像ｙ’（ｙ’＝Ｇ（ｘ））を生成する写像（マッピング）Ｇ「Ｘ→Ｙ」を学習する。ｙとｙ’とを識別するように訓練された識別ネットワークによって、ｙとｙ’とが識別できないように、生成ネットワークは、写像Ｇ「Ｘ→Ｙ」を訓練する。換言すれば、識別ネットワークが、生成ネットワーク（ｙ’）によって生成される例と、実際の例（ｙ）として供給される例とを、信頼できるように分類できなくなるまで、生成ネットワークは例を生成し続ける。
【0025】
写像Ｇ「Ｘ→Ｙ」の成功には、多くの様々な画像の特徴が関与し得る。そのため、目的に合う画像ｙ’を生成することなく、識別ネットワークを騙すことに写像が成功することが起こり得る。例えば、生成ネットワークは、観察者にとって重要な態様や特性においては類似していなくても、ｙ中の画像に類似した例ｙ’を生成することが起こり得る。
【0026】
この問題に対処するため、訓練装置１２０は、訓練プロセス中のサイクルの一貫性を確保するのに役立つように、さらなる制約を用いるように構成できる。サイクルの一貫性とは、写像Ｇ「Ｘ→Ｙ」によって生成される例ｙ’が、逆写像（インバース・マッピング）Ｆ「Ｙ→Ｘ」によってｘに戻されるように写像できる制約をいう。換言すれば、例ｘがＧを用いてｙ’に写像される場合、逆写像Ｆは、ｙ’を元のｘと同一の画像ｘ’に変換できる。より具体的には、ｘとｘ’とを識別するように構成された識別ネットワークによって、ｘとは識別することができない画像ｘ’（ｘ’＝Ｆ（ｙ））を生成するように、訓練装置１２０は、逆写像Ｆ「Ｙ→Ｘ」を学習する。
【0027】
識別ネットワークによって識別不可能な画像を生成するように各写像Ｆ、Ｇを訓練するため、訓練装置１２０は、以下の数式に従って、各写像に敵対的損失（ａｄｖｅｒｓａｒｉａｌ ｌｏｓｓ）を適用する。
【0028】
【数1】
【0029】
これら数式では、Ｇは、領域Ｙ中の画像に類似した画像Ｇ（ｘ）を生成する写像である。Ｄｙは、生成された例Ｇ（ｘ）と領域Ｙ中の実際の例ｙとを識別することを目的とした識別装置（ディスクリミネータ）である。Ｆは、領域Ｘ中の画像に類似した画像Ｆ（ｙ）を生成する逆写像である。Ｄｘは、生成された例Ｆ（ｙ）と領域Ｘ中の実際の例ｘとを区別することを目的とした識別装置である。
【0030】
これら敵対的損失に加えて、訓練装置１２０は、各写像Ｇ、Ｆに対してサイクル一貫性損失を用いるように構成されている。サイクル一貫性損失は、生成された画像が、元の画像を再現するために逆写像に入力できるという意味で、サイクルが一貫している範囲内で、許容可能に成功する写像を維持することを目的とする。サイクル一貫性損失は、以下の数式を用いて表すことができる。
【0031】
【数2】
【0032】
敵対的損失とサイクル一貫性損失とを１つに統合すると、次の数式で全目的を表すことができる。ここで、λは、サイクル一貫性損失の相対的寄与を制御する。
【0033】
【数3】
【0034】
次の数式を解くために、全損失を用いることができ、その結果、あるデータセットから別のデータセットまで画像を変換するアルゴリズムＧ＊およびＦ＊が生じる。
【0035】
【数4】
【0036】
開示された実施形態に合わせて、訓練装置１２０は、ＤＨＭ画像を仮想的に染色されたＤＨＭ画像に変換するアルゴリズムを生成するために、サイクル一貫性を有する敵対的生成ネットワークを用いるように構成されている。Ｘデータセットは白血球細胞のＤＨＭ画像を含み、Ｙデータセットは染色された白血球細胞の画像を含む。写像Ｆ「Ｘ→Ｙ」は、画像をＸ領域からＹ領域中の画像へ変換することを表し、写像Ｇ「Ｙ→Ｘ」は、画像をＹ領域からＸ領域中の画像へ変換することを表す。
【0037】
細胞可視化システム１００では、ＤＨＭ装置１１０は、ＤＨＭ画像を生成して、画像を訓練装置１２０に提供するように構成されている。いくつかの実施形態では、ＤＨＭ画像は、１つ以上の白血球細胞の取り出された画像を含むことができる。ＤＨＭ画像は、訓練データのＸ領域画像を形成する。図３に示す画像は、これらのＤＨＭ画像の例である。訓練装置１２０はまた、染色された白血球細胞を含む画像を受け取る。これらの染色された白血球細胞の画像は、訓練データのＹ領域画像を形成する。図２に示す画像は、これら染色された細胞画像の例である。好ましくは、これら双方の画像の組は、選択された画像の大きさに合わせて取り出されて、大きさが決定される。
【0038】
訓練装置１２０は、これらのＸおよびＹ領域の画像を、本明細書に記載のサイクル一貫性プロセスを有する敵対的生成ネットワークへの入力として使用する。その結果、訓練装置は、アルゴリズムＦ＊およびＧ＊を生成し、この際、Ｆ＊は、ＤＨＭ画像を仮想的に染色されたＤＨＭ画像に変換し、そしてＧ＊は、染色された細胞画像を仮想的なＤＨＭ画像（ＤＨＭ画像に現れるように染色されていない細胞の画像）に変換する。Ｆ＊アルゴリズムは、仮想染色装置１３０に送信されるか、または提供される。仮想染色装置１３０は、ＤＨＭ画像を仮想的に染色されたＤＨＭ画像に変換するために、Ｆ＊アルゴリズムを用いて仮想染色プロセスを実行するように構成されている。
【0039】
仮想的に染色されたＤＨＭ画像は、個々の細胞の画像または複数の細胞の画像（例えば、手動の染色プロセス中に顕微鏡を用いて観察可能なもの）を含むことができる。複数の細胞の仮想的に染色された画像を生成するために、ＤＨＭ装置１１０および／または仮想染色装置１３０は、より大きな細胞のＤＨＭ画像を個々の細胞に分割化（セグメント化）して、個々の細胞の仮想染色後に分割化画像を再結合するように構成されていてもよい。
【0040】
図５Ａ、５Ｂ、および５Ｃは、染色された細胞画像の例を示しており、図５Ｄ、５Ｅ、および５Ｆは、それぞれ対応する仮想的に染色されたＤＨＭ画像の例を示している。図５Ａは、手動で染色されたリンパ球の例を示し、図５Ｄは、仮想的に染色されたリンパ球の例を示している。図５Ｂは、手動で染色された好酸球の例を示し、図５Ｅは、仮想的に染色された好酸球の例を示している。図５Ｃは、手動で染色された好中球の一例を示し、図５Ｆは、仮想的に染色された好中球の一例を示している。各染色部分の周囲の境界線が画像に追加され、類似性が強調されている。図５Ａ～５Ｃの染色細胞は、図５Ｄ～５Ｆの同じ細胞と一致（対応）していないことを理解されたい。図５Ａ～５Ｆは、仮想的に染色されたＤＨＭ画像と手動で染色された細胞との類似性を示すように、視覚的な比較を示している。
【0041】
使用時には、細胞可視化システム１００は、臨床医が観察（レビュー）できるように、血液サンプルを仮想的に染色されたＤＨＭ画像に変換するように構成されている。このようにして、ＤＨＭ画像は、手動で染色した細胞を観察する仕方と同様の仕方で、臨床医によって観察することができる。しかしながら、仮想染色プロセスに要する時間と労力ははるかに少なくて済み、臨床医による観察のために染色細胞を得る方法をより効率的に提供する。
【0042】
いくつかの実施形態において、細胞可視化システム１００（例えば、仮想染色装置１３０）は、仮想的に染色されたＤＨＭ画像を観察して、細胞種類（例えば、好塩基球、好酸球、リンパ球、単球または好中球）を分類するように構成された細胞分類装置を含むことができる。細胞分類装置は、仮想的に染色されたＤＨＭ画像中の仮想染色の表示に基づいて細胞種類を決定するように訓練されていてもよい。細胞種類は、仮想的に染色されたＤＨＭ画像と共にデータとして保存することができる。細胞可視化システム１００は、細胞計数（カウント）及び比率（割合）などの有用な情報を生成するために、識別データを用いることができる。さらに、細胞可視化システム１００は、識別データを用いて、優先順位付けされて、臨床医に対して観察用に提示して、異常（なもの）を識別できるようにしてもよい。さらに、細胞可視化システム１００は、識別データを用いて、仮想的に染色されたＤＨＭ画像をフィルタして、臨床医が所定の画像を選択的に観察できるようにしてもよい。
【0043】
細胞可視化システム１００によって生成された仮想的に染色された画像データは、様々な有利な仕方で使用できる。例えば、仮想染色は、画像を観察または取得するために顕微鏡を必要としないので、仮想的に染色されたＤＨＭ画像は、任意のフォーマットおよび任意の場所で、臨床医に対して簡便に提供することができる。例えば、仮想的に染色されたＤＨＭ画像は、ある場所で生成されると、世界中の任意の場所で臨床医に対して提供され得る。臨床医は、画像を見るために顕微鏡を使用しなくてもよく、代わりに、パーソナルコンピュータまたはモバイルデバイス（携帯装置）を含む任意の装置（プラットフォーム）で画像を観察することができる。例えば、仮想染色プロセスの出力をクラウドベースのシステムに対してアップロードしてもよく、その画像は、臨床医によって、検査室に拘束されることなく、モバイル（携帯）アプリケーションを用いた任意の場所および任意の時間で、速やかに観察することができる。
【0044】
仮想染色はまた、他の用途のためにデータを作成することが容易なため、有益である。手動染色と、これらの細胞の画像の取得に要する時間と労力が大きいため、染色された細胞画像の大きなデータセットを得ることは困難である。ＤＨＭ画像の仮想的な染色の場合、染色された細胞画像をより短時間で、はるかに大きなスケールで生成できるので、この問題に対処することができる。より大きなデータセットが利用可能となることで、他のプロセスでも有益となる。
【0045】
例えば、仮想的に染色されたＤＨＭ画像は、様々な種類の白血球細胞の分類を改善するために使用することができる。染色された白血球細胞の画像を分類するために、深層学習アルゴリズムが使用される。深層学習法は、より多くのデータが用いられる場合、より良い分類結果を提供できることが知られている。仮想染色は、染色された細胞画像を生成するために使用できるが、それは、訓練データセットを増大させて、分類アルゴリズムを訓練するためにより大きなデータセットを提供するために使用できる。
【0046】
同様に、染色された細胞画像を生成するのに要する速さは、多くの領域で有益である。例えば、仮想染色は、マラリアなどの疾患を検出するためのより効率的なパイプラインを形成できる。この例では、医師がマラリアを疑い、１回の検査で陰性となった場合には、患者は、２日間にわたって８時間毎に、血液塗抹検査（厚層塗抹と薄層塗抹）を繰り返す必要がある。このプロセスは手動染色プロセスの場合には時間と労力を要する。この代わりに、ＤＨＭ画像の仮想染色が用いられる場合には、マラリア原虫を識別するために、より効率的なパイプラインを活用できる。
【0047】
さらに、本開示内容は、ここで開示された実施形態に限定されないことを理解されたい。例えば、他の実施形態では、白血球細胞とは異なるものの仮想的に染色されたＤＨＭ画像を生成するために実施されてもよい。例えば、視覚化システムは、手動染色に基づいて関連する他の画像データセットに従って訓練できる類似の訓練装置を含むことができる。例えば、データセットは、様々な種類のバクテリアを識別するように染色されたバクテリア細胞を含むことができ、それによって可視化システムが、臨床医に対して観察用に仮想的に染色されたバクテリア画像を生成できるようにしてもよい。
【0048】
図６は、本発明の実施形態を実装できる例示的なコンピューティング環境（演算システム）６００を示している。例えば、このコンピューティング環境６００は、ＤＨＭ装置１１０による画像取得プロセス、訓練装置１２０によって実施される訓練プロセス、または仮想染色装置１３０によって実施される画像変換プロセスを実行するように、１つ以上の構成要素を実行させるように構成できる。コンピューティング環境６００は、コンピュータシステム６１０を含むが、これは本発明の実施形態を実装できるコンピューティングシステムの１例である。コンピュータシステム６１０及びコンピューティング環境６００などのコンピュータ（計算機）及びコンピューティング環境は、当業者には既知であるため、ここでは簡潔に記載する。
【0049】
図６に示されているように、コンピュータシステム６１０は、コンピュータシステム６１０内で情報を通信するために、バス６２１又は他の通信機構等の通信機構を備えることができる。コンピュータシステム６１０はさらに、情報を処理するため、バス６２１と連結された１つ以上の処理装置（プロセッサ）６２０を含む。プロセッサ６２０は、１つ以上の中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、又は当該技術分野において既知の任意の他のプロセッサを含むことができる。
【0050】
コンピュータシステム６１０は、システムメモリ（記憶装置）６３０を備えるが、これは、バス６２１に連結されて、情報及びプロセッサ６２０によって実行される命令（指示）を記憶できる。システムメモリ６３０は、リードオンリーメモリ（ＲＯＭ）６３１および／またはランダムアクセスメモリ（ＲＡＭ）６３２などの、揮発性および／または不揮発性メモリの形態のコンピュータ可読記憶メディア（媒体）を含むことができる。システムメモリのＲＡＭ６３２は、他のダイナミック記憶デバイス（複数の場合もある）（例えば、ダイナミックＲＡＭ、スタティックＲＡＭ、及びシンクロナスＤＲＡＭ）を含むことができる。システムメモリＲＯＭ６３１は、他のスタティック記憶デバイス（複数の場合もある）（例えば、プログラマブルＲＯＭ、消去可能ＰＲＯＭ、及び電気的消去可能ＰＲＯＭ）を含むことができる。加えて、システムメモリ６３０は、プロセッサ６２０による命令の実行中の一時変数又は他の中間情報を記憶することができる。基本的な入出力システム（ＢＩＯＳ）６３３は、コンピュータシステム６１０内の構成要素間で情報を転送するのに役立つ基本的なルーチンを含むが、例えば、起動中に、ＲＯＭ６３１に保存されてもよい。ＲＡＭ６３２は、プロセッサ６２０によって即座にアクセス可能及び／又は現在動作中のデータ、及び／又はプログラムモジュールを含むことができる。システムメモリ６３０は、例えば、オペレーティングシステム（ＯＳ）６３４、アプリケーションプログラム６３５、他のプログラムモジュール６３６、及びプログラムデータ６３７を更に備えることができる。
【0051】
コンピュータシステム６１０は、ハードディスク６４１及び取り外し可能（リムーバブル）メディアドライブ６４２（例えば、フロッピーディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び／又はソリッドステートドライブ）等の、情報及び命令を記憶する１つ以上の記憶デバイスを制御するために、バス６２１に連結されるディスク制御装置６４０を備える。適切なデバイスインターフェース（例えば、スモール・コンピュータ・システム・インターフェース（ＳＣＳＩ）、集積デバイス・エレクトロニクス（ＩＤＥ）、ユニバーサル・シリアル・バス（ＵＳＢ）、又はファイヤーワイヤー）を用いて、記憶デバイスをコンピュータシステム６１０に追加することができる。
【0052】
コンピュータシステム６１０はまた、コンピュータのユーザに対して情報を表示するための、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などのディスプレイ（表示装置）６６６を制御するために、バス６２１に接続されたディスプレイ制御装置（コントローラ）６６５を備えることができる。コンピュータシステムは、入力インターフェース６６０と、コンピュータのユーザと相互作用して、プロセッサ６２０に情報を提供するための、キーボード６６２およびポインティング・デバイス（指示装置）６６１などの１つまたは複数の入力装置を備える。ポインティング・デバイス６６１は、例えば、プロセッサ６２０に対して方向情報及びコマンド（命令）選択を伝達して、ディスプレイ６６６上のカーソルの移動を制御することを行うマウス、トラックボール、又はポインティング・スティックなどでもよい。ディスプレイ６６６は、ポインティング・デバイス６６１による方向情報及びコマンド選択の伝達を補う又はそれに取って代わる入力を与えるための、タッチスクリーン・インターフェースを提供してもよい。
【0053】
システムメモリ６３０等のメモリ内に含まれる１つ以上の命令の１つ以上のシーケンスをプロセッサ６２０が実行するのに応じて、コンピュータシステム６１０は、本発明の実施形態の処理ステップの一部又は全部を実行することができる。そのような命令は、ハードディスク６４１又はリムーバブル・メディアドライブ６４２等の別のコンピュータ読み取り可能な媒体から、システムメモリ６３０内に読み込むことができる。ハードディスク６４１は、本発明の実施形態によって用いられる１つ以上のデータストア及びデータファイルを含むことができる。データストアのコンテンツ（内容）及びデータファイルは、安全性向上のために暗号化することができる。プロセッサ６２０は、システムメモリ６３０に含まれる命令の１つ以上のシーケンスを実行するために、多重処理（マルチプロセス）構成で使用されてもよい。代替的な実施形態では、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて、ハードワイヤード（有線）回路を用いてもよい。したがって、本発明に係る実施形態は、ハードウェア回路及びソフトウェアの任意の特定の組合せに限定されない。
【0054】
上述のように、コンピュータシステム６１０は、本発明の実施形態に従ってプログラムされた命令を保持して、データ構造、表（テーブル）、記録（レコード）、または本明細書に記載されている他のデータを含む、少なくとも１つのコンピュータ読み取り可能な媒体またはメモリを含むことができる。本明細書で用いられる「コンピュータ読み取り可能な媒体」という用語は、プロセッサ６２０に対して命令を与えて、実行させることに関与する任意の媒体（メディア）を指す。コンピュータ読み取り可能な媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態を有し得るが、これらに限定されない。不揮発性媒体の非限定的な例として、ハードディスク６４１又はリムーバブル・メディアドライブ６４２等の、光ディスク、ソリッドステートドライブ、磁気ディスク、及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例として、システムメモリ６３０等のダイナミックメモリが挙げられる。伝送媒体の非限定的な例として、バス６２１を構築する配線（ワイヤ）を含む、同軸ケーブル、銅線、及び光ファイバーが挙げられる。伝送媒体は、電波データ通信中及び赤外線データ通信中に生じるような音波又は光波の形態をとることもできる。
【0055】
コンピューティング環境６００は、さらに、遠隔（リモート）コンピュータ６８０などの１つ以上の遠隔コンピュータと論理的に接続されたネットワーク環境で動作するコンピュータシステム６１０を含むことができる。遠隔コンピュータ６８０は、（ラップトップ型またはデスクトップ型）パーソナルコンピュータ（ＰＣ）、モバイルデバイス（携帯装置）、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の一般的なネットワークノードでもよく、典型的には、コンピュータシステム６１０に関して上述した構成要素の多くまたは全てを含む。ネットワーク環境内で用いられる場合、コンピュータシステム６１０は、インターネット等のネットワーク６７１を介した通信を確立するためのモデム６７２を備えることができる。モデム６７２は、ユーザネットワーク・インターフェース６７０を介して、または別の適切なメカニズムを介して、バス６２１に接続されてもよい。
【0056】
ネットワーク６７１は、当技術分野で一般的に知られている任意のネットワークまたはシステムでもよく、例えば、インターネット、イントラネット、ローカルエリア（機関内）ネットワーク（ＬＡＮ）、ワイドエリア（広域）ネットワーク（ＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、直接接続または一連の接続、携帯電話ネットワーク、またはコンピュータシステム６１０と他のコンピュータ（例えば、リモートコンピュータ６８０）との間の通信を可能にする他のネットワークまたは媒体を含む。ネットワーク６７１は、有線、無線、又はそれらの組合せとすることができる。有線接続は、イーサネット（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＲＪ－１１または当技術分野で一般的に公知の他の有線接続を用いて実施することができる。無線接続は、Ｗｉ－Ｆｉ、ＷｉＭＡＸ、およびブルートゥース（登録商標）、赤外線、携帯電話ネットワーク、通信衛星、または当技術分野で一般的に公知の任意の他の無線接続方法を用いて実施することができる。さらに、複数のネットワークが、単独又は互いに通信して、ネットワーク６７１における通信を可能にしてもよい。
【0057】
本明細書に記載の技術に対するコンピューティング環境６００の１つの適用例として、ネットワーク構成要素、イメージ・プロセッシング（画像処理）プロセッサ、およびＧＵＩを含む、ＤＨＭデータの分析用の例示的なシステムを考慮する。ネットワーク構成要素は、ネットワークインターフェース６７０または同様の機能を提供するハードウエアとソフトウエアの任意の組合せを含むことができる。ネットワーク構成要素は、ＤＨＭ画像を取得するため、ＤＨＭシステムと通信するように構成されている。したがって、いくつかの実施形態では、ネットワーク構成要素は、ＤＨＭシステムと通信するための特別なインターフェースを含むことができる。画像処理プロセッサは、コンピューティングシステム（例えば、コンピュータシステム６１０）に内蔵されており、ネットワーク構成要素を介して受信された単一の物体画像（オブジェクト・イメージ）または画像の時系列のいずれかから参照画像（レファレンス・イメージ）を抽出して、物体画像からフリンジ（縞）パターンが乱れている領域を抽出して、それらの領域を画像の他の部分からの既存のパターンに置き換えることを可能にする命令で構成されている。画像処理プロセッサは、この処理（例えば、分割化、領域の充填化など）を支援するために、本明細書中に記載のように追加の機能を含むことができる。次に、ＧＵＩは、ユーザが観察を行えるように、ディスプレイ（例えば、ディスプレイ６６６）上に表示可能にしてもよい。
【0058】
本開示の実施形態は、ハードウェア及びソフトウェアの任意の組合せによって実装することができる。さらに、本開示の実施形態は、例えば、コンピュータ可読の非一時的媒体（メディア）を有する製品（例えば、１つ以上のコンピュータプログラム製品）に含めることができる。この媒体は、例えば、本開示の実施形態のメカニズムを提供して、可能にするためのコンピュータ可読プログラムコードを内蔵している。この製品は、コンピュータシステムの一部として含まれてもよく、又は、別体として販売されてもよい。
【0059】
本明細書には様々な態様および実施形態が開示されているが、当業者には、他の態様および実施形態が明らかになるだろう。本明細書に開示された様々な態様および実施形態は、例示を目的としており、本発明の内容をそれらに限定することを意図したものではない。本発明の真の範囲および技術的思想は、添付された特許請求の範囲に示されている。
【0060】
本明細書中で使用される実行可能なアプリケーションは、オペレーティングシステム、コンテキストデータ収集システムまたは他の情報処理システムの機能などの、所定の機能を、例えばユーザコマンドまたは入力に応じて実施するように、プロセッサを条件付けるコードまたは機械可読（読み取り可能な）命令又は指示を含む。実行可能手順は、コードまたは機械可読命令、サブルーチン、または１つ以上の特定のプロセスを実行するための実行可能なアプリケーションのコードまたは一部の他の別個のセクションのセグメントである。これらのプロセスは、入力データおよび／またはパラメータを受信すること、受信された入力データについて操作を実行すること、および／または受信された入力パラメータに応じて機能を実行すること、および結果として得られる出力データおよび／またはパラメータを提供することを含み得る。
【0061】
本明細書中で使用されるグラフィカル・ユーザ・インターフェース（ＧＵＩ）は、１つまたは複数の表示画像を含むが、これらは、表示処理装置（ディスプレイ・プロセッサ）によって生成されて、処理装置（プロセッサ）または他の装置とのユーザ相互作用および関連するデータ収集および処理機能を可能にする。ＧＵＩはまた、携帯装置（モバイルデバイス）上のモバイルアプリケーションなどの、実行可能手順または実行可能アプリケーションを含む。実行可能手順または実行可能アプリケーションは、ＧＵＩ表示画像を表す信号を生成するために、表示処理装置を条件付ける。これらの信号は、ユーザに対して視認可能にするために画像を表示する表示（ディスプレイ）装置に供給される。このプロセッサは、実行可能手順または実行可能アプリケーションの制御下で、入力装置から受信した信号に応じてＧＵＩ表示画像を操作する。このようにして、ユーザは、入力装置を用いて表示画像と相互作用することができるので、ユーザがプロセッサまたは他の装置と相互作用することを可能にする。
【0062】
本明細書に記載の機能及びプロセスのステップは、自動的に、又はユーザコマンドに応じて全体的若しくは部分的に実施することができる。自動的に実施される行為（ステップを含む）は、ユーザがその行為を直接的に始動させなくても、１つ以上の実行可能命令又はデバイス操作に応じて実施される。
【0063】
図示したシステム及びプロセスは排他的でない。本発明の原理に従って同一の目的を達成するため、他のシステム、プロセス及びメニューを導出することは可能である。本発明は特定の実施形態を参照して説明されたが、本明細書で記載した実施形態及び変更実施形態は例示を目的にしていることを理解されたい。当業者であれば、現在の構成に対して、本発明の範囲から逸脱することなく、変更を行うことができるだろう。本明細書で記載のように、様々なシステム、サブシステム、エージェント、マネージャー及びプロセスは、ハードウェア構成要素、ソフトウェア構成要素、及び／又はそれらの組合せを使用して実装され得る。特許請求の範囲の請求項の構成要素はいずれも、「ｍｅａｎｓ ｆｏｒ（ミーンズ・プラス・ファンクション）」を用いて明示的に記載されていない限り、米国特許法第１１２条（ｆ）の規定に基づいて解釈されるべきではない。
【符号の説明】
【0064】
１００ 細胞可視化システム
１１０ ＤＨＭ（ホログラフィック顕微鏡）装置
１２０ 訓練（トレーニング）装置
１３０ 仮想染色（仮想的に染色する）装置
６００ コンピューティング環境（演算システム）
６１０ コンピュータシステム
６２０ 処理装置（プロセッサ）
６３０ システムメモリ（記憶装置）
６６６ ディスプレイ（表示装置）
１１０ ＤＨＭ（ホログラフィック顕微鏡）装置
１２０ 訓練（トレーニング）装置
１３０ 仮想染色（仮想的に染色する）装置
６００ コンピューティング環境（演算システム）
６１０ コンピュータシステム
６２０ 処理装置（プロセッサ）
６３０ システムメモリ（記憶装置）
６６６ ディスプレイ（表示装置）
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【手続補正書】
【提出日】2022-06-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するための、コンピュータを用いて行われる方法であって、
ＤＨＭ装置を用いて取得された、１つ以上の細胞の描出を含むＤＨＭ画像を受信するステップと、
画像変換アルゴリズムを用いて前記ＤＨＭ画像を処理することによって、前記ＤＨＭ画像を仮想的に染色するステップと、を含み、
前記仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように、１つ以上の細胞をデジタル的に着色することを含み、
染色されたＤＨＭ画像は、類似性を強調させるように、各染色部分の周囲に境界線を含み、かつ
前記ＤＨＭ画像は、白血球細胞の核の周囲を含む、
方法。
ＤＨＭ装置を用いて取得された、１つ以上の細胞の描出を含むＤＨＭ画像を受信するステップと、
画像変換アルゴリズムを用いて前記ＤＨＭ画像を処理することによって、前記ＤＨＭ画像を仮想的に染色するステップと、を含み、
前記仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように、１つ以上の細胞をデジタル的に着色することを含み、
染色されたＤＨＭ画像は、類似性を強調させるように、各染色部分の周囲に境界線を含み、かつ
前記ＤＨＭ画像は、白血球細胞の核の周囲を含む、
方法。
【請求項2】
前記画像変換アルゴリズムは、敵対的生成ネットワークを用いて訓練される、請求項１に記載のコンピュータを用いて行われる方法。
【請求項3】
前記画像変換アルゴリズムは、敵対的損失およびサイクル一貫性損失を用いて訓練される、請求項２に記載のコンピュータを用いて行われる方法。
【請求項4】
前記ＤＨＭ画像を仮想的に染色する際、白血球細胞の着色が、各白血球細胞の種類に基づいて行われることを含む、請求項１に記載のコンピュータを用いて行われる方法。
【請求項5】
前記白血球細胞の着色に基づいて、サンプル内の白血球細胞の種類の比率を定量化することをさらに含む、請求項４に記載のコンピュータを用いて行われる方法。
【請求項6】
１つ以上の細胞がバクテリア細胞を含み、前記バクテリア細胞の着色が、バクテリアの種類に基づいて行われる、請求項１に記載のコンピュータを用いて行われる方法。
【請求項7】
グラフィカル・ユーザ・インターフェースを介して前記仮想的に染色されたＤＨＭ画像を表示することをさらに含む、請求項１に記載のコンピュータを用いて行われる方法。
【請求項8】
仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するための、コンピュータを用いて行われる方法であって、
各白血球細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された白血球細胞の画像を含む第２の訓練データセットとを受け取るステップであって、前記第１の訓練データセットの画像は、前記第２の訓練データセットの画像と対になっていないステップと、
敵対的生成ネットワークを用いる学習プロセスを前記第１の訓練データセットと前記第２の訓練データセットに対して適用して、画像変換アルゴリズムを生成するステップと、
前記画像変換アルゴリズムをＤＨＭ画像に対して適用して、仮想的に染色されたＤＨＭ画像を生成するステップと、
グラフィカル・ユーザ・インターフェースを介して前記仮想的に染色されたＤＨＭ画像を表示するステップと、を含み、
染色されたＤＨＭ画像は、類似性を強調させるように、各染色部分の周囲に境界線を含み、かつ
前記ＤＨＭ画像は、白血球細胞の核の周囲を含む、
方法。
各白血球細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された白血球細胞の画像を含む第２の訓練データセットとを受け取るステップであって、前記第１の訓練データセットの画像は、前記第２の訓練データセットの画像と対になっていないステップと、
敵対的生成ネットワークを用いる学習プロセスを前記第１の訓練データセットと前記第２の訓練データセットに対して適用して、画像変換アルゴリズムを生成するステップと、
前記画像変換アルゴリズムをＤＨＭ画像に対して適用して、仮想的に染色されたＤＨＭ画像を生成するステップと、
グラフィカル・ユーザ・インターフェースを介して前記仮想的に染色されたＤＨＭ画像を表示するステップと、を含み、
染色されたＤＨＭ画像は、類似性を強調させるように、各染色部分の周囲に境界線を含み、かつ
前記ＤＨＭ画像は、白血球細胞の核の周囲を含む、
方法。
【請求項9】
前記敵対的生成ネットワークは、複数の仮想的に染色されたＤＨＭ画像を生成するように構成された第１の生成ネットワークと、前記複数の仮想的に染色されたＤＨＭ画像と前記第２の訓練データセット内の画像とを識別するように構成された第１の識別ネットワークとを含む、請求項８に記載のコンピュータを用いて行われる方法。
【請求項10】
前記敵対的生成ネットワークは、複数の仮想的なＤＨＭ画像を生成するように構成された第２の生成ネットワークと、前記複数の仮想的なＤＨＭ画像と前記第１の訓練データセット内の画像とを識別するように構成された第２の識別ネットワークとをさらに含む、請求項９に記載のコンピュータを用いて行われる方法。
【請求項11】
前記学習プロセスは、敵対的損失およびサイクル一貫性損失を用いて、前記画像変換アルゴリズムを生成する、請求項８に記載のコンピュータを用いて行われる方法。
【請求項12】
前記グラフィカル・ユーザ・インターフェースは、携帯装置で実行される携帯アプリケーションである、請求項８に記載のコンピュータを用いて行われる方法。
【請求項13】
仮想的に染色されたホログラフィック顕微鏡（ＤＨＭ）画像を生成するように構成された細胞可視化システムであって、
１つ以上の細胞のＤＨＭ画像を受け取って、前記ＤＨＭ画像に対して画像変換アルゴリズムを適用して、仮想的に染色されたＤＨＭ画像を生成するように構成された装置を含み、
前記画像変換アルゴリズムは、対になっていないデータセットを用いて生成され、
染色されたＤＨＭ画像は、類似性を強調させるように、各染色部分の周囲に境界線を含み、かつ
前記ＤＨＭ画像は、白血球細胞の核の周囲を含む、
細胞可視化システム。
１つ以上の細胞のＤＨＭ画像を受け取って、前記ＤＨＭ画像に対して画像変換アルゴリズムを適用して、仮想的に染色されたＤＨＭ画像を生成するように構成された装置を含み、
前記画像変換アルゴリズムは、対になっていないデータセットを用いて生成され、
染色されたＤＨＭ画像は、類似性を強調させるように、各染色部分の周囲に境界線を含み、かつ
前記ＤＨＭ画像は、白血球細胞の核の周囲を含む、
細胞可視化システム。
【請求項14】
前記対になっていないデータセットを用いて前記画像変換アルゴリズムを生成するように構成された訓練装置をさらに含み、
前記対になっていないデータセットは、各細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された細胞の画像を含む第２の訓練データセットとを含む、請求項１３に記載の細胞可視化システム。。
前記対になっていないデータセットは、各細胞のＤＨＭ画像を含む第１の訓練データセットと、実際に染色された細胞の画像を含む第２の訓練データセットとを含む、請求項１３に記載の細胞可視化システム。。
【請求項15】
前記訓練装置が、敵対的生成ネットワークを用いて前記画像変換アルゴリズムを生成するように構成されている、請求項１４に記載の細胞可視化システム。
【請求項16】
前記敵対的生成ネットワークは、
仮想的に染色されたＤＨＭ画像の例を生成するように構成された第１の生成ネットワークと、前記仮想的に染色されたＤＨＭ画像の例と前記第２の訓練データセット中の画像とを識別するように構成された第１の識別ネットワークと、
仮想的なＤＨＭ画像の例を生成するように構成された第２の生成ネットワークと、前記仮想的なＤＨＭ画像の例と前記第１の訓練データセット中の画像とを識別するように構成された第２の識別ネットワークと、
を含む、請求項１５に記載の細胞可視化システム。
仮想的に染色されたＤＨＭ画像の例を生成するように構成された第１の生成ネットワークと、前記仮想的に染色されたＤＨＭ画像の例と前記第２の訓練データセット中の画像とを識別するように構成された第１の識別ネットワークと、
仮想的なＤＨＭ画像の例を生成するように構成された第２の生成ネットワークと、前記仮想的なＤＨＭ画像の例と前記第１の訓練データセット中の画像とを識別するように構成された第２の識別ネットワークと、
を含む、請求項１５に記載の細胞可視化システム。
【請求項17】
前記訓練装置に対して前記第１の訓練データセットを提供するように構成されたＤＨＭ装置をさらに備える、請求項１４に記載の細胞可視化システム。
【請求項18】
前記ＤＨＭ装置が、１つ以上の細胞のＤＨＭ画像を仮想染色装置に対して提供するようにさらに構成されている、請求項１７に記載の細胞可視化システム。
【請求項19】
前記１つ以上の細胞は、バクテリア細胞を含み、前記バクテリア細胞の着色が、バクテリアの種類に基づいて行われる、請求項１３に記載の細胞可視化システム。
【請求項20】
前記仮想的に染色されたＤＨＭ画像は、対応する実際に染色された細胞の外観を模倣するように、１つ以上の細胞をデジタル的に着色することを含む、請求項１３に記載の細胞可視化システム。
【外国語明細書】