特表 2025-501677 身体部分Ｘ線撮像における追加ビューの生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-23

(54)【発明の名称】身体部分Ｘ線撮像における追加ビューの生成

(51)【国際特許分類】

   A61B 6/00 20240101AFI20250116BHJP

【ＦＩ】

A61B6/00 550Z

A61B6/00 560

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024529401

(86)(22)【出願日】2022-12-07

(85)【翻訳文提出日】2024-05-16

(86)【国際出願番号】 EP2022084687

(87)【国際公開番号】W WO2023110553

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】2021137338

(32)【優先日】2021-12-16

(33)【優先権主張国・地域又は機関】RU

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＰＹＴＨＯＮ

３．３ＧＰＰ

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】サールバッハ アクセル

(72)【発明者】

【氏名】シュルツ ハインリッヒ

(72)【発明者】

【氏名】シラジディノフ イリヤス

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA01

4C093CA18

4C093CA34

4C093EC16

4C093FF33

4C093FF41

(57)【要約】

本発明は、X線撮像に関する。X線撮像ワークフローを改善するために、入力部と、プロセッサ(14)と、出力部とを有する画像処理装置が提案される。入力部は、画像取得において取得された第1のX線画像を受信するように構成される。第1のX線画像は、患者の身体部分の第1のビューを有する。プロセッサ(14)は、受信された第1のX線画像に基づいて、予め訓練された機械学習モデルを使用して、患者の身体部分の第2のビューを有する第2のX線画像を生成するように構成される。第2のビューは、第1のビューとは異なる。出力部は、生成された第2のX線画像を出力するように構成される。

【特許請求の範囲】

【請求項1】

画像処理装置であって、
画像取得において取得された第1のX線画像を受信するように構成される入力部であって、前記第1のX線画像は、患者の身体部分の第1のビューを有する、入力部と、
受信された第1のX線画像に基づいて、予め訓練された機械学習モデルを用いて前記患者の身体の第2のビューを有する第2のX線画像を生成するように構成されるプロセッサであって、前記第2のビューは前記第1のビューと異なる、プロセッサと、
前記生成された第2のX線画像を提供するように構成される出力部と
を有する、画像処理装置。

【請求項2】

前記入力部は前記患者の非画像患者データを受信するようにさらに構成され、
前記予め訓練された機械学習モデルは前記受信された非画像患者データを適用して前記第2のX線画像を生成するようにさらに構成される、
請求項1に記載の画像処理装置。

【請求項3】

前記入力部は、前記患者の第1のX線画像を取得するためのX線撮像装置のシステムデータを受信するようにさらに構成され、
前記予め訓練された機械学習モデルは、前記受信されたシステムデータを適用して前記第2のX線画像を生成するようにさらに構成される、
請求項1又は2に記載の画像処理装置。

【請求項4】

前記予め訓練された機械学習モデルは、エンコーダデコーダアーキテクチャを含む、請求項1乃至3の何れか一項に記載の画像処理装置。

【請求項5】

前記予め訓練された機械学習モデルは、ジェネレータコンポーネントと識別器コンポーネントとを有し、
ジェネレータコンポーネントは、前記第1のX線画像を前記第2のX線画像にマッピングするように構成される前記エンコーダデコーダアーキテクチャを有し、
前記識別器コンポーネントは、両方を識別するために連結された画像対で訓練された識別器を有し、各連結された画像対は、X線撮像装置によって取得された第1及び第2のX線画像を有する第1のX線画像対と、前記X線撮像装置によって取得された第1のX線画像及び前記画像処理装置によって生成された第2のX線画像を有する第2のX線画像対とを有する、
請求項4に記載の画像処理装置。

【請求項6】

前記プロセッサは、前記第2のX線画像における一つ又はそれより多くの病理の存在を検出するようにさらに構成される、請求項１乃至５の何れか一項に記載の画像処理装置。

【請求項7】

前記プロセッサは、前記第2のX線画像における前記一つ又はそれより多くの検出された病理の確率スコアを提供するようにさらに構成される、請求項6に記載の画像処理装置。

【請求項8】

前記プロセッサは、前記第1のX線画像における一つ又はそれより多くの病理の存在を検出し、前記第1のX線画像における一つ又はそれより多くの検出された病理の確率スコアを提供し、前記確率スコアに基づいて前記一つ又はそれより多くの検出された病理をさらに評価するために、前記身体部分の第2のビューを有する第2のX線画像を生成するかを決定するように構成される、
請求項１乃至７の何れか一項に記載の画像処理装置。

【請求項9】

X線撮像システムであって、前記システムは、
患者のX線画像を取得するX線撮像装置と、
請求項１乃至８の何れか一項に記載の画像処理装置と
を有する、X線撮像システム。

【請求項10】

画像処理方法であって、前記方法は、
画像取得において得られた第1のX線画像を受信するステップであって、前記第1のX線画像は患者の身体部分の第1のビューを有する、ステップと、
前記受信された第1のX線画像に基づいて、訓練された機械学習モデルを使用して前記患者の身体部分の第2のビューを有する第2のX線画像を生成するステップであって、前記第2のビューは前記第1のビューと異なる、ステップと
前記生成された第2のX線画像を提供するステップと
を有する、画像処理方法。

【請求項11】

前記第2のX線画像における一つ又はそれより多くの病理の存在を検出するステップ
をさらに有する、請求項10に記載の画像処理方法。

【請求項12】

前記第2のX線画像における一つ又はそれより多くの検出された病理の確率スコアを提供するステップ
をさらに有する、請求項11に記載の画像処理方法。

【請求項13】

前記第1のX線画像における一つ又はそれより多くの病理の存在を検出するステップと、
前記第1のX線画像における一つ又はそれより多くの検出された病理の確率スコアを提供するステップと、
前記確率スコアに基づいて一つ又はそれより多くの検出された病理をさらに評価するために、前記身体部分の第2のビューを有する第2のX線画像を生成するかを決定するステップと
をさらに有する、請求項10乃至12の何れか一項に記載の画像処理方法。

【請求項14】

プログラムが一つ又はそれより多くのプロセッサによって実行されるとき、前記一つ又はそれより多くのプロセッサに、請求項10乃至13の何れか一項に記載の方法のステップを実行させる命令を有する、コンピュータプログラム製品。

【請求項15】

請求項14に記載のコンピュータプログラム製品を記憶したコンピュータ可読データキャリア。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は医用撮像に関し、特に、画像処理装置、撮像処理方法、コンピュータプログラム要素、及びコンピュータ可読データキャリアに関する。

【背景技術】

【0002】

X線は、医用画像に使用されている。投影X線写真は、骨格系の病理の検出、ならびに軟組織におけるいくつかの疾患過程の検出に有用である。身体部分の異なるビュー(投影としても知られる)は、身体の相対的な向き及びX線ビームの方向を変えることによって得ることができる。

【0003】

例えば、胸部X線は、最も使用されているタイプの医用画像研究である。検査中、診断を容易にするために、異なるビューが取得され得る。適応症及び臨床ガイドラインに応じて、これは、後方前方(PA)又は前方後方(AP)、横方向(LAT)及び他のビューを含むことができる。しかしながら、いくつかの研究はLAT画像の価値を示唆しているが、それらは必要なときに常に利用可能であるとは限らない。したがって、初期指標は様々な理由、例えば、投与量の懸念による、又は患者の推定される条件による、PA画像の取得のみを示唆することができる。別の理由はLAT画像を取得することも困難である可能性があることである(例えば、ベッドサイド撮像において)。

【0004】

したがって、場合によっては、新しい検査がワークフローの後の診断目的のために身体部分の追加のビューを取得するために、患者のためにスケジュールされなければならない。これは、かなりの組織的オーバーヘッド、及び負の患者体験を引き起こす可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、X線撮像ワークフローを改善する必要があり得る。

【課題を解決するための手段】

【0006】

本発明は独立請求項によって定義される。従属請求項は、有利な実施形態を規定する。

【0007】

本発明の第1の態様によれば、画像処理装置が提供される。画像処理装置は、入力部と、プロセッサと、出力部とを備える。入力部は、画像取得において取得された第1のX線画像を受信するように構成される。第1のX線画像は、患者の身体部分の第1のビューを有する。プロセッサは、受信された第1のX線画像に基づいて、予め訓練された機械学習モデルを使用して、患者の身体部分の第2のビューを有する第2のX線画像を生成するように構成される。第2のビューは、第1のビューとは異なる。出力部は、生成された第2のX線画像を出力するように構成される。

【0008】

本明細書で説明する機械学習ベースアプローチは、取得された画像から追加の合成ビューを生成することができる。例えば、胸部の合成側面図は、PA図を有する取得されたX線画像から生成されてもよい。そのようなアプローチは元のビューにおいて不明瞭にされた病理を予測することができないかもしれないが、合成追加のビューは大量の臨床データに基づいて最も可能性の高い表現を提供するかもしれない。したがって、身体部分の異なるビューを有する合成X線画像は、放射線科医が患者のための新しい検査を実行することなく、取得された画像内に存在し得る病理をさらに評価することを可能にし得る。これは、診断及び治療を損なうことなく(又はそれ以下で)投与量を減少させることができる。

【0009】

第1のX線画像は、画像取得において取得されたX線画像である。第1のX線画像は、実X線画像又は取得X線画像と呼ばれることもある。

【0010】

第2X線画像は、第1X線画像から生成されたX線画像である。第2のX線画像は、合成X線画像又は生成されたX線画像と呼ばれることもある。

【0011】

身体部分の例としては関節、頸部、脊椎、胸部、四肢、及び身体の他の部分が挙げられるが、これらに限定されない。

【0012】

本明細書で使用される「機械学習モデル」は、機械が代わりにデータ内のパターンに依存して、明示的にプログラミングすることなく、データからタスクを「学習」することを可能にする統計的方法を指し得る。例えば、機械学習モデルは、深層学習モデルであってもよい。深層学習は、人間の脳の神経経路上で緩くモデル化された機械学習のサブセットである。ディープとは、入力レイヤーと出力レイヤーの間の複数のレイヤーを指す。ディープラーニングでは、アルゴリズムがどの特徴が有用であるかを自動的に学習する。機械学習及び対応するソフトウェアフレームワークへの一般的な導入については、「machine Learning and Deep Learning frameworks and libraries for larges a survey（ Artificial Intelligence Review; Giang Nguyen et al., June 2019, Volume 52, Issue 1, pp 77―124）」が参照される。機械学習モデルは、身体部分の第1のビューを有する第1のX線画像と身体部分の第2のビューを有する第2のX線画像との間のマッピングを再生するための機械学習生成モデルであってもよい。機械学習生成モデルは例えば、第1のX線画像(例えば、PAデータ)からの合成データの形成で追加のビューを生成するために使用され得る。

【0013】

本発明の一実施形態によれば、入力部は、患者の非画像患者データを受信するようにさらに構成される。予め訓練された機械学習モデルは、受信された非画像患者データを適用(使用)して、第2のX線画像を生成するようにさらに構成される。

【0014】

言い換えれば、第1のX線画像に加えて、予測を改善するために、非画像患者データがトレーニング及び推論プロセスに含まれ得る。

【0015】

非画像患者データの例としては患者の年齢、患者の性別、インプラントの存在、患者に関連する投薬記録、又はそれらの任意の組み合わせが挙げられるが、これらに限定されない。

【0016】

本発明の一実施形態によれば、入力部は、患者の第1のX線画像を取得するためのX線撮像装置のシステムデータを受信するようにさらに構成される。予め訓練された機械学習モデルは第2のX線画像を生成するために、受信されたシステムデータを適用(使用)するようにさらに構成される。

【0017】

第1のX線画像データに加えて、システムデータもまた、予測を改善するために、訓練及び生成プロセスに含まれてもよい。

【0018】

システムデータは例えば、ビュー位置、一つ又はそれより多くの取得パラメータ(kVpなど)、及び任意の他のシステムデータを含むことができる。

【0019】

本発明の一実施形態によれば、予め訓練された機械学習モデルは、エンコーダデコーダアーキテクチャを含む。

【0020】

例示的なエンコーダデコーダアーキテクチャを図3に示す。

【0021】

本発明の一実施形態によれば、予め訓練された機械学習モデルは、ジェネレータコンポーネント及び識別器コンポーネントを備える。ジェネレータコンポーネントは、第1のX線画像を第2のX線画像にマッピングするように構成されたエンコーダデコーダアーキテクチャを備える。識別器コンポーネントは両方を識別するために連結された画像対を用いて訓練された識別器を備え、各連結された画像対はX線撮像装置によって取得された第1及び第2のX線画像を含む第1のX線画像対と、X線撮像装置によって取得された第1のX線画像及び画像処理装置によって生成された第2のX線画像を含む第2のX線画像対とを備える。

【0022】

これは、以下で、特に図4に示される例に関して詳細に説明される。

【0023】

本発明の一実施形態によれば、プロセッサは、第2のX線画像内の一つ又はそれより多くの病理の存在を検出するようにさらに構成される。

【0024】

本発明の一実施形態によれば、プロセッサは、第2のX線画像内の一つ又はそれより多くの検出された病理の確率スコアを提供するようにさらに構成される。

【0025】

したがって、追加のビューにおける病理の検出は、診断プロセスを容易にすることができる。例えば、LAT画像は、肺炎検出及び他の病理に有益であり得る。

【0026】

本発明の一実施形態によれば、プロセッサは第1のX線画像における一つ又はそれより多くの病理の存在を検出し、第1のX線画像における一つ又はそれより多くの検出された病理の確率スコアを提供し、確率スコアに基づいて一つ又はそれより多くの検出された病理をさらに評価するために、身体部分の第2のビューを有する第2のX線画像を生成するかどうかを決定するように構成される。

【0027】

言い換えれば、第2のX線画像は、第1のX線画像における一つ又はそれより多くの疑わしい病理の存在の確率に基づいて生成されてもよい。これにより、放射線科医は、疑わしい病理を別の視点でさらに評価することができる。

【0028】

本発明の第2の態様によれば、X線撮像システムが提供される。X線撮像システムは、患者のX線画像を取得するためのX線撮像装置と、第1の態様及び任意の関連する例による画像処理装置とを備える。

【0029】

本発明の第3の態様によれば、画像処理方法が提供される。

【0030】

画像処理方法は、
画像取得において得られた第1のX線画像を受信するステップであって、前記第1のX線画像は患者の身体部分の第1のビューを有する、ステップと、
前記受信された第1のX線画像に基づいて、訓練された機械学習モデルを使用して前記患者の身体部分の第2のビューを有する第2のX線画像を生成するステップであって、前記第2のビューは前記第1のビューと異なる、ステップと
前記生成された第2のX線画像を出力するステップと
を有する。

【0031】

本発明の一実施形態によれば、方法は、第2のX線画像中の一つ又はそれより多くの病理の存在を検出するステップをさらに含む。

【0032】

本発明の一実施形態によれば、方法は、第2のX線画像内の一つ又はそれより多くの検出された病理の確率スコアを提供するステップをさらに含む。

【0033】

本発明の一実施形態によれば、方法は第1のX線画像における一つ又はそれより多くの病理の存在を検出するステップと、第1のX線画像における一つ又はそれより多くの検出された病理の確率スコアを提供するステップと、確率スコアに基づいて一つ又はそれより多くの検出された病理をさらに評価するために、身体部分の第2のビューを有する第2のX線画像を生成するかどうかを決定するステップとをさらに含む。

【0034】

画像処理方法は、少なくとも部分的にコンピュータで実施されてもよく、ソフトウェア又はハードウェアで、あるいはソフトウェア及びハードウェアで実施されてもよい。さらに、該方法は、データ処理機能を提供する手段上で実行されるコンピュータプログラム命令によって実行されてもよい。データ処理手段は分散型コンピュータシステムであってもよい、電子制御モジュールなどの好適な計算手段であってもよい。データ処理手段又はコンピュータは、それぞれ、一つ又はそれより多くのプロセッサ、メモリ、データインターフェースなどを備えることができる。

【0035】

本発明の第4の態様によれば、プログラムが一つ又はそれより多くのプロセッサによって実行されると、一つ又はそれより多くのプロセッサに、第3の態様及び任意の関連する例の方法のステップを実行させる命令を含むコンピュータプログラム製品が提供される。

【0036】

本発明のさらなる態様によれば、コンピュータプログラム製品が記憶されたコンピュータ可読データキャリアが提供される。

【0037】

上記の実施形態は、関連する態様にかかわらず、互いに組み合わせることができることに留意されたい。したがって、方法は構造的特徴と組み合わされてもよく、同様に、装置及びシステムは、方法に関して上述された特徴と組み合わされてもよい。

【0038】

本発明のこれら及び他の態様は以下に記載される実施形態から明らかになり、それらを参照して説明される。

【0039】

以下、本発明の実施の形態について、図面を参照しながら説明する。

【図面の簡単な説明】

【0040】

【図1】例示的な画像処理方法を説明するフローチャートを示す。

【図2】例示的なPA及びLAT胸部X線画像を概略的に示す。

【図3】機械学習モデルの一例を示す。

【図4】機械学習モデルのさらなる例を示す。

【図5】例示的な画像処理装置のブロック図を示す。

【図6】医用撮像システムの一例を示す。

【発明を実施するための形態】

【0041】

図面は単に概略的な表現であり、本発明の実施形態を例示するためにのみ役立つ。同一又は同等の要素には、原則として同一の参照符号が付されている。

【0042】

以下では、例示の目的で胸部X線画像に関連してアプローチを説明する。しかしながら、当業者であれば、上記及び下記の方法及び装置は、関節、頸部、脊椎、四肢、及び身体の他の部分を含むがこれらに限定されない他の身体部分に適合させることができることを理解するのであろう。したがって、以下に記載される実施例は、特許請求される本発明の一般性を損なうことなく、かつ、特許請求される本発明を限定することなく、記載される。

【0043】

図1は、例示的な画像処理方法100を説明するフローチャートを示す。画像処理方法100は例えば、プログラマブル論理アレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、複雑なプログラマブル論理装置(CPLD)などの設定可能なロジックにおいて、例えば、特定用途向け集積回路(ASIC)、相補型金属酸化膜半導体(CMOS)もしくはトランジスタトランジスタロジック(TTL)技術などの回路技術を使用する固定機能ハードウェアロジックにおいて、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、プログラマブルROM(PROM)、ファームウェア、フラッシュメモリなどの非一時的機械可読又はコンピュータ可読記憶媒体に記憶されたロジック命令のセットにおいて、デバイス、モジュール、又は関連構成要素として実装され得る。例えば、方法100に示される動作を実行するためのコンピュータプログラムコードは、オブジェクト指向プログラミング言語と、JAVA、SMALLTALK、C＋＋、Python、又は「C」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む、一つ又はそれより多くのプログラミング言語の任意の組合せで書き込まれ得る。例えば、例示的な画像処理方法は、図5に示される画像処理装置10において実施されてもよい。

【0044】

ブロック110において、患者の身体部分の第1のビューを有する第1のX線画像が受信される。第1のX線画像はX線撮像装置から、又はPACS(Picture Archiving and Communication System)などのデータベースから受信することができる。患者の身体部分の例としては関節、頸部、脊椎、四肢、又は身体の他の部分が挙げられるが、これらに限定されない。説明の目的のために、以下のアプローチは、患者の胸部に関連して記載される。

【0045】

胸部X線画像の場合、胸部の第1のビューは、PAビュー、APビュー、LATビュー、臥位ビュー、前弯ビュー、呼気ビュー、吸気ビュー、及び斜めビューから選択され得る。第1のX線画像は、画像画素データを含む2次元画像であってもよい。

【0046】

ブロック120において、受信された第1のX線画像に基づいて、訓練された機械学習モデルを使用して、患者の身体部分の第2のビューを有する第2のX線画像が生成される。第2のビューは、第1のビューとは異なる。

【0047】

一例では、第1のX線画像が胸部のPAビューを有する場合、第2のX線画像は例えば、LATビュー、臥位ビュー、前弯ビュー、呼気ビュー、又は斜めビューを有し得る。例えば、図2は、例示的なPA及びLAT胸部X線画像を概略的に示す。

【0048】

別の例では第1のX線画像がLATビューを有する場合、第2のX線画像はAPビュー、PAビュー、臥位ビュー、前弯ビュー、呼気ビュー、又は斜めビューを有し得る。

【0049】

機械学習モデルは、身体部分の第1のビューを有する第1のX線画像と身体部分の第2のビューを有する第2のX線画像との間の関係を再現するための機械学習生成モデルであってもよい。機械学習生成モデルは例えば、第1のX線画像(例えば、PAデータ)から合成X線画像の形成で追加のビューを生成するために使用され得る。一例では、機械学習生成モデルが確率的枠組みを使用する画像合成の生成モデルを含むことができる。別の例では、機械学習生成モデルが身体部分のビューを有するX線画像を、身体部分の異なるビューを有するX線画像に合成することができるディープエンコーダデコーダネットワークアーキテクチャを含むことができる。

【0050】

図3は、エンコーダデコーダネットワークアーキテクチャを有する機械学習モデルの例を示す。アーキテクチャは、入力画像と所望の画像との間のマッピングを見つけることに依存する。入力画像は身体部分の第1のビューを有する取得X線画像であり、所望の画像は、身体部分の第2のビューを有する合成X線画像である。図3の例では、例示的なエンコーダデコーダネットワークアーキテクチャがPA及びLAT胸部X線画像のための画像対画像マッピングを実行するために使用される。

【0051】

エンコーダデコーダネットワークアーキテクチャの目的は、同じ身体部分の異なるビューを有するX線画像の表現を関連付ける関係を見つけることである。特に、入力レイヤL1は、図2に示される胸部のPAビューを有するX線画像などの、身体部分の第1のビューを有する第1のX線画像を受信する。次いで、レイヤL2及びL3は、入力を符号化することを目的とする。後続のレイヤL4及びL5は本質的に、前のレイヤから来る情報を復号し、出力において、図2に示される胸部のLATビューを有するX線画像などの身体部分の第2のビューを有する所望の第2のX線画像を提供する。レイヤごとの重みは、身体部分の第1及び第2のビューを有する取得されたX線画像の複数の対を含むトレーニングデータセットに基づいて事前訓練され得る。事前訓練は、教師なし学習に依存してもよい。

【0052】

推論位相では、身体部分の第1のビューを有するX線画像がレイヤL1に提供され、ネットワーク全体に提供される。レイヤL5上の活性化はネットワークの出力であり、身体部分の第2のビューを有する実際の合成X線画像を表す。

【0053】

任意選択的に、図3に示されるように、X線画像に加えて、追加のデータが例えば、この情報をエンコーダ又はデコーダチャネル内の畳み込みチャネルの出力と連結することによって、トレーニング及び推論プロセスに含まれ得る。追加データは患者の年齢、患者の性別、インプラントの存在、患者に関連する投薬記録、又はそれらの任意の組合せを含むが、これらに限定されない非画像患者データを含み得る。追加又は代替として、追加のデータは限定はしないが、ビュー位置及びピークキロ電圧(kVp)を含み得る、第1のX線画像を取得するためのX線撮像システムのシステムデータを含み得る。

【0054】

図4は、現実的な合成X線画像の生成を保証するために使用される、追加の識別器を有する機械学習モデルのさらなる例を示す。

【0055】

すなわち、図4に示す機械学習モデルは、生成部と、識別部とを備える。ジェネレータコンポーネントは、第1のX線画像を第2のX線画像にマッピングするように構成されたエンコーダデコーダアーキテクチャを備える。例示的なエンコーダデコーダアーキテクチャを図3に示す。識別器コンポーネントは、両方を識別するために連結された画像対を用いて訓練された識別器を備える。各連結された画像対は、X線撮像装置によって取得された第1及び第2のX線画像を含む第1のX線画像対と、X線撮像装置によって取得された第1のX線画像及び画像処理装置によって生成された第2のX線画像を含む第2のX線画像対とを含む。

【0056】

識別器は(実PA、実LAT)及び(実PA、合成LAT)などの連結された画像対で事前にトレーニングされ、両方を識別し、異なるビューを有するより現実的な合成X線画像の生成を導出することを試みることができる。なお、実PA及び実LATはPAビュー及びLATビューを有する取得されたX線画像を表し、合成LATは、画像処理装置によって生成されたLATビューを有するX線画像を表す。

【0057】

同様に、例えば、この情報をエンコーダ、デコーダ、又は識別器における畳み込みチャネルの出力と連結することによって、非画像患者データ及びシステムデータなどの追加のデータをトレーニング及び予測プロセスに含めることができる。

【0058】

図1を参照すると、ブロック130において、生成された第2のX線画像はPACS／診断ワークステーションにおいて、例えば、システムコンソール上のディスプレイなどの電子ディスプレイに提供される。代替的又は追加的に、生成された第2のX線画像は、記憶媒体に提供されてもよい。

【0059】

いくつかの例では、一つ又はそれより多くの病理の存在が第2のX線画像、すなわち異なるビューを有する合成X線画像において検出され得る。例えば、大集団データで訓練されたディープ畳み込みニューラルネットワーク(CNN)アーキテクチャなどのAIモデルを使用して、合成X線画像上の特定の病理の微妙な徴候を検出することができる。AIベースの検出は、合成仮想投影上で行うことができる。第1のX線画像における元の投影は、追加の入力としても使用され得る。

【0060】

病理の専用の選択があってもよく、これは、典型的には例えば、側方投影上の、手元のものとは異なる投影画像上で診断される。AIモデルは、第1のX線画像におけるそのような病理の一つ又はそれより多くの確率スコアを提供することができる。高確率スコアを推奨システムとして使用して、同じ患者から別の投影画像、すなわち第2の画像を作成し、病理を評価することができる。

【0061】

図5は、例示的な画像処理装置10を示す。画像処理装置10は、入力部12と、一つ又はそれより多くのプロセッサ14と、出力部16とを備える。

【0062】

一般に、画像処理装置10は情報を通信及び操作するための様々な物理的構成要素及び／又は論理的構成要素を備えることができ、それらは、所与のセットの設計パラメータ又は性能制約に対して所望されるように、ハードウェア構成要素(たとえば、コンピューティングデバイス、プロセッサ、論理デバイス)、様々なハードウェア構成要素によって実行される実行可能コンピュータプログラム命令(たとえば、ファームウェア、ソフトウェア)、又はそれらの任意の組合せとして実装され得る。図5は限定された数の構成要素を例として示し得るが、所与の実装形態のために、より多くの又はより少ない数の構成要素が使用され得ることが理解され得る。

【0063】

いくつかの実装形態では、画像処理装置10がサーバ、ワークステーション、又はモバイルデバイスなどのデバイス又は装置として、又はその中に具現化され得る。画像処理装置10は、適切なソフトウェアを実行する一つ又はそれより多くのマイクロプロセッサ又はコンピュータを備えることができる。画像処理装置10のプロセッサ14は、これらのマイクロプロセッサ又はコンピュータのうちの1つ又は複数によって具現化され得る。ソフトウェアは対応するメモリ、例えば、RAMなどの揮発性メモリ、又はフラッシュなどの不揮発性メモリにダウンロード及び／又は記憶されていてもよい。ソフトウェアは、本明細書で説明する機能を実行するように一つ又はそれより多くのプロセッサを構成する命令を備え得る。

【0064】

なお、画像処理装置10はプロセッサを用いて実現されてもよいし、プロセッサを用いずに実現されてもよく、また、一部の機能を実行するための専用ハードウェアと、他の機能を実行するためのプロセッサ(例えば、一つ又はそれより多くのプログラムされたマイクロプロセッサ及び関連する回路)との組み合わせとして実現されてもよい。例えば、画像処理装置10の機能ユニット、例えば、入力部12、一つ又はそれより多くのプロセッサ14、及び出力部16はプログラマブルロジックの形成で、例えば、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array)として、デバイス又は装置に実装されてもよい。概して、装置の各機能ユニットは、回路の形成で実装され得る。

【0065】

いくつかの実装形態では、画像処理装置10はまた、分散方式で実装され得る。例えば、画像処理装置10の一部又は全部のユニットは、分散型アーキテクチャにおいて別々のモジュールとして配置され、第3世代パートナーシッププロジェクト(3GPP)ネットワーク、ロングタームエボリューション(LTE)ネットワーク、インターネット、LAN(ローカルエリアネットワーク)、無線LAN(ローカルエリアネットワーク)、WAN(ワイドエリアネットワーク)等の適切な通信ネットワークに接続されてもよい。

【0066】

プロセッサ14は、図1に示される実施形態に関して詳細に説明される、本明細書で説明される画像処理方法を実行するための命令を実行し得る。

【0067】

入力部12及び出力部14は画像処理装置10がデータ入力を受信し、他のデバイス及び／又はネットワークと通信することを可能にするためのハードウェア及び／又はソフトウェアを含み得る。入力部12は、有線接続を介して、又は無線接続を介して、データ入力を受信し得る。出力部16はまた、画像処理装置10のためのセルラー電話通信、及び／又は他のデータ通信を提供し得る。

【0068】

図6は、X線撮像システム200の一例を概略的かつ例示的に示す。この例では、例示的なX線撮像システムが胸部X線撮像システム200である。胸部X線撮影システム200は、画像処理装置10と、X線撮影装置210と、システムコンソール220とを備える。

【0069】

X線撮像システム210は、X線源212及びX線検出器214を含む。X線検出器214は、撮像される患者PATを収容するためにX線源212から離間される。

【0070】

一般に、画像取得の間、コリメートされたX線ビーム(矢印Pで示される)はX線源212から放出され、関心領域(ROI)において患者PATを通過し、その中の物質との相互作用による減衰を経験し、次いで、減衰されたビームは、X線検出器214の表面に当たる。ROIを構成する有機材料の密度は、減衰のレベルを決定する。胸部X線画像検査における胸郭と肺組織である。高密度材料(骨など)は、密度の低い材料(肺組織など)よりも高い減衰を引き起こす。次いで、X線についてのレジストレーションされたデジタル値は、所与の取得時間及び投影方向についてのX線投影画像を形成するデジタル値のアレイに統合される。

【0071】

X線撮像システム210の全体的な動作は、システムコンソール220からオペレータによって制御されてもよい。システムコンソール220は、取得されたX線画像又はイメージャ設定が閲覧又はレビューされ得るスクリーン又はモニタ230に結合され得る。医学研究所の技術者などのオペレータはシステムコンソール220を介して、例えば、システムコンソール220に結合されたジョイスティック又はペダル又は他の適切な入力手段を作動させることによって個々のX線露光を解放することによって実行される画像取得を制御することができる。

【0072】

図6の例では、患者PATはX線検出器214が後ろにある平坦な表面に面して立っている。別の例(図示せず)によれば、X線撮像システム210はCアーム型であり、患者PATは実際には立つ代わりに検査台の上に横たわっている。

【0073】

上述のように、画像処理装置10は、デスクトップ及びラップトップコンピュータ、スマートフォン、タブレットなどを含む任意のコンピューティングデバイスであってもよい。画像処理装置10は汎用デバイスであってもよいし、本明細書に記載の機能を提供するのに適した装置の専用ユニットを有するデバイスであってもよい。図6の例では、画像処理装置10の構成要素が1つのユニットに統合されて示されている。しかしながら、代替例では、いくつか又はすべての構成要素が分散型アーキテクチャにおいて別個のモジュールとして構成され、適切な通信ネットワークにおいて接続され得る。画像処理装置10及びその構成要素は、専用のFPGAとして、又は図6に示される画像処理装置などのハードワイヤードスタンドアロンチップとして構成され得る。いくつかの例(図示せず)では、画像処理装置10又はその構成要素のいくつかはソフトウェアルーチンとして動作するコンソール230内に常駐することができる。

【0074】

動作中、X線撮像装置210によって取得されたX線画像は、画像処理装置10に提供される。取得されたX線画像は、患者PATの胸部のPAビューを有することができる。画像処理装置10はPAデータから追加ビュー(例えば、LAT画像)を生成することができる。結果は放射線科医が異なるビューで病理を評価することを可能にするために、システムコンソール220上又はPACS／診断ワークステーション(図示せず)に直接表示され得る。

【0075】

本発明の別の例示的な実施形態では、前述の実施形態のうちの1つによる方法の方法ステップを適切なシステム上で実行するように適合されることを特徴とする、コンピュータプログラム又はコンピュータプログラム要素が提供される。

【0076】

したがって、コンピュータプログラム要素は、本発明の実施形態の一部であってもよいコンピュータ上に記憶されてもよい。このコンピュータは、上述の方法のステップの実行を実行又は誘発するように適合され得る。さらに、それは、上述の装置の構成要素を動作させるように適合され得る。コンピュータは自動的に動作するように、及び／又はユーザの命令を実行するように適合され得る。コンピュータプログラムは、データプロセッサの作業メモリにロードされ得る。したがって、データプロセッサは、本発明の方法を実行するように装備されてもよい。

【0077】

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムの両方を包含する。

【0078】

さらに、コンピュータプログラム要素は、上述のプロシージャの例示的な実施形態の手順を満たすために必要なすべてのステップを提供することができる。

【0079】

本発明のさらなる例示的な実施形態によれば、CDROMなどのコンピュータ可読媒体が提示され、コンピュータ可読媒体はその上に記憶されたコンピュータプログラム要素を有し、コンピュータプログラム要素は、前のセクションによって説明される。

【0080】

コンピュータプログラムは他のハードウェアと共に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶及び／又は配布され得るが、インターネット又は他の有線もしくは無線通信システムを介してなど、他の形態で配布されてもよい。

【0081】

しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示されてもよく、そのようなネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明のさらなる例示的な実施形態によれば、ダウンロードのためにコンピュータプログラム要素を利用可能にするための媒体が提供され、このコンピュータプログラム要素は、本発明の前述の実施形態のうちの1つによる方法を実行するように構成される。

【0082】

本発明の実施形態は、異なる主題を参照して説明されることに留意されたい。特に、いくつかの実施形態は方法タイプの請求項を参照して説明され、他の実施形態は装置タイプの請求項を参照して説明される。しかしながら、当業者は別段の通知がない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴間の任意の組み合わせも、本出願で開示されると見なされる、上記及び以下の説明から集まるのであろう。しかしながら、全ての特徴を組み合わせて、特徴の単純な合計以上の相乗効果を提供することができる。

【0083】

本発明は図面及び前述の説明において詳細に図示及び説明されているが、そのような図示及び説明は例示的又は例示的であり、限定的ではないと見なされるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は図面、開示、及び従属請求項の研究から、請求された発明を実施する際に当業者によって理解され、実行され得る。

【0084】

請求項において、単語「有する(comprising)」は他の要素又はステップを除外せず、不定冠詞「a」又は「an」は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されるいくつかの項目の機能を果たしてもよい。相互に異なる従属請求項に引用されている手段は、有利に組み合わせることができる。請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】