知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-06
(54)【発明の名称】医用画像を生成するためのシステムおよび方法
(51)【国際特許分類】
G16H 30/40 20180101AFI20240130BHJP
G06T 7/00 20170101ALI20240130BHJP
G06V 10/70 20220101ALI20240130BHJP
A61B 6/00 20240101ALI20240130BHJP
A61B 6/03 20060101ALI20240130BHJP
A61B 5/055 20060101ALI20240130BHJP
A61B 8/14 20060101ALI20240130BHJP
【ＦＩ】
G16H30/40
G06T7/00 612
G06T7/00 350B
G06V10/70
A61B6/00 360Z
A61B6/03 360T
A61B5/055 380
A61B8/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023541789
(86)(22)【出願日】2021-12-06
(85)【翻訳文提出日】2023-07-10
(86)【国際出願番号】 IB2021061350
(87)【国際公開番号】W WO2022149014
(87)【国際公開日】2022-07-14
(31)【優先権主張番号】17/145,440
(32)【優先日】2021-01-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(74)【復代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【復代理人】
【識別番号】100118108
【弁理士】
【氏名又は名称】久保 洋之
(72)【発明者】
【氏名】ラトナー、ヴァディム
(72)【発明者】
【氏名】ショシャン、ヨエル
(72)【発明者】
【氏名】エルヘイ、タル
【テーマコード（参考）】
4C093
4C096
4C601
5L096
5L099
【Ｆターム（参考）】
4C093AA11
4C093AA22
4C093AA26
4C093DA06
4C093FD03
4C093FF35
4C093FF42
4C096AD14
4C096DC33
4C096DC36
4C601BB03
4C601JC06
4C601JC20
4C601KK25
5L096BA06
5L096BA13
5L096DA04
5L096FA02
5L096KA04
5L099AA26
(57)【要約】
分割された３Ｄ医用画像の各２Ｄ医用画像を視覚的所見の表示でラベル付けされた２Ｄ画像で訓練された２Ｄ分類器に入力することと、それぞれの各２Ｄ医用画像に対するそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の対応する領域に対応する領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応するそれぞれの領域に対して計算された説明可能重みを集約することによって計算される、計算することと、を含む、合成２Ｄ読影画像を生成するための方法が提供される。
【特許請求の範囲】
【請求項1】
３Ｄ医用画像から合成２Ｄ読影画像を生成するためのコンピュータ実装方法であって、３Ｄ医用画像を分割することおよび時間間隔をおいて動画として捕捉することの少なくとも一方によって得られる複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、
前記複数の２Ｄ医用画像の各それぞれの２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、前記それぞれの説明マップは、前記それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、前記それぞれの説明マップの各それぞれの領域は、前記それぞれの２Ｄ医用画像を与えた前記２Ｄ分類器の結果に対する前記それぞれの２Ｄ医用画像の前記それぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、
各それぞれの領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、各それぞれの集約重みは、前記合成２Ｄ読影画像の前記それぞれの領域に対応する前記複数の説明マップの前記それぞれの領域に対して計算された複数の前記説明可能重みを集約することによって計算される、計算することと、
前記合成２Ｄ読影画像をディスプレイに表示するために提供することと、
を含む、コンピュータ実装方法。
【請求項2】
各それぞれの集約重みが、前記計算された合成２Ｄ読影画像の前記対応するそれぞれの領域における前記視覚的所見の存在のそれぞれの可能性を示す、請求項１に記載の方法。
【請求項3】
前記複数の２Ｄ医用画像は、ｚ軸に沿って前記３Ｄ医用画像を複数の連続する２Ｄスライスに分割することによって計算され、前記それぞれの集約重みは、ｘ軸およびｙ軸に沿った共通のｘ，ｙ座標および前記ｚ軸に沿った変化するｚ座標を有する前記複数の連続する２Ｄスライスの各それぞれの領域について計算される、請求項１に記載の方法。
【請求項4】
前記３Ｄ医用画像を前記複数の連続する２Ｄスライスにスライスする軸を規定する前記ｚ軸の方向が、ディスプレイ上に表示された前記３Ｄ医用画像を見るユーザによって選択された視軸に従って得られ、前記視軸に対応する前記ｚ軸に基づいて計算された前記合成２Ｄ読影画像が、前記３Ｄ医用画像と並んで前記ディスプレイ上に表示され、さらに、少なくとも１つの反復において、前記ディスプレイ上に表示される、前記３Ｄ医用画像の前記視軸の変化を動的に検出することと、
前記視軸の前記変化に基づいて、更新された合成２Ｄ読影画像を動的に計算することと、
前記更新された合成２Ｄ読影画像を提示するために、前記ディスプレイを動的に更新することと、
を含む、請求項３に記載の方法。
【請求項5】
前記視覚的所見の閉塞を最小化する最大の集約重みを持つ最適な合成２Ｄ読影画像を生成する前記３Ｄ医用画像を前記複数の連続する２Ｄスライスにスライスする軸を規定する前記ｚ軸の特定の方向を計算することと、前記ディスプレイ上の前記３Ｄ医用画像の前記表示を、前記ｚ軸の前記特定の方向に自動的に調整することと、
前記最適な合成２Ｄ読影画像を前記ディスプレイ上に表示することと、
をさらに含む、請求項３に記載の方法。
【請求項6】
前記複数の２Ｄ医用画像の各々は、前記３Ｄ医用画像のボクセルに対応する画素を含み、それぞれの説明可能重みは前記複数の２Ｄ医用画像の各々の各画素に割り当てられ、前記それぞれの集約重みは、特定の（ｘ，ｙ）座標を有する前記合成２Ｄ読影画像の各画素に対して、ｚ座標を変化させて対応する（ｘ，ｙ）座標を有する前記複数の２Ｄ医用画像の画素の前記説明可能重みを集約することにより計算される、請求項３に記載の方法。
【請求項7】
前記訓練データセットの前記視覚的所見の前記表示は、全体としての前記それぞれの２Ｄ画像について非局在化されており、前記２Ｄ分類器は、非局在化データを用いて、全体としての入力２Ｄ画像について前記視覚的所見を示す結果を生成する、請求項１に記載の方法。
【請求項8】
各それぞれの説明マップの各説明重みは、前記２Ｄ分類器の前記結果に対する前記それぞれの対応する領域の相対的な影響度を示す、請求項１に記載の方法。
【請求項9】
前記合成２Ｄ読影画像の各それぞれの集約重みは、前記合成２Ｄ読影画像の前記それぞれの領域に対応する前記複数の説明マップの前記それぞれの領域について計算された前記説明可能重みの加重平均として計算される、請求項１に記載の方法。
【請求項10】
各それぞれの説明マップは、前記対応するそれぞれの説明可能重みによって調整された前記それぞれの２Ｄ医用画像の画素に対応する画素強度値を有する複数の画素を含み、前記合成２Ｄ読影画像は、前記複数の説明マップの前記対応するそれぞれの説明可能重みによって調整された前記画素強度値を集約することによって計算された画素強度値を有する複数の画素を含む、請求項１に記載の方法。
【請求項11】
前記３Ｄ医用画像は、ＣＴ、ＭＲＩ、乳房トモグラフィ、デジタル乳房トモシンセシス（ＤＢＴ）、３Ｄ超音波、３Ｄ核画像、およびＰＥＴからなる群から選択される、請求項１に記載の方法。
【請求項12】
前記視覚的所見は癌を示す、請求項１に記載の方法。
【請求項13】
前記複数の説明マップのサブセットを選択することをさらに含み、各選択された説明マップは、クラスタから除外された他の領域の説明重みよりも要件によって高い説明重みを有する少なくとも１つの領域の少なくとも１つのクラスタを含み、前記合成２Ｄ画像は、前記選択されたサブセットから計算される、請求項１に記載の方法。
【請求項14】
複数の訓練３Ｄ医用画像にアクセスすることと、前記複数の３Ｄ医用画像の各それぞれの３Ｄ医用画像に対して、
前記それぞれの３Ｄ医用画像を複数の２Ｄ医用画像に分割することと、
そこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に前記複数の２Ｄ医用画像のそれぞれを入力することと、
前記複数の２Ｄ医用画像の各それぞれの２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、前記それぞれの説明マップは、前記それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、前記それぞれの説明マップの各それぞれの領域は、前記それぞれの２Ｄ医用画像を与えた前記２Ｄ分類器の前記結果に対する前記それぞれの２Ｄ医用画像の前記それぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、
各それぞれの領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、各それぞれの集約重みは、前記合成２Ｄ読影画像の前記それぞれの領域に対応する前記複数の説明マップの前記それぞれの領域に対して計算された複数の前記説明可能重みを集約することによって計算される、計算することと、
前記合成２Ｄ読影画像に、そこに描かれた前記視覚的所見の存在を示すラベルを付与することと、
複数の前記合成２Ｄ読影画像および対応するラベルを含む更新された訓練データセットを生成することと、
前記更新された訓練データセットを用いて前記２Ｄ分類器の前記訓練を更新することにより、前記更新された２Ｄ分類器を生成することと、
によって、前記３Ｄ医用画像の２Ｄ画像の解析のための前記２Ｄ分類器の更新された２Ｄ分類器を生成することをさらに含む、請求項１に記載の方法。
【請求項15】
前記複数の訓練３Ｄ医用画像にアクセスした後、前記複数の３Ｄ医用画像のそれぞれを、複数の２Ｄ医用画像に分割することと、
前記各それぞれの２Ｄ医用画像に、前記それぞれの２Ｄ医用画像で描かれた視覚的所見の存在を示すラベルでラベル付けすることであり、前記ラベルは非局所的であり、前記それぞれの２Ｄ医用画像全体に付与される、ラベル付けすることと、
前記複数の２Ｄ医用画像と非局所的である関連ラベルとを含む２Ｄ医用画像の前記訓練データセットを作成することと、
前記訓練データセットを用いて、２Ｄ分類器を訓練することと、
をさらに含む、請求項１４に記載の方法。
【請求項16】
映像として取り込まれた前記複数の２Ｄ医用画像が、大腸内視鏡、内視鏡、気管支鏡、および２Ｄ超音波からなる群から選択される撮像装置によって捕捉される、請求項１に記載の方法。
【請求項17】
３Ｄ医用画像から合成２Ｄ読影画像を生成するための装置であって、３Ｄ医用画像を分割することおよび時間間隔をおいて動画として捕捉することの少なくとも一方によって得られる複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、
前記複数の２Ｄ医用画像の各それぞれの２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、前記それぞれの説明マップは、前記それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、前記それぞれの説明マップの各それぞれの領域は、前記それぞれの２Ｄ医用画像を与えた前記２Ｄ分類器の結果に対する前記それぞれの２Ｄ医用画像の前記それぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、
各それぞれの領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、各それぞれの集約重みは、前記合成２Ｄ読影画像の前記それぞれの領域に対応する前記複数の説明マップの前記それぞれの領域に対して計算された複数の前記説明可能重みを集約することによって計算される、計算することと、
前記合成２Ｄ読影画像をディスプレイに表示するために提供することと、
を行うためのコードを実行する少なくとも１つのハードウェアプロセッサを含む、
装置。
【請求項18】
３Ｄ医用画像から合成２Ｄ読影画像を生成するためのコンピュータプログラム製品であって、コンピュータプログラムを記憶する非一時的媒体を含み、前記コンピュータプログラムは、少なくとも１つのハードウェアプロセッサによって実行されると、前記少なくとも１つのハードウェアプロセッサに３Ｄ医用画像を分割することおよび時間間隔をおいて動画として捕捉することの少なくとも一方によって得られる複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、
前記複数の２Ｄ医用画像の各それぞれの２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、前記それぞれの説明マップは、前記それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、前記それぞれの説明マップの各それぞれの領域は、前記それぞれの２Ｄ医用画像を与えた前記２Ｄ分類器の結果に対する前記それぞれの２Ｄ医用画像の前記それぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、
各それぞれの領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、各それぞれの集約重みは、前記合成２Ｄ読影画像の前記それぞれの領域に対応する前記複数の説明マップの前記それぞれの領域に対して計算された複数の前記説明可能重みを集約することによって計算される、計算することと、
前記合成２Ｄ読影画像をディスプレイに表示するために提供することと、
を実行させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、そのいくつかの実施形態において、医用画像処理に関し、より具体的には、限定的ではないが、３Ｄ医用画像から２Ｄ医用画像を生成するためのシステムおよび方法に関するものである。
【背景技術】
【0002】
放射線科医が３Ｄ医用画像をナビゲートするのを助けるために、３Ｄ医用画像から２Ｄ医用画像を作成することができる。放射線科医は、３Ｄ医用画像のどの部分に焦点を当てるべきかを決定するために、２Ｄ医用画像を使用することができる。例えば、特定の肺の特定の葉にある肺結節を示すＣＴスキャンの２Ｄ画像において、放射線科医は、肺結節をより良く見るために、特定の葉に対応するＣＴスキャンのスライスを見ることができる。
【発明の概要】
【0003】
第１の態様によれば、３Ｄ医用画像から合成２Ｄ読影画像を生成するためのコンピュータ実装方法は、３Ｄ医用画像を分割することによって作成された複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、複数の２Ｄ医用画像のそれぞれの各２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する複数の説明マップのそれぞれの領域に対して計算された複数の説明可能重みを集約することによって計算される、計算することと、合成２Ｄ読影画像をディスプレイに表示することと、を含む。
【0004】
第２の態様によれば、３Ｄ医用画像の２Ｄ画像を解析するための２Ｄ分類器を生成するための方法は、複数の訓練３Ｄ医用画像にアクセスすることと、複数の３Ｄ医用画像のそれぞれの各３Ｄ医用画像に対して、それぞれの３Ｄ医用画像を複数の２Ｄ医用画像に分割することと、そこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に複数の２Ｄ医用画像のそれぞれを入力することと、複数の２Ｄ医用画像のそれぞれの各２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する前記複数の説明マップのそれぞれの領域に対して計算された複数の説明可能重みを集約することによって計算される、計算することと、合成２Ｄ読影画像に、そこに描かれた視覚的所見の存在を示すラベルを付与することと、複数の合成２Ｄ読影画像および対応するラベルを含む更新された訓練データセットを生成することと、更新された訓練データセットを用いて２Ｄ分類器の訓練を更新することにより、更新された２Ｄ分類器を生成することと、を含む。
【0005】
第３の態様によれば、順次取得されるビデオ２Ｄ医用画像から合成２Ｄ読影画像を生成するためのコンピュータ実装方法は、時間間隔をおいて動画として捕捉される複数の２Ｄ医用画像のシーケンスを受信することであって、複数の２Ｄ医用画像は時間的に離間している、受信することと、複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、複数の２Ｄ医用画像のそれぞれの各２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する複数の説明マップのそれぞれの領域に対して計算された複数の説明可能重みを集約することによって計算される、計算することと、を含む。
【0006】
第４の態様によれば、３Ｄ医用画像から合成２Ｄ読影画像を生成するコンピュータ実装方法は、３Ｄ医用画像を分割することおよび時間間隔をおいて動画として捕捉することの少なくとも一方によって得られる複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、複数の２Ｄ医用画像のそれぞれの各２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する複数の説明マップのそれぞれの領域に対して計算された複数の説明可能重みを集約することによって計算される、計算することと、合成２Ｄ読影画像をディスプレイに表示することと、を含む。
【0007】
第５の態様によれば、３Ｄ医用画像から合成２Ｄ読影画像を生成するための装置は、３Ｄ医用画像を分割することおよび時間間隔をおいて動画として捕捉することの少なくとも一方によって得られる複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、複数の２Ｄ医用画像のそれぞれの各２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する複数の説明マップのそれぞれの領域に対して計算された複数の説明可能重みを集約することによって計算される、計算することと、合成２Ｄ読影画像をディスプレイに表示することと、を行うためのコードを実行する少なくとも１つのハードウェアプロセッサを含む。
【0008】
第６の態様によれば、３Ｄ医用画像から合成２Ｄ読影画像を生成するためのコンピュータプログラム製品は、コンピュータプログラムを記憶する非一時的媒体を含み、コンピュータプログラムは、少なくとも１つのハードウェアプロセッサによって実行されると、少なくとも１つのハードウェアプロセッサに３Ｄ医用画像を分割することおよび時間間隔をおいて動画として捕捉することの少なくとも一方によって得られる複数の２Ｄ医用画像のそれぞれをそこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力することと、複数の２Ｄ医用画像のそれぞれの各２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する複数の説明マップのそれぞれの領域に対して計算された複数の説明可能重みを集約することによって計算される、計算することと、合成２Ｄ読影画像をディスプレイに表示することと、を実行させる。
【0009】
第１、第２、第３、第４、第５および第６の態様のさらなる実装では、それぞれの各集約重みが、計算された合成２Ｄ読影画像の対応するそれぞれの領域における視覚的所見の存在のそれぞれの可能性を示す。
【0010】
第１、第２、第４、第５および第６の態様のさらなる実装では、複数の２Ｄ医用画像は、ｚ軸に沿って３Ｄ医用画像を複数の連続する２Ｄスライスに分割することによって計算され、それぞれの集約重みは、ｘ軸およびｙ軸に沿った共通のｘ，ｙ座標およびｚ軸に沿った変化するｚ座標を有する複数の連続する２Ｄスライスのそれぞれの各領域について計算される。
【0011】
第１、第２、第４、第５および第６の態様のさらなる実装では、３Ｄ医用画像を複数の連続する２Ｄスライスにスライスする軸を規定するｚ軸の方向が、ディスプレイ上に表示された３Ｄ医用画像を見るユーザによって選択された視軸に従って得られ、視軸に対応するｚ軸に基づいて計算された合成２Ｄ読影画像が、３Ｄ医用画像と並んでディスプレイ上に表示され、さらに、少なくとも１つの反復において、ディスプレイ上に表示される、３Ｄ医用画像の視軸の変化を動的に検出することと、視軸の変化に基づいて、更新された合成２Ｄ読影画像を動的に計算することと、更新された合成２Ｄ読影画像を提示するために、ディスプレイを動的に更新することと、を含む。
【0012】
第１、第２、第４、第５および第６の態様のさらなる実装では、視覚的所見の閉塞を最小化する最大の集約重みを持つ最適な合成２Ｄ読影画像を生成する３Ｄ医用画像を複数の連続する２Ｄスライスにスライスする軸を規定するｚ軸の特定の方向を計算することと、ディスプレイ上の３Ｄ医用画像の表示を、ｚ軸の特定の方向に自動的に調整することと、最適な合成２Ｄ読影画像をディスプレイ上に表示することと、をさらに含む。
【0013】
第１、第２、第４、第５および第６の態様のさらなる実装では、複数の２Ｄ医用画像の各々は、３Ｄ医用画像のボクセルに対応する画素を含み、それぞれの説明可能重みは複数の２Ｄ医用画像の各々の各画素に割り当てられ、それぞれの集約重みは、特定の（ｘ，ｙ）座標を有する合成２Ｄ読影画像の各画素に対して、ｚ座標を変化させて対応する（ｘ，ｙ）座標を有する複数の２Ｄ医用画像の画素の説明可能重みを集約することにより計算される。
【0014】
第１、第２、第４、第５および第６の態様のさらなる実装では、訓練データセットの視覚的所見の表示は、全体としてのそれぞれの２Ｄ画像について非局在化されており、２Ｄ分類器は、非局在化データを用いて、全体としての入力２Ｄ画像について視覚的所見を示す結果を生成する。
【0015】
第１、第２、第４、第５および第６の態様のさらなる実装では、それぞれの各説明マップの各説明重みは、２Ｄ分類器の結果に対するそれぞれの対応する領域の相対的な影響度を示す。
【0016】
第１、第２、第３、第４、第５および第６の態様のさらなる実装では、合成２Ｄ読影画像のそれぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する複数の説明マップのそれぞれの領域について計算された説明可能重みの加重平均として計算される。
【0017】
第１、第２、第３、第４、第５および第６の態様のさらなる実装では、それぞれの各説明マップは、対応するそれぞれの説明可能重みによって調整されたそれぞれの２Ｄ医用画像の画素に対応する画素強度値を有する複数の画素を含み、合成２Ｄ読影画像は、複数の説明マップの対応するそれぞれの説明可能重みによって調整された画素強度値を集約することによって計算された画素強度値を有する複数の画素を含む。
【0018】
第１、第２、第４、第５および第６の態様のさらなる実装では、３Ｄ医用画像は、ＣＴ、ＭＲＩ、乳房トモグラフィ、デジタル乳房トモシンセシス（ＤＢＴ）、３Ｄ超音波、３Ｄ核画像、およびＰＥＴからなる群から選択される。
【0019】
第１、第２、第３、第４、第５および第６の態様のさらなる実装では、視覚的所見は癌を示す。
【0020】
第１、第２、第３、第４、第５および第６の態様のさらなる実装は、複数の説明マップのサブセットを選択することをさらに含み、各選択された説明マップは、クラスタから除外された他の領域の説明重みよりも要件によって高い説明重みを有する少なくとも１つの領域の少なくとも１つのクラスタを含み、合成２Ｄ画像は、選択されたサブセットから計算される。
【0021】
第４、第５および第６の態様のさらなる実装は、複数の訓練３Ｄ医用画像にアクセスすることと、複数の３Ｄ医用画像のそれぞれの各３Ｄ医用画像に対して、それぞれの３Ｄ医用画像を複数の２Ｄ医用画像に分割することと、そこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に複数の２Ｄ医用画像のそれぞれを入力することと、複数の２Ｄ医用画像のそれぞれの各２Ｄ医用画像に対する複数の説明マップのそれぞれの説明マップを計算することであって、それぞれの説明マップは、それぞれの２Ｄ画像の複数の対応する領域に対応する複数の領域を含み、それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる、計算することと、それぞれの各領域に対するそれぞれの集約重みを含む合成２Ｄ読影画像を計算することであって、それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する複数の説明マップのそれぞれの領域に対して計算された複数の説明可能重みを集約することによって計算される、計算することと、合成２Ｄ読影画像に、そこに描かれた視覚的所見の存在を示すラベルを付与することと、複数の合成２Ｄ読影画像および対応するラベルを含む更新された訓練データセットを生成することと、更新された訓練データセットを用いて２Ｄ分類器の訓練を更新することにより、更新された２Ｄ分類器を生成することと、によって、３Ｄ医用画像の２Ｄ画像の解析のための２Ｄ分類器の更新された２Ｄ分類器を生成することをさらに含む。
【0022】
第２、第３、第４、第５および第６の態様のさらなる実装は、複数の訓練３Ｄ医用画像にアクセスした後、複数の３Ｄ医用画像のそれぞれを、複数の２Ｄ医用画像に分割することと、それぞれの各２Ｄ医用画像に、それぞれの２Ｄ医用画像で描かれた視覚的所見の存在を示すラベルでラベル付けすることであり、ラベルは非局所的であり、それぞれの２Ｄ医用画像全体に付与される、ラベル付けすることと、複数の２Ｄ医用画像と非局所的である関連ラベルとを含む２Ｄ医用画像の訓練データセットを作成することと、訓練データセットを用いて、２Ｄ分類器を訓練することと、をさらに含む。
【0023】
第３、第４、第５および第６の態様のさらなる実装では、複数の２Ｄ医用画像のシーケンスが、大腸内視鏡、内視鏡、気管支鏡、および２Ｄ超音波からなる群から選択される撮像装置によって捕捉される。
【0024】
特に定義しない限り、本明細書で使用されるすべての技術用語もしくは科学用語またはその両方は、本発明が属する技術分野における通常の技術者によって一般的に理解されるのと同じ意味を有する。本明細書に記載されたものと類似または同等の方法および材料が、本発明の実施形態の実践または試験において使用され得るが、例示的な方法もしくは材料またはその両方が以下に記載される。矛盾がある場合は、定義を含む特許明細書が優先される。さらに、材料、方法、および例は、例示に過ぎず、必ずしも限定することを意図していない。
【0025】
本発明のいくつかの実施形態が、添付の図面を参照しながら、例示のためにのみ、本明細書で説明される。ここで図面を詳細に具体的に参照すると、示された特定事項は、例として、本発明の実施形態の例示的な議論のためのものであることが強調される。この点で、図面と共に取られる説明は、本発明の実施形態がどのように実践され得るかを当業者に明らかにするものである。
【図面の簡単な説明】
【0026】
【図1】本発明のいくつかの実施形態による、３Ｄ医用画像から合成２Ｄ読影画像を生成するための方法のフローチャートである。
【図2】本発明のいくつかの実施形態による、３Ｄ医用画像から合成２Ｄ読影画像を生成するための、もしくは３Ｄ医用画像から生成され合成２Ｄ読影画像を用いて２Ｄ分類器を訓練するための、またはその両方のためのシステムの構成要素を示すブロック図である。
【図3】本発明のいくつかの実施形態による、３Ｄ医用画像から生成された合成２Ｄ読影画像を用いて２Ｄ分類器を訓練する方法のフローチャートである。
【図4】本発明のいくつかの実施形態による、３Ｄ画像から２Ｄ画像を計算するための他の標準的なアプローチと比較して、それぞれの合成２Ｄ読影画像を描写する概略図である。
【図5】本発明のいくつかの実施形態による、視覚的所見の存在の最大の可能性を示す最大集約重みを有する最適合成２Ｄ読影画像を生成するための、２Ｄスライスへの３Ｄ医用画像のスライス軸を定義するｚ軸の特定の方向の自動計算を描写する概略図である。
【発明を実施するための形態】
【0027】
本発明は、そのいくつかの実施形態において、医用画像処理に関し、より具体的には、限定的ではないが、３Ｄ医用画像から２Ｄ医用画像を生成するためのシステムおよび方法に関するものである。
【0028】
本発明のいくつかの実施形態の態様は、３Ｄ医用画像を分割することによって作成された複数の２Ｄ医用画像から集約された最も臨床的もしくは診断的またはその両方で重要な領域の表示を含む３Ｄ医用画像から合成２Ｄ読影画像を生成するためのシステム、方法、装置、もしくはコード命令（例えば、メモリ上に記憶されていて１または複数のハードウェアプロセッサによって実行可能）またはその組み合わせに関するものである。３Ｄ医用画像を分割することによって作成された２Ｄ医用画像は、２Ｄ分類器に与えられる。２Ｄ分類器は、そこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセット、任意で２Ｄ画像全体（すなわち非局所的データ）に対して訓練される。２Ｄ分類器は、必ずしも２Ｄ画像内の視覚的所見の位置の表示を提供することなく、入力された２Ｄ画像全体における視覚的所見の存在の非局所的な表示を生成してもよく、例えば、２Ｄ分類器は、視覚的所見の存在についてＹＥＳ／ＮＯ、もしくは２Ｄ画像全体における視覚的所見の存在の確率、またはその両方を出力する二項分類器であり、必ずしもどの画素に視覚的所見が対応するかを示す領域固有の（例えば画素ごとに）出力を生成しない。それぞれの説明マップは、２Ｄ分類器に供給される対応するそれぞれの２Ｄ医用画像について計算される。それぞれの説明マップは、それぞれの２Ｄ画像の領域（例えば、画素間の対応、単一の画素に対応する画素の群）に対応する領域（例えば、単一の画素、画素の群）を含む。それぞれの説明マップのそれぞれの領域は、それぞれの２Ｄ医用画像に供給された２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連付けられる。例えば、相対的に高い重みを有する画素は、それらの画素が、２Ｄ医用画像に存在する視覚的所見の結果を決定する２Ｄ分類器においてより大きな役割を果たしたことを示す。より高い重みを有する画素は、より高い重みの画素によって描かれる領域が臨床的もしくは診断的またはその両方で重要である可能性があることを示す。説明可能な重みは、例えば、人工知能の説明可能性（ＸＡＩ）プロセスを用いて計算され得る。重みを用いて３Ｄボリュームを合成２Ｄ読影画像に投影することにより、合成２Ｄ読影画像が計算される。それぞれの集約重みは、複数の説明マップの対応するそれぞれの領域に対するものである。それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する説明マップのそれぞれの領域に対して計算された説明重みを集約することによって計算され、例えば、２Ｄ画像がｘ－ｙ平面に沿っているとき、集約重みはｘ－ｙ平面内の各領域に対して複数の説明マップのｚ軸に沿って計算される。合成２Ｄ読影画像は、例えば、３Ｄ画像のプレゼンテーションと並行して、ディスプレイ上でのプレゼンテーションのために提供されることがある。２Ｄ読影画像は、例えば、最も高い集約重みを有する合成２Ｄ読影画像の領域に対応する３Ｄ画像の領域に従って、３Ｄ画像のどの領域に焦点を当てるかを決定する際に、閲覧者（例えば、放射線科医）を支援することができる。
【0029】
本明細書に記載されたシステム、方法、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、例えばＣＴ、ＭＲＩ、ＰＥＴ、および３Ｄマンモグラムによって捕捉された３Ｄ医用画像を処理する計算資源を削減する技術的問題に関するものである。本明細書に記載されたシステム、方法、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、合理的な時間で３Ｄ医用画像を処理するために必要な計算リソースを削減することによって、もしくは既存のリソースを使用して３Ｄ医用画像を処理する時間を削減することによって、またはその両方によって、３Ｄ医用画像を処理するコンピュータを改善する。３Ｄ医用画像を処理するには、３Ｄ医用画像に記憶された大量のデータのために、かなりの量の処理リソースもしくはメモリリソースまたはその両方が必要である。このような３Ｄ医用画像の処理には多大な時間を要するため、多数の３Ｄ画像の処理は非現実的である。例えば、３Ｄ畳み込みを適用するニューラルネットワークは、３Ｄ画像を処理するのに多大な時間を要し、もしくは多大な計算資源を使用する、またはその両方である。３Ｄ画像において識別された視覚的所見の位置を計算することは、特に大量の計算資源もしくは大量の処理時間またはその両方を消費する。いくつかの既存のアプローチは、３Ｄ画像を複数の２Ｄスライスに分割し、各スライスを、それぞれの２Ｄスライス内の視覚的所見の位置を特定するように設計された２Ｄ分類器に供給する。しかし、このようなアプローチも、各２Ｄ画像内の各視覚的所見の位置を計算するために、大量の計算資源もしくは大量の処理時間またはその両方を消費する。さらに、２Ｄ分類器もしくは３Ｄ分類器またはその両方を訓練するために、そこに描かれた視覚的所見の位置でラベル付けされた２Ｄ画像もしくは３Ｄ画像またはその両方の訓練データセットを生成するには、このような場合、ラベルは、視覚的所見の位置を特定してラベルを追加するために各２Ｄ画像もしくは３Ｄ画像またはその両方を手動で表示する訓練済みユーザによって手動で追加されるので、集中的に資源を必要とする。このような訓練データセットの作成には多大な労力が必要なため、訓練データセットは数が少なく、画像数も少ない。このような小さな訓練データセットを用いて訓練された分類器は、精度が低くなる可能性がある。
【0030】
本明細書に記載されたシステム、方法、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、３Ｄ医用画像を２Ｄ画像のスライスに分割することによって、上述の技術的問題に対する解決策を提供する、もしくは３Ｄ画像をコンピュータ処理することを改善する、またはその両方である。２Ｄスライスの各々は、２Ｄ画像内の視覚的所見の位置を決定することなく、視覚的所見が２Ｄ画像全体の中に位置するかどうかの表示を出力するように訓練された２Ｄ分類器に供給される。２Ｄ分類器は、画像全体に対する非局所的なラベルでラベル付けされた２Ｄ画像の訓練データセットで訓練されることがある。このようなラベル付けは、例えば、放射線科レポートを解析して画像に描かれた視覚的所見を決定し、それに応じて非局所的ラベルを生成する自然言語処理アプローチに基づいて、自動的に実行されることがある。局所化されたラベルを使用することにより、位置ラベルを使用する場合と比較して、自動化されたアプローチ、もしくは少ない手動もしくは計算資源またはその両方を消費するアプローチ、またはその両方が可能となる。非局所的な結果を出力する２Ｄ分類器は、３Ｄ分類器と比較して、もしくは視覚的所見の位置を出力する２Ｄ分類器、またはその両方と比較して、計算資源もしくは処理時間またはその両方を非常に少なく消費する。３Ｄ画像内の視覚的所見の位置の表示は、本明細書で説明するように、重みを有する説明マップを集約することによって計算される合成２Ｄ読影画像によって計算され、これは、３Ｄ分類器もしくは視覚的所見の位置を出力する２Ｄ分類器またはその両方と比較して、非常に少ない計算資源もしくは処理時間またはその両方を消費する。
【0031】
本明細書に記載されたシステム、方法、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、必ずしも２Ｄ分類器の再訓練を必要とせずに、既存の訓練された２Ｄ分類器と共に使用することができる。例えば、２Ｄ合成画像は、２Ｄ分類器の大幅な適応を必ずしも必要とすることなく、３ＤＣＴ画像の２Ｄスライスを自動的に解析して肺結節を検出する既存の２Ｄ分類器と共に使用することができる。
【0032】
本明細書に記載されたシステム、方法、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装では、２Ｄ分類器を訓練するための訓練データセットを作成するための自動化ツールを使用することができる。例えば、放射線診断レポートを解析して、必ずしも画像内のどこに視覚的所見があるかを示さずに放射線科医が画像内で見つけた視覚的所見を示すラベルを生成する自動ツールである。
【0033】
本明細書に記載されたシステム、方法、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、例えばＣＴ、ＭＲＩ、ＰＥＴ、および３Ｄマンモグラムによって捕捉された３Ｄ画像データにおいて捕捉された視覚的特徴の視認性を改善する技術的問題に関するものである。本明細書に記載のシステム、方法、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、例えば、大腸内視鏡、内視鏡、気管支鏡、もしくは２Ｄ超音波、またはその組み合わせによって捕捉された２Ｄ画像データの映像として捕捉された視覚的特徴の視認性を改善するという技術的問題に関連するものである。
【0034】
本明細書に記載された方法、システム、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、３Ｄ画像もしくは２Ｄビデオまたはその両方に対する２Ｄ参照画像を生成するという技術的問題に対処する、もしくは技術分野を改善する、またはその両方である。２Ｄ参照画像は、３Ｄ画像もしくは２Ｄビデオまたはその両方のナビゲーションを支援するためにユーザによって使用され得る。例えば、２Ｄ参照画像は、３Ｄ画像もしくは２Ｄビデオのフレームまたはその両方における対応する解剖学的領域の閲覧により多くの時間を費やすために、視覚的所見（例えば、癌）を含むために疑わしいと思われる解剖学的領域を決定するのを支援するために、ユーザによって閲覧される。
【0035】
本明細書に記載された方法、システム、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、３Ｄ画像の２Ｄスライスを供給することによって、もしくは２Ｄビデオのフレームを、非局所的な結果を生成する２Ｄ分類器に供給することによって、またはその両方によって、３Ｄ画像もしくは２Ｄ画像のシーケンスまたはその両方の２Ｄ参照画像を生成する、という技術課題を解決する、もしくは技術分野を改善する、またはその両方である。２Ｄ分類器は、非局所的なラベルを有する２Ｄ画像の訓練データセットで訓練される（すなわち、ラベルは２Ｄ画像全体を対象としたもので、２Ｄ画像内の視覚的所見の位置は示されていない）。説明マップは、供給された２Ｄスライスもしくはフレームまたはその両方の各々について計算される。説明マップは、２Ｄ分類器の結果に対する供給された２Ｄスライスもしくはフレームまたはその両方のそれぞれの領域の影響度を示す重みを含む。説明マップの重みを集約することによって、２Ｄ合成画像が作成される。２Ｄ合成画像の視覚的所見を示す画素は、視覚的所見を示さない２Ｄ合成画像の他の画素に対してより高い相対的重みで描かれ、例えば、より明るく表示される。
【0036】
本明細書に記載された方法、システム、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装のアプローチは、３Ｄ画像から２Ｄ参照画像を作成するための他の標準的なアプローチとは異なるものである。例えば、いくつかのアプローチでは、３Ｄ画像は、２Ｄ参照画像を作成するために２Ｄ平面に投影され、これは、例えば、標準的なＣＶＩＥＷのような、いかなるコンテキスト認識も提供しない。このような画像では、重要な視覚的所見は、他の重要でない解剖学的特徴もしくはアーチファクトまたはその両方によって不明瞭になる可能性がある。別の例では、３Ｄ画像は、例えば、最大値投影法（ＭＩＰ）を用いて、文脈認識を用いて２Ｄ参照画像を作成するために、２Ｄ平面に投影される。ＭＩＰは、２Ｄ分類器によって提供される局所情報に基づいて実行される。さらに別のアプローチでは、３Ｄ画像は２Ｄスライスに分割され、各スライスは、それぞれの画像における視覚的所見の位置を示す結果を生成する２Ｄ分類器に入力される。このような２Ｄ分類器は、そこに描かれた視覚的画像の位置がラベル付けされた２Ｄ画像の訓練データセットで訓練される。局所的なデータを有する訓練データセットは、手動によるラベリングを必要とするため作成が困難であり、したがって利用できないか、または限られた数の画像が利用できる可能性があるため、視覚的所見の位置を出力するそのような２Ｄ分類器を生成することは、困難である、もしくはリソースを大量に消費する、またはその両方である。対照的に、本明細書に記載の方法、システム、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実施形態は、２Ｄ分類器を使用して視覚的所見の非局所的な表示を生成する。２Ｄ分類器は、非局所的なラベルを有する訓練データセットで訓練されてもよく、これは、ラベルを自動的に抽出するためのＮＬＰアプローチを使用して放射線科レポートから自動的に作成されてもよい。生成された合成２Ｄ読影画像の位置データは、３Ｄ画像の各２Ｄスライスについて、もしくは２Ｄビデオのフレームについて、またはその両方について計算された説明マップの重みを集約することによって得られる。
【0037】
本明細書に記載された方法、システム、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、２Ｄ画像（例えば、３Ｄ画像のスライス、もしくは２Ｄビデオのフレーム、またはその両方）において視覚的所見の非局所的な表示を生成する２Ｄ分類器の精度を高めるという、技術問題に対処する、もしくは技術分野を改善する、またはその両方である。分類器の精度は、訓練データセットの３Ｄ画像もしくは２Ｄ動画またはその両方についてそれぞれの合成２Ｄ読影画像（本明細書に記載）を計算し、３Ｄ画像の２Ｄスライスもしくは動画のフレームまたはその両方に対する訓練に加えて、または代替的に、合成２Ｄ読影画像に対して２Ｄ分類器を訓練することによって向上する。
【0038】
本明細書に記載された方法、システム、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、３Ｄ画像における重要な視覚的所見を識別する能力を向上させるという、技術的問題に対処する、もしくは技術分野を改善する、またはその両方である。最適でない向きで３Ｄ画像を見ると、重要な視覚的所見が妨害される可能性がある。例えば、肝臓に位置する小さな腫瘍は、特定の閲覧方向では、他の解剖学的特徴によって、もしくはアーチファクトによって、またはその両方によって、不明瞭になることがある。本明細書に記載された方法、システム、装置、もしくはコード命令、またはその組み合わせの少なくともいくつかの実装は、他の解剖学的特徴もしくはアーチファクトまたはその両方による視覚的所見の妨害を最小化するための３Ｄ医用画像の最適な閲覧方向を計算することによって、技術的問題に対する技術的解決法を提供する、もしくは技術分野を改善する、またはその両方である。最適な閲覧方向は、例えば、クラスタにおいて、説明マップの集約重みが最大化されたそれぞれの合成２Ｄ読影画像を生成するために、３Ｄ医用画像がスライスされる対応する軸として計算される。集約重みの最大化（例えば、クラスタ内）は、視覚的所見の最良のビューを示す。３Ｄ画像は、ユーザに対して最適な表示方向で提示され得る。
【0039】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明に記載された、もしくは図面もしくは実施例またはその両方に例示された、またはその両方である構成要素もしくは方法またはその両方の構成および配置の詳細に必ずしも限定されないことを理解されたい。本発明は、他の実施形態、または様々な方法で実施または実行することが可能である。
【0040】
本発明は、システム、方法もしくはコンピュータプログラム製品またはそれらの組み合せとすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を記憶したコンピュータ可読記憶媒体を含んでよい。
【0041】
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な一例としては、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、および上記の適切な組み合せが挙げられる。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。
【0042】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくはワイヤレスネットワークまたはその組み合わせ）を介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバーまたはその組み合わせで構成される。各コンピューティング／処理装置のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。
【0043】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語や類似のプログラミング言語などの手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、または（例えば、インターネットサービスプロバイダーを使用したインターネット経由で）外部コンピュータに接続されてよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。
【0044】
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に記載されている。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されよう。
【0045】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／動作を実装するための手段を生成するように、機械を生成するために汎用コンピュータ、専用コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置に提供されることができる。これらのコンピュータ可読プログラム命令はまた、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為の態様を実装する命令を含む生成品の１つを命令が記憶されたコンピュータ可読プログラム命令が構成するように、コンピュータ、プログラム可能なデータ処理装置、もしくは特定の方法で機能する他のデバイスまたはその組み合わせに接続可能なコンピュータ可読記憶媒体の中に記憶されることができる。
【0046】
コンピュータ、他のプログラム可能な装置、または他のデバイス上でフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックで指定された機能／行為を実行する命令のように、コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能な装置、または他のデバイス上で一連の操作ステップを実行し、コンピュータ実装された過程を生成することができる。
【0047】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品が実行可能な実装の構成、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してよく、これは、指定された論理機能を実装するための１つまたは複数の実行可能命令を構成する。いくつかの代替の実施形態では、ブロックに示されている機能は、図に示されている順序とは異なる場合がある。例えば、連続して示される２つのブロックは、実際には、実質的に同時に、部分的または全体的に時間的に重複する方法で実行されるか、またはブロックは、関係する機能に応じて逆の順序で実行される場合がある。ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアとコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できることにも留意されたい。
【0048】
ここで、本発明のいくつかの実施形態による、３Ｄ医用画像から合成２Ｄ読影画像を生成する方法のフローチャートである図１を参照するものとする。また、本発明のいくつかの実施形態による、３Ｄ医用画像から合成２Ｄ読影画像を生成するため、もしくは３Ｄ医用画像から生成された合成２Ｄ読影画像を使用して２Ｄ分類器を訓練するため、またはその両方のシステム２００のコンポーネントのブロック図である図２も参照されたい。本発明のいくつかの実施形態による、３Ｄ医用画像から生成された合成２Ｄ読影画像を用いて２Ｄ分類器を訓練するための方法のフローチャートである図３も参照されたい。システム２００は、コンピューティングデバイス２０４の１または複数のハードウェアプロセッサ２０２がメモリ（プログラムストアとも呼ばれる）２０６に記憶されたコード命令を実行することによって、図１もしくは図３またはその両方を参照して説明した方法の特徴を実施することができる。
【0049】
コンピューティングデバイス２０４は、例えば、クライアント端末、サーバ、放射線科ワークステーション、仮想マシン、仮想サーバ、コンピューティングクラウド、モバイルデバイス、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、眼鏡コンピュータ、および時計コンピュータとして実装され得る。
【0050】
コンピューティングデバイス２０４は、時には放射線科ワークステーションもしくは他の装置またはその両方にアドオンされる高度な視覚化ワークステーションを含むことがある。
【0051】
コンピューティングデバイス２０４もしくはクライアント端末２０８またはその両方、もしくはサーバ２１８またはその両方は、例えば、放射線科ワークステーション、画像閲覧ステーション、画像保存通信システム（ＰＡＣＳ）サーバ、および電子医用記録（ＥＭＲ）サーバとして実装され得る。
【0052】
コンピューティングデバイス２０４に基づくシステム２００の複数のアーキテクチャが実装され得る。例示的な実装では、コード２０６Ａを記憶するコンピューティングデバイス２０４は、ネットワーク２１０を介して１または複数のサーバ２１８もしくはクライアント端末２０８またはその両方にサービス（例えば、図１を参照して説明した行為の１または複数）を提供する１または複数のサーバ（例えば、ネットワークサーバ、Ｗｅｂサーバ、コンピューティングクラウド、仮想サーバ）として実装されてよく、例えば、サービスとしてのソフトウェア（ＳａａＳ）をサーバ２１８もしくはクライアント端末２０８またはその両方に提供、ソフトウェアインタフェース（例えば、アプリケーションプログラミングインタフェース（ＡＰＩ）、ソフトウェア開発キング（ＳＤＫ））を使用してアクセス可能なソフトウェアサービスを提供すること、サーバ２１８もしくはクライアント端末２０８またはその両方にローカルダウンロード用のアプリケーションを提供すること、もしくは、ウェブブラウザもしくは閲覧アプリケーションまたはその両方を介してなど、サーバ２１８もしくはクライアント端末２０８またはその両方へのリモートアクセスセッションを使用して機能を提供すること、またはその組み合わせである。例えば、ユーザは、クライアント端末２０８を使用して、ＰＡＣＳサーバまたは他の医用画像保存サーバとして機能するコンピューティングデバイス２０４にアクセスする。コンピューティングデバイス２０４は、クライアント端末２０８によって提供された、もしくは別のデータソース（例えば、ＰＡＣＳサーバ）から取得した、またはその両方である３Ｄ医用画像から合成画像を計算する。合成画像は、クライアント端末２０８のディスプレイ上（例えば、３Ｄ医用画像のプレゼンテーションの横）でのプレゼンテーションのためにクライアント端末２０８に提供される、もしくは、さらなる処理もしくは記憶またはその両方のために提供される、またはその両方である場合がある。代替的にまたは追加的に、合成画像は、本明細書で説明するように、２Ｄ分類器２２０Ｃの訓練を更新するために使用される。更新された２Ｄ分類器２２０Ｃは、例えば、本明細書で説明されるように使用されてもよい。他の機能は、コンピューティングデバイス２０４によって中央で、もしくはクライアント端末２０８でローカルに、またはその両方で実行されてもよい。別の実施形態では、コンピューティングデバイス２０４は、例えば、自己完結型のクライアント端末もしくはサーバまたはその両方として、図１もしくは図３またはその両方を参照して説明される行為のうちの１または複数を実行するローカルに記憶されたソフトウェア（例えば、コード２０６Ａ）を含んでもよい。合成画像は、３Ｄ画像もしくは２Ｄフレームまたはその両方からローカルに計算されてもよく、合成画像は、コンピューティングデバイス２０４のディスプレイ上に提示されてもよい。さらに別の実施態様では、サーバ２１８が医用画像保存サーバとして実装される。ユーザは、クライアント端末２０８を使用して、サーバ２１８から合成画像にアクセスする。合成画像は、サーバ２１８もしくはコンピューティングデバイス２０４またはその両方によって、サーバ２１８もしくは別の場所またはその両方に記憶されているかもしれない３Ｄ画像もしくは２Ｄフレームまたはその両方を用いてローカルに計算されることがある。合成画像は、クライアント端末２０８のディスプレイ上に提示される。コンピューティングデバイス２０４は、画像サーバ２１８によって記憶された３Ｄ画像もしくは２Ｄフレームまたはその両方から合成画像を計算することによって、画像サーバ２１８に拡張機能を提供することができる。例えば、ＰＡＣＳサーバ２１８は、ＡＰＩを使用してコンピューティングデバイス２０４と通信し、３Ｄ画像もしくは合成画像またはその両方をコンピューティングデバイス２０４に転送するため、もしくは計算された合成画像を受信するため、またはその両方のために通信する。
【0053】
コンピューティングデバイス２０４は、医用撮像装置２１２によって捕捉された３Ｄ医用画像もしくは２Ｄ画像またはその両方（例えば、ビデオとして得られる）を受信する。医用撮像装置２１２は、例えば、ＣＴ、ＭＲＩ、乳房トモグラフィ、３Ｄ超音波、もしくはＰＥＴなどの核画像、またはその組み合わせなどの３Ｄ画像を捕捉してもよい。代替的にまたは追加的に、医用撮像装置２１２は、例えば、大腸内視鏡、気管支内視鏡、内視鏡、および２Ｄ超音波の２Ｄ画像の映像を捕捉してもよい。
【0054】
医用撮像装置２１２によって捕捉された医用画像は、例えば、ストレージサーバ、コンピューティングクラウド、仮想メモリ、ハードディスクなどの解剖学的画像リポジトリ２１４に記憶されてもよい。本明細書で説明するように、３Ｄ画像を分割することによって作成される２Ｄ画像２２０Ｄ、もしくは、２Ｄスライスもしくは動画として取り込まれる２Ｄフレームまたはその両方、またはその両方は、医用画像リポジトリ２１４の中、もしくは、コンピューティングデバイス２０４のデータ記憶装置２２０もしくは別のサーバ２１８またはその両方などの他の場所の中、またはその両方に記憶されてもよい。図２に描かれているようなデータ記憶装置２２０による２Ｄ画像２２０Ｄの保存は、必ずしも限定的でない一例である。
【0055】
コンピューティングデバイス２０４は、例えば、有線接続（例えば、物理ポート）、無線接続（例えば、アンテナ）、ネットワークインタフェースカード、他の物理インタフェース実装、もしくは仮想インタフェース（例えば、ソフトウェアインタフェース、アプリケーションプログラミングインタフェース（ＡＰＩ）、ソフトウェア開発キット（ＳＤＫ）、仮想ネットワーク接続）、またはその組み合わせなどの１または複数のイメージングインタフェース２２６を介して３Ｄ画像もしくは２Ｄフレームまたはその両方、もしくは２Ｄ医用画像のシーケンス、またはその両方を受信することがある。
【0056】
メモリ２０６は、ハードウェアプロセッサ２０２によって実行可能なコード命令を格納する。例示的なメモリ２０６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、記憶装置、不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、取り外し可能ストレージ、および光学媒体（例えば、ＤＶＤ、ＣＤ－ＲＯＭ）などを含む。例えば、メモリ２０６は、図１もしくは３またはその両方を参照して説明される方法の１または複数の行為を実行するコード２０６Ａを有することができる。
【0057】
コンピューティングデバイス２０４は、データを記憶するためのデータ記憶装置２２０（例えば、ＧＵＩコード２２０Ａ（３Ｄ画像の横など、合成画像を提示することができる）、説明マップを計算するＸＡＩコード２２０Ｂ、２Ｄ画像を入力として受信する２Ｄ分類器、もしくは３Ｄ医用画像を分割して得られるもしくは本明細書に記載されているようにビデオのフレームとして得られるまたはその両方である２Ｄ画像２２０Ｄ、またはその組み合わせ）を含む場合がある。データ記憶装置２２０は、例えば、メモリ、ローカルハードドライブ、取り外し可能な記憶装置、光ディスク、記憶装置、仮想メモリとして、もしくは、リモートサーバ２１８もしくはコンピューティングクラウドまたはその両方（例えば、ネットワーク２１０を介してアクセスされる）として、またはその両方として実装され得る。ＧＵＩ２２０Ａおよび／またはＸＡＩコード２２０Ｂおよび／または２Ｄ分類器２２０Ｃおよび／または２Ｄ画像２２０Ｄは、例えば、プロセッサ２０２による実行のために実行部分がメモリ２０６にロードされてデータ記憶装置２２０に記憶され得ることに留意されたい。
【0058】
コンピューティングデバイス２０４は、ネットワーク２１０に接続するためのデータインタフェース２２２、任意でネットワークインタフェース（例えば、ネットワークインタフェースカード、無線ネットワークに接続するための無線インタフェース、ネットワーク接続用のケーブルに接続するための物理インタフェース、ソフトウェアで実装された仮想インタフェース、ネットワーク接続の上位層を提供するネットワーク通信ソフトウェア、もしくは他の実装、またはその組み合わせのうちの１または複数）を含み得る。
【0059】
コンピューティングデバイス２０４は、ネットワーク２１０（または、直接リンク（例えば、ケーブル、無線）もしくは間接リンク（例えば、サーバなどの中間コンピューティングユニットを介して、もしくはストレージデバイスを介して、またはその両方などの他の通信チャネル）を使用して、以下の１または複数を使用して接続することができる。
【0060】
＊クライアント端末２０８、例えば、ユーザは、サーバ（例えば、コンピューティングデバイス２０４がＰＡＣＳサーバとして機能する）に記憶された３Ｄ画像に基づいて（もしくは２Ｄ画像のシーケンスに基づいて、またはその両方で）計算された合成画像を見るためにコンピューティングデバイス２０４にアクセスするクライアント端末２０８を使用する。合成画像は、コンピューティングデバイス２０４によって、もしくはクライアント端末２０８によって、またはその両方によって計算され得る。
【0061】
＊サーバ２１８、例えば、サーバ２１８がＰＡＣＳサーバとして実装されている場合、ユーザはクライアント端末２０８を使用してＰＡＣＳサーバにアクセスする。コンピューティングデバイス２０４は、ＰＡＣＳサーバに拡張機能を提供し、ＰＡＣＳサーバから３Ｄ画像もしくは２Ｄビデオフレームまたはその両方を受信し、合成画像をＰＡＣＳサーバに提供し、クライアント端末はＰＡＣＳサーバから合成画像をアクセスする。
【0062】
＊捕捉された３Ｄ画像および／または２Ｄビデオフレームおよび／または合成画像を記憶する医用画像リポジトリ２１４。医用画像リポジトリ２１４は、３Ｄ画像を分割することによって作成された２Ｄ画像を記憶することができる。
【0063】
コンピューティングデバイス２０４および／またはクライアント端末２０８および／またはサーバ２１８は、合成画像および／または３Ｄ画像および／またはビデオフレームを提示するためのディスプレイと、および／または３Ｄ画像の視軸の回転、合成画像もしくは３Ｄ画像またはその両方のズーミング、および／または合成画像上のマーキングのような、合成画像もしくは３Ｄ画像またはその両方との相互作用を行う機構と、を含む１または複数の物理ユーザインタフェース２２４を含む、もしくはそれらと通信している、またはその両方である。例示的なユーザインタフェース２２４は、例えば、タッチスクリーン、ディスプレイ、キーボード、マウス、およびスピーカーとマイクを使用する音声起動ソフトウェアのうちの１または複数を含む。
【0064】
ここで図１に戻って参照すると、１０２において、３Ｄ医用画像が取得される。あるいは、２Ｄ画像のシーケンスが取得される。２Ｄ医用画像のシーケンスは、時間間隔をおいて動画として捕捉される場合がある。２Ｄ医用画像は、時間的に間隔を空けて、例えば、１秒あたりの２Ｄフレーム、または他の値であってもよい。２Ｄ画像のシーケンスは、身体の領域に沿った異なる位置で得られてもよく、例えば、結腸に沿って、食道に沿って、気管に沿って、もしくは身体に沿った異なる２Ｄスライス（例えば、肝臓の２Ｄ超音波スライス）、またはその組み合わせのような、身体内の３Ｄボリュームを効果的に描写する。
【0065】
３Ｄ医用画像の例として、以下のものがある：ＣＴ、ＭＲＩ、乳房トモグラフィ、デジタル乳房トモシンセシス（ＤＢＴ）、３Ｄ超音波、３Ｄ核画像、およびＰＥＴ。
２Ｄ医用画像の例として、以下のものがある：大腸内視鏡、内視鏡、気管支内視鏡、２Ｄ超音波。
２Ｄ医用画像の例として、以下のものがある：大腸内視鏡、内視鏡、気管支内視鏡、２Ｄ超音波。
【0066】
１０４では、３Ｄ医用画像は、２Ｄ画像、任意で２Ｄスライスに分割される場合がある。２Ｄスライスは、互いに平行であり、共通のスライス平面に沿ってスライスされてもよい。３Ｄ医用画像は、（例えば、ＰＡＣＳサーバによって、ＣＴ装置によって、ＤＩＣＯＭベースのコードによって、表示ソフトウェアによって）予め定義された軸に沿って２Ｄスライスに自動的に分割されてもよい。あるいは、スライス軸は、例えば、本明細書で説明されるように、ユーザによって選択される、もしくはコードによって自動的に選択される、またはその両方である。
【0067】
２Ｄ画像のシーケンスは、すでに分割されていると考えられる。任意選択で、別のスライス軸を得るために、２Ｄ画像のシーケンスから３Ｄ画像を再構成することができ、３Ｄ再構成された画像は、選択された軸に沿ってスライスされる。
【0068】
１０６では、それぞれの２Ｄ医用画像が２Ｄ分類器に入力される。
【0069】
任意選択で、２Ｄ分類器は、その中に描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで以前に訓練されている。
【0070】
任意選択で、訓練データセットの視覚的所見の表示は、非局所的である。訓練２Ｄ医用画像は、視覚的所見が画像内のどこに位置しているかを示すことなく、全体としてそれぞれの訓練２Ｄ医用画像における視覚的所見の存在または不在を示すラベルと関連付けられる場合がある。２Ｄ分類器は、非局在化データを用いて、全体として入力２Ｄ画像に対する視覚的所見を示す結果を生成し、例えば、全体として画像に対する視覚的所見の存在または不在を示すＹＥＳ／ＮＯ値を出力する。
【0071】
任意選択で、視覚的所見は、例えば、乳癌、肺結節、結腸癌、脳腫瘍、膀胱癌、腎臓癌および転移性疾患のような癌の徴候である。あるいは、他の視覚的所見が定義されてもよい。癌は、癌の治療に適した治療法、任意に癌の種類に適した治療法、例えば、手術、化学療法、放射線療法、免疫療法、および前述の組み合わせなどを適用することによって治療されてもよい。
【0072】
１０８において、それぞれの説明マップは、それぞれの２Ｄ医用画像に対して計算される。説明マップは、それぞれの２Ｄ画像の領域に対応する複数の領域を含み、例えば、説明マップのそれぞれの各画素は２Ｄ画像のそれぞれの各画素に対応し、説明マップのそれぞれの画素の群（例えば、２ｘ２、３ｘ３、または他の領域）は２Ｄ画像の単一の画素に対応し、説明マップの単一のそれぞれの画素は２Ｄ画像の画素の群に対応し、もしくは説明マップのそれぞれの画素の群は２Ｄ画像の画素の群に対応する、またはその組み合わせである。それぞれの説明マップのそれぞれの各領域は、計算された説明可能重みに関連付けられる。説明可能重みは、それぞれの２Ｄ医用画像を与える２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示すものである。それぞれの各説明マップの各説明可能な重みは、２Ｄ分類器の結果に対するそれぞれの対応する領域の相対的な影響度（例えば、第１の画素は５０の重みを有し、第２の画素は１０の重みを有する）を示すことができ、第１の画素は、視覚的所見の２Ｄ分類器の決定において第２の画素より５倍重要であることを示す。任意選択で、それぞれの各説明マップの複数の領域の説明可能な重みの合計は１００％（または１）であってもよく、または重みの合計は必ずしも固定値である必要はない。
【0073】
説明マップは、ヒートマップとして実装することができる。
【0074】
説明マップは、２Ｄ分類器の決定に最も影響度を与える領域の重み（例えば、画素ごと、または画素の群ごと）を計算するＸＡＩコードを使用して計算され、任意にヒートマップを生成することができる。例示的なＸＡＩコードは、例えば、以下をを参照して説明されている：R. C. FongとA. Vedaldi. Interpretable explanations of black boxes by meaningful perturbation. arXiv preprint arXiv:1704.03296,2017,、もしくは、 Shoshan,Y. とRatner,V. ,2018. Regularized adversarial examples for model interpretability. arXiv preprintarXiv:1811.07311.、またはその両方。
【0075】
説明マップは、対応するそれぞれの説明可能重みによって調整されたそれぞれの２Ｄ医用画像の画素に対応する画素強度値を有する画素を含み得る。例えば、２Ｄ画像の特定の画素が７５の画素強度値を有する可能性がある場合、対応する説明可能重みは０．６として計算され、説明マップの画素強度値４５を得る。
【0076】
数学的表現の観点から、３Ｄ画像をＶ、説明マップ（例えば、ヒートマップ）をＨと表記することができ、３Ｄ画像のボクセルをＶ（ｘ，ｙ，ｚ）、ボリュームＶのスライス番号ｚを与えたときの２Ｄ分類器の決定への影響度を示す対応する説明可能重みをＨ（ｘ，ｙ，ｚ）と表記する。
【0077】
１１０では、１０６～１０８を参照して説明した特徴が、２Ｄ医用画像について、順次もしくは並行してまたはその両方で反復され得る。任意選択で、１０６～１０８は、２Ｄ医用画像の各々について反復される。あるいは、２Ｄ医用画像のサブセットが、例えば、均一サンプリングによって選択される。サンプリングされた２Ｄ医用画像のサブセットは、１０６～１０８を参照して説明したように処理され得る。
【0078】
１１２において、説明マップのサブセットは、合成２Ｄ画像の作成のために選択されることがある。説明マップは、要件を満たす説明重みの１または複数の領域の１または複数のクラスタを含むことに応じて選択されてもよく、例えば、クラスタは、クラスタから除外された他の領域の説明重みよりも高い総説明重み値、もしくは閾値もしくは範囲またはその両方による高い平均説明重み値、またはその両方を持っている。例えば、クラスタに含まれる画素の重みは、クラスタに含まれない画素よりも少なくとも０．５より大きくなる。別の例では、閾値を超える説明重みのクラスタは、少なくとも最小の次元を有する。例えば、クラスタは、０．６より大きい説明重みを有する、および／または少なくとも５ｘ５画素、もしくは１０ｘ１０画素、および／または０．７より大きい平均説明重み、もしくは他の値を有する画素の群として定義される。
【0079】
１１４では、合成２Ｄ読影画像が複数の説明マップから計算される。合成２Ｄ読影画像は、そのそれぞれの各領域について、例えば画素ごとまたは画素の群ごと（例えば、２ｘ２、３ｘ３、または他の寸法）のそれぞれの集計重みを含む。それぞれの各集約重みは、計算された合成２Ｄ読影画像の対応するそれぞれの領域における視覚的所見の存在のそれぞれの可能性を示すことができる。
【0080】
合成２Ｄ読影画像は、説明マップの重みを介して、３Ｄ画像を２Ｄ画像に投影したものであってもよい。
【0081】
それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する説明マップのそれぞれの領域について計算された説明可能重みを集約することによって計算される。任意選択で、２Ｄ医用画像の各々は、３Ｄ医用画像のボクセルに対応する画素を含む。それぞれの各説明可能重みは、２Ｄ医用画像の各々の各画素に割り当てられる。それぞれの集約重みは、ｚ座標を変化させるために対応する（ｘ，ｙ）座標を有する２Ｄ医用画像の画素の説明可能重みを集約することによって、特定の（ｘ，ｙ）座標を有する合成２Ｄ読影画像の各画素について計算されてもよい。例えば、３Ｄ医用画像をｚ軸に沿って２Ｄスライスに分割することによって得られる２Ｄ医用画像について、それぞれの集約重みは、ｘ軸およびｙ軸に沿った共通のｘ，ｙ座標と、スライス番号を示し得るｚ軸に沿った変化するｚ座標とを有する２Ｄスライスのそれぞれの領域（例えば、画素または画素の群）に対して計算される。例えば、５つの説明マップの（ｘ，ｙ，ｚ）座標（１０，１５，１）、（１０，１５，２）、（１０，１５，３）、（１０，１５，４）、（１０，１５，５）における説明可能重みは、単一の集約重みに集約されて、合成２Ｄ画像の（ｘ，ｙ）座標（１０，１５）における画素に割り当てられる。合成２Ｄ画像の座標（１０，１５）における集約重みは、３Ｄ画像の（ｘ，ｙ，ｚ）座標（１０，１５，ｚ）におけるボクセルに対応し、ｚは３Ｄ画像のｚ値の範囲にわたって可変である。
【0082】
合成２Ｄ読影画像のそれぞれの各集約重みは、例えば、合成２Ｄ読影画像のそれぞれの領域に対応する説明マップのそれぞれの領域について計算された説明可能重みの加重平均として、平均値、中央値、和、最大値、またはモードとして計算され得る。
【0083】
任意選択で、説明マップが、対応するそれぞれの説明可能重みによって調整されたそれぞれの２Ｄ医用画像の画素に対応する画素強度値を有する画素を含むとき、合成２Ｄ読影画像は、説明マップの対応するそれぞれの説明可能重みによって調整された画素強度値を集約することによって計算された画素強度値を有する画素を含む。
【0084】
数学的表現の観点から、２Ｄ合成画像はＣと表記され、（ｘ，ｙ）と表記される全ての画素は、Ｖ（ｚ，ｙ，：）と表記されるスライス（例えば、全てのスライス）の集合体であり、（Ｈ（ｘ，ｙ，：））と表記されるそれぞれの説明マップ（例えば、ヒートマップ）の重みによって重み付けされて、次の例の式が成立する。
【0085】
Ｃ（ｘ,ｙ）＝sum_over_ｚ（Ｈ（ｘ,ｙ,ｚ）＊Ｖ(ｘ,ｙ,ｚ））／sum_over_ｚ（Ｈ（ｘ,ｙ,ｚ））
【0086】
１１６では、任意選択で、合成２Ｄ画像に対する最適な視野角が計算される。３Ｄ画像は、決定された最適な視野角で提示され得る。最適な視野角は、３Ｄ画像内の視覚的所見の最小の閉塞を表す。
【0087】
最適な視野角は、説明マップの重みを介して３Ｄ画像を合成２Ｄ画像に投影するための最適な角度を表し得る。
【0088】
最適な視野角は、３Ｄ画像から２Ｄスライスを作成するために使用されるスライス角、すなわち、３Ｄ医用画像を２Ｄスライスにスライスする軸を定義するｚ軸の特定の向きに対応し得る。最適な視野角でスライスされた２Ｄスライスは、視覚的所見の最小の閉塞を示す最大の集約重みを有する最適な合成２Ｄ読影画像を生成するために使用される。最適な視野角は、例えば、異なる最適な視野角について計算された複数の合成２Ｄ画像（例えば、ランダムに選択される、もしくは予め定義された値から順次開始する、またはその両方である）を評価することによって、順次もしくは並列またはその両方の試行錯誤によって選択されてよく、最適な視野角は、３Ｄ画像が最適な視野角で提示されると３Ｄ画像内の視覚的所見の最小閉塞を有する最適な合成２Ｄ画像に従って選択される。代替的または追加的に、最適な視野角は、例えば、３Ｄ画像もしくは合成２Ｄ画像またはその両方を解析して最適な向きを選択するコードに基づいて計算され得る。
【0089】
最適な視野角は、例えば、３Ｄ画像を２Ｄ画像に初期分割する前に（例えば、１０４を参照して説明したように）、および／または試行錯誤プロセスにおいて、もしくはプロセスの他の適切な部分において、またはその両方において１０４～１１４を反復することによって、合成２Ｄ画像を計算もしくは提示またはその両方を行うプロセスの１または複数の特徴で決定することができるということに注意されたい。
【0090】
１１８において、２Ｄ合成画像は、例えば、ディスプレイ上に提示され、メモリ上もしくはデータ記憶装置またはその両方（例えば、ＰＡＣＳサーバ）内に記憶され、別の装置に（例えば、ＰＡＣＳサーバからその上で見るためにクライアント端末に）転送されるために提供され、および／または、別の処理、例えば、別の分類器に供給され、２Ｄ分類器に供給され、もしくは２Ｄ分類器の訓練を更新するために使用される、またはその組み合わせに提供される。
【0091】
任意選択で、２Ｄ合成画像は、３Ｄ画像と同時に、例えば、隣同士で提示される。２Ｄ合成画像は、例えばＣＶＩＥＷを使って３Ｄ画像のために作成された標準的な要約画像と置き換えることができる。
【0092】
任意選択で、決定された視軸の最適角度に従って最適な２Ｄ合成画像が計算されると、ディスプレイ上の３Ｄ医用画像の提示は、最適な視軸に対応する（例えば、ｚ軸の）向きに自動的に調整され得る。
【0093】
１２０では、１０４～１１８を参照して説明した１または複数の特徴が反復され、任意選択で、例えば、例えばリアルタイムのユーザナビゲーションに従って、３Ｄ画像のリアルタイムの視軸に対応するように２Ｄ合成画像を動的に更新する。
【0094】
ユーザは、ディスプレイ上に提示された３Ｄ画像の視軸の角度を調整することができる。３Ｄ画像の視軸のリアルタイム値は、追跡されてもよい。３Ｄ医用画像を２Ｄスライスにスライスする軸を定義するｚ軸の向き（例えば、１０４を参照して説明したような）は、ディスプレイ上に提示された３Ｄ医用画像を見るユーザによって選択される視軸のリアルタイム値に従って設定されてもよい。現在の合成２Ｄ読影画像は、視軸の値に対応するｚ軸に基づいて計算される（例えば、１０６～１１４を参照して説明されるように）。現在の合成２Ｄは、３Ｄ医用画像と並んでディスプレイ上に提示される（例えば、１１８を参照して説明されるように）。ディスプレイ上に提示された３Ｄ医用画像の視軸の値の変化が動的に検出される（例えば、１２０を参照して説明されるように）。更新された合成２Ｄ読影画像は、視軸の値の変化に基づいて動的に計算される（例えば、１０６～１１４を参照して説明したように）。ディスプレイは、更新された合成２Ｄ読影画像を提示することによって動的に更新される（例えば、１１８を参照して説明されるように）。
【0095】
ここで図３に戻って参照すると、３０２において、複数のサンプル被験者の訓練３Ｄ医用画像がアクセスされる。訓練３Ｄ医用画像は、任意選択で、同じタイプの視覚的所見を見つけるための、同じ身体位置を描写する、同じタイプの画像モダリティのすべて、例えば、肺結節を見つけるためのすべての胸部ＣＴスキャン、もしくは乳癌を見つけるためのすべての３Ｄマンモグラム、またはその両方である。
【0096】
３０４では、それぞれの３Ｄ医用画像は、例えば、図１の１０４を参照して説明されるように、複数の２Ｄ医用画像に分割される。
【0097】
３０６では、それぞれの２Ｄ医用画像（例えば、各１つ）は、例えば、図１の１０６を参照して説明されるように、そこに描かれた視覚的所見の表示でラベル付けされた２Ｄ医用画像の訓練データセットで訓練された２Ｄ分類器に入力される。
【0098】
３０８において、それぞれの２Ｄ医用画像に対するそれぞれの説明マップが計算される。それぞれの説明マップは、それぞれの２Ｄ画像の領域に対応する領域を含む。それぞれの説明マップのそれぞれの各領域は、それぞれの２Ｄ医用画像を与えた２Ｄ分類器の結果に対するそれぞれの２Ｄ医用画像のそれぞれの対応する領域の影響度を示す計算された説明可能重みに関連づけられる。例えば、図１の１０８を参照して説明されるようにである。
【0099】
３１０では、それぞれの合成２Ｄ読影画像が計算される。合成２Ｄ読影画像は、そのそれぞれの各領域に対するそれぞれの集約重みを含む。それぞれの各集約重みは、合成２Ｄ読影画像のそれぞれの領域に対応する説明マップのそれぞれの領域に対して計算された説明可能重みを集約することによって計算される。例えば、図１の１１０を参照して説明されるようにである。
【0100】
３１２では、それぞれのラベルが、そこに描かれた視覚的所見の存在を示す合成２Ｄ読影画像に付与される。ラベルは、例えば、３Ｄ画像もしくは合成２Ｄ読影画像またはその両方の手動視覚検査に基づいてユーザによって手動で、もしくは、例えば、視覚的所見を抽出するために３Ｄ画像について作成された放射線学レポートを分析する自然言語処理（ＮＬＰ）コードによって自動で、またはその両方で作成することができる。
【0101】
３１４では、それぞれの合成２Ｄ読影画像および対応するラベルが、更新された訓練データセットに追加され得る。
【0102】
３１６では、３０４～３１４を参照して説明される１または複数の特徴が、複数の訓練３Ｄ医用画像について、任意選択で各３Ｄ医用画像について、反復される。
【0103】
３１８では、更新された訓練データセットを用いて２Ｄ分類器の訓練を更新することにより、更新された２Ｄ分類器が作成され得る。更新された２Ｄ分類器は、例えば、図１の１０６を参照して説明されたプロセスにおいて、もしくは図３の３０６において、またはその両方で使用される、新しい合成２Ｄ画像の作成に使用されてもよい。
【0104】
任意選択で、３２０において、３０２のように訓練３Ｄ医用画像にアクセスした後、および３０４のように３Ｄ画像が分割された後、２Ｄ分類器の作成もしくは更新またはその両方がなされることがある。それぞれの各２Ｄ医用画像は、それぞれの２Ｄ医用画像とともに描かれた視覚的所見の存在を示すラベル（例えば、本明細書で説明されるように、手動もしくは自動またはその両方で作成される）と関連付けられることがある。ラベルは、非局所的であってもよく、すなわち、全体としてそれぞれの２Ｄ医用画像に付与される。２Ｄ医用画像の訓練データセットは、２Ｄ医用画像および３Ｄ医用画像から非局所的に作成された関連ラベルを含むことによって作成されてもよい。２Ｄ分類器は、訓練データセットを用いて作成もしくは更新またはその両方がなされてもよい。
【0105】
ここで、図４を参照すると、本発明のいくつかの実施形態による、３Ｄ画像から２Ｄ画像を計算するための他の標準的なアプローチと比較して、それぞれの合成２Ｄ読影画像４００Ａ、４００Ｂ、および４００Ｃを描写する概略図である。
【0106】
合成２Ｄ読影画像４００Ａ、４００Ｂ、および４００Ｃは、３Ｄ画像のｚ軸に沿ってスライスされた２Ｄ画像について、ｙ軸の特定の固定ｙ値について、ｘ軸に沿ったｘ値のセットについて（例えば、画素の水平ラインについて）計算される。合成２Ｄ読影画像４００Ａ、４００Ｂ、および４００Ｃは、合成読影線とも呼ばれる画素の水平線を表す。画素の水平線は、説明を明瞭かつ簡略化するために描かれている。完全な合成２Ｄ読影画像は、ｙ軸に沿った複数の平行な水平画素線を含むことを理解されたい。
【0107】
合成２Ｄ読影画像４００Ａ、４００Ｂ、および４００Ｃの各々は、Ｆ（ｘ，ｙ，ｚ）と示される共通の３Ｄ信号に基づいており、これについては３Ｄ画像４０２が示されており、すなわち各２Ｄスライスの同じｙ値における画素の単一水平線が描かれている。３Ｄ画像４０２内で、第１の円４０４および第２の円４０６は臨床的に重要な視覚的所見を示し、長方形４０８および楕円４１０は重要でない解剖学的特徴もしくはアーチファクトまたはその両方を示す。
【0108】
【0109】
【0110】
【0111】
次に、本発明のいくつかの実施形態による、視覚的所見の存在の最大の可能性を示す最大集約重みを有する最適な合成２Ｄ読影画像を生成するための、２Ｄスライスへの３Ｄ医用画像のスライス軸を定義するｚ軸の特定の方向の自動計算を描写する概略図である図５が参照される。ディスプレイ上の３Ｄ医用画像の提示は、ｚ軸の特定の方向に従って調整されてよく、もしくは、ｘ軸の特定の方向に基づいて計算された最適な合成２Ｄ読影画像がディスプレイ上に提示されてよく、またはその両方であってもよい。
【0112】
模式図５０２は、標準的なｚ軸５０４の場合である。合成２Ｄ読影画像５０６は、３Ｄ画像５０８のｚ軸５０４に沿ってスライスされた２Ｄ画像について計算される。説明を明瞭かつ簡単にするために、合成２Ｄ読影画像５０６は、ｙ軸の特定の固定ｙ値について、ｘ軸に沿ったｘ値のセットについて（例えば、画素の水平線）、３Ｄ画像のｚ軸５０４に沿ってスライスされた２Ｄ画像から計算された、合成読影線とも呼ばれる画素の水平線を表す。完全な合成２Ｄ読影画像は、ｙ軸に沿った複数の平行な水平画素線を含むことが理解される。
【0113】
３Ｄ画像５０８内で、円５１０は臨床的に重要な視覚的所見を示し、長方形５１２および楕円５１４は重要でない解剖学的特徴もしくはアーチファクトまたはその両方を示す。
【0114】
標準ｚ軸５０４を用いて作成された合成２Ｄ読影画像５０６では、円５１０と長方形５１２は標準ｚ軸５０４に平行な同一線に沿う。その結果、円５１０の重みは長方形５１２の重みに集約され、円５１０の識別がより困難になる可能性がある。長方形５１２が臨床的に重要な視覚的所見を示す場合、円５１０の重みと長方形５１２の重みとの組み合わせにより、３Ｄ画像５０８において空間的に間隔を置いた２つの視覚的所見があることを区別することがより困難となる可能性がある。
【0115】
一方、概略図５１６は、視覚的所見の存在の最大の可能性を示す最大集約重みを有する最適な合成２Ｄ読影画像５２０を生成するための選択されたｚ軸５１８の場合である。選択されたｚ軸５１８を用いて作成された合成２Ｄ読影画像５２０の場合、円５１０、長方形５１２、および楕円５１４の各々は、選択されたｚ軸５１８に平行な異なる線に沿っている。その結果、円５１０の重みは長方形５１２の重みに集約されず、楕円５１４の重みに集約されないので、最適な合成２Ｄ読影画像５２０上の異なる視覚的所見の重みをより区別することが可能となる。
【0116】
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図するものではなく、開示される実施形態に限定されることを意図するものでもない。記載される実施形態の範囲および精神から逸脱することなく、多くの修正および変更が可能であることは当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実際の適用または技術的改善を最もよく説明するため、または当業者が本明細書に記載の実施形態を理解できるようにするために選択された。
【0117】
本出願から成熟する特許の存続期間中に、多くの関連する分類器もしくはＸＩＡプロセスまたはその両方が開発されることが予想され、分類器もしくはＸＩＡプロセスまたはその両方の用語の範囲は、そのようなすべての新技術を先験的に含むことを意図している。
【0118】
本明細書で使用する場合、「約」という用語は、±１０％を指す。
【0119】
用語「含む（comprises）」、「含む（comprising）」、「含む（includes）」、「含む（including）」、「有する（having）」およびそれらの共役は、「含むが限定されない」ことを意味する。この用語は、「～からなる（consisting of）」および「本質的に～からなる（consisting essentially of）」という用語を包含する。
【0120】
「本質的に～からなる（consisting essentially of）」という表現は、組成物または方法が追加の成分もしくはステップまたはその両方を含むことができるが、追加の成分もしくはステップまたはその両方が請求された組成物または方法の基本的かつ新規な特性を実質的に変更しない場合にのみ、そのことを意味する。
【0121】
本明細書で使用される場合、単数形「ある／１つの／一の（a）」、「ある／１つの／一の（an）」および「その／当該（the）」は、文脈からそうではないことが明らかでない限り、複数形を含む。例えば、「化合物」または「少なくとも１つの化合物」という用語は、それらの混合物を含む複数の化合物を含み得る。
【0122】
「例示的」という用語は、本明細書では「例、実例、または例示として機能すること」を意味するために使用される。「例示的」として説明される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではなく、もしくは、他の実施形態からの特徴の取り込みを排除するものでもない、またはその両方である。
【0123】
本明細書において、「任意選択で」という語は、「いくつかの実施形態において提供され、他の実施形態において提供されない」ことを意味するために使用される。本発明の任意の特定の実施形態は、そのような特徴が衝突しない限り、複数の「任意」の特徴を含むことができる。
【0124】
本願を通じて、この発明の様々な実施形態は、範囲形式で提示されることがある。範囲形式での説明は、単に利便性と簡潔性のためであり、本発明の範囲を柔軟性のない制限として解釈されるべきではないことを理解されたい。したがって、範囲の説明は、その範囲内の個々の数値だけでなく、すべての可能な部分範囲を具体的に開示したものとみなされるべきである。例えば、１～６のような範囲の記述は、１～３、１～４、１～５、２～４、２～６、３～６などの部分範囲と、例えば１、２、３、４、５、６などのその範囲内の個々の数値を具体的に開示したものとみなされるべきである。これは、範囲の広さに関係なく適用される。
【0125】
本書において、数値範囲を示す場合、その範囲内にある引用数字（分数または整数）を含むことを意味する。本明細書において、第１の指示番号と第２の指示番号「との間の範囲（ranging）／範囲（ranges）」および第１の指示番号「から」第２の指示番号「までの範囲（ranging）／範囲（ranges）」という表現は、互換的に用いられ、第１および第２の指示番号並びにその間のすべての小数および整数数字を含むことを意図している。
【0126】
明瞭化のために、別々の実施形態の文脈で説明される本発明の特定の特徴も、単一の実施形態において組み合わせて提供され得ることが理解される。逆に、簡潔にするために、単一の実施形態の文脈で説明される本発明の様々な特徴も、別々に、または任意の適切なサブコンビネーションで、または本発明の任意の他の説明された実施形態において適切なように提供されることができる。様々な実施形態の文脈で説明される特定の特徴は、その実施形態がそれらの要素なしで動作不能である場合を除き、それらの実施形態の必須の特徴とみなされることはない。
【0127】
本発明をその特定の実施形態と併せて説明したが、多くの代替案、修正および変形が当業者にとって明らかであることは明白である。したがって、添付の特許請求の範囲の精神および広い範囲に収まる、そのような代替案、修正および変形をすべて包含することが意図される。
【0128】
本明細書中で言及されるすべての刊行物、特許および特許出願は、参照により本明細書に組み込まれることを参照時に個々の刊行物、特許または特許出願が具体的かつ個別に指摘されているかのように、その全体が参照により組み込まれることが、出願人の意図である。また、本願における参考文献の引用または特定は、かかる参照が本発明の先行技術として利用可能であることを認めるものと解釈してはならない。セクションの見出しが使用されている場合、それらは必ずしも限定的であると解釈されるべきではない。さらに、本出願の優先権文書は、その全体が参照により本明細書に組み込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】