(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-04
(54)【発明の名称】脳卒中特徴取得のための画像処理
(51)【国際特許分類】
A61B 6/03 20060101AFI20221027BHJP
G06T 1/00 20060101ALI20221027BHJP
G06T 1/40 20060101ALI20221027BHJP
G06T 7/00 20170101ALI20221027BHJP
G06V 10/82 20220101ALI20221027BHJP
【FI】
A61B6/03 360D
A61B6/03 350Y
A61B6/03 370E
A61B6/03 360Q
A61B6/03 360G
G06T1/00 290
G06T1/40
G06T7/00 350C
G06V10/82
G06T7/00 612
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022512386
(86)(22)【出願日】2020-08-24
(85)【翻訳文提出日】2022-02-22
(86)【国際出願番号】 EP2020073614
(87)【国際公開番号】W WO2021037790
(87)【国際公開日】2021-03-04
(32)【優先日】2019-08-29
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】特許業務法人M&Sパートナーズ
(72)【発明者】
【氏名】パティル ラヴィンドラ
(72)【発明者】
【氏名】アナンド シュレヤ
(72)【発明者】
【氏名】チョードリ スディプタ
(72)【発明者】
【氏名】ブッサ ナガラジュ
【テーマコード(参考)】
4C093
5B057
5L096
【Fターム(参考)】
4C093AA22
4C093CA07
4C093DA04
4C093FC26
4C093FF16
4C093FF17
4C093FF28
4C093FF34
4C093FF35
4C093FF42
5B057CA08
5B057CA13
5B057CA16
5B057CB08
5B057CB13
5B057CB16
5B057CH16
5B057DA16
5B057DB02
5B057DB09
5B057DC16
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096EA02
5L096EA39
5L096FA06
5L096FA59
5L096FA66
5L096GA10
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
本発明は、脳卒中特徴取得のための装置を開示している。装置はプロセッサを備える。プロセッサが、対象者の頭部の三次元画像を表す画像データを受信することと、対象者の頭部の骨に対応した画像データ内の領域を識別することと、画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために画像データに調節を適用することと、調節された画像データに基づいて二次元画像を生成することと、二次元画像における脳卒中特徴取得のための関心領域を識別するための予測モデルへの入力として、生成された二次元画像を提供することとをするように構成される。
【特許請求の範囲】
【請求項1】
脳卒中特徴取得のための装置であって、前記装置が、
対象者の頭部の三次元画像を表す画像データを受信することと、
前記対象者の前記頭部の骨に対応した前記画像データ内の領域を識別することと、
前記画像データの獲得中に前記骨から散乱された放射波によりもたらされる影響を補償するために前記画像データに調節を適用することと、
調節された前記画像データに基づいて二次元画像を生成することと、
前記二次元画像における脳卒中特徴取得のための関心領域を識別するための予測モデルへの入力として、生成された前記二次元画像を提供することと、
をするプロセッサを備える、
装置。
【請求項2】
前記プロセッサが更に、脳に対応しない前記画像データの部分、又は、脳卒中に関連した事象による影響を受けた可能性が低い脳領域に対応した、前記画像データの部分を無視する、
請求項1に記載の装置。
【請求項3】
前記プロセッサが更に、前記画像データと三次元表現とに共通な複数の基準標識を使用して、脳の前記三次元表現に前記画像データを重ね合わせる、
請求項1に記載の装置。
【請求項4】
前記プロセッサが、
前記画像データの複数の連続したスライスの各々に対して、
骨に対応した前記画像データの前記領域を除去するためにマスクを適用することと、
骨に対応した前記画像データの前記領域を囲む境界を規定することと、
最大連続ピクセル数をもつ前記画像データのサブ領域を、境界に囲まれた前記領域内において識別することと、
前記対象者の脳に対応した前記画像データの識別された前記サブ領域を特定することと、
により、前記対象者の前記脳の前記境界に対応した前記画像データの部分を識別する、
請求項1から請求項3のいずれか一項に記載の装置。
【請求項5】
前記プロセッサが、
各スライスにおいて視認可能な脳の尺度を特定するために、前記頭部を通って進行する前記画像データの連続した前記スライスを分析することと、
特定のスライスの直前の前記スライスにおいて視認可能な脳の尺度に対する、前記特定のスライスにおいて視認可能な前記脳の尺度の変化が、規定の閾値未満であることを特定したことに応答して、前記特定のスライスが前記対象者の前記脳の下方境界に対応した画像データを含むことを特定することと、
により、前記対象者の前記脳の前記下方境界に対応した前記画像データの部分を識別する、
請求項1から請求項4のいずれか一項に記載の装置。
【請求項6】
前記プロセッサが、
冠状面、アキシャル面、及び矢状面のうちの少なくとも1つを通して前記画像データの最大強度投影を実施することであって、前記画像データが、前記画像データの獲得中に前記骨から散乱された放射波によりもたらされる影響を補償するように処理されている、前記最大強度投影を実施することにより、
前記画像データに基づいて二次元画像を生成する、
請求項1から請求項5のいずれか一項に記載の装置。
【請求項7】
前記プロセッサが更に、
識別された前記関心領域の標示を前記予測モデルの出力として取得し、
前記対象者の脳の表現における前記関心領域の周囲における提示のための境界ボックスを生成する、
請求項1から請求項6のいずれか一項に記載の装置。
【請求項8】
前記関心領域が、出血が発生した領域を含み、前記プロセッサが更に、
前記出血の重症度を示すスコアを前記予測モデルの出力に基づいて計算する、
請求項1から請求項7のいずれか一項に記載の装置。
【請求項9】
前記画像データが、非造影コンピュータ断層撮影イメージングモダリティを使用して獲得されたデータを含む、
請求項1から請求項8のいずれか一項に記載の装置。
【請求項10】
前記予測モデルが、識別された前記関心領域が出血事象を示すか否かを判定するように訓練された畳み込みニューラルネットワークを含む、
請求項1から請求項9のいずれか一項に記載の装置。
【請求項11】
前記画像データに適用される前記調節が、前記放射波が前記画像データの獲得中に前記骨から中に散乱される前記対象者の前記頭部の領域に対応する領域におけるピクセル強度の低減を含み、前記ピクセル強度の調節が、前記骨の表面からのピクセルの距離に基づいて前記ピクセル強度を調節することを含む、
請求項1から請求項10のいずれか一項に記載の装置。
【請求項12】
前記調節が、
【数5】
の式に従って前記ピクセル強度を調節することを含み、yが前記ピクセル強度であり、xが前記骨の表面からの距離である、
請求項11に記載の装置。
【請求項13】
医療画像データにおける脳卒中特徴取得のための方法であって、前記方法が、
対象者の頭部の三次元画像を表す画像データを受信するステップと、
前記対象者の前記頭部の骨に対応した前記画像データ内の領域を識別するステップと、
前記画像データの獲得中に前記骨から散乱された放射波によりもたらされる影響を補償するために前記画像データに調節を適用するステップと、
調節された前記画像データに基づいて二次元画像を生成するステップと、
前記二次元画像における脳卒中特徴取得のための関心領域を識別するための予測モデルへの入力として、生成された前記二次元画像を提供するステップと、
を有する、方法。
【請求項14】
脳卒中特徴取得における使用のために画像データを処理する方法であって、前記方法が、
複数の対象者の各々に対して、
前記対象者の頭部を表す三次元画像データを受信するステップと、
前記三次元画像データを前処理するステップであって、
前記三次元画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために前記三次元画像データに調節を適用するステップ、及び、
前記三次元画像データに基づいて二次元画像を生成するステップ
により、前処理するステップと、
により、訓練データ集合を準備するステップを有する、方法。
【請求項15】
脳卒中特徴取得のための関心領域を前記二次元画像において識別するために、予測モデルを、前記訓練データ集合を使用して訓練するステップ、
を更に有する、請求項14に記載の方法。
【請求項16】
具現化されたコンピュータ可読コードを中に含み、前記コンピュータ可読コードが、適切なコンピュータ又はプロセッサによる実行時に、前記コンピュータ又は前記プロセッサに請求項13から請求項15のいずれか一項に記載の方法を実施させる、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脳卒中特徴取得に関し、更には特に、脳卒中特徴取得のための関心領域を識別するための画像処理に関する。脳卒中特徴取得のための方法及びコンピュータプログラムプロダクトとともに装置が開示されている。
【背景技術】
【0002】
脳卒中は、人の脳への不十分な血流が細胞死をもたらす病状である。血流の欠乏に起因した虚血性のもの、及び出血に起因した出血性のものという2つの主な種類の脳卒中が発生する。出血性脳卒中を患っている患者は、人の脳組織又は脳室内において発生する頭蓋内出血の一種である脳出血としても知られる脳内出血(ICH)を更に患うことがある。脳卒中を患った人に提供される処置の種類は、脳卒中の種類、脳卒中の原因、及び影響を受けた脳の部分に依存する。典型的には、脳卒中を患った人は、例えば血栓を防ぐための、及び溶解するための薬、又は出血を減らすための薬といった薬剤を使用して処置される。幾つかの例において、脳卒中を患った人を処置するために手術が必要とされる場合もある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
脳卒中が未処置のまま1分経過するごとに、脳内において約200万個のニューロンの死がもたらされ得、脳の一部が適切に機能しなくなる。人が脳卒中に対する処置を受けるのが早いほど、脳に対する損傷が発生しにくくなる。したがって、できる限り早く脳卒中の発症を検出することが望ましい。例えば、(例えば救急治療室における)医療施設への患者の接触における早期に検出すること、及び特徴取得をすること(例えば、脳卒中の種類、脳卒中の位置、及び脳卒中の原因を理解すること)ができることが望まれ、脳卒中を迅速に診断することにより、患者に必要な処置が迅速に開始され得、より好ましい医療結果を患者にもたらす。
【課題を解決するための手段】
【0004】
本発明の発明者らは脳卒中の潜在的な症状を示す患者に関連して迅速な、及び信頼性の高い診断を提供することができることの必要性に気付いた。したがって、本発明は、三次元画像データが脳卒中特徴取得のために使用され得るメカニズムを提供する。より詳細には、脳卒中検出及び特徴取得に関連した、及び脳卒中検出及び特徴取得のために使用される関心領域を識別するように訓練された予測モデル(例えば機械学習モデル)への入力として三次元画像データ(例えば、患者の頭部の三次元スキャン)が提供され得るように、三次元画像データが前処理され得る。三次元画像データに関連して実施される前処理は、画像データを効果的にきれいにし、三次元画像を二次元画像に変換するとともに、脳卒中を検出するために、及び脳卒中の特徴取得をするために使用される細部を、すべてではないにしても多く維持する。
【0005】
第1の態様によると、本発明は、脳卒中特徴取得のための装置であって、装置が、対象者の頭部の三次元画像を表す画像データを受信することと、対象者の頭部の骨に対応した画像データ内の領域を識別することと、画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために画像データに調節を適用することと、調節された画像データに基づいて二次元画像を生成することと、二次元画像における脳卒中特徴取得のための関心領域を識別するための予測モデルへの入力として、生成された二次元画像を提供することとをするように構成されたプロセッサを備える、装置を提供する。
【0006】
この手法により画像データを処理することにより(すなわち、骨からの放射波散乱を補償するために画像データを調節することにより)、予測モデルが画像データをより効果的に分析し、及び、より正確な出力を生成し得る。特に、予測モデルが脳における出血に関連しているとしてピクセル強度を誤解する、又は誤って特徴取得する可能性を減らすために、放射波散乱によりもたらされる画像データにおけるピクセル強度の任意の増加が補償され(低減され、又は除去され)得る。結果として、偽陽性の特徴取得(例えば脳卒中診断)の可能性が低減される。
【0007】
三次元画像データに最大強度投影を実施することにより、画像データにおいて脳卒中を検出する、及び/又は脳卒中の特徴取得をするために使用される三次元画像から細部を維持した二次元画像を生成することが可能である。更に、最大強度投影を実施する前に三次元データを処理することにより、画像データの最も関連する部分のみが分析され、高い精度の予測(例えば関心領域を識別すること)をもたらす。処理と最大強度投影との組み合わせは、例えば出血事象といった任意の関心領域が、生成された二次元画像において明確に視認可能であり、及び識別可能であり、したがって、予測モデルの出力が医療専門家により定期的にチェックされ、及び承認されることを意味する。
【0008】
幾つかの実施形態において、プロセッサは、画像データと三次元表現とに共通な複数の基準標識を使用して脳の三次元表現に画像データを重ね合わせるように更に構成される。
【0009】
プロセッサは、幾つかの実施形態において、画像データの複数の連続したスライスの各々に対して、骨に対応した画像データの領域を除去するためにマスクを適用することと、骨に対応した画像データの領域を囲む境界を規定することと、最大連続ピクセル数をもつ画像データのサブ領域を、境界に囲まれた領域内において識別することと、対象者の脳に対応した画像データの識別されたサブ領域を特定することとにより、対象者の脳の境界に対応した画像データの部分を識別するように構成される。
【0010】
幾つかの実施形態において、プロセッサは、各スライスにおいて視認可能な脳の尺度を特定するために頭部を通って進行する画像データの連続したスライスを分析することと、特定のスライスの直前のスライスにおいて視認可能な脳の尺度に対する特定のスライスにおいて視認可能な脳の尺度の変化が規定の閾値未満であることを特定したことに応答して、特定のスライスが対象者の脳の下方境界に対応した画像データを含むことを特定することとにより、対象者の脳の下方境界に対応した画像データの部分を識別するように構成される。
【0011】
プロセッサは、幾つかの実施形態において、冠状面、アキシャル面、及び矢状面のうちの少なくとも1つを通して画像データの最大強度投影を実施することにより、画像データに基づいて二次元画像を生成するように構成される。
【0012】
幾つかの実施形態において、プロセッサは、識別された関心領域の標示を予測モデルの出力として取得するように、及び、対象者の脳の表現における関心領域の周囲における提示のための境界ボックスを生成するように更に構成される。
【0013】
幾つかの実施形態において、関心領域は、出血が発生した領域を含む。プロセッサは、出血の重症度を示すスコアを、予測モデルの出力に基づいて(例えば自動的に)計算するように更に構成される。
【0014】
画像データは、幾つかの実施形態において、非造影コンピュータ断層撮影イメージングモダリティを使用して獲得されたデータを含む。
【0015】
幾つかの実施形態において、予測モデルは、識別された関心領域が出血事象を示すか否かを判定するように訓練された畳み込みニューラルネットワークを含む。
【0016】
幾つかの実施形態において、画像データに適用される調節は、放射波が画像データの獲得中に骨から中に散乱される対象者の頭の領域に対応する領域におけるピクセル強度の低減を含む。例えば、調節は、次式に従ってピクセル強度を調節することを有し、
【数1】
ここで、yはピクセル強度であり、xはミリメートルを単位とする骨の表面からの距離である。
【0017】
第2の態様によると、本発明は、医療画像データにおける脳卒中特徴取得のための方法であって、方法が、対象者の頭部の三次元画像を表す画像データを受信することと、対象者の頭部の骨に対応した画像データ内の領域を識別することと、画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために画像データに調節を適用することと、調節された画像データに基づいて二次元画像を生成することと、二次元画像における脳卒中特徴取得のための関心領域を識別するための予測モデルへの入力として、生成された二次元画像を提供することとを有する方法を提供する。
【0018】
第3の態様によると、本発明は、脳卒中特徴取得における使用のために画像データを処理する方法であって、対象者の頭を表す三次元画像データを受信することと、三次元画像データを前処理することであって、三次元画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために三次元画像データに調節を適用することと、三次元画像データに基づいて二次元画像を生成することとにより、三次元画像データを前処理することにより複数の対象者の各々に対して訓練データ集合を準備することを有する方法を提供する。
【0019】
幾つかの実施形態において、本方法は、脳卒中特徴取得のための関心領域を二次元画像において識別するために予測モデルを、訓練データ集合を使用して訓練することを更に有する。
【0020】
第4の態様によると、本発明は、非一時的なコンピュータ可読媒体を備えるコンピュータプログラムプロダクトであって、コンピュータ可読媒体が、コンピュータ可読媒体内において具現化されたコンピュータ可読コードを含み、コンピュータ可読コードが、適切なコンピュータ又はプロセッサによる実行時に、コンピュータ又はプロセッサが本明細書において開示されている方法のステップを実施させられるように構成された、コンピュータプログラムプロダクトを提供する。
【0021】
本発明のこれらの態様及び他の態様が、以下で説明される実施形態から明らかとなり、以下で説明される実施形態を参照しながら説明される。
【0022】
本発明をより良く理解するために、及び、本発明がどのように実現されるかをより明確に示すために、以下で単なる例示として添付図面が参照される。
【図面の簡単な説明】
【0023】
【
図1】本明細書において開示されている様々な実施形態による装置の例の概略図である。
【
図2】本明細書において開示されている様々な実施形態による使用のための予測モデルの例の概略図である。
【
図3】本明細書において開示されている様々な実施形態により実施される処理の例のフローチャートである。
【
図4】本明細書において開示されている様々な実施形態により実施される処理の更なる例のフローチャートである。
【
図6】本明細書において開示されている様々な実施形態による方法の例のフローチャートである。
【
図7】本明細書において開示されている様々な実施形態による方法の更なる例のフローチャートである。
【
図8】プロセッサと通信するコンピュータ可読媒体の概略図である。
【発明を実施するための形態】
【0024】
本明細書において説明されている例は、医療画像において脳卒中の特徴取得をするために使用され得る装置及び方法を提供する。対象者の頭部の三次元画像は、例えば知られた医療イメージング技術を使用して獲得され、及び、対象者が脳卒中を患ったことを示す兆候を検出する、及び/又は、対象者が脳卒中を患ったことを示す兆候の特徴取得をするために、分析のための訓練された予測モデル(例えばニューラルネットワーク、又は深層学習モデル)への入力として、処理された画像が提供されるように、本明細書において説明されているように処理される。本明細書において開示されている手法により三次元データを処理することにより、訓練された予測モデルに提供されたデータは「よりクリーン」であり、非常に正確な出力をもたらす可能性が高い。迅速な診断が、時宜にかなった手法により適切なアクションが行われ得ることを意味する医療セクターでは、正確な出力を取得する能力が特に重要である。本明細書において開示されている様々な実施形態によると、本発明は、例えば脳卒中特徴取得のための予測モデルを訓練するために使用され得る訓練データ集合を準備することといった、脳卒中特徴取得における使用のために画像データを処理する方法を更に提供する。
【0025】
図1は、脳卒中特徴取得のために使用され得る実施形態による装置100のブロック図を示す。例えば、装置100は、脳卒中識別又は脳卒中特徴取得のために使用されるデータを処理するために使用される。
図1を参照すると、装置100は、装置100の動作を制御する、及び、本明細書において説明されている方法を実施し得るプロセッサ102を備える。
【0026】
装置100は、命令セットを表す命令データを含むメモリ106を更に備える。メモリ106は、本明細書において説明されている方法を実施するようにプロセッサ102により実行され得るプログラムコードの形態による命令データを記憶するように構成されてもよい。幾つかの実施態様において、命令データは、本明細書において説明されている方法の個々のステップ又は複数のステップを実施するように、又は実施するために各々が構成された複数のソフトウェア及び/又はハードウェアモジュールを含み得る。幾つかの実施形態において、メモリ106は、装置100の1つ又は複数の他のコンポーネント(例えば、プロセッサ102及び/又は装置100の1つ又は複数の他のコンポーネント)を更に備えるデバイスの一部であってもよい。代替的な実施形態において、メモリ106は、装置100の他のコンポーネントに対して独立したデバイスの一部であってもよい。
【0027】
幾つかの実施形態において、メモリ106は、複数のサブメモリを備え、各サブメモリが命令データの一部を記憶することができる。メモリ106が複数のサブメモリを備える幾つかの実施形態では、命令セットを表す命令データが1つのサブメモリに記憶されてもよい。メモリ106が複数のサブメモリを備える他の実施形態において、命令セットを表す命令データが複数のサブメモリに記憶されてもよい。例えば、少なくとも1つのサブメモリが命令セットの少なくとも1つの命令を表す命令データを記憶するとともに、少なくとも1つの他のサブメモリが命令セットの少なくとも1つの他の命令を表す命令データを記憶する。したがって、幾つかの実施形態では、異なる命令を表す命令データが、装置100における1つ又は複数の異なる位置に記憶されてもよい。幾つかの実施形態において、メモリ106は、装置100のプロセッサ102により獲得された、又は作られた、又は、装置100の任意の他のコンポーネントからの情報、データ(例えば画像データ)、信号、及び測定結果を記憶するために使用される。
【0028】
装置100のプロセッサ102は、命令セットを実行するようにメモリ106と通信するように構成され得る。命令セットは、プロセッサ102により実行されたとき、本明細書において説明されている方法を実施することをプロセッサ102にさせる。プロセッサ102は、本明細書において説明されている手法により装置100を制御するように構成された、又はプログラムされた1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールを備え得る。幾つかの実施態様において、例えば、プロセッサ102は、複数の(例えば、相互運用された)プロセッサ、処理ユニット、マルチコアプロセッサ、及び/又は、分散処理のために構成されたモジュールを備える。このようなプロセッサ、処理ユニット、マルチコアプロセッサ、及び/又はモジュールが異なる位置に位置してもよいこと、及び、本明細書において説明されている方法の異なるステップ及び/又は1つのステップの異なる部分を実施してもよいことが当業者により理解される。
【0029】
図1に戻ると、幾つかの実施形態において、装置100は、少なくとも1つのユーザーインターフェース104を備える。幾つかの実施形態において、ユーザーインターフェース104は、装置100の1つ又は複数の他のコンポーネント(例えば、プロセッサ102、メモリ106、及び/又は装置100の1つ又は複数の他のコンポーネント)を更に備えるデバイスの一部であってもよい。代替的な実施形態において、ユーザーインターフェース104は、装置100の他のコンポーネントに対して独立したデバイスの一部であってもよい。
【0030】
ユーザーインターフェース104は、装置100のユーザー(例えば、医療専門家、例えば放射線科医、又は任意の他のユーザー)に本明細書の実施形態による方法により結果的にもたらされる情報を提供することにおける使用のためのものである。命令セットは、プロセッサ102により実行されたとき、本明細書の実施形態による方法により結果的にもたらされる情報を提供するように1つ又は複数のユーザーインターフェース104を制御することをプロセッサ102にさせる。代替的に、又は追加的に、ユーザーインターフェース104は、ユーザー入力を受信するように構成されてもよい。言い換えると、ユーザーインターフェース104は、装置100のユーザーが命令、データ、又は情報を手動で入力することを可能にしてもよい。命令セットは、プロセッサ102により実行されたとき、1つ又は複数のユーザーインターフェース104からユーザー入力を獲得することをプロセッサ102にさせる。
【0031】
ユーザーインターフェース104は、装置100のユーザーに対する情報、データ、又は信号のレンダリング(又は、出力又は表示)を可能にする任意のユーザーインターフェースであってもよい。代替的に、又は追加的に、ユーザーインターフェース104は、装置100のユーザーがユーザー入力を提供すること、装置100と対話すること、及び/又は装置100を制御することを可能にする任意のユーザーインターフェースである。例えば、ユーザーインターフェース104は、1つ又は複数のスイッチ、1つ又は複数のボタン、キーパッド、キーボード、マウス、マウスホイール、(例えば、タブレット又はスマートフォンにおける)タッチスクリーン又はアプリケーション、ディスプレイスクリーン、グラフィカルユーザーインターフェース(GUI)、又は他の視覚レンダリングコンポーネント、1つ又は複数のスピーカー、1つ又は複数のマイクロホン、又は他のオーディオコンポーネント、1つ又は複数のライト、触覚フィードバック(例えば振動機能)を提供するためのコンポーネント、又は任意の他のユーザーインターフェース、又はユーザーインターフェースの組み合わせを備えてもよい。
【0032】
幾つかの実施形態において、
図1に示されているように、装置100は、装置100が装置100の一部であるインターフェース、メモリ、及び/又はデバイスと通信することを可能にするための通信インターフェース(又は回路)108を更に備える。通信インターフェース108は、無線により、又は有線接続を介して任意のインターフェース、メモリ、及びデバイスと通信する。
【0033】
図1は本開示のこの態様を示すために必要とされるコンポーネントのみを示しており、実用的な実施態様では、装置100が示されるものに対して更なるコンポーネントを備えてもよいことが理解される。例えば、装置100は、装置100に給電するための電池又は他の電源、又は基幹電源に装置100を接続する手段を備えてもよい。
【0034】
装置100は、脳卒中特徴取得のために使用される。より詳細には、装置100は、画像データ(例えば医療画像データ)を処理するために使用され、そのようなものとして医療画像処理装置と呼ばれる。本明細書において開示されている実施形態によると、プロセッサ102は対象者の頭部の三次元画像を表す画像データを受信するように構成されている。幾つかの例において、画像データは対象者の頭部全体を表し、他の例において、画像データは対象者の頭部の一部のみを表す。典型的には、脳卒中の発症を表す脳内において発生する事象が検出され、及び分析され得るように、脳卒中特徴取得のために対象者の脳(又は、少なくともその大部分)がイメージングされる。
【0035】
画像データは、例えば非造影コンピュータ断層撮影イメージングモダリティを使用して獲得されたデータを含む。例えば、画像データは、非造影コンピュータ断層撮影(CT)スキャンから獲得された三次元(例えばボリューム)画像データを含む。一例において、低線量コンピュータ断層撮影(低線量CT又はLD CT)イメージングモダリティは、画像データを獲得するために使用される。他の例において、他のイメージングモダリティは、三次元画像データを獲得するために使用される。概して、イメージングモダリティはイメージングされる対象者に向けて電磁放射波を方向付けすること、及び、対象者との間の電磁放射波の相互作用を検出することを伴う。使用される放射波の種類は典型的にはイメージングモダリティに依存する。
【0036】
プロセッサ102は対象者の頭部の骨に対応した画像データ内の領域を識別するように構成されている。骨に対応した画像データ内の領域は、対象者の頭蓋又は頭蓋の一部に対応した領域を含む。
【0037】
プロセッサ102が骨に対応した画像データの領域を識別した後、プロセッサ102は、画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために画像データに調節を適用するように構成されている。上述のように、電磁放射波はイメージング中に対象者に向けられる。イメージング中の放射波の挙動(例えば、対象者の頭部における物質による吸収)は、対象者がイメージングされることを可能にする。しかし、放射波が骨(例えば頭蓋)に衝突した場合、放射波は骨の表面から反射し、及び散乱する。散乱された放射波はイメージングデバイスにより検出され、散乱された放射波は画像データにおいて視認可能である。散乱された放射波(又は、散乱された放射波の視認可能な影響)は、対象者の頭部における他の物体を不明瞭にし、対象者の脳内における物体又は発生した事象を明確に目視することを困難にする。更に、散乱された放射波の影響(例えば、対象者の脳の画像における散乱された放射波の外観)は、脳卒中を示す特徴的事象と同様である。したがって、対象者の脳の画像(例えば3Dスキャン)において、頭蓋の内面から散乱された放射波は、脳卒中に関連した事象(例えば出血事象)のような様相を見せ、例えば対象者が脳卒中を患っているという誤った特定などの誤診をもたらす。したがって、画像データに適用される調節は事象(例えば、画像におけるピクセルのグループの強度の増加)が脳卒中の事象特徴と誤解されないように、散乱された放射波を補償することを意図したものである。
【0038】
プロセッサ102は、調節された画像データに基づいて二次元画像を生成するように更に構成される。幾つかの実施形態において、以下で更に詳細に説明されるように、これは、調節された三次元画像データの最大強度投影を実施することにより実行される。
【0039】
プロセッサ102は、二次元画像における脳卒中特徴取得のための関心領域を識別するための予測モデルへの入力として、生成された二次元画像を提供するように更に構成される。予測モデルは、プロセッサ102を使用して実行されるモデルを包含する。代替的に、異なるプロセッサ(例えば、装置100の外部にある、及び/又は遠隔にあるプロセッサ)は、予測モデルを実行するために使用される。人工的ニューラルネットワーク又は分類器(以下で更に詳細に説明される)を含む予測モデルは、脳卒中特徴取得のために関連した画像の部分(すなわち関心領域)を特徴集合に基づいて識別するために二次元入力画像を分析するように訓練される。例えば、予測モデルは、出血を示す画像の領域を識別するように訓練される。画像におけるこのような領域は、人間(例えば放射線科医)により簡単に識別可能ではない場合があるが、訓練された予測モデルを使用してより良く識別可能な場合がある。
【0040】
幾つかの例において、予測モデルは、人工的ニューラルネットワークを含む。人工的ニューラルネットワーク、又は簡単に言うと、ニューラルネットワーク、及び他の機械学習モデルは、当業者には理解可能であるが、端的に言えば、ニューラルネットワークはデータを分類する(例えば、画像データのコンテンツを分類する、又は識別する)ために使用され得るモデルの一種である。ニューラルネットワークの構造は、ヒトの脳によりインスピレーションを受けたものである。ニューラルネットワークは層を備え、各層は複数のニューロンを含む。各ニューロンは数学的演算を含む。データの一部を分類する処理において、各ニューロンの数学的演算は数値出力を生成するためにデータの一部に対して実施され、ニューラルネットワークにおける各層の出力は逐次的に隣の層に供給される。概して、各ニューロンに関連した数学的演算は訓練処理中に調整される1つ又は複数の重みを含む(例えば、より正確な分類を生成するようにモデルを調整するために重みの値が訓練処理中に更新される)。
【0041】
例えば、画像のコンテンツを分類するためのニューラルネットワークモデルにおいて、ニューラルネットワークにおける各ニューロンは、画像におけるピクセル(又は、三次元におけるボクセル)値の重み付けされた線形和と、後に続く非線形変換とを含む数学的演算を含む。ニューラルネットワークにおいて使用される非線形変換の例は、シグモイド関数、双曲線接線関数、及び正規化線形関数を包含する。ニューラルネットワークの各層におけるニューロンは概して、1種類の変換の異なる重み付けされた組み合わせ(例えば、異なる重み付けを伴うが同じ種類の変換、シグモイドなど)を含む。当業者であれば理解可能であるように、幾つかの層において、線形和において各ニューロンにより同じ重みが適用されてもよく、これは例えば畳み込み層の場合に適用される。各ニューロンに関連した重みは、分類処理において他の特徴より特定の特徴をより目立たせ(又は逆に、より目立たなくさせ)、したがって、訓練処理においてニューロンの重みを調節することは、画像を分類するときに特定の特徴に、より高い有意性を与えるようにニューラルネットワークを訓練する。概して、ニューラルネットワークは、ニューロンに関連した重み、及び/又は、(例えば、ニューロン間を通るデータ値を修正する)ニューロン間の重みをもつ。
【0042】
ここまでに簡潔に述べたように、例えば畳み込みニューラルネットワークといった幾つかのニューラルネットワークでは、ニューラルネットワークにおける例えば入力層又は隠れ層といったより低い層(すなわちニューラルネットワークにおける一連の層の先頭に向かう層)は、分類されるデータの一部における小さい特徴又はパターンによりアクティブ化される(すなわち、より低い層の出力が、分類されるデータの一部における小さい特徴又はパターンに依存する)とともに、より高い層(すなわちニューラルネットワークにおける一連の層の終端に向かう層)は、分類されるデータの一部における次第に大きくなる特徴によりアクティブ化される。一例として、データが画像を含む場合、ニューラルネットワークにおける、より低い層は、小さい特徴(例えば例として画像におけるエッジパターン)によりアクティブ化され、中レベル層は、例えばより大きい形状及び形態などの画像における特徴によりアクティブ化されるとともに、出力に最も近い層(例えば上層)は、画像における物体全体によりアクティブ化される。
【0043】
概して、ニューラルネットワークモデルの最終層(出力層として知られる)の重みは、ニューラルネットワークにより解かれる特定の分類問題に最も強く依存する。例えば、外層の重みは、分類問題が位置特定問題であるか検出問題であるかに大きく依存する。より低い層(例えば入力層及び/又は隠れ層)の重みは分類されるデータのコンテンツ(例えば特徴)に依存する傾向を示し、したがって、モデルの外層が異なる分類問題を解決するように調整されている場合でも、十分な訓練に伴って、同じ種類のデータを処理するニューラルネットワークの入力層及び隠れ層における重みが経時的に同じ値に向かって集束することが本明細書において認識されている。
【0044】
幾つかの例において、予測モデルは、識別された関心領域が出血事象を示すか否かを判定するように訓練された畳み込みニューラルネットワークを含む。このような予測モデルは出血に関連した特徴において訓練されるので、人間の観測者(例えば放射線科医)が単に画像データを見ることによって出血の発症をすぐに特定することができない場合であっても、予測モデルが、出血が発生した領域又は出血による影響を受けた脳の領域を識別し得る。1つの特定の例において、Inception-ResNetとして知られた畳み込みニューラルネットワークモデルが予測モデルとして使用される。Inception-ResNetモデルは約780層を含み、モデルの簡潔な表現が
図2において概略的に示されている。
図2に示されているモデル200は、畳み込み層202、最大プーリング関数204、平均プーリング関数206、連結関数208、ドロップアウト関数210、全結合層212、ソフトマックス関数214、及び残りのネットワーク層216を表すブロックを含む。本明細書に開示されている本方法における使用に適したモデルの他の例は、より少ない又は更なる層及び/又は関数を含んでもよい。
【0045】
対象者に関連して獲得された医療画像データにおける脳卒中の検出及び/又は特徴取得を補助するために実施される画像データ処理方法の例は、
図3及び
図4を参照しながら以下で説明される。
図3は、対象者に関連して獲得された三次元画像データに関連して実施される例示的なワークフローのフローチャートである。三次元画像データは、対象者の頭部の三次元CTボリュームを含む。例えば、対象者は脳卒中を示す症状を患い、したがって、更なる検査のために医療施設(例えば病院)に問い合わせをされる。対象者の頭部は、例えば非造影CTといったイメージングモダリティを使用してスキャンされる。三次元画像データ(例えば3D CTボリューム)は典型的には、平面(例えば、アキシャル面、冠状面、及び/又は矢状面)において獲得された画像データの一連のスライスを含み、三次元画像データの処理は概して、スライスの各々を続けて処理することを有する。したがって、
図3に示されているワークフローでは、三次元画像データ300は画像データの複数のスライスを含む。ブロック302において、複数のスライスのうちの第iのスライスが読み出される。ブロック304において、第iのスライスは、以下で更に詳細に説明される前処理を受け、第iのスライスが前処理された後、ワークフローはブロック306に進み、次の第(i+1)のスライスが処理のために三次元画像データ300から取得される。したがって、画像データのスライスの前処理の完了後に、ワークロードは次のスライスを獲得することを伴い、及びワークフローはブロック302に戻る。
【0046】
対象者の脳に関連した画像データを含むスライスのすべてが前処理されるまで、ワークフローが続く。脳を表す画像データを含む画像スライスのすべてが処理されたときに満たされたと認識される停止判定基準の例が以下で説明される。関連するスライスのすべてが処理された後、ワークフローはブロック308に進み、二次元画像が前処理された画像データに基づいて生成される。幾つかの例において、複数の二次元画像が後述のように生成される。二次元画像は、次に、脳卒中を示す関心領域を識別すること、及び/又は関心領域の特徴取得をすることを有する分析のための訓練された予測モデルに入力として提供される。
【0047】
図4は、(例えば
図3のブロック306における)三次元画像データの各スライスの前処理の一部を形成する様々な処理の例を示すフローチャートである。概して、前処理は、対象者の骨(例えば頭蓋)を表す画像データのスライス内の領域を識別すること(ブロック402)と、識別された骨領域に対するマスクを生成すること(ブロック404)と、対象者の脳を包む骨の部分に対応したマスクの部分を識別すること(ブロック406及び408)と、三次元画像データが獲得されたときの骨から散乱された放射波の効果を補償するために画像データの調節を実施すること(ブロック410)と、ユーザーの脳を表す画像データの部分を画像データから抽出すること(ブロック412)とを有する。幾つかの例において、散乱された放射波の補償調節(ブロック410)だけが、画像データの前処理中に実施される。他の例において、本明細書において説明されている1つ又は複数の他の処理が更に実施されてもよい。
【0048】
画像データ内の骨の識別を補助するために、画像データの前処理は、まず、画像データの意図した配向を実現するために、及び画像データのスライスの配向間の一貫性を確実なものとするために、基準表現(例えば画像又はボリューム)に対して三次元画像データを重ね合わせること、又はアライメントすることを有する。三次元画像データの重ね合わせは、画像データの捕捉されたスライスのすべてを含む三次元ボリュームに関連して実施される。言い換えると、重ね合わせは、スライスの各々に関連して個別にではなく、画像データのボリュームに関連して全体的に実施される。幾つかの実施形態において、画像データの重ね合わせは、例えば解剖学的地図を使用した、ヒトの脳の三次元表現に対する画像データの非リジッドな重ね合わせを含む。解剖学的地図に対する画像データの重ね合わせは複数の基準標識を使用して実現され、各標識は、例えば脳室又は小脳といった脳内における特徴を含む。
【0049】
幾つかの実施形態において、重ね合わせ処理において使用される画像データにおける基準標識の識別は、例えば訓練された予測モデルといった機械学習技術を使用して達成される。例えば、人工的ニューラルネットワーク又はサポートベクトルマシンが使用されてもよい。予測モデルは、例えば、ピクセル強度、エントロピー、グレーレベル同時生起行列(GLCM)、及びテクスチャ特徴といった1つ又は複数の特徴において訓練される。例えば、予測モデルは、三次元画像データ内における関心領域が(規定の確実性閾値内で)脳内における特定の解剖学的構造を表す可能性が高いと判定する。関心領域が画像データにおいて検出されたとき、関心領域内に入る各ボクセルは、特定の解剖学的カテゴリ内に入ると分類される(例えば関心領域内における各ボクセルは、例えばそれが関連する解剖学的構造物としての名称といった識別子を使用してラベル付けされる)。ボクセルが関心領域の中心の周囲に形成された規定の半径の球内に入る場合、ボクセルが関心領域内に入ると考えられる。
【0050】
関心領域の一部を形成するとして特定のボクセルを分類する場合、多数決処理が実施されるので、特定の関心領域内のボクセルのすべてがその関心領域の一部を形成するとしてラベル付けされた場合、多数決によるラベルが関心領域に割り当てられる。次に、複数のラベル付けされた関心領域が、(例えば解剖学的地図から)基準表現に対して画像データを重ね合わせるために、及びアライメントするために使用される(例えば個々の基準標識の集合から形成された)固有の基準標識を規定するために集められる。
【0051】
上述の重ね合わせ処理は、プロセッサ102を使用して実施される。したがって、幾つかの実施形態において、プロセッサ102は、画像データと三次元表現とに共通な複数の基準標識を使用して脳の三次元表現に画像データを重ね合わせるように構成される。幾つかの例では上述のように、複数の基準標識が、訓練された分類器又は予測モデルを使用して識別される。
【0052】
基準表現に対して画像データを重ね合わせることは、画像データが更なる処理のために適切にアライメントされることを確実なものとするために役立つが、重ね合わせ処理は不可欠というわけではなく、したがって処理手順から省略されてもよい。
【0053】
上述のように、画像データの重ね合わせは三次元ボリューム全体を使用して実施される。しかし、
図4のブロック402から412における処理は、画像データの個々のスライスに関連して実施される。典型的には、画像データのスライスの処理は、軸方向スライス(すなわち対象者の頭部のアキシャル面を通るスライス)を使用して実施される。しかし、幾つかの例において、処理は、他の平面を通る(例えば、冠状面又は矢状面を通る)画像データのスライスに関連して実施されることが理解される。
図4のブロックに示されている画像は、前処理が実施されるにつれて画像がどのように変化するかを示す例示に過ぎない。
【0054】
分析処理において使用されない画像データの部分を除去するために、当業者に理解可能な様々な骨・頭蓋ストリッピング技術が使用される。
図4におけるフローチャートのブロック402において、骨を表す画像データのスライス内の領域が識別される。1つの実施形態において、画像データ内の骨領域は、例えば骨を表す画像データの部分を識別するように訓練された予測モデルといった機械学習技術を使用して識別される。幾つかの実施形態において(及び機械学習技術の一部として)、画像データの骨領域は、画像データの骨(例えば頭蓋)の構造物パターンを分析することにより識別される。骨を表す画像の部分を特定するために、画像データの境界パラメータ及び/又は強度値が考慮される。加えて、画像から骨領域を識別するために、及び/又は抽出するために、1つ又は複数のフィルタが適用される。例えば、ハウンズフィールドスケールにおける規定の範囲の外部にある画像の部分を除去するために、フィルタが適用される。ハウンズフィールドスケールは放射波濃度を説明するために使用される定量的尺度である。したがって、一例において、0から100の範囲の外部にあるハウンズフィールド単位(HU)測定結果を伴う領域に対応したピクセルが、画像データから除去される。0HUから100HUの範囲内の領域は、画像データに留まる血液及び脳組織の領域を表すことが理解される。
【0055】
骨領域が識別された後、識別された領域に対するマスクが生成される(
図4におけるフローチャートのブロック404)。マスクは、シンプレックスメッシュを使用して、変形可能モデルに基づいて生成される。シンプレックスメッシュの特性は、それらを、ある範囲の画像セグメント分けタスクに適したものにする。一般的なメッシュは頭蓋・脳界面、すなわち画像データのスライスにおいて識別された骨領域の内側境界とアライメントするように提供され、及び変形される。次に、メッシュは、画像データにおけるメッシュ頂点と骨領域との間の距離の二乗の和を最小化することにより、アフィン変換を使用して幾何学的に修正される。メッシュは、次に、粗くセグメント分けされた画像(すなわち、解剖学的標識を使用してセグメント分けされた画像)を使用して、及び更に元の画像データを使用して変形される。結果として得られる修正されたマスクは、ブロック404における例に示されるように、画像データのスライス内に含まれる骨/頭蓋のすべてを捕捉することを意図したものである。
【0056】
ブロック404に示されている例から明らかなように、生成されたマスクは例えば眼窩及び/又は顎部といった頭蓋の他の部分を表す他の領域とともに、対象者の脳を包む頭蓋の部分を表す領域を含む。したがって、
図4におけるフローチャートのブロック406及び408において、前処理は、対象者の脳を包む骨の部分に対応したマスクの部分を識別することを伴う。ブロック406において、輪郭線406aが骨領域全体の周囲に形成される。幾つかの例において、輪郭線406aは、頭蓋の凸境界点に基づいてブレゼンハムラインアルゴリズムを使用して形成される。406bに示されているように、輪郭線は、画像データのスライスにおいて識別された骨領域を囲む。
【0057】
ブロック408では、対象者の脳に対応したマスク内の領域が抽出される。これを達成するために、対象者の頭蓋の眼窩及び/又は顎部に対応したマスクの領域が除去される。幾つかの実施形態において、これは、例えば画像408aに示されているように輪郭線406aの外部にある領域を「フロッドフィリング」する(すなわち抽出する)ことにより実現される。対象者の脳領域を表さないマスクのより小さい部分を除去するために、接続コンポーネント分析が使用される。この点について、接続コンポーネント分析は、マスク内の最大接続コンポーネントを識別することを伴い、言い換えると、最大数の接続された(すなわち連続した)ピクセルを含むマスクの部分が識別される。最大接続コンポーネントの部分を形成しないマスクの部分は、除去され、又は無視される。最大接続コンポーネントは画像408bに示されており、対象者の脳に対応した領域及び対象者の眼窩に対応した領域を含む。
【0058】
対象者の眼窩に対応したマスクの部分を除去するために、モルフォロジー収縮演算及び/又はモルフォロジー拡張演算が実施される。幾つかの実施形態において、(構造化要素S
eを使用した)モルフォロジー収縮演算が実施された後、(構造化要素S
dを使用した)モルフォロジー拡張演算が実施され、ここで、S
d>S
eである。モルフォロジー収縮及び拡張演算の後、モルフォロジー的な「AND」演算が、マスクにおける脳の境界を維持するために元の内側マスク(すなわち、任意のモルフォロジー演算が実施される前のマスク)I
maskを使用して実施される。「AND」演算は次のように規定される。
【数2】
画像408cに示されている結果として得られるマスクは、対象者の脳に対応した部分のみを含み、脳マスクと呼ばれる。
【0059】
対象者の脳を包む骨の部分に対応したマスクの部分の識別(
図4のブロック406及び408)は、
図1のプロセッサ102により実施される。上述の処理は、対象者の脳の境界(例えば脳と頭蓋との間の境界)を識別するために考慮される。したがって、プロセッサ102は、幾つかの実施形態において、画像データの複数の連続したスライス(例えば軸方向スライス)の各々に対して骨に対応した画像データの領域を除去するためにマスクを適用することと、骨に対応した画像データの領域を囲む境界を規定することと、最大連続ピクセル数をもつ画像データのサブ領域を、境界に囲まれた領域内において識別することと、対象者の脳に対応した画像データの識別されたサブ領域を特定することとにより、対象者の脳の境界に対応した画像データの部分を識別するように構成される。
【0060】
脳マスクが作成された、又は生成された後、
図4のフローチャートのブロック410において放射波散乱補償が実施される。上述のように、イメージング(例えばCTスキャン)中に、電磁放射波(例えばx線)がイメージングされる物体(例えば対象者の頭部)に向けられる。対象者内の骨(例えば頭蓋)は、電磁放射波が散乱されることをもたらし、この散乱は、結果として得られる画像データにおいて視認可能である。散乱された放射波はそれ自体が、画像データにおいて比較的明るい(例えば高いピクセル強度の)パッチとして現れ、幾つかの例において、これらの明るいパッチは出血事象に似ている。したがって、骨からの放射波散乱によりもたらされる画像データにおける明るいパッチは出血事象と誤解され得、ひいては、対象者が出血(すなわち脳卒中)を患っていると誤診され得、偽陽性診断をもたらす。画像データの獲得中に骨から散乱される放射波によりもたらされる効果を補償するために、画像データに対して修正又は調節が行われる。
【0061】
骨からの放射波散乱を補償するために、散乱プロファイルがまず特定される。散乱プロファイルは、画像データにおけるピクセル強度の変化が、放射波が散乱される骨の表面からの距離に依存することを規定する。本例において、散乱プロファイルは、脳(すなわち頭蓋内空間)に向かう対象者の頭蓋の内面からの距離の関数として強度の変化の観点から規定される。
図5は、頭蓋の内面から散乱された放射波に対する散乱プロファイルの一例を示す。
図5において、画像データのスライスの画像502は、ピクセル強度の増加が画像獲得中に頭蓋から散乱された放射波によりもたらされたものである頭蓋の内面内の領域を含む。ピクセル強度は、放射波散乱に起因して(頭蓋領域における)高いところから、(脳領域における)低いところまで徐々に低下する。より高いピクセル強度が、画像502の部分の拡大された画像504に示されている。グラフ506は、ピクセル強度yが頭蓋の表面からの距離x(mmを単位とする)の関数としてどのように変化するかを示す。特に、グラフ506は、頭蓋に対応した位置におけるピークピクセル強度を示しており、ピクセル強度は頭蓋からの距離に応じて対数的に低下する。幾つかの例によると、増加するエントロピー系のマックスウェル・ボルツマン分布に基づく対数強度補償モデルが使用される。このようなモデルでは、ピクセル強度の減衰は、増加するエントロピーに関連してモデル化される。増加するエントロピーは、頭蓋表面から頭蓋内空間内への増加する距離に等しいと考えられる。
【0062】
一例において、頭蓋表面からの(ミリメートルを単位とする)距離xの関数としてピクセル強度yを規定するモデルは次のように表される。
【数3】
【0063】
散乱された放射波によりもたらされる更なるピクセル強度が計算された後、より高いピクセル強度を補償するために、画像データに修正が適用される。調節又は修正は、プロセッサ102により適用される。したがって、幾つかの実施形態において、画像データに適用される調節は、放射波が画像データの獲得中に骨から中に散乱される対象者の頭部の領域に対応する領域におけるピクセル強度の低減を含む。
【0064】
前処理の放射波散乱補償部分(ブロック410)が実施された後、脳マスク(すなわち、対象者の脳の領域に対応した頭蓋マスクの部分)が、知られた技術を使用して画像データに適用される。脳マスクの外部にある画像データの任意の部分が抽出され、除去され、又は無視され、対象者の脳に対応した画像データの部分のみを残す。上述のように、
図4を参照して議論された前処理が画像データの各スライスに対して実施される。したがって、前処理手順が特定のスライスに対して完了しており、三次元画像データにおける次のスライスが獲得され、同じ手法により前処理される。
【0065】
三次元画像データは、脳の部分を示さない画像データのスライスを含む。三次元画像データは脳卒中により影響を受ける可能性が低い脳の部分に対応した画像データを更に含む。例えば、1つ又は複数のスライスが、脳の下方境界より下方で捕捉されている場合がある。脳卒中特徴取得に関連した関心領域を識別することを目的として、脳を示す画像データのスライスのみが、前処理され、及び分析される。したがって、幾つかの実施形態によると、画像データのスライスの前処理は、特定の停止判定基準が満たされたとき停止する。したがって、プロセッサ102は、対象者の脳の下方境界に対応した画像データの部分(例えばスライス)を識別するように構成される。一例において、画像データスライスのスタック/集合における画像データの次のスライスが前処理されるか否かの判定が、対象者の脳を表す画像データスライスの比率に基づいて行われる。例えば、「スライス当たりの脳」の量(例えば面積)が1つのスライスから次へと規定の閾値より大きい幅で低減している場合、更なるスライスが前処理されないと判定される。このようなシナリオにおいて、より少ない量の脳を含むスライスは脳の底部の近くで捕捉されたスライスであると判定される。脳のこの領域は脳卒中に関連した事象(例えば出血事象)による影響を受けた可能性が低く、したがって、この領域より下方のスライスを前処理することは不必要である。
【0066】
一例において、上述の停止判定基準は、
【数4】
である場合、第iのスライスにおいて前処理を停止するものとして規定される。nは規定の閾値であり、nの値は意図した正確さに基づいて選択される。幾つかの例において、nは0.5から0.8の間である。一例において、n=0.7。言い換えると、特定のスライスにおけるスライス当たりの脳の量(例えばスライスにおいて視認可能な面積)が、その特定のスライスの直前のスライスにおけるスライス当たりの脳の量の70%未満である場合、その特定のスライスが前処理される最後のスライスとなり、そうでない場合、スライスのスタックにおける次のスライスが処理される。前処理されない任意のスライスは脳卒中特徴取得の目的に関連しないと考えられ、したがって、除去され、又は無視される。例えば、脳に対応しない、又は、脳卒中に関連した事象による影響を受けた可能性が低い脳領域に対応した画像データ又はスライスは、破棄され、又は無視され得る。
【0067】
上述の停止判定基準を使用することにより、対象者の脳の下方境界は、画像データ内において識別される。これは、
図1のプロセッサ102により実施される。したがって、幾つかの実施形態において、プロセッサ102は、各スライスにおいて視認可能な脳の尺度(例えば面積又はボリューム)を特定するために、頭部を通って下方に進行する画像データの連続したスライスを分析することと、及び特定のスライスの直前のスライスにおいて視認可能な脳の尺度に対する、特定のスライスにおいて視認可能な脳の尺度の変化が規定の閾値未満であることを特定したことに応答して、特定のスライスが対象者の脳の下方境界に対応した画像データを含むことを特定することとにより、対象者の脳の下方境界に対応した画像データの部分を識別するように構成される。幾つかの例において、画像データの連続した軸方向スライスが、対象者の頭部を通って下方に進行しながら分析される。
【0068】
関連するスライスの集合全体が(例えば上述の前処理技術を使用して)前処理された後、二次元画像は、処理された三次元画像データに基づいて生成される。一例において、画像データの最大強度投影(MIP)が、二次元画像を生成するために実施される。最大強度投影は、画像分析の分野の当業者に理解可能である。一連のスライス(例えば脳を表す画像データのスライス)に最大強度投影を適用することは、ビューポイントから射影面まで引かれた平行線を遮る最大強度をもつボクセルを投影することを伴う。処理の出力は、最大強度をもつ画像データにおいて現れる物体を示す二次元射影又は画像である。したがって、MIP技術を適用することにより、元の三次元画像データからの関連データのすべてが、二次元画像において維持され、及び表される。重要なことは、出血が発生したか否かを判定するために使用される元の三次元画像データにおける任意の情報が失われない。
【0069】
幾つかの例において、複数の最大強度投影が、複数の二次元画像を取得するために実施される。例えば、第1のMIPがアキシャル面を通して実施され、第2のMIPが冠状面を通して実施され、第3のMIPが矢状面を通して実施される。冠状面を通したMIPから、及び矢状面を通したMIPから取得された二次元画像において、画像データスライスの厚さの効果を補償するために、画像補間が実施される。例えば、冠状面及び矢状面において、スライス厚が増加すると仮定した場合、MIP操作が実施されたとき、スライス間の不連続性が発生する。したがって、滑らかな遷移を伴うスライス間の連続性を確実なものとするために、補間が実施される。
【0070】
したがって、プロセッサ102(
図1)は、幾つかの実施形態において、冠状面、アキシャル面、及び矢状面のうちの少なくとも1つを通して画像データの最大強度投影を実施することにより、画像データに基づいて二次元画像を生成するように構成される。
【0071】
生成された二次元画像(又は複数の二次元画像)は、分析のための予測モデルに対する1つの入力(又は複数の入力)として提供され得る。上述のように、予測モデルは、脳卒中特徴取得に関連した二次元画像における関心領域を識別するように訓練される。幾つかの実施形態において、プロセッサ102は、識別された関心領域の標示を予測モデルの出力として取得するように構成される。例えば、予測モデルの出力は、画像データにおける特定の領域が脳卒中の識別及び/又は特徴取得に関連した関心領域であると考えられる標示、例えば視覚的な、又はテキストによる標示を含む。プロセッサ102は、幾つかの実施形態において、識別された関心領域が出血事象を示すか否かを判定するために、予測モデル(例えば、同じ予測モデル又は異なる予測モデル)への入力として、生成された二次元画像を提供するように構成される。画像データが関心領域を含まないこと、又は、関心領域が出血事象を示さないことが特定され得る場合、対象者が脳卒中を患った可能性が低いこと、ひいては、脳卒中のための緊急処置が必要とされないことが結論として出される。また一方では、関心領域が、例えば出血といった脳卒中に関連した事象を示していると判定され得る場合、適切な処置が施されて、対象者の長期的な健康上の懸念を改善する。したがって、プロセッサ102は、幾つかの実施形態において、識別された関心領域が出血事象を示していることを特定したことに応答して、プロセッサが警報信号を生成するように構成される。警報信号は、例えば、ユーザーインターフェース104において提示される視覚的な警報に対する可聴警報を含む。
【0072】
幾つかの実施形態において、プロセッサ102は、対象者の脳の表現における関心領域の周囲における提示のための境界ボックスを生成するように構成される。したがって、境界ボックスは、二次元画像における関連する関心領域の周囲に、又は対象者の脳の表現のうちの一部に表示されて描画され、したがって、人間の観測者(例えば医療専門家、例えば放射線科医)が、脳の他の部分に対する、脳における関心領域の位置を識別することができる。人間の観測者が出力の正確さを検証し得るので、これは予測モデルにおける信頼性を人間の観測者に提供するためにも役立つ。
【0073】
幾つかの実施形態において、三次元画像データが上述のように解剖学的地図に重ね合わされた場合、人間の観測者に、より豊富な情報を提供するために、脳内における様々な解剖学的物体の知識情報が使用される。例えば、脳内における関心領域に最も近い解剖学的部分又は物体を特定することが可能である。したがって、プロセッサ102は、幾つかの実施形態において、識別された関心領域に対応した対象者の脳内における解剖学的部分の標示を、提示のために提供するように構成される。例えば、関心領域が小脳において発生した出血事象の形跡である場合、標示は、出血が発生した脳の部分として小脳を示す対象者の脳の表現において提供される(例えば提示される)。
【0074】
脳において発生する出血は脳内出血(ICH)と呼ばれることもある。脳内出血の重症度は、脳内出血スコア又はICHスコアを使用して測定され、及び規定される。幾つかの実施形態において、予測モデルにより識別された関心領域は、出血が発生した領域を含む。このような実施形態において、プロセッサ102は、出血の重症度を示すスコアを予測モデルの出力に基づいて計算するように構成される。スコアは、例えばICHスコアを含む。ICHスコアは、例えば、グラスゴー昏睡尺度(GCS)スコア、脳内出血のボリューム、脳室内出血(IVH)の存在、対象者の年齢、及び、出血の小脳テント下原点といった様々な因子に点を割り当てることにより計算される。予測モデルの出力は、例えば、ICHボリューム、脳室内出血が存在するか否かの標示、及び、出血の小脳テント下原点の標示を含む。他の情報(例えばGCSスコア及び対象者の年齢)は、プロセッサによりアクセス可能なデータベース又は記憶媒体(例えばメモリ106)から取得されるように、人間の操作者により提供される。ICHスコアは、すべての必要な入力をモデルに写像することによりプロセッサ102により自動的に演算され、以て、ICHスコアに到達する。プロセッサ102は、例えば、ユーザーインターフェース104といったディスプレイにICHスコアを表示する。
【0075】
本発明の別の一態様により方法が提供される。
図6は、例えば医療画像データにおける脳卒中特徴取得のための方法といった、方法600の例のフローチャートである。方法600は、ステップ602において、対象者の頭部の三次元画像を表す画像データを受信することを有する。画像データは、例えば、非造影コンピュータ断層撮影(CT)イメージング技術を使用して獲得された画像データを含む。画像データは、例えば放射線科医がユーザーインターフェースを介して画像データを入力することにより手動で、又は、例えばプロセッサ(例えばプロセッサ102)が記憶媒体又はデータベースから画像データを取得することにより自動的に提供されてもよい。ステップ604において、方法600は、対象者の頭部の骨に対応した画像データ内の領域を識別することを有する。画像データの骨(例えば頭蓋)の標示は、ここまでに開示されている技術を使用して実施される。方法600は、ステップ606において、画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために画像データに調節を適用することを有する。上述のように、画像データに対して行われる調節は、画像獲得中の骨からの電磁放射波散乱の結果として強度が高くなった画像データにおけるピクセルのピクセル強度を下げることを有する。ピクセル強度は、幾つかの実施形態において、上述の式1に従って調節される。ステップ608において、方法600は、調節された画像データに基づいて二次元画像を生成することを有する。二次元画像は、最大強度投影技術を使用して生成される。幾つかの実施形態において、複数の二次元画像は、例えば、アキシャル面、冠状面、及び矢状面を通して最大強度投影を実施することにより生成される。方法600は、ステップ610において、二次元画像における脳卒中特徴取得のための関心領域を識別するための予測モデルへの入力として、生成された二次元画像(又は画像)を提供することを有する。上述のように、予測モデルは、幾つかの例において、畳み込みニューラルネットワークを含む。予測モデルは、出血が発生した対象者の脳の領域を識別するように訓練される。したがって、本方法は、識別された関心領域が出血事象を示すか否かを判定することを更に有する。幾つかの実施形態において、予測モデルは、関心領域(例えば出血)の位置の標示、及び、関心領域に関する更なる他の情報、例えば、領域のボリューム、影響を受けた脳の解剖学的部分の標示、及び/又は、発生した事象(例えば出血)の重症度を示すスコア(例えばICHスコア)を提供する。
【0076】
方法600は、例えばプロセッサ102といったプロセッサを使用して実施される。したがって、方法600は、上述のようにプロセッサ102により実施される1つ又は複数の更なるステップを有する。例えば、本方法は、対象者の脳の境界に対応した画像データの部分を識別することを更に有する。幾つかの例において、本方法は、二次元画像、及び二次元画像における関心領域の標示を表示のために提供することを更に有する。
【0077】
ここまで、説明は、脳卒中に関連した関心領域を識別するための予測モデルの使用に注目してきた。別の一態様によると、本発明は、関心領域を識別するように予測モデルを訓練することに関する。
図7は、例えば脳卒中特徴取得における使用のために画像データを処理する方法といった方法700の更なる例のフローチャートである。方法700のステップに従って画像データを処理することは、上述の手法により画像データを前処理することに等しいと考えられる。方法700は、ステップ702において、訓練データ集合を準備することを有する。訓練データ集合は、複数の対象者の各々に対して、画像データを受信すること(ステップ704)と、画像データを前処理すること(ステップ706)とにより準備される。各対象者は、例えば、三次元画像データを獲得するためにイメージング処理を受けた患者を含む。したがって、訓練データ集合は、対象者の頭部を表す三次元画像データを受信すること(ステップ704)(複数の対象者の各々)と、三次元画像データの前処理(ステップ706)とにより準備される(ステップ702)。三次元画像データは、三次元画像データの獲得中に骨から散乱された放射波によりもたらされる影響を補償するために、三次元画像データに対する調節を適用すること(ステップ708)と、三次元画像データに基づいて二次元画像を生成すること(ステップ710)とにより前処理される(ステップ706)。したがって、三次元画像データが上述のように(例えばスライスごとの手法により)前処理され、次に、二次元画像が(例えば最大強度投影を使用して)生成される。複数の対象者の各々に対する生成された二次元画像は、次に、予測モデルを訓練するために使用される。上述のように、幾つかの実施形態において、複数の二次元画像が、例えば3つの異なる平面を通して複数の最大強度投影を実施することにより生成される。このような例において、予測モデルは、入力として複数の二次元画像を使用して訓練される。
【0078】
したがって、方法700は、脳卒中特徴取得のための関心領域を二次元画像において識別するために、予測モデルを、訓練データ集合を使用して訓練することを更に有する。理解されるように、予測モデルは、意図したタスクを実施するために様々な特徴において訓練される。例えば、予測モデルは、関心領域を識別し、関心領域の位置を特定し(すなわち、関心領域の位置の標示を提供し)、関心領域のサイズ(例えばボリューム)の標示を提供し、関心領域に対応した脳の解剖学的部分の標示を提供し、及び/又は、関心領域に関連した他の情報を提供する。予測モデルにおいて使用される特徴又は重みは、予測モデルにより提供される意図した出力に応じて選択される。
【実施例】
【0079】
予測モデルが本発明の実施形態に従って訓練された、及び、本発明の他の実施形態に従って脳卒中特徴取得のための関心領域の標示を提供するために使用された、特定の一例が以下で説明される。
【0080】
この例において、複数の対象者の三次元画像データは、「qure.ai」ウェブサイトから取得された「CQ 500」と命名されたデータ集合の形態で獲得された。データ集合は、イメージング、神経科学、及びゲノム先端研究センター(CARING)、New Delhi、Indiaから取得された非造影頭部CTスキャン画像データを含むと理解される。画像データは以下のもの、すなわち、GE BrightSpeed、GE Discovery CT750 HD、GE LightSpeed、GE Optima CT660、Philips MX 16- slice、及びPhilips Access-32 CTのうちの1つ又は複数のCTスキャナモデルを使用して獲得された。スキャンは3人の放射線科医により作られた評価に基づいて、出血が発生した脳に関連しているとして注釈付けされ(「出血」とラベル付けされ)、又は、出血が発生していない脳に関連しているとして注釈付けされた(「非出血」とラベル付けされた)。各走査ボリュームは0.625mmのスライス厚をもつ約300個のスライスを含んだ。
【0081】
画像データの各スライスは、本明細書において説明されている技術を使用して前処理され、各走査ボリュームに対して、各対象者に対する二次元画像を生成するために最大強度投影が実施された。二次元画像の集合体が、予測モデルを訓練するために使用される訓練データ集合を形成した。二次元画像が3つの色チャンネルを伴う512×512ピクセルのサイズをもつ予測モデルに対する入力として提供された。この例、使用された予測モデルは、上述のInception-ResNet畳み込みニューラルネットワークモデルであり、
図2に概略的に示されている。最初に、「Imagenet」重みの集合が、ニューラルネットワークモデルにおいて使用された。ニューラルネットワークモデルは、10エポックに対して訓練され、組み合わせ層をフリーズさせた。モデルは次に再度コンパイルされ、ニューラルネットワークモデル全体が確率勾配降下(SGD)オプティマイザーを使用して50エポックに対して訓練された。
【0082】
本例において、ニューラルネットワークモデルは379個の画像を使用して訓練された。1137個の画像の訓練データ集合を生成するために、画像が90°回転させられ、更に縦方向に反転させられた。訓練データ集合においてニューラルネットワークモデルにより実現された正確さは0.97であり、感度が0.95であり、特異性が0.98であった。下記の表1は、1137個の画像の訓練データ集合を使用したニューラルネットワークモデルの出力のための混同行列を示している。
【0083】
【0084】
訓練されたニューラルネットワークモデルが約52個の画像(各々が異なる対象者からのものである)を含む検証データ集合において試験された。検証データ集合における画像は、訓練データ集合画像に関連して実施された前処理と同様の手法により前処理された。検証データ集合を使用して、ニューラルネットワークモデルの出力は、0.96の正確さ、0.96の感度、及び0.95の特異性をもつ。下記の表2は、検証データ集合を使用したニューラルネットワークモデルの出力のための混同行列を示している。
【0085】
【0086】
上述の例から、本明細書において説明されている本手法により画像データを前処理すること、及び、脳卒中特徴取得のための関心領域を識別するように予測モデルを訓練することにより、特に正確な予測モデルが実現されることが明らかである。
【0087】
本発明の更なる態様によると、コンピュータプログラムプロダクトが開示されている。
図8は、コンピュータ可読媒体804と通信するプロセッサ802の例の概略図である。本発明の実施形態によると、コンピュータプログラムプロダクトは、具現化されたコンピュータ可読コードを中に含む非一時的なコンピュータ可読媒体804を備え、コンピュータ可読コードは、適切なコンピュータ又はプロセッサ802による実行時に、コンピュータ又はプロセッサが本明細書において開示されている方法のステップを実施させられるように構成されている。プロセッサ802は、上述の装置100のプロセッサ102を備え、又は上述の装置100のプロセッサ102と同様である。
【0088】
プロセッサ102、802は、本明細書において説明されている手法により装置100を制御するように構成された、又はプログラムされた1つ又は複数のプロセッサ、処理ユニット、マルチコアプロセッサ、又はモジュールを備え得る。特定の実施態様において、プロセッサ102、802は、本明細書において説明されている方法の個々のステップ又は複数のステップを実施するように、又は実施するために各々が構成された複数のソフトウェア及び/又はハードウェアモジュールを含み得る。
【0089】
したがって、本明細書において開示されているように、本発明の実施形態は、画像データが脳卒中特徴取得のために関連した関心領域を識別するように予測モデルを訓練するために使用され得るように、又は、このような関心領域を識別することが可能な訓練された予測モデルへの入力として提供されるように、画像データを準備するためのメカニズムを提供する。この手法によりデータを前処理することにより、予測モデルへの入力としてデータを提供することが、特に正確な結果を提供することが見出された。特に、頭蓋の内面から脳内への放射波散乱を補償することが、画像におけるより高いピクセル強度の領域が出血と誤解される可能性を無くし、又は大幅に減らす。
【0090】
本明細書において使用される「モジュール」という用語は、特定の機能を実施するように構成されたハードウェアコンポーネント、例えば、プロセッサ又はプロセッサのコンポーネント、又は、ソフトウェアコンポーネント、例えば、プロセッサにより実行されたときに特定の機能をもつ命令データ集合を包含することを意図したものである。
【0091】
本発明の実施形態は、本発明を実施するように適応された、特に媒体上の、又は媒体内のコンピュータプログラムといったコンピュータプログラムにも適用されることが理解される。プログラムは、例えば部分的にコンパイルされた形態のソースコード、オブジェクトコード、コード中間ソース、及びオブジェクトコードの形態であり、又は、本発明の実施形態による方法の実施態様における使用に適した任意の他の形態によるものであってもよい。このようなプログラムが多くの異なるアーキテクチャ設計を採用してもよいことが更に理解される。例えば、本発明による方法又は装置の機能を実現するプログラムコードは、1つ又は複数のサブルーチンに再分割されてもよい。これらのサブルーチン間で機能を分散する多くの異なる手法が当業者に明らかとなる。サブルーチンは、1つの実行可能ファイルに一緒に記憶されて内蔵プログラムを形成してもよい。このような実行可能ファイルは、例えば、プロセッサ命令及び/又はインタープリター命令(例えばJavaインタープリター命令)といったコンピュータ実行可能命令を含む。代替的に、サブルーチンのうちの1つ又は複数又はすべてが、少なくとも1つの外部ライブラリファイルに記憶され、及び、静的に、又は動的に、例えば実行時にメインプログラムにリンクされてもよい。メインプログラムはサブルーチンのうちの少なくとも1つに対する少なくとも1つのコールを含む。サブルーチンは、互いに対する関数コールを更に含んでもよい。コンピュータプログラムプロダクトに関する一実施形態は、本明細書に記載されている方法のうちの少なくとも1つの各処理ステージに対応したコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに再分割されてもよく、及び/又は静的に、又は動的にリンクされてもよい1つ又は複数のファイルに記憶されてもよい。コンピュータプログラムプロダクトに関する別の実施形態は、本明細書に記載されている装置及び/又はプロダクトのうちの少なくとも1つの各手段に対応したコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに再分割されてもよく、及び/又は静的に、又は動的にリンクされた1つ又は複数のファイルに記憶されてもよい。
【0092】
コンピュータプログラムの媒体は、プログラムを記録することが可能な任意の実体又はデバイスであってもよい。例えば、媒体は、データストレージ、例えばROM、例えば、CD ROM又は半導体ROM、又は、磁気記憶媒体、例えば、ハードディスクを包含する。更に、媒体は、電気又は光学ケーブルを介して、又は、無線又は他の手段により搬送される電気又は光信号などの伝送可能媒体であってもよい。プログラムがこのような信号において具現化される場合、媒体は、このようなケーブル、又は、他のデバイス又は手段により構成されてもよい。代替的に、媒体はプログラムが中に組み込まれた集積回路であってもよく、この集積回路が関連する方法を実施するように適応され、又は関連する方法の実施に使用される。
【0093】
開示されている実施形態の変形例が、図面、本開示、及び添付の特許請求の範囲の考察により、請求項に記載された発明を実施する当業者により理解され及び実現され得る。特許請求の範囲において、「備える(含む、有する、もつ)」という表現は、他の要素もステップも排除せず、単数形の表現は複数を排除しない。1つのプロセッサ又は他のユニットが、特許請求の範囲に記載されている幾つかの項目の機能を実現してもよい。単に特定の手段が相互に異なる従属請求項に記載されているということが、利点を得るためにこれらの手段の組み合わせが使用不可能なことを示すわけではない。コンピュータプログラムは、他のハードウェアと一体的に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体に記憶されてもよい/適切な媒体に格納して配布されてもよいが、例えばインターネット又は他の有線又は無線電気通信装置を介して、他の形態で配布されてもよい。特許請求の範囲における参照符号は、いずれも特許請求の範囲を限定するように解釈されてはならない。
【国際調査報告】