(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-28
(45)【発行日】2025-03-10
(54)【発明の名称】人工知能のための患者画像の解剖学的暗号化
(51)【国際特許分類】
G06V 10/774 20220101AFI20250303BHJP
G06V 10/764 20220101ALI20250303BHJP
G06T 7/00 20170101ALI20250303BHJP
【FI】
G06V10/774
G06V10/764
G06T7/00 612
(21)【出願番号】P 2022535099
(86)(22)【出願日】2020-12-09
(86)【国際出願番号】 EP2020085211
(87)【国際公開番号】W WO2021116150
(87)【国際公開日】2021-06-17
【審査請求日】2023-12-07
(32)【優先日】2019-12-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】ネトシュ トーマス
(72)【発明者】
【氏名】ビストロフ ダニエル
【審査官】菊池 伸郎
(56)【参考文献】
【文献】国際公開第2011/040473(WO,A1)
【文献】特開2019-187966(JP,A)
【文献】国際公開第2018/221625(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00-7/90
G06V 10/00-40/70
(57)【特許請求の範囲】
【請求項1】
複数の人の画像から人工知能(AI)コンポーネントを訓練するための匿名化された画像の訓練集合を生成するための装置であって、前記装置が、
共通基準座標系における画像を生成するために、前記複数の人の前記画像を基準画像に空間的に写像することと、
P個の空間領域に対応したP個の画像パッチ集合を生成するために、前記共通基準座標系における前記画像を前記P個の空間領域に区切ることと、
前記共通基準座標系における各訓練画像に対して、前記P個の画像パッチ集合の各々から画像パッチを選択することにより、及び、選択された前記画像パッチを前記共通基準座標系における前記訓練画像に組立てることにより、前記共通基準座標系における訓練画像集合を組立てることと、
前記共通基準座標系における前記訓練画像に統計的逆空間写像を適用することを含む、前記匿名化された画像の訓練集合を生成するために前記共通基準座標系における前記訓練画像を処理することであって、前記統計的逆空間写像が、前記基準画像への前記複数の人の前記画像の空間写像から導出される、処理することと、
をするようにプログラムされた少なくとも1つの電子プロセッサを含む、
装置。
【請求項2】
前記複数の人の前記画像が、
解剖学的構造物の医療画像であって、前記基準画像が、前記解剖学的構造物の解剖学的アトラス画像であるか、又は、
ポートレート画像であって、前記基準画像が、顔のアトラス画像である、
請求項1に記載の装置。
【請求項3】
前記基準画像が、前記複数の人の前記画像のうちの1つである、
請求項1に記載の装置。
【請求項4】
前記P個の空間領域が、直線格子を形成する、
請求項1から請求項3のいずれか一項に記載の装置。
【請求項5】
前記P個の空間領域が、前記基準画像における関心領域に一致する、
請求項1から請求項3のいずれか一項に記載の装置。
【請求項6】
前記複数の人の前記画像が、解剖学的構造物の医療画像であり、前記P個の空間領域の境界が、前記基準画像における前記解剖学的構造物の解剖学的境界を横断しない、
請求項4又は請求項5に記載の装置。
【請求項7】
前記P個の画像パッチ集合の各々から画像パッチを選択することが、前記P個の画像パッチ集合の各々から画像パッチをランダムに、又は疑似ランダムに選択することを有する、
請求項1から請求項6のいずれか一項に記載の装置。
【請求項8】
前記P個の画像パッチ集合の各々から画像パッチを前記選択することが、
患者/臓器サイズ、病状、及び、異常又は臨床的影響の位置のうち少なくとも1つに適合し
たデータパターンを伴う前記P個の画像パッチ集合の各々から画像パッチをランダムに、又は疑似ランダムに選択することを有する、
請求項7に記載の装置。
【請求項9】
前記少なくとも1つの電子プロセッサが、逆空間写像集合を形成するために、前記基準画像への前記複数の人の前記画像の前記空間写像を逆射にするように更にプログラムされ、前記統計的逆空間写像が、前記逆空間写像集合からランダムに、又は疑似ランダムに選択される、
請求項1から請求項8のいずれか一項に記載の装置。
【請求項10】
前記少なくとも1つの電子プロセッサが、逆空間写像集合を形成するために、前記基準画像への前記複数の人の前記画像の前記空間写像のパラメータの統計的分布を演算するように更にプログラムされ、
前記統計的逆空間写像が、前記基準画像への前記複数の人の前記画像の前記空間写像の前記パラメータの前記統計的分布に基づいて生成される、
請求項1から請求項8のいずれか一項に記載の装置。
【請求項11】
医療診断デバイスを訓練するための装置であって、前記装置が、
請求項1に記載の、複数の人の画像から匿名化された画像の訓練集合を生成するようにプログラムされた前記少なくとも1つの電子プロセッサを備え、前記複数の人の前記画像が、解剖学的構造物の医療画像であり、
前記少なくとも1つの電子プロセッサが、前記匿名化された画像の訓練集合に基づいて前記医療診断デバイスの人工知能(AI)コンポーネントを訓練するように更にプログラムされた、
装置。
【請求項12】
顔認識デバイスを訓練するための装置であって、前記装置が、
請求項1に記載の装置の、複数の人の画像から匿名化された画像の訓練集合を生成するようにプログラムされた前記少なくとも1つの電子プロセッサを備え、前記複数の人の前記画像が、ポートレート画像であり、
前記少なくとも1つの電子プロセッサが、前記匿名化された画像の訓練集合に基づいて前記顔認識デバイスの人工知能(AI)コンポーネントを訓練するように更にプログラムされた、
装置。
【請求項13】
訓練された人工知能(AI)コンポーネントを訓練するための、及び検証するための装置であって、
前記装置が、請求項1に記載の装置の、複数の人の画像から匿名化された画像の訓練集合を生成するようにプログラムされた前記少なくとも1つの電子プロセッサを備え、
前記少なくとも1つの電子プロセッサが、
前記訓練されたAIコンポーネントを生成するために、前記匿名化された画像の訓練集合に基づいてAIコンポーネントを訓練することと、
基準の訓練されたAIコンポーネントを生成するために、複数の人の前記画像に基づいて前記AIコンポーネントを訓練することと、
前記訓練されたAIコンポーネントのパフォーマンスを、前記基準の訓練されたAIコンポーネントのパフォーマンスと比較することにより、前記AIコンポーネントを検証することと、
をするように更にプログラムされた、
装置。
【請求項14】
複数の人の画像から人工知能(AI)コンポーネントを訓練するための匿名化された画像の訓練集合を生成する方法であって、前記方法が、
共通基準座標系における画像を生成するために、前記複数の人の前記画像を基準画像に空間的に写像するステップと、
P個の空間領域に対応したP個の画像パッチ集合を生成するために、前記画像を前記P個の空間領域に区切るステップと、
前記共通基準座標系における各訓練画像に対して、前記P個の画像パッチ集合の各々から画像パッチを選択することにより、及び、選択された前記画像パッチを前記共通基準座標系における前記訓練画像に組立てることにより、前記共通基準座標系における訓練画像集合を組立てるステップと、
前記共通基準座標系における前記訓練画像に統計的逆空間写像を適用することを含む、前記匿名化された画像の訓練集合を生成するために前記共通基準座標系における前記訓練画像を処理するステップであって、前記統計的逆空間写像が、前記基準画像への前記複数の人の前記画像の空間写像から導出される、処理するステップと、
を有する、方法。
【請求項15】
請求項14に記載の方法を実施するための少なくとも1つの電子プロセッサにより実行可能な命令を記憶した、非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[0001] 以下の内容は概して、画像処理分野、医療画像診断分析分野、患者匿名化分野、人工知能(AI)分野、及び関連する技術分野に関する。
【背景技術】
【0002】
[0002] AI医療画像の分析において益々使用されてきている。例えば、AI分類器が、病変を検出すること、画像が特定の病状を示しているか否かに関して画像を分類することなどのために使用され得る。AIコンポーネントは通常、多くの場合に「正しい」分類(教師あり訓練)に関して臨床専門家によりラベル付けされる訓練画像集合を使用して訓練される。例えば、臨床医が腫瘍をラベル付けすることを伴って、腫瘍を含む臨床画像及び腫瘍を含まない臨床画像が訓練集合として使用される。AIコンポーネントは次に、AIコンポーネントが腫瘍を含む画像と腫瘍を含まない画像とを判別するときに使用する精度を最大化するように訓練される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
[0003] しかし、訓練画像が個人的に識別可能な患者データと考えられるという点で問題が発生する。画像に関連したメタデータが匿名の場合でも、画像自体が、特定の個人に対して識別される可能性があり得、更に、個人の病状に関する情報を含む場合がある。訓練されたAIコンポーネントは、訓練画像を組み込む可能性があり得る。したがって、臨床患者画像に基づいて訓練されたAIコンポーネントは、適用可能な患者プライバシー規制により配布を禁止される場合がある。これは、訓練において画像を使用するために患者の承諾を得ることにより解決され得るが、この手法により十分に大きい及び多様な訓練集合を構築すること、及び関連する患者承諾ドキュメントの全ての監査可能な記録を維持することは困難であり得る。別のアプローチは、例えば解剖学的構造物のモデル及び合成された訓練画像を生成するイメージング物理学のモデルを使用して訓練画像を合成することであるが、合成された画像は、人間のレビュー者に明らかではないが結果として得られる訓練されたAIコンポーネントに系統的誤差を導入する点において実際の臨床画像と異なる。
【0004】
[0004] 以下の事項は、これらの問題などを解決するための特定の改善を開示する。
【課題を解決するための手段】
【0005】
[0005] 一態様は、複数の人の画像からAIコンポーネントを訓練するための匿名化された画像の訓練集合を生成するための装置である。本装置は、共通基準座標系における画像を生成するために、複数の人の画像を基準画像に空間的に写像することと、P個の空間領域に対応したP個の画像パッチ集合を生成するために、共通基準座標系における画像をP個の空間領域に区切ることと、共通基準座標系における各訓練画像に対して、P個の画像パッチ集合の各々から画像パッチを選択することにより、及び、選択された画像パッチを共通基準座標系における訓練画像に組立てることにより、共通基準座標系における訓練画像集合を組立てることと、共通基準座標系における訓練画像に統計的逆空間写像を適用することを含む、匿名化された画像の訓練集合を生成するために共通基準座標系における訓練画像を処理することであって、統計的逆空間写像が、基準画像への複数の人の画像の空間写像から導出される、処理することとをするようにプログラムされた少なくとも1つの電子プロセッサを含む。
【0006】
[0006]別の一態様において、非一時的なコンピュータ可読媒体は、複数の人の画像からAIコンポーネントを訓練するための匿名化された画像の訓練集合を生成する方法を実施するための少なくとも1つの電子プロセッサにより実行可能な命令を記憶している。本方法は、P個の空間領域に対応したP個の画像パッチ集合を生成するために、画像をP個の空間領域に区切ることと、共通基準座標系における各訓練画像に対して、P個の画像パッチ集合の各々から画像パッチを選択することにより、及び、選択された画像パッチを訓練画像に組立てることにより、共通基準座標系における訓練画像集合を組立てることと、匿名化された画像の訓練集合を生成するために、共通基準座標系における訓練画像を処理することとを有する。
【0007】
[0007] 別の一態様は、複数の人の画像からAIコンポーネントを訓練するための匿名化された画像の訓練集合を生成する方法である。本方法は、P個の空間領域に対応したP個の画像パッチ集合を生成するために、画像をP個の空間領域に区切ることと、共通基準座標系における各訓練画像に対して、P個の画像パッチ集合の各々から画像パッチを選択することにより、及び、選択された画像パッチを訓練画像に組立てることにより、共通基準座標系における訓練画像集合を組立てることと、匿名化された画像の訓練集合を生成するために、共通基準座標系における訓練画像を処理することと、匿名化された画像の訓練集合に基づいて医療診断デバイスのAIコンポーネントを訓練することとを有する。
【0008】
[0008] 1つの利点は、幾つかの患者画像の一部のみを使用して患者画像から訓練画像データ集合を生成することにある。
【0009】
[0009] 別の利点は、患者に特有の情報が画像から抽出されることができない状態で、患者画像から訓練画像データ集合を生成する点にある。
【0010】
[0010] 別の利点は、非可逆な手法により患者画像の画像コンテンツを匿名化する点にある。
【0011】
[0011] 別の利点は、AIコンポーネントを訓練するために画像を使用する前に、患者画像の画像コンテンツを匿名化する点にある。
【0012】
[0012] 別の利点は、各訓練画像が異なる患者からの複数の患者画像の一部を備える訓練画像データ集合を生成する点にある。
【0013】
[0013] 所与の実施形態が前述の利点のうちの0個、1個、2個、それより多く、又は全てを提供し、及び/又は、本開示を読んで理解することにより当業者に明らかとなる他の利点を提供する。
【0014】
[0014] 本開示は、様々なコンポーネント及びコンポーネントの配置、及び様々なステップ及びステップの配置の形態をとる。図面は、好ましい実施形態を示すことを目的とするに過ぎず、本開示を限定するものとして解釈されない。
【図面の簡単な説明】
【0015】
【
図1】[0015] 本開示による、複数の人の画像からAIコンポーネントを訓練するための匿名化された画像の訓練集合を生成する例示的な装置を概略的に示す図である。
【
図2】[0016]
図1の装置により生成された画像の例を示す図である。
【
図3】
図1の装置により生成された画像の例を示す図である。
【
図4】
図1の装置により生成された画像の例を示す図である。
【
図5】
図1の装置により生成された画像の例を示す図である。
【
図6】
図1の装置により生成された画像の例を示す図である。
【
図7】
図1の装置により生成された画像の例を示す図である。
【発明を実施するための形態】
【0016】
[0017] 以下の内容は、(関連するメタデータだけではなく)実際の臨床画像を匿名化するためのシステム及び方法を提案している。これを実現するために、以下の工程が開示される。まず、実際の臨床画像の集合{R}r=1,…,Rが基準画像に空間的に写像される。基準画像は臨床アトラス画像であり、又は基準画像は(任意選択的に集合{R}から取得された)「典型的な」臨床画像である。空間写像は例えば典型的には非剛体空間位置合わせであり、各画像r∈{R}に対して空間変換Zrをもたらす。結果は空間変換集合{Zr}r=1,…,Rである(又は、1つの画像が基準画像として取得される場合、{Zr}r=1,…,R-1である)。
【0017】
[0018] 次に、空間的に写像された画像は、空間領域集合{P}p=1,…,Pに区切られる。空間領域集合{P}は直線格子を使用して規定され、又は、空間領域は、解剖学的ラインに沿って規定される。これは、空間領域集合{P}の各空間領域pに対応したR個のパッチを提供する。
【0018】
[0019] 次に、訓練画像集合{N}n=1,…,Nが構成される。各訓練画像n∈{N}は、各空間領域pに対応したR個のパッチのうちの1つをランダムに選択することにより構成され、次に、選択されたパッチを訓練画像nに組立てる。結果として得られるN個のパッチ形成された画像は基準画像空間内にあり、それはイメージングされた解剖学的構造物のサイズ及び形状の現実に即した分布を捉えていないので、これは望ましくない。これを解決するために、ランダムに選択された逆変換が各パッチ形成された画像に適用される。1つのアプローチにおいて、ランダムに選択された逆変換が空間変換集合{Zr}からランダムに選択される。別のアプローチにおいて、集合{Zr}の空間変換のパラメータの統計的分布が特定され、逆変換がこれらの分布を使用して生成される。
【0019】
[0020] このアプローチにおいて発生し得る問題は、パッチの境界が訓練画像において不連続になり得ることである。例えば、四肢骨は、2つの近接した空間領域間の境界に人工的な「折れ」を示す。これが問題であるか否かは、訓練されたAIコンポーネントの性質に依存し得る(明らかに、AIが折れた四肢骨を検出するために訓練される場合、これが問題となるのに対し、AIが小さい病変を検出するために訓練される場合、このパッチ境界がAIにより病変と誤認される可能性は低い)。
【0020】
[0021] この問題を解決するための2つのアプローチが開示されている。第1の実施形態は、境界において平滑化を実施する工程を有する。これは、境界位置は逆変換の前にパッチ形成された画像の各々に対して同じであるので、逆変換を適用する前に最も簡単に行われる。第2の実施形態では、空間領域集合{P}は、主な解剖学的境界にまたがって切られた空間領域境界を含むことを回避するように設計される。例えば、基準画像の肝臓が、全て完全に肝臓内にある空間領域の部分集合に分割されること、各肺が、全て完全にその肺の中にある空間領域の部分集合に分割されることなどが挙げられる。この実施形態は、空間領域境界が解剖学的境界を横断することを回避することを可能にし、空間領域集合{P}は一回表されるのみであり、次に同じ空間領域集合{P}がパッチを生成するために{R}臨床画像の各々に適用されるので実現可能である。
【0021】
[0022] 、本明細書において開示されている幾つかの実施形態において、パッチ形成された訓練集合{N}に基づいて訓練されたAIコンポーネントのパフォーマンスは、元の臨床画像集合{R}に基づいて訓練された類似のAIコンポーネントと、そのパフォーマンスを比較することにより容易に格付けされ得る。(個人を識別する画像情報を含む可能性があり得る)その類似のAIコンポーネントは、ベンチマークとしてのその使用後に破棄される。パッチ形成された訓練集合{N}に基づいて訓練されたAIコンポーネントが顧客に配布される。
【0022】
[0023] 開示されているシステム及び方法は、医療画像を分析するためにAIコンポーネントを訓練することに限定されず、より概括的には、全て同じ基本レイアウトを伴う訓練画像集合に基づいて訓練される任意のAI画像分析コンポーネントの訓練に適用され得る(例えば、顔認識AIを訓練するために使用される顔画像、又は、写真撮影された人の属性を分類するためにAIを訓練するために使用される人の画像、又はユーザー識別を実施するために網膜スキャナを訓練することに使用される網膜スキャン画像が、開示されるアプローチが有用な場合の更なる例である)。更に、本アプローチは、二次元又は三次元(すなわちボリュメトリック)画像に適用可能である。ボリュメトリック画像の場合、空間領域集合{P}はボリュームにわたって規定され、画像パッチはボリュメトリック画像パッチである。
【0023】
[0024]
図1を参照すると、複数の人の画像11からAIコンポーネント42を訓練するための匿名化された訓練画像40の訓練集合を生成するための例示的な装置10が示されている。例えば、装置10は、画像獲得デバイス(イメージングデバイスとも呼ばれる)12から複数の人の画像11を受信し得る。イメージングデバイス12は、解剖学的構造物の医療画像として画像11を獲得し得る。この例では、画像獲得デバイス12は、磁気共鳴(MR)画像獲得デバイス、コンピュータ断層撮影(CT)画像獲得デバイス、陽電子放射断層撮影(PET)画像獲得デバイス、単光子放射型コンピュータ断層撮影(SPECT)画像獲得デバイス、X線画像獲得デバイス、超音波(US)画像獲得デバイス、又は別のモダリティの医療イメージングデバイスであり得る。更に、又は代替的に、イメージングデバイス12は、訓練される特定のAIコンポーネント42に適した、画像11がポートレート画像であるカメラ(例えばビデオ、RBG、赤外線など)、又は、画像が網膜画像である網膜スキャナなどであり得る。例示的なイメージングデバイス12は代表的なものであり、より概括的には画像集合11が多くの異なるイメージングデバイスにより獲得されてもよいことが理解される。例えば、画像11は、病院、病院のネットワーク、又は他のエンティティにサービス提供する、例えば画像保管通信システム(PACS)又は他の医療画像保存部28といったデータベースから収集される。画像集合11の画像は全て同じ基本レイアウトを伴う。例えば、臨床画像の場合、画像11は同じイメージングモダリティ及び同じ解剖学的部分の全て(例えば、全ての頭部MRI画像、全ての肝臓MRI画像、全ての胸CT画像など)、及び、同一又は類似の配向の全て(例えば、全ての矢状頭部MRI画像、又は全ての冠状頭部MRI画像など)であり、及び、同一又は類似のイメージング条件を使用する(例えば、全てが同じ造影剤を使用し、又は、全てが造影剤を使用しない)、又は、AIコンポーネントが使用されるイメージング条件の使用可能な空間に及ぶイメージング条件を使用する。別の例として、網膜スキャナを訓練することにおける使用のために、画像11は全ての網膜画像である。別の例として、顔認識システムを訓練することにおける使用のために、画像11は、全てのポートレート顔画像である。更に、画像11は人口統計学の範囲、及び病状、又は訓練されたAIコンポーネント42により取り扱われる状態を統計学的に代表するものでなければならない。AIによる誤診(又は他の誤った出力)をもたらす知られた交絡した病状が存在する場合、画像集合11はこのような交絡した症状の例を含む。例えば、画像11がマンモグラム画像であり、マンモグラム画像における皮膚のしわがAIコンポーネント42の動作に悪影響を及ぼすことが想定される場合、結果として得られる訓練されたAIコンポーネントのロバスト性を改善するために、(本例ではマンモグラム)画像11の集合は皮膚のしわを含む幾つかのマンモグラム画像を任意選択的に含む。
【0024】
[0025]
図1は、電子処理デバイス18、例えばワークステーションコンピュータ、又はより概括的にはコンピュータを更に示す。代替的に、電子処理デバイス18は、1つのサーバーコンピュータ、又は、例えばサーバークラスターを形成するように相互接続された複数のサーバーコンピュータ、クラウドコンピューティングリソースなどとして具現化され得る。ワークステーション18は、例えば、電子プロセッサ20(例えばマイクロプロセッサ)、少なくとも1つのユーザー入力デバイス(例えばマウス、キーボード、トラックボール、及び/又はその他のものなど)22、及び、ディスプレイデバイス24(例えばLCDディスプレイ、プラズマディスプレイ、ブラウン管ディスプレイ、及び/又は、その他のもの)といった典型的なコンポーネントを含む。幾つかの実施形態において、ディスプレイデバイス24は、ワークステーション18から独立したコンポーネントであり得る。
【0025】
[0026] 電子プロセッサ20は、1つ又は複数の非一時的記憶媒体26と動作可能に接続される。非一時的記憶媒体26は、非限定的な示される例として、磁気ディスク、RAID、若しくは他の磁気記憶媒体、ソリッドステートドライブ、フラッシュドライブ、電子的に消去可能な読み出し専用メモリ(EEROM)、若しくは他の電子メモリ、光ディスク、若しくは他の光ストレージ、それらの様々な組み合わせなどのうちの1つ又は複数を含み、例えばネットワークストレージ、ワークステーション18の内蔵ハードドライブ、それらの様々な組み合わせなどである。本明細書における1つ又は複数の非一時的媒体26に対する全ての言及が同じ又は異なるタイプの1つの媒体又は複数の媒体を包含するものとして広く解釈されることが理解される。同様に、電子プロセッサ20は、1つの電子プロセッサ又は2つ以上の電子プロセッサとして具現化される。非一時的記憶媒体26は、少なくとも1つの電子プロセッサ20により実行可能な命令を記憶する。命令は、ディスプレイデバイス24における表示のためのグラフィカルユーザーインターフェース(GUI)27を生成するための命令を含む。
【0026】
[0027] 装置10は、画像11を記憶するデータベース28を更に含むか、又はデータベース28と別様に動作可能に通信する。データベース28は、放射線医学情報システム(RIS)データベース、画像保管通信システム(PACS)データベース、電子医療記録(EMR)データベースなどを包含する任意の適切なデータベースであり得る。データベース28は、例えば、サーバーコンピュータ及び1つ又は複数の非一時的媒体26により実現され得る。ワークステーション18は、記憶された画像11にアクセスするために使用され得る。画像11は多くのイメージングデバイスにより、及び、必須ではないが代表的な1つの示される画像獲得デバイス12のみにより前述のように獲得され得ることが更に理解される。
【0027】
[0028] 装置10は、匿名化された画像の訓練集合を生成するための方法又は工程100を実施するように上述のように構成される。非一時的記憶媒体26は、匿名化された画像の訓練集合を生成するための方法又は工程100を実施することを有する、開示されている動作を実施するための、少なくとも1つの電子プロセッサ20により可読な、及び実行可能な命令を記憶する。幾つかの例において、方法100は、少なくとも部分的にクラウド処理により実施される。
【0028】
[0029]
図1に示されているように、及び
図2~
図7を参照すると、イメージング検査ワークフロー可視化方法100の例示的な実施形態がフローチャートとして概略的に示されている。
図2~
図7は、方法10の動作の出力の例を示す。
図2~
図7に示されている画像は、胸の二次元X線画像であるが、方法100は任意の適切なイメージングモダリティ又は患者の解剖学的領域に対して適用され得ることが理解される。普遍性を失わずに、画像11が集合{R}を形成すること、すなわち、画像集合11にR個の画像が存在することが仮定される。
図1に示されていないが、画像11に関連したメタデータが取り除かれること、又は、少なくとも画像に関連したメタデータ11に含まれる任意の個人を識別する情報(PII)が取り除かれることが仮定される。同様に、普遍性を失わずに、生成された匿名化された訓練画像40の集合が集合{N}を形成すること、すなわち、N個の匿名化された訓練画像が存在することが仮定される。概して、匿名化された訓練画像40の個数Nと比較して画像11の個数Rが十分大きくなければならないことを除いて、RとNとの間に関連性は存在せず、その結果、R個の画像11を空間領域Pに区切ることにより形成されたパッチは、匿名化された訓練画像40において「十分に混合された」ものとなる。(これを示すために、例えばR=5個の画像11のみが存在し、及びN=100個の訓練画像40が生成される場合、少なくとも幾つかの訓練画像が5つの入力画像11のうちの1つからから主に取り出されたパッチからなる可能性があり、これは望ましくない。また一方では、R=1000かつN=20である場合、匿名化された訓練画像のいずれも1000個のソース画像11のうちの任意の1つのものから取得された1つ又は2つより多いパッチを含まない可能性が高い)。
【0029】
[0030] 工程102において、少なくとも1つの電子プロセッサ20が、複数の人の画像11を基準画像30に空間的に写像して、共通基準座標系における画像32を生成するようにプログラムされる。画像11が医療画像であるとき、基準画像30は、解剖学的構造物の解剖学的アトラス画像であり得る。画像11がポートレート画像であるとき、基準画像30は、顔のアトラス画像であり得る。代替的に、これらの例のいずれかにおいて、基準画像30は、複数の人の画像11のうちの1つであり得る(この選択肢は
図1に概略的に示されている)。この後者の例における基準画像30は手動で画像集合11から選択される-例えば、「典型的な」画像が好ましくは基準画像として選択される(典型的とは、この場合、適切に言うと、平均サイズの、及び好ましくは著しい異常を一切伴わない解剖学的構造物の画像である)。
【0030】
[0031]
図2は、工程102の一例を示す。4つの画像11がイメージングデバイス12により獲得され、及び/又は、データベース28から入手される。示される4つの画像11の各々が、異なる患者からのものである(
図2の「上部」に示されている)。画像11は(この場合においてアトラス画像であり、及び
図2の「中央」に示された)基準画像30に写像される。写像は、当技術分野において知られた任意の適切な写像アルゴリズム(例えば、A.FranzらのPrecise anatomy localization in CT data by an improved probabilistic tissue type atlas.SPIE Medical Imaging:Image Processing、volume 9784、978444、2016において説明されているもの)を使用して実施され得る。このFranz法は、全ての画像11を共通アトラス基準30に写像することを可能にする非線形写像関数を提供する。写像後に、共通基準座標系における全ての画像32が比較可能であり、例えば、1つの画像における位置/ピクセルが、全ての他の画像における対応する解剖学的位置に関連している。これらの画像32は、
図2の「下部」に示されている。
【0031】
[0032] 写像工程102は、写像又は変換の集合33を更に出力する。1つのアプローチにおいて、基準画像30への画像集合11の各画像の写像は、写像集合33のうちの1つの写像である。これはR個の写像33(又は、場合によっては、基準画像30がR個の画像11のうちの1つである場合、R-1個の写像)をもたらす。別のアプローチにおいて、写像集合33は多次元の統計的分布として出力される。例えば、写像工程102がパラメータ的に規定された写像アルゴリズムを使用する場合、基準画像30へのR個の画像11のそれぞれのR個の写像における各パラメータの分布は、(例えば)パラメータの分布に対するガウシアンフィッティングの平均及び標準偏差により表される。
【0032】
[0033] 工程104において、少なくとも1つの電子プロセッサ20が(普遍性を失わずにPと表される)多数の空間領域34に、共通基準座標系において画像32を区切って、P個の空間領域に対応したP個の画像パッチ集合36を生成するようにプログラムされる。幾つかの実施形態では、P個の空間領域34が直線格子を形成するのに対し、他の実施形態では、P個の空間領域34が、例えば基準画像30内の臓器間の解剖学的境界といった基準画像30における関心領域に一致する。この実施形態において、画像11が医療画像であるとき、P個の空間領域34の境界は、基準画像30における解剖学的構造物の解剖学的境界を横断しない。空間領域34の集合{P}は(例えばコンピュータにより生成された直線格子を使用して)自動的に予め規定され、又は、手動で描かれ、例えば、放射線治療計画のために臓器の輪郭取得をすることに使用されるものなどの輪郭取得GUI27を使用して基準画像30に描かれる。臓器又は他の解剖学的構造物に一致したおおまかな空間領域を規定するために主な臓器の境界が輪郭取得GUI27を使用して手動で描かれた後、おおまかな空間領域の各々自体がコンピュータにより生成された直線格子へと自動的に区切られ、以てP個の空間領域34の最終的な集合を規定するハイブリッド型アプローチも想定される。
【0033】
[0034] 空間領域集合34は、結果として得られる匿名化された訓練画像40の匿名性を確実なものとするように適切に選択される。この目的のために、どの1つのパッチ36も個人を識別しないように、空間領域34は十分小さく選択されなければならない。更に、所与の訓練画像を作るほとんどの又は全てのランダムに選択されたパッチが画像集合11の1つの画像に由来する可能性が統計学的に無視できる程度であるように、空間領域(P)の数は十分大きくなければならない。更に、それは、画像11の個数Rが空間領域Pの数より大きくなる(好ましくは、はるかに大きくなる)ことに対して有用であり、このことは、繰り返しになるが、所与の訓練画像を作るほとんどの又は全てのランダムに選択されたパッチが画像集合11の1つの画像に由来するという可能性を減らす。
【0034】
[0035]
図3A、
図3B、及び
図4は、工程104の2つの例を示す。
図3A及び
図3Bに示されるように、共通基準座標系における画像32は、複数の空間領域34に分割される。
図3Aが、空間領域34が直線格子を形成する実施形態の一例を示す(例えば4つの空間領域が示されており、同一のサイズである)のに対し、
図3Bは、空間領域34が基準画像30における関心領域に一致する実施形態の一例を示す(例えば3つの空間領域のみが示される)。本明細書において使用されるとき、「空間領域」は画像11をパッチに分割することに使用される空間描写を表すことに留意されなければならない。次に「パッチ」という用語は本明細書において使用されるとき所与の空間領域に対応した所与の分割された画像11の一部を表す。R個の画像11が存在するので、区切る工程104は、P個の空間領域34の集合の各空間領域に対応したR個のパッチを生成する。P個の空間領域に対応したP個のパッチ集合が存在することになり、各パッチ集合はR個のパッチからなる。空間領域34は、
図4に示されているようにパッチ36を生成するために共通基準座標系における画像32に適用される。各パッチ36は、(画像識別子,パッチ数)を含むタプルとして識別され得る。画像識別子は、好ましくは個人を識別しない。むしろ、例えば、R個の画像は、単純に1、…、Rと番号を付けられ得る。画像に割り当てられた番号は次に画像識別子となる。所与の空間領域34に対応した各パッチ36は、共通基準座標系における画像32間で解剖学的に比較可能である。
【0035】
[0036] 工程106において、少なくとも1つの電子プロセッサ20は、共通基準座標系における訓練画像集合38を組立てるようにプログラムされる(
図5を更に参照されたい)。そうするために、共通基準座標系における各訓練画像38に対してP個の画像パッチ集合の各々から画像パッチ36が選択される。選択された画像パッチ36は空間領域集合34の空間的レイアウトに従って共通基準座標系における訓練画像30に組立てられる。幾つかの例において、P個の画像パッチ集合の各々からの画像パッチ36の選択は、ランダムに、又は疑似ランダムに画像パッチを選択することを有する。本明細書において使用されるとき、「疑似ランダム」という用語及び同様の用語は、コンピュータ科学分野におけるその普通の及び通常の意味をもち、技術的に決定論的だがランダム過程と統計学的に同様な結果を生成する処理であって、疑似ランダム過程の複数回の動作にわたって繰り返されない処理を表す。例えば、共通疑似ランダム値生成器は長い(場合によっては無限に長い)番号の真のランダムシーケンスと同様の統計データを含む番号の決定論的シーケンスを生成する番号シーケンス生成器を備える。各動作に対して、シーケンス内の開始点を特定するシードが選択される。シードは、例えば、ギガヘルツの速度以上で動作する高速コンピュータプロセッサに対しては実質的にランダムな番号である、動作が始まった時点での低ビットのコンピュータクロック値の集合に基づいて選択される。例えばモンテカルロシミュレーション法といった他の疑似ランダム生成器も適している。更に、本明細書において使用される「ランダム」という用語は、疑似ランダム値生成器を使用する実施態様を包含すると理解される。
【0036】
[0037]
図5は工程106の一例を示す。各空間領域34に対して、ランダムな画像識別子が、例えばランダム数生成器により選択され、その画像識別子をもつその空間領域に対応するR個のパッチ36の集合のうちのパッチが選択される。P個の空間領域34の集合の各空間領域に対してこれが繰り返される。したがって、選択されたパッチ36は概して、画像集合11の異なる画像からのものであり、共通基準座標系における訓練画像集合38を生成するために空間領域34(
図3参照)を使用して組立てられる。
図4に示されている共通基準座標系における訓練画像38は、4人の異なる患者からのパッチ36を含む。実際には、パッチPの数は4よりはるかに大きい可能性がある。
【0037】
[0038] 上述のアプローチにおいて、画像11の集合のうちの1つの画像からの2つの(又は更に多くの)パッチが、共通基準座標系における訓練画像38の1つに含まれるという幾らかの可能性が存在する。画像11の個数Rが空間領域の個数Pよりはるかに多い限り、及び好ましくは更に、結果として得られる訓練画像40の個数Nよりはるかに多い限り、これは問題となる可能性が低い。しかし、共通基準座標系における訓練画像38のいずれの1つも、1つの画像11からの1つより多いパッチを含まないことを確実なものとすることが望ましい場合、各訓練画像に対して組立てられた最終的なパッチ集合は、重複(すなわち1つの画像11からの2つ以上のパッチ)を確認され得る。このような重複が見つかった場合、共通基準座標系における訓練画像が破棄される。このアプローチはR>Pが維持されることを必要とし、好ましくはR≫Pでなければならない。
【0038】
[0039] 共通基準座標系における所望のN個の訓練画像38が組立てられるまで、工程106が繰り返される。共通基準座標系における訓練画像38は匿名化される。しかし、それらは、画像集合11における人(又は、それらのイメージングされた解剖学的部位)のサイズ/形状の統計的バリエーションを表さない。これが写像工程102の結果であり、これが訓練画像38の全てが基準画像30の共通基準座標系に存在することをもたらす。
【0039】
[0040] したがって、工程108において、少なくとも1つの電子プロセッサ20が、画像集合11における人(又はそれらのイメージングされた解剖学的部位)のサイズ/形状の統計的バリエーションを表す匿名化された画像40の訓練集合を生成するために共通基準座標系における訓練画像38を処理するようにプログラムされる。そうするために、共通基準座標系における訓練画像38に統計的逆空間写像が適用される。統計的逆空間写像が基準画像30への複数の人の画像11の空間写像33から導出される。一例において、基準画像30への画像11の空間写像33は逆空間写像集合を形成するように逆射され、逆空間写像集合から、統計的逆空間写像がランダムに、又は疑似ランダムに選択される。別の例において、画像11の空間写像33のパラメータの統計的分布が、逆空間写像集合を形成するために演算され、統計的逆空間写像がこれらの統計的分布から生成される。任意選択的に、工程108は、匿名化された画像の訓練集合40を更に生成するために、画像パッチ36の境界において実施され得る平滑化工程を更に有し得る。
【0040】
[0041]
図6は工程108の一例を示す。共通基準座標系における訓練画像38が、逆アトラス写像を適用することにより画像11(
図2参照)の元の患者画像空間に再写像される。工程102において計算された写像のうちの1つがランダムに選択され、逆射にされ、匿名化された画像40の訓練集合を生成するために、共通基準画像30空間における訓練画像38に適用される。
【0041】
[0042]
図6は匿名化された画像40のうちの1つの例を更に示す。しかし、匿名化された画像40は、互いに解剖学的に完全に適合したパッチ36のエッジをもたない。
図6に示されているように、右上の角及び右下の角におけるパッチ36は肺の境界に視認可能なオフセットをもたらす。このオフセットは、元画像11における画像強度のバリエーション及び/又は不完全な写像アルゴリズムにより説明され得る。結果として得られる匿名化された画像40は、実際の患者スキャンにできる限り近くなければならない。したがって、パッチ36の境界における画像強度とエッジ構造物との両方が、任意選択的に平滑化又は他の適切な画像処理技術を使用することにより修正される。例えば、パッチ境界の近傍において計算された強度平均を適応させることにより強度値が修正され得、適合しないエッジは、非線形画像変換により局所的にシフトさせられ得る。匿名化された画像40の新しいデータベースを生成するために、工程106及び108が繰り返され得る。したがって、元の画像11は、もはや、匿名化された画像40の集合から再構成されることができない。
【0042】
[0043] 工程104~108は、解剖学的画像相関のコンテキストにおいて実施されるものとしてここまでに説明されている。しかし、これらの工程104~108は、機能的画像相関のコンテキストにおいて実施されてもよい。すなわち、機能的データの適合パターンを伴う画像からのパッチ36が、訓練画像38を形成するために組み合わされてもよい。そうするために、パッチ36にわたって相関した機能的データを伴う画像のサブグループを形成するために、パターン認識工程が画像集合11に実施される。パッチ36のこのサブグループは、訓練画像38を形成するために使用される。パターン認識工程、及び、訓練画像38の生成(すなわち工程108)前に行われるサブグループ形成は、例えば患者/臓器サイズ、病状、異常又は臨床的影響の位置などにより、パッチの相関を高めるために解剖学的画像において使用され得る。このデータは、画像分析により提供され、又は、例えば患者臨床記録からの患者データを使用して補完され得る。
【0043】
[0044] 幾つかの例において、PACSデータベース28は、1つ又は複数の医療機関に位置し得る複数のイメージングデバイス12から画像11を受信し得る。更なる訓練画像38を生成するために部分集合基準を満たすための十分な画像データが利用可能になるまで、これらの画像からのパッチ36がサブグループ仕様とともに記憶され得る。
【0044】
[0045] 再度
図1を参照すると、工程110において、少なくとも1つの電子プロセッサ20が匿名化された画像の訓練集合40に基づいてAIコンポーネント42を訓練するようにプログラムされる。訓練されたAIコンポーネント42は、(例えばイメージング検査を解釈することにおいて放射線科医により使用される放射線医学ワークステーションといった)コンピュータ支援臨床診断ワークステーションの一部としての使用のためにワークステーション18に配備され得る。解剖学的構造の画像11は、医療診断デバイスのAIコンポーネント42を訓練するために使用され得るのに対し、ポートレート画像11は、(例えば、AIが、制限されたエリアへのアクセスを制御するために使用される顔認識スキャナに配備された状態で)顔認識デバイスのAIコンポーネント42を訓練するために使用され得る。更に異なる別の例として、画像11が網膜画像である場合、訓練されたAIコンポーネント42は、制限されたエリアへのアクセスを制御するために使用される網膜スキャナに配備される。これらは幾つかの例示的な用途に過ぎない。
【0045】
[0046] 幾つかの例において、工程110は、匿名化された画像の訓練集合40に基づいてAIコンポーネント42の訓練を検証することを有し得る。そうするために、AIコンポーネント42は、訓練されたAIコンポーネントを生成するために、画像40の訓練集合に基づいて訓練される。AIコンポーネント42の別々のインスタンスが、基準の訓練されたAIコンポーネントを生成するために、元の画像11に基づいて訓練される。匿名化された画像40の訓練集合に基づいて訓練されたAIコンポーネントのパフォーマンス42が、匿名化された画像40の訓練集合に基づいて訓練された、訓練されたAIコンポーネントのパフォーマンスを、(すなわち元の画像11に基づいて訓練された)基準の訓練されたAIコンポーネントのパフォーマンスと比較することにより検証される。
【0046】
[0047] 概して、匿名化された画像40のより高い程度の匿名化を提供するために、空間領域Pの数は増やされ得る。前述のように、空間領域集合34は、様々な空間形状及びレイアウトを伴い得る。例えば、「パズル様」形状、パターン、分解タイル配置が、空間領域34を規定するために使用され得る。特に、空間領域34の境界が解剖学的エッジを横断しないような、又は少なくとも解剖学的エッジと直角に横断しないような手法により、空間領域が基準画像30において規定され得る。
図7は、このようなタイル配置を使用して生成された匿名化された画像の一例を示す。これは、空間領域34間の境界に依然として誤りをもたらすが、誤りは大幅に小さくされ、平滑化すること、又は他の画像処理をすることにより、より簡単に修正され得る。
【0047】
[0048] 幾つかの実施形態において、元の画像11を更に匿名化するために、上述のように、全ての写像33の平均と分散とが計算され得る。これらから、匿名化の程度を更に高めるランダムな逆写像が生成され得る。
【0048】
[0049] 他の実施形態において、パッチ36が融合される場合、画像コンテンツ又は解剖学的タイプ(例えば性別)が考慮され得、したがって、同様の患者パッチのみが融合される。別の例では、パッチ36を融合させるために位置合わせアルゴリズムが使用され得る。
【0049】
[0050] 本開示は、好ましい実施形態を参照しながら説明されている。前述の詳細な説明を読んで理解した他者は変更例及び修正例を想起することができる。例示的な実施形態が、変形例及び修正例が添付の請求項の範囲又はその均等なものに該当する限り、このような変形例及び修正例の全てを含むように解釈されることが意図されている。