特許 7649242 画像分析方法及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-11

(45)【発行日】2025-03-19

(54)【発明の名称】画像分析方法及びデバイス

(51)【国際特許分類】

   A61B 8/14 20060101AFI20250312BHJP

【ＦＩ】

A61B8/14

【請求項の数】 14

(21)【出願番号】P 2021540514

(86)(22)【出願日】2019-12-30

(65)【公表番号】

(43)【公表日】2022-03-07

(86)【国際出願番号】 EP2019087136

(87)【国際公開番号】W WO2020148080

(87)【国際公開日】2020-07-23

【審査請求日】2022-12-27

(31)【優先権主張番号】19151746.5

(32)【優先日】2019-01-15

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ウィッセル トビアス

(72)【発明者】

【氏名】ワチター‐ステール イリナ

(72)【発明者】

【氏名】ウェーバー フランク ミカエル

(72)【発明者】

【氏名】エワルド アーネ

【審査官】佐藤 賢斗

(56)【参考文献】

【文献】特開２０１３－０２２４６２（ＪＰ，Ａ）

【文献】特開平０８－２０６１１７（ＪＰ，Ａ）

【文献】特開２０１５－２２６７１１（ＪＰ，Ａ）

【文献】特開平０８－０２４２４７（ＪＰ，Ａ）

【文献】特開２０１１－０３１０５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００ － ８／１５

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ － ６／５８

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

画像における１つ又は複数の解剖学的特徴を特定しセグメント化する画像セグメンテーション処置における失敗を判定するための、コンピュータ実施される画像分析方法であって、前記画像分析方法は、
患者の解剖学的領域の２つ以上の画像の画像セグメンテーションを取得するステップであって、前記２つ以上の画像は異なるそれぞれの時点での前記解剖学的領域を表し、各々が前記画像セグメンテーション処置を使用してセグメント化される、ステップと、
前記画像セグメンテーションを比較し、異なる前記画像セグメンテーションの間の１つ又は複数の整合性の尺度を導出するステップと、
前記１つ又は複数の整合性の尺度に基づいて、前記画像セグメンテーション処置の正確性の尺度を決定するステップと、を有し、
前記正確性の尺度は、１つ又は複数の導出された前記整合性の尺度及び前記異なるそれぞれの時点においてキャプチャされた画像に関して前記画像セグメンテーションの間の所定の通常の不整合性の度合いへの参照に基づいて決定される、画像分析方法。

【請求項2】

前記画像セグメンテーションを前記比較するステップ及び／又は前記１つ又は複数の整合性の尺度を前記導出するステップは、前記画像セグメンテーションの各々においてセグメント化された１つ又は複数の類似のセグメント化された前記解剖学的特徴を比較するステップと、異なる前記画像セグメンテーションにおける前記解剖学的特徴の間の１つ又は複数の整合性の尺度を導出するステップとを有する、請求項１に記載の画像分析方法。

【請求項3】

前記正確性の尺度は、前記整合性の尺度のための１つ又は複数の所定の最小閾値を適用することに基づいて決定される、請求項１又は２に記載の画像分析方法。

【請求項4】

前記１つ又は複数の整合性の尺度を前記導出するステップ及び／又は前記正確性の尺度を前記導出するステップは、機械学習アルゴリズムの使用を有する、請求項１から３のいずれか一項に記載の画像分析方法。

【請求項5】

前記機械学習アルゴリズムは、前記異なるそれぞれの時点における前記解剖学的領域を表す前記解剖学的領域の画像セグメンテーションの間の不整合性の通常レベルと異常レベルとを区別するために訓練される、請求項４に記載の画像分析方法。

【請求項6】

前記正確性の尺度は、確率的な正確性の尺度を含む、請求項１から５のいずれか一項に記載の画像分析方法。

【請求項7】

前記１つ又は複数の整合性の尺度を決定するステップは、セグメント化された前記解剖学的特徴の各々の輪郭線の少なくとも一部分の位置、形状、及び／又は寸法の比較を有する、請求項２から６のいずれか一項に記載の画像分析方法。

【請求項8】

前記異なるそれぞれの時点は、撮像された前記解剖学的領域の周期的又は循環的な運動パターンにおける定められた時点に対応する、請求項１から７のいずれか一項に記載の画像分析方法。

【請求項9】

前記画像分析方法は、前記２つ以上の画像の画像データの獲得とリアルタイムで実施される、請求項１から８のいずれか一項に記載の画像分析方法。

【請求項10】

前記画像分析方法は超音波画像分析方法である、請求項１から９のいずれか一項に記載の画像分析方法。

【請求項11】

１つ又は複数の前記画像セグメンテーションを前記取得するステップは、１つ又は複数の画像を受信するステップと、前記画像を前記画像セグメンテーション処置によって処理するステップとを有する、請求項１から１０のいずれか一項に記載の画像分析方法。

【請求項12】

１つ又は複数の前記画像セグメンテーションを前記取得するステップは、超音波データを受信するステップと、１セットの２つ以上の画像を導出するために前記超音波データを処理するステップであって、前記２つ以上の画像は異なるそれぞれの時点での前記解剖学的領域を表す、ステップと、導出された１つ又は複数の前記画像を前記画像セグメンテーション処置によって処理するステップとを有する、請求項１から１０のいずれか一項に記載の画像分析方法。

【請求項13】

画像における１つ又は複数の解剖学的特徴を特定しセグメント化する画像セグメンテーション処置における失敗を判定するための画像分析デバイスであって、前記画像分析デバイスは、
患者の解剖学的領域の２つ以上の画像の画像セグメンテーションを取得する獲得モジュールであって、前記２つ以上の画像は異なるそれぞれの時点での前記解剖学的領域を表し、各々が前記画像セグメンテーション処置を使用してセグメント化される、獲得モジュールと、
前記画像セグメンテーションを比較し、異なる前記画像セグメンテーションの間の整合性の尺度を導出する比較モジュールと、
１つ又は複数の前記整合性の尺度に基づいて、前記画像セグメンテーション処置の正確性の尺度を決定する分析モジュールと、を有し、
前記正確性の尺度は、１つ又は複数の導出された前記整合性の尺度及び前記異なるそれぞれの時点においてキャプチャされた画像に関して前記画像セグメンテーションの間の所定の通常の不整合性の度合いへの参照に基づいて決定される、画像分析デバイス。

【請求項14】

超音波トランスデューサユニットと、
２つ以上の前記画像セグメンテーションの取得における使用のために前記超音波トランスデューサユニットに動作可能に結合された、請求項１３に記載の画像分析デバイスと
を備える、超音波システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の分析のための方法及びデバイスに関し、特には、画像に適用されるセグメンテーション処置の正確性を評価するための方法及びデバイスに関する。

【背景技術】

【0002】

画像セグメンテーションは、デジタル画像を、各々が画像のいくらかのエリア又は領域をカバーする複数のセグメント（すなわち、ピクセルの集合）に分割するデジタル画像処理における処置である。これは、画像において物体及び境界線（例えば、直線、曲線）の場所を同定するために最もしばしば使用される。異なるセグメントは、典型的には、セグメント化された領域に含まれるピクセルのいくつかの類似の共有されたグラフィカル特性、例えば、色、強度、又はテクスチャに基づいて特定され、区別される。隣接するセグメント化された領域は、これらの同じ特質に関して異なるであろう。

【0003】

医療撮像の分野において、セグメンテーションは、例えば臓器、空気及び流体通路（血管又は消化管など）、弁又は室など、キャプチャされた画像内で様々な解剖学的構造又は特徴を特定するために有用である。画像セグメンテーション後に結果としてもたらされる輪郭は、医師による医療画像のより迅速な評価を可能とする（より素早い診断又は治療判断を可能とする）。セグメンテーションは、後続の処理技術に供給されても有益であり得る。例えば、所与の領域の一連の又は多量の画像が、３Ｄ再構築を生むために、例えば、マーチングキューブアルゴリズムなどの補間アルゴリズムの補助を受けて、セグメンテーション情報を使用して処理され得る。

【0004】

医療撮像の１つの重要な分野は超音波である。超音波は、身体のエリアの広い範囲の評価及び診断において重要な役割を果たす。特に、心臓撮像における超音波の使用は非常に有用である。

【0005】

診断、治療及び計画は、しばしば、超音波画像内の関連する解剖学的部位又は特徴の明確な描写の利用に基づく。例えば、心臓撮像の分野において、これらの部位としては、心室、心房又は周囲の血管などがある。セグメンテーションは、この描写処理を自動化するために頻繁に使用される。

【0006】

身体における多くの臓器又は解剖学的物体は、循環的な運動パターンを受けており、これは、例えば、心臓サイクル中の心臓及びその内部の室の運動（心拍としての収縮期と拡張期との間のサイクル）、又は、例えば、呼吸サイクル中の肺の収縮及び拡張である。

【0007】

モデルに基づく画像セグメンテーションは、しばしば、医療撮像のために使用される。モデルに基づくセグメンテーションは、例えば、特定の解剖学的領域の所定のモデルを使用し、典型的な形状、サイズ、テクスチャ、又は特定の解剖学的構造又は特徴に特徴的な他のグラフィカルな特徴をモデル化する。これらのモデル特性は、セグメンテーションへの制約として課され得、例えば、モデルは画像データにフィッティングされ、それによって解剖学的特徴のセグメンテーションを可能とする。

【0008】

改善がなされているにもかかわらず、画像セグメンテーションは信頼がおけないことが頻繁にある。例えば貧弱な画像品質、解剖学的構造の異常、又は予期しない撮像視野に起因して、構造の自動的描写は頻繁に失敗することがある。セグメンテーション処理の失敗にはいくつもの理由があり得る。例えば、アルゴリズムが入力画像内容の解釈を誤ったり、又は、画像が特定のエリアにおいて境界線及び直線の正確な描写を可能とするために十分な解像度又は信号内容を欠いていたりすることがある。例えば、モデルに基づくセグメンテーションは、勾配又はテクスチャなどの画像特徴を評価することに依存する。特定の解剖学的領域における貧弱な超音波信号品質又は信号データの消失は、処置の失敗につながり得る。このことは、画像特徴の不正確な描写につながり得、従って、信頼できないセグメンテーション結果につながり得る。

【0009】

より詳細には、元になる画像の特性又は特徴（すなわち、ピクセルの特性）を正確に特定することに失敗することは、画像へのモデルの間違ったフィッティング（すなわち適合）につながり得る。このことは、結果的に、不正確で整合性のないセグメンテーション結果をもたらす。

【0010】

セグメンテーション処置における失敗は、セグメンテーション成果においてモデル形状の非現実的な歪みの形態で現れるが、信頼できるように見えるが、実際には本当の元になる解剖学的構造からは著しく逸脱したモデル形状として現れることもある。

【0011】

セグメンテーションが失敗したときにこのことを検知することは、不正確なセグメンテーション結果に基づいて臨床医が医療的判断を下すことを回避するために極めて重要である。これは、セグメンテーション成果が失敗しているにもかかわらず形状においては信頼できるように見えるときに最も重要である。

【0012】

現在の技術におけるセグメンテーションの失敗を検知する典型的な手法は、セグメンテーション結果を元になる画像と比較して、失敗を示す特徴的な不規則性を探すことである。しかしながら、この手法は、非常に困難である。特には、多くのセグメンテーションの失敗は特定のエリアにおける貧弱な品質又は信号データの消失に起因して発生する。低信号のこれら同一のエリアはしばしば、類似したエラーがチェックアルゴリズム自体によってもたらされることにもつながり、どれが成功した結果を表すものであり、どれが失敗した結果を表すものであるかについての曖昧さにつながる。

【0013】

従って、セグメンテーションエラーを検知するための向上された手法は有用である。

【0014】

ＪＯＲＧＥＮＳＥＮ ＡＬＥＸ ＳＫＯＶＳＢＯらによる文書「Ａｎ Ｉｍｐｒｏｖｅｄ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｃｏｒｏｎａｒｙ Ｂｙｐａｓｓ Ａｎａｓｔｏｍｏｓｉｓ Ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ Ｅｐｉｃａｒｄｉａｌ Ｕｌｔｒａｓｏｕｎｄ Ｓｅｑｕｅｎｃｅｓ」、ＵＬＴＲＡＳＯＵＮＤ ＩＮ ＭＥＤＩＣＩＮＥ ＡＮＤ ＢＩＯＬＯＧＹ、ｖｏｌ．４２、ｎｏ．１２、３０１０～３０２１ページは、生体内超音波内視鏡検査（ＥＵＳ）シーケンスにおける冠状動脈バイパス吻合を自動的にセグメント化するための方法に関する。特には、自動的吻合セグメンテーションアルゴリズムが、１６個の豚吻合部から得られた生体内ＥＵＳシーケンスから吻合構造のエリアを抽出するために使用される。アルゴリズムは、４つの主要な構成要素、すなわち、脈管検知、脈管セグメンテーション、セグメンテーション品質制御、及びフレーム間輪郭整列から成る。セグメンテーションの正確性は、吻合構造の８３０個の手動セグメンテーションに基づくｍホールド交差検証を使用して評価される。

【0015】

Ｋｌ ＲＩＡＡ ＬＩ Ｈらによる文書「Ｅｖａｌｕａｔｉｏｎ ｏｆ ａ ｍｕｌｔｉ－ａｔｌａｓ ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｃａｒｄｉａｃ ＣＴＡ ｄａｔａ：ａ ｌａｒｇｅ－ｓｃａｌｅ，ｍｕｌｔｉｃｅｎｔｅｒ，ａｎｄ ｍｕｌｔｉｖｅｎｄｏｒ ｓｔｕｄｙ」、ＭＥＤＩＣＡＬ ＰＨＹＳＩＣＳ、ＡＩＰ、ＭＥＬＶＩＬＬＥ、ＮＹ、ＵＳ、ｖｏｌ．３７、ｎｏ．１２、２０１０年１１月１８日、６２７９～６２９１ページは、心臓コンピュータ断層撮影血管造影法（ＣＴＡ）データをセグメント化するための方法に関する。特には、ＣＴＡデータから心臓全体（すなわち、心嚢の外側表面）及び心室をセグメント化するための自動的な、マルチアトラスに基づく方法が論じられている。このセグメンテーション手法においては、８つのアトラス画像が、新しい患者のＣＴＡスキャンに対して位置合わせされる。次いで、８つの対応する手動でラベリングされた画像が、心臓セグメンテーションを取得するために、ボクセルごとの多数決処置を使用して伝播され、結合される。

【0016】

ＷＥＩ ＬＩらによる文書「Ｌｅａｒｎｉｎｇ ｉｍａｇｅ ｃｏｎｔｅｘｔ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｐｒｏｓｔａｔｅ ｉｎ ＣＴ－ｇｕｉｄｅｄ ｒａｄｉｏｔｈｅｒａｐｙ」、ＰＨＹＳＩＣＳ ＩＮ ＭＥＤＩＣＩＮＥ ＡＮＤ ＢＩＯＬＯＧＹ、ＩＮＳＴＩＴＵＴＥ ＯＦ ＰＨＹＳＩＣＳ ＰＵＢＬＩＳＨＩＮＧ、ＢＲＩＳＴＯＬ、ＧＢ、ｖｏｌ．５７、ｎｏ．５、２０１２年２月１７日、１２８３～１３０８ページは、分類子アルゴリズムの使用に基づいてＣＴ画像における前立腺をセグメント化する方法に関し、分類子は、新たに導出されたセグメンテーション結果毎に更新又は訓練される。特には、オンライン学習及び患者固有の分類方法が提示されている。患者の計画画像空間の２つの座標方向に沿って２セットの場所適合的分類子がそれぞれ配置され、同一の患者の計画画像によって及び以前にセグメント化された治療画像によっても更に訓練される。各場所適合的分類子は、静的画像の外見特徴及び反復的に更新された画像文脈特徴の両方によって再帰的に訓練される。

【発明の概要】

【0017】

本発明は特許請求の範囲によって定められる。

【0018】

本発明の態様に従った実施例によると、画像における１つ又は複数の解剖学的特徴を特定しセグメント化する画像セグメンテーション処置における失敗を判定するための画像分析方法であって、画像分析方法は、
解剖学的領域の２つ以上の画像の画像セグメンテーションを取得するステップであって、２つ以上の画像は異なるそれぞれの時点での解剖学的領域を表し、各々が画像セグメンテーション処置を使用してセグメント化される、ステップと；
画像セグメンテーションの各々においてセグメント化された１つ又は複数の類似のセグメント化された解剖学的特徴を比較し、異なる画像セグメンテーションにおける解剖学的特徴の間の１つ又は複数の整合性の尺度を導出するステップと；
１つ又は複数の整合性尺度に基づいて、画像セグメンテーション処置の正確性の尺度を決定するステップと
を有する画像分析方法が提供される。

【0019】

方法は、例えば、コンピュータによって実現される方法である。

【0020】

本発明は、セグメンテーションアルゴリズムにおける失敗は、入力データにおける小さな変化に非常に敏感であるという洞察に基づく。このことは、異なる時間（そこでは、例えば、プローブ位置などの撮像条件が僅かに異なる）に得られた画像に関するセグメンテーション成果における大きな変動として現れることが分かっている。従って、失敗したセグメンテーションが、このような変動を探すことによって検知されることが実現されている。従って、本発明は、複数の異なる時点において得られた同一の解剖学的領域の画像に関するセグメンテーション結果を比較し、それによってセグメンテーションアルゴリズムにおける誤りの検知を可能とすることを提案する。

【0021】

この手法は、診察の一貫として同一の領域の画像を時系列的にキャプチャすることが非常に一般的である医療撮像に非の打ちどころなく適している。従って、本発明の正確性チェック処置は、医療撮像の通常のワークフローに自然にフィットする。

【0022】

この手法は、知られた手法とは、各セグメンテーション成果をそれが基づく元になる画像とだけ比較するのではなく、セグメンテーションアルゴリズムの成果を互いに比較することに基づく点に違いがある。このことは、従って、知られた正確性チェック処置に関連する問題を回避する。

【0023】

画像セグメンテーションは、例えば、一人の患者の解剖学的領域の２つ以上の画像のセグメンテーションである。

【0024】

セグメンテーション処置は、例えば、自動化されたセグメンテーション処置であり、例えば、１つ又は複数のセグメンテーションアルゴリズムを伴う。

【0025】

述べられたように、入力データにおける非常に小さな変化に対する典型的なセグメンテーションエラーの高い敏感性に起因して、時間に応じた大きな変動が生じる。出力されるセグメンテーション結果における大きな変化につながり得るいくつかの例示的な入力データ変化としては、例えば、データを獲得するときの超音波トランスデューサユニット（例えば、プローブ）の運動、（スペックル）ノイズパターンにおける変化、又は時間経過に伴う解剖学的な動きなどがある。

【0026】

異なる時点とは、互いからのいくつかの最小の時間的離間である。このことは、撮像条件がセグメンテーション成果における変動につながる程十分に変化したことが確実になることを助ける。

【0027】

セグメンテーション結果における変動は、セグメンテーションにおけるセグメント化された解剖学的特徴の間の整合性を測定することを介して検知される。これは、セグメント化された解剖学的特徴、例えばサイズ、形状、位置などの１つ又は複数の（例えば、空間的又は幾何学的）特性における整合性の尺度を決定することに基づき得る。

【0028】

全体的に得られ、比較されたセグメンテーションによって、２つ以上のセグメンテーションの間の全体的な整合性を表す単一の整合性の尺度が導出される。

【0029】

他の実施例において、整合性尺度は、セグメンテーションの個々のセグメント化された（解剖学的）特徴の間の整合性を評価することに基づいて導出される。いくつかの実施例において、複数の整合性の尺度が、異なる比較された特徴に対応して導出される。他の実施例において、セグメント化された解剖学的特徴の全体的セットの全体的な、例えば平均的な、整合性を表す単一の整合性の尺度が導出される。他の実施例において、セグメント化された解剖学的特徴の各々に関して、それぞれの整合性の尺度が導出され、すなわち、セグメント化された特徴の各々に関して個別の整合性の尺度が導出される。

【0030】

整合性尺度は、種々のやり方で定められ得る。いくつかの実施例において、それらは、１つ又は複数のセグメント化された特徴の間（例えば、セグメント化された特徴の１つ又は複数の特性の間）の逸脱の尺度の観点から定められる。

【0031】

セグメント化された特徴は、実践上は、例えば、元になる画像の解剖学的特徴に対応すると意図されるセグメンテーション輪郭線又は境界線を指す。

【0032】

画像セグメンテーションは、セグメンテーション処置の適用の成果又は結果である。セグメンテーション処置とは、自動化されたセグメンテーション処置を意味し、例えば、１つ又は複数のセグメンテーションアルゴリズムに基づく。セグメンテーションは様々な形態をとる。

【0033】

特定の場合において、画像セグメンテーションは、画像への適用のための、又は画像に適用されたセグメンテーションメッシュを含む。正確にセグメント化された画像において、セグメンテーションメッシュの特徴輪郭線は、画像における実際の解剖学的特徴と合致しなければならない。

【0034】

これに代わり、セグメンテーションは、種々の解剖学的特徴の境界輪郭線のセットの形態をとってもよい。セグメンテーションは、画像における各ピクセルを、画像においてそれが位置する解剖学的構造に関して分類するデータのセットの形態をとってもよい。従って、セグメンテーションは一般にグラフィカルに表現され得、又は、単に（非グラフィカルな）セグメンテーションデータによって表現され得る。

【0035】

いくつかの場合において、セグメンテーションは、セグメンテーション成果及び元になる画像の両方を、例えば、上下に重ね合わせて含む。

【0036】

実施例において、２つ以上の画像の各々の１つのセグメンテーションが取得され、すなわち、２つ以上の画像の各々のそれぞれのセグメンテーションが取得される。

【0037】

正確性の尺度は、セグメンテーションが本当の解剖学的構造をどのように反映しているかを示す。これは、実施例において、定量的な尺度であってよく、例えば、正確性の度合いを示す。これは二値的な尺度、例えば、正確であるか不正確であるかであってもよい。これは、確率的な尺度であってもよく、すなわち、セグメンテーションが正確である可能性を示す。

【0038】

実施例によると、方法は、正確性の尺度を表すデータ出力を生成するステップを更に有する。方法は、このデータ出力を遠隔コンピュータ又はサーバなどの外部デバイスに通信するステップを更に有する。

【0039】

実施例において、方法の任意の実施形態は、コンピュータ、プロセッサ、又はコントローラによって実現される。

【0040】

上に述べられたように、１つ又は複数の実施例によると、画像セグメンテーションを比較するステップ及び／又は１つ又は複数の整合性の尺度を導出するステップは、画像セグメンテーションの各々においてセグメント化された１つ又は複数の類似のセグメント化された解剖学的特徴を比較するステップと、異なる画像セグメンテーションにおける解剖学的特徴の間の１つ又は複数の整合性の尺度を導出するステップとを有する。

【0041】

いくつかの実施例において、正確性の尺度は、整合性尺度のための１つ又は複数の所定の最小閾値を適用することに基づいて決定される。

【0042】

正確性の尺度は、１つ又は複数の導出された整合性の尺度及び異なる時点においてキャプチャされた画像に関して画像セグメンテーションの間の所定の通常の不整合性の度合いへの参照に基づいて決定される。

【0043】

例えば、上に述べられたように最小閾値が適用される場合、これらの閾値は、元になる解剖学的構造の時間に応じた変化に起因するセグメント化された特徴における変動のいくつかの予期される通常レベルを表す。従って、１つ又は複数の最小閾値は、異なる時点においてキャプチャされた画像に関してそれぞれのセグメント化された特徴の間の所定の予期される（又は通常の）不整合性の度合いを表す。

【0044】

より一般的には、通常の不整合性の度合いへの参照は、セグメンテーションの間で測定又は導出された不整合性が、解剖学的変化に起因する予期される不整合性に対して較正されることを可能とする。

【0045】

目的は、実際の解剖学的構造の予期される又は信頼できる変動から逸脱した、セグメンテーションにおける異常な変化を検知することである。このことは、実際の解剖学的運動に起因する変動がセグメンテーションエラーと間違われないことを保証する。

【0046】

不整合性のこれらの予期されるレベルは、元になる解剖学的構造の変動若しくは運動に、又は単にセグメンテーション結果における予期される（しかし許容可能な）ランダムな変動に起因する。

【0047】

ここで、正確性の尺度を決定するための処置は、例えば、元になる解剖学的構造における１つ又は複数の特徴のサイズ、形状、位置における、例えば時間に応じた予期される（通常の）変化を考慮に入れる。

【0048】

閾値が使用される場合、１つ又は複数の整合性尺度のための種々の所定の閾値が、整合性尺度が関係する特定のセグメント化された特徴に応じて使用され、すなわち、適用される閾値は、問題となる解剖学的特徴に応じて異なる。

【0049】

実施形態の有利なセットによると、１つ又は複数の整合性の尺度を導出するステップ及び／又は正確性の尺度を導出するステップは、機械学習アルゴリズムの使用に基づく。

【0050】

実施例において、機械学習アルゴリズムは、異なる時点における解剖学的領域を表す解剖学的領域の画像セグメンテーションの間の不整合性の通常レベルと異常レベルとを区別するために訓練される。アルゴリズムは、通常の予期される不整合性のレベルを考慮に入れて画像セグメンテーションを比較し、１つ又は複数の整合性の尺度を導出するように構成される。好ましくは、アルゴリズムは、全体的な正確性の尺度も決定する。いくつかの実施例において、１つ又は複数の整合性の尺度及び正確性の尺度を導出するステップは、機械学習アルゴリズムによって、単一の統合された処置として実施されてよい。

【0051】

整合性尺度を導出するために閾値が使用される場合、整合性尺度のための１つ又は複数の所定の閾値が、機械学習アルゴリズムによって具現化される。従って、いくつかの場合において、機械学習アルゴリズムは、それが適用するアルゴリズム的処理を介して、閾値のセットの役割を果たすものとして理解される。

【0052】

解剖学的変化に起因する予期される通常の変動を考慮に入れるための１つの手法は、上に論じられたように、整合性尺度のための最小閾値の予め記憶されたセットを含むことであり、これらのレベルは、通常の解剖学変動のレベルよりも上に設定される。例えば、各特徴又は特徴の各部分のために１つの閾値が含まれる。

【0053】

しかしながら、分類子アルゴリズムの使用を可能とする、機械学習の分野における新たな発展を適用する方が計算的により効率的であり、分類子アルゴリズムは、解剖学的領域の正確な及び不正確なセグメンテーションの両方を表す以前のデータを使用して訓練される。

【0054】

機械学習アルゴリズムは、個々の閾値を個々の特徴に適用するのではなく、セグメンテーションを全体的に考慮し、それらを互いに対して比較することにより、評価に対してより全包括的な手法をとることも可能である。このことは、より正確な結果をつながり、例えば、セグメント化された解剖学的特徴の間の時間経過に伴う相互作用を考慮するときに生じる特定のニュアンスが、より効果的に考慮に入れられる。

【0055】

機械学習アルゴリズムは、比較ステップ及び正確性決定ステップの両方を実施する。セグメンテーションの間の整合性の尺度を導出する処理及び正確性の尺度を導出する処理は両方とも、アルゴリズムによって実施される全体的な分類処置において統合されて具現化される。

【0056】

実施例において、機械学習アルゴリズムはニューラルネットワークを用いる。

【0057】

より広範には、分類子アルゴリズムが、複数のセグメンテーションを互いに比較すること（及び、次いで、比較に応じて正確又は不正確であるものとしてセグメンテーション成果を分類すること）に基づいて整合性尺度を決定するように適合されて使用される。分類子アルゴリズムは、上に論じられたように、訓練データを使用する機械学習又は深層学習を用いる。

【0058】

１つ又は複数の実施例によると、正確性の尺度は、確率的な正確性の尺度を含み、すなわち、正確である確率を表す。

【0059】

本発明の実施形態は、異なるセグメンテーションの間で整合性の尺度を決定するステップを有する。これは、例えば、画像セグメンテーションにおける１つ又は複数のセグメント化された解剖学的特徴の間、例えば、異なるセグメント化された特徴の１つ又は複数の特性の間の整合性の尺度を意味する。これらは、例えば、形状、位置及び／又はサイズ特性を含む。

【0060】

従って、１つ又は複数の実施形態によると、セグメント化された解剖学的特徴のための１つ又は複数の整合性の尺度を決定するステップは、解剖学的特徴の各々の輪郭線の少なくとも一部分（例えば、画像セグメンテーション内）の位置、形状、及び／又は寸法の比較を有する。

【0061】

実施形態の有利なセットによると、異なる時点は、撮像された解剖学的領域の周期的又は循環的な運動パターンにおける定められた時点、例えば、心臓サイクルにおける異なる時点（例えば、収縮末期及び拡張末期）、又は呼吸サイクル中の異なる時点に対応する。

【0062】

このことは、比較されるセグメンテーションが解剖学的な時点の同一のセットを表すので、導出された整合性又は正確性尺度における均一性又は整合性を可能とする。これらの時点において、解剖学的構造は、いくらかの標準的な定義可能な量だけ変化したものと予期され得る。

【0063】

特定の実施例において、方法は、画像セグメンテーションを取得するステップ及びセグメンテーションが基づく画像を取得するステップの両方を有する。

【0064】

実施形態の１つ又は複数のセットによると、画像分析方法は、画像セグメンテーションを取得するステップとリアルタイムで実施される。

【0065】

いくつかの実施例において、方法は、領域を表す画像データの獲得とリアルタイムで実施され、例えば、方法は、受信された画像データを処理し、それによって２つ以上の画像セグメンテーションを取得するステップを有する。

【0066】

方法は、例えば、一連の画像又はセグメント化された画像を受信又は獲得するステップと、それらの獲得とリアルタイムで方法を実施するステップとを有する。方法は、１つ又は複数の画像を獲得するために関連する超音波トランスデューサユニットを制御するステップと、それらの獲得とリアルタイムで方法を実施するステップとを有する。これは、獲得された画像にセグメンテーションアルゴリズムを適用するステップを有する。

【0067】

実施形態の特定のセットにおいて、画像分析方法は超音波画像分析方法である。ここでは、方法は、超音波画像とともに使用されるため（すなわち分析のため）のものであり、分析される画像は超音波画像である。

【0068】

画像セグメンテーションは、種々のやり方によって取得され得る。いくつかの実施例において、画像セグメンテーションは、例えば、外部超音波撮像ユニットから、又は超音波トランスデューサユニットから受信される。

【0069】

１つ又は複数の画像セグメンテーションを取得するステップは、１つ又は複数の画像を受信するステップと、画像を画像セグメンテーション処置によって処理するステップとを有する。

【0070】

１つ又は複数の画像セグメンテーションを取得するステップは、超音波データを受信するステップと、１セットの２つ以上の画像を導出するために超音波データを処理するステップであって、２つ以上の画像は異なるそれぞれの時点での解剖学的領域を表す、ステップと、導出された１つ又は複数の画像を画像セグメンテーション処置によって処理するステップとを有する。

【0071】

本発明の更なる態様に従った実施例は、画像における１つ又は複数の解剖学的特徴を特定しセグメント化する画像セグメンテーション処置における失敗を判定するための画像分析デバイスであって、画像分析デバイスは、
解剖学的領域の２つ以上の画像の画像セグメンテーションを取得するように構成された獲得モジュールであって、２つ以上の画像は異なる時点での解剖学的領域を表し、各々が画像セグメンテーション処置を使用してセグメント化される、獲得モジュールと；
画像セグメンテーションを比較し、異なる画像セグメンテーションの間の１つ又は複数の整合性の尺度を導出するように構成された比較モジュールと；
１つ又は複数の整合性尺度に基づいて、画像セグメンテーション処置の正確性の尺度を決定するように構成された分析モジュールと
を有する画像分析デバイスを提供する。

【0072】

上記の特徴の各々に関する実施態様のオプション及び詳細は、本発明の方法の態様に関して上に提供された説明及び記載に従って理解及び解釈される。

【0073】

本発明の方法の態様に関して上述された実施例、オプション又は実施形態の特徴若しくは詳細のうちの任意のものは、変更すべきところは変更したうえで、本発明の本装置の態様に適用され、組み合わされ、又は組み込まれる。

【0074】

本発明の更なる態様に従った実施例は、超音波トランスデューサユニットと；２つ以上の画像セグメンテーションの取得における使用のために超音波トランスデューサユニットに動作可能に結合された、上に概説された又は以下に説明される任意の実施例又は実施形態に従った、又は本出願の任意の請求項に記載の画像分析デバイスとを備える超音波システムを提供する。

【0075】

実施例において、画像分析デバイスは、セグメンテーションのために解剖学的領域の２つ以上の画像を獲得するために超音波トランスデューサユニットを制御するように構成される。

【0076】

本発明のこれらの及び他の態様は、以下において記載される実施形態から明らかであり、これらを参照して解明されよう。

【0077】

本発明のより良好な理解のために、及び本発明がどのように実行に移されるかをより明確に示すために、添付の図面が、例示のみを目的として参照される。

【図面の簡単な説明】

【0078】

【図1】１つ又は複数の実施形態による例示的な方法をブロック図の形態で図示する。

【図2】異なるセグメンテーションにおける例示的なセグメント化された特徴の間の例示的な整合性尺度の決定を示す。

【図3】１つ又は複数の実施形態による例示的な画像分析デバイスをブロック図の形態で図示する。

【図4】１つ又は複数の実施形態による例示的な画像分析デバイスを備える例示的な超音波システムをブロック図の形態で図示する。

【発明を実施するための形態】

【0079】

本発明が図面を参照して説明される。

【0080】

詳細な説明及び特定の実施例は、装置、システム及び方法の例示的な実施形態を示すが、例示のみを目的とするものと意図されるものであり、本発明の範囲を限定することを意図されるものでないことが理解されるべきである。本発明の装置、システム及び方法のこれらの及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からより良好に理解されよう。図面は単なる概略であり、縮尺通りに描かれていないことが理解されるべきである。図面全体を通じて、同一の又は類似の部分を示すために同一の参照数字が使用されることも理解されるべきである。

【0081】

本発明は、画像セグメンテーション処置における失敗又はエラーを検知するための画像分析方法及びデバイスを提供する。方法は、２つ以上の画像に関してセグメンテーション成果を比較するステップであって、２つ以上の画像は異なるそれぞれの時点での特定の解剖学的領域を表す、ステップと、それらの間の整合性又は逸脱の度合いを特定するステップとを有する。この導出された整合性又は逸脱尺度に基づいて、セグメンテーション処置の正確性の尺度が決定され得る。

【0082】

例えば、いくつかの最小類似閾値又は（例えば異なるセグメント化された特徴のための）複数の閾値を満足できない画像セグメンテーションセットは、不正確である、又は有する正確性が低レベルである、と決定される。

【0083】

従って、本発明は、同一の解剖学的領域から異なる時間において得られた異なる画像に関するセグメンテーションの間の整合性チェックに基づいて、セグメンテーションアルゴリズムにおける失敗を特定することを提案する。

【0084】

セグメンテーションの失敗の典型的な特徴は、入力画像データにおける小さな変化に対する、特には撮像されている実際のオブジェクトにおける変化を表していない背景パターン又は特徴に対する高い敏感性である。この結果、異なるセグメンテーション成果が全て失敗するが、最終的なセグメンテーションにおける失敗の現れ方は大きく異なる。獲得中に、これらのセグメンテーションの変動につながる入力データにおける一般的な変動としては、例えば、プローブの動き、（スペックル）ノイズパターンにおける変化などがある。

【0085】

セグメンテーションの失敗は入力データにおけるこれらの変化に対して敏感であるので、獲得された画像のシーケンスにわたるデータにおける自然な変動は、それらの外見に対して本質的な影響を有する。

【0086】

少なくとも２つの画像セグメンテーションを与えられると、整合性尺度が計算され得る。これらの整合性尺度は、定量的であってよく、例えば、整合性のスペクトル又はスケールに従って定められる。整合性尺度は、二値的であってよく、例えば、比較されたセグメンテーションを正常（セグメンテーションの成功に対応する）及び異常（セグメンテーションの失敗に対応する）に分類する。方法は、セグメンテーションを２つだけ使用することに制限されるものではなく、より多くの数のセグメンテーションを使用することで結果の正確性が増す。

【0087】

いくつかの実施例において、各セグメンテーションに関して対応する画像が獲得され、画像セグメンテーション自体に追加して利用される。いくつかの実施例において、この２つは互いに組み合わされ、又は重畳される（例えば、セグメンテーション境界線が各それぞれの画像の上に重畳されることによる）。

【0088】

セグメンテーションに追加して画像を有することは、任意選択的で追加的な特徴であり、セグメンテーション単独の場合よりも、比較処置においてより多くの数の特徴又は詳細が抽出され得ることを可能とする。例えば、画像データは、セグメンテーション間の比較において（例えば、異なるセグメント化された特徴に関して）画像強度が考慮に入れられることを可能とする。

【0089】

１つ又は複数の実施形態による画像分析方法の、第１の、単純な実施例が、図１においてブロック図の形態で図示される。方法１０は、画像セグメンテーション処置における失敗を判定するためのものであり、セグメンテーション処置は画像における１つ又は複数の解剖学的特徴を特定及びセグメント化するためのものである。

【0090】

簡単に言うと、方法１０は、解剖学的領域の２つ以上の画像の画像セグメンテーションを取得するステップ１２であって、２つ以上の画像は異なるそれぞれの時点での領域を表し、各々がセグメンテーション処置を使用してセグメント化される、ステップ１２を有する。

【0091】

方法は、画像セグメンテーションを比較し、異なるセグメンテーションの間の整合性の尺度を導出するステップ１４を更に有する。例えば、いくつかの実施例において、画像セグメンテーションの各々においてセグメント化された１つ又は複数の類似のセグメント化された特徴が比較され、異なるセグメンテーションにおける特徴の間の整合性の尺度が導出される。

【0092】

方法は、１つ又は複数の整合性尺度に基づいて、セグメンテーション処置の正確性の尺度を決定するステップ１６を更に有する。

【0093】

ある特定の実施例によると、運動体（例えば、循環的に変動する心臓又は肺などの物体）を撮像する場合には、整合性尺度を導出するステップは、解剖学的構造における元になる変化に起因するセグメンテーションにおける予期される通常の変動の度合いを考慮に入れる。

【0094】

特には、典型的なプローブ又は心臓の動きなどのセグメント化された解剖学的構造の通常の又は信頼できる変化が記述され得、エンコードされ得るならば、異常な変動が検知され得る。例として、心臓のセグメンテーションに関して、画像が撮られた心臓サイクルの特定のポイントの知識があると、解剖学的構造の現在の状態について多量の情報を推定することができる。２つの既知のポイント間での解剖学的構造における相対的変化も推定され得る。例えば、心臓撮像の文脈において、心臓サイクルの拡張末期（ＥＤ）時点及び収縮末期（ＥＳ）時点において心臓を表す超音波画像をキャプチャすることが一般的である。

【0095】

方法は、異なるそれぞれの時間における解剖学的領域を表す少なくとも２つの画像（すなわち、複数の画像）のセグメンテーションを取得するステップ１２を有する。２つの画像は、単一の撮像セッション中に時系列的にキャプチャされた画像であるか、又は、異なる撮像セッションにおいてキャプチャされる。好ましくは、画像は同一の座標系において記録される。

【0096】

１つ又は複数の画像セグメンテーションを取得するステップ１２は、外部ソース、例えば外部超音波撮像ユニットから、又は超音波トランスデューサユニットから、又は例えばメモリ若しくはデータ記憶装置から、予め形成された又はあらかじめ計算されたセグメンテーションを受信するステップを有する（このとき、例えば、方法は、後処理のために使用され、画像及びセグメンテーションは既に導出されている）。

【0097】

例えば、いくつかの実施例において、所与の患者に関して複数の過去の診察からの撮像データが、データ記憶装置からアクセス又は獲得される。獲得された画像データの現在の又は最近のセットが、以前の診察のための記憶された過去のデータと比較され、以前の診察からの画像のセグメンテーションに関して１つ又は複数の整合性の尺度が導出される。

【0098】

これらの実施例において、（例えば、画像データ及び導出されたセグメンテーションを記憶することに基づいて）追加的な画像強度情報を記憶し、利用することが有利であり、というのは、同一の時系列外（すなわち同一の単一の撮像セッション外）の比較は、トランスデューサ位置を変動させたこと又は異なる患者の健康状態に起因する変動（すなわちセグメンテーションの正確性に関係のない変動）を示すからである。

【0099】

他の実施例において、１つ又は複数の画像セグメンテーションを取得するステップ１２は、１つ又は複数の画像を受信し、セグメンテーション処置によって画像を処理するステップを有する。

【0100】

例えば、実施例において、方法は、異なる時点における所与の解剖学的領域を表す入力画像のシーケンスを受信するステップを有する。方法は、セグメンテーション処置によって画像を処理するステップを有する。これは、例えば、専用のセグメンテーションモジュールを使用して、又は他のやり方によって実現される。

【0101】

セグメンテーション処置は、各画像に関して関心対象となる解剖学的構造のセグメンテーションを出力として提供する。

【0102】

画像セグメンテーションは、好ましくは、解剖学的モデルに基づくセグメンテーションであり、重要な解剖学的特徴又は物体の特定において補助するために、撮像されている解剖学的領域のモデルを用いる。

【0103】

医療撮像の分野におけるモデルに基づく画像セグメンテーションは、よく知られた処置であり、当業者は、画像セグメンテーションを実現するために用いられる様々な例示的なセグメンテーションアルゴリズムを承知しているであろう。

【0104】

一例として、実施形態において用いられる適切な例示的なセグメンテーションアルゴリズムが、Ｅｃａｂｅｒｔ，Ｏらによる文書「Ａｕｔｏｍａｔｉｃ Ｍｏｄｅｌ－Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｈｅａｒｔ ｉｎ ＣＴ Ｉｍａｇｅｓ」、Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ、２００８年、２７号、１１８９～１２０１ページにおいて詳細に説明されている。

【0105】

種々の解剖学的領域、例えば、心臓、肺、消化管、首、鼠径部又は任意の他の領域の画像をセグメント化するために種々のセグメンテーションアルゴリズムが用いられる。

【0106】

特定の実施例によると、いくつかの場合において、縮小化された又は単純化されたバージョンのセグメンテーション処置が用いられる。これは、例えば、時間的制約のある適用用途（例えば、方法が診察中に画像獲得とリアルタイムで実施されている場合）において有益であり、そこでは受信した一連の画像の全てに完全なモデルを適用（例えば、一連の画像が心臓サイクルの拡張末期及び収縮末期の時点から成る場合に拡張末期及び収縮末期の画像フレームの両方に適用）する十分な時間がなく、制約が処理パワーに課される。

【0107】

単純化された又は縮小されたバージョンのセグメンテーション処置は、特定の事項について削減されたより迅速な補助的モデルである。この補助的モデルはより低い解像度の結果を生むが、異なるセグメントの間で導出される区別（例えば、導出される境界線の幾何学的構造及び位置）は、完全なモデルと比べて変化していない。従って、補助的なモデルは依然として、基礎となる画像特徴認識特性を完全なセグメンテーションモデルと共有し、失敗が完全なモデルと同じように起こることを保証する。

【0108】

例として、モデルに基づくセグメンテーション（上記の例示的な文書において概説されたものなど）を考えると、縮小されたバージョンのモデルは、モデルのメッシュ表現の三角形の解像度を減らすこと、適合処理における反復の数を減らすこと、肺静脈などのより詳細な解剖学的構造の分析を減少させること、又は例えばセグメンテーションの非本質的な特徴に関わる任意の他の適切な適合を減少させることによって取得される。

【0109】

深層学習に基づくセグメンテーション手法において、縮小された深層学習モデルは、例えば、ネットワーク深度を減らすこと、入力画像サイズを（例えばダウンサンプリングによって）減らすこと、又は任意の他の適切な修正によって達成される。

【0110】

特定の場合において、画像セグメンテーション成果は、入力画像に含まれる解剖学的情報を記述し又は表すセグメンテーションメッシュを含む。いくつかの場合において、メッシュは画像に適用される。正確にセグメント化された画像において、セグメンテーションメッシュの特徴輪郭線は、画像における実際の解剖学的特徴と合致しなければならない。

【0111】

これに代わり、セグメンテーションは、種々の解剖学的特徴の境界輪郭線のセットの形態をとってもよい。セグメンテーションは、画像における各ピクセルを、画像においてそれが位置する解剖学的構造に関して分類するデータのセットの形態をとってもよい。従って、セグメンテーションは一般にグラフィカルに表現され得、又は、単に（非グラフィカルな）セグメンテーションデータによって表現され得る。

【0112】

いくつかの場合において、セグメンテーションは、セグメンテーション成果及び元になる画像の両方を、例えば、上下に重ね合わせて含む。

【0113】

出力されるセグメンテーションは、様々な解剖学的特徴の特定を含み、これは、臓器、室、弁、血液又は空気通路などの解剖学的物体を含み、又は、このような物体の任意の部分又は区画、例えば左心室の頂部などを含む。

【0114】

セグメンテーションは、例えばこのような特徴の輪郭線又は境界線、又は例えばそれらが延在するエリアを特定する。

【0115】

２つ以上の画像（例えば、心臓撮像の場合、ＥＤ及びＥＳ心臓フェーズからのもの）の各々に関するセグメンテーション出力、例えばメッシュは、各セグメンテーションに関して特徴的なセグメント化された解剖学的特徴の指標を提供する。異なる画像セグメンテーションの間のこれらの特徴における変化が検知され、これに基づいて、それぞれの特徴の間又は全体的なセグメンテーションの間の整合性の尺度が導出される。

【0116】

例として、セグメンテーションの間の整合性尺度は、１つ又は複数の異なるセグメント化された特徴の１つ又は複数の特性の間の整合性の尺度に対応する。例えば、これらは、形状、位置及び／又はサイズ特性を含む。

【0117】

従って、整合性の尺度を決定するステップは、１つ又は複数のセグメント化された解剖学的特徴のセットの各々の輪郭線の少なくとも一部分の位置、形状、及び／又は寸法の比較を有する。

【0118】

１つ又は複数の整合性の尺度を導出するために比較されるセグメント化された解剖学的特徴の特性の例としては、例えば、左心臓側部の全体的な高さ、左心室の高さ及び幅、ＥＤ及びＥＳフェーズの間の左心房の上側先端部、頂点、右心室横方向壁及び心室中隔の動きなどがある。これらは、単に説明的な例を表すものであり、セグメンテーションの間の又はセグメンテーションのセグメント化された特徴の間の整合性尺度を導出するための基準としてその変動が使用される多くの他の潜在的な特性が存在する。

【0119】

図２は、異なるセグメンテーションにおける解剖学的特徴の間の整合性の尺度を決定するために使用されるいくつかの例示的な解剖学的特徴特性における変化を示す。

【0120】

図２（ａ）は、対象者の心臓の超音波画像を図示する。説明目的のために、２つのセグメンテーションが重畳されて図示されており、異なる時間における心臓の画像に対応する。白い矢印は、左心室の高さ及び幅を示す。高さ及び／又は幅における変化が、整合性尺度を決定するために使用される。その変動が検知される追加的な特性は、例えば、心臓領域の全体的な高さである。

【0121】

図２（ｂ）は、整合性尺度を決定するために使用されることが可能な別の特性として、左心房の上側先端部の位置（心臓の頂部を示す）及び心臓頂点の位置（心臓の底部に示される）を示す。白い矢印は、異なる時点に対応する画像に関して異なるセグメンテーションの間に生じるこれらのポイントの動きを概略的に示す。

【0122】

図２（ｃ）は、右心室横方向壁の運動を例として示す。図２（ｃ）は、心臓の高さに垂直な平面にわたって心臓の様子を図示している。黒い矢印は、例示的な動きを概略的に示す。

【0123】

いくつかの実施例において、セグメント化された特徴の位置、サイズ又は形状特性のうちの１つ又は複数において導出された変化が、セグメンテーションの間の整合性尺度としてそのまま使用される。例えば、これらはセグメンテーション処置の正確性の尺度を決定するために、アルゴリズム（例えば、分類子アルゴリズム）に送られる。

【0124】

他の実施例において、セグメント化された特徴の位置、サイズ又は形状特性のうちの１つ又は複数において導出された変化は、１つ又は複数の整合性の尺度を導出するために更に処理される。例えば、特性変化のうちの１つ又は複数の平均が取られ、又は、特性変化が任意の他のやり方で組み合わされる。

【0125】

導出された１つ又は複数の整合性尺度を使用して、セグメンテーションの正確性の尺度が決定される（１６）。

【0126】

１つ又は複数の実施形態によると、これは、最小整合性閾値のセットを整合性尺度に適用するステップを有し、これらは、通常の背景変動の予期される最大レベルを表す。

【0127】

運動体（例えば、循環的に変動するもの）を撮像する場合においては、これらの閾値は、解剖学的構造における元になる変化に起因するセグメンテーション特性における予期される通常の変動の度合いを考慮に入れる。

【0128】

従って、実施例において、１つ又は複数の最小閾値は、異なる時点においてキャプチャされた画像に関するセグメンテーションの間、例えばそれぞれのセグメント化された特徴（又はこれらの特徴の異なる特性）の間の所定の通常の不整合性の度合いを表す。

【0129】

実施形態の有利なセットによると、正確性の尺度を決定するために分類アルゴリズムが用いられ、これは、有利には、例えばニューラルネットワークを用いた機械学習又は深層学習アルゴリズムである。

【0130】

機械学習アルゴリズムは、異なる時点における解剖学的領域を表す解剖学的領域の画像セグメンテーションの間の不整合性の通常レベルと異常レベルとを区別するために訓練される。

【0131】

１つ又は複数の整合性尺度の導出されたセットに基づいて、分類アルゴリズムは正確性尺度を決定し、例えば、正確なセグメンテーションと不正確なセグメンテーションとを区別する。

【0132】

正確性の尺度は定量的であってよく、例えば、正確性のスペクトル又はスケールに従う値であってよい。正確性の尺度は二値的であってよく、例えば、正確であるか不正確であるかであってもよい。１つ又は複数の実施例によると、正確性の尺度は、確率的な正確性の尺度であってよい。

【0133】

述べられたように、分類アルゴリズムは機械学習アルゴリズムである。用いられる機械学習アルゴリズムの１つの例示的なタイプは、サポートベクターマシンである。このようなアルゴリズムの実施態様のための詳細は、例えば、Ｃ．Ｃｏｒｔｅｓ、Ｖ．Ｖａｐｎｉｋによる文書「Ｓｕｐｐｏｒｔ－ｖｅｃｔｏｒ ｎｅｔｗｏｒｋｓ」、Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、２０号、２７３～２９７ページ、（１９９５年）において概説されている。

【0134】

用いられる機械学習アルゴリズムの別の例示的なタイプは、ニューラルネットワークに基づくアルゴリズムである。このようなアルゴリズムの実施態様についての更なる詳細は、例えば、Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ．Ｂｉｓｈｏｐによる文書「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ」、Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，Ｉｎｃ．、Ｎｅｗ Ｙｏｒｋ、ＮＹ、ＵＳＡ、１９９５年において概説されている。

【0135】

実施例によると、正確性の尺度を決定するために機械学習分類子アルゴリズムが使用される場合、このアルゴリズムは先ず、参照データのセットから抽出されたサンプル整合性尺度を使用して訓練される。特定の実施形態において、この訓練は、任意選択的な初期ステップとして方法に含まれる。訓練ステップは一回だけ実施され、次いで、画像セグメンテーションの異なるセットのために残りのステップ１２、１４、１６が必要な回数だけ実施される。

【0136】

例として、アルゴリズムは、正確なセグメンテーション処置及び不正確なセグメンテーション処置の両方によって生成された例示的なセグメンテーションを使用して訓練される。従って、アルゴリズムは、成功したセグメンテーションと失敗したセグメンテーションとをその後に区別するための典型的なパターンをモデリングする。

【0137】

例えば、アルゴリズムは、セグメンテーションの間、例えばセグメンテーションにおけるセグメント化された特徴の間の変動の通常レベル及びタイプと異常なレベル及びタイプとを区別することを学習する。

【0138】

次に、セグメンテーション処置の正確性の尺度を決定するための機械学習分類子アルゴリズムを訓練するための例示的な処置が説明される。

【0139】

訓練データのセットが準備又は提供され、訓練データにおける各事例は、失敗した又は成功したセグメンテーション（正確な又は不正確なセグメンテーション処置）を表すものとして（例えば、専門的な人間によって）ラベリングされる。

【0140】

分類子アルゴリズムの訓練中に、分類子アルゴリズムパラメータは、通常の変動（すなわち、正確なセグメンテーション結果を表す）及び普通でない変動（すなわち、不正確なセグメンテーション結果を表す）を認識及び区別することに成功するように、訓練データに対して最適化される。

【0141】

いくつかの実施例において、アルゴリズムは、結果を２クラス出力として提供するように訓練され、これは、正確なセグメンテーション結果及び不正確なセグメンテーション結果を個別に特定し得ることを意味する。この実施例において、アルゴリズムは、正確な及び不正確な（すなわち、成功した及び失敗した）セグメンテーション結果の両方の例によって訓練される。正確性の決定を行うとき、アルゴリズムはセグメンテーションにおいて正確なセグメンテーションを示すものとして学習した特性、及び不正確なセグメンテーションを示すものとして学習した特性を探す。

【0142】

代替的に、アルゴリズムは１クラス問題の観点で訓練され得、アルゴリズムは、単に異常又はサンプルデータのいくつかの通常集団からの逸脱を検知するように訓練される。従って、ここでは、アルゴリズムは、正確なセグメンテーション処置によって生成されたセグメンテーションの例のみを使用して訓練される。次いで、アルゴリズムは、新たなセグメンテーションが、学習した正確な事例のモデル化された集団の内部にあるか外部にあるかを検知する。

【0143】

上に述べられたように、用いられる１つの例示的な機械学習分類子アルゴリズムは、サポートベクターマシンである。このようなアルゴリズムは、テスト及び訓練サンプルの間のカーネル評価（類似性）のための重みを学習する。

【0144】

別の例はニューラルネットワークである。ニューラルネットワークは、入力／入力の特徴を受信し、これらの加重和を計算し、次いでこれは関数に通され、この関数は、典型的には、非線形関数である。この処理は、ニューラルネットワークの複数の層の各々において実施され、層の数は、典型的には、ネットワークの深度と称される。

【0145】

単純な例示的な事例はロジスティック回帰である。ここで、アルゴリズムの出力は確率的であり、０と１との間の値を出力し、セグメンテーション処置が正確である可能性を示す。

【0146】

実施例において、訓練処置は、元になる画像データを訓練データの一部としてアルゴリズムに提供することも含む。

【0147】

１つ又は複数の実施例によると、方法は、セグメンテーション処置の導出された正確性の尺度を表すデータ出力を生成する更なるステップを有する。

【0148】

特定の実施例において、方法は、導出された正確性尺度をユーザインタフェースに通信するために、関連するユーザインタフェースに提供するための出力を生成するステップを有する。これは、例えば、導出された正確性尺度を表す感覚的な出力を生成するようにユーザインタフェースを制御するための、例えば、この尺度を表示するようにユーザインタフェースの表示を制御するための制御出力である。

【0149】

従って、ユーザインタフェースは、セグメンテーションアルゴリズムの問題をユーザに通知し、画像獲得処置における変化に関する助言を決定するように構成される。

【0150】

例えば、インタフェースは、低品質のセグメンテーション結果につながる入力データの特性又は態様を示す情報を表示し、セグメンテーションエラーを改善するためのデータ獲得方法における変化に関する提案を提供する。いくつかの実施例において、システムは、データ獲得エラーが連続することを回避するためにデータ獲得の半自動モードに自動的に切り替わるように適合される。

【0151】

特定の実施例によると、方法は、フィルタリング処理を適用し、それによって、許容可能な正確性尺度につながる評価を有するセグメンテーションのみが表示又は使用される。

【0152】

本発明の更なる態様に従って、本開示又は任意の請求項において概説された上述の方法の任意の実施例又は実施形態を実施するように構成された画像分析デバイスが提供される。

【0153】

故に、実施例は、画像セグメンテーション処置における失敗を判定するための画像分析デバイスを提供する。１つ又は複数の実施形態による例示的な画像分析デバイス３０が、図３においてブロック図の形態で図示される。

【0154】

デバイスは、解剖学的領域の２つ以上の画像の画像セグメンテーションを取得するように構成された獲得モジュール３２を備え、２つ以上の画像は異なる時点での領域を表し、各々がセグメンテーション処置を使用してセグメント化される。

【0155】

デバイスは、画像セグメンテーションを比較し、異なるセグメンテーションの間の整合性の尺度を導出するように構成された比較モジュール３４を更に備える。

【0156】

デバイスは、１つ又は複数の整合性尺度に基づいて、セグメンテーション処置の正確性の尺度を決定するように構成された分析モジュール３６を更に備える。

【0157】

上記のデバイスの特徴の各々に関する実施態様のオプション及び詳細は、本発明の方法の態様に関して上に提供された説明及び記載に従って理解及び解釈される。

【0158】

方法に関して上述された実施例、オプション又は実施形態の特徴若しくは詳細のうちの任意のものは、変更すべきところは変更したうえで、本発明の本デバイスの態様に適用され、組み合わされ、又は組み込まれる。

【0159】

上記の実施例において、獲得モジュール３２、比較モジュール３４、及び分析モジュール３６は、画像分析デバイス３０内の個別のコンポーネントとして図示されているが、これは必須ではないことが留意される。それらの関連する機能は、１つ又は複数のコンポーネント間で異なるやり方で分配されてよい。例えば、いくつかの実施例において、異なるモジュールの機能が統合され、単一の要素によって、例えば、単一のコントローラ又はプロセッサによって実施されてよく、又はそれらの機能がその他のやり方で１つ又は複数の要素又はコンポーネント間で分配されてよい。代替的に、各モジュールの機能が、画像分析デバイス内の個別のコントローラ又はプロセッサによって実施されてもよい。

【0160】

１つ又は複数の実施形態によると、デバイスは、例えば正確性の尺度を表す感覚的出力を生成することによって、導出された正確性の尺度をユーザに通信するためのユーザインタフェースを更に備える。ユーザインタフェースは、導出された正確性尺度を表す視覚的出力を生成するためのディスプレイを備える。

【0161】

上記のモジュールのうちの１つ又は複数のものの機能は、コントローラ又はプロセッサによって実現される。個別のコントローラ又はプロセッサが、各それぞれのモジュールの機能を実現するために提供されてよく、又は、全てのモジュールの機能が単一のコントローラ又はプロセッサによって実施されてもよい。

【0162】

コントローラは、必要とされる様々な機能を実施するために、ソフトウェア及び／又はハードウェアによって、多くのやり方において実現される。プロセッサは、コントローラの一例であり、ソフトウェア（例えば、マイクロコード）を使用してプログラムされた１つ又は複数のマイクロプロセッサを用いて必要とされる機能を実施する。しかしながら、コントローラはプロセッサを用いて実現されても用いずに実現されてもよく、いくつかの機能を実施する専用のハードウェアと、他の機能を実施するプロセッサ（例えば、１つ又は複数のプログラムされたマイクロプロセッサ及び関連する回路）との組み合わせとして実現されてもよい。

【0163】

本開示の様々な実施形態において用いられるコントローラコンポーネントの例としては、これらに限定されるものではないが、従来のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などがある。

【0164】

様々な実施態様において、プロセッサ又はコントローラは、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭなどの揮発性又は不揮発性コンピュータメモリなどの１つ又は複数の記憶媒体と関連付けられる。記憶媒体は、１つ又は複数のプロセッサ及び／又はコントローラ上で実行されたときに、必要とされる機能を実施する１つ又は複数のプログラムによってエンコードされる。記憶媒体内に記憶される１つ又は複数のプログラムがプロセッサ又はコントローラにロードされ得るように、様々な記憶媒体はプロセッサ又はコントローラ内に固定されてよく、又は可搬式であってよい。

【0165】

本発明の更なる態様は超音波システムを提供する。例示的な超音波システムが、図４においてブロック図の形態で図示される。システム４０は、超音波トランスデューサユニット３８と；２つ以上の画像セグメンテーションの取得における使用のために超音波トランスデューサユニットに動作可能に結合された、上に概説された又は以下に説明される任意の実施例又は実施形態に従った、又は本出願の任意の請求項に記載の画像分析デバイス３０とを備える。

【0166】

超音波トランスデューサユニット３８は、超音波画像データを画像分析デバイス３０に提供し、画像分析デバイスは、２つ以上のセグメンテーションを導出するために、このデータをセグメンテーションアルゴリズムによって処理するように適合される。

【0167】

画像分析デバイス３０は、超音波画像データを獲得するように超音波トランスデューサユニット３８を制御するように適合される。

【0168】

超音波トランスデューサユニット３８は、任意の適切な形態、例えば超音波プローブ、又は平坦なフォームファクターを有する超音波センサの形態をとる。トランスデューサユニットは、１つ又は複数の超音波トランスデューサ、例えば超音波トランスデューサアレイを備える。

【0169】

本発明の実施形態は、セグメンテーションが医療画像に適用される任意の文脈に適用される。特に有用な適用分野は超音波撮像、例えば、心臓エリアの超音波撮像である。

【0170】

本発明のシステム、方法又はデバイスは、セグメンテーションの正確性のリアルタイム評価のために構成される。有利には、これは、画像データ獲得とリアルタイムで分析結果を提供する超音波ワークステーションなどの超音波ユニットの一部として実現される。

【0171】

述べられたように、いくつかの実施例が、心臓領域の撮像に対する本発明の適用を参照して上述されたが、本発明は心臓撮像のための使用に制限されるものではなく、任意の解剖学的領域の画像のセグメンテーションのために使用され得る。

【0172】

開示された実施形態に対する変形が、特許請求された本発明を実践するにあたり、図面、本開示、及び添付の特許請求の範囲を検討することにより、当業者によって理解及び実行され得る。特許請求の範囲において、「備える、含む、有する」という語は、他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されたいくつかのアイテムの機能を果たし得る。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合せが有利に使用され得ないことを示すものではない。上記においてコンピュータプログラムが論じられている場合、コンピュータプログラムは、他のハードウェアとともに又はその一部として供給される、光学的記憶媒体又は固体媒体などの適切な媒体上に記憶／分配されてよいが、インターネット又は他の有線若しくは無線の遠隔通信システムを介してなど、他の形態において分配されてもよい。特許請求の範囲及び説明において「適合される」という用語が使用されている場合、「適合される」という用語は「構成される」という用語と同等のものであると意図されることが留意される。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

【図1】

【図2(a)】

【図2(b)】

【図2(c)】

【図3】

【図4】