特許 7426990 効率的なエコー図比較を支援するための高度なループ選択システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-25

(45)【発行日】2024-02-02

(54)【発明の名称】効率的なエコー図比較を支援するための高度なループ選択システム及び方法

(51)【国際特許分類】

   G16H 30/20 20180101AFI20240126BHJP

【ＦＩ】

G16H30/20

【請求項の数】 15

(21)【出願番号】P 2021510371

(86)(22)【出願日】2019-08-27

(65)【公表番号】

(43)【公表日】2021-12-27

(86)【国際出願番号】 EP2019072757

(87)【国際公開番号】W WO2020043684

(87)【国際公開日】2020-03-05

【審査請求日】2022-08-26

(31)【優先権主張番号】62/723,678

(32)【優先日】2018-08-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】セブンスター メルライン

【審査官】今井 悠太

(56)【参考文献】

【文献】特開２０１０－０９７４７６（ＪＰ，Ａ）

【文献】特開２００６－１７５２１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

ユーザによって視覚的に比較されるべき現在及び過去の心エコー検査の心エコー図ビューの画像シーケンスを選択するため、コンピュータ実施される方法であって、前記方法は、
比較されるべき現在の心エコー検査及び過去の心エコー検査の各々からの画像シーケンスを受信するステップであって、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含む、ステップと、
ユーザから比較指示を受信するステップであって、前記比較指示は、比較される状態又は解剖学的構造を含む、ステップと、
前記比較指示を示す前記現在の検査及び前記過去の検査の前記画像シーケンスの前記心エコー図ビューを決定するステップと、
比較のために、前記現在の検査及び前記過去の検査の一方の前記心エコー図ビューの画像シーケンスを選択するステップと、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の前記一方からの前記選択された画像シーケンスをユーザに表示するステップと、
前記現在の検査及び前記過去の検査の他方の前記心エコー図ビューのどの画像シーケンスが、前記一方からの前記選択された画像シーケンスに最も密接に一致するかを決定するステップと、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方からの前記画像シーケンスを表示するステップと、
を含む、方法。

【請求項2】

前記選択された画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、請求項１に記載の方法。

【請求項3】

前記選択された画像シーケンスとの視覚的比較のために、前記選択された画像シーケンスに最も密接に一致する前記他方の前記心エコー図ビューの画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、請求項１に記載の方法。

【請求項4】

前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも１つを作成するステップをさらに含む、請求項１に記載の方法。

【請求項5】

前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の前記一方の前記画像シーケンスの各々の取得順序を分析するステップを含む、請求項１に記載の方法。

【請求項6】

前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の前記一方の各画像シーケンスについて、前記各画像シーケンスが視覚的比較のために前記ユーザによって選択される尤度に対応する出力を生成するステップを含む、請求項１に記載の方法。

【請求項7】

所定の値よりも大きい前記尤度を有する前記現在の検査及び前記過去の検査の前記一方の画像シーケンスが、前記対話型比較パネルを介して表示される、請求項６に記載の方法。

【請求項8】

前記現在の検査及び前記過去の検査の前記他方の前記心エコー図ビューのどの画像シーケンスが前記選択された画像シーケンスに最も密接に一致するかを決定するステップは、前記心エコー図ビューにおける前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力するステップを含む、請求項１に記載の方法。

【請求項9】

所定の値よりも大きい前記スコアを有する前記現在の検査及び前記過去の検査の前記他方の画像シーケンスが、前記対話型比較パネルを介して表示される、請求項８に記載の方法。

【請求項10】

実行可能プログラムを記憶する非一時的コンピュータ可読記憶媒体と、
プロセッサと、
を含み、
前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
比較されるべき現在の心エコー検査及び過去の心エコー検査の各々からの画像シーケンスを受信させ、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含み、
ユーザからの比較指示を受信させ、前記比較指示は、比較される状態又は解剖学的構造を含み、
前記比較指示を示す前記現在の検査及び前記過去の検査の前記画像シーケンスの心エコー図ビューを決定させ、
比較のために、前記現在の検査及び前記過去の検査の一方の前記心エコー図ビューの画像シーケンスを選択させ、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の前記一方からの前記選択された画像シーケンスをユーザに表示させ、
前記現在の検査及び前記過去の検査の他方の前記心エコー図ビューのどの画像シーケンスが、前記一方からの前記選択された画像シーケンスに最も密接に一致するかを決定させ、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方からの前記画像シーケンスを表示させる、
システム。

【請求項11】

前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記選択された画像シーケンスに対応するユーザ入力を受信させる、
請求項１０に記載のシステム。

【請求項12】

前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記選択された画像シーケンスと視覚的に比較するために、前記選択された画像シーケンスに最も密接に一致する前記他方の前記心エコー図ビューの画像シーケンスに対応するユーザ入力を受信させる、
請求項１０に記載のシステム。

【請求項13】

前記プロセッサは前記実行可能プログラムを実行して、前記プロセッサに、
前記現在の検査及び前記過去の検査の前記一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の前記他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも１つを作成させる、請求項１０に記載のシステム。

【請求項14】

前記現在の検査及び前記過去の検査の前記他方の前記心エコー図ビューのどの画像シーケンスが、前記選択された画像シーケンスに最も密接に一致するかを決定することは、前記心エコー図ビューにおける前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の前記他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力することを含む、請求項１０に記載のシステム。

【請求項15】

プロセッサによって実行可能な命令のセットを含む非一時的コンピュータ可読記憶媒体であって、前記命令のセットは、前記プロセッサによって実行されると、前記プロセッサに、請求項１から９のいずれか一項に記載の方法の動作を行わせる、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 心エコー図は、様々な心疾患を有する患者の診断及び治療において日常的に使用されている。

【背景技術】

【0002】

場合によっては、心臓専門医が、患者の現在の心エコー検査と前の心エコー検査とを比較する必要がある。しかしながら、典型的な心エコー図取得は、例えば、微妙な差異（例えば、異なる深さにおける）のために、又は初期取得の品質が非診断的又は最適でないと考えられたために、同じビューの複数の画像取得をもたらし得る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

このように、心臓専門医は、現在の検査と前の検査との比較の間にレビューするために多数の画像シーケンスを提示される場合があり、その結果、時間がかかり、非効率的なプロセスをもたらす。

【課題を解決するための手段】

【0004】

[0002] 例示的な実施形態は、比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信するステップであって、画像シーケンスの各々は、画像シーケンスのビューに対応するデータを含む、ステップと、現在及び過去の検査の画像シーケンスの関連ビューを決定するステップと、比較のために、現在及び過去の検査の一方の関連ビューの画像シーケンスを選択するステップと、対話型比較パネルを介して、現在及び過去の検査の一方からの画像シーケンスをユーザに表示するステップと、現在及び過去の検査の他方の関連ビューのどの画像シーケンスが、選択された画像シーケンスに最も密接に一致するかを決定するステップと、対話型比較パネルを介して、選択された画像シーケンスに最も密接に一致する現在及び過去の検査の他方からの画像シーケンスを表示するステップとを含む方法を対象とする。

【0005】

[0003] 例示的な実施形態は、実行可能プログラムを記憶する非一時的コンピュータ可読記憶媒体と、プロセッサと、を含み、プロセッサは実行可能プログラムを実行して、実行可能プログラムは、プロセッサに、比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信させ、画像シーケンスの各々は、画像シーケンスのビューに対応するデータを含み、現在及び過去の検査の画像シーケンスの関連ビューを決定させ、比較のために、現在及び過去の検査の一方の関連ビューの画像シーケンスを選択させ、対話型比較パネルを介して、現在及び過去の検査の一方からの画像シーケンスをユーザに表示させ、現在及び過去の検査の他方の関連ビューのどの画像シーケンスが、選択された画像シーケンスに最も密接に一致するかを決定させ、対話型比較パネルを介して、選択された画像シーケンスに最も密接に一致する現在及び過去の検査の他方からの画像シーケンスをさせるシステムを対象とする。

【0006】

[0004] 例示的な実施形態は、プロセッサによって実行可能な命令のセットを含む非一時的コンピュータ可読記憶媒体であって、命令のセットは、プロセッサによって実行されると、プロセッサに、比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信する動作であって、画像シーケンスの各々は、画像シーケンスのビューに対応するデータを含む、動作と、現在及び過去の検査の画像シーケンスの関連ビューを決定する動作と、比較のために、現在及び過去の検査の一方の関連ビューの画像シーケンスを選択する動作と、対話型比較パネルを介して、現在及び過去の検査の一方からの画像シーケンスをユーザに表示する動作と、現在及び過去の検査の他方の関連ビューのどの画像シーケンスが、選択された画像シーケンスに最も密接に一致するかを決定する動作と、対話型比較パネルを介して、選択された画像シーケンスに最も密接に一致する現在及び過去の検査の他方からの画像シーケンスを表示する動作とを含む動作を行わせる非一時的コンピュータ可読記憶媒体を対象とする。

【図面の簡単な説明】

【0007】

【図1】[0005]図１は、例示的な実施形態によるシステムの概略図を示す。

【図2】[0006]図２は、例示的な実施形態による方法のフロー図を示す。

【図3】[0007]図３は、例示的な実施形態による、現在及び過去の心エコー検査の関連ビューを比較する例示的な比較パネルを示し、ユーザによる視覚的比較のために選択される可能性が最も高いと考えられる現在の検査のシーケンスが強調表示されている。

【図4】[0008]図４は、例示的な実施形態による、図３の例示的な比較パネルを示し、ユーザによる視覚的比較のための現在の検査のシーケンスの選択が過去の心エコー検査における一致するシーケンスの強調表示をもたらす。

【図5】[0009]図５は、例示的な実施形態による、図３及び図４の例示的な比較パネルを示し、ユーザは現在の心エコー検査の選択されたシーケンスとの視覚的比較のために、過去の心エコー検査の一致するシーケンスを選択する。

【発明を実施するための形態】

【0008】

[0010] 例示的な実施形態は、以下の説明及び添付の図面を参照してさらに理解することができ、同様の要素は、同じ参照番号で参照される。例示的な実施形態は、ユーザによって視覚的に比較される現在及び過去の心エコー検査の関連ビューの画像シーケンスを選択するためのシステム及び方法に関する。関連ビューの各々から選択された画像シーケンスは、対話型比較パネルでユーザに提示され、これにより、ユーザは現在及び過去の検査から、ユーザが視覚的に比較したいシーケンスをさらに選択できる。視覚的比較のためにユーザによって選択される可能性が最も高い、システムが決定するシーケンスが、対話型比較パネルでユーザに提示され得る。しかしながら、ユーザは、視覚的比較のために、どの利用可能なシーケンスを選択してもよい。次いで、これらのユーザ選択を記憶しシーケンス選択プロセスを向上させるために使用して、これにより、最も関連性が高く及び／又は選択される可能性が最も高いシーケンスのみが、対話型比較パネルの後続のユーザに提示される。

【0009】

[0011] 以下でより詳細に説明するように、例示的な実施形態は、複数のやり方でシステムの動作を向上させる。第１の例では、シーケンス選択プロセスを向上させるためのユーザ選択を記憶することにより、関連するシーケンスがユーザに表示される速度が速くなり、かつ、関連するシーケンスの検索時間が短縮する。別の例では、以下でより詳細に説明されるように、コンテキスト及び他の情報がシーケンスと共に記憶されることにより、シーケンスのより効率的な記憶及び検索が可能になり、これにより、システム性能が向上する。

【0010】

[0012] 図１に示すように、本開示の例示的な実施形態によるシステム１００は、ユーザ（例えば、心臓専門医）によって視覚的に比較される現在及び過去の心エコー検査の画像シーケンスを選択し、比較指示のコンテキストで、最も関連するビューのシーケンスをユーザに提示する。比較指示は、例えば、左心室性能又は僧帽弁逆流など、比較される状態又は解剖学的構造を含む。システム１００は、プロセッサ１０２、ユーザインターフェース１０４、ディスプレイ１０６、及びメモリ１０８を含む。プロセッサ１０２は、シーケンス選択エンジン１１０、シーケンス比較エンジン１１２、及び機械学習エンジン１１４を含み得る。視覚的に比較することができる現在及び過去の検査の画像シーケンスを示す対話型比較パネル１１６がディスプレイ１０６上に表示される。ユーザインターフェース１０４を使用して、ユーザは視覚的比較のために、対話型比較パネル１１６から画像シーケンスを選択する。

【0011】

[0013] シーケンス選択エンジン１１０は、現在の検査から一連の心エコー画像シーケンスを受信し、現在の検査から、シーケンス選択エンジン１１０が、ユーザによる視覚的比較のために選択される可能性が最も高いと考える１つ以上のシーケンスを選択する。次いで、ユーザは、シーケンス選択エンジン１１０によって選択された画像シーケンスを選択するか、又は現在の検査から異なる画像シーケンスを、視覚的比較のために選択してもよい。次いで、シーケンス比較エンジン１１２が、ユーザによって選択された画像シーケンスに最も密接に一致する、過去の検査からの画像シーケンスを選択する。この場合も、ユーザは、シーケンス比較エンジン１１２によって選択された画像シーケンスを選択するか、又は異なる画像シーケンスを、現在の検査のユーザ選択画像シーケンスとの視覚的比較のために異なる画像シーケンスを選択してもよい。これらのユーザ－システム対話のすべては、コンテキスト情報と共に、メモリ１０８の対話データベース１１８に記憶される。対話データベースに記憶された情報は機械学習エンジン１１４を介して使用されて、前のユーザ選択に基づくシーケンス選択エンジン１１０及び／又はシーケンス比較エンジン１１２のシーケンス選択プロセスを向上させるモデルが作成される。

【0012】

[0014] 当業者であれば理解されるように、例示的な実施形態は、シーケンス選択エンジン１１０が、現在の検査からの画像シーケンスを選択するものとして示し説明しているが、シーケンス選択エンジン１１０が同様に、過去の検査からの画像シーケンスを選択して、シーケンス比較エンジン１１２が過去の検査からの選択されたシーケンスに最も密接に一致する現在の検査からの画像シーケンスを選択してもよい。また、当業者であれば理解されるように、現在及び過去の検査の画像シーケンスは、メモリ１０８に記憶されている患者の医療記録からアクセスできる。

【0013】

[0015] 対話型比較パネル１１６は、現在及び過去の検査の使用可能な画像シーケンスのすべてを表示し、現在及び過去の検査からの画像シーケンスのうちのどれが、視覚的比較のためにユーザによって選択される可能性が最も高いかを示す。特に、対話型比較パネル１１６を含む一実施形態では、視覚的比較のためにユーザによって選択される可能性が最も高い画像シーケンスは、ユーザによって示され及び／又は選択された比較指示に基づき得る。例えば、シーケンス選択エンジン１１０及びシーケンス比較エンジン１１２によって選択された画像シーケンスは、ディスプレイ１０６上で強調表示される。あるいは、より多くのユーザ－システム対話データが対話データベース１１８に記憶されることにより、シーケンス選択エンジン１１０及びシーケンス比較エンジン１１２は、機械学習エンジン１１４によって作成されたモデルを実行して、視覚的比較のためにユーザによって選択される現在及び過去の検査からの画像シーケンスをより良く予測することができ、対話型比較パネル１１６は、ユーザによって選択される可能性が最も高い画像シーケンスのみを表示する。

【0014】

[0016] 当業者であれば、エンジン１１０～１１４は、例えば、プロセッサ１０２によって実行されるコード行として、プロセッサ１０２によって実行されるファームウェアとして、特定用途向け集積回路（ＡＳＩＣ）であるプロセッサ１０２の関数としてなど、プロセッサ１０２によって実装され得ることを理解するであろう。

【0015】

[0017] 図２は、ユーザによって視覚的に比較される現在及び過去の心エコー検査の画像シーケンスを選択し、比較指示のコンテキストで最も関連するビューのシーケンスをユーザに提示するための例示的な方法２００を示す。ステップ２１０において、シーケンス選択エンジン１１０は、現在及び過去の心エコー検査からの画像シーケンスを、ユーザからの構造比較指示と共に受け取る。心エコー検査からのシーケンスは、患者の医療記録（例えば画像保管通信システム）から取得され得る。構造比較指示は、ユーザインターフェース１０４を介してユーザによって入力されてよく、例えば「ＬＶ性能を比較する」又は「僧帽弁逆流を比較する」などの指示を含み得る。ステップ２２０において、シーケンス選択エンジン１１０は、ステップ２１０において、ユーザを介して入力された比較指示を示す心エコー検査の関連ビューを決定する。シーケンス選択エンジン１１０は、例えばＰＬＡＸ、ＳＬＡＸ、ＡＰ２及びＡＰ４ビューがＬＶ性能を示すと決定する。比較指示を示す心エコー図ビューは、例えばルックアップテーブルを介して決定される。

【0016】

[0018] ステップ２３０において、シーケンス選択エンジン１１０は、視覚的比較のためにユーザによって選択される可能性が最も高い、現在の心エコー検査の関連ビューの１つ以上の画像シーケンスを選択する。シーケンス選択エンジン１１０は、例えば、シーケンスの順序（取得タイムスタンプに基づく）及び指示を含むコンテキスト情報を含む関連ビューのシーケンスを処理して、視覚的比較のためにユーザによって選択されるシーケンスの尤度を表す、関連ビューにおける各シーケンスの出力を生成する。出力は、２値のイエス又はノー、又は所定の範囲（例えば、０～１）の数であってもよく、大きい数は選択される尤度が高いことを表し、小さい数は選択される尤度が低いことを表す。シーケンス選択エンジン１１０は、１つ以上の数学的、統計的又はルールベースの予測モデルを実行し得る。シーケンス選択エンジン１１０は、既知の及び独自仕様の画像特徴ライブラリを利用してもよい。例えば、ルールベースの技法は、以下のような高レベルの推論を実行する：
－シーケンスが同じビューの２つ以上の一連において最初である場合は、出力０を割り当てる。
－シーケンスが一連において最後である場合、予測モデルＸを適用する。

【0017】

別の例では、特に方法２００のより早期の反復中に、ルールベースの技法は、デフォルトで、視覚的比較のためにユーザによって選択される可能性が最も高いものとして、各ビューにおける最後のシーケンスを選択する。これは、多くの場合、シーケンスは最適なシーケンスが得られるまで撮像されるからである。さらに別の例では、予測モデルが画像シーケンスの順序を考慮に入れる。例えば、予測モデルは、シーケンスは、一連の５つのシーケンスのうちの４番目であると考える。現在の検査の選択された画像シーケンスは、対話型比較パネル１１６においてユーザに表示される。

【0018】

[0019] ステップ２４０において、プロセッサ１０２は、比較のためにユーザが見たい、現在の心エコー検査の関連ビューの１つ以上のシーケンスを選択するユーザ入力を受け取る。ユーザは、ステップ２３０において、シーケンス選択エンジン１１０によって選択された画像シーケンスとは異なるシーケンスを選択できる。ユーザは、ユーザインターフェース１０４を介してユーザ選択を入力する。

【0019】

[0020] ステップ２５０において、シーケンス比較エンジン１１２は、ステップ４０においてユーザによって選択されたシーケンスに密接に一致する、過去の検査からの１つ以上のシーケンスを選択する。シーケンス比較エンジン１１２は、過去の検査の同じ関連ビューからの画像シーケンスの各々を、現在の検査のユーザ選択画像シーケンスと比較し、過去の検査の同じ関連ビューの画像シーケンスの各々にスコア（例えば、０～１の間）を割り当てて、それらの類似性を示す。１つの例示的な実施形態では、シーケンス比較エンジン１１２は、比較されているシーケンスのフレームに対して差分演算を実行して、すべてのフレームにわたって重み付けされた異なるスコアを生成してもよい。別の例示的な実施形態では、シーケンス比較エンジン１１２は、フレームの差を取る前に、最初にシーケンスの心拍を位置合わせしてもよく、潜在的に、専用ＤＩＣＯＭフィールド内のシーケンス画像データと共に記録されたＥＣＧ信号を活用できる。さらに別の例示的な実施形態では、シーケンス比較エンジン１１２は、フレームの差を取る前に最初に解像度を下げてもよい。ユーザが選択したシーケンスに一致する過去の検査の画像シーケンスが決定されると、一致した画像シーケンスが対話型比較パネル１１６を介してユーザに表示される。

【0020】

[0021] ステップ２６０において、プロセッサ１０２は、ステップ２４０における現在の検査のユーザ選択シーケンスと視覚的に比較される過去の検査のシーケンスを選択するユーザ入力を受け取る。ユーザ選択は、ユーザインターフェース１０４を介して行われてよい。以下でさらに詳細に説明するように、過去の検査からの画像シーケンスが選択されると、ユーザは、ステップ２４０における現在の検査の選択された画像シーケンスと、ステップ２６０における過去の検査の選択された画像シーケンスとを、視覚的比較のために並べて見たいことを示すさらなる入力を提供する。

【0021】

[0022] ステップ２３０及び２４０は、現在の検査から画像シーケンスを選択することを説明し、ステップ２５０及び２６０は、過去の検査から画像シーケンスを選択することを説明しているが、当業者であれば理解されるように、シーケンス選択エンジン１１０が同様に、過去の検査から画像シーケンスを選択して、これにより、シーケンス比較エンジン１１２が現在の検査から一致する画像シーケンスを選択してもよい。また、当業者であれば理解されるように、ステップ２３０～２６０を必要に応じて繰り返して、必要に応じて、異なる関連ビューの各々について現在及び従来の検査から画像シーケンスを選択することもできる。

【0022】

[0023] ステップ２７０において、ユーザ－システム対話のすべてが対話型比較パネル１１６から受信され、対話データベース１１８に記憶される。例えば、シーケンス選択エンジン１１０及びシーケンス比較エンジン１１２によって選択されたシーケンス、ユーザが選択したシーケンス、及び、任意のコンテキスト情報（例えば、シーケンスの順序、構造比較指示）が対話データベース１１８に記憶される。ユーザ－システム対話がステップ２７０において記憶されるものとして示され説明されているが、当業者であれば理解されるように、ユーザ－システム対話は、シーケンスの任意のコンテキスト情報と共に、それらが発生するときに対話データベース１１８に記憶されてもよい。特に、対話は、対話型比較パネルから情報が受信されると、対話データベース１１８に記憶される。

【0023】

[0024] ステップ２８０において、機械学習エンジン１１４は、対話データベース１１８にアクセスして、シーケンス選択エンジン１１０及びシーケンス比較エンジン１１２に含める機械学習、統計的及び／又はルールベースのモデルを作成する。シーケンス選択エンジンのためのモデルを作成するために、例えば、機械学習エンジン１１４は、一連の画像シーケンス、選択された１つ以上のシーケンス（グランドトゥルース）、シーケンスの順序、及び比較指示などの情報を使用する。シーケンス比較エンジン１１２のためのモデルを作成するために、機械学習エンジン１１４は、比較された２つのシーケンス（画像データ）、第１のシーケンスにおける１つ以上の選択されたシーケンス（グランドトゥルース）、両方のシーケンスの順序、及び比較指示などの情報を使用する。

【0024】

[0025] シーケンス選択エンジン１１０及びシーケンス比較エンジン１１２各々のモデルは、他のシーケンスの中からグランドトゥルースシーケンスを予測する性能を最大化することを目的として、既知の又は新しい画像処理特徴ライブラリを使用する、畳み込みニューラルネットワーク、ランダムフォレスト、サポートベクターマシン、ロジスティック回帰などの技法を使用して作成してもよい。さらなる例示的な実施形態によれば、モデル作成エンジンはさらに、シーケンスのビュー（例えばＰＬＡＸ、ＳＬＡＸ、ＡＰ２、ＡＰ３、ＡＰ４）、すなわち、心臓に対するプローブの位置を決定するビュー検出エンジンを使用してもよい。機械学習エンジン１１４は、所定のスケジュールに従って呼び出されても、システム管理者を介して手動で呼び出されてもよい。例えば、機械学習エンジン１１４は、毎晩又は毎月呼び出されて、シーケンス選択エンジン１１０及びシーケンス比較エンジン１１２のためのモデルを向上させる。さらなる実施形態では、固定セットの注釈付きインスタンスを使用して、新たに作成されたモデルの性能を追跡して、新しいモデルの性能が現在使用されているモデルよりも優れているかどうかを判定する。性能が優れていると判定された場合、現在使用されているモデルは、新たに作成されたモデルに置換される。

【0025】

[0026] 図３～図５は、システム１００及び方法２００による例示的な対話型比較パネルを示す。図３に示すように、対話型比較パネル１１６は、ステップ２１０においてシーケンス選択エンジン１１０が受け取った構造的比較指示に従って、現在の心エコー検査及び過去の心エコー検査の両方の関連ビューの各々におけるシーケンスを示す。例えば、ステップ２２０において、関連ビューがＰＬＡＸ、ＳＬＡＸ、ＡＰ２、及びＡＰ４ビューであると決定されるＬＶ性能指示の場合、対話型比較パネル１１６は、関連ビューの各々において現在の検査及び過去の検査からのシーケンスを示し、無関係と見なされた他のビューは無効にされる。しかしながら、対話型比較パネル１１６は、必要に応じて、ユーザが他のビューを容易に有効にすることを可能にする。同様に、対話型比較パネルは、必要に応じて、有効なビューを簡単に無効にすることもできる。

【0026】

[0027] 図３の対話型比較パネル１１６は、現在及び過去の検査について関連ビューの各々において利用可能であるすべてのシーケンスを示し、ステップ２３０においてシーケンス選択エンジン１１０によって選択された現在の検査におけるシーケンスは、ディスプレイ１０６上で強調表示されている。強調表示は、どのシーケンスが視覚的比較のためにユーザによって選択される可能性が最も高いと決定されたかの指示をユーザに提供する。例示的な実施形態は、選択されたシーケンスが強調表示されているものとして示しているが、当業者であれば理解されるように、対話型比較パネル１１６は、シーケンス選択エンジン１１０による選択を示すための他の方法を使用してもよい。さらに、図３は、現在の検査のシーケンスのみがシーケンス選択エンジン１１０によって選択されているものとして示しているが、対話型比較パネル１１６はまた、過去の検査からのシーケンス選択、又は現在及び過去の検査の両方からのシーケンス選択を強調表示してもよい。

【0027】

[0028] 図３の対話型比較パネル１１６は、関連するビューの各々について利用可能なすべてのシーケンスを示しているが、別の実施形態では、対話型比較モデル１１６は、ステップ２３０において、シーケンス選択エンジン１１０によって、視覚的比較のためにユーザによって選択される可能性が最も高いものとして選択されたシーケンスのみを示してもよい。この実施形態では、選択されたシーケンスのみが示されるので、対話型比較パネル１１６は、いずれのシーケンスも強調表示する（又は選択を示す任意の他の指示を提供する）必要はない。あるいは、対話型比較パネルは、所定の閾値を超える出力を生成する任意のシーケンスを示し、生成される出力が最も高いシーケンスを強調表示してもよい。

【0028】

[0029] 上述したように、ユーザは、シーケンス選択エンジン１１０によって選択されたシーケンスを選択するか、あるいは、異なるシーケンスを選択することを選ぶこともできる。図４に示す例では、ユーザは、関連するビューのうちの１つ（例えば、ＰＬＡＸ）において強調表示されている、すなわち、シーケンス選択エンジン１１０によって選択された現在の検査のシーケンスを選択する。シーケンスを選択すると、過去の検査の同じビューのシーケンスが強調表示されるようになる。この強調表示されたシーケンスは、ステップ２５０において、シーケンス比較エンジン１１２によって、ユーザが選択したシーケンスに最も密接に一致すると決定されたシーケンスを示す。次に、図５に示すように、ユーザは、現在の検査のユーザが選択したシーケンスと視覚的に比較したい過去の検査からシーケンスを選択する。ユーザが比較したい２つのシーケンスが選択されると、ユーザは例えば、対話型比較パネルの比較ボタンを押して、２つの選択されたシーケンスを並べて視覚的に比較することができる。

【0029】

[0030] 当業者であれば、上記の例示的な実施形態は、別個のソフトウェアモジュールとして、ハードウェアとソフトウェアとの組合せとしてなどを含む、任意の数のやり方で実装され得ることを理解するのであろう。例えば、シーケンス選択エンジン１１０、シーケンス比較エンジン１１２、及び機械学習エンジン１１４は、コンパイルされたときにプロセッサ１０２上で実行されるコード行を含むプログラムである。

【0030】

[0031] 当業者には明らかであるように、本開示の精神又は範囲から逸脱することなく、開示された例示的な実施形態及び方法並びに代替形態に様々な修正を行うことができる。したがって、本開示は、修正及び変形を、それらが添付の特許請求の範囲及びそれらの均等物の範囲内に入る限り、包含することを意図している。
以下、本願発明の形態に関して更に付記を示す。
（１） 比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信するステップであって、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含む、ステップと、
前記現在の検査及び前記過去の検査の前記画像シーケンスの関連ビューを決定するステップと、
比較のために、前記現在の検査及び前記過去の検査の一方の前記関連ビューの画像シーケンスを選択するステップと、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスをユーザに表示するステップと、
前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、前記選択された画像シーケンスに最も密接に一致するかを決定するステップと、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方からの前記画像シーケンスを表示するステップと、
を含む、方法。
（２） 前記関連ビューの前記画像シーケンスの選択が、比較指示に基づくように、前記比較指示に対応する入力を受信するステップをさらに含む、（１）に記載の方法。
（３） 前記選択された画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、（１）に記載の方法。
（４） 前記選択された画像シーケンスとの視覚的比較のために、前記ユーザによって選択された一致する画像シーケンスに対応するユーザ入力を受信するステップをさらに含む、（１）に記載の方法。
（５） 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも１つを作成するステップをさらに含む、（１）に記載の方法。
（６） 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の一方の前記画像シーケンスの各々の取得順序を分析するステップを含む、（１）に記載の方法。
（７） 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するステップは、前記現在の検査及び前記過去の検査の一方の各画像シーケンスについて、前記各画像シーケンスが視覚的比較のために前記ユーザによって選択される尤度に対応する出力を生成するステップを含む、（１）に記載の方法。
（８） 所定の値よりも大きい出力を有する前記現在の検査及び前記過去の検査の一方の画像シーケンスが、前記対話型比較パネルを介して表示される、（７）に記載の方法。
（９） 前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが前記選択された画像シーケンスに最も密接に一致するかを決定するステップは、前記関連ビューにおける前記現在の検査及び前記過去の検査の他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力するステップを含む、（１）に記載の方法。
（１０） 所定の値よりも大きい出力スコアを有する前記現在の検査及び前記過去の検査の他方の画像シーケンスが、前記対話型比較パネルを介して表示される、（９）に記載の方法。
（１１） 実行可能プログラムを記憶する非一時的コンピュータ可読記憶媒体と、
プロセッサと、
を含み、
前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信させ、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含み、
前記現在の検査及び前記過去の検査の前記画像シーケンスの関連ビューを決定させ、
比較のために、前記現在の検査及び前記過去の検査の一方の前記関連ビューの画像シーケンスを選択させ、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスをユーザに表示させ、
前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、
前記選択された画像シーケンスに最も密接に一致するかを決定させ、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方からの前記画像シーケンスをさせる、
システム。
（１２） 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記関連ビューの前記画像シーケンスの選択が比較指示に基づくように、前記比較指示に対応する入力を受信させる、
（１１）に記載のシステム。
（１３） 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記選択された画像シーケンスに対応するユーザ入力を受信させる、
（１１）に記載のシステム。
（１４） 前記プロセッサは前記実行可能プログラムを実行して、前記実行可能プログラムが前記プロセッサに、
前記選択された画像シーケンスと視覚的に比較するために、前記ユーザによって選択された一致する画像シーケンスに対応するユーザ入力に受信させる、
（１１）に記載のシステム。
（１５） 前記プロセッサは前記実行可能プログラムを実行して、前記プロセッサに、
前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択するために、かつ、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方から前記画像シーケンスを決定するための機械学習モデル、統計モデル、及びルールベースのモデルのうちの少なくとも１つを作成させる、（１１）に記載のシステム。
（１６） 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択することは、前記現在の検査及び前記過去の検査の一方の前記画像シーケンスの各々の取得順序を分析することを含む、（１１）に記載のシステム。
（１７） 前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスを選択することは、前記現在の検査及び前記過去の検査の一方の各画像シーケンスについて、前記各画像シーケンスが視覚的比較のために前記ユーザによって選択される尤度に対応する出力を生成することを含む、（１１）に記載のシステム。
（１８） 所定の値よりも大きい出力を有する前記現在の検査及び前記過去の検査の一方の画像シーケンスが、前記対話型比較パネルを介して表示される、（１７）に記載のシステム。
（１９） 前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、前記選択された画像シーケンスに最も密接に一致するかを決定することは、前記関連ビューにおける前記現在の検査及び前記過去の検査の他方の各画像シーケンスについて、前記現在の検査及び前記過去の検査の他方の各画像シーケンスと前記選択された画像シーケンスとの間の類似性のレベルに対応するスコアを出力することを含む、（１１）に記載のシステム。
（２０） プロセッサによって実行可能な命令のセットを含む非一時的コンピュータ可読記憶媒体であって、前記命令のセットは、前記プロセッサによって実行されると、前記プロセッサに、
比較されるべき現在の検査及び過去の検査からの画像シーケンスを受信する動作であって、前記画像シーケンスの各々は、前記画像シーケンスのビューに対応するデータを含む、受信する動作と、
前記現在の検査及び前記過去の検査の前記画像シーケンスの関連ビューを決定する動作と、
比較のために、前記現在の検査及び前記過去の検査の一方の前記関連ビューの画像シーケンスを選択する動作と、
対話型比較パネルを介して、前記現在の検査及び前記過去の検査の一方からの前記画像シーケンスをユーザに表示する動作と、
前記現在の検査及び前記過去の検査の他方の前記関連ビューのどの画像シーケンスが、
前記選択された画像シーケンスに最も密接に一致するかを決定する動作と、
前記対話型比較パネルを介して、前記選択された画像シーケンスに最も密接に一致する前記現在の検査及び前記過去の検査の他方からの前記画像シーケンスを表示する動作と、
を含む動作を行わせる、非一時的コンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】