特表 2024-521848 超音波画像シーケンスを取得する装置及び関連する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-04

(54)【発明の名称】超音波画像シーケンスを取得する装置及び関連する方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240528BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023573354

(86)(22)【出願日】2022-05-24

(85)【翻訳文提出日】2023-12-28

(86)【国際出願番号】 EP2022064109

(87)【国際公開番号】W WO2022248500

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】2105597

(32)【優先日】2021-05-28

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】523446491

【氏名又は名称】ディーイーエスケーアイ

【氏名又は名称原語表記】ＤＥＳＫＩ

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】モール オリヴィエ

(72)【発明者】

【氏名】モール ベルトラン

(72)【発明者】

【氏名】ロジャー エミリー

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601DD15

4C601EE11

4C601JC06

4C601JC15

4C601KK02

4C601KK31

(57)【要約】

本発明は、装置（１）に接続された超音波プローブによって取得された超音波画像（１１）をリアルタイムで受信するように構成された、シーケンス超音波画像の作成を支援する装置（１）に関する。本発明は、関連する方法に関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

心臓の超音波画像シーケンスの作成を支援するための装置であって、前記装置（１）に接続された超音波プローブ（ＳＥＣＨ）によって取得された超音波画像（１１）をリアルタイムで受信するように構成され、
・受信した超音波画像（１１）をリアルタイムで分類し、各画像にクラス（１４）を関連付け、前記関連付けられたクラス（１４）の関数として品質インジケータ（１３）を生成するように構成された分類器（ＣＬＡＳＳ）を実装する、第１メモリに関連付けられた第１演算器と、
・受信した超音波画像（１１）をリアルタイムで表示し、最後に生成された品質インジケータ（１３）を表示するディスプレイ（ＡＦＦ）と、
・第２メモリに関連付けられ、次の、
－所定の数の受信画像シーケンスに、所定の割合よりも大きい同じクラスに関連付けられた画像の割合が含まれている場合、第３メモリ（ＭＥＭ）に当該画像シーケンス（２０）を自動的に記録し、
－同じクラスに関連付けられた画像の割合が所定の割合よりも大きい、所定の数の受信画像シーケンスに到達するために受信されるべき残りの画像の数を表す時間インジケータ（１２）をリアルタイムで生成し、ディスプレイに表示する、
の手順を実行するように構成された第２演算器（ＣＡＬＣ）と、
を含む、
装置（１）。

【請求項2】

前記分類器（ＣＬＡＳＳ）は、以下の、
・それぞれが心臓臓器の特定ビューを表す複数のクラス、
・不十分な品質のビューを表す少なくとも１つのクラス、
の中から画像を分類するように構成される、
請求項１に記載の装置。

【請求項3】

前記分類器（ＣＬＡＳＳ）は、教師あり機械学習から構成される学習機能によって実現される、
請求項２に記載の装置。

【請求項4】

前記分類器（ＣＬＡＳＳ）は、一連のラベル付けされた心臓の超音波画像によってトレーニングされたニューラルネットワークによって実現され、前記ラベルは、以下の特性情報、
・特徴的な画角及び／又はサイズを含む臓器の画像のショット、
・画質、及び、
・心臓の画像の一部の存在、及び／又は、
・測定可能な解剖学的形状輪郭の存在、
を含む、
前記請求項に記載の装置。

【請求項5】

表示された品質インジケータ（１３）は、色が最後の分類された画像に関連付けられたクラスに応じた色付きインジケータを含む、
前記請求項のいずれか１項に記載の装置（１）。

【請求項6】

表示された色付きインジケータの少なくとも一つの寸法は、信頼値に対応する、
請求項５に記載の装置（１）。

【請求項7】

表示された時間インジケータ（１２）は、前記時間インジケータの値に応じて内容が変化するゲージを含む、
前記請求項のいずれか１項に記載の装置（１）。

【請求項8】

請求項１～７のいずれか１項に記載の装置（１）と、
前記装置（１）に接続された超音波プローブ（ＳＥＣＨ）とを備え、前記プローブによって撮像された超音波画像を前記装置に送信することが可能な、システム（２）。

【請求項9】

コンピュータによって実施される超音波画像シーケンスの生成を支援する方法（１０００）であって、
・超音波プローブ（ＳＥＣ）から超音波画像（１１）を受信（１００）して、連続的に表示し、
・受信した超音波画像（１１）をリアルタイムで分類（２００）し、各画像をクラスに関連付け、
・分類された超音波画像に関連付けられたクラス（１４）の関数としての品質インジケータ（１３）を生成し、表示（３００）し、
・所定の数の受信画像シーケンスに、所定の割合よりも大きい同じクラスに関連付けられた画像の割合が含まれている場合、当該画像シーケンス（２０）を自動的にメモリ（ＭＥＭ）に記録（４００）し、
・同じクラスに関連付けられた画像の割合が所定の割合よりも大きい、所定の数の受信画像シーケンスに到達するために受信されるべき残りの画像の数を表す時間インジケータ（１２）をリアルタイムで生成し、表示（５００）する、
方法。

【請求項10】

前記受信画像の所定の割合が分類され、前記所定の割合はユーザインタフェースによって制御可能である、前記請求項に記載の方法。

【請求項11】

前記方法は、心臓の特定の第１ビューを表す第１クラスを選択することをさらに含み、前記選択は、以下の、
・選択された前記第１クラスの心臓の第１超音波ビューの画像に対応する第１事前記録画像を表示すること、及び／又は、
・心臓の特定の前記第１ビューをキャプチャするために、患者上の超音波プローブ位置の第１事前記録設定点を表示すること、
を自動的に生成する、
請求項９又は１０に記載の方法。

【請求項12】

請求項９～１１のいずれかに記載の方法のステップを装置に実行させる命令を含むコンピュータプログラム製品。

【請求項13】

請求項１２に記載のコンピュータプログラムが記録されたコンピュータ可読サポート。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、超音波画像の撮影を自動化し、オペレータを支援する装置及び方法に関する。有利には、本発明は、心臓の特定のショットの自動記録を可能にし、これは、その後、臨床医によって分析され得る。

【背景技術】

【0002】

超音波画像（Ultrasound imaging）は、エコー画像（echographic imaging）とも呼ばれ、高周波を用いて生体内の２次元構造を可視化する医用画像技術である。超音波画像はリアルタイムで撮影されるため、これらの超音波画像には、体内の内臓の動きだけでなく、拍動中の心臓の動きも映し出される。

【0003】

このような画像を得るために、超音波プローブを被験者の皮膚に直接当てる。皮膚に薄いゲルを塗布して、超音波がプローブから被験者の体内まで皮膚を通過できるようにする。超音波画像は、被験者の臓器に対する超音波の反射を測定することによって作成される。測定された反射波の振幅とその波の飛行時間は、超音波画像を再構成するために必要な情報を提供する。

【0004】

心臓の超音波検査中、オペレーターはプローブをどこに置くか、目的の画像を得るためにどのように向きを変えるかを知っていなければならない。一般に、心臓の超音波検査から得られる目的の画像は、特定の測定、特に臓器や組織の長さを測定できる画像である。

【0005】

超音波検査の能力を高めるために、心臓専門医が画像を撮影することから解放されると考えられてきた。例えば、画像がオペレータによって撮影され、オペレータが画像を記録して、それを心臓専門医に送信し、心臓専門医はそれを解釈するだけでよい。このような組織では、心臓専門医による超音波検査の回数が増える。しかし、超音波画像が心臓専門医によって解釈されるのに十分な品質であることを確認する必要がある。オペレータは超音波についてある程度の知識を持っているかもしれないが、彼又は彼女自身が画像の分析を行わない場合には、そのような超音波画像の撮影を支援する装置が必要である。さらに、オペレータは、心臓専門医が診断及び／又は分析を行うことができるように、十分な品質の単一の画像を取得するだけでなく、例えば完全な心周期にわたる、十分な長さの画像のシーケンスを取得する必要がある。

【0006】

心臓の超音波画像を撮影する際にオペレータをガイドするソフトウェア実装方法が知られている。これらの方法は、特定ビューに関する画像シーケンスの品質を評価し、そのようなシーケンスを記録することを含む。

【0007】

これらの方法の１つの欠点は、オペレータが撮影している画像の品質が十分であるか否かを評価することが依然として困難であることである。これらの方法の他の欠点は、必要な品質に対応する十分に長い画像シーケンスを取得することが困難であり、オペレータがソフトウェアによってショットを検証することがさらに困難であることである。

【0008】

したがって、オペレータが超音波画像を撮影することを容易にする新しい装置が必要である。

【0009】

また、本発明は、オペレータが十分な品質の超音波画像シーケンスをより容易かつ迅速に取得することを可能にする装置及び関連する方法を提供することを目的とする。

【発明の概要】

【課題を解決するための手段】

【0010】

一態様によれば、本発明は、超音波画像シーケンス、好ましくは、心臓の超音波画像の作成又は取得を支援するための装置であって、前記装置に接続された超音波プローブによって取得された超音波画像をリアルタイムで受信するように構成され、以下を含む装置に関する。
・受信した超音波画像をリアルタイムで分類し、各画像にクラスを関連付け、前記関連付けられたクラスに従って品質インジケータを生成するように構成された分類器を実装する、第１メモリに関連付けられた第１演算器。
・受信した超音波画像をリアルタイムで表示し、最後に生成された品質インジケータを表示するディスプレイ。
・第２メモリに関連付けられ、次の手順を実行するように構成された第２演算器。
－所定の数の受信画像シーケンスに、同じクラスに関連付けられた画像の割合が所定の割合よりも大きいものが含まれている場合、第３メモリに当該画像シーケンスを自動的に記録する。
－同じクラスに関連付けられた画像の割合が所定の割合よりも大きい、所定の数の受信画像シーケンスに到達するために受信されるべき残りの画像の数を表す時間インジケータをリアルタイムで生成し、ディスプレイに表示する。

【0011】

１つの利点は、取得された画像が十分な品質であることをオペレータに示す品質インジケータと、ビデオシーケンスの取得が進行中であることをオペレータに示す時間インジケータと、取得された画像がまだ十分な品質である位置を維持しなければならない残りの時間とを含むリアルタイム画像を生成することである。このように記録されたシーケンスは、心臓専門医が診断を確立するために使用できるビデオシーケンスの生成を可能にする。

【0012】

一実施形態によれば、第１、第２及び第３メモリは同じメモリである。一実施形態によれば、第１及び第２メモリは同じメモリである。一実施形態によれば、第１及び第３メモリは同じメモリである。一実施形態によれば、第２及び第３メモリは同じメモリである。したがって、本出願では、メモリは、データを格納するための物理装置又は物理装置の利用可能なメモリ空間として区別なく参照される。

【0013】

一実施形態によれば、第１演算器及び／又は第２演算器は、本発明の装置に局所的に含まれる。別のモードによれば、第１演算器及び／又は第２演算器は、データサーバのような遠隔装置に含まれる。後者の場合、本発明の装置は、複数の機器を含むシステムを意味する。

【0014】

一実施形態では、分類器は、画像を複数のクラスの間で分類するように構成され、各クラスは心臓臓器の特定ビューを表し、少なくとも１つのクラスは不十分な品質のビューを表す。利点は、心臓の特定ビューと心臓専門医が診断に使用できない画像の両方を検出することができることである。

【0015】

一実施形態では、分類器は、教師あり機械学習から構成される学習機能によって実現される。

【0016】

一実施形態では、分類器は、一連のラベル付けされた心臓の超音波画像でトレーニングされたニューラルネットワークによって実現される。このような分類器の利点は、ラベル付けされた画像からのトレーニングによる、超音波画像の信頼できる分類を可能にすることである。

【0017】

一例によると、ニューラルネットワークはＣＮＮまたはＣｏｎｖｅｔとして知られる畳み込みニューラルネットワークである。

【0018】

一実施形態によると、ニューラルネットワークＣＮＮの構成は、以下を含むことができる。
・学習方法から得られた重み付け係数を含む行列の複数の乗算を含む畳み込み又はニューラルネットワーク層。
・非線形演算。

【0019】

一実施形態によれば、ニューラルネットワークＣＮＮの構成は、メモリに取得又は受信又は格納された画像を入力として含む。

【0020】

ニューラルネットワークＣＮＮは、その第１層に畳み込みを含み、モデルの最後に完全に接続されたニューロン層を含むことができる。後者の場合、これらは前の層のすべてのニューロンに接続され、次の層のすべてのニューロンに接続されているニューロンである。

【0021】

畳み込み層は、一連の行列演算を生成する入力行列のスキャンを含むことができる。ニューラルネットワークの他の層は、通常、入力行列のサイズに関する行列演算を含む。

【0022】

１つの例では、各畳み込みは、入力行列と重み行列との行列積と、追加のバイアスを含む。

【0023】

ニューラルネットワークＣＮＮ内の連続層処理の適用は、一連の行列乗算の適用を含み、その後に非線形関数が続き、前記層の出力を生成する。これらの演算の連続は、ニューラルネットワークの深さを定義する。

【0024】

一例の実施形態によれば、ニューラルネットワークは、ＭＬＰとして知られる多層パーセプトロンである。一例によれば、ニューラルネットワークは、ＭＬＰ等価ネットワークであってもよい。

【0025】

一実施形態において、前記ラベルは、特徴的な画角及び／又はサイズを有する臓器の画像のショット、画質、心臓の画像の一部の存在及び／又は測定可能な解剖学的形状輪郭の存在、の特性情報を含む。

【0026】

一実施形態では、表示された品質インジケータは、色が最後の分類された画像に関連付けられたクラスに応じた色付きインジケータを含む。一実施形態では、色は、不十分な品質であると分類される超音波画像に関連付けられる。利点は、オペレータが取得している画像が十分な品質であるか否かを迅速に視覚化できることである。

【0027】

一実施形態では、品質インジケータは、前記超音波画像の分類によって生成される、最後の分類画像の分類の信頼値の関数である。一実施形態では、表示される色付きインジケータの少なくとも１つの寸法は、前記信頼値に対応する。利点は、オペレータが取得している画像が良好な品質である場合に、プローブの動きが品質を向上させるか、又は不十分な品質の画像に画像を近づけるかを可視化することを可能にすることである。

【0028】

一実施形態では、表示された時間インジケータは、時間インジケータの値に応じて内容が変化するゲージを含む。有利には、オペレータは、シーケンスの検証又は自動記録のために十分な取得品質を維持しなければならない残りの時間を視覚化する。

【0029】

別の態様によれば、本発明は、本発明に係る装置と超音波プローブとを含むシステムに関する。超音波プローブは、プローブによって取得された超音波画像を装置に送信するように、前記装置に接続可能であるることが好ましい。

【0030】

別の態様によれば、本発明は、超音波画像シーケンス、好ましくは心臓のコンピュータ実施超音波画像シーケンスの生成を支援する方法に関する。

【0031】

前記方法は、以下を含む。
・超音波プローブから、好ましくは心臓の超音波画像を連続的に受信して、表示し、
・受信した超音波画像をリアルタイムで分類（２００）し、各画像をクラスに関連付け、
・分類された超音波画像に関連付けられたクラスの関数として品質インジケータを生成して、表示し、
・所定の数の受信画像シーケンスに、同じクラスに関連付けられた画像の割合が所定の割合よりも大きいものが含まれている場合、当該画像シーケンスを自動的にメモリに記録し、
・同じクラスに関連付けられた画像の割合が所定の割合よりも大きい、所定の数の受信画シーケンスに到達するために受信されるべき残りの画像の数を表す時間インジケータを生成し、リアルタイムで表示する。

【0032】

一実施形態では、方法は、さらに、心臓の特定の第１ビューを表す第１クラスを選択することを含み、当該選択は、以下の
・選択された前記第１クラスの心臓の第１超音波ビューの画像に対応する第１事前記録画像を表示すること、及び／又は、
・心臓の前記第１特定ビューをキャプチャするために、患者上の超音波プローブ位置の第１事前記録設定点を表示すること、
を、自動的生成する。

【0033】

事前記録画像及び設定点を表示することは、得られるべき超音波画像を探索する際にオペレータにガイダンスを提供する。

【0034】

一実施形態において、方法は、前記自動シーケンスの自動記録後に、さらに、以下を含む。
・心臓の第２特定ビューを表す第２クラスを自動的に選択する。
・選択された前記第２クラスに対応する第２事前記録超音波画像をディスプレイに表示する。

【0035】

・心臓の前記第２特定ビューをキャプチャするために、患者上の超音波プローブ位置の第２事前記録設定点をディスプレイに表示する。

【0036】

一実施形態では、受信した超音波画像の所定の割合が分類される。好ましくは、前記所定の割合は、ユーザインタフェースによってパラメータ化可能又は制御可能である。分類すべき受信画像の割合のこの選択は、特に超音波画像の取得速度がこれらの画像の分類速度よりも大きい場合に、常にリアルタイムで受信画像を分類することを可能にする。別の実施形態では、分類は、受信器ＲＥＣによって受信された最後の超音波画像で実行される。

【0037】

一実施形態では、品質インジケータを生成するステップは、実行された分類の確実性を表す信頼値を生成して表示することをさらに含み、任意選択的に、表示される品質インジケータは、色が超音波画像の分類に依存し、少なくとも１つの次元が信頼値の関数である色付きインジケータを含む。

【0038】

別の態様によれば、本発明は、本発明に係る方法を実行するためのソフトウェア及びハードウェア手段を含む装置に関する。ハードウェア手段は、ディスプレイ、受信器ＲＥＣ、超音波プローブ、メモリに関連付けられた１つ以上のプロセッサ又は演算器、超音波画像シーケンスを記憶するための１つ以上のメモリ、及び／又は送信器を含むことができる。

【0039】

別の態様によれば、本発明は、本発明に係る方法のステップを本発明に係る装置に実行させる命令を含むコンピュータプログラム製品に関する。別の態様によれば、本発明は、本発明によるコンピュータプログラムが記録されたコンピュータ可読サポートに関する。

【図面の簡単な説明】

【0040】

本発明の他の特徴及び利点は、添付の図を参照して、以下の詳細な説明を読むことにより、より明確になるであろう。

【0041】

【図1】本発明の第１実施形態に係る装置のディスプレイによって表示される画像の概略図である。

【図2】本発明の実施形態による装置の概略図である。

【図3】本発明の第２実施形態に係る装置のディスプレイによって表示される画像の概略図である。

【図4】本発明の一実施形態による方法の異なるステップを表すフローチャートである。

【発明を実施するための形態】

【0042】

本発明は、シーケンス超音波画像の生成を支援する方法１０００に関する。本発明は、心臓のシーケンス超音波画像の生成に特に有利である。これは、心臓が周期に従う臓器にあるためである。

【0043】

心周期には２つの周期がある。１つは心筋が弛緩して血液で満たされる拡張期で、もう１つは収縮期と呼ばれる活発な収縮と血液を送り出す周期である。血液が排出されると、心臓はすぐに弛緩して拡張し、肺や体内の他のシステムから戻ってくる血液を受け取り、その後再び収縮して肺やこれらのシステムに血液を送り出す。正常に機能している心臓は、再び効率的に血液を送り出す前に完全に拡張する必要がある。

【0044】

可能性のある状態を分析するためには、医師が心周期全体のシーケンス画像（又はビデオ）を入手することが重要である。本発明は、画像シーケンスを入手する際に医師を支援することを有利に可能にする。

【0045】

しかしながら、本発明は、他の臓器の超音波取得においても利点を見出すことができ、画像シーケンスは、例えば、産科超音波の分野において望ましい。

【0046】

本発明はまた、関連する装置に関する。そのような装置１の例を図２に示す。

【0047】

装置１は、タブレット、スマートフォン、コンピュータ、又は少なくとも１つのディスプとメモリに関連付けられたプロセッサを含む任意の他のデバイスを含むことができる。別の態様によれば、本発明はまた、本発明に係る装置１と、当該装置１に接続された超音波プローブＳＥＣＨとを含むシステム２に関する。

【0048】

一実施形態では、装置は、後述する本発明に係る方法を実施するためのソフトウェア及びハードウェア手段を含む。前記装置は、好ましくは、少なくとも１つの受信器ＲＥＣ、分類器、及びディスプレイを含む。

【0049】

受信
この方法は、超音波画像１１をリアルタイムで受信するステップ１００を含む。前記超音波画像は、装置の受信器ＲＥＣによって受信される。一実施形態では、受信器ＲＥＣは、受信器ＲＥＣによって受信された画像１１が送信前に一時的に格納されるバッファメモリを備えることができる。

【0050】

受信された超音波画像１１は、好ましくは装置のディスプレイＡＦＦ上にリアルタイムで表示される。したがって、受信された超音波画像は、ディスプレイに送信されてリアルタイムで表示される。

【0051】

装置は、ディスプレイＡＦＦを含む。ディスプレイＡＦＦは、モニタ、タッチスクリーンタブレット又はスマートフォンのようなスクリーンを含むことができる。

【0052】

ディスプレイＡＦＦは、受信器ＲＥＣ及び／又は分類器ＣＬＡＳＳ及び／又はプロセッサに接続される。ディスプレイＡＦＦは、受信器ＲＥＣによって受信された超音波画像をリアルタイムで表示するように構成される。ディスプレイＡＦＦにより、オペレータは、取得している超音波画像についてリアルタイムのフィードバックを得ることができるという利点がある。ディスプレイＡＦＦは、この説明で後述する追加のインジケータ又はデータを表示するように構成される。ディスプレイＡＦＦは、受信器ＲＥＣによって受信された超音波画像１１からなる画像１を表示する。好ましくは、表示される超音波画像は、受信器ＲＥＣによって受信された最後の超音波画像である。したがって、ディスプレイＡＦＦは、本発明の装置に接続された超音波プローブＳＥＣＨによってキャプチャされた画像をリアルタイムで表示するように構成される。

【0053】

分類
この方法は、受信器ＲＥＣによって受信された超音波画像１１をリアルタイムで分類するステップ２００を含む。分類は、装置の分類器ＣＬＡＳＳによって行われる。

【0054】

超音波画像の分類は、前記超音波画像をクラス１４、好ましくは所定のクラス群の中のクラスと関連付けることを含む。

【0055】

一実施形態では、分類は、超音波画像に関連付けられた前記クラスに従って品質インジケータ１３を生成するステップ３００をさらに含む。品質インジケータは、クラス又は所定のクラスのセットを表してもよい。

【0056】

一実施形態では、分類するステップはさらに、信頼値を生成することを含む。信頼値は、実行される分類の信頼率を表すことができる。信頼値は、分類器ＣＬＡＳＳによって生成される。

【0057】

分類ステップは、好ましくは、装置の分類器ＣＬＡＳＳによって実行される。分類器は、メモリに関連付けられたプロセッサ又は演算器によって実行されるアルゴリズム関数を意味する。

【0058】

分類器ＣＬＡＳＳは、受信器ＲＥＣによって受信された画像を受信するように構成される。

【0059】

分類器は、受信器ＲＥＣによって受信された画像の少なくとも一部をリアルタイムで分類するように構成される。分類器は、クラスを超音波画像に関連付けるように構成される。分類器は、関連付けられたクラスに従って品質インジケータ１３を生成する。品質インジケータ１３は、好ましくは、前記分類された超音波画像に関連付けられる。

【0060】

好ましくは、画像処理手段装置は、受信した画像を分類器ＣＬＡＳＳに提供する前に処理する。これらの処理手段には、画像フィルタ又はコントラスト機能を含まれる。

【0061】

好ましくは、分類器ＣＬＡＳＳは、心臓の超音波画像を、一方では心臓の特定ビューをそれぞれ表すクラス、他方では不十分な品質のビューを表すクラスを含む複数のクラスの間で分類するように構成される。

【0062】

したがって、画像が心臓の特定ビューを表すクラスに分類される場合、この画像は、臨床医がこれらの画像から所定の測定を行うのに有利な十分な品質であると考えられる。実際、心臓専門医は、診断のために特定のよく識別されたビューを使用する。

【0063】

一実施形態では、心臓の特定ビューを表す各クラスは、以下のうちの１つを表す。
・傍胸骨長軸スライスのビュー
・傍胸骨短軸スライスのビュー
・頂端スライスのビュー
・肋骨下スライスのビュー
・胸骨上スライスのビュー
・直線パラファーナル部（straight paraphernal section）のビュー

【0064】

これらのビューはいずれも心臓専門医によく知られており、心臓のさまざまな部位を視覚化したり、特定のデータを演算又は測定したり、特定の病理を同定したりするために用いられる。

【0065】

これらのビューはそれぞれ、心臓の１つ以上の特定の部位の存在によって特徴づけられる。例えば、傍胸骨短軸スライスのビューは、画像中の左心室と右心室の断面の存在によって特徴づけられる。このビューから、心臓専門医は短縮率を演算し、肺圧を演算できる。

【0066】

一実施形態では、不十分な品質のビューを表すクラスは、他のクラスの特定ビュー又は上記の特定の超音波ビューのいずれにも属さないが、画像品質がその特定ビューに関連する必要な測定を可能にしない、心臓の超音波ビューを表す。

【0067】

一実施形態では、分類器ＣＬＡＳＳは、教師あり及び／又は機械学習からトレーニングされた学習関数によって実現される。学習関数は、好ましくはニューラルネットワークを含む。学習関数は、好ましくは、心臓のシーケンスラベル超音波画像でトレーニングされる。

【0068】

一例では、学習関数は、各々がラベルに関連付けられた複数の超音波画像を分類器に送信することを含むトレーニングから構成されている。一実施形態では、分類器は、十分な品質の心臓の特定ビューの超音波画像でトレーニングされており、各画像は、前記特定ビューを表すラベルに関連付けられている。分類器はまた、心臓専門医がこれらの画像から測定を行うことを可能にするために、上記以外の、又は十分な品質を持たない心臓のビューの超音波画像でトレーニングされており、これらの画像のそれぞれは、不十分な品質のビューを表す品質ラベルに関連付けられている。ラベルはまた、特徴的な画角及び／又はサイズを有する臓器の画像のショット、画質、心臓の画像の特定の部分の存在及び／又は測定可能な解剖学的形状輪郭の存在、の特性情報を含む。好ましくは、ラベルは、心臓の特定ビューの名前又は低品質のビューに関連する名前を含む。

【0069】

分類器ＣＬＡＳＳは、それ自体がメモリに関連するプロセッサで実行されてもよい。分類器ＣＬＡＳＳは、前記プロセッサに関連するメモリのようなコンピュータ読み取り可能な媒体に記録されてもよい。

【0070】

一実施形態では、超音波画像を分類するステップは、各クラスに対する一致スコアを生成することを含む。対応スコアは、超音波画像が各クラスに属する確率を含むことができる。そして、この方法は、最も高いスコアを有するクラスを選択することを含む。好ましくは、信頼値は、前記超音波画像に関連するクラスの前記対応スコアから生成される。

【0071】

一実施形態では、分類器ＣＬＡＳＳは、リアルタイムで受信された画像の１００％を分類する。

【0072】

別の実施形態では、分類器ＣＬＡＳＳは、受信画像の１つの割合のみを分類するように構成される。そして、分類器は、受信超音波画像の一部をリアルタイムで分類するように構成される。この実施形態は、分類速度が画像取得速度（単位時間当たりの画像）よりも小さい場合に特に有利である。

【0073】

一実施形態では、超音波画像の分類は、最後に受信した超音波画像の分類を含む。前記画像が分類されると、方法は、最後に受信した超音波画像を再び取得する。その結果、一部の超音波画像は分類されない場合がある。しかし、この実行モードは、分類器の速度や超音波画像の受信頻度に関係なく、リアルタイムで超音波画像を分類することができるという利点がある。

【0074】

品質インジケータ
本発明の方法は、生成された品質インジケータ１３のディスプレイＡＦＦをリアルタイムに生成して表示する。好ましくは、表示される品質インジケータ１３は、生成された最後の品質インジケータ１３に対応する。

【0075】

一実施形態では、この品質インジケータ１３は、分類器ＣＬＡＳＳによって生成される。このような分類器は、心臓の超音波画像を受信すると、前記画像を上記クラスの一つに分類するように構成される。そして、この方法は、その画像の分類を代表する品質インジケータを生成することを含む。前記品質インジケータは、前記分類された超音波画像に関連付けられてもよい。

【0076】

あるいは、品質インジケータ１３は、ディスプレイＡＦＦに接続され、分類器から情報を受信するリモートプロセッサによって生成されてもよい。

【0077】

品質インジケータ１３の表示は、分類された超音波画像に関連するクラスに応じた色付きインジケータの表示を含むことができる。インジケータの色は、単一のクラスを表すことができる。好ましくは、色付きインジケータの色は２つの異なる色であってもよく、第１色は上記のような心臓の特定ビューを表すクラスを含むクラスのグループを表し、第２色は不十分な品質のビューを表すクラスを表すものである。したがって、オペレータは、自分が撮影している超音波画像が十分な品質であるか否かをより迅速に視覚化できるという利点がある。

【0078】

一実施形態では、分類器はまた、心臓の超音波画像を受信すると、信頼値を生成するように構成される。信頼値は、画像が正しく分類された確実性のレベルを表すことができる。一実施形態では、品質インジケータは、前記信頼値を含むことができる。前記品質インジケータ２１は、好ましくは、ディスプレイＡＦＦに表示される。

【0079】

分類された画像に関連付けられた品質インジケータ１３は、前記信頼インジケータを含むことができる。別の代替実施形態では、信頼値を表す信頼インジケータが生成され、リアルタイムで表示される。

【0080】

図１に示す第１例では、表示された品質インジケータ１３は、表示された超音波画像の周りに優先的に延びる色付きフレームを含む。オペレータは、自分が撮影している画像が期待されるものであるか否かを、画像から目をそらさずに視覚化することができる。信頼度インジケータは、図１に示すように数値として表示することができる。

【0081】

図３に示す第２例では、品質インジケータ１３は、色付きインジケータを含む。色付きインジケータの色は、最後の超音波画像の分類を表す。前記色付きインジケータの少なくとも１つの寸法は、信頼値の関数である。図３に示す例では、品質インジケータ１３は、その長さが信頼値に従って変化し、その色が最後の超音波画像に関連するクラスに対応するバーである。

【0082】

このようなインジケータは、オペレータが、自分が撮影している画像が十分な品質であるか否かを視覚化することを可能にし、また、インジケータが超音波プローブＳＥＣＨの動きの関数として劣化又は改善されているかを、目をそらさずに視覚化することを可能にする。このようなインジケータの目的は、オペレータがプローブをわずかに動かしたときに、この動きが信頼値を増加又は減少させるかを視覚化することを可能にし、したがって、後述する画像の検証されたシーケンスを得る可能性を増加又は減少させることである。

【0083】

シーケンス
この方法は、メモリＭＥＭに画像のシーケンス２０を自動的に記録するステップ４００を含む。このシーケンス２０は、受信又は分類された画像の所定の数のシーケンスに、所定の割合より大きい同じクラス１４に関連付けられた画像の割合が含まれている場合、自動的に記録される。好ましくは、前記クラスは、心臓の特定ビューを表すクラスである。

【0084】

「シーケンス画像」とは、取得の時系列順に続くシーケンス超音波画像を意味する。したがって、「ビデオシーケンス」という用語は、このようなシーケンス画像を指すためにも使用される。

【0085】

したがって、十分に長いビデオが、例えば、心臓の特定ビューを表す同じクラスに分類される超音波画像の大部分を含む場合、ビデオシーケンス２０は自動的にメモリに記録される。この自動記録は、オペレータによる検証なしで、心臓専門医によって分析可能な心臓の特定ビューのビデオを自動的に生成するという利点がある。

【0086】

受信又は分類された画像の所定の数は、超音波プローブＳＥＣＨの画像取得周波数が一定である限り、所定の最小期間として理解することができる。この閾値の利点は、ビデオシーケンス２０が心臓専門医によって分析されるのに十分な長さであることを保証することである。別の実施形態では、所定の数の画像を、受信された数又は分類された数の画像に置き換えることができる。所定の数は、被験者の心臓の所定の心周期数に対応するようにパラメータ化され得る。

【0087】

前記ビデオシーケンス内の同じクラスに関連付けられた画像の割合が所定の割合よりも大きいと、前記シーケンス内で十分な品質を持たない画像の数が無視できるほどであるにもかかわらず、自動録画が可能になるという利点がある。実際、ビデオシーケンス内のこの無視できる数の画像は、分類エラー、又は特定ビューに関連するノイズに起因する可能性がある。この許容範囲は、シーケンスの自動生成の容易さとシーケンスの品質との間の良好な妥協からなる。

【0088】

一実施形態では、所定の割合は、少なくとも５０％より大きい。別の実施形態では、所定の割合は、例えば、装置のユーザインタフェースによって、オペレータによって設定することができる。

【0089】

一実施形態では、自動記録ステップは、連続的に受信された超音波画像及び前記画像に関連する生成された品質指標をバッファリングすることを含む。このようにして、上記基準を満たすビデオシーケンスが検出されると、このシーケンスに属する画像をバッファメモリから別のメモリに転送し、及び／又は同じファイルにグループ化してビデオシーケンスを生成することができる。

【0090】

明確にするために、以下では、そのようなシーケンスの生成及び記録を、そのようなシーケンスの「検証（validation）」と呼ぶ。

【0091】

時間インジケータ
一実施形態では、この方法は、時間インジケータ１２をリアルタイムで生成し表示するステップを含む。

【0092】

表示される時間インジケータ１２は、同じクラスに関連付けられた画像の割合が所定の割合よりも大きい、所定の数の受信画像シーケンスに到達するために、受信又は分類される残りの画像の数を表す。

【0093】

このインジケータは、オペレータが心臓の特定ビューのビデオシーケンスを検証するための残りの時間を視覚化することを有利に可能にする。有利には、このインジケータは、オペレータが十分な品質の超音波画像を維持しなければならない残りの時間を視覚化することを可能にし、その品質は、品質インジケータ１３及び／又は信頼インジケータによって表示される。

【0094】

時間インジケータ１２は、カウントダウンのような数値を含むことができる。時間インジケータ１２は、ビデオシーケンスを検証する残り時間の関数として満たされるか、又は空になるゲージを含むことができる。

【0095】

一実施形態では、方法は、第１画像が心臓の特定ビューを表すクラスに分類されると、自動的に時間インジケータ１２を生成して表示することを含む。

【0096】

新しい分類された画像と共に、時間インジケータ１２はリアルタイムで優先的に更新される。

【0097】

－第１画像以降の分類された画像の数が、所定の割合よりも大きい同じクラスに関連付けられた画像の割合を含む場合、時間インジケータ１２は、所定の数の画像及びビデオシーケンス２０の記録に到達するために受信されるべき残りの時間又は残りの画像の数を示すよう更新される。
－第１画像以降の分類された画像の数が、所定の割合よりも小さい同じクラスに関連付けられた画像の割合を含む場合、時間インジケータ１２は、例えば、カウンタ又はゲージをゼロにリセットするか、又はそのようなカウンタ又はゲージの表示を消滅させることによって、検証の失敗を示すように更新される。

【0098】

この方法は、受信した超音波画像、品質インジケータ１３、及び、任意選択的に時間インジケータ１２をリアルタイムで表示することを含む。このような表示について、図２を参照して以下に説明する。ディスプレイＡＦＦによって表示される画像は、超音波プローブＳＥＣＨによってリアルタイムに受信又は撮影された超音波画像１１と、品質インジケータ１３と、時間インジケータ１２とを含む。

【0099】

プログラム
一実施形態によれば、本発明に係る方法は、上記ビューの１つのような心臓の特定ビューを表すクラスの中から第１クラスを選択することを含む。

【0100】

第１クラスの選択は、ディスプレイＡＦＦ上にそのようなビューを表す心臓の第１事前記録超音波画像１５を表示することを生成する。好ましくは、前記特定ビューの名前を含むことができるラベル１７も、ディスプレイＡＦＦ上に表示される。第１クラスを選択すると、第１設定点画像１４の表示も生成される。第１設定点画像１４は、好ましくは事前に記録される。設定点画像は、選択されたクラスに対応する前記ビューを得るために、患者上の超音波プローブＳＥＣＨの位置及び／又は向きの設定点を示す。したがって、オペレータは、このようなビューを取得する際に有利に誘導され、支援される。同じディスプレイＡＦＦ上で、彼らは、撮影しなければならないビューの例、これを実現するためのプローブの位置と方向を見ることができる。最後に、オペレータは、品質インジケータ１３によって、取得したビューが十分に良い品質であるか否かをリアルタイムで見ることができ、信頼度インジケータによって、取得された画像の品質に対する自分の動作の影響を有利に見ることができる。

【0101】

最後に、オペレータが満足できる品質の画像を見つけたら、オペレータは、十分な品質の画像を取得するためにプローブを保持しなければならない時間を表す時間インジケータ１２によってリアルタイムで支援される。時間インジケータ１２を視覚化することによって、オペレータはまた、第１シーケンス２０がその位置を維持することによって記録されることを保証される。

【0102】

第１シーケンスが記録又は検証されると、この方法は、上述のビューの１つのような、心臓の特定ビューを表すクラスの中から第２クラスを自動的に選択することを含み得る。繰り返しになるが、前記第２クラスが選択されると、第２事前記録ターゲット画像の表示及び超音波ビューを示す第２事前記録超音波画像の表示が自動的に生成される。

【0103】

一実施形態によれば、この方法は、進行インジケータ１８を生成及び表示することをさらに含む。進行インジケータは、記録されたシーケンスの数を表すことができる。例えば、進行インジケータは、画像のシーケンス２０が本発明の方法に従って自動的に生成及び／又は記録された心臓の特定ビューを表すクラスの数を表す。

【0104】

一実施形態によれば、方法は、記録されたシーケンスを表示することを含み、さらに、前記シーケンスを表示した後にオペレータによる第２手動検証を含む。

【0105】

装置
一態様によれば、本発明に係る装置は、上記のような方法を実現するためのソフトウェア及びハードウェア手段を含む。

【0106】

次に、図２を参照して本発明に係る装置の一実施形態について説明する。

【0107】

本発明に係る装置は、受信器ＲＥＣを含む。受信器ＲＥＣは、超音波プローブＳＥＣＨによって取得された超音波画像１１を連続的かつリアルタイムに受信するように超音波プローブＳＥＣＨに接続されることを意図する。

【0108】

受信器ＲＥＣは、有線又は無線リンク、例えばBluetooth接続、ＷＩ－ＦＩ接続、又は当業者に知られている任意の他のデータ交換プロトコルによって超音波プローブＳＥＣＨに接続することができる。

【0109】

受信器ＲＥＣは、受信した画像を一時的に記憶するための１つ以上のメモリを含むか、又はこれに関連付けられてもよい。受信器ＲＥＣは、取得した超音波画像１１をディスプレイＡＦＦに送信するために、ディスプレイＡＦＦに直接又は間接的に接続される。

【0110】

装置は、さらに、上述したような分類器ＣＬＡＳＳを実現するための手段を含む。分類器は、超音波画像１１を受信し、リアルタイムでクラス１４を超音波画像に関連付け、リアルタイムで品質インジケータ１３を生成するように構成される。分類器は、ディスプレイＡＦＦに直接又は間接的に接続され、生成されたインジケータをディスプレイＡＦＦに送信する。

【0111】

別の方法によれば、分類器は、リモートサーバなどのリモート電子機器によって実現される。この場合、装置は、データを送信し、処理された、すなわち、分類されたデータの結果を検索するために、リモート機器とデータを交換するインターフェースを含む。

【0112】

最後に、本発明では、分類が部分的にリモート機器によって実現される場合、本発明の装置は、一方では、本出願に記載されたローカル装置と、分類機能を実現することを可能にするリモート手段とを含むシステムであると解釈することができる。

【0113】

装置は、さらに、本発明による方法のステップの少なくとも一部を実行するためのメモリに関連付けられた少なくとも１つのプロセッサ又は演算器ＣＡＬＣを含む。例えば、前記プロセッサは、分類のステップ２００を実行し、品質インジケータの表示３００及び時間インジケータの表示５００を生成し、及び／又は画像のシーケンス２０を自動的に記録する３００ように構成することができる。前記プロセッサは、時間インジケータ１２をディスプレイＡＦＦに送信するために、ディスプレイＡＦＦに接続され得る。

【0114】

また、装置１は、複数のプロセッサを含み、それぞれが１つ以上のメモリに関連付けられ、このようなステップを一緒に実行するように構成することができる。一実施形態では、プロセッサはリモートであり、データネットワークを介してディスプレイに接続され得る。

【0115】

装置は、本発明に係る方法によって生成されたシーケンスを記憶又は記録するためのメモリをさらに含む。一実施形態では、装置は、前記メモリＭＥＭに接続された送信器ＥＭＭをさらに含み、前記メモリＭＥＭに記録された前記シーケンスをデータネットワークに送信する。

【0116】

ディスプレイＡＦＦは、装置の異なる手段ＲＥＣ、ＣＬＡＳＳ、ＰＲＯＣによって受信された異なる情報１１、１３、２１、１２を受信する手段を含み、表示する最終画像を生成する。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-01-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

心臓の超音波画像シーケンスの作成を支援するための装置であって、前記装置（１）に接続された超音波プローブ（ＳＥＣＨ）によって取得された超音波画像（１１）をリアルタイムで受信するように構成され、
・受信した超音波画像（１１）をリアルタイムで分類し、各画像にクラス（１４）を関連付け、前記関連付けられたクラス（１４）の関数として品質インジケータ（１３）を生成するように構成された分類器（ＣＬＡＳＳ）を実装する、第１メモリに関連付けられた第１演算器と、
・受信した超音波画像（１１）をリアルタイムで表示し、最後に生成された品質インジケータ（１３）を表示するディスプレイ（ＡＦＦ）と、
・第２メモリに関連付けられ、次の、
－所定の数の受信画像シーケンスに、所定の割合よりも大きい同じクラスに関連付けられた画像の割合が含まれている場合、第３メモリ（ＭＥＭ）に当該画像シーケンス（２０）を自動的に記録し、
－同じクラスに関連付けられた画像の割合が所定の割合よりも大きい、所定の数の受信画像シーケンスに到達するために受信されるべき残りの画像の数を表す時間インジケータ（１２）をリアルタイムで生成し、ディスプレイに表示する、
の手順を実行するように構成された第２演算器（ＣＡＬＣ）と、
を含む、
装置（１）。

【請求項2】

前記分類器（ＣＬＡＳＳ）は、以下の、
・それぞれが心臓臓器の特定ビューを表す複数のクラス、
・不十分な品質のビューを表す少なくとも１つのクラス、
の中から画像を分類するように構成される、
請求項１に記載の装置（１）。

【請求項3】

前記分類器（ＣＬＡＳＳ）は、教師あり機械学習から構成される学習機能によって実現される、
請求項２に記載の装置（１）。

【請求項4】

前記分類器（ＣＬＡＳＳ）は、一連のラベル付けされた心臓の超音波画像によってトレーニングされたニューラルネットワークによって実現され、前記ラベルは、以下の特性情報、
・特徴的な画角及び／又はサイズを含む臓器の画像のショット、
・画質、及び、
・心臓の画像の一部の存在、及び／又は、
・測定可能な解剖学的形状輪郭の存在、
を含む、
請求項３に記載の装置（１）。

【請求項5】

表示された品質インジケータ（１３）は、色が最後の分類された画像に関連付けられたクラスに応じた色付きインジケータを含む、
請求項１に記載の装置（１）。

【請求項6】

表示された色付きインジケータの少なくとも一つの寸法は、信頼値に対応する、
請求項５に記載の装置（１）。

【請求項7】

表示された時間インジケータ（１２）は、前記時間インジケータの値に応じて内容が変化するゲージを含む、
請求項１に記載の装置（１）。

【請求項8】

請求項１に記載の装置（１）と、
前記装置（１）に接続された超音波プローブ（ＳＥＣＨ）とを備え、前記プローブによって撮像された超音波画像を前記装置に送信することが可能な、システム（２）。

【請求項9】

コンピュータによって実施される超音波画像シーケンスの生成を支援する方法（１０００）であって、
・超音波プローブ（ＳＥＣ）から超音波画像（１１）を受信（１００）して、連続的に表示し、
・受信した超音波画像（１１）をリアルタイムで分類（２００）し、各画像をクラスに関連付け、
・分類された超音波画像に関連付けられたクラス（１４）の関数としての品質インジケータ（１３）を生成し、表示（３００）し、
・所定の数の受信画像シーケンスに、所定の割合よりも大きい同じクラスに関連付けられた画像の割合が含まれている場合、当該画像シーケンス（２０）を自動的にメモリ（ＭＥＭ）に記録（４００）し、
・同じクラスに関連付けられた画像の割合が所定の割合よりも大きい、所定の数の受信画像シーケンスに到達するために受信されるべき残りの画像の数を表す時間インジケータ（１２）をリアルタイムで生成し、表示（５００）する、
方法（１０００）。

【請求項10】

前記受信画像の所定の割合が分類され、前記所定の割合はユーザインタフェースによって制御可能である、請求項９に記載の方法（１０００）。

【請求項11】

前記方法（１０００）は、心臓の特定の第１ビューを表す第１クラスを選択することをさらに含み、前記選択は、以下の、
・選択された前記第１クラスの心臓の第１超音波ビューの画像に対応する第１事前記録画像を表示すること、及び／又は、
・心臓の特定の前記第１ビューをキャプチャするために、患者上の超音波プローブ位置の第１事前記録設定点を表示すること、
を自動的に生成する、
請求項９又は１０に記載の（１０００）。

【請求項12】

請求項９に記載の方法（１０００）のステップを装置に実行させる命令を含むコンピュータプログラム製品。

【請求項13】

請求項１２に記載のコンピュータプログラムが記録されたコンピュータ可読サポート。

【国際調査報告】