特許 7560273 医用画像診断装置及び医用画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-24

(45)【発行日】2024-10-02

(54)【発明の名称】医用画像診断装置及び医用画像処理装置

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240925BHJP

【ＦＩ】

A61B8/14

【請求項の数】 11

(21)【出願番号】P 2020094732

(22)【出願日】2020-05-29

(65)【公開番号】P2021186257

(43)【公開日】2021-12-13

【審査請求日】2023-03-22

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】高田 優子

(72)【発明者】

【氏名】渡辺 正毅

【審査官】永田 浩司

(56)【参考文献】

【文献】特開２０１９－１０７０８４（ＪＰ，Ａ）

【文献】特開２０１５－０３７４９１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／０１９３０４８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００ － ８／１５

Ｇ０６Ｔ １／００ － ７／００

(57)【特許請求の範囲】

【請求項1】

被検体を撮影して前記被検体に関する超音波画像データを取得する取得部と、
前記超音波画像データから、ユーザにより設定可能な第１の画質条件に基づいて観察用医用画像を生成し、前記観察用医用画像の生成に用いられた前記超音波画像データから、画像解析を行う学習済みモデルに対応する第２の画質条件に基づいて解析用医用画像を生成する生成部と、
前記解析用医用画像に前記学習済みモデルを適用することで、前記解析用医用画像の画像解析を行う解析部と、
前記観察用医用画像と、前記解析用医用画像に前記画像解析の結果が重畳された画像とを表示する表示部と、
を具備する医用画像診断装置。

【請求項2】

前記生成部は、前記ユーザにより前記第１の画質条件が更新された場合、更新された第１の画質条件に基づいて新たな観察用医用画像を生成する、請求項１に記載の医用画像診断装置。

【請求項3】

前記観察用医用画像及び前記解析用医用画像を表示する形式に関する表示モードを、複数の表示モードから決定する決定部をさらに具備する請求項１又は請求項２に記載の医用画像診断装置。

【請求項4】

前記表示部は、前記決定部により、前記複数の表示モードのうち、前記観察用医用画像及び前記解析用医用画像を切り替えて表示する第１の表示モードが決定された場合、
前記ユーザからの画像の切り換え指示に応じて、前記観察用医用画像及び前記解析用医用画像を切り換えて表示する、請求項３に記載の医用画像診断装置。

【請求項5】

前記表示部は、前記決定部により、前記複数の表示モードのうち、前記観察用医用画像及び前記解析用医用画像を並列して表示する第２の表示モードが決定された場合、
前記観察用医用画像及び前記解析用医用画像を並列して表示する、請求項３に記載の医用画像診断装置。

【請求項6】

前記表示部は、前記画像解析の結果を、前記画像解析が行われていない他方の医用画像に重畳表示する、請求項１から請求項５のいずれか１項に記載の医用画像診断装置。

【請求項7】

前記画像解析の結果に対して演算処理する演算部をさらに具備し、
前記生成部は、単数の前記観察用医用画像及び複数の前記解析用医用画像を生成し、
前記解析部は、前記複数の解析用医用画像のそれぞれに対して画像解析を行い、
前記演算部は、それぞれの画像解析の結果を総合する演算処理をし、
前記表示部は、前記演算部により演算された結果を前記単数の観察用医用画像に重畳表示する、請求項６に記載の医用画像診断装置。

【請求項8】

前記表示部は、前記演算部により、前記それぞれの画像解析の結果の論理積又は論理和を演算処理して、前記論理積又は論理和を前記単数の観察用医用画像に重畳表示する、請求項７に記載の医用画像診断装置。

【請求項9】

前記表示部は、前記演算部により、前記それぞれの画像解析の結果の解析確度が閾値以上か否かを演算処理して、前記閾値以上である画像解析の結果を前記単数の観察用医用画像に重畳表示する、請求項７記載に記載の医用画像診断装置。

【請求項10】

前記第１の画質条件及び前記第２の画質条件は、ゲイン、ダイナミックレンジ、γカーブ、及びＲＧＢのうち少なくとも１つを含む画質パラメータにより規定される、請求項１から請求項９のいずれか１項に記載の医用画像診断装置。

【請求項11】

前記観察用医用画像及び前記解析用医用画像にそれぞれ対応付けられて、前記第１の画質条件及び前記第２の画質条件が記憶される、請求項１から請求項１０のいずれか１項に記載の医用画像診断装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、医用画像診断装置及び医用画像処理装置に関する。

【背景技術】

【0002】

医用画像診断装置は、画像データに関してゲイン、ダイナミックレンジ、γカーブ、及びＲＧＢ等の各種画質パラメータをそれぞれ所定の値に設定する。医用画像診断装置は、各種画質パラメータにより規定される画質条件に基づいて、医用画像を生成して表示する。

【0003】

医用画像診断装置には、例えば、表示機器上に表示される医用画像（観察用画像とも呼ぶ）に各種画像解析を施すための画像解析アプリケーションが内蔵されるものがある。画像解析には、例えば、医用画像上でユーザが指定した関心領域（Region Of Interest：ROI）に含まれる特定の構造物を抽出するものがある。このような構造物抽出を含む画像解析は、例えば、深層学習（Deep Learning）により訓練された学習済みモデルを医用画像に適用することで実現可能である。ここで、学習済みモデルによる画像解析の精度を保証するためには、所定の画質条件に固定された多数の医用画像を学習データとして学習モデルを訓練する必要がある。これに伴い、解析される医用画像（解析用画像とも呼ぶ）を上述の学習データを用いて訓練された学習済みモデルを用いて解析する場合は、解析用画像の画質条件を学習データと同一の画質条件に固定する必要がある。

【0004】

したがって、上記の医用画像診断装置では、観察用画像に対して画像解析を行う場合（すなわち、観察用画像と解析用画像とが同一である場合）、観察用画像は画像解析に用いる学習済みモデルの訓練時の画質条件と同一の画質条件に固定されて表示されるため、医療従事者等のユーザが普段見慣れた画質とは大きく異なることがある。また、解析対象となる観察用画像の画質条件をユーザが自由に変更した場合、変更後のそれぞれの画質条件において、学習済みモデルによる画像解析の精度検証が必要となる。よって、精度検証に要する作業負荷を省くため、上記の医用画像診断装置では、ユーザが解析対象となる観察用画像の画質条件を自由に変更できない仕様とすることが多い。これにより、例えば、ユーザは所望の画質条件で観察用画像を観察することが出来ない上に、観察用画像上に表示された画像解析の結果を正当に評価しにくい。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００９－１７９９１号公報

【文献】特開２０１５－８８３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、学習済みモデルによる画像解析を医用画像に行う際に、ユーザが普段見慣れている画質で医用画像を表示可能とすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0007】

本実施形態に係る医用画像診断装置は、取得部と、生成部と、表示部とを具備する。取得部は、被検体を撮影して前記被検体に関する画像データを取得する。生成部は、前記画像データから、ユーザにより設定可能な第１の画質条件に基づいて第１の医用画像を生成し、画像解析を行う学習済みモデルの訓練に使用された第２の画質条件に基づいて第２の医用画像を生成する。表示部は、前記第１の医用画像及び前記第２の医用画像を対応付けて表示可能とする。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係る超音波診断装置の構成を示す図。

【図2】第１の実施形態に係る超音波診断装置の動作を示す図。

【図3】シングル表示モードにおける観察用画像の表示形式を示す図。

【図4】シングル表示モードにおける解析用画像の表示形式を示す図。

【図5】デュアル表示モードにおける観察用画像及び解析用画像の表示形式を示す図。

【図6】第１の実施形態に係る超音波診断装置の別の動作を示す図。

【図7】クアッド表示モードにおける観察用画像及び解析用画像の表示形式を示す図。

【図8】クアッド表示モードにおける観察用画像及び解析用画像の別の表示形式を示す図。

【図9】第２の実施形態に係る医用画像処理装置の構成を示す図。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本実施形態に係る医用画像診断装置及び医用画像処理装置について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜、省略する。以下、医用画像診断装置の一例として、超音波診断装置を例に説明するが、これに限らない。例えば、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ(Magnetic Resonance Imaging)装置、核医学診断装置、及びＸ線診断装置等の各種医用画像診断装置にも本実施形態に係る構成が適用可能である。

【0010】

（第１の実施形態）
第１の実施形態に係る超音波診断装置の構成について図１を参照して説明する。図１は、第１の実施形態に係る超音波診断装置１の構成例を示すブロック図である。図１に示されるように、超音波診断装置１は、本体装置１０及び超音波プローブ３０を含む。本体装置１０は、ネットワーク１００を介して外部装置４０と接続される。また、本体装置１０は、表示機器５０及び入力装置６０と接続される。

【0011】

超音波プローブ３０は、複数の超音波振動子（以下、単に素子とも呼ぶ）、素子に設けられる整合層、及び素子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ３０は、本体装置１０と着脱自在に接続される。なお、超音波プローブ３０は、被検体Ｐに接地して使用される。

【0012】

図１に示される本体装置１０は、超音波プローブ３０が受信した反射波信号に基づいて超音波画像を生成する装置である。本体装置１０は、図１に示すように、超音波送信回路１１、超音波受信回路１２、Ｂモード処理回路１３、ドプラ処理回路１４、３次元処理回路１５、表示処理回路１６、内部記憶回路１７、画像メモリ１８（シネメモリ）、画像データベース１９、入力インタフェース回路２０、通信インタフェース回路２１、及び制御回路２２を含む。

【0013】

超音波送信回路１１は、超音波プローブ３０に駆動信号を供給するプロセッサである。超音波送信回路１１は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等により実現される。トリガ発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ３０から発生される超音波をビーム状に集束して送信指向性を決定するために必要な素子毎の送信遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ３０に駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える送信遅延時間を変化させることで、素子面からの送信方向が任意に調整可能となる。

【0014】

超音波受信回路１２は、超音波プローブ３０が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路１２は、例えば、アンプ回路、Ａ／Ｄ変換器、受信遅延回路、及び加算器等により実現される。アンプ回路は、超音波プローブ３０が受信した反射波信号をチャンネル毎に増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な受信遅延時間を与える。加算器は、受信遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。

【0015】

Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に基づき、Ｂモードデータを生成するプロセッサである。Ｂモード処理回路１３は、超音波受信回路１２から受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度が輝度の明るさで表現されるデータ（以下、Ｂモードデータ）を生成する。生成されたＢモードデータは、超音波走査線上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。なお、ＢモードＲＡＷデータは、後述の内部記憶回路１７に記憶されてもよい。

【0016】

ドプラ処理回路１４は、超音波受信回路１２から受け取った受信信号に基づき、ドプラ波形、及びドプラデータを生成するプロセッサである。ドプラ処理回路１４は、受信信号から血流信号を抽出し、抽出した血流信号からドプラ波形を生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ（以下、ドプラデータ）を生成する。

【0017】

３次元処理回路１５は、Ｂモード処理回路１３、及びドプラ処理回路１４により生成されたデータに基づき、２次元の画像データ又は３次元の画像データ（以下、ボリュームデータともいう）を生成可能なプロセッサである。３次元処理回路１５は、ＲＡＷ－ピクセル変換を実行することで、ピクセルから構成される２次元画像データを生成する。

【0018】

また、３次元処理回路１５は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに対し、空間的な位置情報を加味した補間処理を含むＲＡＷ－ボクセル変換を実行することで、所望の範囲のボクセルから構成されるボリュームデータを生成する。３次元処理回路１５は、発生したボリュームデータに対してレンダリング処理を施し、レンダリング画像データを生成する。以下、ＢモードＲＡＷデータ、２次元画像データ、ボリュームデータ及びレンダリング画像データを総称して超音波データとも呼ぶ。

【0019】

表示処理回路１６は、３次元処理回路１５において発生された各種画像データに対し、ゲイン、ダイナミックレンジ、及びγカーブに関する補正、並びにＲＧＢ変換等の各種処理を実行することで、画像データを表示用データ（例えばビデオ信号）に変換する。表示処理回路１６は、表示用データに基づく医用画像を生成し、表示機器５０に生成した医用画像を表示させる。なお、表示処理回路１６は、操作者が入力インタフェース回路２０により各種指示を入力するためのユーザインタフェース（ＧＵＩ：Graphical User Interface）を生成し、ＧＵＩを表示機器５０に表示させてもよい。表示機器５０としては、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜、利用可能である。

【0020】

内部記憶回路１７は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。内部記憶回路１７は、超音波送受信を実現するための制御プログラム、画像処理を行うための制御プログラム、及び表示処理を行なうための制御プログラム等を記憶している。また、内部記憶回路１７は、例えば、診断情報（例えば、被検体ＩＤ、医師の所見等）、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位毎に予め設定する変換テーブル等のデータ群を記憶している。また、内部記憶回路１７は、生体内の臓器の構造に関する解剖学図譜、例えば、アトラスを記憶してもよい。

【0021】

本実施形態において、内部記憶回路１７は、各種画像解析を行うための各種学習済みモデルと、各学習済みモデルに対応付けられる訓練時の画質条件とを記憶するものとする。学習済みモデルと画質条件とは、例えば、ＬＵＴ（Look Up Table）形式で対応付けて記憶されてもよい。画質条件は、画像データに関するゲイン、ダイナミックレンジ、γカーブ、及びＲＧＢ等の各種画質パラメータにより規定される。なお、画質パラメータは、数値に限らず、カラーマップのような色の設定を含む。また、内部記憶回路１７は、表示機器５０上で医用画像を表示する際のレイアウトを規定する各種表示モードを実現するための各プログラムを記憶しているものとする。

【0022】

また、内部記憶回路１７は、入力インタフェース回路２０を介して入力される記憶操作に従い、３次元処理回路１５で生成された２次元画像データ、ボリュームデータ、及びレンダリング画像データを記憶する。なお、内部記憶回路１７は、入力インタフェース回路２０を介して入力される記憶操作に従い、３次元処理回路１５で生成された２次元画像データ、ボリュームデータ、及びレンダリング画像データを、操作順番及び操作時間を含めて記憶してもよい。内部記憶回路１７は、記憶しているデータを、通信インタフェース回路２１を介して外部装置４０へ転送することも可能である。

【0023】

画像メモリ１８は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１８は、入力インタフェース回路２０を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ１８に記憶されている画像データは、例えば、連続表示（シネ表示）される。

【0024】

画像データベース１９は、外部装置４０から転送される画像データを記憶する。例えば、画像データベース１９は、外部装置４０に保存される過去の診察において取得された同一被検体に関する過去の医用画像データを受け取って記憶する。過去の医用画像データには、超音波画像データ、ＣＴ画像データ、ＭＲ画像データ、ＰＥＴ（Positron Emission Tomography）－ＣＴ画像データ、ＰＥＴ－ＭＲ画像データ、及びＸ線画像データが含まれる。

【0025】

なお、画像データベース１９は、ＭＯ、ＣＤ－Ｒ、ＤＶＤ等の記憶媒体（メディア）に記録された画像データを読み込むことで、所望の画像データを格納してもよい。

【0026】

入力インタフェース回路２０は、入力装置６０を介して、ユーザからの各種指示を受け付ける。入力装置６０は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、タッチコマンドスクリーン（ＴＣＳ）、及び操作パネル等である。入力インタフェース回路２０は、例えばバスを介して制御回路２２に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を制御回路２２へ出力する。なお、本実施形態において入力インタフェース回路２０は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置１とは別体に設けられた外部の入力装置から入力される操作指示に対応する電気信号を無線信号として受け取り、この電気信号を制御回路２２へ出力する電気信号の処理回路も入力インタフェース回路２０の例に含まれる。例えば、操作者のジェスチャによる指示に対応する操作指示を無線信号として送信できるような外部の入力装置でもよい。

【0027】

通信インタフェース回路２１は、ネットワーク１００を介して外部装置４０と接続され、外部装置４０との間でデータ通信を行う。外部装置４０は、例えば、各種の医用画像のデータを管理するシステムであるＰＡＣＳ（Picture Archiving and Communication Systems）のデータベース、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。また、外部装置４０は、例えば、Ｘ線ＣＴ装置、ＭＲＩ装置、核医学診断装置、及びＸ線診断装置等、本実施形態に係る超音波診断装置１以外の各種医用画像診断装置でもよい。なお、外部装置４０との通信規格は、如何なる規格であってもよいが、例えば、ＤＩＣＯＭ（Digital Imaging and COmmunications in Medicine）が挙げられる。

【0028】

制御回路２２は、例えば、超音波診断装置１の中枢として機能するプロセッサである。制御回路２２は、内部記憶回路１７に記憶されている制御プログラムを実行することで、当該プログラムに対応する機能を実現する。具体的には、制御回路２２は、取得機能１０１、生成機能１０２、解析機能１０３、演算機能１０４、決定機能１０５、及び表示機能１０６を実行する。

【0029】

取得機能１０１を実行することで、制御回路２２は、被検体を撮影して被検体に関する画像データを取得する。
生成機能１０２を実行することで、制御回路２２は、画像データから、ユーザにより設定可能な第１の画質条件に基づいて第１の医用画像を生成し、画像解析を行う学習済みモデルの訓練に使用された第２の画質条件に基づいて第２の医用画像を生成する。
解析機能１０３を実行することで、制御回路２２は、第１の医用画像及び第２の医用画像のうち少なくともどちらか一方に対して、第２の画質条件で訓練された学習済みモデルを適用することで画像解析を行う。
演算機能１０４を実行することで、制御回路２２は、画像解析の結果に対して演算処理する。
決定機能１０５を実行することで、制御回路２２は、第１の医用画像及び第２の医用画像を表示する形式に関する表示モードを、複数の表示モードから決定する。
表示機能１０６を実行することで、制御回路２２は、第１の医用画像及び第２の医用画像を対応付けて表示可能とする。また、表示機能１０６は、画像解析の結果を、画像解析が行われた医用画像に重畳表示する。また、表示機能１０６は、一方の医用画像に対する画像解析の結果を、画像解析が行われていない他方の医用画像に重畳表示する。

【0030】

なお、取得機能１０１、生成機能１０２、解析機能１０３、演算機能１０４、決定機能１０５、及び表示機能１０６は、制御プログラムとして組み込まれていてもよいし、制御回路２２自体又は本体装置１０に、各機能を実行可能な専用のハードウェア回路が組み込まれていてもよい。

【0031】

制御回路２２は、これら専用のハードウェア回路を組み込んだ特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Logic Device：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、又は単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により実現されてもよい。

【0032】

第１の実施形態に係る超音波診断装置の動作について図２を参照して説明する。図２は、第１の実施形態に係る超音波診断装置１の動作例を示すフロー図である。なお、本動作例は、後述する図３－図５のシングル表示モードやデュアル表示モードにおいて観察用画像や解析用画像を表示するための動作例である。

【0033】

ステップＳ２０１において、制御回路２２は、被検体の画像データを取得する。具体的には、制御回路２２は取得機能１０１を実行することで、被検体を撮影して前記被検体に関する画像データを取得する。なお、制御回路２２は、画像データベース１９に記憶されている画像データを取得してもよい。取得される画像データは、３次元処理回路１５で生成される２次元画像データ、ボリュームデータ、又はレンダリング画像データであり、所定の画像フォーマットで内部記憶回路１７に記憶される。画像フォーマットは、例えば、ＪＰＥＧ、ＰＮＧ、ＧＩＦ、ＳＶＧ、ＴＩＦＦ、ＤＩＣＯＭ等を含む。なお、画像データとしては、リアルタイムで取得された複数のフレームであってもよいし、単数のフレームであってもよい。

【0034】

ステップＳ２０２において、制御回路２２は、観察用画像及び解析用画像を生成する。具体的には、制御回路２２は生成機能１０２を実行することで、画像データから、ユーザにより設定可能な画質条件に基づいて観察用画像を生成し、画像解析を行う学習済みモデルの訓練に使用された画質条件に基づいて解析用画像を生成する。制御回路２２は、例えば、ユーザが操作パネル等の入力装置６０を介して入力した指示を受け付けて、観察用画像の画質条件を設定すればよい。また、制御回路２２は、内部記憶回路１７に記憶される学習済みモデルに対応付けられる訓練時の画質条件に基づいて、解析用画像の画質条件を設定すればよい。また、解析用画像の画質条件を規定する画質パラメータの一部（例えば、ゲイン）は、ユーザ入力により変更されてもよい。なお、ユーザにより観察用画像の画質条件が更新された場合、更新された画質条件に基づいて新たな観察用画像を生成してもよい。生成された観察用画像及び解析用画像は、ステップＳ２０１と同様な画像フォーマットで内部記憶回路１７に記憶される。このとき、観察用画像及び解析用画像にそれぞれ対応付けられて、観察用画像の画質条件及び解析用画像の画質条件が内部記憶回路１７に記憶される。

【0035】

なお、観察用画像及び解析用画像は、それぞれ少なくとも１枚生成されればよい。例えば、観察用画像に関しては、ユーザが複数の異なる画質条件を設定した場合、それぞれの画質条件に基づく複数の観察用画像が生成されてもよい。解析用画像に関しては、複数の異なる学習済みモデルに対応付けられる、それぞれの学習済みモデルの訓練時の画質条件に基づいて複数の解析用画像が生成されてもよい。

【0036】

なお、ステップＳ２０２において、制御回路２２は、取得された画像データからユーザが設定した画質条件に基づいて観察用画像を生成したが、これに限らない。例えば、ステップＳ２０１において、制御回路２２は、ユーザが設定した超音波の送受信等に係るパラメータに基づいて、観察用画像のための画像データを取得してもよい。ひいては、当該画像データに基づいて観察用画像を生成してもよい。これにより、画質パラメータの調整では困難な、観察用画像の画質の調整が可能となる。

【0037】

ステップＳ２０３において、制御回路２２は、画像解析を行う。具体的には、制御回路２２は解析機能１０３を実行することで、解析用画像に対して、ステップＳ２０２で解析用画像を生成する際に基づいた学習済みモデルを適用することで画像解析を行う。このとき、制御回路２２は、ユーザが操作パネル等の入力装置６０を介して医用画像に設定した関心領域に限定して、学習済みモデルを適用してもよい。なお、画像解析は、観察用画像に対しても行われてもよい。すなわち、制御回路２２は解析機能１０３を実行することで、観察用画像に対して学習済みモデルを適用し画像解析を行ってもよい。画像解析の結果は、画像解析が行われた医用画像に対応付けられて、内部記憶回路１７に記憶される。

【0038】

ここで、解析用画像の画質条件は、学習済みモデルの訓練に用いられた画質条件と同一であるため、学習済みモデルによる解析用画像に対する画像解析の結果は精度が保証される。一方、観察用画像の画質条件は、学習済みモデルの訓練に用いられた画質条件とは異なる場合がある。しかし、観察用画像に対しても学習済みモデルを適用することで、ユーザは観察用画像に対する画像解析の結果を、解析用画像に対する画像解析の結果と比較することができる。

【0039】

また、画像解析の種類としては、医用画像上に写る病変部や組織、臓器等の特定の構造物を抽出する解析であってもよいが、これに限らない。例えば、特定の構造物の短径や長径の長さの測定、がんのカテゴリ判定等の病変の判定処理等、医用画像に対するその他の目的の解析であってもよい。

【0040】

ステップＳ２０４において制御回路２２は、表示モードを決定する。具体的には、制御回路２２は決定機能１０５を実行することで、観察用画像及び解析用画像を表示する形式に関する表示モードを、複数の表示モードから決定する。複数の表示モードは、例えば、観察用画像及び表示用画像を切り替えて表示するシングル表示モードと、観察用画像及び表示用画像を並列して表示するデュアル表示モード及びクアッド表示モードとを含む。なお、シングル表示モードにおいては１枚の医用画像が表示され、デュアル表示モードにおいては、最大で２枚の医用画像が表示され、クアッド表示モードでは、最大で４枚の医用画像が表示される。

【0041】

なお、制御回路２２は、例えば、ユーザが操作パネル等の入力装置６０を介して入力した指示を受け付けて表示モードを決定してもよいし、予め初期設定（デフォルト）として設定されている表示モードを決定してもよい。

【0042】

ステップＳ２０５において、制御回路２２は、観察用画像や解析用画像を表示する。具体的には、制御回路２２は表示機能１０６を実行することで、観察用画像及び解析用画像を対応付けて表示可能とする。このとき、表示モードごとに規定される各レイアウトに基づいて、観察用画像や解析用画像を表示機器５０に表示する。さらに、ステップＳ２０３における画像解析の結果を、観察用画像や解析用画像に重畳して表示する。例えば、画像解析の結果を、画像解析が行われた医用画像に重畳表示してもよい。また、一方の医用画像に対する画像解析の結果を、画像解析が行われていない他方の医用画像に重畳表示してもよい。

【0043】

以下、ステップＳ２０１－Ｓ２０５の一連の動作を超音波診断装置１が実行した結果として、シングル表示モード及びデュアル表示モードにおける観察用画像及び解析用画像の表示形式を図３－図５に示す。なお、適用される学習済みモデルとして、特定の構造物を抽出する学習済みモデルを例に説明する。また、観察用画像及び解析用画像の一例である観察用画像３１０及び解析用画像３２０は、同一のファントムを超音波撮影することで取得された同一の画像データに基づいて、それぞれ異なる画質条件で生成されたものである。なお、実際には観察用画像３１０及び解析用画像３２０は、リアルタイムでフレームが更新されて表示される。

【0044】

シングル表示モードにおける観察用画像の表示形式について図３を参照して説明する。図３は、シングル表示モードにおける観察用画像の表示例を示す模式図である。
図３では、表示機器５０に観察用画像３１０が表示される。具体的には、図４の解析用画像３２０の関心領域３２１において学習済みモデルを適用した結果である検出領域３２２が、解析が行われていない観察用画像３１０に検出領域３１２として重畳表示される。なお、観察用画像３１０の関心領域３１１と、解析用画像３２０の関心領域３２１とは同一に設定されている。ここでは、検出領域３１２は、円形の構造物を抽出した結果であり、抽出された構造物を囲むような枠で表される。また、ユーザが設定した画質パラメータの一部として、例えば、ゲイン「Ｇ：８０」、ダイナミックレンジ「ＤＲ：７０」が、観察用画像３１０の近傍に付随して表示される。また、観察用画像３１０の表示中において、ユーザは例えば、操作パネル等の入力装置６０に設けられた切り替えボタンを押下することで、超音波診断装置１は、図４に示す解析用画像３２０に切り替えて表示する。

【0045】

シングル表示モードにおける解析用画像の表示形式について図４を参照して説明する。図４は、シングル表示モードにおける解析用画像の表示例を示す模式図である。
図４では、表示機器５０に解析用画像３２０が表示される。具体的には、解析用画像３２０の関心領域３２１において学習済みモデルを適用した結果である検出領域３２２が、解析が行われた解析用画像３２０に重畳表示される。また、ユーザが設定した画質パラメータの一部として、ゲイン「Ｇ：８０」が、解析用に自動で固定された画質パラメータの一部として、ダイナミックレンジ「ＤＲ：８０」が、解析用画像３２０の近傍に付随して表示される。また、解析用画像３２０の表示中において、ユーザは例えば、操作パネル等の入力装置６０に設けられた切り替えボタンを押下することで、超音波診断装置１は、図３に示す観察用画像３１０に切り替えて表示する。

【0046】

このように、シングル表示モードでは、観察用画像と解析用画像とを切り替えて表示することで、いずれかの医用画像が表示機器に表示される。よって、１枚の医用画像を画面上の比較的大きな領域を用いて表示できる。また、ユーザが解析結果に疑問がある場合等に観察用画像から解析用画像に切り換えて表示することで、解析用画像がどのように描画されるかを容易に確認できる。また、解析用画像に表示される検出領域は、学習済みモデルの適用に適した画質条件の解析用画像に基づく解析結果である。よって、ユーザが見やすい観察用画像上に、解析用画像上で検出された高精度な検出領域を重畳表示できる。さらに、観察用画像及び解析用画像を画面上の同一の位置に同一の大きさで表示すれば、切り替えた際に観察用画像及び解析用画像の画質の違いや、検出領域の位置や大きさの違いを容易に比較することができる。また、観察用画像及び解析用画像の画質条件を規定する一部の画質パラメータを数値として付随して表示することで、定量的に画質の違いを比較することができる。

【0047】

デュアル表示モードにおける観察用画像及び解析用画像の表示形式について図５を参照して説明する。図５は、デュアル表示モードにおける観察用画像及び解析用画像の表示例を示す模式図である。
図５では、表示機器５０に観察用画像３１０及び解析用画像３２０が表示される。具体的には、図３に示す観察用画像３１０を含む画面構成が左側に、図４に示す解析用画像３２０を含む画面構成が右側に並列されて表示される。なお、図５では観察用画像３１０及び解析用画像３２０がお互いに１つの辺で隣接しており、画質パラメータを含む付随情報は隣接部と反対側に配置される。なお、観察用画像３１０及び解析用画像３２０は、お互いに左右を入れ替えてもよいし、上下に並列して表示してもよい。

【0048】

なお、図５では観察用画像３１０の検出領域３１２は非表示に設定されているが、これに限らない。例えば、観察用画像３１０の関心領域３１１を非表示に設定してもよい。

【0049】

このように、デュアル表示モードでは、観察用画像と解析用画像とを並列して表示することで、２枚の医用画像が表示機器に表示される。すなわち、２枚の医用画像を同一の画面上に表示できる。また、観察用画像と解析用画像とを切り換えずに、同一の画面上で解析用画像及び解析用画像がどのように描画されるかを容易に確認できる。また、観察用画像の関心領域や検出領域を非表示に設定することで、ユーザが観察用画像を読影しやすい状態にできる。さらに、同一の画面上で観察用画像及び解析用画像の画質の違いや、検出領域の位置や大きさの違いを容易に比較することができる。また、観察用画像及び解析用画像の画質条件を規定する一部の画質パラメータを数値として付随して表示することで、定量的に画質の違いを比較することができる。

【0050】

第１の実施形態に係る超音波診断装置の別の動作について図６を参照して説明する。
図６は、第１の実施形態に係る超音波診断装置の別の動作例を示すフロー図である。なお、本動作例は、後述する図７－図８のクアッド表示モードにおいて観察用画像や解析用画像を表示するための動作例である。

【0051】

ステップＳ６０１において、制御回路２２は、被検体の画像データを取得する。ステップＳ６０１の動作は、ステップＳ２０１の動作と同様である。

【0052】

ステップＳ６０２において、制御回路２２は、観察用画像及び解析用画像を生成する。具体的には、制御回路２２は、単数の観察用画像及び複数の解析用画像を生成する。

【0053】

ステップＳ６０３において、制御回路２２は、画像解析を行う。具体的には、制御回路２２は、複数の解析用画像のそれぞれに対して画像解析を行う。

【0054】

ステップＳ６０４において、制御回路２２は、演算処理を行う。具体的には、制御回路２２は演算機能１０４を実行することで、それぞれの画像解析の結果を総合する。演算処理として、例えば、それぞれの画像解析の結果の論理積（ＡＮＤ）又は論理和（ＯＲ）を演算してもよい。また、それぞれの画像解析の結果の解析確度が閾値以上か否かを演算してもよい。なお、演算処理の結果は、内部記憶回路１７に記憶される。

【0055】

ステップＳ６０５において、制御回路２２は、表示モードを決定する。ステップＳ６０５の動作は、ステップＳ２０４の動作と同様である。

【0056】

ステップＳ６０６において、制御回路２２は、観察用画像や解析用画像を表示する。さらに、制御回路２２は、演算された結果を単数の観察用画像に重畳表示する。また、制御回路２２は、解析確度が閾値以上である画像解析の結果を単数の観察用画像に重畳表示してもよい。

【0057】

クアッド表示モードにおける観察用画像及び解析用画像の表示形式について図７を参照して説明する。図７は、クアッド表示モードにおける観察用画像及び解析用画像の表示例を示す模式図である。なお、図７－図８に示すクアッド表示モードでは、観察用画像が１枚生成され、解析用画像が３枚生成されているものとする。また、各解析用画像の画質条件及び適用される学習済みモデルは、解析用画像ごとに異なるものとする。なお、観察用画像及び解析用画像の総数が４枚に満たない場合でもクアッド表示モードにより表示可能であるが、この場合、医用画像が存在しない領域には何も表示しないようにしてもよい。

【0058】

図７では、左上に観察用画像３１０、右上に解析用画像３２０、右下に解析用画像３３０、左下に解析用画像３４０が表示される。各解析用画像では、異なる構造物を抽出する異なる画像解析が行われた結果として、それぞれに検出領域が重畳表示される。具体的には、解析用画像３２０では、円形の構造物を検出する学習済みモデルを関心領域３２１に適用した結果が、検出領域３２２として重畳表示される。解析用画像３３０では、四角形の構造物を検出する学習済みモデルを関心領域３３１に適用した結果が、検出領域３３２として重畳表示される。解析用画像３４０では、三角形の構造物を検出する学習済みモデルを関心領域３４１に適用した結果が、検出領域３４２として重畳表示される。これら異なる画像解析のそれぞれの結果の論理和（ＯＲ）が演算されて、観察用画像３１０に重畳表示される。なお、観察用画像３１０の関心領域３１１と、解析用画像３２０の関心領域３２１と、解析用画像３３０の関心領域３３１と、解析用画像３４０の関心領域３４１とは全て同一に設定されている。

【0059】

なお、検出領域３２２、検出領域３３２、及び検出領域３４２はそれぞれ異なる色や異なる枠線の形態（例えば実線、破線、点線）等によって区別して表示されてもよく、観察用画像３１０で重畳されたときに識別できればよい。

【0060】

クアッド表示モードにおける観察用画像及び解析用画像の別の表示形式について図８を参照して説明する。図８は、クアッド表示モードにおける観察用画像及び解析用画像の別の表示例を示す模式図である。なお、図７では、異なる構造物を抽出する異なる学習済みモデルを適用したが、図８では、同一の構造物を抽出する異なる学習済みモデルを適用する点が異なる。

【0061】

図８では、左上に観察用画像３１０、右上に解析用画像３２０、右下に解析用画像３３０、左下に解析用画像３４０が表示される。各解析用画像では、同一の構造物を抽出する異なる画像解析が行われた結果として、それぞれに検出領域が重畳表示される。具体的には、解析用画像３２０では、円形の構造物を検出する学習済みモデルを関心領域３２１に適用した結果が、検出領域３２２として重畳表示される。解析用画像３３０では、円形の構造物を検出する学習済みモデルを関心領域３３１に適用した結果が、検出領域３３２として重畳表示される。解析用画像３４０では、円形の構造物を検出する学習済みモデルを関心領域３４１に適用した結果が、検出領域３４２として重畳表示される。これら異なる画像解析のそれぞれの結果の論理積（ＡＮＤ）が演算されて、観察用画像３１０に検出領域３１２として重畳表示される。

【0062】

なお、観察用画像３１０の検出領域３１２は３つの解析手法の結果のＡＮＤだが、これに限らない。例えば、各検出領域の重複領域のうち、全ての解析手法の結果において構造物を包含している確度が所定の閾値以上の領域をＡＮＤの領域としてもよい。当該閾値は、プリセットから選択してもよい。また、３つの解析手法のうち２つの解析手法で閾値を超えた領域も含める等、ＡＮＤの取り方を軟化させてもよい。また、ユーザが３つの解析手法の解析結果を比較しながら、ＡＮＤをとるべき解析手法を３つの解析手法のうちから任意で選択してもよい。

【0063】

このように、クアッド表示モードでは、観察用画像と解析用画像とを並列して表示することで、４枚の医用画像が表示機器に表示される。すなわち、４枚の医用画像を同一の画面上に表示できる。また、観察用画像と解析用画像とを切り換えずに、解析用画像及び解析用画像がどのように描画されるかを同一の画面上で容易に確認できる。さらに、同一の画面上で観察用画像及び解析用画像の画質の違いや、検出領域の位置や大きさの違いを容易に比較することができる。また、観察用画像及び解析用画像の画質条件を規定する一部の画質パラメータを数値として付随して表示することで、定量的に画質の違いを比較することができる。さらに、複数の解析用画像それぞれで異なる解析を行った結果を演算処理して、１枚の観察用画像に重畳して表示することができる。これにより、ユーザが見やすい観察用画像上に、高精度な演算結果を重畳表示できる。

【0064】

（その他変形例）
以上、各表示モードにおける観察用画像及び解析用画像の表示形式を示したが、これに限らない。例えば、ゲインやダイナミックレンジ以外の画質パラメータとして、γカーブ、及びＲＧＢ等を観察用画像や解析用画像に付随して表示してもよい。これにより、観察用画像及び解析用画像それぞれの画質条件の違いを、ユーザが医用画像とともに表示機器の画面上で比較することができる。

【0065】

また、観察用画像及び解析用画像に対応するカラーバーを付随して表示することで、観察用画像及び解析用画像のカラーマップに関する画質条件の違いを比較することができる。また、表示機器上に表示されない一部の画質パラメータを操作パネル上で表示すれば、当該画質パラメータによる観察用画像及び解析用画像の画質条件の違いを操作パネル上で比較することができる。

【0066】

なお、観察用画像の関心領域と、解析用画像の関心領域は、同一ではなく、異なってもよい。この場合、解析用画像の関心領域は、観察用画像の関心領域を包含する範囲で設定されればよい。これにより、少なくともユーザが設定した観察用画像の関心領域に対して、解析用画像上で画像解析することができる。

【0067】

なお、シングル表示モード、デュアル表示モード、クアッド表示モードを含む各表示モードは、例えば、操作パネル等の入力装置に設けられた切り替えボタンを押下することで切り替え可能としてもよい。もちろん、４枚よりも多い画像を表示する表示モードを設定してもよい。

【0068】

以上説明した第１の実施形態によれば、ユーザが所望する画質条件やレイアウトで観察用画像を観察できる。また、観察用画像と解析用画像とを対応付けて表示することで、各医用画像の画質や解析結果の違いを比較することができる。また、解析用画像の画質条件は１種類に固定されるため、当該画質条件に付いてのみ精度を検証すればよく、精度検証に係る作業負荷を最低限に抑えることができる。なお、解析用画像の画質条件は、解析の精度検証が可能な範囲で複数種類あってもよい。

【0069】

（第２の実施形態）
第２の実施形態に係る医用画像処理装置の構成について図９を参照して説明する。第１の実施形態に係る超音波診断装置では、被検体を超音波撮影して得られた画像データに基づいて、観察用画像及び解析用画像を同時に生成して表示する。第２の実施形態における医用画像処理装置では、被検体を撮影する機構を持たず、画像データを外部装置から取得する点が異なる。第２の実施形態に係る医用画像処理装置は、例えばワークステーションなど解析装置に含まれる場合を想定するが、他の装置に搭載されてもよい。それ以外の点については、超音波診断装置１と同様である。

【0070】

図９は、第２の実施形態に係る医用画像処理装置９の構成例を示すブロック図である。医用画像処理装置９は、制御回路９０、メモリ９１、入力インタフェース回路９２、通信インタフェース回路９３、表示機器９４、入力装置９５、ネットワーク９６、及び外部装置９７を含む。なお、医用画像処理装置９の各構成部は、超音波診断装置１において対応する各構成部と同様な機能を果たすものとし、重複する説明を適宜、省略する。

【0071】

制御回路９０は、例えば、医用画像処理装置９の中枢として機能するプロセッサである。制御回路９０は、メモリ９１に記憶されている制御プログラムを実行することで、当該プログラムに対応する機能を実現する。具体的には、制御回路９０は、取得機能９０１、生成機能９０２、解析機能９０３、演算機能９０４、決定機能９０５、及び表示機能９０６を実行する。

【0072】

取得機能９０１を実行することで、制御回路２２は、被検体に関する画像データを取得する。
生成機能９０２（生成機能１０２に相当）を実行することで、制御回路２２は、画像データから、ユーザにより設定可能な第１の画質条件に基づいて第１の医用画像を生成し、画像解析を行う学習済みモデルの訓練に使用された第２の画質条件に基づいて第２の医用画像を生成する。
解析機能９０３（解析機能１０３に相当）を実行することで、制御回路２２は、第１の医用画像及び第２の医用画像のうち少なくともどちらか一方に対して、第２の画質条件で訓練された学習済みモデルを適用することで画像解析を行う。
演算機能９０４（演算機能１０４に相当）を実行することで、制御回路２２は、画像解析の結果に対して演算処理する。
決定機能９０５（決定機能１０５に相当）を実行することで、制御回路２２は、第１の医用画像及び第２の医用画像を表示する形式に関する表示モードを、複数の表示モードから決定する。
表示機能９０６（表示機能１０６に相当）を実行することで、制御回路２２は、第１の医用画像及び第２の医用画像を対応付けて表示可能とする。また、表示機能９０６は、画像解析の結果を、画像解析が行われた医用画像に重畳表示する。また、表示機能９０６は、一方の医用画像に対する画像解析の結果を、画像解析が行われていない他方の医用画像に重畳表示する。

【0073】

メモリ９１（内部記憶回路１７に相当）は、制御回路９０の各機能を実現するための各プログラムを記憶する。また、ネットワーク９６（ネットワーク１００に相当）を介して外部装置９７（外部装置４０に相当）から取得された画像データを記憶する。

【0074】

入力インタフェース回路９２（入力インタフェース回路２０に相当）は、入力装置９５（入力装置６０に相当）を介して、ユーザからの各種指示を受け付ける。

【0075】

通信インタフェース回路９３（通信インタフェース回路２１に相当）は、ネットワーク９６（ネットワーク１００に相当）を介して外部装置９７と接続され、外部装置９７との間でデータ通信を行う。外部装置９７は、画像データを記憶する。

【0076】

表示機器９４（表示機器５０に相当）は、医用画像を表示する。

【0077】

以上説明した第２の実施形態によれば、外部装置から得た画像データに基づいて、同時に観察用画像及び解析用画像を生成することができる。また、ユーザが所望する画質条件やレイアウトで観察用画像を観察できる。また、観察用画像と解析用画像とを対応付けて表示することで、各医用画像の画質や解析結果の違いを比較することができる。また、解析用画像の画質条件は１種類に固定されるため、当該画質条件に付いてのみ精度を検証すればよく、精度検証に係る作業負荷を最低限に抑えることができる。なお、解析用画像の画質条件は、解析の精度検証が可能な範囲で複数種類あってもよい。

【0078】

以上説明した少なくとも１つの実施形態によれば、学習済みモデルによる画像解析を医用画像に行う際に、ユーザが普段見慣れている画質で医用画像を表示可能とすることができる。

【0079】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0080】

１・・・超音波診断装置、９・・・医用画像処理装置、１０・・・本体装置、１１・・・超音波送信回路、１２・・・超音波受信回路、１３・・・Ｂモード処理回路、１４・・・ドプラ処理回路、１５・・・次元処理回路、１６・・・表示処理回路、１７・・・内部記憶回路、１８・・・画像メモリ、１９・・・画像データベース、２０，９２・・・入力インタフェース回路、２１，９３・・・通信インタフェース回路、２２，９０・・・制御回路、３０・・・超音波プローブ、４０，９７・・・外部装置、５０，９４・・・表示機器、６０，９５・・・入力装置、９１・・・メモリ、９６，１００・・・ネットワーク、１０１，９０１・・・取得機能、１０２，９０２・・・生成機能、１０３，９０３・・・解析機能、１０４，９０４・・・演算機能、１０５，９０５・・・決定機能、１０６，９０６・・・表示機能、３１０・・・観察用画像、３１１，３２１，３３１，３４１・・・関心領域、３１２，３２２，３３２，３４２・・・検出領域、３２０，３３０，３４０・・・解析用画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】