特開 2022-174780 超音波診断装置及び診断支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022174780

(43)【公開日】2022-11-25

(54)【発明の名称】超音波診断装置及び診断支援方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20221117BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021080735

(22)【出願日】2021-05-12

(71)【出願人】

【識別番号】320011683

【氏名又は名称】富士フイルムヘルスケア株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】西浦 朋史

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601EE11

4C601GA18

4C601GA25

4C601JB34

4C601JB40

4C601JC05

4C601JC06

4C601JC09

4C601JC12

4C601JC31

4C601KK01

4C601KK02

4C601KK31

(57)【要約】

【課題】機械学習型検出部に再学習を行わせることなく、マーク表示対象となる病変部候補を柔軟に修正できるようにする。
【解決手段】検出部３３は、機械学習済み検出モデルを用いて、表示フレームデータ（断層画像）に含まれる病変部候補を検出する。除外処理部３４は、検出された病変部候補の特徴ベクトルを除外データベース中の特徴ベクトル群と照合し、検出された病変部候補が除外対象に該当するか否かを判定する。マーク表示制御部３０は、検出された病変部候補が除外対象に該当する場合に、病変部候補を通知するマークの表示を制限する。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習済み検出モデルを有し、超音波画像中の病変部候補を検出する検出部と、
除外対象とする病変部候補ごとにその特徴量が登録されるデータベースと、
前記検出部により検出された病変部候補の特徴量を前記データベースに登録されている特徴量群に対して照合することにより、前記検出された病変部候補が除外対象に該当するか否かを判定する判定部と、
前記検出された病変部候補が除外対象に該当しない場合に前記超音波画像上に前記検出された病変部候補を通知するマークを表示し、前記検出された病変部候補が除外対象に該当する場合に前記マークの表示を制限する表示制御部と、
を含むことを特徴とする超音波診断装置。

【請求項2】

請求項１記載の超音波診断装置において、
前記超音波画像中の病変部候補及び前記超音波画像上のマークを観察したユーザーからの除外指示を受け付ける入力部と、
前記除外指示の対象となった病変部候補の特徴量を前記データベースに登録する登録部と、
を含み、
前記機械学習済み検出モデルを再学習させることなく前記ユーザーによりマーク表示対象となる病変部候補群を修正し得る、
ことを特徴とする超音波診断装置。

【請求項3】

請求項２記載の超音波診断装置において、
前記入力部は、フリーズ状態において、前記除外指示を受け付け、
前記登録部は、前記フリーズ状態において、前記除外指示の対象となった病変部候補の特徴量を前記データベースに登録して前記データベースを更新する、
ことを特徴とする超音波診断装置。

【請求項4】

請求項２記載の超音波診断装置において、
前記入力部は、リアルタイム動作状態において、前記除外指示を受け付け、
前記登録部は、
前記リアルタイム動作状態において、前記除外指示を受け付けたタイミングに基づいて表示済みの１又は複数のフレームデータを特定し、
前記リアルタイム動作状態において、前記１又は複数のフレームデータから病変部候補の特徴量を抽出し、当該特徴量を前記データベースに登録して前記データベースを更新する、
ことを特徴とする超音波診断装置。

【請求項5】

請求項１記載の超音波診断装置において、
前記検出部は、前記病変部候補の特徴量を求める機能を有する、
ことを特徴とする超音波診断装置。

【請求項6】

請求項１記載の超音波診断装置において、
前記検出部とは別に設けられ、前記病変部候補の特徴量を演算する演算部を含む、
ことを特徴とする超音波診断装置。

【請求項7】

請求項１記載の超音波診断装置において、
前記データベースの全部又は一部をクリアする管理部を含む、
ことを特徴とする超音波診断装置。

【請求項8】

請求項７記載の超音波診断装置において、
前記データベースは複数のテーブルを含み、
前記各テーブルに前記特徴量が登録され、
前記管理部は前記複数のテーブルの中からクリアするテーブルを選択する、
ことを特徴とする超音波診断装置。

【請求項9】

機械学習済み検出モデルを用いて、超音波画像中の病変部候補を検出する工程と、
除外対象とする病変部候補ごとにその特徴量をデータベースに登録する工程と、
前記検出された病変部候補の特徴量を前記データベースに登録されている特徴量群に対して照合することにより、前記検出された病変部候補が除外対象に該当するか否かを判定する工程と、
前記検出された病変部候補が除外対象に該当しない場合に前記超音波画像上に前記検出された病変部候補を通知するマークを表示し、前記検出された病変部候補が除外対象に該当する場合に前記マークの表示を制限する工程と、
を含むことを特徴とする診断支援方法。

【請求項10】

情報処理装置において診断支援方法を実行するためのプログラムであって、
機械学習済み検出モデルを用いて、超音波画像中の病変部候補を検出する機能と、
除外対象とする病変部候補ごとにその特徴量をデータベースに登録する機能と、
前記検出された病変部候補の特徴量を前記データベースに登録されている特徴量群に対して照合することにより、前記検出された病変部候補が除外対象に該当するか否かを判定する機能と、
前記検出された病変部候補が除外対象に該当しない場合に前記超音波画像上に前記検出された病変部候補を通知するマークを表示し、前記検出された病変部候補が除外対象に該当する場合に前記マークの表示を制限する機能と、
を含むことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、超音波診断装置及び診断支援方法に関し、特に、検査者に対して病変部候補を通知する技術に関する。

【背景技術】

【0002】

超音波検査においては、被検者の表面に当接されたプローブが被検者の表面に沿って走査される。その走査の過程において、表示器に表示されるリアルタイム断層画像が観察され、その観察を通じて病変部の有無が判断される。病変部が見つかった場合、病変部が詳しく検査される。

【0003】

動的に変化する断層画像上において、一時的に現れる病変部を視覚的に特定することは容易ではない。病変部の特定を支援する技術として、ＣＡＤｅ（Computer Aided Detection）がある。その技術は、例えば、断層画像に含まれる病変部候補を検出し、検出された病変部候補を検査者に通知するものである。例えば、断層画像上に病変部候補を囲むマークが表示される。ＣＡＤｅは、ＣＡＤ（Computer Aided Diagnosis）と共に利用され又はＣＡＤに含まれるものである。ＣＡＤはＣＡＤｘとも表記される。

【0004】

特許文献１には、ＣＡＤ機能を備えたデータ解析システムが開示されている。そのシステムでは、自動検出装置において、特徴ベクトルの演算、特徴ベクトルと学習データの比較、等が行われている。病変部候補の誤認が生じた場合、再学習が実行されている。特許文献１には、再学習を行うことなく、誤認を防止する技術は開示されていない。

【0005】

なお、本願明細書において、病変部は、疾患の可能性がある部位又は精査しておく必要性のある部位を意味する。病変部候補は、検査者による病変部の特定及び診断を支援するために検出された部位を意味する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第５９８２７２６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

機械学習型検出部により病変部候補を検出し、超音波画像と共に病変部候補を通知するマークを表示する超音波診断装置において、マーク表示対象を修正したい場合、機械学習型検出部に再学習を行わせるのが一般的である。しかし、再学習には通常かなりの時間を要する。再学習を容易に行えないことから、被検者、検査目的、医療機関等に応じてマーク表示対象を柔軟に修正したいというニーズを満たせない状況にある。

【0008】

本開示の目的は、機械学習型検出部により病変部候補を検出する超音波診断装置において、マーク表示対象となる病変部候補を柔軟に修正できるようにすることにある。あるいは、本開示の目的は、機械学習型検出部における再学習の必要性を低減できる新しい仕組みを提供することにある。

【課題を解決するための手段】

【0009】

本開示に係る超音波診断装置は、機械学習済み検出モデルを有し、超音波画像中の病変部候補を検出する検出部と、除外対象とする病変部候補ごとにその特徴量が登録されるデータベースと、前記検出部により検出された病変部候補の特徴量を前記データベースに登録されている特徴量群に対して照合することにより、前記検出された病変部候補が除外対象に該当するか否かを判定する判定部と、前記検出された病変部候補が除外対象に該当しない場合に前記超音波画像上に前記検出された病変部候補を通知するマークを表示し、前記検出された病変部候補が除外対象に該当する場合に前記マークの表示を制限する表示制御部と、を含むことを特徴とする。

【0010】

本開示に係る診断支援方法は、機械学習済み検出モデルを用いて、超音波画像中の病変部候補を検出する工程と、除外対象とする病変部候補ごとにその特徴量をデータベースに登録する工程と、前記検出された病変部候補の特徴量を前記データベースに登録されている特徴量群に対して照合することにより、前記検出された病変部候補が除外対象に該当するか否かを判定する工程と、前記検出された病変部候補が除外対象に該当しない場合に前記超音波画像上に前記検出された病変部候補を通知するマークを表示し、前記検出された病変部候補が除外対象に該当する場合に前記マークの表示を制限する工程と、を含むことを特徴とする。

【0011】

本開示に係るプログラムは、情報処理装置において診断支援方法を実行するためのプログラムであって、機械学習済み検出モデルを用いて、超音波画像中の病変部候補を検出する機能と、除外対象とする病変部候補ごとにその特徴量をデータベースに登録する機能と、前記検出された病変部候補の特徴量を前記データベースに登録されている特徴量群に対して照合することにより、前記検出された病変部候補が除外対象に該当するか否かを判定する機能と、前記検出された病変部候補が除外対象に該当しない場合に前記超音波画像上に前記検出された病変部候補を通知するマークを表示し、前記検出された病変部候補が除外対象に該当する場合に前記マークの表示を制限する機能と、を含むことを特徴とする。

【発明の効果】

【0012】

本開示によれば、機械学習型検出部により病変部候補を検出する超音波診断装置において、マーク表示対象となる病変部候補を柔軟に修正できる。あるいは、本開示によれば、機械学習型検出部における再学習の必要性を低減できる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る超音波診断装置の構成を示すブロック図である。

【図2】マーク生成方法を説明するための図である。

【図3】画像解析部の第１構成例を示す図である。

【図4】第1動作例を模式的に示す図である。

【図5】第１動作例を示すフローチャートである。

【図6】第２動作例を模式的に示す図である。

【図7】第２動作例を示すフローチャートである。

【図8】画像解析部の第２構成例を示す図である。

【図9】変形例を示す図である。

【発明を実施するための形態】

【0014】

以下、実施形態を図面に基づいて説明する。

【0015】

（１）実施形態の概要
実施形態に係る超音波診断装置は、検出部、データベース、判定部、及び、表示制御部を有する。検出部は、機械学習済み検出モデルを有し、超音波画像中の病変部候補を検出する。データベースには、除外対象とする病変部候補ごとにその特徴量が登録される。判定部は、検出部により検出された病変部候補の特徴量をデータベースに登録されている特徴量群に対して照合することにより、検出された病変部候補が除外対象に該当するか否かを判定する。表示制御部は、検出された病変部候補が除外対象に該当しない場合に、超音波画像上に、検出された病変部候補を通知するマークを表示し、検出された病変部候補が除外対象に該当する場合にマークの表示を制限する。

【0016】

上記構成は、検出対象の一部がマーク表示対象にならないように当該一部を事後的に除外するものである。上記構成によれば、機械学習済み検出モデルを修正することなく、マーク表示対象を容易に制限できる。その制限を解除することも容易である。

【0017】

病変部候補の特徴量の概念には、病変部候補から抽出される特徴量、病変部候補及びその周囲を含む画像部分から抽出される特徴量、及び、病変部候補を含む超音波画像から抽出される特徴量、が含まれる。特徴量の概念には、特徴ベクトル、画像パターン等が含まれる。病変部候補を通知するマークは、超音波画像上において、病変部候補を特定する表示要素である。

【0018】

実施形態に係る超音波診断装置は、更に、入力部、及び、登録部を有する。入力部は、超音波画像中の病変部候補及び超音波画像上のマークを観察したユーザーからの除外指示を受け付ける。登録部は、除外指示の対象となった病変部候補の特徴量をデータベースに登録する。機械学習済み検出モデルを再学習させることなくユーザーによりマーク表示対象となる病変部候補群を修正し得る。

【0019】

実施形態においては、入力部は、フリーズ状態において、除外指示を受け付ける。登録部は、フリーズ状態において、除外指示の対象となった病変部候補の特徴量をデータベースに登録してデータベースを更新する。フリーズ状態は、送受信停止状態であり、静止画像が表示されている状態である。

【0020】

実施形態においては、入力部は、リアルタイム動作状態において、除外指示を受け付ける。登録部は、リアルタイム動作状態において、除外指示を受け付けたタイミングに基づいて表示済みの１又は複数のフレームデータを特定する。また、登録部は、リアルタイム動作状態において、１又は複数のフレームデータから病変部候補の特徴量を抽出し、当該特徴量をデータベースに登録してデータベースを更新する。

【0021】

上記構成によれば、リアルタイム動作状態においてデータベースを更新し得る。例えば、誤検出に起因するマーク表示を制限できる。リアルタイム動作状態は、送受信を行いながら超音波画像を動画像として表示している状態である。例えば、除外指定を受け付けたタイミングを基準として、過去に遡って所定期間内の複数のフレームデータが特定され、それらに基づいて複数の特徴量又は代表特徴量が抽出される。

【0022】

実施形態において、検出部は、病変部候補の特徴量を求める機能を有する。実施形態において、検出部とは別に演算部が設けられる。演算部は、病変部候補の特徴量を演算するものである。

【0023】

実施形態に係る超音波診断装置は、データベースの全部又は一部をクリアする管理部を含む。実施形態において、データベースは複数のテーブルを含む。各テーブルに特徴量が登録される。管理部は複数のテーブルの中からクリアするテーブルを選択する。例えば、被検者ごと、超音波検査ごと、又は、検査者ごとに、テーブルを用意しておき、所定のタイミングで、使用したテーブルをクリアしてもよい。

【0024】

実施形態に係る診断支援方法は、検出工程、登録工程、判定工程、及び、表示制御工程を有する。検出工程では、機械学習済み検出モデルを用いて、超音波画像中の病変部候補が検出される。登録工程では、除外対象とする病変部候補ごとにその特徴量がデータベースに登録される。判定工程では、検出された病変部候補の特徴量がデータベースに登録されている特徴量群に対して照合され、これにより、検出された病変部候補が除外対象に該当するか否かが判定される。表示制御工程では、検出された病変部候補が除外対象に該当しない場合に、超音波画像上に、検出された病変部候補を通知するマークが表示される。検出された病変部候補が除外対象に該当する場合にマークの表示が制限される。

【0025】

上記診断支援方法はハードウエアの機能として又はソフトウエアの機能として実現される。後者の場合、診断支援方法を実行するためのプログラムが、可搬型記憶媒体又はネットワークを介して、情報処理装置へインストールされる。情報処理装置の概念には、超音波診断装置、画像処理装置、コンピュータ等が含まれる。

【0026】

（２）実施形態の詳細
図１には、実施形態に係る超音波診断装置の構成がブロック図として示されている。超音波診断装置は、病院等の医療機関に設置され、生体（被検者）に対する超音波の送受波により得られた受信信号に基づいて、超音波画像を形成する医療用の装置である。超音波検査対象となる臓器は、例えば、乳房である。

【0027】

乳房の集団健診においては、短時間にしかも見落としなく病変部を特定する必要がある。実施形態に係る超音波診断装置は、検査者による病変部の特定を支援するために、超音波画像に含まれる病変部候補（例えば腫瘤である可能性が認められる低輝度部分）を自動的に検出するＣＡＤｅ機能を備えている。これについては後に詳述する。

【0028】

プローブ１０は、超音波を送受波する手段として機能する。具体的には、プローブ１０は、可搬型送受波器であり、それはユーザーである検査者（医師、検査技師等）によって保持及び操作される。乳房の超音波診断に際しては、プローブ１０の送受波面（具体的には音響レンズ表面）が被検者の胸部表面に当接される。リアルタイムで表示される断層画像を観察しながら、胸部表面に沿ってプローブ１０がマニュアルで走査される。断層画像上において病変部候補が特定された場合、プローブ１０の位置及び姿勢がゆっくり調整され、その後、プローブ１０の位置及び姿勢が固定された状態で、断層画像がじっくり観察される。

【0029】

プローブ１０は、図示された構成例において、一次元配列された複数の振動素子からなる振動素子アレイを備えている。振動素子アレイによって超音波ビーム（送信ビーム及び受信ビーム）１２が形成され、超音波ビーム１２の電子的な走査により走査面１４が形成される。走査面１４は観察面であり、すなわち二次元データ取込領域である。超音波ビーム１２の電子走査方式として、電子セクタ走査方式、電子リニア走査方式等が知られている。超音波ビーム１２のコンベックス走査が行われてもよい。プローブ１０内に２Ｄ振動素子アレイを設け、超音波ビームの二次元走査により、生体内からボリュームデータが取得されてもよい。

【0030】

プローブ１０の位置情報を求める測位システムを設けてもよい。測位システムは、例えば、磁気センサ及び磁場発生器により構成される。プローブ（正確にはプローブヘッド）に磁気センサが装着される。磁気センサによって磁場発生器により生成された磁場が検出される。これにより、磁気センサの三次元座標情報が得られる。三次元座標情報に基づいてプローブ１０の位置及び姿勢を特定し得る。

【0031】

送信回路２２は送信ビームフォーマーとして機能する。具体的には、送信時において、送信回路２２は、振動素子アレイに対して複数の送信信号を並列的に供給する。これにより送信ビームが形成される。受信時において、生体内からの反射波が振動素子アレイに到達すると、複数の振動素子から複数の受信信号が並列的に出力される。受信回路２４は受信ビームフォーマーとして機能し、複数の受信信号の整相加算（遅延加算ともいう。）により、ビームデータを生成する。

【0032】

１回の電子走査当たり、電子走査方向に並ぶ複数のビームデータが生成され、それらが走査面１４に対応する受信フレームデータを構成する。個々のビームデータは深さ方向に並ぶ複数のエコーデータにより構成される。受信回路２４の後段にはビームデータ処理部が設けられているが、その図示が省略されている。

【0033】

画像形成部２６は、受信フレームデータに基づいて断層画像（Ｂモード断層画像）を形成する電子回路である。それはＤＳＣ（Digital Scan Converter）を有している。ＤＳＣは、座標変換機能、画素補間機能、フレームレート変換機能等を有している。より詳しくは、画像形成部２６により、受信フレームデータ列に基づいて表示フレームデータ列が生成される。表示フレームデータ列を構成する各表示フレームデータは、断層画像データである。複数の断層画像データによりリアルタイム動画像が構成される。断層画像以外の超音波画像が生成されてもよい。例えば、カラーフローマッピング画像が形成されてもよいし、組織を立体的に表現した三次元画像が形成されてもよい。図示の構成例では、表示フレームデータ列は、表示処理部３２及び画像解析部２８に送られている。

【0034】

画像解析部２８は、ＣＡＤｅ機能を発揮するモジュールである。画像解析部２８は、検出部３３及び除外処理部３４を有する。

【0035】

検出部３３は、表示フレームデータごとに、つまり断層画像ごとに、病変部候補を検出する。検出部３３は、機械学習済み検出モデルを有する機械学習型検出器を含む。それは例えばＣＮＮ等により構成され、低輝度の閉領域を病変部候補として検出する。検出部３３での病変部候補の検出に先立って、断層画像に対して二値化処理、ノイズ除去等が適用されてもよい。検出部３３は、病変部候補の検出後に病変部候補情報を出力する。

【0036】

病変部候補情報には、病変部候補の位置情報、病変部候補のサイズ情報、検出の信頼度、等が含まれる。一定の閾値を超える信頼度が得られた場合、病変部候補が検出されたとみなされる。検出部３３は、病変部候補の特徴量として特徴ベクトルを演算する機能を備えている。

【0037】

病変部候補の位置情報は、例えば、病変部候補それ自体の中心点の座標を示す情報であり、あるいは、病変部候補に接しつつそれを囲む図形の中心点の座標を示す情報である。中心点は代表点である。中心点として、図形の幾何学的な中心点や図形の重心点を採用し得る。病変部候補のサイズ情報は、例えば、病変部候補それ自体のサイズを示す情報であり、あるいは、病変部候補に接しつつそれを囲む図形のサイズを示す情報である。例えば、図形の中心点の座標と図形の左上隅点の座標から、病変部候補のサイズが特定される。中心点の座標が特定されている前提の下、左上隅点の座標を病変部候補のサイズ情報とみなしてもよい。病変部候補のサイズ情報として、病変部候補の面積が求められてもよい。複数の病変部候補が並列的に検出されてもよい。

【0038】

特徴ベクトルは複数のベクトル要素で構成される。公知の１又は複数の特徴ベクトル演算方法を用い得る。特徴ベクトル演算方法として、多変量解析法を用いてもよい。特徴量として画像パターンを用いてもよい。なお、病変部候補の特徴量として、病変部候補から抽出される特徴量、病変部候補及びその周囲を含む画像部分から抽出される特徴量、並びに、病変部候補を含む超音波画像から抽出される特徴量、が挙げられる。

【0039】

除外処理部３４は除外データベースを有する。除外処理部３４は、検出部３３が現在検出した病変部候補（現病変部候補）の特徴ベクトルを、除外データベース上の特徴ベクトル群に照合する。除外処理部３４は、一定以上の類似度を有する特徴ベクトルがヒットした場合、つまり、検出された病変部候補が除外対象に該当した場合、除外指示信号をマーク表示制御部３０へ出力する。一定以上の類似度を有する特徴ベクトルがヒットしなかった場合、つまり、検出された病変部候補が除外対象に該当しない場合、除外指示信号は出力されない。

【0040】

マーク表示制御部３０は、検出された病変部候補を通知するマークを超音波画像上に重畳表示するものである。但し、マーク表示制御部３０は、除外処理部３４から除外指示信号が出力された場合、マークを表示しない。このように、検出対象とマーク表示対象を区別することにより、マーク表示対象が事後的にカスタマイズされている。カスタマイズに当たって、検出部３３内の機械学習型検出器に再学習を行わせる必要はない。マーク表示制御部３０が生成したマークを含むグラフィックデータが表示処理部３２へ出力されている。

【0041】

マークを表示する場合において、マークの表示形態の変更により信頼度の大小を表現してもよい。例えば、信頼度が低い場合に寒色系の色でマークを表示し、信頼度が高い場合に暖色系の色でマークを表示してもよい。信頼度が低い場合に低輝度でマークを表示し、信頼度が高い場合に高輝度でマークを表示してもよい。信頼度が低い場合に高い透明度でマークを表示し、信頼度が高い場合に低い透明度でマークを表示してもよい。信頼度が低い場合に細い線幅でマークを表示し、信頼度が高い場合に太い線幅でマークを表示してもよい。信頼度が低い場合に破線でマークを表示し、信頼度が高い場合に実線でマークを表示してもよい。マーク自体の種類を切り替えてもよい。例えば、４つの角を示す４つの表示要素の表示と矩形の図形の表示とを切り替えてもよい。幾つかの手法を同時に適用してもよい。

【0042】

画像形成部２６、画像解析部２８及びマーク表示制御部３０は、それぞれ、プロセッサにより構成され得る。単一のプロセッサが、画像形成部２６、画像解析部２８及びマーク表示制御部３０として機能してもよい。後述するＣＰＵが、画像形成部２６、画像解析部２８及びマーク表示制御部３０として機能してもよい。

【0043】

表示処理部３２は、カラー演算機能、画像合成機能等を有する。表示処理部３２には、画像形成部２６の出力及びマーク表示制御部３０の出力が与えられている。病変部候補を囲むマークは、グラフィック画像を構成する１つの要素である。実施形態においては、マーク表示制御部３０がマークを生成しているが、主制御部３８、表示処理部３２等がマークを生成するようにしてもよい。

【0044】

表示器３６は、ＬＣＤ、有機ＥＬ表示デバイス等によって構成される。表示器３６には、動画像としての断層画像がリアルタイムで表示され、また、グラフィック画像の一部としてマークが表示される。表示処理部３２は、例えば、プロセッサにより構成される。

【0045】

主制御部３８は、図１に示された各構成要素の動作を制御するものである。主制御部３８は、実施形態において、プログラムを実行するＣＰＵによって構成される。主制御部３８には、操作パネル４０が接続されている。操作パネル４０は入力部つまり入力デバイスであり、それは、複数のスイッチ、複数のボタン、トラックボール、キーボード、等を有する。操作パネル４０を利用してマーク表示条件を設定又は変更し得る。除外データベースに対して除外対象を登録する際に操作パネル４０が操作される。

【0046】

実施形態においては、表示フレームデータ列が画像解析部２８に与えられているが、受信フレームデータ列が画像解析部２８に与えられてもよい（符号４２を参照）。その場合、画像形成部２６とは別に、画像形成を簡易且つ迅速に実行する他の画像形成部が設けられてもよい。

【0047】

シネメモリ２７は、リングバッファ構造を有する。シネメモリ２７には、現在から過去に遡って一定期間内の表示フレームデータ列が一時的に格納される。後述するフリーズ状態においては、シネメモリ２７から選択的に読み出された表示フレームデータが断層画像（静止画像）として表示器３６に表示される。その際において、除外対象の登録のために、画像解析部２８及びマーク表示制御部３０を再度動作させてもよい。画像解析部２８及びマーク表示制御部３０で生成されたデータをバッファに一時的に記憶しておき、バッファから読み出されたデータを用いて除外対象の登録を行うようにしてもよい。

【0048】

図２には、マーク生成方法が示されている。断層画像４４には病変部候補４６が含まれる。断層画像４４の二値化により二値化画像が生成される。二値化画像に対するエッジ検出又は領域検出により、二値化された病変部候補４６Ａが抽出される。例えば、病変部候補４６Ａにおける水平方向の両端座標、及び、病変部候補４６Ａにおける垂直方向の両端座標により、病変部候補４６Ａに外接する矩形５２が定義される。実際には、矩形５２の中心点４８の座標及び矩形の左上隅点５０の座標が特定される。

【0049】

矩形５２の外側に、水平方向及び垂直方向に一定のマージン５６，５８をおいた図形として、矩形５４が定義される。その矩形５４が断層画像４４上にマーク６４として表示される。マーク６４は、病変部候補４６及びその周囲を囲む図形である。図示の例では、マーク６４は、破線で構成されている。４つの隅部分のみを表す４つの要素からなるマークが表示されてもよい。円形や楕円のマークが表示されてもよい。

【0050】

実施形態においては、表示フレームデータ単位で病変部候補４６の検出が実行される。病変部候補４６が検出された場合であって、その病変部候補４６が除外対象に該当しない場合、その病変部候補４６を含む断層画像４４上にマーク６４が表示される。マーク６４の表示により、検査者に対して病変部候補４６の存在を知覚させることが可能となり、病変部候補４６の見落としを防止できる。一方、病変部候補４６が除外対象に該当する場合、マーク６４は表示されない。

【0051】

図３には、図１に示した画像解析部２８の第１構成例が示されている。検出部３３は、機械学習済み検出モデル７０を有している。検出モデル７０により断層画像（表示フレームデータ）７２に含まれる病変部候補が検出される。検出モデル７０は、例えばＣＮＮパラメータセットにより構成され、そのインストールが符号７４で示されている。実施形態では、除外処理部３４が設けられているので、検出モデル７０に再学習を行わせることなく、マーク表示対象を修正することが可能である。符号７６で示されているように、病変部情報を構成する位置情報、サイズ情報等がマーク表示制御部３０へ与えられている。

【0052】

検出部３３は、病変部候補の特徴ベクトルを演算する機能を有している。符号７８で示されているように、特徴ベクトルを示す情報が除外処理部３４へ送られている。なお、検出部３３とは別のモジュールにより特徴ベクトルが演算されてもよい。それについては後に図８を用いて説明する。

【0053】

除外処理部３４は、除外データベース８０、照合部（判定部）８２、及び、登録部８４を有する。後述する管理部８９が除外処理部３４の一部を構成してもよい。除外データベース８０は、図示の構成例において、複数の除外テーブル８０Ａにより構成される。選択信号８８により選択された除外テーブル８０Ａが実際に使用される。もちろん、除外データベース８０が単一の除外テーブルにより構成されてもよい。複数の被検者に対応した複数の除外テーブル８０Ａが設けられてもよいし、複数の検査者に対応した複数の除外テーブル８０Ａが設けられてもよいし、複数の診療科目に対応した複数の除外テーブル８０Ａが設けられてもよい。

【0054】

照合部８２は、現在検出されている現病変部候補の特徴ベクトルを、選択された除外テーブル８０Ａに登録されている特徴ベクトル群に対して照合する。一定以上の類似度を生じさせた特徴ベクトルがヒットした場合、現病変部候補は除外対象に該当することが判定され、照合部８２からマーク表示制御部３０へ除外指示信号９０が出力される。一定以上の類似度を生じさせる特徴ベクトルが存在しない場合、除外指示信号９０は出力されない。このように、実施形態によれば、現病変部候補を事後的に評価することが可能であり、換言すれば、そのような事後的な評価により検出モデル７０に再学習を行わせる必要を無くすことが可能である。

【0055】

登録部８４は、選択されている除外テーブルに対して、現病変部候補の特徴ベクトルを登録する処理を実行する。後述するように、フリーズ状態及びリアルタイム動作状態において、特徴ベクトルの登録を行い得る。符号８６は、ユーザーの登録指示を表す信号を示している。

【0056】

管理部８９は、除外データベース８０の全部又は一部をクリアする処理を実行する。除外テーブル８０Ａごとにその内容を消去し得る。例えば、ユーザーのクリア指示に従って１又は複数の除外テーブル８０Ａのクリアが実行されてもよいし、一定のクリア条件が満たされた時点で１又は複数の除外テーブル８０Ａの自動的なクリアが実行されてもよい。例えば、新しい被検者の検査開始時、送受信条件の変更時、等において自動的なクリアが実行されてもよい。

【0057】

マーク表示制御部３０は、マークを生成する機能、及び、マークの表示を制限する機能（マークを非表示とする機能）、を有する。マーク表示制御部３０は、検出部３３から出力される病変部候補情報に基づいて、病変部候補を囲む図形としてマークを生成する。信頼度に基づいてマークの表示態様が変更される。マーク表示制御部３０は、除外指示信号が入力された場合、マークの生成を行わず、マークを非表示とする。マークは、フレーム単位で生成されており、マークの表示／非表示の判断もフレーム単位で行われる。

【0058】

図４には、フリーズ状態で実行される第１動作例が模式的に示されている。画面９２内には静止画像としての断層画像１０２が表示されている。操作パネル４０内のフリーズボタン９６が既に操作されており、上記のように送受信を停止したフリーズ状態にある。断層画像１０２の下側にはシネメモリの記憶領域が帯状の図形によって表現されている。その右端がフリーズ時点に相当する。例えば、カーソル１００を左側へシフトさせれば、より過去の表示フレームデータを選択し得る。選択された表示フレームデータが断層画像１０２として表示される。図示の例では、断層画像１０２内に病変部候補１０４が含まれ、それを囲むようにマーク１０６が表示されている。

【0059】

マーク１０６が誤検出に由来して表示されたものである場合やマーク１０６を表示させたくない病変部候補である場合、除外ボタン１０８が操作される。すると、表示されている病変部候補の特徴ベクトルが除外データベース（具体的には、選択された除外テーブル）に登録される。これにより除外データベースが更新される。必要に応じて、フリーズ状態において、除外対象の登録が繰り返される。フリーズボタン９６の再操作により、フリーズ状態が解除され、リアルタイム動作状態に戻る。その段階では、更新後のデータベースに基づいて病変部候補が除外対象か否かが判定される。

【0060】

図５には、第1動作例がフローチャートとして示されている。Ｓ１０では、フリーズボタンの操作が検出され、超音波診断装置がフリーズ状態となる。Ｓ１２では、ユーザーにより、シネメモリのバックサーチが実施され、特定の表示フレームデータが選択される。Ｓ１４では、登録指示の操作があったか否かが判断され、その操作があった場合、Ｓ１６において、表示されている病変部候補の特徴ベクトルが除外データベースに登録される。すなわち、除外データベースが更新される。Ｓ１８でフリーズ解除の操作が判定されるまで、Ｓ１０以降の一連の工程が繰り返し実行される。Ｓ１８でフリーズ解除の操作が判定された場合、符号１１０で示すように、更新された除外データベースを用いて、病変部候補の判定が行われる。

【0061】

図６には、リアルタイム動作状態で実行される第２動作例が模式的に示されている。（Ａ）は、時間軸を示しており、ｔ１は除外操作があった時点（現在時）を示している。（Ｂ）はシネメモリを示しており、その中には表示データ列１１２が格納されている。符号１１２Ａは、先頭の表示フレームデータ、つまりシネメモリ上、最新の表示フレームデータを示している。第２動作例では、除外操作があると、（Ｃ）に示すように、ｔ１より過去一定期間ｔａにわたって除外対処を登録する処理が実行される。一定期間ｔａが例えばＮ秒で指定されてもよい。Ｎは例えば１，２，３，・・・である。

【0062】

一定期間ｔａ内に属する個々の表示フレームデータに対して病変部候補の検出の有無が調査され、病変部候補が検出されている場合、その特徴ベクトルが除外データベースに自動的に登録される。複数の表示フレームデータに含まれる複数の病変部候補に基づいてそれらを代表する単一の特徴ベクトルが演算され、それがデータベースに登録されてもよい。例えば、超音波検査の最中において、誤検出と思われる事象が生じた場合、検査者により除外操作が行われる（例えば除外ボタンが押される）。すると、リアルタイム動作状態であってもデータベースに特徴ベクトルが登録され、それが更新される。その時点以降、更新されたデータベースに基づくマーク表示制御が実行される。

【0063】

図７には、第２動作例がフローチャートとして示されている。Ｓ２０では、除外操作の有無が判定される。除外操作があった場合、Ｓ２２において参照期間が決定され、Ｓ２４で参照期間内の各表示フレームデータが調査され、それに病変部候補が含まれている場合、その特徴ベクトルが除外データベースに登録される。除外データベースは逐次的に更新される。すなわち、符号１１４で示すように、更新された除外データベースが直ちに有効化され、それが利用される。Ｓ２８では、登録処理を終了させるか否かが判断される。

【0064】

図８には、画像解析部の第２構成例が示されている。なお、図８において、図３に示した構成と同様の構成には同一の符号を付し、その説明を省略する。

【0065】

画像解析部２８Ａは、検出部３３Ａ及び除外処理部３４Ａを有し、更に、特徴べクトル演算部１１６を有している。特徴ベクトル演算部１１６は、検出部３３Ａとは別に設けられており、病変部候補の特徴ベクトルを演算する。特徴ベクトル演算部１１６は、機械学習型演算部ではなく、一般的な演算部である。検出部３３Ａは機械学習済み検出モデル７０Ａを有する。検出部３３Ａは特徴ベクトルを演算する機能を備えていない。第２構成例においても、除外処理部３４Ａにおいて除外データベース８０を利用した除外処理が実行される。なお、図８においては管理部の図示が省略されている。

【0066】

図９には、変形例が示されている。リアルタイム動作状態において、動画像としての断層画像１２０が表示されている。そこには、検出対象となった病変部候補が含まれるが、マーク１２６は表示されていない。そのような場合において、除外処理モードが有効となっていることを示すインジケータ１２８を表示してもよい。また、マーク表示が制限されていることを示すインジケータ１３０を表示してもよい。

【0067】

上記実施形態によれば、機械学習型検出部に再学習を行わせることなく、マーク表示対象となる病変部候補を柔軟にカスタマイズできる。除外データベースと共に、又はそれに代えて、追加データベースを設けてもよい。

【符号の説明】

【0068】

１０ プローブ、２６ 画像形成部、２８ 画像解析部、３０ マーク表示制御部、３３ 検出部、３４ 除外処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】