特開 2025-11865 超音波診断装置及びモデル動作検証方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011865

(43)【公開日】2025-01-24

(54)【発明の名称】超音波診断装置及びモデル動作検証方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20250117BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023114244

(22)【出願日】2023-07-12

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】西浦 朋史

(72)【発明者】

【氏名】松本 剛

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601EE11

4C601JB34

4C601JC06

4C601KK07

4C601KK25

4C601KK31

4C601KK49

4C601LL01

(57)【要約】

【課題】画像解析モデルの動作の詳細な検証を支援する。
【解決手段】ログ管理部３６は、超音波診断装置の動作を記録したログを作成する。モデル動作管理部４０は、画像解析モデル３０の動作ごとに、画像解析モデル３０に入力された被解析画像と、画像解析モデル３０の解析結果と、を保存する。ログの中の特定のモデル動作レコードが選択された場合、レポート作成部４２がモデル動作レポートを作成する。モデル動作レポートには、画像解析モデル３０に入力された被解析画像と、画像解析モデル３０の解析結果と、が含まれる。
【選択図】図１

【特許請求の範囲】

【請求項1】

超音波画像を解析する機械学習済みの画像解析モデルを有する解析部と、
前記画像解析モデルの動作を含む複数の動作を時系列順で記録することにより、複数の動作レコードからなるログを作成するログ作成部と、
前記画像解析モデルの動作ごとにモデル動作検証用の詳細情報を保存する保存部と、
前記ログ中の特定のモデル動作レコードが選択された場合に、前記特定のモデル動作レコードに関連付けられた詳細情報を含むモデル動作レポートを作成するレポート作成部と、
を含むことを特徴とする超音波診断装置。

【請求項2】

請求項１記載の超音波診断装置において、
前記保存部は、前記画像解析モデルの動作ごとに、前記詳細情報として、被解析画像を保存し、
前記被解析画像は、前記画像解析モデルに入力された超音波画像又はそれに相当する画像であり、
前記モデル動作レポートには、前記被解析画像が含まれる、
ことを特徴とする超音波診断装置。

【請求項3】

請求項２記載の超音波診断装置において、
前記画像解析モデルに入力された超音波画像を低解像度画像に変換する変換部を含み、
前記被解析画像は前記低解像度画像である、
ことを特徴とする超音波診断装置。

【請求項4】

請求項１記載の超音波診断装置において、
前記保存部は、前記画像解析モデルの動作ごとに、前記詳細情報として、前記画像解析モデルの解析結果を保存し、
前記モデル動作レポートには、前記解析結果が含まれる、
ことを特徴とする超音波診断装置。

【請求項5】

請求項４記載の超音波診断装置において、
前記解析結果には、複数のクラスに対応した複数のスコアが含まれ、
前記レポート作成部は、前記複数のスコアに基づいてグラフを作成し、
前記モデル動作レポートには、前記グラフが含まれる、
ことを特徴とする超音波診断装置。

【請求項6】

請求項１記載の超音波診断装置において、
前記保存部は、
前記画像解析モデルの動作ごとに、被解析画像を保存する画像保存部と、
前記画像解析モデルの動作ごとに、前記画像解析モデルの解析結果を含む詳細レコードを保存するレコード保存部と、
を含み、
前記被解析画像は、前記画像解析モデルに入力された超音波画像から生成された低解像度画像であり、
前記モデル動作レポート中の前記詳細情報には、前記画像解析モデルの入力情報である前記被解析画像と、前記画像解析モデルの出力情報である前記解析結果と、が含まれる、
ことを特徴とする超音波診断装置。

【請求項7】

請求項１記載の超音波診断装置において、
前記ログに含まれる各モデル動作レコードは、それに関連付けられた前記詳細情報の所在を特定するハイパーリンクが埋め込まれた部分を含み、
前記部分の選択により前記モデル動作レポートが表示される、
ことを特徴とする超音波診断装置。

【請求項8】

超音波画像を解析する機械学習済みの画像解析モデルの動作を含む複数の動作を時系列順で記録することにより、複数の動作レコードからなるログを作成する工程と、
前記画像解析モデルの動作ごとにモデル動作検証用の詳細情報を保存する工程と、
前記ログを表示する工程と、
前記表示されたログ中の特定のモデル動作レコードの選択を受け付ける工程と、
前記特定のモデル動作レコードに関連付けられた詳細情報を特定する工程と、
前記詳細情報を含むモデル動作レポートを作成する工程と、
前記モデル動作レポートを表示する工程と、
を含むことを特徴とするモデル動作検証方法。

【請求項9】

超音波診断装置においてモデル動作検証方法を実行するためのプログラムであって、
前記モデル動作検証方法が、
超音波画像を解析する機械学習済みの画像解析モデルの動作を含む複数の動作を時系列順で記録することにより、複数の動作レコードからなるログを作成する工程と、
前記画像解析モデルの動作ごとにモデル動作検証用の詳細情報を保存する工程と、
前記ログを表示する工程と、
前記表示されたログ中の特定のモデル動作レコードの選択を受け付ける工程と、
前記特定のモデル動作レコードに関連付けられた詳細情報を特定する工程と、
前記詳細情報を含むモデル動作レポートを作成する工程と、
前記モデル動作レポートを表示する工程と、
を含む、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、超音波診断装置及びモデル動作検証方法に関し、特に、ＡＩ（Artificial Intelligence）である画像解析モデルの動作を検証するための技術に関する。

【背景技術】

【0002】

生体の超音波検査では超音波診断装置が用いられる。超音波診断装置は、超音波の送受波により得られた受信信号に基づいて超音波画像を生成及び表示する医用装置である。代表的な超音波画像として断層画像が知られている。

【0003】

近時、機械学習を経て生成された画像解析モデルを有する超音波診断装置が普及しつつある。特許文献１、２に記載された超音波診断装置は、断層画像に基づいて組織断面を自動的に識別（又は分類）する画像解析モデルを有する。他の画像解析モデルとして、断層画像に含まれる病変部を検出するモデル、断層画像上において組織を計測するモデル、等が挙げられる。

【0004】

超音波診断装置の中にはログ作成機能を有するものがある。かかる超音波診断装置では、時系列順の複数の動作を逐次的に記録することによりログが作成される（特許文献３を参照）。ログの参照を通じて過去の一連の動作を検証できる。具体的には、ログの参照を通じて、個々の構成要素の動作が適切であることを確認でき、あるいは、いずれかの構成要素の不具合を特定できる。一般に、ログは、時系列順で発生した複数の動作（イベント発生、処理の実行を含む）に対応する複数のレコードにより構成される。各レコードに含まれる情報は有限であり、一般に簡素である。ログ中の各レコードには、詳細な情報が紐付けられていない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６４２３５４０号公報

【特許文献2】特開２０２０－２０４９７０号公報

【特許文献3】特表２０２１－５０７３２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

被解析画像の品質の低下、不十分な機械学習、等の様々な要因により、画像解析モデルの性能が低下する。画像解析モデルの性能又は状態を定期的に検証することが望まれる。従来の超音波診断装置は、そのような要望に十分に応えるものではない。例えば、ログ作成機能を有する超音波診断装置においては、画像解析モデルの動作がログ上に記録されることになる。しかし、ログにおける各レコードの内容は有限であり、また、各レコードの内容は一般に簡素である。各レコードの参照を通じて画像解析モデルの動作を詳しく検証することは困難である。

【0007】

本開示の目的は、画像解析モデルの動作の検証を支援することにある。あるいは、画像解析モデルの動作の詳細な検証を支援することにある。

【課題を解決するための手段】

【0008】

本開示に係る超音波診断装置は、超音波画像を解析する機械学習済みの画像解析モデルを有する解析部と、前記画像解析モデルの動作を含む複数の動作を時系列順で記録することにより、複数の動作レコードからなるログを作成するログ作成部と、前記画像解析モデルの動作ごとにモデル動作検証用の詳細情報を保存する保存部と、前記ログ中の特定のモデル動作レコードが選択された場合に、前記特定のモデル動作レコードに関連付けられた詳細情報を含むモデル動作レポートを作成するレポート作成部と、を含むことを特徴とする。

【0009】

本発明に係るモデル動作検証方法は、超音波画像を解析する機械学習済みの画像解析モデルの動作を含む複数の動作を時系列順で記録することにより、複数の動作レコードからなるログを作成する工程と、前記画像解析モデルの動作ごとにモデル動作検証用の詳細情報を保存する工程と、前記ログを表示する工程と、前記表示されたログ中の特定のモデル動作レコードの選択を受け付ける工程と、前記特定のモデル動作レコードに関連付けられた詳細情報を特定する工程と、前記詳細情報を含むモデル動作レポートを作成する工程と、前記モデル動作レポートを表示する工程と、を含むことを特徴とする。

【発明の効果】

【0010】

本開示によれば、画像解析モデルの動作の検証を支援できる。あるいは、本開示によれば、画像解析モデルの動作の詳細な検証を支援できる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る超音波診断装置の構成例を示すブロック図である。

【図2】モデル動作管理部の構成例を示すブロック図である。

【図3】詳細レコード列を示す図である。

【図4】ログの一例を示す図である。

【図5】モデル動作レポートの第１例を示す図である。

【図6】モデル動作レポートの第２例を示す図である。

【図7】モデル動作レポートの第３例を示す図である。

【図8】モデル動作レポートの第４例を示す図である。

【発明を実施するための形態】

【0012】

以下、実施形態を図面に基づいて説明する。

【0013】

（１）実施形態の概要
実施形態に係る超音波診断装置は、解析部、ログ作成部、保存部、及び、レポート作成部を有する。解析部は、超音波画像を解析する機械学習済みの画像解析モデルを有する。ログ作成部は、画像解析モデルの動作を含む複数の動作を時系列順で記録することにより、複数の動作レコードからなるログを作成する。保存部は、画像解析モデルの動作ごとにモデル動作検証用の詳細情報を保存する。レポート作成部は、ログ中の特定のモデル動作レコードが選択された場合に、特定のモデル動作レコードに関連付けられた詳細情報を含むモデル動作レポートを作成する。

【0014】

上記構成によれば、モデル動作レポートに含まれる詳細情報の参照を通じて、画像解析モデルの性能又は状態を詳しく検証できる。詳細情報は、ログに含まれる情報よりも詳しい情報である。例えば、ログ中のモデル動作レコードには、画像解析モデルの実行時間、画像解析モデルの識別子等の情報が含まれる。その情報量を第１の情報量と定義した場合、詳細情報は、第１の情報量よりも大きい第２の情報量を有する。実施形態に係る詳細情報には、画像解析モデルに入力された被解析画像及び画像解析モデルの解析結果の内で少なくとも一方が含まれる。通常、そのような情報は破棄されてしまうが、実施形態においては、そのような情報がモデル動作検証用の詳細情報として保存される。より詳しくは、ログ中のモデル動作レコードに関連付けられつつ詳細情報が保存される。そのような関連付けは、従来の一般的なログには認められないものである。

【0015】

実施形態において、保存部は、画像解析モデルの動作ごとに、上記の詳細情報として、被解析画像を保存する。被解析画像は、画像解析モデルに入力された超音波画像又はそれに相当する画像である。モデル動作レポートには、被解析画像が含まれる。この構成によれば、画像解析モデルに入力された被解析画像を参照しながら画像解析モデルの動作を検証することが可能となる。画像解析モデルに入力されたすべての超音波画像が被解析画像として保存されてもよいし、画像解析モデルに入力されたすべての超音波画像の内でその一部が被解析画像として保存されてもよい。

【0016】

実施形態に係る超音波診断装置は、画像解析モデルに入力された超音波画像を低解像度画像に変換する変換部を含む。被解析画像は低解像度画像である。この構成によれば、被解析画像を保存するために必要な記憶容量を低減できる。被解析画像ごとに保存期間を定め、保存期間の経過時に被解析画像が自動的に消去されてもよい。

【0017】

実施形態において、保存部は、画像解析モデルの動作ごとに、上記の詳細情報として、画像解析モデルの解析結果を保存する。モデル動作レポートには、解析結果が含まれる。この構成によれば、画像解析モデルの解析結果を参照しながら画像解析モデルの動作を検証することが可能となる。画像解析モデルのすべての解析結果が保存されてもよいし、画像解析モデルのすべての解析結果の内でその一部が保存されてもよい。

【0018】

実施形態において、上記の解析結果には、複数のクラスに対応した複数のスコアが含まれる。レポート作成部は、複数のスコアに基づいてグラフを作成する。モデル動作レポートには、グラフが含まれる。この構成によれば、画像解析モデルの動作の検証が容易となる。

【0019】

実施形態において、保存部は、画像保存部、及び、レコード保存部を有する。画像保存部は、画像解析モデルの動作ごとに、被解析画像を保存する。レコード保存部は、画像解析モデルの動作ごとに、画像解析モデルの解析結果を含む詳細レコードを保存する。被解析画像は、画像解析モデルに入力された超音波画像から生成された低解像度画像である。モデル動作レポート中の詳細情報には、画像解析モデルの入力情報である被解析画像と、画像解析モデルの出力情報である解析結果と、が含まれる。

【0020】

上記構成によれば、画像解析モデルの入力情報及び出力情報の両方を参照しながら画像解析モデルの動作を検証できる。よって、画像解析モデルの性能及び状態を正しく特定でき、また、何等かの不具合がある場合にはその原因を特定することが可能となる。例えば、画像解析モデルが適切に機能していないことが判明した場合、画像解析モデルの再学習又は画像解析モデルの入れ替えを実施してもよい。

【0021】

実施形態において、ログに含まれる各モデル動作レコードは、それに関連付けられた詳細情報の所在を特定するハイパーリンクが埋め込まれた部分を含む。その部分の操作によりモデル動作レポートが表示される。この構成によれば、ログを参照している状況において、気になるモデル動作レコードが発見された場合、それに対する簡単な操作により、モデル動作レポートを表示させることが可能となる。その場合、モデル動作レポートがポップアップ表示されてもよい。すなわち、ログとモデル動作レポートとが同時に表示されてもよい。

【0022】

実施形態に係るモデル動作検証方法は、ログ作成工程、保存工程、ログ表示工程、選択工程、特定工程、レポート作成工程、及び、表示工程を有する。ログ作成工程では、超音波画像を解析する機械学習済みの画像解析モデルの動作を含む複数の動作が時系列順で記録され、これにより、複数の動作レコードからなるログが作成される。保存工程では、画像解析モデルの動作ごとにモデル動作検証用の詳細情報が保存される。ログ表示工程では、ログが表示される。選択工程では、表示されたログ中の特定のモデル動作レコードの選択が受け付けられる。特定工程では、特定のモデル動作レコードに関連付けられた詳細情報が特定される。レポート作成工程では、詳細情報を含むモデル動作レポートが作成される。表示工程では、モデル動作レポートが表示される。

【0023】

上記のモデル動作検証方法を実行するためのプログラムが、ネットワークを介して又は可搬型記憶媒体を介して、情報処理装置にインストールされる。そのプログラムは、情報処理装置内の非一時的記憶媒体に保存される。情報処理装置は、例えば、超音波診断装置である。

【0024】

（２）実施形態の詳細
図１には、実施形態に係る超音波診断装置が示されている。この超音波診断装置は、病院等の医療機関に設置され、被検者の超音波検査において使用される医用装置である。

【0025】

超音波プローブ１０は、生体内への超音波の送信及び生体内からの反射波の受信を行うデバイスである。超音波プローブ１０は、複数の振動子からなる振動子アレイを有している。振動子アレイにより超音波ビーム１２が形成される。超音波ビーム１２の電子走査によりビーム走査面１４が形成される。送信フレームレートに従って超音波ビーム１２の電子走査を繰り返すことにより、ビーム走査面１４が繰り返し形成される。

【0026】

超音波ビーム１２の電子走査方式として、電子リニア走査方式、電子セクタ走査方式、等が知られている。振動子アレイとして二次元振動子アレイを設けてもよい。二次元振動子アレイにより超音波ビームを二次元走査することにより、生体内の三次元空間からボリュームデータを取得し得る。

【0027】

送信回路１６は、送信ビームフォーマーとして機能する電子回路であり、送信時において複数の送信信号を振動子アレイに対して並列的に出力する。これにより、振動子アレイの作用により送信ビームが形成される。

【0028】

受信回路１８は、受信ビームフォーマーとして機能する電子回路であり、受信時において振動子アレイから並列的に出力された複数の受信信号に対して整相加算を適用し、これにより受信ビームデータを生成する。電子走査の繰り返しに伴って、受信回路１８から受信フレームデータ列が出力される。各受信フレームデータは電子走査方向に並ぶ複数の受信ビームデータにより構成される。各受信ビームデータは深さ方向に並ぶ複数のエコーデータにより構成される。

【0029】

受信フレームデータ列が、図示されていないデータ処理部を通じて、画像形成部２０へ送られる。データ処理部は、個々の受信ビームデータに対して複数の処理を適用するモジュールである。複数の処理には、対数変換、フィルタ処理等が含まれる。

【0030】

画像形成部２０は、デジタルスキャンコンバータ（ＤＳＣ）を有している。ＤＳＣは、座標変換機能、画素補間機能、等を有する。ＤＳＣにより、受信フレームデータ列から表示フレームデータ列が生成される。表示フレームデータ列は、動画像としての断層画像に相当する。表示フレームデータ列を構成する個々の表示フレームデータは、静止画像としての断層画像に相当する。

【0031】

図示の構成例では、表示フレームデータ列がシネメモリ２２にいったん格納された上で、そこから読み出された表示フレームデータ列が表示処理部２４を介して表示器２６へ送られている。表示器２６には、動画像としての断層画像が表示され、又は、静止画像としての断層画像が表示される。表示処理部２４は、画像合成機能、カラー処理機能、等を有する。

【0032】

上記のシネメモリ２２は、リングバッファ構造を有する一時記憶用メモリである。シネメモリ２２は例えば半導体メモリにより構成される。画像形成部２０及び表示処理部２４は、それぞれ、例えばプロセッサにより構成される。表示器２６は、液晶表示器、有機ＥＬ表示デバイス、等により構成される。画像形成部２０において、断層画像以外の超音波画像が形成されてもよい。例えば、血流画像、弾性画像等が形成されてもよい。

【0033】

画像解析部２８は、ＡＩである画像解析モデル３０を有する。画像解析モデル３０は、機械学習済みのモデルであり、それは例えばＣＮＮ（Convolutional Neural Network）によって構成される。実施形態に係る画像解析モデル３０は、断層画像に基づいて組織断面を識別するモデルである。具体的には、クラス分類を行うモデルである。画像解析モデル３０として、断層画像に基づいて組織に対する計測を実行するモデルや、断層画像に含まれる病変部を検出するモデル等が用いられてもよい。

【0034】

実施形態においては、シネメモリ２２から画像解析部２８へ表示フレームデータ列が転送されている。表示フレームデータ列は、情報処理部３４にも転送されている。画像解析モデル３０は、表示フレームデータ列を構成する表示フレームデータごとに（つまり断層画像ごとに）、それに対して画像解析を実行し、表示フレームデータごとに解析結果を出力する。画像解析部２８から表示処理部２４及び情報処理部３４へ表示フレームデータ列に対応する解析結果列が出力されている。解析結果列が表示処理部２４を介して表示器２６へ送られ、表示器２６に解析結果列が表示される。画像解析部２８は、例えば、プロセッサにより構成される。画像解析部２８において受信フレームデータが解析されてもよい。

【0035】

情報処理部３４は、例えば、プログラムを実行するＣＰＵにより構成される。情報処理部３４は、超音波診断装置を構成する各要素の動作を制御する制御部として機能する。図においては、情報処理部３４が発揮する複数の機能が複数のブロックにより表現されている。具体的には、情報処理部３４は、ログ管理部３６、ログ解析部３８、及び、モデル動作管理部４０、として機能する。それらについては後に詳述する。情報処理部３４には、操作パネル５０が接続されている。操作パネル５０は、トラックボール、複数のスイッチ、複数のつまみ、等を有する入力デバイスである。

【0036】

情報処理部３４には、ログ記憶部４４、詳細レコード記憶部４６、及び、被解析画像記憶部４８が接続されている。それらの記憶部４４，４６，４８は、半導体メモリ、ハードディスク等により構成される。

【0037】

ログ管理部３６は、ログ作成部及びログ読み出し部として機能するものである。具体的には、超音波診断装置が実行する複数の動作を時系列順で記録し、これにより、複数のレコードからなるログを作成する。典型的には、１つの動作に対して１つのレコードが対応している。超音波診断装置が実行する複数の動作には、画像解析モデルの複数の動作が含まれる。ログを構成する複数のレコードには、複数のモデル動作に対応する複数のレコード（複数のモデル動作レコード）が含まれる。実際には、ログ管理部３６は、ログ記憶部４４に時系列順に複数のレコードを登録する。これによりログ記憶部４４上にログが作成される。

【0038】

ログ参照時には、ログ管理部３６により、ログ記憶部４４に登録された複数のレコードが読み出され、それらの複数のレコードが表示処理部２４へ転送される。これにより、表示器にそれらのレコードがログとして表示される。ユーザーにより、表示する条件が定められる。例えば、表示期間がユーザーにより指定される。あるいは、ユーザーのスクロール操作に従って表示内容が変更される。

【0039】

ログ解析部３８は、ログの内容を解析するものである。例えば、ログ解析部３８は、集計機能、検索機能、等を有する。ログ解析部３８により、画像解析モデルごとに使用率が計算されてもよいし、画像解析モデルの動作に関連する動作（例えば承認又は修正の入力）が特定されてもよい。また、ログ解析部３８により、検査時間、処理速度等が演算されてもよい。実施形態に係るログ解析部３８はレポート作成部４２を有している。これについては後に説明する。

【0040】

モデル動作管理部４０は、詳細情報保存手段として機能する。すなわち、モデル動作管理部４０は、画像解析モデル３０の動作ごとに、画像解析モデル３０に入力された超音波画像（具体的には断層画像）を被解析画像として保存し、また、画像解析モデル３０の解析結果（具体的には複数のスコア）を保存するものである。被解析画像及び解析結果は、基本的に、ログに含まれない情報であり、それらはモデル動作検証用の詳細情報である。

【0041】

より詳しくは、モデル動作管理部４０により、画像解析モデル３０の動作ごとに、詳細レコードが生成される。詳細レコードには、被解析画像の所在を示すリンク情報及び解析結果としての数値列が含まれる。

【0042】

詳細レコード記憶部４６には、複数の詳細レコードが記憶される。それらにより詳細レコード列が構成される。ログ記憶部４４に格納されるログをメインログ又は汎用ログと表現した場合、詳細レコード記憶部４６に格納される詳細レコード列はサブログ又は画像解析モデル専用ログと言い得る。

【0043】

被解析画像記憶部４８には、複数の被解析画像からなる被解析画像列が記憶される。後述するように、実施形態においては、個々の被解析画像は、超音波画像から生成された低解像度画像である。詳細レコード記憶部４６と被解析画像記憶部４８とを一体化してもよい。例えば、個々の詳細レコード内に被解析画像を含めてもよい。

【0044】

後述するように、画像解析モデルの動作ごとに、その動作を識別するＩＤ番号が発行される。ログ中の各モデル動作レコード内にはＩＤ番号が含まれ、各詳細レコードにもＩＤ番号が含まれる。ＩＤ番号を通じて、各モデル動作レコードに対して特定の詳細レコードが関連付けられる。なお、詳細レコードにはリンク情報が含まれ、そのリンク情報により、詳細レコードに対して被解析画像が関連付けられている。

【0045】

表示されたログ中において、ユーザーが特定のモデル動作レコードをクリックした場合、レポート作成部４２は、特定のモデル操作レコードに関連付けられた特定の詳細レコードを取得し、また、そこに含まれるリンク情報に基づいて特定の被解析画像を取得する。

【0046】

その上で、レポート作成部４２は、特定のモデル動作レコードに含まれる情報、取得された詳細レコードに含まれる情報、及び、取得された被解析画像に基づいて、モデル動作レポートを作成する。そのモデル動作レポートが表示器２６に表示される。モデル動作レポートには、後に説明するように、入力情報としての被解析画像及び出力情報としての解析結果が含まれる。それらの情報の参照を通じてユーザーにより画像解析モデルの性能や状態が評価される。

【0047】

図２には、モデル動作管理部４０の構成例が示されている。図２において、図１に示した構成要素と同一の構成要素には同一の符号が付されている。図２に示す内容は、実施形態に係るモデル検証方法のアルゴリズムに相当する。

【0048】

情報処理部３４には、ログ管理部３６、ログ解析部３８及びモデル動作管理部４０が含まれる。ログ記憶部４４上にログが構築される。モデル動作管理部４０は、カウンタ５２、詳細レコード保存部５４、変換部６２及び画像保存部６４を有する。詳細レコード保存部５４及び画像保存部６４は、詳細情報保存手段２５として機能する。画像解析部２８は、画像解析モデル３０を有している。画像解析モデル３０に断層画像５５が入力されると、その断層画像が画像解析モデル３０により解析され、画像解析モデル３０から解析結果５６が出力される。

【0049】

カウンタ５２は、画像解析モデル３０の動作ごとに、ＡＩ処理要求識別子（以下、ＩＤ番号という。）を発行する。画像解析モデル３０が繰り返し動作を行うと、カウンタ５２がカウントアップ動作を行い、ＩＤ番号が順次増大していく。例えば、カウンタ５２が主制御部からの処理要求に従ってＩＤ番号を発行してもよいし（符号５８を参照）、カウンタ５２が断層画像５５の入力イベントに従ってＩＤ番号を発行してもよい（符号６０を参照）。発行されたＩＤ番号がログ管理部３６及び詳細レコード保存部５４に送られる。

【0050】

ログ管理部３６は、モデル動作レコードを作成する際に、モデル動作レコード内にＩＤ番号を含める。詳細レコード保存部５４は、詳細レコードを作成する際に、詳細レコード内にＩＤ番号を含める。カウンタ５２により発行されたＩＤ番号が画像解析部２８を経由してログ管理部３６及び詳細レコード保存部５４へ送られてもよい。詳細レコード保存部５４には、画像解析モデル３０の解析結果も送られている。

【0051】

変換部６２は、断層画像５５に対して低解像度変換を適用し、これにより低解像度画像を生成する。低解像度画像の例としてサムネイル画像が挙げられる。低解像度変換は、情報量を削減する処理である。削減率として、１／５、１／１０、又は、１／１０より低い割合が挙げられる。画素間引き処理、圧縮処理等が適用されてもよい。画像解析モデル３０の検証という観点から見て、断層画像５５及び低解像度画像はいずれも被解析画像と言い得る。以下においては、低解像度画像を被解析画像という。

【0052】

画像保存部６４は、被解析画像６６を被解析画像記憶部４８に保存する。被解析画像記憶部４８には、画像解析モデル３０の動作数に相当する個数の被解析画像６６が格納されることになる。個々の被解析画像６６に保存期限を設け、保存期限の経過時に被解析画像６６が消去されてもよい。あるいは、ユーザーの明示的な指示に従って、被解析画像６６の記憶内容それ全体がクリアされてもよい。画像保存部６４は、各被解析画像６６の所在を示す情報をリンク情報として詳細レコード保存部５４へ通知する。

【0053】

詳細レコード保存部５４は、ＩＤ番号、リンク情報及び解析結果を含む詳細レコードを作成し、それを詳細レコード記憶部４６へ格納する。詳細レコード記憶部４６には、詳細レコード列４７が記憶される。詳細レコード列４７は、複数の詳細レコード５７からなる。

【0054】

ログ解析部３８におけるレポート作成部４２は、ログの中の特定のモデル動作レコードがユーザーにより選択された場合に、特定のモデル動作レコードに含まれるＩＤ番号に基づき、詳細レコード記憶部４６から、同じＩＤ番号を有する特定の詳細レコードを取得すると共に、特定の詳細レコードに含まれるリンク情報に基づき、被解析画像記憶部４８から、特定の詳細レコードに対応する特定の被解析画像を取得する。実際には、モデル動作レコードには、詳細レコードの所在を特定するハイパーリンクが埋め込まれた部分が含まれている。その部分のクリックにより、レポート作成部４２において、特定の詳細レコードが直ちに取得される。

【0055】

レポート作成部４２は、既に説明したように、特定のモデル動作レコードに含まれる情報、特定の詳細レコードに含まれる情報、及び、被解析画像、を含むモデル動作レポートを作成する。モデル動作レポートが表示器に表示される。

【0056】

図３には、詳細レコード列４７が示されている。詳細レコード列４７は、画像解析モデルの複数の動作に対応する複数の詳細レコード５７からなる。各詳細レコード５７には、ＩＤ番号６７、リンク情報（ＵＲＬ）６８、画像解析モデルの識別子７０、及び、解析結果７２が含まれる。解析結果７２は、複数のクラスに対応する複数の項目７４により構成される。各項目７４は、クラス識別子７６及びスコア７８により構成される。クラス識別子７６は、識別する組織断面の種類を示すものである。スコア７８は確信度である。使用する画像解析モデルによって、解析結果７２の内容は変わり得る。

【0057】

図４には、ログの一例が示されている。ログ８０は、例えば、検査プロトコルを構成する複数のステップを実行する過程を反映したものである。ログ８０は、時系列順で並ぶ複数のレコード（行）により構成される。基本的に、超音波診断装置の１つの動作（イベント、状態変化等を含む）に対して１つのレコードが生成される。ログ８０には、複数のモデル動作レコードが含まれる。

【0058】

例えば、その内で、モデル動作レコード８２には、実行時間８４、ＩＤ番号８６、画像解析モデル識別子８８、代表解析結果９０、解析成否を示す情報９２、等が含まれる。ＩＤ番号に相当する部分（下線を有し所定の色相で表示される部分）９４には、詳細レコードのＵＲＬがハイパーリンク情報として埋め込まれている。部分９４をクリックすることにより、対応する詳細レコードが瞬時に特定された上で、それに基づいてモデル動作レポートが作成され、そのモデル動作レポートがポップアップ表示される。例えば、ログの上にモデル動作レポートが重畳表示される。

【0059】

表示された複数のレコードの中において、下線やＩＤ番号等を手掛かりとして、個々のモデル動作レコードを容易に特定することが可能である。個々のモデル動作レコードの識別性又は視認性を高めるために、個々のモデル操作レコードに対して特別なラベルを付与してもよい。

【0060】

図５には、モデル動作レポートの第１例が示されている。モデル動作レポート９６には、テキスト情報９８、被解析画像１００及びグラフ１０２が含まれる。テキスト情報９８には、実行時刻１０４、画像解析モデルの識別子１０６、画像解析モデルのバージョン１０８、被検者ＩＤ１１０、観察すべき組織断面の種別１２４、及び、代表解析結果１２６が含まれる。

【0061】

被解析画像１００は、低解像度画像である。図示の例では静止画像が表示されているが、動画像が表示されてもよい。グラフ１０２は、解析結果を構成する複数のスコア（複数の確信度）に基づいて作成されたものである。複数のスコアが昇順で左から右へ並べられており、各スコアの大きさが各バーの高さで表現されている。複数のスコアに対応する複数のクラス（組織断面種別）が横軸に沿って表示されている（符号１２８を参照）。

【0062】

図示の例では、観察すべき組織断面の種別（クラス）がＳ８であり（符号１２８ａを参照）、それに対応するスコアは比較的に低い（１３０ａ）。このグラフ１０２は、目的とする断層画像の取得が失敗（及び未了）であることを示している。その原因として、被解析画像の品質が挙げられ、また、画像解析モデルの性能が挙げられる。プローブの位置及び姿勢が適切でないために断層画像の内容が適切でない場合、注目クラスのスコアは当然に低くなる。その一方、断層画像の内容が適切である場合において、注目クラスのスコアが低い場合、画像解析モデルの性能が十分でない可能性を指摘できる。

【0063】

このように、モデル動作レポートに含まれる入力情報及び出力情報を突き合わせることにより、画像解析モデルの動作を総合的に検証することが可能となる。時間軸に沿ってモデル動作レポートの内容を順次切り替えられるようにしてもよい。モデル動作レポートは、必要に応じて表示されるものである。すなわち、画像解析モデルの一連の動作を単に確認したい場合にはログそれ自体を参照すればよい。

【0064】

図６には、モデル動作レポートの第２例が示されている。例えば、病変部の検出を行う画像解析モデルを使用する場合、図６に示すモデル動作レポート１３２が表示される。被解析画像１３４には、検出された病変部を囲むボックス１３６が示されている。このボックス１３６は、断層画像と共に表示されるグラフィック要素である。ボックス１３６の表示座標及びサイズを参照することにより、画像解析モデルが病変部を正しく検出したか否かを検証できる。この場合においても静止画像に代えて動画像が表示されてもよい。

【0065】

図７には、モデル動作レポートの第３例が示されている。例えば、組織の計測を行う画像解析モデルを使用する場合、図７に示すモデル動作レポート１３８が表示される。被解析画像１４０には計測対象となった組織像１４２が含まれる。組織像１４２における２つの注目位置が自動的に特定され、２つの注目位置に対して２つのマーカー１４４，１４６が表示されている。それらを通過する補助線１４８も表示されている。補助線１４８上において２つの注目位置の間の距離が自動的に計測される。その計測の結果が数値として表示されている（符号１５０を参照）。例えば、組織像１４２と２つのマーカー１４４，１４６の位置とを比較することにより、画像解析モデルの動作が適切であったのか否かを検証できる。

【0066】

図８には、モデル動作レポートの第４例が示されている。画像解析モデルは、クラス分類用のモデルである。Ｓ２からＳ８までの７個の組織断面に対応する７個のスコアが演算されている。各スコアは、観察断面が特定の組織断面に該当する確率を示すものである。

【0067】

図示されたモデル動作レポート１５２には、時系列順で並ぶ複数の情報セット１５４～１６０が含まれる（ｔ１～ｔ４を参照）。すなわち、このモデル動作レポート１５２は、複数のモデル動作レコードに対応するものであり、換言すれば、複数の詳細レコードに基づいて作成されたものである。

【0068】

各情報セット１５４～１６０は、入力情報としての被解析画像１６２と、出力情報としての解析結果を示すグラフ１６４と、により構成される。各グラフ１６４は、複数のスコアを表現した複数のバーを含む。濃い色で塗り潰されているバーは、観察すべき組織断面（Ｓ８）に対応するバーである。ｔ４において、被解析画像１６２ａが画像解析モデルに入力されており、その解析により、良好な解析結果が得られている。すなわち、グラフ１６４ａにおいて、観察すべき組織断面（Ｓ８）に対応するスコアとして大きな値が演算されている。そのスコアを示すバー１６８の高さは大きく、そのバー１６８は先頭に位置している。このようなモデル動作レポートを表示すれば、画像解析モデルの動作の時間的な変化を直感的に容易に理解できる。

【0069】

以上のように、上記実施形態によれば、モデル動作レポートに含まれる詳細情報（入力情報及び出力情報）の参照を通じて、画像解析モデルの性能又は状態を詳しく検証できる。断層画像以外の超音波画像が解析されてもよい。並列的に動作する又は選択的に動作する複数の画像解析モデルの動作が記録されてもよい。

【符号の説明】

【0070】

２８ 画像解析部、３０ 画像解析モデル、３６ ログ管理部、３８ ログ解析部、４０ モデル動作管理部、４２ レポート作成部、４４ ログ記憶部、４６ 詳細レコード記憶部、４８ 被解析画像記憶部、５２ カウンタ、５４ 詳細レコード保存部、６２ 変換部、６４ 画像保存部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】