特開 2024-25980 プログラム、情報処理装置、情報処理方法、情報処理システム及び学習モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025980

(43)【公開日】2024-02-28

(54)【発明の名称】プログラム、情報処理装置、情報処理方法、情報処理システム及び学習モデルの生成方法

(51)【国際特許分類】

   A61B 8/00 20060101AFI20240220BHJP

【ＦＩ】

A61B8/00

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022129387

(22)【出願日】2022-08-15

(71)【出願人】

【識別番号】522324897

【氏名又は名称】河野 和晴

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】河野 和晴

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB09

4C601DD15

4C601EE11

4C601GA18

4C601GA21

4C601JC11

4C601KK35

(57)【要約】

【課題】最適な座標で超音波画像を取得することが可能なプログラム等を提供すること。
【解決手段】一つの側面に係るプログラムは、ロボットアーム１に取り付けられた超音波プローブの位置及び角度により特定される座標で超音波画像を取得し、超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された第１学習モデルに、取得した超音波画像を入力して座標情報を出力する処理をコンピュータに実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットアームに取り付けられた超音波プローブの位置及び角度により特定される座標で超音波画像を取得し、
超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された第１学習モデルに、取得した超音波画像を入力して座標情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記座標情報に基づく座標で超音波画像を取得し、
超音波画像を入力した場合に評価情報を出力する第２学習モデルに、取得した超音波画像を入力して評価情報を出力する
処理を実行させる請求項１に記載のプログラム。

【請求項3】

第１の領域内の複数の座標で超音波画像を取得し、
取得した複数の座標の超音波画像を前記第２学習モデルに入力して評価情報を出力し、
出力された評価情報が第１の所定条件を満たす超音波画像の座標を特定する
処理を実行させる請求項２に記載のプログラム。

【請求項4】

前記第１の領域内の座標で超音波画像を取得し、
取得した超音波画像及び患者の臨床情報に基づき、前記座標を補正し、
補正後の座標で超音波画像を取得し、
取得した超音波画像を前記第２学習モデルに入力する
処理を実行させる請求項３に記載のプログラム。

【請求項5】

超音波画像の特徴量及び臨床情報に基づくクラスタリングにより座標が複数のクラスタに分類されており、
補正前の座標と、前記補正前の座標が属するクラスタの代表座標との座標差を算出し、
算出した座標差に基づき、前記補正前の座標を補正する
処理を実行させる請求項４に記載のプログラム。

【請求項6】

前記臨床情報は、前記患者の身長、体重または性別を含む
処理を実行させる請求項４に記載のプログラム。

【請求項7】

ロボットアームに取り付けられたセンサからセンサデータを取得し、
前記第１学習モデルは、取得したセンサデータと前記超音波画像とを入力して座標情報を出力する
処理を実行させる請求項１又は２に記載のプログラム。

【請求項8】

前記第１学習モデルは、移動すべき位置及び角度に関する移動量を出力する
処理を実行させる請求項１又は２に記載のプログラム。

【請求項9】

特定した座標を含む第１の領域より狭い第２の領域内の複数の座標での超音波画像とセンサデータとを前記第１学習モデルに入力して、複数の座標情報を出力し、
各座標情報に基づく座標の超音波画像を第２学習モデルに入力することにより得られる評価情報が第２の所定条件を満たす超音波画像または座標を特定する
処理を実行させる請求項７に記載のプログラム。

【請求項10】

ロボットアームに取り付けられた超音波プローブの位置及び角度により特定される座標で超音波画像を取得する取得部と、
超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された第１学習モデルに、取得した超音波画像を入力して座標情報を出力する出力部と
を備える情報処理装置。

【請求項11】

ロボットアームに取り付けられた超音波プローブの位置及び角度により特定される座標で超音波画像を取得し、
超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された第１学習モデルに、取得した超音波画像を入力して座標情報を出力する
処理をコンピュータが実行する情報処理方法。

【請求項12】

超音波プローブの移動及び回転を実行可能なロボットアームと、前記ロボットアームに接続される情報処理装置とを備える情報処理システムにおいて、
前記情報処理装置は、
制御部を備え、
該制御部は、
前記超音波プローブの位置及び角度により特定される座標で超音波画像を取得し、
超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された第１学習モデルに、取得した超音波画像を入力して座標情報を出力する
ことを特徴とする情報処理システム。

【請求項13】

超音波画像と、移動すべき座標に関する座標情報とを含む訓練データを取得し、
取得した訓練データを用いて、超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力する学習モデルを生成する
処理をコンピュータが実行する学習モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置、情報処理方法、情報処理システム及び学習モデルの生成方法に関する。

【背景技術】

【0002】

医療分野において、超音波画像解析に関する技術がある。特許文献１には、予め設定された領域に所定の臓器を含む医用画像データを学習済みモデルに入力し、学習済みモデルからの出力結果に基づき、医用画像データにおける当該臓器へ関心領域を設定する画像解析装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０９２７６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、最適な座標で超音波画像（医用画像データ）を取得することができないという問題がある。

【0005】

一つの側面では、最適な座標で超音波画像を取得することが可能なプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、ロボットアームに取り付けられた超音波プローブの位置及び角度により特定される座標で超音波画像を取得し、超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された第１学習モデルに、取得した超音波画像を入力して座標情報を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、最適な座標で超音波画像を取得することが可能となる。

【図面の簡単な説明】

【0008】

【図1】超音波診断システムの構成例を示す模式図である。

【図2】ロボットアームの各構成部品の一例を示す図である。

【図3】診断装置の構成例を示すブロック図である。

【図4】訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図5】最適な座標で超音波画像を取得する処理を説明する説明図である。

【図6】座標情報出力モデルを説明する説明図である。

【図7】評価情報出力モデルを説明する説明図である。

【図8】超音波画像の表示画面の一例を示す説明図である。

【図9】座標情報出力モデルの生成処理の手順を示すフローチャートである。

【図10】最適な座標で超音波画像を取得する際の処理手順を示すフローチャートである。

【図11】大まかな探索処理のサブルーチンの処理手順を示すフローチャートである。

【図12】細かい探索処理のサブルーチンの処理手順を示すフローチャートである。

【図13】実施形態２における診断装置の構成例を示すブロック図である。

【図14】臨床情報ＤＢのレコードレイアウトの一例を示す説明図である。

【図15】クラスタリング処理を説明する説明図である。

【図16】実施形態２における最適な座標で超音波画像を取得する際の処理手順を示すフローチャートである。

【図17】実施形態２における大まかな探索処理のサブルーチンの処理手順を示すフローチャートである。

【図18】座標補正処理のサブルーチンの処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、超音波画像に基づき、人工知能（ＡＩ：Artificial Intelligence）を用いて、最適な座標で超音波画像を取得する形態に関する。

【0011】

図１は、超音波診断システムの構成例を示す模式図である。図１に示すシステムは、超音波プローブの移動及び回転を実行可能なロボットアーム１、当該ロボットアーム１に接続される情報処理装置２、及び超音波画像等を表示する表示装置３を含む。各装置は、コネクタを介して電気信号または映像信号等の送受信を行う。

【0012】

ロボットアーム１は、超音波プローブの移動及び回転を自動実行する機械である。ロボットアーム１は、後述する情報処理装置２と接続されている。

【0013】

情報処理装置２は、ロボットアーム１に取り付けられた超音波プローブにより出力された反射波情報を、超音波画像情報に変換する装置である。超音波画像に基づき、被検者における病変の有無等を診断することができる。また、情報処理装置２は、種々の情報に対する処理、記憶及び送受信を行う。情報処理装置２は、例えば、超音波診断装置（超音波用プロセッサ装置）等であっても良い。なお、情報処理装置２は、パーソナルコンピュータまたはサーバ装置等であっても良い。以下では簡潔のため、情報処理装置２を診断装置２と読み替える。

【0014】

表示装置３は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、診断装置２から出力された超音波画像等を表示する。

【0015】

本実施形態に係る診断装置２は、ロボットアーム１に取り付けられた超音波プローブの位置及び角度により特定される座標で超音波画像を取得する。診断装置２は、超音波画像を入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された座標情報出力モデル（第１学習モデル）に、取得した超音波画像を入力して座標情報を出力する。

【0016】

診断装置２は、座標情報出力モデルから出力された座標情報に基づく座標で超音波画像を取得する。診断装置２は、超音波画像を入力した場合に評価情報を出力する評価情報出力モデル（第２学習モデル）に、取得した超音波画像を入力して評価情報を出力する。なお、座標情報出力モデル及び評価情報出力モデルに関しては後述する。

【0017】

図２は、ロボットアーム１の各構成部品の一例を示す図である。ロボットアーム１は、先端部１１を有する。先端部１１は、超音波プローブ１１１、圧力センサ１１２及び距離センサ１１３を含む。

【0018】

超音波プローブ１１１は、被検体の対象臓器（例えば、心臓または腹部）における超音波プローブの位置を機械的に走査するための診断装置２用の探触子である。圧力センサ１１２は、超音波プローブ１１１が受ける被検体の皮膚の圧力を測定することにより得られた圧力信号を感知し、感知した圧力信号を電気信号に変換して出力する装置である。距離センサ１１３は、例えば、対象物に対してレーザ光または超音波を発信し、レーザ光の反射光または超音波の反射波を受信するまでの時間に基づいて、被検体の対象臓器の体表面（皮膚）までの距離（深度）を測定する装置である。

【0019】

図３は、診断装置２の構成例を示すブロック図である。診断装置２は、制御部２１、記憶部２２、操作入力部２３、出力部２４、通信部２５、読取部２６及び大容量記憶部２７を含む。各構成はバスＢで接続されている。

【0020】

制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、または量子プロセッサ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐ（プログラム製品）を読み出して実行することにより、診断装置２に係る種々の情報処理、制御処理等を行う。なお、図２では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0021】

記憶部２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。

【0022】

操作入力部２３は、例えばタッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生した入力信号を制御部２１に入力する。出力部２４は、制御部２１の制御の下で、表示用の画像信号及び各種の情報を表示装置３に出力し、画像及び情報を表示させる。

【0023】

通信部２５は、通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、外部の情報処理装置等との間で情報の送受信を行う。

【0024】

読取部２６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体２ａを読み取る。制御部２１が読取部２６を介して、制御プログラム２Ｐを可搬型記憶媒体２ａより読み取り、大容量記憶部２７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部２１が制御プログラム２Ｐをダウンロードし、大容量記憶部２７に記憶しても良い。さらにまた、半導体メモリ２ｂから、制御部２１が制御プログラム２Ｐを読み込んでも良い。

【0025】

大容量記憶部２７は、例えばＨＤＤ（Hard disk drive：ハードディスク）、ＳＳＤ(Solid State Drive：ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部２７には、座標情報出力モデル（第１学習モデル）２７１、評価情報出力モデル（第２学習モデル）２７２及び訓練データＤＢ（database）２７３が記憶されている。

【0026】

座標情報出力モデル２７１は、被検体の対象臓器（例えば、心臓または腹部）に対し、超音波プローブ１１１の位置及び角度により特定された座標で取得された超音波画像に基づき、当該座標に関する座標情報を出力する推定器であり、機械学習により生成された学習済みモデルである。なお、座標情報については後述する。

【0027】

評価情報出力モデル２７２は、超音波画像に基づき、当該超音波画像の評価情報を出力する推定器であり、機械学習により生成された学習済みモデルである。訓練データＤＢ２７３は、座標情報出力モデル２７１または評価情報出力モデル２７２を構築（作成）するための訓練データを記憶している。

【0028】

なお、他のコンピュータ（図示せず）またはクラウドサーバ等により学習処理を行い、学習後の座標情報出力モデル２７１または評価情報出力モデル２７２を診断装置２にデプロイしても良い。なお、座標情報出力モデル２７１または評価情報出力モデル２７２を構築せずに、機械学習モデルを使ったＷＥＢ ＡＰＩ（Application Programming Interface）を利用しても良い。

【0029】

なお、本実施形態において記憶部２２及び大容量記憶部２７は一体の記憶装置として構成されていても良い。また、大容量記憶部２７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部２７は診断装置２に接続された外部記憶装置であっても良い。

【0030】

図４は、訓練データＤＢ２７３のレコードレイアウトの一例を示す説明図である。訓練データＤＢ２７３は、訓練ＩＤ列、学習モデル種類列、入力データ列及び出力データ列を含む。訓練ＩＤ列は、各訓練データを識別するために、一意に特定される訓練データのＩＤを記憶している。学習モデル種類列は、座標情報出力モデル２７１及び評価情報出力モデル２７２を含む学習モデルの種類を記憶している。

【0031】

学習モデルの種類が座標情報出力モデル２７１である場合、入力データ列は、被検体の対象臓器の超音波画像及びセンサデータ（圧力データまたは距離データ等）を記憶している。出力データ列は、超音波画像に対応する座標に関する座標情報を記憶している。なお、座標情報に関しては後述する。

【0032】

また、学習モデルの種類が評価情報出力モデル２７２である場合、入力データ列は、被検体の対象臓器の超音波画像を記憶している。出力データ列は、超音波画像の評価情報（例えば、スコア）を記憶している。

【0033】

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

【0034】

図５は、最適な座標で超音波画像を取得する処理を説明する説明図である。
まず、診断装置２は、対象臓器における初回の超音波画像の撮像位置を示す初回座標を特定する。座標は、超音波プローブ１１１の先端の位置及び角度（回転角度）を含む。具体的には、座標は、ｘ軸の座標値、ｙ軸の座標値、ｚ軸の座標値、ｘ軸に対する角度、ｙ軸に対する角度及びｚ軸に対する角度を含む。

【0035】

例えば、対象臓器（例えば、心臓）の中心である座標の原点とし、座標のｘ軸が水平方向の位置であり、ｙ軸が垂直方向の位置であり、及びｚ軸が対象臓器の視点方向の位置である。座標は、位置及び角度で構成され、例えば「ｘ_ｐ，ｙ_ｐ，ｚ_ｐ，ｘ_ａ，ｙ_ａ，ｚ_ａ」である。ｘ_ｐ，ｙ_ｐ，ｚ_ｐは位置を示し、ｘ_ａ，ｙ_ａ，ｚ_ａは角度を示す。例えば、座標は「０．０１，０．２，０，０，０，３０」であっても良い。

【0036】

本実施形態では、初回座標は、座標の頻度順リストから得られる。頻度順リストは、対象臓器の体表面に割り振られた座標と、当該座標で取得された好ましい超音波画像の出現頻度との関係に基づいて作成されたリストである。

【0037】

図示のように、第１の領域において、座標の頻度順リストに含まれる２５個の座標が記憶部２２または大容量記憶部２７に記憶されている。座標の頻度順リストには、例えば、座標ＩＤ、位置及び角度を含む座標の値、並びに、好ましい超音波画像の出現頻度により得られた優先順位等を含む。診断装置は、座標の頻度順リストから、好ましい超音波画像の出現頻度の最も高い座標（優先順位の高い座標）を初回座標として特定する。なお、初回座標は、対象臓器の超音波画像の座標系における原点（０，０，０，０，０，０）であっても良い。

【0038】

診断装置２は、被検体の対象臓器（例えば、心臓）に対し、ロボットアーム１の先端部１１に取り付けられた超音波プローブ１１１の位置及び角度により、特定した初回座標で当該対象臓器の超音波画像を取得する。

【0039】

次に、診断装置２は、取得した超音波画像に基づき、大まかな探索処理を行う。大まかな探索は、対象臓器を撮像可能な座標を取得するための探索処理である。具体的には、診断装置２は、座標の頻度順リストに基づき、座標の頻度順に１つの座標で超音波画像を取得する。診断装置２は、超音波画像を入力した場合に評価情報を出力する評価情報出力モデル２７２に、取得した超音波画像を入力して評価情報を出力する。なお、評価情報出力モデル２７２に関しては後述する。

【0040】

評価情報は、例えば、被検体の対象臓器と、当該対象臓器の超音波画像との関係に基づいて評価されたスコアである。例えば、対象臓器が心臓である場合、僧帽弁（心臓の左心房と左心室の間にある弁）または大動脈弁等を検出することができるか否かに基づき、スコアを付与しても良い。例えば、僧帽弁と大動脈弁との両方を検出した場合、スコアが「９０」であり、僧帽弁及び大動脈弁の一方のみを検出した場合、スコアが「８０」であっても良い。

【0041】

なお、評価情報には、超音波画像に対して評価されたレベル情報（例えば、レベル１～１０）、または、超音波画像に対して評価された連続的な数値（例えば「０」から「１」までの範囲の値）等が含まれても良い。更にまた、評価情報には、好ましい超音波画像か、または悪い超音波画像かを示す情報等が含まれても良い。例えば、好ましい超音波画像が「１」であり、または、悪い超音波画像が「０」であっても良い。

【0042】

診断装置２は、出力した評価情報が第１の所定条件を満たすか否かを判定する。例えば、評価情報がスコアである場合、第１の所定条件が「スコア：所定の第１スコア閾値以上」である。第１スコア閾値は、対象臓器ごとに予め設定されたスコアである。例えば、第１スコア閾値が「８０」であっても良い。

【0043】

診断装置２は、スコアが第１スコア閾値以上である場合、当該評価情報が第１の所定条件を満たすと判定する。診断装置２は、スコアが第１スコア閾値未満である場合、当該評価情報が第１の所定条件を満たしていないと判定する。診断装置２は、当該評価情報が第１の所定条件を満たすと判定した場合、当該超音波画像に対応する座標を第１の領域内の座標として記憶部２２に記憶する。

【0044】

診断装置２は、座標の頻度順に基づいて、超音波プローブ１１１を次の座標に移動させる。診断装置２は、移動後の座標で対象臓器の超音波画像を取得する。診断装置２は、取得した超音波画像を座標情報出力モデル２７１に入力し、上述した処理を繰り返して実行する。

【0045】

なお、対象臓器における撮像回数の閾値が設けられても良い。例えば、座標の頻度順リストに含まれる座標の数（例えば、２５）より少ない数（例えば、２０）を撮像回数の閾値として設定しても良い。診断装置２は、撮像回数が所定の閾値未満である場合、座標の頻度順に基づいて、超音波プローブ１１１を次の座標に移動させ、上述した処理を繰り返して実行する。診断装置２は、撮像回数が所定の閾値以上である場合、後述する処理を実行する。

【0046】

診断装置２は、座標の頻度順リストに含まれる各座標に対して、上述した処理を実行した後に、大まかな探索処理により得られた第１の領域内の評価の最も高い座標を記憶部２２から取得する。そして、診断装置２は、取得した座標に基づき、細かい探索処理を行うことにより、当該第１の領域より狭い第２の領域内の座標を出力する。

【0047】

具体的には、診断装置２は、大まかな探索処理により得られた座標で超音波画像を取得する。診断装置２は、ロボットアーム１に付けられたセンサから、当該超音波画像に対応するセンサデータを取得する。例えば、センサデータは、ロボットアーム１に付けられた圧力センサ１１２により得られた圧力データと、距離センサ１１３により得られた距離データとの両方を含む。なお、圧力データ及び距離データのいずれかの一方を利用しても良い。

【0048】

診断装置２は、超音波画像及びセンサデータを入力した場合に、移動すべき座標に関する座標情報を出力するよう学習された座標情報出力モデル２７１に、取得した超音波画像及びセンサデータを入力し、当該超音波画像に対応する座標に関する座標情報を出力する。なお、座標情報出力モデル２７１に関しては後述する。

【0049】

座標情報は、座標に含まれる位置及び角度に関する移動量である。例えば、座標情報が「０，＋０．０１，０，０，０，＋１０」である場合、ｘ軸の移動量が「０」であり、ｙ軸の移動量が「＋０．０１」であり、ｚ軸の移動量が「０」であり、ｘ軸に対する角度の移動量（回転量）が「０」であり、ｙ軸に対する角度の移動量が「０」であり、且つ、ｚ軸に対する角度の移動量が「＋１０」である。なお、以下では簡潔のため、座標情報を移動量と読み替える。

【0050】

診断装置２は、取得した座標の移動量に基づき、移動すべき座標を算出する。例えば、座標（移動前の座標）が「０．０１，０．２，０，０，０，３０」であり、かつ、座標の移動量が「０，＋０．０１，０，０，０，＋１０」である場合、移動すべき座標が「０．０１，０．２１，０，０，０，４０」である。

【0051】

診断装置２は、算出した移動すべき座標に超音波プローブ１１１を移動させる。診断装置２は、移動後の座標で超音波画像を取得する。診断装置２は、取得した超音波画像を座標情報出力モデル２７１に入力し、評価情報を出力する。

【0052】

診断装置２は、出力した評価情報が第２の所定条件を満たすか否かを判定する。例えば、評価情報がスコアである場合、第２の所定条件が「スコア：所定の第２スコア閾値以上」である。第２スコア閾値は、対象臓器ごとに予め設定されたスコアである。例えば、第２スコア閾値が「８５」であっても良い。なお、第２の所定条件は、第１の所定条件と同一であっても良い。

【0053】

診断装置２は、スコアが第２スコア閾値以上である場合、当該評価情報が第２の所定条件を満たすと判定する。診断装置２は、スコアが第２スコア閾値未満である場合、当該評価情報が第２の所定条件を満たしていないと判定する。

【0054】

診断装置２は、当該評価情報が第２の所定条件を満たしていないと判定した場合、ロボットアーム１に付けられたセンサからセンサデータ（例えば、圧力データまたは距離データ）を再取得する。診断装置２は、当該超音波画像、及び再取得したセンサデータを座標情報出力モデル２７１に入力し、上述した処理を繰り返して実行する。

【0055】

診断装置２は、当該評価情報が第２の所定条件を満たすと判定した場合、当該超音波画像に対応する座標を第２の領域内の座標として出力する。また、評価情報が第２の所定条件を満たす第２の領域内の複数の座標を取得することができる。例えば診断装置２は、上述した処理を繰り返して実行し、超音波画像の評価の高い順に、当該第２の領域内の所定数（例えば、３）の座標を出力しても良い。

【0056】

診断装置２は、出力した座標で超音波画像を取得し、取得した超音波画像を表示装置３に出力する。なお、診断装置２は、複数の超音波画像を取得した場合、評価の高い順に複数の超音波画像を表示装置３に出力しても良い。表示装置３は、診断装置２から出力された超音波画像を表示する。

【0057】

図６は、座標情報出力モデル２７１を説明する説明図である。座標情報出力モデル２７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。座標情報出力モデル２７１は、超音波画像、及びロボットアーム１に取り付けられたセンサから取得されたセンサデータを入力とし、移動すべき座標の移動量（位置及び角度に関する移動量）を出力とするニューラルネットワークを構築済みの推定器である。

【0058】

図２に示すように、ロボットアーム１の先端部１１に、圧力センサ１１２及び距離センサ１１３が取り付けられる。センサデータは、圧力センサ１１２により得られた圧力データ、または距離センサ１１３により得られた距離データ等を含む。なお、本実施形態では、圧力センサ１１２及び距離センサ１１３の例を説明するが、これに限るものではない。例えば、位置情報を取得する位置センサ、ジャイロセンサまたは加速度センサ等を利用しても良い。

【0059】

診断装置２は、座標情報出力モデル２７１として、超音波画像及びセンサデータの特徴量を学習するディープラーニングを行うことで座標情報出力モデル２７１を生成する。例えば、座標情報出力モデル２７１はＣＮＮであり、超音波画像及びセンサデータの入力を受け付ける入力層と、当該超音波画像における移動すべき座標の移動量を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0060】

入力層は、超音波画像に含まれる各画素の画素値及びセンサデータの入力を受け付ける複数のニューロンを有し、入力された画素値及びセンサデータを中間層に受け渡す。中間層は、超音波画像及びセンサデータの特徴量を抽出する複数のニューロンを有し、抽出した特徴量を出力層に受け渡す。中間層は、入力層から入力された各画素の画素値及びセンサデータを畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、超音波画像の画素情報を圧縮しながら最終的に超音波画像及びセンサデータの特徴量を抽出する。

【0061】

その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、移動すべき座標の移動量を推定する。推定結果は、複数のニューロンを有する出力層に出力される。

【0062】

なお、超音波画像及びセンサデータは、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。

【0063】

なお、ＣＮＮの代わりに、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）、ＳＶＭ、ベイジアンネットワーク、トランスフォーマー（Transformer）ネットワーク、または回帰木等の任意の学習アルゴリズムを使用しても良い。

【0064】

座標情報出力モデル２７１は、予め学習処理がなされた学習済みのモデルである。学習処理は、予め与えられた多数の訓練データを用いて、ニューラルネットワークを構成する各ニューロンの係数及び閾値等に適切な値を設定する処理である。本実施の形態に係る座標情報出力モデル２７１は、訓練データＤＢ２７３に蓄積された、座標情報出力モデル２７１における訓練データを用いて学習処理が行われる。

【0065】

訓練データは、超音波画像及びセンサデータと、移動すべき座標の移動量とが対応付けられた組み合わせのデータである。訓練データは、被検体に対する超音波検査から収集された大量の超音波画像に基づいて生成される。なお、訓練データは別途人手で作成されたデータであっても良い。

【0066】

座標の移動量の算出処理に関しては、例えば診断装置２は、移動前の座標で第１超音波画像を取得する。診断装置２は、例えば、後述する評価情報出力モデル２７２を用いて、取得した第１超音波画像の評価情報（例えば、スコア）を取得する。診断装置２は、取得した第１超音波画像の評価が所定条件（例えば、スコアの閾値以上）を満たしていない場合、所定の移動量で移動後の座標を特定する。

【0067】

診断装置２は、特定した移動後の座標で第２超音波画像を取得する。診断装置２は、評価情報出力モデル２７２を用いて、取得した第２超音波画像の評価情報を取得する。診断装置２は、第２超音波画像の評価が所定条件を満たす場合、移動前の座標と移動後の座標との座標差を移動すべき座標の移動量として算出する。

【0068】

または、医師等が適当と考える最適な超音波画像の座標から、移動前の超音波画像の座標を減らして移動量を算出することができる。

【0069】

診断装置２は、訓練データを用いて学習を行う。具体的には、診断装置２は、訓練データである超音波画像及びセンサデータを入力層に入力し、中間層での演算処理を経て、出力層から座標の移動量を出力する。出力層は、例えばシグモイド関数またはソフトマックス関数を含み、中間層から出力された特徴量に基づいて、推定された座標の移動量を出力する。

【0070】

診断装置２は、出力層から出力された推定結果を、訓練データにおいて超音波画像及びセンサデータに対しラベル付けされた情報（座標の移動量）、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば、診断装置２は誤差逆伝播法を用いて各種パラメータの最適化を行う。

【0071】

診断装置２は、訓練データに含まれる各超音波画像及びセンサデータについて上記の処理を行い、座標情報出力モデル２７１を生成する。これにより、例えば診断装置２は、訓練データを用いて座標情報出力モデル２７１の学習を行うことで、移動すべき座標の移動量を出力可能なモデルを生成することができる。

【0072】

診断装置２は超音波画像及びセンサデータを取得した場合、取得した超音波画像及びセンサデータを座標情報出力モデル２７１に入力する。診断装置２は、座標情報出力モデル２７１の中間層にて超音波画像及びセンサデータの特徴量を抽出する演算処理を行う。診断装置２は、抽出した特徴量を座標情報出力モデル２７１の出力層に入力して、座標の移動量を推定した推定結果を出力として取得する。

【0073】

図示のように、超音波画像及びセンサデータに対し、座標の移動量が「０，＋０．０１，０，０，０，＋１０」である推定結果が出力される。すなわち、ｘ軸の移動量が「０」であり、ｙ軸の移動量が「＋０．０１」であり、ｚ軸の移動量が「０」であり、ｘ軸に対する角度の移動量（回転量）が「０」であり、ｙ軸に対する角度の移動量が「０」であり、且つ、ｚ軸に対する角度の移動量が「＋１０」である。

【0074】

なお、上述した学習処理にはセンサデータが用いられたが、これに限るものではない。例えば診断装置２は、超音波画像と、移動すべき座標の移動量とが対応付けられた組み合わせの訓練データを用いて、座標情報出力モデル２７１の学習処理を行っても良い。

【0075】

図７は、評価情報出力モデル２７２を説明する説明図である。評価情報出力モデル２７２は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。評価情報出力モデル２７２は、超音波画像を入力とし当該超音波画像の評価情報（例えば、スコア）を出力とするニューラルネットワークを構築済みの推定器である。

【0076】

診断装置２は、評価情報出力モデル２７２として、超音波画像の特徴量を学習するディープラーニングを行うことで評価情報出力モデル２７２を生成する。例えば、評価情報出力モデル２７２はＣＮＮであり、超音波画像の入力を受け付ける入力層と、スコアを出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。複数のニューロンを有する出力層は、超音波画像のスコアの予測値を出力する。

【0077】

なお、ＣＮＮの代わりに、ＲＣＮＮ、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ、ＹＯＬＯ、ＳＶＭ、ベイジアンネットワーク、トランスフォーマーネットワーク、または回帰木等の任意の学習アルゴリズムを使用しても良い。

【0078】

評価情報出力モデル２７２は、予め学習処理がなされた学習済みのモデルである。本実施の形態に係る評価情報出力モデル２７２は、訓練データＤＢ２７３に蓄積された、評価情報出力モデル２７２における訓練データを用いて学習処理が行われる。訓練データは、超音波画像と、当該超音波画像のスコアとが対応付けられた組み合わせのデータである。

【0079】

なお、訓練データは、超音波画像と、当該超音波画像における医師等のアノテーションデータとが対応付けられた組み合わせのデータであっても良い。アノテーションデータは、超音波画像に対してラベル付けされたデータである。例えば、好ましい超音波画像に「〇」であるアノテーションを付け、悪い超音波画像に「×」であるアノテーションを付けても良い。

【0080】

診断装置２は、訓練データを用いて学習を行う。具体的には、診断装置２は、訓練データである超音波画像を入力層に入力し、中間層での演算処理を経て、出力層から当該超音波画像のスコアの推定値を出力する。出力層は、例えばシグモイド関数またはソフトマックス関数を含み、中間層から出力された特徴量に基づいて、推定されたスコアを出力する。

【0081】

診断装置２は、出力層から出力された推定結果を、訓練データにおいて超音波画像に対しラベル付けされた情報（スコア）、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば、診断装置２は誤差逆伝播法を用いて各種パラメータの最適化を行う。

【0082】

診断装置２は、訓練データに含まれる各超音波画像について上記の処理を行い、評価情報出力モデル２７２を生成する。これにより、例えば診断装置２は、訓練データを用いて評価情報出力モデル２７２の学習を行うことで、超音波画像のスコアを出力可能なモデルを生成することができる。

【0083】

診断装置２は超音波画像を取得した場合、取得した超音波画像を評価情報出力モデル２７２に入力する。診断装置２は、評価情報出力モデル２７２の中間層にて超音波画像の特徴量を抽出する演算処理を行う。診断装置２は、抽出した特徴量を評価情報出力モデル２７２の出力層に入力して、超音波画像のスコアを推定した推定結果を出力として取得する。図示のように、超音波画像に対し、スコアが「９０」である推定結果が出力される。

【0084】

図８は、超音波画像の表示画面の一例を示す説明図である。表示画面は、超音波画像表示欄１１ａ及び候補超音波画像表示欄１１ｂを含む。超音波画像表示欄１１ａは、最適な座標（例えば、第１位の座標）、及び当該座標で取得された超音波画像等を表示する表示欄である。候補超音波画像表示欄１１ｂは、候補座標（例えば、第２位の座標、第３位の座標及び第４位の座標）、及び当該候補座標で取得された超音波画像等を表示する表示欄である。

【0085】

診断装置２は、被検体の対象臓器（例えば、心臓）における初回座標を特定する。診断装置２は、対象臓器に対し、超音波プローブ１１１の位置及び角度により、特定した初回座標で当該対象臓器の超音波画像を取得する。診断装置２は、取得した超音波画像に基づき、大まかな探索処理を行う。

【0086】

診断装置２は、大まかな探索処理により得られた第１の領域内の座標に基づき、細かい探索処理を行うことにより、当該第１の領域より狭い第２の領域内の複数の座標を出力する。例えば診断装置２は、超音波画像の評価の高い順に、当該第２の領域内の所定数（例えば、４）の座標を出力しても良い。診断装置２は、出力した各座標で超音波画像を取得し、取得した複数の超音波画像を表示装置３に出力する。表示装置３は、診断装置２から出力された複数の超音波画像を表示する。

【0087】

図示のように、評価が最も高い第１位（スコア：９５）の座標、及び当該第１位の座標で取得された超音波画像を超音波画像表示欄１１ａに表示される。また、超音波画像の評価の高い順に、第２位（スコア：９３）、第３位（スコア：９１）及び第４位（スコア：８８）の候補座標と、及び各候補座標で取得された超音波画像を候補超音波画像表示欄１１ｂに表示される。

【0088】

図９は、座標情報出力モデル２７１の生成処理の手順を示すフローチャートである。診断装置２の制御部２１は、座標情報出力モデル２７１における、超音波画像及びセンサデータと、移動すべき座標の移動量とが対応付けられた訓練データを大容量記憶部２７の訓練データＤＢ２７３から複数取得する（ステップＳ２０１）。

【0089】

制御部２１は、取得した訓練データを用いて、超音波画像及びセンサデータを入力として、当該超音波画像における移動すべき座標の移動量を出力とする座標情報出力モデル２７１を生成する（ステップＳ２０２）。制御部２１は、生成した座標情報出力モデル２７１を記憶部２２または大容量記憶部２７に記憶し（ステップＳ２０３）、一連の処理を終了する。

【0090】

図１０は、最適な座標で超音波画像を取得する際の処理手順を示すフローチャートである。診断装置２の制御部２１は、例えば、予め設定された座標の頻度順リストから、好ましい超音波画像の出現頻度の最も高い座標を、被検体の対象臓器における初回の超音波画像の撮像位置を示す初回座標として特定する（ステップＳ２１１）。制御部２１は、当該対象臓器に対し、超音波プローブ１１１の位置及び角度により、特定した初回座標で当該対象臓器の超音波画像を取得する（ステップＳ２１２）。

【0091】

制御部２１は、取得した超音波画像に基づき、大まかな探索処理のサブルーチンを実行する（ステップＳ２１３）。制御部２１は、大まかな探索処理により得られた第１の領域内の座標で超音波画像を取得する（ステップＳ２１４）。制御部２１は、取得した超音波画像に基づき、細かい探索処理のサブルーチンを実行する（ステップＳ２１５）。なお、大まかな探索処理及び細かい探索処理のサブルーチンに関しては後述する。

【0092】

制御部２１は、細かい探索処理により得られた、当該第１の領域より狭い第２の領域内の座標で超音波画像を取得する（ステップＳ２１６）。制御部２１は、取得した超音波画像を出力部２４により表示装置３に出力する（ステップＳ２１７）。表示装置３は、診断装置２から出力された超音波画像を取得する（ステップＳ３１１）。表示装置３は、取得した超音波画像を表示し（ステップＳ３１２）、処理を終了する。

【0093】

図１１は、大まかな探索処理のサブルーチンの処理手順を示すフローチャートである。診断装置２の制御部２１は、座標の頻度の高い順に、座標の頻度順リストから１つの座標を取得する（ステップＳ０１）。例えば制御部２１は、頻度の高い順に、初回座標の次の第２座標、第２座標の次の第３座標等を順次に取得する。制御部２１は、超音波プローブ１１１の位置及び角度により、取得した座標で超音波画像を取得する（ステップＳ０２）。

【0094】

制御部２１は、超音波画像を入力した場合に評価情報を出力する評価情報出力モデル２７２に、取得した超音波画像を入力し（ステップＳ０３）、当該超音波画像のスコア（評価情報）を出力する（ステップＳ０４）。制御部２１は、スコアが所定の閾値（例えば、８０）以上であるか否かを判定する（ステップＳ０５）。制御部２１は、スコアが所定の閾値未満である場合（ステップＳ０５でＮＯ）、後述するステップＳ０７の処理に遷移する。

【0095】

制御部２１は、スコアが所定の閾値以上である場合（ステップＳ０５でＹＥＳ）、当該超音波画像に対応する座標を第１の領域内の座標として記憶部２２に記憶する（ステップＳ０６）。制御部２１は、座標の頻度順リストにおいて、当該座標が最後の座標であるか否かを判定する（ステップＳ０７）。

【0096】

制御部２１は、当該座標が最後の座標でない場合（ステップＳ０７でＮＯ）、ステップＳ０１の処理に戻る。制御部２１は、当該座標が最後の座標である場合（ステップＳ０７でＹＥＳ）、第１の領域内の評価の最も高い座標を出力する（ステップＳ０８）。制御部２１は、大まかな探索処理のサブルーチンを終了してリターンする。

【0097】

図１２は、細かい探索処理のサブルーチンの処理手順を示すフローチャートである。診断装置２の制御部２１は、ステップＳ２１４の処理により得られた第１の領域内の座標で超音波画像を取得する（ステップＳ１１）。制御部２１は、ロボットアーム１に付けられたセンサからセンサデータ（例えば、圧力データまたは距離データ）を取得する（ステップＳ１２）。

【0098】

制御部２１は、超音波画像及びセンサデータを入力した場合に、移動すべき座標の移動量を出力する座標情報出力モデル２７１に、取得した超音波画像及びセンサデータを入力し（ステップＳ１３）、当該超音波画像における移動すべき座標の移動量を出力する（ステップＳ１４）。

【0099】

制御部２１は、座標情報出力モデル２７１から出力された座標の移動量に基づき、移動すべき座標を算出する（ステップＳ１５）。制御部２１は、算出した移動すべき座標に超音波プローブ１１１を移動させ、移動すべき座標で超音波画像を取得する（ステップＳ１６）。制御部２１は、取得した超音波画像を評価情報出力モデル２７２に入力し（ステップＳ１７）、当該の超音波画像のスコア（評価情報）を出力する（ステップＳ１８）。

【0100】

制御部２１は、スコアが所定の閾値（例えば、８５）以上であるか否かを判定する（ステップＳ１９）。制御部２１は、スコアが所定の閾値未満である場合（ステップＳ１９でＮＯ）、ステップＳ１２の処理に戻り、前回のステップＳ１６の処理で取得された超音波画像と、その際のセンサデータとを取得する。制御部２１は、スコアが所定の閾値以上である場合（ステップＳ１９でＹＥＳ）、当該超音波画像に対応する座標を第２の領域内の座標として出力する（ステップＳ２０）。制御部２１は、細かい探索処理のサブルーチンを終了してリターンする。

【0101】

本実施形態によると、超音波画像及びセンサデータに基づき、座標情報出力モデル２７１を用いて、移動すべき座標の移動量（座標情報）を出力することが可能となる。

【0102】

本実施形態によると、超音波画像に基づき、評価情報出力モデル２７２を用いて、当該超音波画像の評価情報を出力することが可能となる。

【0103】

本実施形態によると、座標情報出力モデル２７１により得られた座標の移動量に基づく座標で超音波画像取得し、取得した超音波画像を評価情報出力モデル２７２に入力し、より高い評価の超音波画像を取得することが可能となる。

【0104】

本実施形態によると、大まかな探索処理及び細かい探索処理を行うことにより、最適な座標で超音波画像を取得することが可能となる。

【0105】

（実施形態２）
実施形態２は、超音波画像及び患者の臨床情報に基づき、座標を補正する形態に関する。なお、実施形態１と重複する内容については説明を省略する。臨床情報は、患者の身長、体重、年齢、性別、胸囲または体脂肪率等を含む。なお、臨床情報には、血液検査結果、診断画像または疾患名等が含まれても良い。

【0106】

図１３は、実施形態２における診断装置２の構成例を示すブロック図である。なお、図３と重複する内容については同一の符号を付して説明を省略する。大容量記憶部２７には、臨床情報ＤＢ２７４が記憶されている。臨床情報ＤＢ２７４は、患者の臨床情報を記憶している。

【0107】

図１４は、臨床情報ＤＢ２７４のレコードレイアウトの一例を示す説明図である。臨床情報ＤＢ２７４は、患者ＩＤ列、身長列、体重列、年齢列及び性別列を含む。患者ＩＤ列は、各患者を識別するために、一意に特定される患者のＩＤを記憶している。身長列は、患者の身長を記憶している。体重列は、患者の体重を記憶している。年齢列は、患者の年齢を記憶している。性別列は、患者の性別を記憶している。

【0108】

診断装置２は、ロボットアーム１を通じて、対象臓器の体表面に対して座標を割り振ることで探索処理を行う。患者ごとに対象臓器の位置が異なるため、割り振られた座標の位置を合わせることが必要である。位置合わせ処理は、クラスタリング処理により分類された複数の座標のクラスタを利用する。

【0109】

図１５は、クラスタリング処理を説明する説明図である。超音波画像の特徴量及び患者の臨床情報に基づくクラスタリングを行うことにより、座標が複数のクラスタに分類される。なお、クラスタリング処理は、診断装置２または外部の情報処理装置により予め実行されても良い。

【0110】

例えば、診断装置２は、クラスタリング処理を行うための大量の超音波画像を取得する。診断装置２は、取得した各超音波画像の画像特徴量を抽出する。画像特徴量は、例えば、輝度、色、明度分布、彩度、色比率、対象臓器の形状またはサイズ等を含む。例えば、診断装置２は、５０層を持ったＣＮＮのモデルであるＲｅｓＮｅｔ５０（Residual Network50）、ＶＧＧ１６、ＩｎｃｅｐｔｉｏｎＶ３、ＤｅｎｓｅＮｅｔ、ＩｎｃｅｐｔｉｏｎＲｅｓＮｅｔＶ２、ＳＶＭ、ベイジアンネットワーク、または回帰木等の任意の学習アルゴリズムで構築された学習済みモデルを用いて、各超音波画像の画像特徴量を抽出しても良い。なお、診断装置２は、実施形態１での評価情報出力モデル２７２の中間層を用いて、各超音波画像の画像特徴量を抽出しても良い。

【0111】

診断装置２は、各超音波画像に対応する患者の患者ＩＤに基づき、患者の臨床情報を臨床情報ＤＢ２７４から取得する。診断装置２は、抽出した各超音波画像の画像特徴量、及び各超音波画像に対応する患者の臨床情報に基づき、クラスタリング処理を行うことにより、各超音波画像に対応する座標を複数のクラスタに分類する。クラスタリング処理は、例えば、Ｋ－ｍｅａｎｓ法（ｋ平均法）、Ｘ－ｍｅａｎｓ法または階層型クラスタリング法等公知の手法を用いれば良い。

【0112】

診断装置２は、分類した各クラスタにおいて、各クラスタ内の複数の座標の平均値を算出する。診断装置２は、算出した座標の平均値を、当該クラスタを代表する代表座標として決定する。図示のように、複数の座標のそれぞれが［２，２］、［２，２］、［１，２］、［２，１］及び［２，２］である場合、代表座標（座標の平均値）が［２，２］である。

【0113】

なお、図１５には、ｘ軸の座標値及びｙ軸の座標値が例示されているが、これに限るものではない。例えば、ｘ軸の座標値、ｙ軸の座標値、ｚ軸の座標値、ｘ軸に対する角度、ｙ軸に対する角度及びｚ軸に対する角度を構成した座標であっても良い。

【0114】

診断装置２は、超音波画像及び患者の臨床情報に基づき、当該超音波画像に対応する座標（補正前の座標）が属するクラスタの代表座標を取得する。診断装置２は、補正前の座標と、取得した代表座標との座標差を算出する。診断装置２は、算出した座標差に基づき、補正前の座標を補正する。診断装置２は、補正後の座標で超音波画像を取得する。診断装置２は、取得した超音波画像を評価情報出力モデル２７２に入力し、当該超音波画像の評価情報を出力する。

【0115】

なお、対象臓器の異なる位置で当該対象臓器が複数回撮像されても良い。この場合、診断装置２は、当該対象臓器が連続的に複数回撮像された超音波画像を取得する。診断装置２は、取得した各超音波画像に対応する座標が属するクラスタの代表座標を取得する。診断装置２は、各補正前の座標と、各補正前の座標に対応する代表座標との座標差を算出する。診断装置２は、算出した複数の座標差の平均値を算出する。診断装置２は、算出した座標差の平均値に基づき、各補正前の座標を補正しても良い。

【0116】

図１６は、実施形態２における最適な座標で超音波画像を取得する際の処理手順を示すフローチャートである。なお、図１０と重複する内容については同一の符号を付して説明を省略する。診断装置２の制御部２１は、ステップＳ２１２を実行した後に、座標補正処理のサブルーチンを実行する（ステップＳ２２１）。なお、座標補正処理のサブルーチンに関しては後述する。

【0117】

図１７は、実施形態２における大まかな探索処理のサブルーチンの処理手順を示すフローチャートである。なお、図１１と重複する内容については同一の符号を付して説明を省略する。診断装置２の制御部２１は、ステップＳ０１の処理を実行した後に、座標補正処理のサブルーチンを実行する（ステップＳ３１）。なお、座標補正処理のサブルーチンに関しては後述する。

【0118】

図１８は、座標補正処理のサブルーチンの処理手順を示すフローチャートである。診断装置２の制御部２１は、第１の領域内の座標で超音波画像を取得する（ステップＳ４１）。制御部２１は、当該超音波画像に対応する患者の患者ＩＤに基づき、当該患者の臨床情報（身長、体重、年齢または性別等）を大容量記憶部２７の臨床情報ＤＢ２７４から取得する（ステップＳ４２）。

【0119】

制御部２１は、取得した超音波画像及び臨床情報に基づき、当該超音波画像に対応する座標（補正前の座標）が属するクラスタを判定する（ステップＳ４３）。具体的には、制御部２１は、例えば評価情報出力モデル２７２の中間層を用いて、取得した超音波画像の画像特徴量を抽出する。制御部２１は、超音波画像の画像特徴量及び臨床情報を入力した場合、当該超音波画像に対応する座標が属するクラスタを判定した判定結果を出力するクラスタ判定モデルに、抽出した超音波画像の画像特徴量と、取得した臨床情報とを入力し、クラスタを判定した判定結果を出力する。

【0120】

制御部２１は、判定したクラスタの代表座標（複数の座標の平均値等）を取得する（ステップＳ４４）。制御部２１は、補正前の座標と、取得した代表座標との座標差を算出する（ステップＳ４５）。制御部２１は、算出した座標差に基づき、補正前の座標を補正する（ステップＳ４６）。制御部２１は、座標補正処理のサブルーチンを終了してリターンする。

【0121】

本実施形態によると、第１の領域内の座標で取得された超音波画像及び患者の臨床情報に基づき、当該座標を補正することが可能となる。

【0122】

本実施形態によると、第１の領域内の座標を補正することにより、大まかな探索の精度を向上させることが可能となる。

【0123】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0124】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0125】

１ ロボットアーム
１１ 先端部
１１１ 超音波プローブ
１１２ 圧力センサ
１１３ 距離センサ
２ 情報処理装置（診断装置）
２１ 制御部
２２ 記憶部
２３ 操作入力部
２４ 出力部
２５ 通信部
２６ 読取部
２７ 大容量記憶部
２７１ 座標情報出力モデル（第１学習モデル）
２７２ 評価情報出力モデル（第２学習モデル）
２７３ 訓練データＤＢ
２７４ 臨床情報ＤＢ
２ａ 可搬型記憶媒体
２ｂ 半導体メモリ
２Ｐ 制御プログラム
３ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】