特開 2022-90787 超音波診断システム及び操作支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022090787

(43)【公開日】2022-06-20

(54)【発明の名称】超音波診断システム及び操作支援方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20220613BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2020203297

(22)【出願日】2020-12-08

(71)【出願人】

【識別番号】320011683

【氏名又は名称】富士フイルムヘルスケア株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】特許業務法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】笠原 英司

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601EE11

4C601GA18

4C601GA21

4C601JC06

4C601JC19

4C601JC32

4C601KK16

4C601KK31

4C601KK35

4C601LL33

(57)【要約】

【課題】走査面を観察断面に近付けることを支援する操作支援情報を簡便に生成する。
【解決手段】現断面探索部３８は、対象組織に対応する組織モデルに対して仮断面群を設定し、個々の仮断面データと断層画像データとの間で類似度を演算することにより、走査面に対応する現断面を特定する。操作支援情報生成部４４は、現断面と目標断面（観察断面に相当する断面）との間の空間的関係を示す差分情報から操作支援情報を生成する。カメラ画像に基づいて、組織モデルに対して設定される仮断面群が絞り込まれる。
【選択図】図１

【特許請求の範囲】

【請求項1】

プローブにより形成される走査面から得られた情報に基づいて断層画像を形成する断層画像形成部と、
対象組織の三次元構造が反映された組織モデルに対して設定される仮モデル断面群に対して前記断層画像を比較することにより、前記走査面に相当する現モデル断面を特定する探索部と、
前記現モデル断面に基づいて、前記対象組織における観察断面へ前記走査面を近付けるためのプローブ操作支援情報を生成する支援情報生成部と、
を含むことを特徴とする超音波診断システム。

【請求項2】

請求項１記載の超音波診断システムにおいて、
複数の組織モデルを記憶したモデル記憶部を含み、
前記複数の組織モデルの中から前記対象組織に対応する特定の組織モデルが選択され、
前記特定の組織モデルに対して前記仮モデル断面群が設定される、
ことを特徴とする超音波診断システム。

【請求項3】

請求項１記載の超音波診断システムにおいて、
前記組織モデルにおいて前記観察断面に対応する目標モデル断面が定められ、
前記支援情報生成部は、前記組織モデルにおける前記現モデル断面と前記目標モデル断面との間の空間的関係に基づいて前記プローブ操作支援情報を生成する、
ことを特徴とする超音波診断システム。

【請求項4】

請求項１記載の超音波診断システムにおいて、
前記プローブが当接された被検者を撮影してカメラ画像を取得するカメラと、
前記カメラ画像に基づいて前記被検者の姿勢を識別する被検者姿勢識別部と、
を含み、
前記探索部は、前記被検者の姿勢に基づいて、前記組織モデルに対して前記仮モデル断面群を設定する、
ことを特徴とする超音波診断システム。

【請求項5】

請求項１記載の超音波診断システムにおいて、
前記プローブが当接された被検者を撮影してカメラ画像を取得するカメラと、
前記カメラ画像に基づいて前記プローブの位置を識別するプローブ位置識別部と、
を含み、
前記探索部は、前記プローブの位置に基づいて、前記組織モデルに対して前記仮モデル断面群を設定する、
ことを特徴とする超音波診断システム。

【請求項6】

請求項２記載の超音波診断システムにおいて、
前記プローブが当接された被検者を撮影してカメラ画像を取得するカメラと、
前記カメラ画像に基づいて、前記複数の組織モデルの中から前記対象組織に対応する特定の組織モデルを選択するモデル選択部と、
を含むことを特徴とする超音波診断システム。

【請求項7】

請求項１記載の超音波診断システムにおいて、
前記支援情報生成部は、前記プローブ操作支援情報として、段階的に複数の操作指示情報を生成する、
ことを特徴とする超音波診断システム。

【請求項8】

請求項１記載の超音波診断システムにおいて、
前記組織モデルは、超音波の送受波により取得されたボリュームデータである、
ことを特徴とする超音波診断システム。

【請求項9】

対象組織の三次元構造が反映された組織モデルに対して設定される仮モデル断面群に対し、プローブにより形成される走査面から得られた情報に基づいて形成される断層画像を比較することにより、前記走査面に相当する現モデル断面を特定する工程と、
前記組織モデルにおける前記現モデル断面と目標モデル断面との間の空間的関係に基づいてプローブ操作支援情報を生成する工程と、
を含むことを特徴とする操作支援方法。

【請求項10】

超音波診断システムにおいて操作支援方法を実行するためのプログラムであって、
対象組織の三次元構造が反映された組織モデルに対して設定される一連の仮モデル断面群に対し、プローブにより形成される走査面から得られた情報に基づいて形成される断層画像を比較することにより、前記走査面に相当する現モデル断面を特定する機能と、
前記組織モデルにおける前記現モデル断面と目標モデル断面との間の空間的関係に基づいてプローブ操作支援情報を生成する機能と、
を含むことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、超音波診断システム及び操作支援方法に関し、特に、プローブ操作を支援する技術に関する。

【背景技術】

【0002】

超音波診断システムは、被検者に対して超音波を送受波し、これにより得られた受信信号に基づいて超音波画像を形成するシステムである。超音波診断システムは、超音波診断装置により構成され、あるいは、超音波診断装置とそれに接続された各種の機器により構成される。

【0003】

超音波検査に際しては、被検体の表面上にプローブ（超音波プローブ）が当接され、その状態において、プローブから被検体内へ超音波が送波され、生体内からの反射波がプローブにより受波される。プローブ（正確にはプローブヘッド）は、検査者（医者又は検査技師）により保持される送受波器である。プローブにより二次元データ取込領域としての走査面（ビーム走査面）が形成される。

【0004】

対象組織における観察断面（読影を行うべき所定断面）に対して走査面を正確に合わせることは容易ではなく、すなわち、プローブ操作を正確かつ迅速に行うには熟練を要する。過去の観察断面に対して現在の走査面を正確に合わせることも容易ではない。そこで、プローブ操作を支援する幾つかの技術が提案されている。例えば、特許文献１には、プローブ操作を支援するナビゲーション情報を表示する機能を備えた超音波診断装置が開示されている。

【0005】

なお、特許文献２には、カメラを備えた超音波診断装置が開示されている。その超音波診断装置では、カメラ画像に基づいて体表位置及びプローブ位置が特定されている。特許文献1及び特許文献２には、プローブナビゲーションのための組織モデルの利用については記載されていない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４－ １６２６８号公報

【特許文献2】特開２０１３－２５５６５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本開示の目的は、観察断面に対して走査面を一致させるためのプローブ操作支援情報を検査者に提供することにある。あるいは、本開示の目的は、簡易な構成でプローブ操作支援情報を生成することにある。

【課題を解決するための手段】

【0008】

本開示に係る超音波診断システムは、プローブにより形成される走査面から得られた情報に基づいて断層画像を形成する断層画像形成部と、対象組織の三次元構造が反映された組織モデルに対して設定される仮モデル断面群に対して前記断層画像を比較することにより、前記走査面に相当する現モデル断面を特定する探索部と、前記現モデル断面に基づいて、前記対象組織における観察断面へ前記走査面を近付けるためのプローブ操作支援情報を生成する支援情報生成部と、を含むことを特徴とする。

【0009】

本開示に係る操作支援方法は、対象組織の三次元構造が反映された組織モデルに対して設定される仮モデル断面群に対し、プローブにより形成される走査面から得られた情報に基づいて形成される断層画像を比較することにより、前記走査面に相当する現モデル断面を特定する工程と、前記組織モデルにおける前記現モデル断面と目標モデル断面との間の空間的関係に基づいてプローブ操作支援情報を生成する工程と、を含むことを特徴とする。

【0010】

本開示に係るプログラムは、超音波診断システムにおいて操作支援方法を実行するためのプログラムであって、対象組織の三次元構造が反映された組織モデルに対して設定される仮モデル断面群に対し、プローブにより形成される走査面から得られた情報に基づいて形成される断層画像を比較することにより、前記走査面に相当する現モデル断面を特定する機能と、前記組織モデルにおける前記現モデル断面と目標モデル断面との間の空間的関係に基づいてプローブ操作支援情報を生成する機能と、を含むことを特徴とする。

【発明の効果】

【0011】

本開示によれば、観察断面に対して走査面を一致させるためのプローブ操作支援情報を検査者に提供できる。あるいは、本開示によれば、簡易な構成でプローブ操作支援情報を生成できる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る超音波診断システムを示すブロック図である。

【図2】組織モデル及び観察断面の管理を説明するための図である。

【図3】被検者姿勢を推定する方法を説明するための図である。

【図4】座標系を整合させる方法を説明するための図である。

【図5】仮断面群の選定を説明するための図である。

【図6】組織モデルに設定される仮断面の一例を示す図である。

【図7】互いに離れた現断面及び目標断面を示す図である。

【図8】互いに一致した現断面及び目標断面を示す図である。

【図9】他の現断面を示す図である。

【図10】ナビゲーションに際しての手順を示す図である。

【図11】ナビゲーション像の一例を示す図である。

【図12】第１変形例を示すブロック図である。

【図13】第１変形例におけるカメラ画像処理を説明するための図である。

【発明を実施するための形態】

【0013】

以下、実施形態を図面に基づいて説明する。

【0014】

（１）実施形態の概要
実施形態に係る超音波診断システムは、断層画像形成部、探索部、及び、支援情報生成部を有する。断層画像形成部は、プローブにより形成される走査面から得られた情報に基づいて断層画像を形成する。探索部は、対象組織の三次元構造が反映された組織モデルに対して設定される仮モデル断面群に対して断層画像を比較することにより、走査面に相当する現モデル断面を特定する。支援情報生成部は、現モデル断面に基づいて、対象組織における観察断面へ走査面を近付けるためのプローブ操作支援情報を生成する。

【0015】

上記構成によれば、組織モデルを利用して現モデル断面の位置つまり現在の走査面の位置を簡便に特定し得る。プローブ操作支援情報に従ってプローブを動かせば、対象組織における観察断面に対して走査面を近付けられる。これにより検査者によるプローブ操作を支援できる。

【0016】

各仮モデル断面と断層画像との間において類似度が演算され、仮モデル断面群の中において断層画像に最も類似する仮モデル断面として現モデル断面（走査面に対応する断面）が特定されてもよい。プローブ及び／又は対象組織と組織モデルとの空間的関係が不明の場合、組織モデルに対して非常に多くの仮モデル断面を設定する必要がある。その場合、現モデル断面の探索に際して演算量が増大してしまう。そこで、プローブ及び／又は対象組織と組織モデルとの空間的関係を特定し、その空間的関係に基づいて、組織モデルに対して設定される仮モデル断面群を絞り込むのが望ましい。その場合、カメラ画像に基づいて上記空間的関係を特定できるなら簡便である。

【0017】

実施形態に係る超音波診断システムは、複数の組織モデルを記憶したモデル記憶部を含む。複数の組織モデルの中から対象組織に対応する特定の組織モデルが選択される。特定の組織モデルに対して仮モデル断面群が設定される。組織ごとに組織モデルが用意されてもよいし、組織中の検査部位ごとに組織モデルが用意されてもよい。例えば、組織モデルは、超音波の送受波により取得されたボリュームデータである。人工的な三次元データ又はＣＴ等の他の医療装置で取得された３Ｄデータを組織モデルとして利用してもよい。いずれの組織モデルも対象組織が有する三次元構造（あるいは三次元形態）が反映されたデータであり、事前に用意されたデータである。被検者とは別の被検者から取得したデータを組織モデルとして利用し得る。

【0018】

実施形態に係る超音波診断システムにおいては、組織モデルにおいて観察断面に対応する目標モデル断面が定められ、支援情報生成部は、組織モデルにおける現モデル断面と目標モデル断面との間の空間的関係に基づいてプローブ操作支援情報を生成する。実施形態においては、組織モデル座標系において、現モデル断面の位置と目標モデル断面の位置との間の差が差分情報として演算され、差分情報に基づいてプローブ操作支援情報が生成される。観察断面は、対象組織において検査又は読影を行うべき所定断面であり、一般に、検査プロトコルにおいては、複数の観察断面が規定されている。過去において観察を行った断面が観察断面として登録されてもよい。上記構成によれば、走査面と観察断面との間のリアルな空間的関係に代わる、組織モデル座標系における現モデル断面と目標モデル断面との模擬的な空間的関係に基づいて、差分情報を生成できる。プローブの位置及び姿勢を検出する測位システム（例えば、三次元磁場生成器及び磁気センサを用いる測位システム）を設けてもよいが、上記構成によれば、測位システム等の複雑な構成を利用しなくても、上記差分情報を簡便に生成し得る。

【0019】

実施形態に係る超音波診断システムは、プローブが当接された被検者を撮影してカメラ画像を取得するカメラと、カメラ画像に基づいて被検者の姿勢を識別する被検者姿勢識別部と、を含む。探索部は、被検者の姿勢に基づいて、組織モデルに対して一連の仮モデル断面群を設定する。この構成によれば、被検者の姿勢に基づいて、組織モデルに対して設定される一連の仮モデル断面群を絞り込める。被検者の姿勢に基づいて組織モデル座標系と被検者座標系とが対応付けられてもよい。例えば、被検者が横臥姿勢にある場合、その姿勢に合わせて、組織モデルを横倒ししてもよい。実際に座標系を回転させてもよいが、論理的に座標系を回転させてもよい。仮モデル断面群の設定範囲が被検者の姿勢に応じて変更される。

【0020】

実施形態に係る超音波診断システムは、プローブが当接された被検者を撮影してカメラ画像を取得するカメラと、カメラ画像に基づいてプローブの位置を識別するプローブ位置識別部と、を含む。探索部は、プローブの位置に基づいて、組織モデルに対して仮モデル断面群を設定する。この構成によれば、プローブの位置に基づいて、組織モデルに対して設定される仮モデル断面群を絞り込める。

【0021】

実施形態に係る超音波診断システムは、プローブが当接された被検者を撮影してカメラ画像を取得するカメラと、カメラ画像に基づいて、複数の組織モデルの中から対象組織に対応する特定の組織モデルを選択するモデル選択部と、を含む。この構成によれば、複数の組織モデルの中から診断対象となっている組織に対応する組織モデルを自動的に選択できるのでユーザーの負担を軽減できる。被検者の姿勢及びプローブの位置から、対象組織を特定し、これにより、対象組織に対応する特定の組織モデルが選択されてもよい。

【0022】

実施形態において、支援情報生成部は、プローブ操作支援情報として、段階的に複数の操作指示情報を生成する。プローブ操作の種別として、前後方向への平行運動、左右方向への平行運動、プローブ中心軸回りの回転運動、電子走査方向に沿った軸回りの回転運動、等が挙げられる。複数の操作指示情報を同時に提供すると、操作者において混乱が生じ易いが、それらを段階的に提供すれば、操作者において混乱が生じ難い。

【0023】

実施形態に係る操作支援方法は、対象組織の三次元構造が反映された組織モデルに対して設定される仮モデル断面群に対し、プローブにより形成される走査面から得られた情報に基づいて形成される断層画像を比較することにより、前記走査面に相当する現モデル断面を特定する工程と、前記組織モデルにおける前記現モデル断面と目標モデル断面との間の空間的関係に基づいてプローブ操作支援情報を生成する工程と、を含む。

【0024】

上記操作支援方法は、ソフトウエアの機能として実現することが可能である。その場合、上記操作支援方法を実行するためのプログラムが、可搬型記憶媒体又はネットワークを介して、情報処理装置としての超音波診断システムにインストールされる。

【0025】

（２）実施形態の詳細
図１には、実施形態に係る超音波診断システムの構成例がブロック図として示されている。超音波診断システムは、病院等の医療機関に設置される医用システムである。超音波診断システムにより、被検者に対して超音波が送受波され、それにより得られた情報に基づいて被検者内の組織を表す超音波画像が形成される。診断対象となる組織は、例えば、心臓、肝臓、腎臓、胎児、乳腺等である。

【0026】

超音波診断システムは、本体（超音波診断装置本体）１０を有する。本体１０は、電子回路、プロセッサ、記憶部等を有する。プロセッサは、例えばプログラムを実行するＣＰＵである。図１においては、プロッサが発揮する複数の機能が複数のブロック（符号２４，３０，３２，３４，３８，４２，４４を参照）により表現されている。本体１０に対して、プローブ（超音波プローブ）１２、操作パネル１４、表示器１６、カメラ１８等が接続されている。

【0027】

操作パネル１４は、複数のスイッチ、複数のボタン、トラックボール、キーボード等を有する入力デバイスである。表示器１６は、ＬＣＤ、有機ＥＬ表示デバイス等により構成される。カメラ１８は、プローブが当接される被検者を撮像する装置であり、それは白黒カメラ又はカラーカメラにより構成される。

【0028】

プローブ１２は、プローブヘッド、ケーブル及びコネクタにより構成される。プローブヘッド内に、直線状又は円弧状に配列された複数の振動素子からなる振動素子アレイが設けられている。振動素子アレイから被検体内へ超音波が送波され、生体内からの反射波が振動素子アレイで受波される。より詳しくは、振動素子アレイにより、超音波ビーム（送信ビーム及び受信ビーム）が形成され、その電子的な走査により、走査面（ビーム走査面）が形成される。電子走査方式として、電子セクタ走査方式、電子リニア走査方式等が知られている。プローブヘッドがユーザーである検査者により保持されつつ、プローブヘッドの送受波面が被検体の表面に当接される。プローブヘッドが主要な部分であり、以下においては、プローブヘッドをプローブ１２と称する。なお、コネクタは、本体１０に対して着脱可能に接続される。一次元振動素子アレイに代えて二次元振動素子アレイが設けられてもよい。

【0029】

送受信部２０は、送信ビームフォーマー及び受信ビームフォーマーとして機能する電子回路である。送信時において、送受信部２０から振動素子アレイに対して複数の送信信号が並列的に供給される。これにより送信ビームが形成される。受信時において、生体内からの反射波が振動素子アレイにおいて受波されると、振動素子アレイから送受信部２０に対して複数の受信信号が出力される。送受信部２０において、複数の受信信号に対する整相加算（遅延加算）により受信ビームデータが生成される。通常、超音波ビームの１回の走査により、１つの受信フレームデータが構成される。１つの受信フレームデータは電子走査方向に並ぶ複数の受信ビームデータにより構成される。１つの受信ビームデータは深さ方向に並ぶ複数のエコーデータにより構成される。超音波ビームの電子走査が繰り返され、これにより複数の受信フレームデータが繰り返し生成される。それらは受信フレームデータ列を構成する。

【0030】

断層画像形成部２２は、受信フレームデータ列に基づいて断層画像データ列を生成する。具体的には、断層画像形成部２２は、デジタルスキャンコンバータ（ＤＳＣ）を有する。ＤＳＣは、座標変換機能、画素補間機能、フレームレート変換機能等を有する専用プロセッサである。断層画像データ列は、表示処理部２４及び断層画像データ記憶部２６へ送られている。断層画像データ記憶部２６は、後述するマッチング処理のために、個々の断層画像データを一時的に格納する。個々の断層画像は、Ｂモード断層画像である。

【0031】

表示処理部２４は、画像合成機能、カラー演算機能等を有する。表示処理部２４において、表示器１６に表示される画像が生成される。表示される画像には動画像としての断層画像が含まれる。また、実施形態においては、表示器１６に、プローブ操作を支援するための又はプローブナビゲーションのための操作支援情報が表示される。

【0032】

カメラ１８は、被検者の姿勢等を特定するためのカメラ画像を取得する装置である。そのようなカメラ画像を取得できる位置にカメラ１８が設置されている。例えば、被検者を載せたベッドの一方側に検査者が位置する場合、ベッドの他方側の上方にカメラ１８が斜め下向きで設置される。天井に下向きでカメラ１８が設置されてもよい。複数台のカメラを設置することも考えられる。

【0033】

被検者姿勢識別部３２は、カメラ画像に基づいて被検者の姿勢を識別する。例えば、仰向け姿勢、横臥位等の種別が識別される。被検者姿勢識別部３２として、機械学習済みの識別器又は推定器が用いられてもよい。

【0034】

組織モデル群記憶部２８には、複数の組織に対応した複数の組織モデルが格納されている。１つの組織（例えば心臓）に対して１つの組織モデルが用意されてもよいし、１つの組織に対して複数の組織モデルが用意されてもよい。被検者の姿勢ごとに組織モデルが用意されてもよい。個々の組織モデルは、超音波の送受波により取得された超音波ボリュームデータであってもよいし、個々の組織モデルがＣＴ装置やＭＲＩ装置で取得された３Ｄデータ又は人工的に生成された３Ｄデータであってもよい。各組織モデルは、三次元記憶空間内において観念される三次元データであり、組織の三次元構造を反映した（組織の三次元構造を表す又は模擬した）データである。

【0035】

組織モデル選択部３０は、組織モデル群記憶部２８に記憶された複数の組織モデルの中から、対象組織に従って、特定の組織モデルを選択する。対象組織は、ユーザーにより指定され、あるいは、電子カルテ情報等から特定される。後述するように、カメラ画像に基づいて対象組織が特定されてもよい。例えば、被検者姿勢及びプローブ位置に基づいて対象組織が特定され、これにより特定の組織モデルが選択されてもよい。

【0036】

図示の構成例では、選択された特定の組織モデルを表すデータが座標系整合部３４へ送られている。座標系整合部３４は、被検者座標系と組織モデル座標系とを合わせる手段である。その際、組織モデルを表すデータに対して回転等の操作が適用されてもよいし、２つの座標系が論理的に結び付けられてもよい。

【0037】

組織モデル記憶部３６には、座標系整合後の組織モデルを表すデータが格納される。格納された組織モデルを表すデータから、複数の仮断面データ（複数の仮モデル断面データ）が順次読み出される。組織モデル記憶部３６を独立して設けることなく、組織モデル群記憶部２８から、複数の仮断面データが順次読み出されてもよい。

【0038】

現断面探索部は、組織モデル記憶部３６中の組織モデルに対して設定される仮断面群に対して断層画像を逐次的に比較し、類似度を求める。最良の類似度を生じさせた仮断面が、走査面に相当する現断面（現モデル断面）として特定される。具体的には、個々の仮断面データと断層画像データとの間で相関演算が実施され、これにより、相関値としての類似度が演算される。演算され複数の類似度に基づいて、現断面が決定される。相関値を演算する一連の処理はパターンマッチング処理と言い得る。仮断面群におけるピッチ、断面数等のパラメータは、ユーザーにより事前に指定され、又は、設定された条件に応じて自動的に指定される。

【0039】

組織モデルに対しては理論上、多数の仮断面を設定し得るが、実施形態においては、被検者の姿勢、プローブの位置等の情報により、実際に設定する仮断面群が絞り込まれている。すなわち、マッチング可能性のある一連の仮断面群だけが設定される。これにより演算量を削減でき、またマッチング精度を高められる。最良の類似度を生じさせた仮断面が、生体内の三次元空間における走査面に対応する現断面として認定される。組織モデルにおける現断面の位置が、実際の三次元空間における走査面の位置に相当する。符号３９で示されるように、現断面探索部３８に対して、被検者姿勢を示す情報の他、プローブ位置やアプローチタイプ等の情報が与えられてもよい。それらの情報に基づいて、組織モデルに対して設定する仮断面群が絞り込まれる。

【0040】

目標断面管理テーブル記憶部４０には、複数の目標断面を特定する情報が格納されている。複数の目標断面は、組織モデルに対して設定される複数の断面であって、実際の複数の観察断面に対応するものである。例えば、組織モデル内における個々の目標断面の位置が管理される。その場合、各目標断面に含まれる３つの点の座標が管理されてもよいし、各目標断面の代表座標情報が管理されてもよい。検査プロトコルの進行に伴って複数の観察断面が指定される。それに伴って、複数の目標断面が選択される。差分演算に際しては、目標断面管理テーブル記憶部４０に対して観察断面を特定する識別子が与えられる。

【0041】

差分演算部４２は、組織モデル座標系における現断面と目標断面との間の空間的関係に基づいて、差分情報を演算する。具体的には、現断面の位置と目標断面の位置の間の差分が差分情報として演算される。例えば、組織モデル座標系を前提として、差分情報として、６次元の座標値（Δｘ，Δｙ，Δｚ，Δθｘ、Δθｙ，Δθｚ）が特定される。その後、組織モデル座標系の下での差分情報が被検者座標系の下での差分情報に変換されてもよい。いずれにしても操作支援情報を生成するために必要な座標情報が生成される。プローブを基準とした座標系に従う差分情報が演算されてもよい。

【0042】

操作支援情報生成部４４は、差分情報に基づいて、操作支援情報を生成する。例えば、操作支援情報は、操作ガイド像、操作ガイド音声、等である。ユーザーにより、生成される情報が選択されてもよい。表示処理部２４において、操作ガイド像が表示画像内に組み込まれる。表示器１６の画面には操作ガイド像が表示される。図示されていないスピーカから操作ガイド音声が出力されてもよい。

【0043】

複数の操作指示が同時に提供されると、検査者において混乱が生じ易い。そこで、所定の順序に従って、複数の操作指示を段階的に提供するのが望ましい。例えば、電子走査方向に直交する方向（前後方向）への平行移動指示、電子走査方向に沿った方向（左右方向）への平行移動指示、プローブ中心軸回りの回転運動指示、走査面法線が傾くようにプローブを傾ける傾斜指示、走査面法線の向きを維持しつつプローブを傾ける傾斜指示、等が段階的に出力されてもよい。それらの一連の指示が繰り返されてもよい。

【0044】

図２に示すテーブル４６の内容は、組織モデル及び観察断面の管理の一例を示すものである。図２において、符号２８Ａで示す部分が既に説明した組織モデル群記憶部に相当し、符号４０Ａで示す部分が既に説明した目標断面管理テーブルに相当する。テーブル４６において、横方向に沿って、対象組織４８、被検者姿勢５０、アプローチタイプ５２、組織モデル５４、観察断面５６、及び、目標断面位置５８が示されている。

【0045】

対象組織４８として、検査対象になり得る複数の組織が登録されている。被検者姿勢５０として、複数の姿勢（仰向け、横臥位等）が登録されている。アプローチタイプ５２は、プローブを当接する際の位置及び姿勢を特定するものである。心臓であれば、胸部表面上にプローブを当接して肋間を通じて超音波を送受波するタイプ、腹部上側に斜めにプローブを当接して心臓の心尖部に向けて超音波を送受波するタイプ、等が知られている。組織モデル５４として、個々の組織ごとに１又は複数の組織モデルが用意されている。観察断面５６として、検査プロトコル上、順次選択される複数の観察断面が登録されている。ナビゲーション対象となる各観察断面がユーザーにより選択されてもよい。目標断面位置５８として、各観察断面に対応する目標断面の位置が管理されている。その位置は、例えば、組織モデル座標系における位置である。

【0046】

図３には、被検者姿勢を識別する方法が模式的に示されている。カメラ画像６０には、図示の例において、被検者像６２、検査者像６４、プローブ像６６、等が含まれる。被検者姿勢識別部３２には、切り出し器７０及び機械学習型の被検者姿勢推定器７２が含まれる。切り出し器７０により、カメラ画像６０の中から、被検者姿勢推定器７２へ渡す画像部分６８が切り出される。例えば、被検者像６２を基準として、画像部分６８が特定されてもよい。

【0047】

被検者姿勢推定器７２は、例えば、ＣＮＮ（Convolution Neural Network）で構成される。ＣＮＮに対して事前に多数の訓練データを与えることにより、被検者姿勢推定器７２を構成し得る。被検者姿勢推定器７２に対して画像部分６８を入力すると、例えば、頭を上にした仰向け姿勢といった具体的な姿勢が推定される。姿勢の推定の結果として、被検者座標系が特定される。例えば、頭部方向Ｈ、左方向Ｌ及び前方向Ｆが特定される。

【0048】

図４には、座標系整合方法が模式的に示されている。被検者像６２においては上記のように被検者座標系６３を観念し得る。一方、組織モデル群記憶部２８から、対象組織に対応する組織モデル７４が選択される。組織モデル７４は、組織モデル座標系７８を有する。図示の例では、組織モデル座標系７８は、ｘ方向、ｙ方向、及びｚ方向を有する。なお、符号７６は組織モデル７４中の構造物（例えば心臓内の四腔）を示している。

【0049】

上記の座標系整合部３４は、被検者座標系６３と組織モデル座標系７８とを整合させる処理を実行する。例えば、組織モデル座標系７８を回転させることにより、それが被検者座標系６３に適合される。符号７４Ａは、座標系整合後の組織モデルを示している。図示の例では、Ｌ方向に対してｘ方向が対応付けられ、－ｙ方向に対してＦ方向が対応付けられ、Ｈ方向に対してｚ方向が対応付けられている。座標系の整合は、必要とする精度に応じて行われればよく、最終的に検査者の目視判断で走査面を観察断面へ一致させる場合、座標系の整合が大まかに行われてもよい。被検者姿勢からそれに適合する（回転等を行う必要のない）組織モデルが選択されてもよい。その場合、座標系整合は不要となる。

【0050】

座標系整合後においては、組織モデル７４Ａとの関係で、送受波原点が設定され得る範囲（プローブ当接範囲に相当する）を限定し得る。例えば、符号２００，２０２で示される２つの面又は部分が、送受波原点が設定され得る領域である。アプローチタイプを特定できる場合、送受波原点が設定される範囲を更に絞り込める。送受波原点が設定され得る範囲の絞り込みにより、組織モデルに対して設定すべき仮断面群を少なくできる。

【0051】

図５には、組織モデルに対して理論上設定し得る全仮断面からなる仮断面リスト２０４が示されている。送受波原点が設定され得る範囲に従って、組織モデルに実際に設定する仮断面群の範囲２０６を絞り込める。これにより現断面の位置の特定に際して演算量を大幅に削減できる。

【0052】

図６には、座標系整合後の組織モデル７４Ｂに対して設定される一部の仮断面８２ａ，８２ｂが示されている。符号８０は、走査面に相当する領域を示しており、符号８１は送受波原点に相当する位置を示している。仮断面８２ａ上のデータと断層画像データとの間で類似度が演算され、次に、仮断面８２ｂ上のデータと断層画像データとの間で類似度が演算される。このような処理が繰り返される。最良の類似度を生じさせた仮断面が、走査面に対応する現断面として特定される。具体的には、領域８０を包摂する仮断面が現断面として特定される。その場合、例えば、符号２０４で示す面又は部分が、送受波原点が設定され得る範囲として特定される。

【0053】

図７には、組織モデル７４Ｃ内における現断面８４と目標断面８６との空間的関係が示されている。現断面８４と目標断面８６との間で差分情報Ｄが生成され、差分情報Ｄに基づいて操作支援情報が生成される。

【0054】

図８には、組織モデル７４Ｃ内における現断面８４と目標断面８６との他の空間的関係が示されている。現断面８４と目標断面８６がほぼ一致している。差分情報Ｄがそれを示している。

【0055】

図９には、組織モデル７４Ｃにおいて、走査面に相当する他の領域８８が示されている。符号９０は送受波原点に相当する位置を示している。マッチング処理の結果、領域８８を包摂する仮断面が現断面として特定されることになる。

【0056】

図１０には、操作支援過程が模式的に示されている。操作支援過程では、（Ａ）～（Ｄ）に示すように、複数の操作指示が段階的に検査者に提供される。図示の例では、最初に、（Ａ）に示すように、プローブ９２の前後方向の運動（走査面に直交する方向への運動）が指示される（符号１００を参照）。その前又は後に、プローブ９２の左右方向の運動（電子走査方向に沿った方向への運動）が指示されてもよい。符号９４は、被検体内の三次元空間を示している。符号９６Ａは運動前の走査面を示しており、符号９８Ａは運動後の走査面を示している。

【0057】

次に、（Ｂ）に示すように、プローブ９２の回転運動（プローブ中心軸１０２周りの運動）が指示される。符号９６Ｂは運動前の走査面を示し、符号９８Ｂは運動後の走査面を示している。続いて、（Ｃ）に示すように、プローブ９２の第１傾斜運動（電子走査方向に平行な水平軸１０４周りの運動）が指示される。符号９６Ｃは運動前の走査面を示しており、符号９８Ｃは運動後の走査面を示している。最後に、（Ｄ）に示すように、プローブ９２の第２傾斜運動（走査面の法線１０６を平行運動させる運動であり、送受波原点又はその付近を回転中心とする運動）が指示される。符号９６Ｄは運動前の走査面を示しており、符号９８Ｄは運動後の走査面を示している。以上の操作支援過程を経ても、現断面が目標断面に一致又は近接しない場合、（Ａ）以降の各工程が繰り返し実行されてもよい。

【0058】

図１１には、操作ガイド像の一例が示されている。表示器の画面１０８には、超音波画像１１０と共に、操作ガイド像１１２が表示されている。操作ガイド像１１２は、プローブ像１１４及び指示マーク１１６で構成される。複数の指示種別に対応した複数の指示マークが用意されており、それらが選択的に使用される。操作ガイド像の表示に際して、被検体を模擬したモデルを表示してもよい。操作ガイド像と共に、文字又は音声で、被検者を基準として、移動方向（例えば、頭部に近付く方向、左腕に近付く方向）を指示してもよい。

【0059】

図１２には、変形例に係る構成の要部が示されている。図１２において、図１に示した要素と同様の要素には同一の符号を付し、その説明を省略する。

【0060】

図１２に示す変形例では、プローブ位置識別部１３２が設けられている。プローブ位置識別部１３２は、カメラ画像に基づいて、被検者との関係で、プローブ位置を識別するものである。例えば、仰向けの姿勢にある被検者の胸の正面又は側部といった位置が識別される。これによりアプローチタイプを自動的に特定することができ、あるいは、組織モデルとプローブとの空間的関係を特定することができ、あるいは、対象組織を特定することができる。これにより、現断面が生じる可能性のある範囲を絞り込むことが可能となり、あるいは、対象組織を自動的に特定できる。

【0061】

プローブ位置識別部１３２から切り出し部１３４及びモデル選択部３０Ａへプローブ位置を示す情報が提供される。モデル選択部３０Ａは、被検者姿勢及びプローブ位置に基づいて、対象組織を自動的に判定し、判定された対象組織に基づいて、使用する特定の組織モデルを選択する。

【0062】

現断面探索部は、図示された形例において、切り出し部１３４及びマッチング部１３６で構成される。切り出し部１３４は、組織モデルから複数の仮断面データを順次切り出すものである。その際、切り出し部１３４は、被検者姿勢及びプローブ位置に基づいて、仮断面群の範囲を適応的又は限定的に定める。すなわち、被検者姿勢及びプローブ位置に基づいて仮断面群が絞り込まれる。マッチング部１３６は、各仮断面データと断層画像データとの間で相関演算を実行し、これにより仮断面データごとに類似度を演算する。これにより現断面を特定する。

【0063】

図１３には、変形例に係る被検者姿勢識別部３２及びプローブ位置識別部１３２の構成例が示されている。カメラ画像６０から切り出し器７０により画像部分６８が切り出されている。機械学習型被検者姿勢推定器７２は、画像部分６８に基づいて被検者姿勢を推定する。プローブ位置識別部１３２は、機械学習型プローブ位置推定器１３８で構成される。それは学習済みＣＮＮで構成される。機械学習型プローブ位置推定器１３８は、画像部分６８に基づいてプローブ位置を推定する。その際にプローブ姿勢までが推定されてもよい。単一の推定器により被検者姿勢及びプローブ位置の両方が同時に推定されてもよい。

【0064】

上記実施形態によれば、複雑な構成からなる測位システムを用いることなく、観察断面との関係において走査面の位置を簡便に特定でき、その上で、走査面の位置と観察断面との間の空間的な関係に基づいて操作支援情報を生成できる。走査面の位置つまり現断面の位置の特定に際しては、カメラ画像の解析により、マッチング演算で使用する仮断面群を絞り込めるので、演算量を削減でき、また、演算精度を高められる。

【符号の説明】

【0065】

１０ 本体、１２ プローブ、１８ カメラ、２２ 断層画像形成部、２８組織モデル群記憶部、３０ 組織モデル選択部、３２ 被検者姿勢識別部、３４ 座標系整合部、３８ 現断面探索部（現モデル断面探索部）、４０ 目標断面管理テーブル記憶部（目標モデル断面管理テーブル記憶部）、４２ 差分演算部、４４ 支援情報生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】