特開 2022-165501 超音波診断装置、医用画像処理装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022165501

(43)【公開日】2022-11-01

(54)【発明の名称】超音波診断装置、医用画像処理装置、およびプログラム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20221025BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021070859

(22)【出願日】2021-04-20

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】泉 実教

(72)【発明者】

【氏名】村松 拓

(72)【発明者】

【氏名】高松 勝幸

(72)【発明者】

【氏名】鈴木 智子

(72)【発明者】

【氏名】小役丸 貴士

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601DD09

4C601EE11

4C601JC08

4C601JC28

4C601KK21

(57)【要約】

【課題】ターゲットの動きに応じてレンダリング処理における光源の位置を自動的に調整すること
【解決手段】実施形態に係る超音波診断装置は、取得部と、検出部と、設定部とを備える。取得部は、所定のフレームレートで収集されたターゲットを含む超音波画像データごとに生成されたボクセルデータを取得する。検出部は、ボクセルデータごとに、ボクセルデータにもとづいてターゲットを検出する。設定部は、ボクセルデータごとに、検出されたターゲットにもとづいてボクセルデータのレンダリング処理における光源の位置を設定する。
【選択図】 図５

【特許請求の範囲】

【請求項1】

所定のフレームレートで収集されたターゲットを含む超音波画像データごとに生成されたボクセルデータを取得する取得部と、
前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記ターゲットを検出する検出部と、
前記ボクセルデータごとに、検出された前記ターゲットにもとづいて前記ボクセルデータのレンダリング処理における光源の位置を設定する設定部と、
を備えた超音波診断装置。

【請求項2】

前記検出部は、
前記ボクセルデータにもとづいて前記ターゲットの位置および向きを検出し、
前記設定部は、
前記ターゲットの位置および向きに応じて前記光源の位置を設定する、
請求項１記載の超音波診断装置。

【請求項3】

前記設定部は、
前記ターゲットに対して前記光源があらかじめ設定した距離および角度に位置するよう、前記ターゲットの位置および向きに応じて前記光源の位置を設定する、
請求項２記載の超音波診断装置。

【請求項4】

前記検出部は、
前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記超音波画像データに含まれる前記ターゲットの構成要素を含む複数の構成要素の領域のそれぞれをセグメンテーションしたセグメンテーション済みボクセルデータを生成する学習済みモデルに対して前記ボクセルデータを入力することによって前記セグメンテーション済みボクセルデータを生成し、かつ、
前記セグメンテーション済みボクセルデータにもとづいて前記ターゲットの位置および向きを検出する、
請求項２または３に記載の超音波診断装置。

【請求項5】

前記設定部は、
前記光源の設定位置と前記ターゲットとの間に前記複数の構成要素のうちの構成要素が遮蔽物として存在すると、前記ターゲットと前記遮蔽物の端とを結ぶ直線上の位置であって前記光源の設定位置から最短距離の位置に前記光源の位置を修正する、
請求項４記載の超音波診断装置。

【請求項6】

前記設定部は、
前記光源の設定位置と前記ターゲットとの間に前記複数の構成要素のうちの構成要素が遮蔽物として存在すると、前記光源が前記遮蔽物の前記ターゲット側に位置するよう前記光源の位置を修正する、
請求項４または５に記載の超音波診断装置。

【請求項7】

前記設定部は、
前記光源の設定位置と前記ターゲットとの間に前記複数の構成要素のうちの構成要素が遮蔽物として存在すると、マスキング処理により前記遮蔽物を除去したマスクデータまたはマスキング処理により前記遮蔽物に所定の透過率を与えたマスクデータを生成する、
請求項４ないし６のいずれか１項に記載の超音波診断装置。

【請求項8】

前記ターゲットは胎児の顔である、
請求項１ないし７のいずれか１項に記載の超音波診断装置。

【請求項9】

前記ターゲットは胎児の顔であり、
前記検出部は、
前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記超音波画像データに含まれる前記胎児の顔の目の領域および鼻の領域ならびに胎盤の領域を含む複数の領域のそれぞれをセグメンテーションした前記セグメンテーション済みボクセルデータを生成する前記学習済みモデルに対して前記ボクセルデータを入力することによって前記セグメンテーション済みボクセルデータを生成し、かつ、
前記セグメンテーション済みボクセルデータにもとづいて前記胎児の顔の位置および向きを検出する、
請求項４ないし７のいずれか１項に記載の超音波診断装置。

【請求項10】

前記ターゲットは胎児の頭部を含む体であり、
前記検出部は、
前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記超音波画像データに含まれる前記胎児の体の領域および胎盤の領域を含む複数の領域のそれぞれをセグメンテーションした前記セグメンテーション済みボクセルデータを生成する前記学習済みモデルに対して前記ボクセルデータを入力することによって前記セグメンテーション済みボクセルデータを生成し、かつ、
前記セグメンテーション済みボクセルデータにもとづいて前記胎児の体の位置および向きを検出する、
請求項４ないし７のいずれか１項に記載の超音波診断装置。

【請求項11】

前記ターゲットは前記胎児の顔または前記胎児の体であり、
前記検出部は、
被検体の妊娠周期に応じてあらかじめ用意された複数の学習済みモデルのいずれかを用いて前記セグメンテーション済みボクセルデータを生成し、
前記複数の学習済みモデルは、
前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記超音波画像データに含まれる前記胎児の顔の目の領域および鼻の領域ならびに胎盤の領域を含む複数の領域のそれぞれをセグメンテーションした前記セグメンテーション済みボクセルデータを生成する第１学習済みモデルと、前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記超音波画像データに含まれる前記胎児の体の領域および胎盤の領域を含む複数の領域のそれぞれをセグメンテーションした前記セグメンテーション済みボクセルデータを生成する第２学習済みモデルと、を少なくとも含む、
請求項９または１０に記載の超音波診断装置。

【請求項12】

前記設定部が設定した前記光源の位置を用いて前記ボクセルデータをレンダリング処理することにより前記ボクセルデータごとに３次元画像を生成してディスプレイに表示させる画像生成部、
をさらに備えた請求項１ないし１１のいずれか１項に記載の超音波診断装置。

【請求項13】

前記設定部に対して前記ボクセルデータごとに前記光源の位置を設定させて前記光源の位置を更新するか、現在の前記光源の位置を維持するか、のユーザの選択を受け付ける入力部、
をさらに備えた請求項１ないし１２のいずれか１項に記載の超音波診断装置。

【請求項14】

所定のフレームレートで収集されたターゲットを含む超音波画像データごとに生成されたボクセルデータを取得する取得部と、
前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記ターゲットを検出する検出部と、
前記ボクセルデータごとに、検出された前記ターゲットにもとづいて前記ボクセルデータのレンダリング処理における光源の位置を設定する設定部と、
を備えた医用画像処理装置。

【請求項15】

コンピュータに、
所定のフレームレートで収集されたターゲットを含む超音波画像データごとに生成されたボクセルデータを取得するステップと、
前記ボクセルデータごとに、前記ボクセルデータにもとづいて前記ターゲットを検出するステップと、
前記ボクセルデータごとに、検出された前記ターゲットにもとづいて前記ボクセルデータのレンダリング処理における光源の位置を設定するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書および図面に開示の実施形態は、超音波診断装置、医用画像処理装置、およびプログラムに関する。

【背景技術】

【0002】

超音波診断装置には、２次元の超音波画像を収集しながらリアルタイムに３次元画像を生成して表示させるいわゆるライブ４Ｄ機能を有するものがある。ライブ４Ｄ機能は、たとえば胎児の発育や心臓などの循環器を確認するために用いられる。ライブ４Ｄ機能の実行中、３次元画像を生成するレンダリング処理に含まれるライティングの設定において、ユーザは、観察対象（ターゲット）の観察を容易にするように光源の位置を調整することができる。

【0003】

しかし、リアルタイムに３次元画像が順次生成される間に観察対象が動いてしまうと、観察対象に十分に光源の光があたらなくなってしまう場合がある。この場合、ユーザは手動で光源の位置を調整しなおさなくてはならず、非常に煩雑である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１８１１６８号公報

【非特許文献】

【0005】

【非特許文献1】クリストファー Ｍ. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、２００６年、Ｐ．２２５－２９０

【発明の概要】

【発明が解決しようとする課題】

【0006】

本明細書および図面に開示の実施形態が解決しようとする課題の一つは、ターゲットの動きに応じてレンダリング処理における光源の位置を自動的に調整することである。ただし、本明細書および図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0007】

実施形態に係る超音波診断装置は、取得部と、検出部と、設定部とを備える。取得部は、所定のフレームレートで収集されたターゲットを含む超音波画像データごとに生成されたボクセルデータを取得する。検出部は、ボクセルデータごとに、ボクセルデータにもとづいてターゲットを検出する。設定部は、ボクセルデータごとに、検出されたターゲットにもとづいてボクセルデータのレンダリング処理における光源の位置を設定する。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る超音波診断装置の一構成例を示すブロック図。

【図2】処理回路のプロセッサによる実現機能例を示すブロック図。

【図3】胎児の顔に対して光源がほぼ正対している場合における胎児の３次元画像の一例を示す説明図。

【図4】図３に示す例と同じ位置に光源が固定されつつ胎児の顔が横を向いてしまった場合における胎児の３次元画像の一例を示す説明図。

【図5】本実施形態に係る光源位置調整を説明するための図。

【図6】検出機能の学習時におけるデータフローの一例を示す説明図。

【図7】検出機能の運用時におけるデータフローの一例を示す説明図。

【図8】図１に示す処理回路のプロセッサにより、胎児の顔の動きに応じてレンダリング処理における光源の位置を自動的に調整する際の手順の一例を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、超音波診断装置、医用画像処理装置、およびプログラムの実施形態について詳細に説明する。

【0010】

本実施形態に係る超音波診断装置、医用画像処理装置、およびプログラムは、ターゲットの動きに応じてレンダリング処理における光源の位置を自動的に調整するものである。ターゲットには、胎児の顔や胎児の体のほか、心臓などの臓器が含まれる。以下、ターゲットが胎児の顔の場合の例について説明する。

【0011】

（構成）
図１は、一実施形態に係る超音波診断装置１０の一構成例を示すブロック図である。

【0012】

超音波診断装置１０は、超音波プローブ２０、入力インターフェース２１、およびディスプレイ２２と接続されて用いることができる。なお、超音波診断装置１０は、超音波プローブ２０、入力インターフェース２１、およびディスプレイ２２の少なくとも１つを備えてもよい。超音波診断装置１０は、タブレット型やスマートフォン型であってもよい。

【0013】

超音波診断装置１０は、図１に示すように、送受信回路１１、Ｂモード処理回路１２、ドプラ処理回路１３、画像生成回路１４、画像メモリ１５、記憶回路１６、ネットワーク接続回路１７、および処理回路１８を有する。

【0014】

送受信回路１１は、送信回路および受信回路を有する。送受信回路１１は、処理回路１８に制御されて、超音波の送受信における送信指向性と受信指向性とを制御する。なお、図１には送受信回路１１が超音波診断装置１０に設けられる場合の例について示したが、送受信回路１１は超音波プローブ２０に設けられてもよいし、超音波診断装置１０と超音波プローブ２０の両方に設けられてもよい。

【0015】

送信回路は、パルス発生器、送信遅延回路およびパルサ回路などを有し、超音波振動子に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスにもとづくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。

【0016】

受信回路は、アンプ回路、Ａ／Ｄ変換器、加算器などを有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行なってエコーデータを生成する。アンプ回路は、エコー信号をチャンネルごとに増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理されたエコー信号の加算処理を行なってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。

【0017】

Ｂモード処理回路１２は、受信回路からエコーデータを受信し、対数増幅、包絡線検波処理などを行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。

【0018】

ドプラ処理回路１３は、受信回路から受信したエコーデータから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動態情報を多点について抽出したデータ（ドプラデータ）を生成する。

【0019】

なお、Ｂモードデータおよびドプラデータは、画像生成回路１４による表示用データへのスキャンコンバート処理前の２次元超音波画像データであり、生データ（Raw Data）とも呼ばれる。生データは、画像メモリ１５に一時的に記憶される。また、生データは、画像サーバ４０にも記憶されておくとよい。

【0020】

画像生成回路１４は、超音波プローブ２０が受信したエコー信号にもとづいて表示用の超音波画像データを生成する。たとえば、画像生成回路１４は、Ｂモード処理回路１２が生成した２次元のＢモードデータから反射波の強度を輝度にて表した２次元Ｂモード画像データを生成する。また、画像生成回路１４は、ドプラ処理回路１３が生成した２次元のドプラデータから移動態情報を表す平均速度画像、分散画像、パワー画像、または、これらの組み合わせ画像としての２次元のカラードプラ画像の画像データを生成する。また、画像生成回路１４は、生成した画像データを画像サーバ４０に保管させてもよい。

【0021】

画像メモリ１５は、生データや処理回路１８が生成した画像を記憶するメモリである。記憶回路１６は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。

【0022】

記憶回路１６の記憶媒体内のプログラムおよびデータの一部または全部はネットワーク１００を介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路１６に与えられてもよい。なお、記憶回路１６に記憶される情報の一部または全部は、外部の記憶回路や超音波プローブ２０の図示しない記憶回路などの記憶媒体の少なくとも１つに分散されて記憶され、あるいは複製されて記憶されてもよい。

【0023】

記憶回路１６は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。記憶回路１６の記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路１６に与えられてもよい。なお、記憶回路１６に記憶される情報の一部または全部は、外部の記憶回路や超音波プローブ２０の図示しない記憶回路などの記憶媒体の少なくとも１つに分散されて記憶され、あるいは複製されて記憶されてもよい。

【0024】

ネットワーク接続回路１７は、ネットワーク１００の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路１７は、この各種プロトコルに従って超音波診断装置１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

【0025】

処理回路１８は、超音波診断装置１０を統括制御する機能を実現する。また、処理回路１８は、記憶回路１６に記憶されたプログラムを読み出して実行することにより、ターゲットの動きに応じてレンダリング処理における光源の位置を自動的に調整するための処理を実行するためのプロセッサである。

【0026】

処理回路１８の構成および動作の詳細については図２－８を参照して後述する。

【0027】

超音波プローブ２０は、超音波診断装置１０とケーブルを介して着脱自在に接続される。なお、超音波プローブ２０は超音波診断装置１０と無線接続されてもよい。

【0028】

超音波プローブ２０は、被検体としての妊婦の腹部の表面に接触されて妊婦の子宮内の胎児に対して超音波の送受信を行う経腹法に用いられるプローブであってもよいし、妊婦の膣の中に挿入されて妊婦の体内から胎児により近い位置で胎児に対して超音波の送受信を行う経膣法に用いられる棒状の経膣プローブであってもよい。

【0029】

超音波プローブ２０としては、スキャン方向（アジマス方向）に複数の超音波振動子が配列されるとともにレンズ方向（エレベーション方向）にも複数の素子が配列された２次元アレイプローブを用いることができる。この種の２次元アレイプローブとしては、たとえば１．５Ｄアレイプローブ、１．７５Ｄアレイプローブや、２Ｄアレイプローブなどを用いることができる。

【0030】

本実施形態において、超音波プローブ２０は、ボリュームデータを取得可能に構成される。この場合、２次元アレイプローブである超音波プローブ２０により被検体を３次元でスキャンしてもよい。また、複数の圧電振動子が一列で配置された１次元超音波プローブを超音波プローブ２０として用いてもよい。この場合は、これら複数の超音波振動子を回転させることで被検体を３次元でスキャンしてもよい。また、１次元超音波プローブの複数の圧電振動子を機械的に揺動することで３次元領域を走査するメカニカル４Ｄプローブを超音波プローブ２０として用いてもよい。

【0031】

超音波プローブ２０がボリュームデータを取得可能な場合、ユーザは、複数の２次元超音波画像のいずれかをリアルタイムな動画としてまたは静止画として表示させる２次元表示モード（２Ｄモード）と、３次元超音波画像を動画として表示させる４次元表示モード（４Ｄモード）とのいずれかのモードを選択可能である。４Ｄモードでは、所定のフレームレートでリアルタイムに取得されている２次元超音波画像データが処理回路１８により順次表示形式のボリュームデータ（ボクセルデータ群、以下、ボクセルデータという）に変換され、処理回路１８がボクセルデータに対してライティング処理を含むレンダリング処理を行うことにより順次３次元超音波画像が生成されて、３次元超音波画像が動画としてディスプレイ２２に表示される。

【0032】

入力インターフェース２１は、たとえばトラックボール、スイッチ、ボタン、マウス、キーボード、操作面へ触れることで入力操作を行なうタッチパッド、光学センサを用いた非接触入力回路、および音声入力回路等などの一般的な入力装置により実現され、ユーザの操作に対応した操作入力信号を処理回路１８に出力する。入力インターフェース２１は、操作パネルとして構成されてもよい。この場合、操作パネルは、タッチコマンドスクリーンとして機能し、たとえばディスプレイと、このディスプレイの近傍に設けられたタッチ入力回路と、ハードキーとを有する。入力インターフェース２１は、入力部の一例である。

【0033】

ディスプレイ２２は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成され、処理回路１８の制御に従って各種情報を表示する。

【0034】

また、超音波診断装置１０がタブレット型やスマートフォン型の超音波診断装置１０である場合は、入力インターフェース２１とディスプレイ２２とが一体としてタッチパネルを構成してもよい。

【0035】

また、超音波診断装置１０は、医用画像処理装置３０および画像サーバ４０とネットワーク１００を介して互いにデータ送受信可能に接続されてもよい。

【0036】

図２は、処理回路１８のプロセッサによる実現機能例を示すブロック図である。図２に示すように、処理回路１８のプロセッサは、取得機能３１、検出機能３２、基準点算出機能３３、光源位置設定機能３４、および画像生成機能３５を実現する。これらの各機能３１－３５は、それぞれプログラムの形態で記憶回路１６に記憶されている。

【0037】

取得機能３１は、所定のフレームレートで収集された２次元の生データを取得する。また、取得機能３１は、画像生成機能３５が生データから変換して生成したボクセルデータを取得する。取得機能３１は、取得部の一例である。

【0038】

検出機能３２は、ボクセルデータごとに、ボクセルデータにもとづいてターゲットを検出する。ボクセルデータにもとづくターゲットの検出方法としては、たとえばセマンティックセグメンテーションによりボクセルデータを複数の領域にセグメンテーションし、セグメンテーション結果にもとづいてターゲットの位置および向きを検出する方法などを用いることができる。本実施形態では、ターゲットが胎児の顔の場合の例を説明する。検出機能３２は、検出部の一例である。

【0039】

基準点算出機能３３は、検出されたターゲットの基準点を求める。基準点としては、ターゲットの領域（２次元領域または３次元領域）の中心（たとえば重心など）を用いることができる。

【0040】

光源位置設定機能３４は、ボクセルデータごとに、検出されたターゲットにもとづいてボクセルデータのレンダリング処理における光源の位置を設定する。たとえば、光源位置設定機能３４は、ターゲットの基準点に対して光源があらかじめ設定した距離および角度に位置するように、光源の位置を設定する。光源位置設定機能３４は、設定部の一例である。

【0041】

画像生成機能３５は、設定された光源の位置を用いてボクセルデータをレンダリング処理することによりボクセルデータごとに３次元画像を生成して、ディスプレイ２２に表示させる。このレンダリング処理には、設定された光源の位置を用いたライティング処理が含まれる。ライティング処理としては、たとえばグローバルイルミネーションなどの技術を用いることができる。画像生成機能３５は、画像生成部の一例である。

【0042】

（光源位置設定）
図３は、胎児の顔５０に対して光源がほぼ正対している場合における胎児の３次元画像の一例を示す説明図である。なお、図３－５において、斜線のハッチングを施した領域は当該領域に影がかかっていることを示す。

【0043】

胎児の超音波スキャンにもとづいて生成されるボクセルデータには、胎児の顔５０を含む胎児の体と、羊水と、胎盤６０などの複数の構成要素が含まれる。

【0044】

胎児の顔５０は、左右の目５１、鼻５２などの構成要素を含む。胎児の顔５０に対して光源がほぼ正対している場合には、図３に示すように、胎盤６０に遮られること無く左右の目５１、鼻５２をしっかりと観察することができる。

【0045】

ところが、ターゲットが動いてしまうと、観察対象であるターゲットの一部または全部に影がかかってしまい、ターゲットの観察が難しくなってしまうことがある。

【0046】

図４は、図３に示す例と同じ位置に光源が固定されつつ胎児の顔５０が横を向いてしまった場合における胎児の３次元画像の一例を示す説明図である。

【0047】

図４に示す例では、光源の位置が固定されているにもかかわらず胎児の顔５０が横を向いてしまったために、胎児の顔５０の大部分が胎盤６０の影に入ってしまっている。この場合、ユーザは胎児の顔５０を観察することが難しい。

【0048】

そこで、本実施形態に係る処理回路１８は、ターゲットの動きに応じてレンダリング処理における光源の位置を自動的に調整する。

【0049】

図５は、本実施形態に係る光源位置調整を説明するための図である。図５の左列は３次元画像の遷移例を示し、右列は胎児の顔５０の位置および向きと光源７０の位置との関係の一例を示す。

【0050】

図５の上段右に示すように、胎児の顔５０が正面を向いているとユーザが判断して４Ｄモードが選択されると、光源位置設定機能３４は、胎児の顔５０に正対する位置に光源７０の位置を設定する。このとき、光源位置設定機能３４は、胎児の顔５０の基準点５５に対してあらかじめ設定した距離および角度に位置するように光源７０の位置を設定する。

【0051】

胎児の顔５０の基準点５５としては、左右の目５１の領域の中心と鼻５２の領域の中心とを結ぶ三角形の中心（重心など）を用いるとよい。また、あらかじめ設定される距離および角度は、光源７０が胎児の顔５０の基準点に対して真正面よりもやや上方に位置するように設定されるとよい。

【0052】

このように胎児の顔５０に対してほぼ正対する位置に光源７０を位置させることで、胎盤６０に遮られること無く左右の目５１、鼻５２をしっかりと観察することができる（図３、図５上段左参照）。

【0053】

その後、図５の中段に示すように、胎児の顔５０が横を向いてしまうと、光源７０からの光が胎盤６０に遮られてしまう。

【0054】

そこで、本実施形態に係る光源位置設定機能３４は、図５の下段右に示すように、現在のボクセルデータから検出された胎児の顔５０の基準点５５に対してあらかじめ設定した距離および角度に位置するように、光源７０の位置を設定する。このため、胎児の顔５０が動いてしまっても、現在の胎児の顔５０の位置および向きに応じて胎児の顔５０にほぼ正対するように光源７０を自動的に位置させることができ、胎盤６０に遮られること無く左右の目５１、鼻５２をしっかりと観察することができる（図５下段左参照）。

【0055】

なお、光源７０の自動位置設定およびレンダリング処理を実行して光源７０の位置を更新するか、現在の光源７０の位置を維持するよう光源７０の自動位置設定およびレンダリング処理を中断するか、のユーザの選択を、入力インターフェース２１を介して受け付けてもよい。この場合、４Ｄモードへの移行時に光源７０の位置を設定したあとは処理を中断しておき、入力インターフェース２１を介したユーザの指示を受けて処理を開始して光源７０の位置を更新してもよい。処理中断の選択を受け付け可能とする場合、ユーザは現在の光源７０の位置を維持することもできるため、意図せず光源７０の位置が変わってしまうことによる弊害を未然に防ぐことができる。

【0056】

（ターゲット検出）
検出機能３２は、機械学習により構築された学習済みモデルを用いてセマンティックセグメンテーションを行うことでボクセルデータからターゲットを検出してもよい。この場合、機械学習としてＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）などの、多層のニューラルネットワークを用いた深層学習を用いてもよい。以下、検出機能３２が深層学習により構築された学習済みモデルを用いる場合の例について説明する。

【0057】

図６は、検出機能３２の学習時におけるデータフローの一例を示す説明図である。検出機能３２は、多数のトレーニングデータセットを用いて深層学習を行うことにより、パラメータデータ３２２を逐次的に更新する。

【0058】

多数のトレーニングデータセットのそれぞれのトレーニングデータセットは、学習用データ８１と教師データ８２の組からなる。学習用データ８１は、ボクセルデータ８１１、８１２、８１３、・・・である。教師データ８２は、ボクセルデータ８１１、８１２、８１３、・・・に対応するセグメンテーション済みボクセルデータ８２１、８２２、８２３、・・・である。

【0059】

セグメンテーション済みボクセルデータ８２１、８２２、８２３、・・・は、それぞれボクセルデータ８１１、８１２、８１３、・・・をセグメンテーションしたものである。ターゲットが胎児の顔５０である場合は、セグメンテーションは、目５１の領域と、鼻５２の領域と、胎児の体（頭部を含む全体）の領域と、胎盤６０などのその他の構成要素の領域に対して行うとよい。また、目５１、鼻５２、胎児の体（頭部を含む全体）、および羊水を除く全ての構成要素を他の構成要素として１つにセグメンテーションしてもよい。

【0060】

検出機能３２は、トレーニングデータセットが与えられるごとに、学習用データ８１をニューラルネットワーク３２１で処理した結果が教師データ８２に近づくようにパラメータデータ３２２を更新していく、いわゆる学習を行う。一般に、パラメータデータ３２２の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータ３２２を特に学習済みパラメータデータ３２２ｔという。ニューラルネットワーク３２１と学習済みパラメータデータ３２２ｔは、学習済みモデル３２０を構成する。

【0061】

なお、学習済みモデルは、被検体となる妊婦の妊娠周期ごとに構築してもよい。たとえば、妊娠周期が１１週ごろまでは、胎児の目５１や鼻５２などの部位が未発達で細かくは形成されない。このため、妊娠周期が１１週までは、胎児の目５１や鼻５２をセグメンテーションすることは難しい。そこで、妊娠周期に応じて異なる学習済みモデルを構築しておき使い分けてもよい。

【0062】

具体的には、妊娠周期が１１週までは、ターゲットを胎児の顔５０ではなく胎児の体とし、胎児の体（頭部を含む全体）の領域と胎盤６０の領域などのその他の構成要素とをセグメンテーションしたものをセグメンテーション済みボクセルデータ８２１、８２２、８２３、・・・として用いて、部位未発達胎児用の学習済みモデルを構築するとよい。なお、ターゲットを胎児の体とする場合、基準点は胎児の体の領域の中心（重心など）とするとよい。一方、妊娠周期が１１週以降の妊婦に対しては、上述したように、目５１の領域と鼻５２の領域もセグメンテーションしたセグメンテーション済みボクセルデータ８２１、８２２、８２３、・・・を用いて構築した学習済みモデルを、部位発達済み胎児用の学習済みモデルとして用いるとよい。

【0063】

図７は、検出機能３２の運用時におけるデータフローの一例を示す説明図である。運用時には、検出機能３２は、ボクセルデータ９１を入力され、学習済みモデル３２０を用いて、セグメンテーション済みボクセルデータ９２を生成する。

【0064】

なお、ニューラルネットワーク３２１と学習済みパラメータデータ３２２ｔは、学習済みモデル３２０を構成する。この種の学習の方法および学習済みモデルの構築方法については、非特許文献１に開示された方法など種々の方法が知られている。ニューラルネットワーク３２１は、プログラムの形態で記憶回路１６に記憶される。学習済みパラメータデータ３２２ｔは、記憶回路１６に記憶されてもよいし、ネットワーク１００を介して処理回路１８と接続された記憶媒体に記憶されてもよい。

【0065】

学習済みモデル３２０（ニューラルネットワーク３２１と学習済みパラメータデータ３２２ｔ）が記憶回路１６に記憶される場合、処理回路１８のプロセッサにより実現される検出機能３２は、記憶回路１６から学習済みモデル３２０を読み出して実行することで、ボクセルデータ９１にもとづいてセグメンテーション済みボクセルデータ９２を生成することができる。

【0066】

また、学習済みモデル３２０は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路によって構築されてもよい。

【0067】

なお、処理回路１８の機能３１－３５は、医用画像処理装置３０のプロセッサにより実現されてもよい。この場合、医用画像処理装置３０は、超音波診断装置１０から、または画像サーバ４０から、生データを取得する。

【0068】

（動作）
次に、本実施形態に係る超音波診断装置１０、医用画像処理装置３０、およびプログラムの動作の一例について説明する。

【0069】

図８は、図１に示す処理回路１８のプロセッサにより、胎児の顔５０の動きに応じてレンダリング処理における光源７０の位置を自動的に調整する際の手順の一例を示すフローチャートである。図８において、Ｓに数字を付した符号はフローチャートの各ステップを示す。この手順は、ボクセルデータごとに繰り返される。

【0070】

なお、図８には、妊娠周期によらず目５１の領域と鼻５２の領域もセグメンテーションしたセグメンテーション済みボクセルデータ８２１、８２２、８２３、・・・を用いて構築した学習済みモデル３２０を用いる場合の例を示した。

【0071】

まず、ステップＳ１において、取得機能３１は、生データから変換して生成されたボクセルデータを取得する。

【0072】

次に、ステップＳ２において、検出機能３２は、ボクセルデータごとに、ボクセルデータ９１にもとづいて超音波画像データに含まれる胎児の顔５０の構成要素を含む複数の構成要素の領域のそれぞれをセグメンテーションしたセグメンテーション済みボクセルデータ９２を生成する学習済みモデル３２０に対してボクセルデータ９１を入力することによって、セグメンテーション済みボクセルデータ９２を生成する。

【0073】

次に、ステップＳ３において、検出機能３２は、セグメンテーション済みボクセルデータ９２に目５１の領域と鼻５２の領域が含まれるか否かを判定する。

【0074】

セグメンテーション済みボクセルデータ９２に目５１の領域と鼻５２の領域が含まれる場合は（ステップＳ３のＹＥＳ）、基準点算出機能３３は、ターゲットを胎児の顔５０とし、左右の目５１の領域の中心と鼻５２の領域の中心とを結ぶ三角形の中心座標を基準点５５の座標として求める（ステップＳ４）。

【0075】

他方、セグメンテーション済みボクセルデータ９２に目５１の領域と鼻５２の領域が含まれない場合は（ステップＳ３のＮＯ）、基準点算出機能３３は、ターゲットを胎児の体とし、胎児の体の領域の中心座標を基準点５５の座標として求める（ステップＳ５）。

【0076】

次に、ステップＳ６において、光源位置設定機能３４は、ボクセルデータから検出されたターゲットの基準点５５に対して所定距離および所定角度に位置するように、光源７０の位置を自動設定する。

【0077】

以上のステップＳ１－Ｓ６により、胎児の顔５０の動きに応じてレンダリング処理における光源７０の位置を自動的に調整することができる。

【0078】

ところで、妊婦の子宮内の状況によっては、ステップＳ６で自動設定した光源７０の位置と胎児との間に胎盤６０などの構成要素が遮蔽物として存在してしまうことがある。この場合に備えて、あらかじめ遮蔽物を回避する位置に光源７０の位置を修正するための設定を用意し、あらかじめどの設定を利用するか、あるいは修正を行わないかを指定しておくとよい。以下、ステップＳ７－Ｓ１３を用いて具体的に説明する。

【0079】

ステップＳ７において、光源位置設定機能３４は、ステップＳ６で自動設定した光源７０の位置と胎児との間に胎盤６０などの構成要素が遮蔽物として存在するか否かを判定する。遮蔽物がある場合はステップＳ８に進む。一方、遮蔽物がない場合は、現在のボクセルデータに対する一連の手順は終了となる。

【0080】

なお、光源７０の位置と胎児との間に遮蔽物が存在するかは、光源７０とターゲットの基準点５５との間に遮蔽物が存在するか、または、光源７０とターゲットを結ぶ錐体に遮蔽物が含まれるかなどを判断基準として用いることができる。

【0081】

あらかじめ設定１の利用が指定されていると（ステップＳ８のＹＥＳ）、光源位置設定機能３４は、ターゲットと遮蔽物の端とを結ぶ直線上の位置であって光源７０の現在の設定位置から最短距離の位置に、光源７０の位置を修正し（ステップＳ９）、一連の手順は終了となる。このとき、光源７０の位置は奥行き方向には移動させず、奥行方向に直交する面内で移動させるとよい。

【0082】

設定１の利用が指定されておらず（ステップＳ８のＮＯ）、設定２の利用が指定されていると（ステップＳ１０のＹＥＳ）、光源位置設定機能３４は、光源７０が遮蔽物のターゲット側に位置するように光源７０の位置を修正し（ステップＳ１１）、一連の手順は終了となる。

【0083】

また、設定２の利用が指定されておらず（ステップＳ１０のＮＯ）、設定３の利用が指定されていると（ステップＳ１２のＹＥＳ）、光源位置設定機能３４は、マスキング処理により遮蔽物を除去したマスクデータ、または、マスキング処理により前記遮蔽物に所定の透過率を与えたマスクデータを生成して出力し（ステップＳ１３）、一連の手順は終了となる。なお、設定３を利用した場合は、画像生成機能３５は、修正された光源７０の位置を用い、マスキングデータを利用してレンダリング処理することによって、遮蔽物がターゲットの観察の妨げにならないようにマスクされた３次元画像を生成する。

【0084】

以上のステップＳ７－１３により、ステップＳ６で自動設定した光源７０の位置と胎児との間に胎盤６０などの構成要素が遮蔽物として存在した場合であっても、ターゲットを容易に観察可能な３次元画像を生成することができる。

【0085】

なお、遮蔽物の有無や設定３の利用指定の有無によらずに、胎児の構成要素を除く所望の構成要素の一部または全部をマスキング処理したマスクデータを生成し、所望の構成要素がターゲットの観察の妨げにならないようにマスクされた３次元画像を生成してもよい。マスクデータを生成するか否かは、入力インターフェース２１を介してユーザにより選択可能としてもよい。

【0086】

本実施形態に係る超音波診断装置１０、医用画像処理装置３０、およびプログラムによれば、ボクセルデータごとにターゲットの位置および向きに応じて光源７０の位置を自動設定することができる。したがって、ターゲットの観察に適したライティングを施した画像を効率よくユーザに提供することができる。また、ターゲットの動きにあわせて光源７０を手動で調整する手間からユーザを開放することができるため、非常に便利である。

【0087】

以上説明した少なくとも１つの実施形態によれば、ターゲットの動きに応じてレンダリング処理における光源７０の位置を自動的に調整することができる。

【0088】

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサがたとえばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することにより、各種機能を実現する。また、プロセッサがたとえばＡＳＩＣである場合、記憶回路にプログラムを保存するかわりに、当該プログラムに相当する機能がプロセッサの回路内に論理回路として直接組み込まれる。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行するハードウェア処理により各種機能を実現する。あるいはまた、プロセッサは、ソフトウェア処理とハードウェア処理とを組み合わせて各種機能を実現することもできる。

【0089】

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶回路は、プロセッサごとに個別に設けられてもよいし、１つの記憶回路が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

【0090】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0091】

１０ 超音波診断装置
１８ 処理回路
２０ 超音波プローブ
２１ 入力インターフェース
２２ ディスプレイ
３０ 医用画像処理装置
３１ 取得機能
３２ 検出機能
３３ 基準点算出機能
３４ 光源位置設定機能
３５ 画像生成機能
５０ 胎児の顔
５１ 目
５２ 鼻
５５ 基準点
６０ 胎盤
７０ 光源

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】