特開 2022-179966 画像生成装置、画像生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179966

(43)【公開日】2022-12-06

(54)【発明の名称】画像生成装置、画像生成方法、およびプログラム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20221129BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021086809

(22)【出願日】2021-05-24

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】松本 洋日

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB06

4C601BB27

4C601DD14

4C601EE04

4C601JB34

4C601JB48

4C601JB50

4C601JC06

4C601JC17

4C601JC20

(57)【要約】      （修正有）

【課題】空間コンパウンド法を用いて、特定の識別対象物を含む医用画像を高画質で生成することができる画像生成装置、画像生成方法、およびプログラムを提供する。
【解決手段】複数の異なる送信方向で送信された送信超音波の反射超音波のそれぞれに対応する複数の受信信号に基づいて生成された複数の超音波画像を取得する画像取得部１４と、入力された超音波画像に写っている識別対象物を識別する識別モデルに、取得された複数の超音波画像を入力することによって、識別モデルから出力される確信度を取得する構造物識別部１７と、複数の超音波画像および確信度に基づいて、合成画像を生成する画像合成部１８と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の異なる送信方向で送信された送信超音波の反射超音波のそれぞれに対応する複数の受信信号に基づいて生成された複数の超音波画像を取得する画像取得部と、
入力された超音波画像に写っている識別対象物を識別する識別器に、取得された前記複数の超音波画像を入力することによって、前記識別器から出力される識別結果を取得する識別結果取得部と、
前記複数の超音波画像および前記識別結果に基づいて、合成画像を生成する画像合成部と、
を備える、画像生成装置。

【請求項2】

前記識別器は、機械学習により学習された学習済み識別器であり、
前記識別結果取得部は、前記学習済み識別器に前記超音波画像を入力する、
請求項１に記載の画像生成装置。

【請求項3】

前記学習済み識別器は、ニューラルネットワークである、
請求項２に記載の画像生成装置。

【請求項4】

前記合成画像を表示する表示部をさらに備え、
前記識別結果取得部は、前記表示部に表示される前記合成画像とは異なる画像を前記識別器に入力する、
請求項１から３のいずれか一項に記載の画像生成装置。

【請求項5】

前記識別結果取得部は、現在前記表示部に表示されている前記合成画像より過去に生成された前記合成画像、前記過去に生成された前記複数の超音波画像、前記過去に生成された前記複数の超音波画像の画素毎の画素値の平均または最大値を算出して生成された画像を前記識別器に入力する、
請求項１から４のいずれか一項に記載の画像生成装置。

【請求項6】

前記画像合成部は、前記識別結果に基づいて重み付け値を算出し、前記複数の超音波画像データおよび前記重み付け値に基づいて、前記合成画像を生成する、
請求項１から５のいずれか一項に記載の画像生成装置。

【請求項7】

前記識別結果は、前記識別対象物であることの尤もらしさを示す確信度である、
請求項１から６のいずれか一項に記載の画像生成装置。

【請求項8】

前記画像合成部は、前記超音波画像の画素毎の前記確信度を示している確信度画像を生成し、前記確信度画像に基づいて重み付け値を算出する、
請求項７に記載の画像生成装置。

【請求項9】

前記画像合成部は、前記確信度画像に基づいて前記画素毎の重み付け値を算出する、
請求項８に記載の画像生成装置。

【請求項10】

前記画像合成部は、複数の前記確信度画像の画素毎の画素値の平均または最大値を算出して生成された最終確信度画像に基づいて、前記重み付け値を算出する、
請求項８または９に記載の画像生成装置。

【請求項11】

前記識別対象物は、神経、筋膜、血管、または穿刺針である、
請求項１から１０のいずれか一項に記載の画像生成装置。

【請求項12】

前記画像合成部は、前記識別対象物の種類に基づいて、前記重み付け値の算出方法を変更する、
請求項７から１１のいずれか一項に記載の画像生成装置。

【請求項13】

画像生成装置が有するコンピューターが実行する画像生成方法であって、
前記コンピューターは、
複数の異なる送信方向で送信された送信超音波の反射超音波のそれぞれに対応する複数の受信信号に基づいて生成された複数の超音波画像を取得し、
入力された超音波画像に写っている識別対象物を識別する識別器に、取得された前記複数の超音波画像を入力することによって、前記識別器から出力される識別結果を取得し、
前記複数の超音波画像および前記識別結果に基づいて、合成画像を生成する、
画像生成方法。

【請求項14】

コンピューターにより実行されるプログラムであって、
複数の異なる送信方向で送信された送信超音波の反射超音波のそれぞれに対応する複数の受信信号に基づいて生成された複数の超音波画像を取得する手順と、
入力された超音波画像に写っている識別対象物を識別する識別器に、取得された前記複数の超音波画像を入力することによって、前記識別器から出力される識別結果を取得する手順と、
前記複数の超音波画像および前記識別結果に基づいて、合成画像を生成する手順と、
を前記コンピューターに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医用画像を生成する画像生成装置、画像生成方法、およびプログラムに関する。

【背景技術】

【0002】

従来、多数の振動子を配列して備える超音波探触子を有し、生体等の被検体に対して超音波の送受信を行い、受信した超音波から得られた信号に基づいて超音波画像データを生成し、これに基づく超音波画像を画像表示装置に表示する超音波診断装置が知られている。このような装置による超音波画像診断は、超音波探触子を被検体の体表に当てるだけの簡単な操作で心臓の拍動や胎児の動き等の様子がリアルタイムで得られ、かつ非侵襲で安全性が高いため、繰り返して実施することができる。

【0003】

しかしながら、このような超音波診断装置によって得られる画像には、被検体内の組織に関する情報以外にも、各種のノイズや、超音波探触子で受信した超音波から得られた受信信号の干渉現象により発生するスペックルが存在し、これらは被検体内の組織の境界の位置や形状を正確に把握する場合においてしばしば妨げとなっている。

【0004】

近年では、このようなノイズやスペックルを低減する処理方法として、例えば、空間コンパウンド法を用いた超音波診断装置が普及している。空間コンパウンド法は、被検体の同一部位に対して同時期に複数の異なる方向で超音波の送受信を行い、取得された複数の超音波画像データの平均的重畳を行う方法である。これにより、ノイズやスペックルは、例えば、Ｎ枚の超音波画像データが得られた場合には、これらを合成した合成画像データにおいて、Ｎの平方根で低減される。

【0005】

また、この空間コンパウンド法によれば、異方性部位の抽出性能を向上させることができる。異方性部位とは、超音波が当たった際の散乱、反射等の受信信号強度が角度により異なる部位であり、具体的には、例えば被検体内の骨格筋における腱や靭帯のように、繊維状で反射強度は骨表面ほど強くないが鏡面反射特性を示す軟部組織における部位である。

【0006】

このような空間コンパウンド法を用いた超音波診断装置は、例えば特許文献１に開示されている。特許文献１には、ターゲットをより高画質で描写するための診断検査のタイプに応じて選択された制御信号によって、複数方向からの反射信号によって得られた超音波画像の各画素値の平均値、最大値、最小値、中央値等を合成することで、より品質が高い超音波画像を生成することができる技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特表２００４－５２２５１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に開示された技術では、例えば神経をターゲットとしたとき、神経からの受信信号を増幅するため、神経を高画質で描写することができる。しかしながら、特許文献１に開示された技術では、神経以外の要素、例えばノイズや描写する必要がない他の構造物からの受信信号も増幅してしまい、結果として超音波画像全体の画質が低下することがある。

【0009】

本開示は、空間コンパウンド法を用いて、特定の識別対象物を含む医用画像を高画質で生成することができる画像生成装置、画像生成方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本開示の画像生成装置は、複数の異なる送信方向で送信された送信超音波の反射超音波のそれぞれに対応する複数の受信信号に基づいて生成された複数の超音波画像を取得する画像取得部と、入力された超音波画像に写っている識別対象物を識別する識別器に、取得された前記複数の超音波画像を入力することによって、前記識別器から出力される識別結果を取得する識別結果取得部と、前記複数の超音波画像および前記識別結果に基づいて、合成画像を生成する画像合成部と、を備える。

【0011】

本開示の画像生成方法は、画像生成装置が有するコンピューターが実行する画像生成方法であって、前記コンピューターは、複数の異なる送信方向で送信された送信超音波の反射超音波のそれぞれに対応する複数の受信信号に基づいて生成された複数の超音波画像を取得し、入力された超音波画像に写っている識別対象物を識別する識別器に、取得された前記複数の超音波画像を入力することによって、前記識別器から出力される識別結果を取得し、前記複数の超音波画像および前記識別結果に基づいて、合成画像を生成する。

【0012】

本開示のプログラムは、コンピューターにより実行されるプログラムであって、複数の異なる送信方向で送信された送信超音波の反射超音波のそれぞれに対応する複数の受信信号に基づいて生成された複数の超音波画像を取得する手順と、入力された超音波画像に写っている識別対象物を識別する識別器に、取得された前記複数の超音波画像を入力することによって、前記識別器から出力される識別結果を取得する手順と、前記複数の超音波画像および前記識別結果に基づいて、合成画像を生成する手順と、を前記コンピューターに実行させる。

【発明の効果】

【0013】

本発明によれば、空間コンパウンド法を用いて、特定の識別対象物を含む医用画像を高画質で生成することができる。

【図面の簡単な説明】

【0014】

【図1】超音波診断装置の構成の一例を示す図

【図2】画像生成装置の構成例を示すブロック図

【図3】構造物識別部の構成例を示す図

【図4A】参照データの一例を示す図

【図4B】参照データの一例を示す図

【図5】識別モデルを訓練するための識別モデル生成処理の一例を示すフローチャート

【図6】訓練用の超音波画像と第１画像との関係を示す図

【図7A】教師データの生成方法について説明するための図

【図7B】教師データの生成方法について説明するための図

【図7C】教師データの生成方法について説明するための図

【図8】画像生成装置が合成画像を生成する際の動作例を示すフローチャート

【図9】構造物識別部により、確信度が取得される様子を示す模式図

【図10】互いにステアリング角度が異なる複数の診断用画像を合成する様子を模式的に示す図

【発明を実施するための形態】

【0015】

以下、本開示の実施の形態について、図面を参照して説明する。ただし、発明の範囲は図示した例に限定されない。なお、以下の説明において、同一の機能および構成を有するものについては、同一の符号を付し、その説明を省略する。

【0016】

＜構成＞
［超音波診断装置１００］
図１は、超音波診断装置１００の構成の一例を示す図である。超音波診断装置１００は、図１に示すように、画像生成装置１と、超音波探触子２と、を有する。超音波探触子２は、被検体に対して超音波（送信超音波）を送信するとともに、この被検体内で反射した超音波の反射波（反射超音波：エコー）を受信する。以下の説明では、被検体の一例として、人体等の生体を採用する。

【0017】

画像生成装置１は、超音波探触子２とケーブル３を介して接続され、超音波探触子２に電気信号の駆動信号を送信することによって超音波探触子２に被検体に対して送信超音波を送信させる。そして、超音波探触子２にて受信した被検体内からの反射超音波に応じて超音波探触子２で生成された電気信号である受信信号に基づいて被検体内の内部状態を超音波画像として画像化する。

【0018】

超音波探触子２は、複数の圧電素子からなる振動子２ａ（図２参照）を有し、この振動子２ａは、例えば、方位方向（走査方向）に一次元アレイ状に複数配列されている。振動子２ａの個数は、任意に設定することができる。

【0019】

［画像生成装置１］
図２は、画像生成装置１の構成例を示すブロック図である。画像生成装置１は、図２に示すように、例えば、操作入力部１１と、送信部１２と、受信部１３と、画像取得部１４と、画像処理部１５と、ＤＳＣ（Digital Scan Converter）１６と、構造物識別部１７と、画像合成部１８と、表示部１９と、制御部１１０と、を有する。

【0020】

操作入力部１１は、例えば、診断開始を指示するコマンド、および、被検体に関する情報等のデータ等を行うための操作デバイスであり、具体的には、例えば各種スイッチ、ボタン、トラックボール、マウス、キーボード等である。操作入力部１１は、入力された操作に基づく操作信号を制御部１１０に出力する。

【0021】

送信部１２は、制御部１１０の制御に従って、超音波探触子２にケーブル３を介して電気信号である駆動信号を供給し、超音波探触子２に送信超音波を発生させる回路である。送信部１２は、例えば、図示しないクロック発生回路、遅延回路、パルス発生回路を有する。クロック発生回路は、駆動信号の送信タイミングや送信周波数を決定するクロック信号を発生させる回路である。遅延回路は、振動子２ａ毎に対応した個別経路毎に遅延時間を設定し、設定された遅延時間だけ駆動信号の送信を遅延させて送信超音波によって構成される送信ビームの集束（送信ビームフォーミング）や、送信ビームの角度の設定（ステアリング）を行うための回路である。パルス発生回路は、所定の周期で駆動信号としてのパルス信号を発生させるための回路である。

【0022】

上述のように構成された送信部１２は、例えば、超音波探触子２に配列された複数（例えば、百数十個～二百数十個）の振動子２ａのうちの連続する一部（例えば、数十個）を駆動して送信超音波を発生させる。そして、送信部１２は、送信超音波を発生させる毎に駆動する振動子２ａを方位方向にずらすことで走査（スキャン）を行う。また、送信部１２は、送信ビームの角度を適宜変更しながら走査を行うことで、角度の異なる複数の反射信号を受信することができる。以下の説明において、適宜変更される送信ビームの角度をステアリング角度と記載する。

【0023】

受信部１３は、制御部１１０の制御に従って、超音波探触子２からケーブル３を介して電気信号である受信信号を受信する回路である。受信部１３は、例えば、増幅器、Ａ／Ｄ変換回路、整相加算回路を有する。増幅器は、受信信号を、振動子２ａ毎に対応した個別経路毎に、予め設定された増幅率で増幅させるための回路である。Ａ／Ｄ変換回路は、増幅された受信信号をアナログ／デジタル変換（Ａ／Ｄ変換）するための回路である。整相加算回路は、Ａ／Ｄ変換された受信信号に対して、振動子２ａ毎に対応した個別経路毎に遅延時間を与えて時相を整え、これらを加算（整相加算）して音線データを生成するための回路である。すなわち、整相加算回路は、振動子２ａ毎の受信信号に対して受信ビームフォーミングを行って音線データを生成する。

【0024】

画像取得部１４は、制御部１１０の制御に従って、受信部１３から入力された音線データに対して包絡線検波処理や対数圧縮等を実施し、ダイナミックレンジやゲインの調整を行って輝度変換することにより、Ｂモードの超音波画像を生成する。Ｂモードの超音波画像は、受信信号の強さを輝度によって表したものである。なお、本実施の形態において、画像取得部１４は、Ｂモード画像の他、Ａモード画像（振幅画像）、Ｍモード画像（動き画像）、ドップラー法による超音波画像を生成できるようにしてもよい。以下では、Ｂモードの超音波画像を処理の対象とする場合について説明し、Ｂモードの超音波画像を単に超音波画像と記載する。しかしながら、本開示の画像生成装置１では、Ｂモードの超音波画像以外の画像も処理の対象としてもよい。

【0025】

また、画像取得部１４は、超音波探触子２が角度をずらして複数の方向への走査を行った場合、角度の異なる複数の反射信号に基づいて、複数の超音波画像を生成する。このように生成された複数の超音波画像データは、走査領域の一部または全部がそれぞれ重複している。これらの複数の超音波画像データは、画像合成部１８において合成される。

【0026】

画像処理部１５は、画像取得部１４が生成した複数の超音波画像データに対して、種々の画像処理を施す。

【0027】

ＤＳＣ１６は、制御部１１０の制御に従って、画像処理部１５が出力した複数の超音波画像に対して走査周波数変換等を行い、表示部１９に表示できる形式の画像信号に変換する。

【0028】

構造物識別部１７は、ＤＳＣ１６、制御部１１０、または画像合成部１８から入力された超音波画像の内部において、特定の構造物（ターゲット）を識別する。構造物識別部１７は、本開示の識別結果取得部の一例である。ターゲットとは、超音波診断装置１００を用いた診断の際、超音波診断装置１００のユーザーが明瞭に視認すべき対象の構造物であり、本開示の識別対象物の一例である。

【0029】

ターゲットの例としては、神経、筋膜、血管、穿刺針等、複数種類の構造物が挙げられる。穿刺針とは、生体に刺して組織を採集したり、生体に対して薬液を注入したりするための針である。ターゲットは、操作入力部１１を介したユーザーの操作により、ターゲットとなりうる複数種類の構造物の中から適宜設定できるようにしてもよいし、あらかじめいずれかの構造物がターゲットとして定められていてもよい。構造物識別部１７が識別するターゲットは１つでもよいし、複数でもよい。具体的には、神経のみをターゲットとして設定してもよいし、神経と穿刺針とをターゲットとして設定してもよい。

【0030】

構造物識別部１７は、ターゲットを識別するためにあらかじめ機械学習がなされた学習モデルである識別モデルを有する。識別モデルは、本開示の識別器、および学習済み識別器の一例である。識別モデルは、例えば、ニューラルネットワーク等の公知の機械学習アルゴリズム（いわゆるディープラーニング）を利用して、超音波画像の特徴量（例えば、輝度配列）とターゲットの確信度に関する情報との関係を教師データとして訓練する教師あり機械学習により構築される。ターゲットとなりうる構造物が複数ある場合、識別モデルはターゲット毎に生成されてもよいし、１つの識別器が複数の構造物を識別してもよい。構造物識別部１７が有する識別モデルは、本開示の学習済み識別器の一例である。

【0031】

確信度とは、超音波画像内のある領域がターゲットであることの尤もらしさを示す指標であり、本開示の識別結果の一例である。ターゲットおよびその周辺の領域は確信度が大きく、ターゲットおよびその周辺以外（非ターゲット）の領域は確信度が小さくなる。確信度は、例えば超音波画像の画素毎に生成される。

【0032】

構造物識別部１７は、識別モデルの出力に基づいて、入力された超音波画像に対応する確信度画像を生成する。確信度画像とは、確信度を超音波画像の各画素にプロットし、超音波画像全体に対する確信度の分布を示したものである。構造物識別部１７の詳細については、後述する。

【0033】

画像合成部１８は、画像取得部１４において生成された複数の超音波画像を合成し、合成画像を生成する。特に画像合成部１８は、複数のステアリング角度で送信された送信ビームにより受信された複数の反射信号に基づいて生成された複数の超音波画像のうち、互いに重畳する部分を合成した空間コンパウンド画像を生成する。以下の説明において、複数のステアリング角度で送信された送信ビームにより受信された複数の反射信号に基づいて生成された複数の超音波画像を、ステアリング角度が異なる複数の超音波画像と記載する。

【0034】

画像合成部１８は、ステアリング角度が異なる複数の超音波画像を互いに合成するとき、構造物識別部１７から入力された確信度画像に基づいて、それぞれの超音波画像に対する重み付けを行う。これにより、画像合成部１８は、ターゲットが強調された空間コンパウンド画像を出力することができる。画像合成部１８による複数の超音波画像の合成処理の詳細は、後述する。

【0035】

表示部１９は、ＬＥＤ（Light-Emitting Diode）、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode-Ray Tube）ディスプレイ、有機ＥＬ（Electronic Luminescence）ディスプレイ、無機ＥＬディスプレイ、およびプラズマディスプレイ等の表示装置である。表示部１９は、制御部１１０の制御に従って、画像合成部１８から出力された合成画像の表示を行う。また、表示部１９は、構造物識別部１７から出力された最終確信度画像（詳細は後述）の表示を行ってもよい。

【0036】

制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有し、ＲＯＭに記憶されているシステムプログラム等の各種処理プログラムを読み出してＲＡＭに展開し、展開したプログラムに従って超音波診断装置１００の各部の動作を集中制御する。

【0037】

ＲＯＭは、半導体等の不揮発メモリー等により構成され、超音波診断装置１００に対応するシステムプログラム、およびシステムプログラム上で実行可能な各種処理プログラムや、ガンマテーブル等の各種データ等を記憶する。これらのプログラムは、コンピューターが読み取り可能なプログラムコードの形態で格納され、ＣＰＵは、当該プログラムコードに従った動作を逐次実行する。ＲＡＭは、ＣＰＵにより実行される各種プログラムおよびこれらプログラムに係るデータを一時的に記憶するワークエリアを形成する。

【0038】

［構造物識別部１７］
以下では、構造物識別部１７について詳細に説明する。図３は、構造物識別部１７の構成例を示す図である。図３に示すように、構造物識別部１７は、教師データ生成部１７１、識別モデル訓練部１７２、識別モデル実行部１７３、確信度画像生成部１７４、および記憶部１７５を有する。記憶部１７５には、識別モデル４０、参照データ５０、教師データ６０、および訓練履歴データ７０が記憶されている。

【0039】

教師データ生成部１７１は、教師データ生成用の第１画像と、予め用意された参照データ５０とに基づいて、識別モデル４０を訓練するための教師データ６０を生成する。第１画像は、例えば、訓練用の超音波画像から抽出される。教師データ６０は、第１画像から抽出される第２画像の特徴量（例えば、輝度配列）と、ターゲットの確信度に関する情報（例えば、第２画像の中央の画素ブロックに対応するターゲットの確信度）と、が対応付けられたデータセットである。なお、画素ブロックは、画像を複数領域に分割したときのそれぞれの分割領域であり、複数の画素からなる画素群で構成されてもよいし、一つの画素で構成されてもよい。

【0040】

識別モデル訓練部１７２は、教師データ生成部１７１によって生成された教師データ６０を用いた機械学習により、識別モデル４０を訓練する。具体的には、識別モデル訓練部１７２は、教師データ６０の例題（第２画像の特徴量）を識別モデル４０に入力したときに、教師データ６０の答え（ターゲットの確信度に関する情報）が出力されるように、識別モデル４０を修正する。

【0041】

識別モデル実行部１７３は、訓練された識別モデル４０を実行して、診断用の超音波画像におけるターゲットを識別するためのデータを生成する。なお、診断用の超音波画像（以下、診断用画像）とは、訓練用の超音波画像ではなく、ユーザーが超音波診断装置１００を用いて診断を行う場合に、画像取得部１４により生成され、画像処理部１５およびＤＳＣ１６を介して構造物識別部１７に入力される画像である。

【0042】

識別モデル実行部１７３は、例えば、診断用画像から識別用画像を抽出し、識別用画像を入力として識別モデル４０を実行することにより、出力として、当識別用画像におけるターゲットの確信度に関する情報を取得する。

【0043】

なお、訓練用の超音波画像、および識別用画像は、例えば、その時点で表示部１９に表示されている合成画像よりも過去に生成された合成画像、複数の診断用画像、複数の診断用画像の画素毎の画素値の平均を算出して生成された平均値画像、または過去の複数の診断用画像における画素毎の画素値の最大値に基づいて生成された最大値画像の少なくともいずれかである。訓練用の超音波画像は、記憶部１７５等に記憶されている。

【0044】

確信度画像生成部１７４は、識別モデル実行部１７３からの出力に基づいて、診断用画像の全体又は一部（例えば、ＲＯＩ枠で囲まれた領域）に対応する確信度画像を生成する。このとき、確信度画像生成部１７４は、時間的に連続する超音波画像から得られる確信度に関する情報の時間的な変化に基づいて、確信度画像に含まれるノイズを除去してもよい。具体的には、時間軸方向において、移動平均フィルター処理やメディアンフィルター処理を適用することで、確信度画像に含まれるノイズを除去することができる。また、確信度に関する情報の変化（急峻度）が予め設定されたしきい値を超える領域をノイズ領域として検出し、このノイズ領域についてのみ、ノイズ除去処理を行うようにしてもよい。

【0045】

記憶部１７５は、例えば、不揮発性の半導体メモリ（いわゆるフラッシュメモリ）やハードディスクドライブ（ＨＤＤ：Hard Disk Drive）等で構成される。記憶部１７５は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc（「Blu-ray」は登録商標））等の光ディスク、ＭＯ（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。

【0046】

記憶部１７５は、上述したように、識別モデル４０、参照データ５０、教師データ６０、および訓練履歴データ７０を記憶する。識別モデル４０の訓練に用いられた教師データ６０は、教師データ生成部１７１によって新たに教師データ６０が生成された場合に、適宜上書きされてもよい。訓練履歴データ７０は、例えば、訓練に用いた教師データ６０の数や訓練日時等の情報を含む。

【0047】

図４Ａおよび図４Ｂは、参照データ５０の一例を示す図である。図４Ａおよび図４Ｂに示すように、参照データ５０は、第１画像（教師データ生成用の超音波画像）にターゲットが含まれる場合に参照される第１参照データ５１と、第１画像にターゲットが含まれない場合に参照される第２参照データ５２とを有する。

【0048】

図４Ａに示す第１参照データ５１は、第１画像の中央に、ターゲットが描出されている場合に参照されるものであり、例えば、ターゲットの確信度が０．０～１．０の範囲で円形ガウス分布にしたがって設定されている。

【0049】

第２参照データ５２は、第１画像にターゲットがない場合（第１画像が非ターゲットで構成されている場合）の確信度分布を示す。図４Ｂに示す第２参照データ５２では、全領域に対応するターゲットの確信度が０に設定されている。なお、第１参照データ５１及び第２参照データ５２は、必要に応じて複数用意されてもよい。例えば、第１参照データ５１として、第１画像に神経の縦断面が描出されている場合に参照されるデータが用意されてもよい。また、ターゲットが複数ある場合、第２参照データ５２として、他のターゲット用の第２参照データが用意されてもよい。

【0050】

＜動作＞
以下では、画像生成装置１の動作例について説明する。まず、構造物識別部１７による識別モデルの生成処理について詳細に説明する。

【0051】

［識別モデル生成処理］
図５は、識別モデル４０を訓練するための識別モデル生成処理の一例を示すフローチャートである。この処理は、例えば操作入力部１１におけるモード選択により、訓練モードが選択された場合に行われる。

【0052】

ステップＳ１０１において、教師データ生成部１７１は、制御部１１０の制御に従って、訓練用の超音波画像の指定を受け付ける。訓練用の超音波画像は、例えば、訓練用に予め取得して記憶部１７５に記憶されており、操作入力部１１を用いたユーザーの入力操作に基づいて読み出される。また例えば、訓練用の超音波画像には、過去の診断時に取得された超音波画像を適用してもよい。

【0053】

ステップＳ１０２において、教師データ生成部１７１は、制御部１１０の制御に従って、ラベルの指定を受け付ける。ラベルは、訓練対象がターゲットである場合に指定される第１ラベルと、訓練対象が非ターゲットである場合に指定される第２ラベルとを有し、操作入力部１１を介したユーザーの入力操作に基づいて、いずれかのラベルが選択される。第１ラベルが指定された場合には、第１参照データ５１を用いて教師データ６０が生成され、第２ラベルが指定された場合には、第２参照データ５２を用いて教師データ６０が生成される。

【0054】

ステップＳ１０３において、教師データ生成部１７１は、制御部１１０の制御に従って、訓練用の超音波画像内において第１画像（教師データ生成用の超音波画像）を設定する。図６は、訓練用の超音波画像８０と第１画像８１との関係を示す図である。図６に示す例では、第１画像８１には、ターゲットを訓練対象とする場合に設定される第１画像８１１と、非ターゲットを訓練対象とする場合に設定される第１画像８１２とが含まれる。

【0055】

第１画像８１は、例えば、操作入力部１１を用いたユーザーによるターゲット指定に関する操作に基づいて設定される。例えば、ユーザーが、超音波画像８０上で、ターゲット（又は非ターゲット）が描出されている領域を選択すると、当該領域を中心とする所定サイズの領域が第１画像８１として設定される。また例えば、ユーザーの操作に基づいて、第１画像８１として設定する領域（図６における白抜きの矩形枠）の大きさを指定できるようにしてもよい。

【0056】

以下では、ステップＳ１０２で第１ラベルが指定され、ターゲットを含む第１画像８１１が設定された場合について具体的に説明する。

【0057】

ステップＳ１０４において、教師データ生成部１７１は、制御部１１０の制御に従って、第１画像８１１から第２画像８２を抽出する。図７Ａ、図７Ｂ、および図７Ｃは、教師データの生成方法について説明するための図である。図７Ａは、第２画像８２について説明するための図である。第２画像８２は、第１画像８１１に含まれ、教師データの入力（例題）となる画像である。例えば、Ｍ×Ｍの画素ブロックで構成される第１画像８１から、Ｎ×Ｎ（Ｎ＜Ｍ）の画素ブロックで構成される第２画像８２が抽出される。

【0058】

ステップＳ１０５において、教師データ生成部１７１は、制御部１１０の制御に従って、第２画像８２の特徴量を取得する。第２画像８２の特徴量は、例えば、第２画像８２の画素（または画素ブロック）毎の輝度値からなる輝度配列である。

【0059】

ステップＳ１０６において、教師データ生成部１７１は、制御部１１０の制御に従って、参照データ５０に基づいて、第２画像８２の特徴量とターゲットの確信度を対応付ける。

【0060】

具体的には、教師データ生成部１７１は、図７Ａおよび図７Ｂに示すように、第２画像８２と第１参照データ５１とを比較して、第２画像８２の中央の画素ブロックに対応するターゲットの確信度Ｖを第１参照データ５１から特定して、第２画像８２の特徴量と対応付ける。図７Ｂは、第１参照データ５１からターゲットの確信度Ｖを特定する様子を示す図である。このとき、第１参照データ５１は、第１画像８１のサイズに応じて適宜調整される。

【0061】

ステップＳ１０６の処理により、第２画像８２の特徴量と、当該第２画像８２の中央の画素ブロックに対応するターゲットの確信度Ｖが対応付けられた、１セットの教師データ６０が生成される。第１画像８１において第２画像８２の抽出領域をスライドさせながらステップＳ１０４～Ｓ１０６の処理を行うことにより、複数セットの教師データ６０が生成される。例えば、参照データ５０がＫ×Ｋの画素ブロックで構成される場合、（Ｋ×Ｋ）個の第２画像８２の特徴量に対して、ターゲットの確信度を割り当てることができる。すなわち、第１画像８１を一回指定するだけで、（Ｋ×Ｋ）個の教師データを生成することができる。

【0062】

教師データ生成部１７１によって実行される以上の工程により、教師データ６０が生成される。

【0063】

ステップＳ１０７において、識別モデル訓練部１７２は、制御部１１０の制御に従って、生成された教師データ６０を用いた機械学習により識別モデル４０を訓練する。具体的には、図７Ｃに示すように、識別モデル訓練部１７２は、教師データ６０の例題（第２画像８２の特徴量）を識別モデル４０に入力したときに、教師データ６０の答え（第２画像８２の中央の画素ブロックに対応するターゲットの確信度Ｖ）が出力されるように、識別モデル４０を修正する。図７Ｃは、第２画像８２に基づき識別モデル４０が修正される様子を示す図である。訓練結果に基づいて、記憶部１７５に記憶されている識別モデル４０及び訓練履歴データ７０が更新される。

【0064】

識別モデル４０の訓練が行われる場合は、識別モデル４０の訓練履歴（例えば、訓練に用いられた教師データの数）が表示部１９に表示されるのが好ましい。これにより、ユーザーは、識別モデル４０の訓練程度を把握することができ、識別モデル４０を用いたターゲット識別において十分な精度を得るために、今後、どれくらいの訓練が必要かを知得することができる。

【0065】

なお、上記の説明では、構造物識別部１７が教師データ生成部１７１、識別モデル訓練部１７２、識別モデル実行部１７３、確信度画像生成部１７４、および記憶部１７５を有し、これらの構成により識別モデルが訓練される態様について説明した。しかしながら、本開示はこれに限定されない。

【0066】

上記説明した識別モデル生成処理は、本開示の画像生成装置１によって行われなくてもよい。例えば、構造物識別部１７が識別モデル訓練部、識別モデル実行部、および確信度画像生成部を有していなくてもよい。この場合、構造物識別部１７は、画像生成装置１の外部の装置から、当該装置によって生成された識別モデルを取得する。なお、外部の装置が識別モデルを生成する方法については、上記説明した方法と同様の方法が採用されればよい。この場合、構造物識別部１７は、画像生成装置１の外部から取得した識別モデルを、記憶部１７５に記憶させ、以下説明する合成画像の生成処理において、記憶部１７５に記憶した識別モデルを読み出して使用する。

【0067】

［合成画像の生成処理］
以上のように生成した識別モデル、または画像生成装置１の外部の装置によって生成された識別モデルを用いて、画像生成装置１は、合成画像を生成する。以下では、合成画像の生成処理について詳細に説明する。

【0068】

図８は、画像生成装置１が合成画像を生成する際の動作例を示すフローチャートである。

【0069】

ステップＳ２０１において、制御部１１０は、互いにステアリング角度が異なる、複数の診断用画像を取得する。より詳細には、制御部１１０は、送信部１２を制御して、超音波探触子２から所定のステアリング角度を与えて超音波を送信するとともに、受信部１３を制御して、超音波探触子２で受信した反射超音波（超音波エコー）に応じた受信信号を取得する。そして、制御部１１０は、画像取得部１４を制御して、受信信号に基づくＢモードの超音波画像を生成する。この工程を、ステアリング角度を変えて複数回行うことで、制御部１１０は、互いにステアリング角度が異なる、複数の診断用画像を取得する。

【0070】

ステップＳ２０２において、構造物識別部１７は、制御部１１０の制御に従って、複数の診断用画像に基づき、最終確信度画像を生成する。最終確信度画像とは、ステップＳ２０３の重み付け値の算出に用いられる確信度画像である。複数の診断用画像に基づき最終確信度画像を生成する方法としては、少なくとも以下の２通りの方法が採用されうる。

【0071】

第１の方法は、複数の診断用画像のそれぞれに基づき、複数の確信度画像を生成した後、複数の確信度画像を合成して最終確信度画像を生成する方法である。また、第２の方法は、複数の診断用画像の最大値画像または平均値画像を生成し、最大値画像または平均値画像に基づいて直接最終確信度画像を生成する方法である。最大値画像とは、複数の診断用画像の同一画素毎に、最大の画素値を抽出してそれぞれの画素値とすることで１枚の画像としたものである。平均値画像とは、画素毎に複数の診断用画像の画素値の平均値を算出してそれぞれの画素値とすることで１枚の画像としたものである。第２の方法では、複数の確信度画像を生成しないため、少ない処理回数で最終確信度画像を取得することができる。

【0072】

第１の方法において、複数の診断用画像のそれぞれに基づき、複数の確信度画像を生成する処理の詳細は、例えば以下のとおりである。構造物識別部１７の識別モデル実行部１７３は、各診断用画像から識別用画像を抽出し、識別用画像の特徴量（例えば、輝度配列）を識別モデル４０に入力する。そして、識別モデル実行部１７３は、識別モデル４０から、出力として、識別用画像の中央の画素ブロックに対応する確信度を取得する。さらに、確信度画像生成部１７４は、診断用画像の全体に対して確信度を取得することにより、確信度画像を生成する。

【0073】

図９は、構造物識別部１７により、確信度が取得される様子を示す模式図である。図９には、診断用画像９１の内部に設定した識別用画像９２が設定され、識別用画像９２の中央部の画素ブロックの輝度配列Ｂ（ｘ，ｙ）に対応する確信度Ｖ（ｘ，ｙ）が取得される様子が模式的に示されている。制御部１１０は、構造物識別部１７の確信度画像生成部１７４を制御して、この工程を繰り返し、診断用画像９１の全体における確信度を取得することにより、診断用画像９１の全体に対応する確信度画像９３を生成する。なお、確信度画像は、診断用画像の一部に対応するように生成されてもよい。

【0074】

そして、確信度画像生成部１７４は、複数の確信度画像に基づいて、最終確信度画像を生成する。複数の確信度画像に基づいて、最終確信度画像を生成する方法としては、複数の確信度画像の画素毎の最大値、平均値、または最小値を抽出または算出して、抽出された値を画素値とする最終確信度画像を生成する方法が挙げられる。なお、複数の確信度画像の画素毎の最大値、平均値、または最小値のいずれを用いるかは、操作入力部１１を用いたユーザーの操作により選択が可能である。

【0075】

第１の方法において最終確信度画像を生成するとき、複数の確信度画像の画素毎の最大値、平均値、または最小値のいずれを用いるかによって、最終確信度画像が有する特性が異なる。最大値を用いた場合、感度、すなわちターゲットである領域を検出できる度合いが比較的高く、偽陽性度、すなわちターゲットではない領域がターゲットであるとして検出されてしまう度合いも比較的高くなる。最小値を用いた場合、感度および偽陽性度は比較的低くなり、平均値を用いた場合、感度および偽陽性度は、最大値を用いた場合より低く、最小値を用いた場合より高くなる。

【0076】

第２の方法においては、確信度画像生成部１７４は、構造物識別部１７の識別モデル実行部１７３を制御して、複数の診断用画像に基づいて生成された最大値画像または平均値画像から識別用画像を抽出し、識別用画像の特徴量（例えば、輝度配列）を識別モデル４０に入力し、出力として確信度を取得する。さらに、確信度画像生成部１７４は、最大値画像または平均値画像の全体に対して確信度を取得することにより、最終確信度画像を生成する。

【0077】

なお、第２の方法において、最大値画像と平均値画像のいずれを用いるかは、例えば操作入力部１１を用いたユーザーの操作により選択が可能である。

【0078】

第２の方法において最大値画像と平均値画像のいずれを用いるかによって、最終確信度画像が有する特性が異なる。最大値画像を用いた場合、感度は比較的高く、偽陽性度は比較的高くなる。平均値を用いた場合、感度および偽陽性度は、最大値を用いた場合より低くなる。

【0079】

なお、ステップＳ２０２にて最終確信度画像を生成する際に、以上説明した第１の方法と第２の方法のいずれを採用するかは、例えば操作入力部１１を用いたユーザーの操作により選択が可能である。

【0080】

また、ステップＳ２０２において、第１の方法を採用した場合に複数の確信度画像の画素毎の最大値、平均値、最小値のいずれを用いるかの選択、および、第２の方法を採用した場合に最大値画像と平均値画像のいずれを用いるかの選択は、診断の目的に応じて行われることが好ましい。

【0081】

具体例を挙げて説明する。例えば、ユーザーが、画像生成装置１が表示する合成画像を見ながら被検体に穿刺針を刺し、麻酔液を神経領域付近に注入する場合、合成画像における神経以外の領域での偽陽性度が低くなることが好ましい。この場合、第１の方法では平均値を用いることが好ましく、第２の方法では平均値画像を用いることが好ましい。

【0082】

また、例えば、ユーザーが、画像生成装置１が表示する合成画像を見ながら被検体に穿刺針を刺し、薬液を血管領域に注入する場合、穿刺してはいけない神経領域を確実に検出できるように感度が高くなることが好ましい。この場合、第１の方法では、最大値を用いることが好ましく、第２の方法では、最大値画像を用いることが好ましい。

【0083】

なお、ターゲットが複数ある場合、ステップＳ２０２において最終確信度画像が生成されるとき、ターゲット毎に異なる識別モデルを用いて、ターゲット毎の最終確信度画像が生成される。ここで、最終確信度画像を生成する際に第１の方法と第２の方法のいずれを用いるかを、ターゲット毎に設定できるようにしてもよい。また、第１の方法が用いられる場合、複数の確信度画像の画素毎の最大値、平均値、または最小値のいずれを用いるかを、ターゲット毎に設定できるようにしてもよい。さらに、第２の方法が用いられる場合、最大値画像と平均値画像のいずれを用いるかを、ターゲット毎に設定できるようにしてもよい。これにより、ターゲット毎に合成画像における強調のされ方を異ならせることができ、診断の目的に応じた合成画像とすることができる。

【0084】

上記ステップＳ２０２の説明において、構造物識別部１７は、制御部１１０の制御に従って、複数の診断用画像に基づき、最終確信度画像を生成するとした。構造物識別部１７が最終確信度画像を生成するために用いる複数の診断用画像は、例えばＤＳＣ１６によって信号形式の変換が行われる前の画像であってもよいし、ＤＳＣ１６によって変換が行われた後の画像であってもよい。ＤＳＣ１６によって形式変換される前の画像を用いる場合、構造物識別部１７は、生成した確信度画像をＤＳＣ１６に出力し、ＤＳＣ１６によって形式変換が行われた後の画像を用いて、最終確信度画像を生成すればよい。

【0085】

ステップＳ２０３において、画像合成部１８は、制御部１１０の制御に従って、最終確信度画像に基づいて、複数の診断用画像を合成する際の重み付け値を算出する。重み付け値は、０から１までの値であって、診断用画像の画素毎に設定される。重み付け値は、診断用画像の各画素に対応する、最終確信度画像の各画素における確信度に設定される。なお、本実施の形態では、最終確信度画像の各画素の値が当該画素における重み付け値であるとしたが、例えば重み付け値は、所定の算出方法を用いて、最終確信度画像の各画素の値に基づいて算出されてもよい。

【0086】

ステップＳ２０４において、画像合成部１８は、制御部１１０の制御に従って、互いにステアリング角度が異なる複数の診断用画像と、重み付け値とに基づいて、合成画像を生成する。合成画像は、複数の診断用画像の画素毎の最大値を抽出して各画素値とすることで得られる最大値画像と、複数の診断用画像の画素毎の平均値を算出して各画素値とすることで得られる平均値画像とを、重み付け値を用いてαブレンドすることで生成される。

【0087】

図１０を用いて、合成画像の生成について詳細に説明する。図１０は、互いにステアリング角度が異なる複数の診断用画像を合成する様子を模式的に示す図である。図１０では、互いにステアリング角度が異なる５つの診断用画像Ａ，Ｂ，Ｃ，Ｄ，Ｅが示されている。

【0088】

この場合、画像合成部１８は、同一画素における診断用画像Ａ，Ｂ，Ｃ，Ｄ，Ｅの画素値のうちの最大値Ｍａｘ（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）と、同一画素における診断用画像Ａ、Ｂ，Ｃ，Ｄ，Ｅの画素値の平均値Ｍｅａｎ（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）と、をそれぞれ算出する。そして、画像合成部１８は、最終確信度画像の当該画素の画素値に相当する重み付け値αを用いて、αブレンド処理を行う。従って、画像合成部１８により得られる合成画像の各画素値Ｄａｔａは、以下の式（１）で示される。

【0089】

【数1】

【0090】

他の合成方法として、画像合成部１８は、以下の式（２）のように、同一画素における診断用画像Ａ，Ｂ，Ｃ，Ｄ，Ｅの画素値のそれぞれに重みを付与したのち全体を加算して合成画像の各画素値Ｄａｔａを算出してもよい。

【0091】

【数2】

【0092】

式（２）を用いる場合、最終確信度画像の生成は不要であり、複数の診断用画像のそれぞれに基づいて生成された複数の確信度画像に基づいて、それぞれの重み付け値α１、α２、α３、α４、α５が決定されればよい。

【0093】

全画素においてこのような処理が行われることで、合成画像が生成される。このようにして空間コンパウンド法による合成画像を生成することで、ノイズ、特にスペックルノイズを低減できるとともに、送信超音波に対して異方性を有する構造物を精度よく検出できる。さらに、合成画像の生成に確信度画像に基づく重み付け値を用いることにより、ターゲットとして設定された構造物を精度よく検出でき、ターゲット以外のノイズ、または構造物が誤って強調されてしまう事態を回避できる。

【0094】

なお、重み付け値の算出方法は、上述した算出方法（最終確信度画像を用いる方法）には限定されず、異なる方法で算出されてもよい。重み付け値が異なる方法でも算出される場合、上述した算出方法で算出された重み付け値と、異なる方法で算出された重み付け値とのうち、例えば値が大きい方を採用すればよい。

【0095】

なお、上記説明した合成画像の生成処理はフレーム毎に行われており、表示部１９において合成画像がフレーム毎に更新されて表示されることにより、ユーザーは構造物の動きを滑らかに示す超音波画像の動画像に基づく診断を行うことができるようになる。

【0096】

＜効果＞
以上、本開示の画像生成装置１の構成および動作について説明した。本開示の画像生成装置１では、確信度画像に基づく重み付け値を用いて合成画像を生成するため、ターゲットの確信度が高い画素を強調することができ、合成画像が表示部１９に表示されたときのターゲットの視認性が向上する。さらに、ターゲット以外のノイズ、または構造物が誤って強調されてしまう事態を回避できる。

【0097】

本開示の画像生成装置１において、合成画像の生成の際に用いられる確信度画像は、過去の合成画像、過去の診断用画像、または過去の診断用画像に基づき生成された最大値画像もしくは平均値画像等、表示部１９に現在表示されている合成画像とは異なる画像に基づいて生成される。このため、表示部１９に現在表示されている合成画像を用いて確信度画像を生成し、生成した確信度画像に基づいて現在の複数の診断用画像を合成する場合と比較して、短時間で新たな合成画像を生成することができる。これにより、ターゲットの検出に時間を要する場合でも、ユーザーがターゲットを視認しやすい合成画像を速やかに生成できる。

【産業上の利用可能性】

【0098】

本発明は、複数の超音波画像を合成する画像生成装置に好適である。

【符号の説明】

【0099】

１００ 超音波診断装置
１ 画像生成装置
２ 超音波探触子
２ａ 振動子
３ ケーブル
１１ 操作入力部
１２ 送信部
１３ 受信部
１４ 画像取得部
１５ 画像処理部
１６ ＤＳＣ
１７ 構造物識別部
１７１ 教師データ生成部
１７２ 識別モデル訓練部
１７３ 識別モデル実行部
１７４ 確信度画像生成部
１７５ 記憶部
１８ 画像合成部
１９ 表示部
１１０ 制御部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】