IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特開2024-178503超音波診断装置、データ管理システム、データ推定方法及びプログラム
<>
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図1
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図2
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図3
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図4
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図5
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図6
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図7
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図8
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図9
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図10
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図11
  • 特開-超音波診断装置、データ管理システム、データ推定方法及びプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178503
(43)【公開日】2024-12-25
(54)【発明の名称】超音波診断装置、データ管理システム、データ推定方法及びプログラム
(51)【国際特許分類】
   A61B 8/14 20060101AFI20241218BHJP
【FI】
A61B8/14
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023096663
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】武田 義浩
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601EE11
4C601JC15
4C601KK25
4C601KK31
4C601KK34
4C601LL21
4C601LL33
(57)【要約】
【課題】診断に不慣れなユーザーでも、多様な画質の画像から適切に診断できるようにすることである。
【解決手段】超音波診断装置は、被検体に対して超音波を送受信する第1超音波探触子と、推定部と、を備える。推定部は、学習データを用いて機械学習された学習済みモデルを用いる。学習データは、第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む。制御部18は、第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、第2データと類似する第4データに変換して出力する。第3データは、第1超音波探触子を使用した元画像81の元画像データである。第4データは、第2データに類似する変換画像82の変換画像データである。
【選択図】図7
【特許請求の範囲】
【請求項1】
被検体に対して超音波を送受信する第1超音波探触子と、
前記第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む学習データを用いて機械学習された学習済みモデルを用いて、前記第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、前記第2データと類似する第4データに変換して出力する第1推定部と、
を備える超音波診断装置。
【請求項2】
前記第1データ及び前記第3データは、所定の受信信号又は前記受信信号に基づくBモード画像データである請求項1に記載の超音波診断装置。
【請求項3】
前記第2データは、超音波データ、MRIデータ及びCTデータのうち少なくとも1つを含む請求項1又は2に記載の超音波診断装置。
【請求項4】
前記第4データは、超音波データ、MRI風画像データ又はCT風画像データである請求項1又は2に記載の超音波診断装置。
【請求項5】
前記第1データは、前記第2超音波探触子で受信した画像生成用の受信信号に基づくデータであり、
前記第2データは、前記第2超音波探触子とは異なる種類の第3超音波探触子で受信した画像生成用の受信信号に基づくデータである請求項1又は2に記載の超音波診断装置。
【請求項6】
前記第4データが加工画像であることを示す情報を出力する出力部を備える請求項1又は2に記載の超音波診断装置。
【請求項7】
前記第4データに対応する超音波探触子の種類、モダリティの種類、及び周波数の情報のうち少なくとも1つの情報を出力する出力部を備える請求項1又は2に記載の超音波診断装置。
【請求項8】
前記第3データが元画像であることを示す情報を出力する出力部を備える請求項1又は2記載の超音波診断装置。
【請求項9】
前記第3データを出力するか、又は前記第3データと前記第4データとを対応付けて出力する出力部を備える請求項1又は2に記載の超音波診断装置。
【請求項10】
前記第3データは第3画像データであり、かつ前記第4データは第4画像データであり、
前記第3画像データと前記第4画像データとを同一画面で表示又は切り替えて表示する表示部を備える請求項1又は2に記載の超音波診断装置。
【請求項11】
前記学習済みモデルは、
前記第1データと、前記第2データと、を含む学習データを用いて機械学習された第1学習済みモデルと、
前記第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第5データと、当該第5データの属性を示す第6データと、を含む学習データを用いて機械学習された第2学習済みモデルと、を少なくとも含む複数の学習済みモデルを含み、
ユーザー操作により前記複数の学習済みモデルのいずれか一つの学習済みモデルの出力に切り替える切替手段を備え、
前記第1推定部は、前記第2学習済みモデルによって識別された第3データの属性と、前記切替手段と、に応じて選択された第1学習済みモデルを用いて、当該第3データを前記第2データと類似する第4データに変換して出力する請求項1又は2に記載の超音波診断装置。
【請求項12】
前記切替手段は複数の切替部を含み、
第3データを識別して前記複数の切替部のうち一の切替部を選択する選択部を備える請求項11に記載の超音波診断装置。
【請求項13】
前記学習済みモデルを用いて前記第1データを変換した第4データと、所定の正解ラベルと、をデータセットとした学習データを用いて機械学習された識別器を用いて、前記第4データから第5データを出力する第2推定部を備える請求項1又は2に記載の超音波診断装置。
【請求項14】
請求項1又は2に記載の超音波診断装置と、
前記第3データ、又は前記第3データ及び前記第4データを前記超音波診断装置から受信して記憶する管理装置と、を備えるデータ管理システム。
【請求項15】
被検体に対して超音波を送受信する第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む学習データを用いて機械学習された学習済みモデルを用いて、前記第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、前記第2データと類似する第4データに変換して出力する推定工程、
を含むデータ推定方法。
【請求項16】
コンピューターを、
被検体に対して超音波を送受信する第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む学習データを用いて機械学習された学習済みモデルを用いて、前記第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、前記第2データと類似する第4データに変換して出力する推定部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波診断装置、データ管理システム、データ推定方法及びプログラムに関する。
【背景技術】
【0002】
従来、超音波探触子により、超音波を被検体内部に照射し、その反射波を受信して解析することにより、被検体内部の超音波画像を表示する超音波診断装置が知られている。被検体は、患者の生体などである。
【0003】
近年、超音波診断装置は、AI(Artificial Intelligence)技術を用いて様々な用途で使われてきている。具体的には、超音波診断装置は、超音波画像データ中から目的の臓器/組織を自動的に識別(認識)したり、識別結果を用いて自動計測に応用している。
【0004】
例えば、超音波画像に写っている識別対象物を識別する識別器から出力される識別結果を取得する超音波画像診断装置が知られている(特許文献1参照)。識別対象物は、臓器、身体構造、病変部、異常な輝度領域である。超音波画像診断装置は、ユーザーが関心を有する身体部位、計測対象、識別処理を行うプロセッサー、超音波探触子の種類に応じて、複数の識別器から使用する識別器を変更する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2022-172565号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の超音波診断装置は、超音波探触子、装置、メーカー、送受信設定(周波数)に応じて、多様な画質で超音波画像を表示する。しかし、新人の医師、コメディカルなどの不慣れなユーザーは、上記の理由によって画像が変わった場合に、どのように見て良いか分からず診断が困難になるおそれがある。前記のような理由もあり、超音波診断装置は、ユーザーの検査スキルの依存が大きいモダリティといわれている。検査スキルのバラつきは、診断のバラつきへ繋がるリスクが大きい。
【0007】
特許文献1の超音波画像診断装置は、超音波探触子などに応じて、多様な画質で超音波画像を表示し、当該超音波画像のAIの識別結果を通知する。しかし、ユーザーは、表示された1つの超音波画像に応じて画像内容を理解してAIの識別結果が適切か否かを判断し、最終的な診断をしなければならない。
【0008】
本発明の課題は、診断に不慣れなユーザーでも、多様な画質の画像から適切に診断できるようにすることである。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1に記載の発明の超音波診断装置は、
被検体に対して超音波を送受信する第1超音波探触子と、
前記第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む学習データを用いて機械学習された学習済みモデルを用いて、前記第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、前記第2データと類似する第4データに変換して出力する第1推定部と、
を備える。
【0010】
請求項2に記載の発明は、請求項1に記載の超音波診断装置において、
前記第1データ及び前記第3データは、所定の受信信号又は前記受信信号に基づくBモード画像データである。
【0011】
請求項3に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記第2データは、超音波データ、MRIデータ及びCTデータのうち少なくとも1つを含む。
【0012】
請求項4に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記第4データは、超音波データ、MRI風画像データ又はCT風画像データである。
【0013】
請求項5に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記第1データは、前記第2超音波探触子で受信した画像生成用の受信信号に基づくデータであり、
前記第2データは、前記第2超音波探触子とは異なる種類の第3超音波探触子で受信した画像生成用の受信信号に基づくデータである。
【0014】
請求項6に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記第4データが加工画像であることを示す情報を出力する出力部を備える。
【0015】
請求項7に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記第4データに対応する超音波探触子の種類、モダリティの種類、及び周波数の情報のうち少なくとも1つの情報を出力する出力部を備える。
【0016】
請求項8に記載の発明は、請求項1又は2記載の超音波診断装置において、
前記第3データが元画像であることを示す情報を出力する出力部を備える。
【0017】
請求項9に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記第3データを出力するか、又は前記第3データと前記第4データとを対応付けて出力する出力部を備える。
【0018】
請求項10に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記第3データは第3画像データであり、かつ前記第4データは第4画像データであり、
前記第3画像データと前記第4画像データとを同一画面で表示又は切り替えて表示する表示部を備える。
【0019】
請求項11に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記学習済みモデルは、
前記第1データと、前記第2データと、を含む学習データを用いて機械学習された第1学習済みモデルと、
前記第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第5データと、当該第5データの属性を示す第6データと、を含む学習データを用いて機械学習された第2学習済みモデルと、を少なくとも含む複数の学習済みモデルを含み、
ユーザー操作により前記複数の学習済みモデルのいずれか一つの学習済みモデルの出力に切り替える切替手段を備え、
前記第1推定部は、前記第2学習済みモデルによって識別された第3データの属性と、前記切替手段と、に応じて選択された第1学習済みモデルを用いて、当該第3データを前記第2データと類似する第4データに変換して出力する。
【0020】
請求項12に記載の発明は、請求項11に記載の超音波診断装置において、
前記切替手段は複数の切替部を含み、
第3データを識別して前記複数の切替部のうち一の切替部を選択する選択部を備える。
【0021】
請求項13に記載の発明は、請求項1又は2に記載の超音波診断装置において、
前記学習済みモデルを用いて前記第1データを変換した第4データと、所定の正解ラベルと、をデータセットとした学習データを用いて機械学習された識別器を用いて、前記第4データから第5データを出力する第2推定部を備える。
【0022】
請求項14に記載の発明のデータ管理システムは、
請求項1又は2に記載の超音波診断装置と、
前記第3データ、又は前記第3データ及び前記第4データを前記超音波診断装置から受信して記憶する管理装置と、を備える。
【0023】
請求項15に記載の発明のデータ推定方法は、
被検体に対して超音波を送受信する第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む学習データを用いて機械学習された学習済みモデルを用いて、前記第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、前記第2データと類似する第4データに変換して出力する推定工程、
を含む。
【0024】
請求項16に記載の発明のプログラムは、
コンピューターを、
被検体に対して超音波を送受信する第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む学習データを用いて機械学習された学習済みモデルを用いて、前記第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、前記第2データと類似する第4データに変換して出力する推定部、
として機能させる。
【発明の効果】
【0025】
本発明によれば、診断に不慣れなユーザーでも、多様な画質の画像から適切に診断できるようになる。
【図面の簡単な説明】
【0026】
図1】本発明の実施の形態の超音波診断システムの概略構成を示すブロック図である。
図2】超音波診断装置の機能構成を示すブロック図である。
図3】GANの構成を示す図である。
図4】Cycle-GANの構成を示す図である。
図5】第1の超音波画像出力処理を示すフローチャートである。
図6】第1の超音波画像出力処理のデータ及び処理を示す図である。
図7】表示画面を示す図である。
図8】(a)は、超音波画像を示す図である。(b)は、MRI風画像を示す図である。
図9】第2の超音波画像出力処理を示すフローチャートである。
図10】第3の超音波画像出力処理を示すフローチャートである。
図11】第3の超音波画像出力処理のデータ及び処理を示す図である。
図12】第4の超音波画像出力処理を示すフローチャートである。
【発明を実施するための形態】
【0027】
以下、図面を参照して、本発明の第1の実施の形態、その変形例、第2、第3の実施の形態を順に詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
【0028】
(第1の実施の形態)
図1図8(b)を参照して、本発明の第1の実施の形態を説明する。まず、図1図3を参照して、本実施の形態の装置構成を説明する。図1は、本実施の形態の画像管理システム100の概略構成を示すブロック図である。図2は、超音波診断装置10の機能構成を示すブロック図である。
【0029】
図1に示すように、データ管理装置システムとしての画像管理システム100は、病院などの医療施設に設置される。画像管理システム100は、超音波画像データなどの医用画像データを管理するシステムである。
【0030】
画像管理システム100は、超音波診断装置10と、管理装置としての画像管理サーバー40と、を備える。画像管理システム100の各装置は、通信ネットワークNを介してデータ通信可能に互いに接続されている。通信ネットワークNは、LAN(Local Area Network)などである。
【0031】
画像管理サーバー40は、PACS(Picture Archiving and Communication System)の装置である。画像管理サーバー40は、超音波診断装置10で生成された超音波画像データを受信及び記憶して管理する。
【0032】
なお、画像管理システム100は、超音波診断装置10以外のモダリティの検査装置が接続される構成としてもよい。検査装置は、MRI(磁気共鳴診断装置)、CT(コンピューター断層撮影装置)、DR(デジタルX線撮影装置)などである。この構成において、画像管理サーバー40は、当該各検査装置が生成する医用画像データを管理する。
【0033】
図2に示すように、超音波診断装置10は、超音波診断装置本体1と、超音波探触子2A,2Bと、を備える。超音波探触子2A,2Bの一方は、超音波診断装置本体1に接続される。超音波探触子2A,2Bは、互いに異なる種類の超音波探触子である。超音波探触子の種類とは、型番、商品名、バージョンなどである。ただし、同じ種類の超音波探触子とは、型番、商品名、バージョンなどが同じ超音波探触子に、物理的に同じ(製造番号が同じ)超音波探触子を含むものとする。ここでは、超音波探触子2Aは、例えば、比較的、超音波の周波数が高く、超音波画像の解像度に優れた機能を有する。超音波探触子2Bは、例えば、比較的、超音波の周波数が低く、超音波画像のコントラストに優れた機能を有する。なお、超音波診断装置本体1に接続される超音波探触子は、1つ又は3以上の種類としてもよい。
【0034】
超音波探触子2A,2Bは、被検体内に対して超音波(送信超音波)を送信するとともに、この被検体内で反射した超音波の反射波(反射超音波:エコー)を受信する。超音波探触子2Aは、超音波探触子本体21Aと、ケーブル22と、コネクター23と、を有する。超音波探触子2Bは、超音波探触子本体21Bと、ケーブル22と、コネクター23と、を有する。超音波探触子本体21Aは、超音波探触子2Aのヘッダ部であり、超音波を送受信する。超音波探触子本体21Bは、超音波探触子2Bのヘッダ部であり、超音波を送受信する。ケーブル22は、超音波探触子本体21A又は21Bとコネクター23とに接続される。ケーブル22は、超音波探触子本体21A,21B用の駆動信号及び超音波の受信信号が流れるケーブルである。コネクター23は、超音波診断装置本体1のレセプタクルのコネクター(図示略)に接続するためのプラグのコネクターである。
【0035】
また、コネクター23は、記憶部(図示略)を有する。この記憶部には、自装置の超音波探触子の種類を含む識別情報が記憶されている。超音波探触子が超音波診断装置本体1に接続されている状態で、超音波診断装置本体1側からコネクター23の記憶部にアクセスできる。
【0036】
超音波診断装置本体1は、コネクター23、ケーブル22を介して、超音波探触子本体21A又は21Bと接続される。超音波診断装置本体1は、超音波探触子本体21A又は21Bに電気信号の駆動信号を送信する。超音波診断装置本体1は、駆動信号により超音波探触子本体21A又は21Bに被検体に対して送信超音波を送信させる。超音波探触子2A,2Bは、超音波探触子本体21A,21Bにて受信した被検体内からの反射超音波に応じて電気信号である受信信号を生成する。超音波診断装置本体1は、超音波探触子2A,2Bで生成された受信信号に基づいて被検体内の内部状態を超音波画像データとして画像化する。
【0037】
超音波探触子本体21Aは、先端側に振動子2aを有する。振動子2aは、例えば、方位方向(走査方向)に一次元アレイ状に複数配列されている。なお、振動子2aは、二次元アレイ状に配列されたものであってもよい。また、振動子2aの個数は、任意に設定することができる。また、本実施の形態では、超音波探触子2A,2Bとしてリニア走査方式の電子スキャンプローブを採用するものとする。しかし、超音波探触子2A,2Bは、電子走査方式又は機械走査方式の何れでもよい。また、超音波探触子2A,2Bは、リニア走査方式、セクタ走査方式又はコンベックス走査方式の何れでもよい。超音波診断装置本体1と超音波探触子2A,2Bとは、ケーブル22を介する有線通信に代えて、無線通信する構成としてもよい。無線通信は、UWB(Ultra Wide Band)などである。
【0038】
超音波診断装置本体1は、操作入力部11、送信部12、受信部13、画像生成部14、画像処理部15、表示制御部16、表示部17、制御部18、記憶部19、通信部31を備える。制御部18は、第1推定部、第2推定部、推定部、出力部、切替手段、選択部として機能する。
【0039】
操作入力部11は、押しボタン、エンコーダー、レバースイッチ、ジョイスティック、トラックボール、キーボード、タッチパッド、マルチファンクションスイッチなどの操作要素を有する。操作入力部11は、医師、技師などのユーザーからの各操作要素への操作入力を受け付け、その操作情報を制御部18に出力する。
【0040】
送信部12は、制御部18の制御に従って、超音波探触子2A又は2Bに電気信号である駆動信号を供給して超音波探触子2A又は2Bに送信超音波を発生させる。送信部12は、例えば、クロック発生回路、遅延回路、パルス発生回路を備える。クロック発生回路は、駆動信号の送信タイミングや送信周波数を決定するクロック信号を発生させる。遅延回路は、振動子2a毎に対応した個別経路毎に遅延時間を設定し、設定された遅延時間だけ駆動信号の送信を遅延させる。遅延回路は、当該遅延により送信超音波によって構成される送信ビームを集束させる。パルス発生回路は、所定の周期で駆動信号としてのパルス信号を発生させる。送信部12は、例えば、超音波探触子2A,2Bに配列された複数(例えば、192個)の振動子2aのうちの連続する一部(例えば、64個)を駆動して送信超音波を発生させる。そして、送信部12は、送信超音波を発生させる毎に駆動する振動子2aを方位方向(走査方向)にずらすことで走査(スキャン)する。
【0041】
受信部13は、制御部18の制御に従って、超音波探触子2A又は2Bから電気信号である受信信号を受信する。受信部13は、例えば、増幅器、A/D変換回路、整相加算回路を備える。増幅器は、受信信号を、振動子2a毎に対応した個別経路毎に、予め設定された増幅率で増幅させる。A/D変換回路は、増幅された受信信号をアナログ-デジタル変換(A/D変換)する。整相加算回路は、A/D変換された受信信号に対して、振動子2a毎に対応した個別経路毎に遅延時間を与えて時相を整え、これらを加算(整相加算)して音線データを生成する。
【0042】
画像生成部14は、制御部18の制御に従って、受信部13からの音線データに対して包絡線検波処理や対数圧縮などを実施し、ダイナミックレンジやゲインの調整を行って輝度変換する。画像生成部14は、当該輝度変換により、受信エネルギーとしての輝度値を有する画素からなるB(Brightness)モード画像データを生成する。すなわち、Bモード画像データは、受信信号の強さを輝度によって表したものである。また、画像生成部14は、Bモード以外に、カラードプラモード、弾性画像モードなどの他の画像モードの断層画像データを生成する構成としてもよい。さらに、画像生成部14は、M(Motion)モードなど、断層画像データ以外の画像データを生成する他の画像モードを有する構成としてもよい。
【0043】
画像処理部15は、画像メモリー部15aを有する。画像メモリー部15aは、例えば、DRAM(Dynamic Random Access Memory)などの半導体メモリーにより構成されている。画像処理部15は、制御部18の制御に従って、画像生成部14から入力されたBモード画像データに適宜画像処理を行う。また、画像処理部15は、制御部18の制御に従って、入力された又は画像処理されたBモード画像データをフレーム単位で画像メモリー部15aに記憶する。フレーム単位のBモード画像データを超音波画像データということがある。画像処理部15は、制御部18の制御に従って、画像メモリー部15aに記憶された超音波画像データを、所定時間毎に1フレーム分ずつ表示制御部16に送信する。画像メモリー部15aは、例えば、約10秒分のフレーム画像データを保持可能な大容量メモリーにより構成されている。画像メモリー部15aは、FIFO(First-In First-Out)方式により、直近10秒分の超音波画像データを保持する。
【0044】
表示制御部16は、制御部18の制御に従って、画像処理部15から入力されたBモード画像データに、座標変換などの処理を行って、表示用の画像信号に変換する。表示制御部16は、画像信号を表示部17に出力する。
【0045】
表示部17は、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイ、無機ELディスプレイなどの表示パネルを有する。表示部17は、制御部18の制御に従って、表示制御部16から出力された画像信号に従って超音波画像を表示パネルに表示する。また、表示部17は、制御部18から入力される各種表示情報を表示パネルに表示する。
【0046】
制御部18は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備える。制御部18は、ROMに記憶されている各種処理プログラムを読み出してRAMに展開し、展開したプログラムとCPUとの協働で、超音波診断装置10の各部を制御する。ROMは、半導体などの不揮発メモリーなどにより構成される。ROMは、超音波診断装置10に対応するシステムプログラム及び該システムプログラム上で実行可能な各種処理プログラムや、ガンマテーブルなどの各種データなどを記憶する。これらのプログラムは、コンピューターが読み取り可能なプログラムコードの形態でRAMに格納される。CPUは、RAM上の当該プログラムコードに従った動作を逐次実行する。RAMは、CPUにより実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアを形成する。
【0047】
特に、制御部18のROMには、後述する第1の超音波画像出力処理を実行するための第1の超音波画像出力プログラムが記憶されているものとする。
【0048】
記憶部19は、超音波画像データなどの情報を書き込み及び読み出し可能に記憶するHDD(Hard Disk Drive)、SSD(Solid State Drive)などの記憶部である。特に、記憶部19は、後述するAIの学習済みモデルとしての変換器、識別器が記憶される。
【0049】
通信部31は、通信ネットワークNに接続される。通信部31は、ネットワークカードなどを備える。制御部18は、通信部31を介して、通信ネットワークNに接続された画像管理サーバー40などの外部機器との間で情報の送受信を行う。
【0050】
超音波診断装置10が備える各部について、各々の機能ブロックの一部又は全部の機能は、集積回路などのハードウェア回路として実現できる。集積回路は、例えばLSI(Large Scale Integration)である。LSIは、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではない。集積回路化は、専用回路又は汎用プロセッサーで実現してもよいし、FPGA(Field Programmable Gate Array)やLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。また、各部は、機能ブロックの一部又は全部の機能をソフトウェアにより実行してもよい。この場合、このソフトウェアは一つ又はそれ以上のROM、光ディスク又はハードディスクなどの記憶媒体に記憶されている。超音波診断装置10の演算処理器は、ソフトウェアを記憶媒体から読み出して実行する。
【0051】
つぎに、図3及び図4を参照して、本実施の形態の画像データ変換に用いるAIアルゴリズムを説明する。ここでは、AIアルゴリズムとして、GAN(Generative Adversarial Network:敵対的生成ネットワーク)と、Cycle-GANと、を説明する。図3は、GANの構成を示す図である。図4は、Cycle-GANの構成を示す図である。
【0052】
GANは、データのラベリングが不要な教師なし学習で使用されるAIアルゴリズムの一種である。GANは、データから特徴を学習(機械学習)することで、実在しないデータを生成したり、存在するデータの特徴に沿って変換できる。
【0053】
GANは、ゼロサムゲームフレームワークで互いに競合する2つのニューラルネットワークのシステムによって実装される。2つのニューラルネットワークは、生成ネットワーク(Generator)と、識別ネットワーク(Discriminator)と、である。本実施の形態のように、画像データ生成を目的とするなら、Generatorは、画像データを出力する。Discriminatorは、Generatorから出力された画像データの正否を識別(判定)する。Generatorは、Discriminatorを欺こうと学習する。Discriminatorは、より正確に識別しようと学習する。このように、2つのネットワークが相反した目的のもとに学習する様が敵対的と呼称される所以である。
【0054】
図3に示すように、GANは、Generator51と、Discriminator52と、を有する。Generator51は、入力画像データ61を変換して出力画像データ62を出力する。Generator51は、出力画像データ62がDiscriminator52に本物と識別されるように変換を行う。
【0055】
一方、Discriminator52は、出力画像データ62を入力画像データ63とし、入力画像データ63と本物画像データ64とが入力される。Discriminator52は、入力画像データ63と本物画像データ64とが本物か偽物かを識別して識別結果を出力する。このとき、Discriminator52は、入力画像データ63を偽物と識別し、本物画像データ64を本物と識別するように、学習する。Generator51は、Discriminator52の識別結果を用いて、出力画像データ62がDiscriminator52に本物と識別されるように学習する。これらの学習が繰り返される。
【0056】
例えば、最初の入力画像データ61が、ランダムな画素値を持った画像データとする。本物画像データ64が、Bモード画像データとする。学習初期の出力画像データ62は、滅茶苦茶な画像の画像データとなる。学習を繰り返すごとに、出力画像データ62が、本物らしい画像となっていく。学習終盤の出力画像データ62は、本物画像データ64のような本物らしい画像となる。
【0057】
本実施の形態は、GANの一種であるCycle-GANを用いる。Cycle-GANは、ある画像データ群Xの画像の所定の特徴を抽出し、画像データ群Xの画像データをもう一方の画像データ群Yの所定の特徴の画像データに変換するGANである。画像データ群X,Yの特徴は、例えば、(馬、シマウマ)、(夏の風景、冬の風景)などのペアとなっている。また、Cycle-GANは、画像データ群Xと画像データ群Yとで相互に画像データの変換が可能である。
【0058】
図4に示すように、Cycle-GANは、Generator71,72と、Discriminator73,74と、を有する。Generator71は、画像データ群Xの特徴を有する本物画像データX1を変換し、画像データ群Yの特徴を有する偽物画像データY1として出力する。Generator71は、偽物画像データY1がDiscriminator73に、画像データ群Yの本物と識別されるように変換を行う。
【0059】
一方、Discriminator73は、偽物画像データY1と、画像データ群Yの特徴を有する本物画像データY2と、が入力される。Discriminator73は、偽物画像データY1と本物画像データY2とが、画像データ群Yの本物か偽物かを識別して識別結果を出力する。このとき、Discriminator73は、偽物画像データY1を画像データ群Yの偽物と識別し、本物画像データY2を本物と判別するように、学習する。Generator71は、Discriminator73の識別結果を用いて、偽物画像データY1がDiscriminator73に、本物と識別されるように学習する。
【0060】
Generator72は、画像データ群Yの本物画像データY2を変換し、画像データ群Xの特徴を有する偽物画像データY1として出力する。Generator72は、偽物画像データX2がDiscriminator74に、画像データ群Xの本物と識別されるように変換を行う。
【0061】
一方、Discriminator74は、偽物画像データX2と、本物画像データX1と、が入力される。Discriminator74は、偽物画像データX2と本物画像データX1とが、画像データ群Xの本物か偽物かを識別して識別結果を出力する。このとき、Discriminator74は、偽物画像データX2を画像データ群Xの偽物と識別し、本物画像データX1を本物と判別するように、学習する。Generator72は、Discriminator74の識別結果を用いて、偽物画像データX2がDiscriminator74に、本物と識別されるように学習する。
【0062】
本実施の形態において、記憶部19は、Generator71を記憶する。また、画像データ群X,Yの特徴(属性)のペアは、(超音波探触子2A、超音波探触子2B)、(超音波探触子2A、MRI)、(超音波探触子2B、MRI)とする。具体的には、記憶部19は、Generator71として、Generator71A,71B(図6)を記憶する。Generator71Aは、超音波探触子2Aを使用して生成された画像データ用の変換器である。Generator71Bは、超音波探触子2Bを使用して生成された画像データ用の変換器である。Generator71Aは、Generator71a,71bを有する。Generator71Bは、Generator71c,71dを有する。
【0063】
「超音波探触子を使用して生成された(超音波)画像データ」とは、「超音波探触子で受信した画像生成用の受信信号に基づく(超音波)画像データ」の意味である。以下、「超音波探触子を使用して生成された(超音波)画像データ」は、簡単に、「超音波探触子を使用した(超音波)画像データ」とする。
【0064】
Generator71aは、超音波探触子2Aを使用した超音波画像データを、超音波探触子2Bを使用した超音波画像風(超音波探触子2B風)の画質に画像変換する。Generator71bは、超音波探触子2Aを使用した超音波画像データを、MRI画像風(MRI風)の画質に画像変換する。Generator71cは、超音波探触子2Bを使用した超音波画像データ→超音波探触子2Aを使用した超音波画像風(超音波探触子2A風)の画質に画像変換する。Generator71dは、超音波探触子2Bを超音波使用した画像データ→MRI風の画質に画像変換する。
【0065】
Generator71a,71cは、超音波探触子2Aを使用した超音波画像データと、超音波探触子2Bを使用した超音波画像データと、を用いて学習されている。Generator71a,71cに対応するDiscriminator73,74も同様に学習されている。例えば、本物画像データX1は、超音波探触子2Aを使用した超音波画像データである。本物画像データY2は、超音波探触子2Bを使用した超音波画像データである。
【0066】
Generator71bと、これに対応するDiscriminator73,74とは、超音波探触子2Aを使用した超音波画像データと、MRI画像データと、を用いて学習されている。Generator71dと、これに対応するDiscriminator73,74とは、超音波探触子2Bを使用した超音波画像データと、MRI画像データと、を用いて学習されている。
【0067】
Cycle-GANは、厳格なペアとなる学習データ(訓練データ)無しに学習を進められる。具体的には、訓練データとしての画像データ群Xの本物画像データと、画像データ群Yの本物画像データとは、被検体の断面やポジショニングが異なっていてもよい。
【0068】
X→Yの画像変換のGenerator71を用いる場合、本質的には、学習データとしての画像データ群Xの本物画像データは、何の画像データでもよい。ただし、変換精度を上げるために、訓練データとしての画像データ群Xの本物画像データは、変換前の1つの特徴(超音波探触子2Aなど)に絞る方が好ましい。このように、Cycle-GANは、学習データの収集が比較的容易である。また、Cycle-GANは、変換したいターゲットの特徴に画像変換できる。
【0069】
学習が進むと、Generator71により変換される変換画像データは、本物画像データY2に類似する画像データとなる。例えば、偽物画像データY1は、本物画像データY2に類似する画像データとなる。画像データが類似するとは、Cycle-GANにおける画像の特徴が同じであり、画像のコントラスト、階調、粒状性、鮮鋭度が類似することとする。また、本物画像データY2に類似する画像データとは、例えば、本物画像データY2と撮影方向が同じ画像データ(例えば、断層像データ)であることとする。
【0070】
また、本物画像データY2は、所定の条件で撮像された画像データである。所定の条件で撮像された画像データとは、例えば、本物画像データX1に使用された超音波探触子と異なる種類の超音波探触子を使用した画像データである。
【0071】
以下、Generator71,71A,71B,71a~71dを、変換器71,71A,71B,71a~71dとする。Discriminator73,74を、識別器73,74とする。
【0072】
つぎに、図5図8(b)を参照して、画像管理システム100の動作を説明する。図5は、第1の超音波画像出力処理を示すフローチャートである。図6は、第1の超音波画像出力処理のデータ及び処理を示す図である。図7は、表示画面80を示す図である。図8(a)は、超音波画像91を示す図である。図8(b)は、MRI風画像92を示す図である。
【0073】
図5を参照して、超音波診断装置10で実行される第1の超音波画像出力処理を説明する。あらかじめ、超音波診断装置本体1に超音波探触子2A又は2Bが接続されているものとする。また、変換器71a~71dが、記憶部19に記憶されているものとする。
【0074】
超音波診断装置10において、例えば、操作入力部11を介してユーザーから第1の超音波画像出力処理の実行指示が入力される。制御部18は、当該実行指示の入力に応じて、ROMに記憶された第1の超音波画像出力プログラムに従い、第1の超音波画像出力処理を実行する。
【0075】
まず、制御部18は、超音波診断装置本体1に接続されている超音波探触子の種類を取得する(ステップS11)。制御部18は、接続されている超音波探触子のコネクター23の記憶部に記憶されている当該超音波探触子の識別情報を読み出す。制御部18は、読み出した識別情報に対応する超音波探触子の種類を取得する。図6に示すように、超音波探触子の種類は、例えば「超音波探触子2A」又は「超音波探触子2B」である。
【0076】
制御部18は、送信部12及び受信部13を制御して、超音波探触子を介して超音波を送受信させる(ステップS12)。ステップS12において、ユーザーは、超音波探触子の先端を被検体に当ててスキャンする。
【0077】
制御部18は、受信部13、画像生成部14、画像処理部15及び表示制御部16を制御して、ステップS12の超音波に基づく超音波画像データを生成する(ステップS13)。ステップS13の超音波画像データは、Bモード画像データであり、元画像データとする。図6に示すように、例えば、超音波探触子2Aを使用した元画像データ、又は超音波探触子2Bを使用した元画像データが生成される。
【0078】
制御部18は、操作入力部11を介して、ユーザーから元画像データをAIの識別器により変換するか否かの設定情報の入力を受け付ける(ステップS14)。ステップS14において、制御部18は、入力された設定情報に基づいて、元画像データを変換するか否かを判別する。
【0079】
元画像データを変換しない場合(ステップS14;NO)、制御部18は、ステップS13で生成された元画像データを表示部17に表示させる(ステップS15)。制御部18は、操作入力部11を介してユーザーから画像データを画像管理サーバー40に送信するか否かの入力を受け付ける(ステップS16)。ステップS16において、制御部18は、当該入力に応じて、画像データを画像管理サーバー40に送信するか否かを判別する。
【0080】
画像データを送信しない場合(ステップS16;NO)、第1の超音波画像出力処理が終了する。画像データを送信する場合(ステップS16;YES)、制御部18は、通信部31を介して、元画像データを画像管理サーバー40に送信する(ステップS17)。ステップS17に対応して、画像管理サーバー40は、元画像データを超音波診断装置10から受信して、自装置の記憶部に記憶する。ステップS17の後、第1の超音波画像出力処理が終了する。
【0081】
元画像データを変換する場合(ステップS14;YES)、制御部18は、操作入力部11を介してユーザーからのAIの変換器の種類の入力を受け付ける(ステップS18)。図6に示すように、AIの変換器の種類は、例えば、変換器71a,71b,71c,71dである。ステップS18では少なくとも変換器の変換後の特徴(超音波探触子2A風、超音波探触子2B風、MRI風)が入力さればよい。
【0082】
制御部18は、ステップS11で取得された超音波探触子の種類と、ステップS18で入力された変換器の種類とに応じて、使用する変換器を設定する(ステップS19)。図6に示すように、使用する変換器は、例えば、変換器71a,71b,71c,71dから、1つ設定される。ここでは、ステップS11の超音波探触子の種類と、図4の本物画像データX1の超音波探触子の種類とが同じで、かつ、ステップS18の変換器の種類に対応する変換器が設定される。
【0083】
制御部18は、ステップS19で設定された変換器を記憶部19から読み出し、当該変換器により、ステップS13の元画像データを変換する(ステップS20)。変換した元画像データを変換画像データとする。図8に示すように、変換画像データは、例えば、変換器71aを用いた場合、超音波探触子2Bを使用した超音波画像の特徴の画質の超音波探触子2B風の加工画像データとなる。また、変換画像データは、変換器71b又は71dを用いた場合、MRI画像の特徴の画質のMRI風の加工画像データとなる。また、変換画像データは、例えば、変換器71cを用いた場合、超音波探触子2Aを使用した超音波画像の特徴の画質の超音波探触子2A風の加工画像データとなる。
【0084】
制御部18は、操作入力部11を介してユーザーからの画像データの並列表示をするか否かの入力を受け付ける(ステップS21)。ステップS21において、制御部18は、入力された情報に応じて、画像データの並列表示をするか否かを判別する。
【0085】
並列表示する場合(ステップS21;YES)、制御部18は、ステップS13の元画像データとステップS20の変換画像データとを表示部17に並列表示する(ステップS22)。ステップS22では、例えば、図7に示す表示画面80が表示される。表示画面80は、元画像データが超音波探触子2Aを使用して生成され、変換器71aを用いて画像変換された場合に対応する。
【0086】
表示画面80は、元画像81と、変換画像82と、付帯情報83,84,85,86を有する。元画像81は、超音波探触子2Aを使用した元画像データの画像である。変換画像82は、変換器71aを用いて元画像81の元画像データが画像変換された変換画像データの画像である。元画像81と変換画像82とは、左右方向に並列に配列されている。ただし、元画像81と変換画像82とは、上下方向に並列に配置される構成としてもよい。
【0087】
付帯情報83は、元画像81が元画像であることを示す情報である。付帯情報83は、例えば元画像81の近傍に配置された「Original」の文字情報である。ただし、付帯情報83は、他の文字情報や、マーク、元画像81の枠などとしてもよい。付帯情報84は、元画像81に関する付帯情報である。付帯情報83は、例えば元画像81の近傍に配置された「Freq.Mid」の文字情報である。「Freq.Mid」は、元画像81の超音波の送受信設定の周波数がミドルレベルであることを示す。付帯情報83,84は、例えば、白色とする。
【0088】
付帯情報85は、変換画像82が元画像の加工画像であること及びその内容を示す情報である。付帯情報85は、例えば元画像81の近傍に配置された「Probe 2B Style」の文字情報である。「Probe 2B Style」は、変換画像82が「超音波探触子2B風」の特徴の画質の変換画像であることを示す。ただし、付帯情報83は、他の文字情報や、マーク、変換画像82の枠などとしてもよい。付帯情報86は、変換画像82に関する付帯情報である。付帯情報86は、例えば元画像81の近傍に配置された「Freq.High(AI)」の文字情報である。「Freq.High(AI)」は、変換画像82の超音波の送受信設定の周波数がハイレベルであることと、AIの加工画像であることと、を示す。付帯情報85,86は、例えば、黒色とする。このように、付帯情報83,84と、付帯情報85,86とは、異なる色に設定され、元画像と変換画像(加工画像)とを識別表示している。
【0089】
図5に戻り、制御部18は、操作入力部11を介してユーザーからの表示中の2つの画像の位置の切替入力を受け付ける(ステップS23)。ステップS23において、制御部18は、当該入力に応じて、表示中の2つの画像の位置の切替入力があるか否かを判別する。切替入力がある場合(ステップS23;YES)、制御部18は、並列表示中の元画像と変換画像との位置を切り替える(ステップS24)。ステップS24では、例えば、表示画面80が表示中の場合に、左側に変換画像82が配置され右側に元画像81が配置された右側の並列表示に切り替えられる。
【0090】
制御部18は、操作入力部11を介してユーザーからの画像の表示終了の入力を受け付ける(ステップS25)。ステップS25において、制御部18は、当該入力に応じて、画像の表示を終了するか否かを判別する。切替入力がない場合(ステップS23;NO)、処理はステップS25に移行される。表示を終了しない場合(ステップS25;NO)、処理はステップS23に移行される。
【0091】
並列表示しない場合(ステップS21;NO)、制御部18は、ステップS20の変換画像データを表示部17に単独表示する(ステップS26)。ステップS26では、例えば、表示画面80のうち、変換画像82及び付帯情報85,86のみが表示される。
【0092】
制御部18は、操作入力部11を介してユーザーからの表示中の1つの画像の表示の切替入力を受け付ける(ステップS27)。ステップS27において、制御部18は、当該入力に応じて、表示中の画像の切替入力があるか否かを判別する。切替入力がある場合(ステップS27;YES)、制御部18は、表示中の画像を、これに対応するもう一方の画像に表示を切り替える(ステップS28)。ステップS28では、例えば、変換画像82及び付帯情報85,86のみが表示中の場合に、元画像81及び付帯情報83,84のみの表示に切り替えられる。
【0093】
制御部18は、操作入力部11を介してユーザーからの画像の表示終了の入力を受け付ける(ステップS29)。ステップS29において、制御部18は、当該入力に応じて、画像の表示を終了するか否かを判別する。表示を終了しない場合(ステップS29;NO)、処理はステップS27に移行される。
【0094】
表示を終了する場合(ステップS25;YES)、制御部18は、操作入力部11を介してユーザーから画像データを送信するか否かの入力を受け付ける(ステップS30)。表示を終了する場合(ステップS29;YES)、処理はステップS30に移行される。ステップS30において、制御部18は、当該入力に応じて、画像データを画像管理サーバー40に送信するか否かを判別する。
【0095】
画像データを送信しない場合(ステップS30;NO)、第1の超音波画像出力処理が終了する。画像データを送信する場合(ステップS30;YES)、制御部18は、通信部31を介して、元画像データ及び変換画像データを対応付けて画像管理サーバー40に送信する(ステップS31)。ステップS31に対応して、画像管理サーバー40は、元画像データ及び変換画像データを超音波診断装置10から受信する。画像管理サーバー40は、元画像データ及び変換画像データを対応付けて、自装置の記憶部に記憶する。ステップS31の後、第1の超音波画像出力処理が終了する。
【0096】
表示画面80は、変換器71aを用いて、超音波探触子2Aを使用した元画像81の元画像データを、超音波探触子2B風の変換画像82の変換画像データに変換する例であった。図8(a)に示すように、例えば、超音波探触子2Aを使用した超音波画像の超音波画像91の元画像データを考える。図8(b)に示すように、変換器71bを用いて、超音波画像91の元画像データを、MRIの特徴の画質のMRI風画像92の変換画像データに変換できる。
【0097】
以上、本実施の形態によれば、超音波診断装置10は、被検体に対して超音波を送受信する超音波探触子2A又は2Bとしての第1超音波探触子と、推定部としての制御部18と、を備える。制御部18は、学習データを用いて機械学習された学習済みモデルとしての変換器71を用いる。学習データは、第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく第1データと、所定の条件で撮像された第2データと、を含む。第1データは、図4の本物画像データX1である。第2データは、図4の本物画像データY2である。制御部18は、第1超音波探触子で受信した画像生成用の受信信号に基づく第3データを、第2データと類似する第4データに変換して出力する。第3データは、第1超音波探触子を使用した元画像データである。第4データは、本物画像データY2に類似する変換画像データである。
【0098】
このため、診断に不慣れなユーザーでも、元画像データ及び変換画像データにより、多様な画質の画像(元画像、変換画像)から適切に診断できるようになる。
【0099】
第1データ(本物画像データX1)及び第3データ(元画像データ)は、所定の受信信号に基づくBモード画像データである。このため、診断に不慣れなユーザーでも、元画像データ及び変換画像データにより、多様な画質の画像(元画像、変換画像)から適切に診断できるようになる。
【0100】
第2データ(本物画像データY2)は、超音波画像データ及びMRI画像データを含む。このため、多様な特徴の画質の画像(超音波画像、MRI風画像)から適切に診断できるようになる。
【0101】
第4データ(変換画像データ)は、超音波画像風画像データ又はMRI風画像データである。このため、多様な特徴の画質の画像(超音波画像、MRI風画像)から適切に診断できるようになる。
【0102】
第1データ(本物画像データX1)は、第2超音波探触子で受信した画像生成用の受信信号に基づくデータである。第2データ(本物画像データY2)は、第2超音波探触子とは異なる超音波探触子2A又は2Bとしての第3超音波探触子で受信した画像生成用の受信信号に基づくデータである。このため、第3超音波探触子風の画像データにより、多様な画質の画像(第1超音波探触子の超音波画像、第3超音波探触子風画像)から適切に診断できるようになる。
【0103】
制御部18は、第4データ(変換画像データ)が加工画像であることを示す付帯情報85,86を表示部17に表示する。このため、第4データが加工画像であるため確定診断/最終確認には適さなく、加工画像であることをユーザーに通知することで注意喚起できる。また、表示された元画像と変換画像との混同を防ぐことができる。
【0104】
制御部18は、第4データ(変換画像データ)に対応する超音波探触子の種類及び周波数を示す付帯情報85,86を表示部17に表示する。第4データ(変換画像データ)がMRI風画像データである場合、付帯情報は、超音波探触子の種類に代えて、モダリティの種類(MRI)を含める。このため、第4データに対応する超音波探触子の種類、周波数、モダリティをユーザーに通知でき、第4データに推論処理が動いていることを通知できる。
【0105】
制御部18は、第3データ(元画像データ)が元画像である旨を示す付帯情報83,84を表示部17に表示する。このため、第3データが確定診断/最終確認に適しており、元画像であることをユーザーに通知(明示)できる。また、表示された元画像と変換画像(加工画像)との混乱を防ぐことができる。
【0106】
制御部18は、第3データ(元画像データ)を表示するか、又は第3データと第4データ(変換画像データ)とを対応付けて表示する。このため、加工画像で確定診断/最終確認してしまうことを防ぎ、元画像で確定診断/最終確認することを促すことができる。
【0107】
また、画像管理システム100は、超音波診断装置10と、画像管理サーバー40と、を備える。画像管理サーバー40は、第3データ(元画像データ)、又は第3データ及び第4データ(変換画像データ)を対応付けて、超音波診断装置10から受信して記憶する。制御部18は、第3データ(元画像データ)、又は第3データと第4データ(変換画像データ)とを対応付けて、画像管理サーバー40に送信する。このため、画像管理サーバー40が、第3データのみ、又は第3データ及び第4データを受信でき、対応付けて記憶し管理できる。なお、制御部18は、第3データ(元画像データ)、又は第3データと第4データ(変換画像データ)とを対応付けて、読影レポート上に出力する構成としてもよい。
【0108】
第3データは、元画像データである。かつ、第4データは、変換画像データである。超音波診断装置10は、元画像データと変換画像データとを同一画面で表示又は切り替えて表示する表示部17を備える。このため、変換画像を元画像と並べて表示、又は切り替えて表示でき、ユーザーに好ましい表示方式をとることにより、適切に診断できるようになる。
【0109】
(変形例)
図9を参照して、上記第1の実施の形態の変形例を説明する。図9は、第2の超音波画像出力処理を示すフローチャートである。
【0110】
上記第1の実施の形態は、元画像データを変換画像データに変換する構成であった。本変形例は、元画像の画像化前の音線データを、変換画像の画像化前の音線データに変換する構成である。元画像の画像化前の音線データを、元画像化データとする。変換画像の画像化前の音線データを、変換画像化データとする。
【0111】
本変形例の装置構成は、上記第1の実施の形態と同様に、画像管理システム100を用いる。ただし、超音波診断装置10の制御部18のROMには、第1の超音波画像出力プログラムに代えて、第2の超音波画像出力プログラムが記憶されている。第2の超音波画像出力プログラムは、後述する第2の超音波画像出力処理を実行するためのプログラムである。
【0112】
つぎに、図9を参照して、画像管理システム100の動作を説明する。具体的には、図9を参照して、超音波診断装置10で実行される第2の超音波画像出力処理を説明する。あらかじめ、超音波診断装置10において、超音波診断装置本体1に超音波探触子2A又は2Bが接続されているものとする。また、変換器71a~71dが、記憶部19に記憶されているものとする。
【0113】
超音波診断装置10において、例えば、操作入力部11を介してユーザーから第2の超音波画像出力処理の実行指示が入力される。制御部18は、当該実行指示の入力に応じて、ROMに記憶された第2の超音波画像出力プログラムに従い、第2の超音波画像出力処理を実行する。
【0114】
図9に示すステップS41,S42は、図5の第1の超音波画像出力処理のステップS11,S12と同様である。制御部18は、受信部13を制御して、ステップS12の超音波に基づく超音波画像の音線データを生成する(ステップS43)。ステップS43の音線データは、Bモード画像を生成するための画像化データであり、元画像化データとする。制御部18は、画像生成部14、画像処理部15及び表示制御部16を制御して、ステップS43の元画像化データに基づく超音波画像データを生成する(ステップS44)。ステップS44の超音波画像データは、Bモード画像データであり、元画像データとする。
【0115】
制御部18は、操作入力部11を介して、ユーザーから元画像化データをAIの識別器により変換するか否かの設定情報の入力を受け付ける(ステップS45)。ステップS45において、制御部18は、入力された設定情報に基づいて、元画像化データを変換するか否かを判別する。
【0116】
元画像化データを変換しない場合(ステップS45;NO)、制御部18は、ステップS44で生成された元画像データを表示部17に表示させる(ステップS46)。ステップS47~S50は、図5のステップS16~S19と同様である。制御部18は、ステップS50で設定された変換器を記憶部19から読み出し、当該変換器により、ステップS43の元画像化データを変換する(ステップS51)。変換した元画像化データを変換画像化データとする。
【0117】
制御部18は、画像生成部14、画像処理部15、表示制御部16を制御して、ステップS51の変換画像化データから変換画像データを生成する(ステップS52)。ステップS53~S63は、図5のステップS21~S31と同様である。
【0118】
以上、本変形例によれば、第1データ(本物画像データX1に対応する音線データ)及び第3データ(元画像データに対応する音線データ)は、所定の受信信号としての音線データである。このため、第1の実施の形態と同様に、診断に不慣れなユーザーでも、元画像データ及び変換画像データにより、多様な画質の画像(元画像、変換画像)から適切に診断できるようになる。
【0119】
第2データ(本物画像データY2)は、超音波データ(音線データ)及びMRI画像データを含む。このため、多様な特徴の画質の画像(超音波画像、MRI風画像)から適切に診断できるようになる。
【0120】
第4データ(変換画像データ)は、超音波データ(音線データ)及びMRI風画像データである。このため、多様な特徴の画質の画像(超音波画像、MRI風画像)から適切に診断できるようになる。
【0121】
第1の実施の形態又は本変形例で説明したように、第1データ及び第3データは、同じデータ方式(画像データ又は音線データ)である。例えば、第1データがBモード画像データである場合、第3データもBモード画像データであることが好ましい。第1データが音線データである場合、第3データも音線データであることが好ましい。この構成の場合に、変換器の変換精度を上げることができる。
【0122】
本変形例では、第1データ及び第3データの受信信号として音線データを用いる構成としたが、これに限定されるものではない。当該受信信号として受信部13のRF(Radio Frequency)信号を用いる構成としてもよい。
【0123】
(第2の実施の形態)
図10図11を参照して、本発明の第2の実施の形態の変形例を説明する。図10は、第3の超音波画像出力処理を示すフローチャートである。図11は、第3の超音波画像出力処理のデータ及び処理を示す図である。
【0124】
上記第1の実施の形態は、元画像データの属性として超音波診断装置本体1に接続されている超音波探触子の種類を記憶部から読み出し、変換器の設定に用いる構成であった。本実施の形態は、AIの識別器を用いて、元画像データの属性としての超音波探触子の種類を識別し、変換器の設定に用いる構成である。
【0125】
本実施の形態の装置構成は、上記第1の実施の形態と同様に、画像管理システム100を用いる。ただし、超音波診断装置10の制御部18のROMには、第1の超音波画像出力プログラムに代えて、第3の超音波画像出力プログラムが記憶されている。第3の超音波画像出力プログラムは、後述する第3の超音波画像出力処理を実行するためのプログラムである。
【0126】
つぎに、図10図11を参照して、画像管理システム100の動作を説明する。具体的には、図10を参照して、超音波診断装置10で実行される第3の超音波画像出力処理を説明する。あらかじめ、超音波診断装置10において、超音波診断装置本体1に超音波探触子2A又は2Bが接続されているものとする。また、図11に示すように、変換器71a~71dと、識別器73,74としての識別器73a,74bが、記憶部19に記憶されているものとする。
【0127】
識別器73aは、超音波探触子2Bを使用した超音波画像データを本物と識別する識別器である。識別器74aは、超音波探触子2Aを使用した超音波画像データを本物と識別する識別器である。識別器73a,74aは、例えば、図4において、超音波探触子2Aを使用した超音波画像データと、超音波探触子2Bを使用した超音波画像データと、を用いて学習されている。例えば、本物画像データX1は、超音波探触子2Aを使用した超音波画像データである。本物画像データY2は、超音波探触子2Bを使用した超音波画像データである。
【0128】
超音波診断装置10において、例えば、操作入力部11を介してユーザーから第3の超音波画像出力処理の実行指示が入力される。制御部18は、当該実行指示の入力に応じて、ROMに記憶された第3の超音波画像出力プログラムに従い、第3の超音波画像出力処理を実行する。
【0129】
図9に示すステップS71~S76は、図5の第1の超音波画像出力処理のステップS12~S17と同様である。元画像データを変換する場合(ステップS73;YES)、制御部18は、識別器73a,73bを記憶部19から読み出す(ステップS77)。ステップS77において、制御部18は、識別器73a,73bを用いて、元画像データの画像属性を識別する。
【0130】
例えば、識別器73aに元画像データに入力して、本物との識別結果が得られる場合に、元画像データの属性として「超音波探触子2B」が得られる。識別器74aに元画像データに入力して、本物である識別結果が得られる場合に、元画像データの属性として「超音波探触子2B」が得られる。つまり、元画像データの属性として、超音波探触子の種類が得られる。
【0131】
ステップS78は、図5のステップS18に対応する。制御部18は、ステップS77で取得された元画像データの属性と、ステップS78で入力された変換器の種類とに応じて、使用する変換器を設定する(ステップS79)。ステップS80~S91は、図5のステップS20~S31と同様である。
【0132】
以上、本実施の形態によれば、記憶部19に記憶する学習済みモデルは、第1学習済みモデルと、第2学習済みモデルとを少なくとも含む複数の学習済みモデルを含む。第1学習済みモデル(変換器71)は、第1データと、第2データと、を含む学習データを用いて機械学習されている。第2学習済みモデル(識別器73,74)は、第5データと、第6データと、を含む学習データを用いて機械学習されている。第5データは、第1超音波探触子と同じ種類の第2超音波探触子で受信した画像生成用の受信信号に基づく。第6データは、第5データの属性を示す。制御部18は、ユーザー操作により複数の学習済みモデルのいずれか一つの学習済みモデルの出力に切り替える。制御部18は、第2学習済みモデルによって識別された第3データ(元画像データ)の属性と、ユーザー操作と、に応じて第1学習済みモデルを選択する。制御部18は、選択された第1学習済みモデルを用いて、第3データを、第2データと類似する第4データに変換して出力する。このため、第2学習済みモデルにより、第3データの属性を当該第3データから容易に取得できる。
【0133】
制御部18は、第3データの属性ごとに複数の切替部(図11の「変換器切替」)を含む。制御部18は、第3データの属性を識別して複数の切替部のうち一の切替部を選択する。このため、第2学習済みモデルにより、第3データの属性を当該第3データから容易に取得できる。
【0134】
(第3の実施の形態)
図12を参照して、本発明の第3の実施の形態の変形例を説明する。図12は、第4の超音波画像出力処理を示すフローチャートである。
【0135】
上記第1の実施の形態は、元画像データを変換して変換画像データを生成し表示及び送信する構成であった。本実施の形態は、変換画像データから画像中の所定の臓器/組織などの識別対象物を識別する構成である。
【0136】
本実施の形態の装置構成は、上記第1の実施の形態と同様に、画像管理システム100を用いる。ただし、超音波診断装置10の制御部18のROMには、第1の超音波画像出力プログラムに代えて、第4の超音波画像出力プログラムが記憶されている。第4の超音波画像出力プログラムは、後述する第4の超音波画像出力処理を実行するためのプログラムである。
【0137】
つぎに、図12を参照して、画像管理システム100の動作を説明する。具体的には、図12を参照して、超音波診断装置10で実行される第4の超音波画像出力処理を説明する。あらかじめ、超音波診断装置10において、超音波診断装置本体1に超音波探触子2A又は2Bが接続されているものとする。また、被検体の識別対象物を識別するための識別器D1(図示略)が、記憶部19に記憶されているものとする。
【0138】
識別器D1は、元画像データから変換器71により変換された変換画像データの画像から所定の識別対象物を識別するAIの識別器である。識別器D1は、例えば、畳み込みニューラルネットワークで構成された学習済みモデルである。識別対象物は、臓器、組織の少なくとも1つである。臓器は、心臓、肝臓などである。組織は、臓器、神経、筋膜、筋肉、血管、胎盤、リンパ節脳、前立腺、頸動脈、乳房などである。また、識別対象物は、何らかの疾患を示す病変部や、超音波画像内の異常な輝度領域などとしてもよい。
【0139】
識別器D1は、画像内に識別対象物を含む変換画像データと、当該変換画像データの所定の正解ラベルとを用いて学習される。所定の正解ラベルは、識別対象物の撮影領域、撮影部位、位置、計測、画像の分類などが含まれる。識別器D1は、元画像データから変換器71により変換された変換画像データが入力されると、当該変換画像データの画像内の識別対象物を識別し、その識別結果を出力する。例えば、識別器D1は、識別対象物の種類ごとに用意されるものとする。
【0140】
識別器D1は、従来それぞれの超音波探触子(プローブ)毎に画像データと正解ラベルを用いて学習されていた。この場合、例えば病変を識別対象とした場合には対応するそれぞれのプローブ毎に学習データを準備しなければ十分な性能を持った識別器にすることは困難であるし、新たな超音波探触子を追加するために新たに学習データを準備する必要があるため識別器を作成するために時間を要する。また、複数の超音波探触子に対応するということは学習済みモデルが多様な画質の画像に対して対応する必要があり、そのような場合には学習済みモデルのサイズが大きくなるため、超音波診断装置に必要なリアルタイム性が損なわれてしまう。
一方、変換画像データを入力とする場合には識別器が対応する画質の多様性を低減することが可能となる。これは学習済みモデルを小さくできることを意味する。また、新たに対応する超音波探触子を増やす場合には、変換器71を作成すればよく、識別器のための学習データは大きく減らすことが可能となる。ここで変換器71の作成にもちいる学習データには病変を含む画像が必須ではないため、十分な学習データを容易に準備して作成することができる。
【0141】
超音波診断装置10において、例えば、操作入力部11を介してユーザーから第4の超音波画像出力処理の実行指示が入力される。制御部18は、当該実行指示の入力に応じて、ROMに記憶された第4の超音波画像出力プログラムに従い、第4の超音波画像出力処理を実行する。
【0142】
図12に示すように、ステップS101~S110は、図10の第3の超音波画像出力処理のステップS71~S80と同様である。制御部18は、操作入力部11を介してユーザーからの識別したい識別対象物の種類の入力を受け付ける(ステップS111)。ステップS111において、制御部18は、入力された識別対象物の種類に対応する識別器D1を記憶部19から読み出して、識別用に設定する。
【0143】
制御部18は、ステップS111で設定された識別器を用いて、ステップS110の変換画像データの識別対象物を識別し、識別結果を取得する(ステップS112)。ステップS113は、図10のステップS81と同様である。並列表示する場合(ステップS113;YES)、制御部18は、ステップS13の元画像データとステップS20の変換画像データとを表示部17に並列表示する(ステップS114)。ステップS114において、制御部18は、元画像データと変換画像データとともに、ステップS112で取得した識別結果を表示する。識別結果は、変換画像の識別対象物の識別結果であり、例えば、当該変換画像の近傍に表示される。
【0144】
ステップS115~S117は、図10のステップS83~S85と同様である。並列表示しない場合(ステップS113;NO)、制御部18は、ステップS110の変換画像データを表示部17に単独表示する(ステップS118)。ステップS118において、制御部18は、変換画像データとともに、ステップS112で取得した識別結果を表示する。ステップS119~S123は、図10のステップS87~S91と同様である。
【0145】
以上、本実施の形態によれば、制御部18は、識別器D1を用いて、第4データ(変換画像データ)から第5データ(識別結果)を出力する。識別器D1は、学習済みモデル(変換器71)を用いて第1データを変換した第4データと、所定の正解ラベルとをデータセットとした学習データを用いて機械学習されている。このため、第4データから容易に臓器/組織などの識別対象物を識別できる。
【0146】
以上の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてROMを使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、フラッシュメモリなどの不揮発性メモリー、CD-ROMなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も本発明に適用される。
【0147】
なお、上記実施の形態における記述は、本発明に係る超音波診断装置、画像管理システム、データ推定方法及びプログラムの一例であり、これに限定されるものではない。例えば、上記各実施の形態及び変形例の少なくとも2つを適宜組み合わせる構成としてもよい。
【0148】
また、上記実施の形態では、第2データ(本物画像データY2)の特徴は、第1データ(本物画像データX1)に使用した超音波探触子と異なる2種類の超音波探触子2A又は2Bとした。しかし、これに限定されるものではない。第2データ及びこれに対応する第4データの特徴は、1種類又は3種類以上の超音波探触子としてもよい。
【0149】
また、上記実施の形態では、第2データ(本物画像データY2)の特徴は、第3データ(元画像データ)に使用した超音波診断装置と異なるモダリティであるMRIとした。しかし、これに限定されるものではない。第2データの特徴は、CTなど、他のモダリティとしてもよい。
【0150】
また、第2データ(本物画像データY2)の特徴は、第1データ(本物画像データX1)に使用した超音波診断装置と異なる種類の超音波診断装置としてもよい。第3データ(元画像データ)に使用する超音波診断装置は、第1データに使用した超音波診断装置と同じ種類となる。第4データ(変換画像データ)の特徴は、第2データの特徴の超音波診断装置に対応する。この構成では、図11の付帯情報83~86などが、元画像及び変換画像に対応する超音波診断装置の機種名などの情報を含む。
【0151】
その他、上記実施の形態における画像管理システム100の細部構成及び詳細動作に関しても、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0152】
100 画像管理システム
10 超音波診断装置
1 超音波診断装置本体
11 操作入力部
12 送信部
13 受信部
14 画像生成部
15 画像処理部
15a 画像メモリー部
16 表示制御部
17 表示部
18 制御部
19 記憶部
31 通信部
2A,2B 超音波探触子
21A,21B 超音波探触子本体
22 ケーブル
23 コネクター
40 画像管理サーバー
N 通信ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12