(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-01
(45)【発行日】2024-11-12
(54)【発明の名称】超音波診断装置の故障判定装置、故障判定方法及びプログラム
(51)【国際特許分類】
A61B 8/00 20060101AFI20241105BHJP
【FI】
A61B8/00
(21)【出願番号】P 2020095387
(22)【出願日】2020-06-01
【審査請求日】2023-05-01
【前置審査】
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】馬場 慶貴
【審査官】佐藤 賢斗
(56)【参考文献】
【文献】特開2009-172238(JP,A)
【文献】国際公開第2020/056035(WO,A1)
【文献】特開2017-047083(JP,A)
【文献】中国特許出願公開第104267336(CN,A)
【文献】特開平10-262967(JP,A)
【文献】特開2008-289697(JP,A)
【文献】特開2016-174782(JP,A)
【文献】特開2011-175575(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
A61B 1/00 - 1/32
A61B 5/00 - 5/398
A61B 6/00 - 6/58
(57)【特許請求の範囲】
【請求項1】
故障状態である第一の超音波診断装置において生成された複数の種類のデータのそれぞれを教師データとして、データの種類に応じて学習された複数の学習済みモデルを用いて、第二の超音波診断装置において生成された複数の種類のデータから、前記第二の超音波診断装置が故障状態であるか否かを判定する判定部と、
前記判定部の判定結果を報知する報知部とを備え、
前記判定部は、データの種類に応じた故障状態の判定に用いる重みを示す優先度に応じて、複数の学習済みモデルを用いて出力されたデータの種類ごとの判定結果を統合し、前記第二の超音波診断装置が故障状態であるか否かを判定
し、
前記優先度は、前記第二の超音波診断装置における第一の処理で生成されたデータよりも、前記第二の超音波装置における前記第一の処理より上流側の第二の処理で生成されたデータを優先するように設定されていることを特徴とする超音波診断装置の故障判定装置。
【請求項2】
前記第一の超音波診断装置で生成された複数の種類のデータのそれぞれを教師データとして学習し、前記複数の学習済みモデルを生成する学習装置を備えることを特徴とする請求項1に記載の超音波診断装置の故障判定装置。
【請求項3】
前記学習装置は、ニューラルネットワークを用いて、前記第一の超音波診断装置で生成された前記データを教師データとして対応づけて学習することにより前記学習済みモデルを生成することを特徴とする請求項2に記載の超音波診断装置の故障判定装置。
【請求項4】
前記学習装置において生成された学習済みモデルを記憶する記憶部を備えることを特徴とする請求項2に記載の超音波診断装置の故障判定装置。
【請求項5】
前記学習装置は、前記第一の超音波診断装置の外部に設置されていることを特徴とする請求項2に記載の超音波診断装置の故障判定装置。
【請求項6】
前記学習装置は、故障状態である複数の第一の超音波診断装置において生成された前記データを教師データとして学習することを特徴とする請求項5に記載の超音波診断装置の故障判定装置。
【請求項7】
前記学習装置は、前記第一の超音波診断装置で生成された複数の種類のデータの種類に応じて、学習済みモデルをそれぞれ生成することを特徴とする請求項2に記載の超音波診断装置の故障判定装置。
【請求項8】
前記第二の超音波診断装置で生成された前記データは、反射波信号、信号処理データ、超音波画像データの少なくとも1つであることを特徴とする請求項1に記載の超音波診断装置の故障判定装置。
【請求項9】
前記優先度は、操作者によって設定されることを特徴とする請求項1に記載の超音波診断装置の故障判定装置。
【請求項10】
前記優先度は、前記データの処理内容によって重みが設定されていることを特徴とする請求項1に記載の超音波診断装置の故障判定装置。
【請求項11】
前記優先度は、反射波信号、信号処理データ、超音波画像データの順で重みが設定されていることを特徴とする請求項1に記載の超音波診断装置の故障判定装置。
【請求項12】
前記第二の超音波診断装置が故障状態である場合、前記第二の超音波診断装置の故障状態のデータを補正する処理を行う制御部を備えることを特徴とする請求項1に記載の超音波診断装置の故障判定装置。
【請求項13】
前記複数の学習済モデルは、前記第一の超音波診断装置において生成された反射波信号を教師データとして学習された第一の学習済モデルと、前記第一の超音波診断装置において生成された信号処理データを教師データとして学習された第二の学習済モデルと、前記第一の超音波診断装置において生成された超音波画像データを教師データとして学習された第三の学習済モデルを含
み、前記優先度は、反射波信号、信号処理データ、超音波画像データの順となるように設定されていることを特徴とする請求項1に記載の超音波診断装置の故障判定装置。
【請求項14】
故障状態である第一の超音波診断装置において生成された複数の種類のデータのそれぞれを教師データとして、データの種類に応じて学習された複数の学習済みモデルを用いて、第二の超音波診断装置において生成された複数の種類のデータから、前記第二の超音波診断装置が故障状態であるか否かを判定するステップを有し、
データの種類に応じた故障状態の判定に用いる重みを示す優先度に応じて、複数の学習済みモデルを用いて出力されたデータの種類ごとの判定結果を統合し、前記第二の超音波診断装置が故障状態であるか否かを判定
し、
前記優先度は、前記第二の超音波診断装置における第一の処理で生成されたデータよりも、前記第二の超音波装置における前記第一の処理より上流側の第二の処理で生成されたデータを優先するように設定されている故障判定方法。
【請求項15】
請求項14に記載の故障判定方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波診断装置の故障を判定することが可能な超音波診断装置の故障判定装置、故障判定方法及びプログラムに関する。
【背景技術】
【0002】
超音波診断装置には、超音波診断装置の故障を判定するために自己診断モードを備えているものがある。
【0003】
例えば、特許文献1では、超音波診断装置に用いられる超音波探触子が有する複数の送信用素子の各々の機能について自己診断を行い、各々の機能が損なわれていると自己診断された送信用素子の機能を回復させることが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、超音波探触子における特定の素子(送信用素子)の自己診断を行うことしか開示されておらず、また、受信信号が所定の基準信号に相当しないと特定の素子(送信用素子)が故障であると判定されてしまう。
【0006】
そこで、本発明は、精度よく故障判定することができる超音波診断装置の故障判定装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、超音波診断装置の故障判定装置は、故障状態である第一の超音波診断装置において生成された複数の種類のデータのそれぞれを教師データとして、データの種類に応じて学習された複数の学習済みモデルを用いて、第二の超音波診断装置において生成された複数の種類のデータから、前記第二の超音波診断装置が故障状態であるか否かを判定する判定部と、前記判定部の判定結果を報知する報知部とを備え、前記判定部は、データの種類に応じた故障状態の判定に用いる重みを示す優先度に応じて、複数の学習済みモデルを用いて出力されたデータの種類ごとの判定結果を統合し、前記第二の超音波診断装置が故障状態であるか否かを判定し、前記優先度は、前記第二の超音波診断装置における第一の処理で生成されたデータよりも、前記第二の超音波装置における前記第一の処理より上流側の第二の処理で生成されたデータを優先するように設定されている。
【発明の効果】
【0008】
本発明の超音波診断装置の故障判定装置によれば、精度よく故障判定することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の超音波診断装置の全体構成を示す図。
【
図2】本発明の学習フェーズに関する判定部を示す図。
【
図3】本発明の学習フェーズに関する判定部を示す図。
【
図4】本発明の超音波診断装置の内部構成を示す図。
【
図5】本発明の故障状態の第一の超音波診断装置の一例を示す図。
【
図6】本発明の推論フェーズに関する判定部を示す図。
【
図7】本発明の推論フェーズに関する判定部の判定形態を示す図。
【
図8】本発明の学習装置が超音波診断装置の外部に設置された一例を示す図。
【
図9】本発明の超音波診断装置の表示部の表示形態を示す図。
【
図11】本発明の実施例1における推論フェーズの動作を示す図。
【
図12】本発明の実施例1における推論フェーズの動作を示す図。
【
図13】本発明の実施例2における推論フェーズの動作を示す図。
【
図14】本発明の実施例2における推論フェーズの動作を示す図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して本発明の好適な実施形態について説明する。
【実施例1】
【0011】
図1は、本発明の超音波診断装置の構成を示す。超音波診断装置は、被検者に接触させ超音波の送受信を行う超音波探触子100と、超音波探触子100によって受信した超音波信号を処理して超音波画像を生成し、各種計測を行う装置本体102と、装置本体102を操作するための操作部104と、超音波画像と計測結果などを表示する表示部106とを備えている。
【0012】
超音波探触子100は、装置本体102に接続されている。超音波探触子100は、複数の振動子を有しており、複数の振動子を駆動することによって、超音波を発生することができる。超音波探触子100は、被検者からの反射波を受信して電気信号に変換する。変換された電気信号は、装置本体102に伝達される。
【0013】
また、超音波探触子100は、複数の振動子の前面側(被検者側)に設けられ、複数の振動子と被検者の音響インピーダンスを整合させる音響整合層と、複数の振動子の背面側に設けられ、複数の振動子から背面側への超音波の伝播を防止するバッキング材とを備えている。
【0014】
超音波探触子100は、装置本体102に対して着脱自在に接続される。超音波探触子100の種類には、リニア型、セクタ型、コンベックス型、ラジアル型、3次元走査型などがあり、操作者は、撮影用途に応じて、超音波探触子100の種類を選択することができる。また、超音波探触子100に適用するセンサーのタイプについても従来型のバルクのPZTを用いたものに限定されない。微細加工技術を用いたCMUTと呼ばれるタイプの静電容量型探触子や、圧電薄膜技術も組み合わせたPMUTと呼ばれるタイプの探触子を用いることができる。
【0015】
装置本体102は、超音波探触子100に対して超音波を送受信させる送受信部110と、送受信部110で受信された反射波信号に基づく超音波信号を用いて、各種信号処理を行う信号処理部112と、信号処理部112において信号処理された信号処理データを用いて、超音波画像データを生成する超音波画像生成部114と、送受信部110で受信された反射波信号、信号処理部112において信号処理された信号処理データ、超音波画像生成部114が生成した超音波画像データなどのデータを用いて故障の判定を行う判定部116と、装置本体102の各種構成要素を制御する制御部118とを備えている。
【0016】
送受信部110は、超音波探触子100が行なう超音波の送受信を制御する。送受信部110は、送信部、送信遅延回路等を有し、超音波探触子100に駆動信号を供給する。送信部は、所定の繰り返し周波数(PRF)のレートパルスを繰り返し発生させる。また、送信遅延回路は、超音波探触子100から発生される超音波を集束し、送信指向性を決定するための遅延時間を、送信部が発生するレートパルスに与える。送信遅延回路は、レートパルスに対し与える遅延時間を変化させることで、振動子から送信される超音波の送信方向を制御することができる。
【0017】
また、送受信部110は、アンプ、A/D変換部、受信遅延回路、加算部等を有している。超音波探触子100が受信した反射波信号に対して各種処理を行って超音波信号を生成する。アンプは、反射波信号をチャンネル毎に増幅してゲイン補正処理を行う。A/D変換部は、ゲイン補正された反射波信号をA/D変換する。受信遅延回路は、デジタルデータに受信指向性を決定するために遅延時間を与える。加算部は、受信遅延回路により遅延時間が与えられた反射波信号の加算処理を行う。加算部の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
【0018】
送受信部110は、被検者を2次元走査する場合、超音波探触子100から2次元の超音波を送信させる。そして、送受信部110は、超音波探触子100が受信した2次元の反射波信号から2次元の超音波信号を生成する。また、送受信部110は、被検者を3次元走査する場合、超音波探触子100から3次元の超音波を送信させる。そして、送受信部110は、超音波探触子100が受信した3次元の反射波信号から3次元の超音波信号を生成する。
【0019】
信号処理部112は、送受信部110から出力された超音波信号に対して、各種の信号処理を行なう。具体的には、信号処理部112は、超音波信号に対して、検波処理、対数圧縮などの信号処理を行なう。信号処理部112は、超音波信号の振幅情報の映像化を行い、信号処理データ(ラスタデータ)を生成する。送受信部110から出力された超音波信号に対してバンドパスフィルタ処理を行い、その後、出力信号の包絡線を検波する。そして、検波したデータに対して対数変換により圧縮処理を行う。信号処理部112は、信号処理後の信号処理データを超音波画像生成部114に出力する。
【0020】
超音波画像生成部114は、信号処理部112によって信号処理された信号処理データを用いて超音波画像データを生成する。超音波画像生成部114は、デジタルスキャンコンバータを有しており、信号処理データを直交座標で表されるデータに変換する。ここでは、超音波画像生成部114は、信号処理データ(ラスタデータ)を表示用の画像データの座標系(X,Y)に直交変換する。そして、超音波画像生成部114は、信号強度が輝度の明るさで表現される超音波画像データ(Bモード画像データ)を生成する。
【0021】
判定部116は、送受信部110が受信した反射波信号、各種の信号処理データ(ラスタデータ)、超音波画像データなどのデータを確認し、超音波診断装置の故障判定を行う。
【0022】
具体的には、判定部116は、故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを有している。そして、判定部116は、学習済みモデルを用いて、被検者の診断に使用する第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定する。本発明では、第一の超音波診断装置は、事前(過去)に取得されたデータを用いて学習済みモデルを生成するための超音波診断装置である。また、第二の超音波診断装置は、故障状態を判定する対象の超音波診断装置である。
【0023】
操作部104は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティックからなる。操作部104は、超音波診断装置の操作者からの各種指示を受け付け、装置本体102に対して、受け付けた各種指示を伝達する。
【0024】
表示部106は、操作者が操作部104を用いて各種指示を入力するためのGUIを表示したり、装置本体102において生成された超音波画像、血流画像、計測結果などを表示したりする。また、表示部106は、第二の超音波診断装置が故障状態であることが判定部116において判定された場合、第二の超音波診断装置が故障状態である旨を表示する。なお、表示部106は、報知部108と区別して図示しているが、表示部106を報知部108とみなすこともできる。
【0025】
なお、装置本体102における送受信部110、信号処理部112、超音波画像生成部114、判定部116は、集積回路などのハードウェアで構成されてもよいし、ソフトウェアでモジュール化されたプログラムであってもよい。
【0026】
本発明の超音波診断装置は、故障判定のため、受信した反射波信号、各種の信号処理データ(ラスタデータ)、超音波画像データなどのデータを用いて故障状態を判定するように学習された学習済みモデルを用いる。学習済みモデルは、例えば、学習済みのニューラルネットワークであるが、ディープラーニング、サポートベクターマシンなど、どのようなモデルを用いてもよい。学習済みモデルは、判定部116に記憶されていてもよいし、ネットワークを介して超音波診断装置に接続されるものであってもよい。
【0027】
ここで、第一の超音波診断装置と第二の超音波診断装置について説明する。第一の超音波診断装置は、実際に故障を起こした、若しくは故障状態を模擬した超音波診断装置である。故障状態である第一の超音波診断装置から取得された反射波信号、信号処理データ、超音波画像データなどのデータを教師データとして学習し、学習済みモデルを生成する。判定部116は、学習済みモデルを用いて、故障判定の対象である第二の超音波診断装置の故障状態を判定し、操作者に報知する。
【0028】
なお、判定部116(学習済みモデル)に入力される超音波画像データは、2次元画像データでもよいし、3次元画像データ(ボリュームデータ)でもよい。
【0029】
学習済みモデルは、上述した通り、第二の超音波診断装置の故障状態を判定するように学習されたものである。2次元画像データから故障状態を判定する学習済みモデルを用いてもよいし、3次元画像データから故障状態を判定する学習済みモデルを用いてもよい。
【0030】
図2~
図4を用いて、本発明の超音波診断装置における判定部116の詳細を説明する。
図2~
図4における判定部116の概略構成は同一である。学習フェーズ及び推論フェーズの動作を区別するために図面を異ならせている。
図2、3は、第一の超音波診断装置を用いた学習フェーズに関する判定部116の動作を示し、
図4は、第二の超音波診断装置を用いた推論フェーズに関する判定部116の動作を示す。
【0031】
図2に示すように、判定部116は、故障状態である第一の超音波診断装置から取得されるデータを教師データとして学習し、学習済みモデルを生成する学習装置200と、学習装置200において生成された学習済みモデルを記憶する記憶部206とを備えている。
【0032】
学習装置200は、故障状態である第一の超音波診断装置から取得されるデータから故障状態に関連する教師データを生成する教師データ生成部202と、教師データ生成部202において生成された教師データを用いて、第二の超音波診断装置における故障状態を学習する学習部204とからなる。
【0033】
教師データ生成部202は、故障状態である第一の超音波診断装置における送受信部110で受信された反射波信号、信号処理部112において信号処理された信号処理データ、超音波画像生成部114が生成した超音波画像データの内、少なくとも1つのデータを用いて教師データを生成する。
【0034】
学習装置200は、実際に第一の超音波診断装置に対して故障を起こし、故障状態となった第一の超音波診断装置から取得されるデータを用いて学習することができる。第一の超音波診断装置に対して故障を模擬した状態に設定し、その状態で第一の超音波診断装置から取得されるデータを用いて学習することもできる。第一の超音波診断装置の故障を模擬した状態に設定するとは、例えば、第一の超音波診断装置の内部で断線状態を作出することを意味する。
【0035】
図3は、送受信部110で受信された反射波信号、信号処理部112において信号処理された信号処理データ、超音波画像生成部114が生成した超音波画像データをそれぞれ学習する学習装置を備えた形態を示している。ここでは、学習装置は、第一の超音波診断装置で生成されたデータの種類に応じて、学習済みモデルをそれぞれ生成する。
【0036】
具体的には、学習装置200は、故障状態である第一の超音波診断装置における送受信部110で受信された反射波信号を用いて学習を行い、第一の学習済みモデルを生成する第一の学習装置220と、故障状態である第一の超音波診断装置の信号処理部112において信号処理された信号処理データを用いて学習を行い、第二の学習済みモデルを生成する第二の学習装置222、故障状態である第一の超音波診断装置における超音波画像生成部114が生成した超音波画像データを用いて学習を行い、第三の学習済みモデルを生成する第三の学習装置224を備えている。なお、学習装置200は、複数の学習済みモデルを生成していればよく、3つの学習済みモデル(第一の学習済みモデル、第二の学習済みモデル、第三の学習済みモデル)に限られない。
【0037】
第一の超音波診断装置において受信した反射波信号からは、ノイズレベルの変化、ノイズ帯域特性の変化を捉えることができる。このとき、被検者に超音波探触子を接触させずに送受信を行うこともできる。そして、反射波信号の振幅や帯域特性、クロストークレベル、多重反射の状態などから、超音波探触子の各チャンネルの素子のいずれに該当する回路、配線が故障しているかを判定できるため、この反射波信号を教師データとして、第一の学習済みモデルを生成することができる。
【0038】
第一の超音波診断装置において信号処理された信号処理データからは、送受信において選択する素子群を変えた場合、例えば異なるスキャンラインのデータを比較する。そして、スキャンラインのデータの比較の結果、どのチャンネルの回路に故障が生じているかを判定できるため、この信号処理データを教師データとして第二の学習済みモデルを生成することができる。
【0039】
第一の超音波診断装置において生成された超音波画像データからは、同様に送受信において選択する素子群を変えた場合、例えば異なるスキャンラインの画像データを比較する。そして、スキャンラインの画像データの比較の結果、どのチャンネルの回路に故障が生じているかが判定できるため、この超音波画像データを教師データとして第三の学習済みモデルを生成することができる。
【0040】
図4は、本発明の超音波診断装置の内部構成を示す図である。
図4は、本発明の実施形態に係る送受信部110、信号処理部112、超音波画像生成部114とその周辺の構成を示す図である。
図4では、送受信部110が32chで構成される場合を示すが、必ずしも32chに限定される必要はなく、超音波診断装置のスペックに応じて送受信部110のch数は適宜決定され得る。
【0041】
図4における、送受信部110は、超音波の送受信を行う送受信回路710、超音波探触子100が受信した反射波信号についてアナログ信号をデジタル信号に変換するA/D変換部730-1~730-32、デジタル信号のデータを記憶するデータメモリ731-1~731-32、データメモリ731-1~731-32のデータ出力ポートを任意に選択して超音波画像生成部114へ接続するマルチプレクサ734から構成される。また、送受信部110は、アポダイゼーション用の乗算器732-1~732-32、加算回路733から構成される。また、送受信部110は、データメモリ制御回路735-1~735-32、重み付け係数供給回路736-1~736-32、ゲイン制御回路737も備えていてもよい。
【0042】
送信制御部702によって生成された超音波の送信波形は、送受信回路710を経由し、超音波探触子100より送信される。
【0043】
超音波探触子100にて取得され、アナログ電気信号に変換された超音波信号は、送受信回路710を経由し、A/D変換部730-1~730-32においてデジタル信号へと変換される。その際、A/D変換部730-1~730-32は、図示しないクロック源から供給されるサンプリングクロックを用いて超音波信号のサンプリングを行い、アナログ電気信号をデジタル信号へと変換する。A/D変換部730-1~730-32に対しては、取得する超音波信号の周波数帯域に応じて、図示しないクロック源から適切なサンプリングクロックが供給される。
【0044】
A/D変換部730-1~730-32の性能にも依存するが、A/D変換部730-1~730-32からは12ビットから16ビット程度のビット幅を持つデジタル信号が出力される。A/D変換部730-1~730-32から出力されたデジタル信号は、データメモリ制御回路735-1~735-32の制御に従い、対応するデータメモリ731-1~731-32に取り込まれる。データメモリ731-1~731-32は、被検者における最大の測定深度分のデジタル信号を記憶可能な容量を持つものとする。
【0045】
さらに、A/D変換部730-1~730-32に対しては、ゲイン制御回路737から、TGC(TimeGainControl)制御といったゲインの制御が行われる。例えば、測定深度によらずに均一なコントラストをもつ超音波画像データを取得するために、超音波の送信から超音波を受信する時間に応じて増幅利得を増減する。TGC制御を行うことで均一なコントラストをもつ超音波画像データを取得することができる。
【0046】
制御部118は、A/D変換部730-1~730-32の出力するデジタル信号をデータメモリ731-1~731-32に書き込む制御を行う。加えて、マルチプレクサ734を制御してデータメモリ731-1~731-32を任意に選択してデジタル信号を読み出し、超音波画像生成部114へ転送する制御も行うこともできる。この制御を行うときには、アポダイゼーション用の乗算器732-1~732-32、加算回路733、信号処理部112を介さずに超音波画像生成部114で超音波画像データの生成を行うこととなる。多くの場合、制御部118は全てのデータメモリ731-1~731-32を順次選択してデジタル信号を読み出し、超音波画像生成部114へ転送する。
【0047】
超音波画像生成部114では、超音波画像データの生成が行われる。超音波画像データの生成アルゴリズムとしては、整相加算処理だけでなく、任意のアルゴリズムを適用して画像再構成を行うことができる。
【0048】
典型的に、超音波画像を生成する際には整相加算が行われるが、整相加算とは別のアルゴリズムを適用した画像再構成が行われることがある。例えば、他の画像再構成方法としては、トモグラフィー技術で通常に用いられるタイムドメインあるいはフーリエドメインでの逆投影法などがある。このように、整相加算処理以外にも、任意のアルゴリズムを適用した画像再構成を適用してもよい。
【0049】
送信制御部702の出力電圧や波形をデータ化し、そのデータにおける故障状態のデータを教師データとしてもよい。また、送信制御部702が出力した波形が超音波探触子100にあたって反射してくる波形データに着目し、反射してくる波形データの故障状態のデータを教師データとし、学習済みモデルを生成してもよい。
【0050】
また、送受信回路710のどのチャンネルの回路が故障しているかを判定できる。具体的には、波形データのピークレベル、波形の立ち上がり、立下り特性、波形の帯域特性、クロストークなどが確認項目となる。これら確認の結果、送信回路電源の故障、送信回路のドライバ回路の故障、送信回路基板の破損などの原因切り分けがつくが、故障検出される項目は必ずしもこれに限定されない。超音波診断装置の送信特性の劣化の原因となりえるものであれば、特定のものに限定されない。
【0051】
また、故障判定が適用されるデータを生成するための超音波送信の手法も特定の方法に限定されない。例えば、フォーカスされた送信ビームに加えて、平面波や拡散波といった送信波形を用いることができる。超音波画像診断や故障判定などに有効な送信波形である限り、特定の送信手法に限定されない。
【0052】
このように本発明の超音波診断装置においては、単に故障が生じているということだけでなく、どの部分が故障しているかも判定できる。
【0053】
また、故障状態の詳細な判定のため、データに対して加減乗除処理、もしくはそのいかなる組み合わせを加えて処理した結果算出されるデータを用いて教師データとしてもよい。送信波形や受信波形や画像データにフーリエ変換を行ったり、エッジ検出のような微分処理を行ったりして教師データとして用いる場合がこれにあたる。または、超音波診断装置内で生成されたデータに対して人工知能で推論を行った結果を教師データとすることも可能である。
【0054】
学習装置200は、例えばマルチプレクサ734から出力されるデータメモリ731-1~731-32に保存されたデジタル信号を用いて学習を行ってもよい。もしくは加算回路733、信号処理部112から出力されるデータを用いて学習を行ってもよい。学習装置200が教師データとするデータは、超音波診断装置の中で超音波画像生成のために実施される処理フローのいかなる部分のデータを用いてもよい。その種類、組み合わせは特定のものに限定されない。
【0055】
このように、学習部204は、超音波診断装置で処理されるいかなるデータを用いても超音波診装置の故障状態の特徴を学習することができる。
【0056】
超音波診断装置で生成されるデータについて例示する。例えば、反射波信号データは、A/D変換部730-1~730-32の出力するデジタル信号、もしくはマルチプレクサ734から出力されるデータメモリ731-1~731-32に保存されたデジタル信号に該当する。信号処理データは、信号処理部112の出力データに該当する。超音波画像データは、超音波画像生成部114が生成する超音波画像データが該当するが、超音波画像生成部114が複数の信号処理ブロックや画像処理ブロックによって構成される場合、各々の信号処理ブロック、画像処理ブロックの出力も超音波画像データに該当する。ここでは、故障判定に有用である限り、超音波診断装置のデータフローのうち、どの部分を故障判定に用いても良く、特定のものに限定されない。
【0057】
図5は、故障状態の第一の超音波診断装置の一例を示したものである。送受信回路710において、正常状態では超音波探触子における振動子100-1~100-32のすべてを送信制御部702に接続すべきである。ここでは、送受信回路710の一部701-3をオープン状態にすることで、故障状態(ここでは断線状態)を作出することもできる。同様にして、第一の超音波診断装置の他の回路の動作設定を正常状態とは異ならせ、疑似的に故障状態を作り出し、第一の超音波診断装置の故障状態を学習することが可能である。
【0058】
また、外部装置において、故障状態の第一の超音波診断装置から生成される反射波信号、信号処理データ、超音波画像データをシミュレーションによって生成し、学習に用いることもできる。シミュレーションによって生成するデータは、実際に超音波診断装置が故障していない状態で撮像した2次元もしくは3次元の静止画像もしくは動画画像のいかなる組み合わせのデータに対して故障状態を現出したものでもよい。あるいは、ワイヤファントムやシストの大きさ、場所、物性の異なる1つ以上のシミュレーションモデルを用いてシミュレーションを行って取得したデータに対して故障状態を作出したものでもよい。
【0059】
学習部204は、例えば、ニューラルネットワークを利用しており、複数の層が含まれる。複数の層は、入力層と出力層との間に複数の中間層を有している。複数の中間層は、図示はしないが、畳み込み層、プーリング層、アップサンプリング層、合成層などから構成される。畳み込み層は、入力値群に対して畳み込み処理を行う層である。畳み込み層では、入力された超音波画像(関心領域)の畳み込みを行い、超音波画像(関心領域)の特徴を抽出する。
【0060】
プーリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や超音波画像(関心領域)を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。中間層の数は、学習内容に応じて、随時変更することができる。
【0061】
このように、学習装置200(学習部204)は、ニューラルネットワークを用いて、超音波診断装置の故障状態のデータを教師データとして対応づけて学習することにより学習済みモデルを生成する。
【0062】
図6を用いて、推論フェーズに関する判定部116を説明する。学習装置200には、第二の超音波診断装置において故障判定を行う際に用いる対象のデータに関連する学習済みモデルが生成されている。記憶部206は、学習装置200に接続されている。記憶部206には、故障状態を判定するように学習された学習済みモデルが記憶される。具体的には、記憶部206には、第二の超音波診断装置から取得されるデータから故障状態を判定するように学習された学習済みモデルが記憶されている。
【0063】
例えば、記憶部206には、第一の学習装置220において生成された第一の学習済みモデルと、第二の学習装置222において生成された第二の学習済みモデルと、第三の学習装置224において生成された第三の学習済みモデルが記憶されている。
【0064】
そして、第二の超音波診断装置における送受信部110で受信された反射波信号が推論部208に出力される。推論部208は、故障状態を判定するように学習された第一の学習済みモデルを記憶部206から読み出し、第一の学習済みモデルを用いて送受信部110で受信された反射波信号から故障状態を判定する。また、第二の超音波診断装置における信号処理部112において信号処理された信号処理データが推論部208に出力される。推論部208は、故障状態を判定するように学習された第二の学習済みモデルを記憶部206から読み出し、第二の学習済みモデルを用いて信号処理部112において信号処理された信号処理データから故障状態を判定する。さらに、第二の超音波診断装置における超音波画像生成部114において生成された超音波画像データが推論部208に出力される。推論部208は、故障状態を判定するように学習された第三の学習済みモデルを記憶部206から読み出し、第三の学習済みモデルを用いて超音波画像生成部114が出力する超音波画像データから故障状態を判定する。
【0065】
ここでは、送受信部110、信号処理部112、超音波画像生成部114と推論部208がリンクしている形態を示したが、必ずしもこの形態に限定されない。超音波診断装置で用いられるいかなるデータも、いかなるデータの組み合わせも推論部208とリンクすることができ、故障状態を判定することができる。
【0066】
例えば、超音波診断装置から取得した反射波信号データ、信号処理データ、超音波画像データのいずれも、そしていかなる組み合わせも推論部208とリンクして故障判定に用いられ得る。また、故障判定のため推論部208とリンクするデータは、故障判定に有用である限り、特定の種類のデータに限定されない。
【0067】
図7を用いて、推論フェーズに関する判定部116の判定形態を説明する。
図7に示すケース1~12は、反射波信号、信号処理データ、超音波画像データを用いた判定例である。ここでは、判定部116は、第二の超音波診断装置で生成されたデータの種類に応じて優先度を設定し、優先度に応じて、第二の超音波診断装置が故障状態であるか否かを判定する。優先度は、例えば、反射波信号、信号処理データ、超音波画像データごとに設定されている。なお、第二の超音波診断装置で生成される他の信号やデータにおいても、優先度をそれぞれ設定してもよい。操作者は、操作部を介して優先度を設定することができる。優先度は、データの処理内容によって重みが付与され、例えば、反射波信号、信号処理データ、超音波画像データの順で重みを設定することができる。
【0068】
図7における記号×は、反射波信号から故障状態と判定された形態、信号処理データから故障状態と判定された形態、超音波画像データから故障状態と判定された形態を示す。記号〇は、反射波信号から正常状態と判定された形態、信号処理データから正常状態と判定された形態、超音波画像データから正常状態と判定された形態を示す。
【0069】
ケース1~8は、3つのデータ(反射波信号、信号処理データ、超音波画像データ)を用いて、第二の超音波診断装置の状態を判定する形態である。ここでは、3つのデータについて説明するが、これらデータに限らず、他のデータにおいても適用することができる。
【0070】
ケース1では、反射波信号、信号処理データ、超音波画像データがいずれも記号×である。判定部116は、第二の超音波診断装置は故障状態であると判定する。
【0071】
ケース2では、反射波信号、信号処理データが記号×であり、超音波画像データが記号〇である。反射波信号、信号処理データの判定と、超音波画像データ判定が異なっているが、超音波診断装置における上流側の処理の判定が優先される。ここでは、反射波信号の判定>信号処理データの判定>超音波画像データの判定のような優先関係となっている。判定部116は、反射波信号、信号処理データが記号×であるため、第二の超音波診断装置は故障状態であると判定する。
【0072】
ケース3では、反射波信号、超音波画像データが記号×であり、信号処理データが記号〇である。上記優先関係を利用して、判定部116は、反射波信号が記号×であるため、第二の超音波診断装置は故障状態であると判定する。
【0073】
ケース4では、反射波信号が記号×であり、超音波画像データ、信号処理データが記号〇である。判定部116は、反射波信号が記号×であるが、他の2つのデータが記号〇であり、反射波信号のみが他の影響を受けている可能性があるため、第二の超音波診断装置は故障状態であると判定せず、故障可能性有と判定する。
【0074】
ケース5では、反射波信号、信号処理データ、超音波画像データがいずれも記号〇である。判定部116は、第二の超音波診断装置は正常状態であると判定する。
【0075】
ケース6では、反射波信号、信号処理データが記号〇であり、超音波画像データが記号×である。反射波信号、信号処理データの判定と、超音波画像データ判定が異なっているが、超音波診断装置における上流側の処理の判定が優先される。判定部116は、反射波信号、信号処理データが記号〇であるため、第二の超音波診断装置は正常状態であると判定する。
【0076】
ケース7では、反射波信号、超音波画像データが記号〇であり、信号処理データが記号×である。上記優先関係を利用して、判定部116は、反射波信号が記号〇であるため、第二の超音波診断装置は正常状態であると判定する。
【0077】
ケース8では、反射波信号が記号〇であり、超音波画像データ、信号処理データが記号×である。判定部116は、反射波信号が記号〇であるが、他の2つのデータが記号×であり、反射波信号のみが他の影響を受けている可能性があるため、第二の超音波診断装置は正常状態であると判定せず、故障可能性有と判定する。
【0078】
ケース9~12は、2つのデータ(信号処理データ、超音波画像データ)を用いて、第二の超音波診断装置の状態を判定する形態である。
【0079】
ケース9、10は、信号処理データが記号×である。超音波診断装置における上流側の処理の判定が優先され、信号処理データの判定>超音波画像データの判定のような優先関係となっている。判定部116は、信号処理データが記号×であるため、第二の超音波診断装置は故障状態であると判定する。
【0080】
ケース11、12は、信号処理データが記号〇である。超音波診断装置における上流側の処理の判定が優先され、信号処理データの判定>超音波画像データの判定のような優先関係となっている。判定部116は、信号処理データが記号〇であるため、第二の超音波診断装置は正常状態であると判定する。
【0081】
学習装置200は、超音波診断装置の外部に設置されていてもよい。
図8は、学習装置200が超音波診断装置の外部に設置された一例を示す。
【0082】
学習装置200は、例えば、病院内のネットワークや、病院外のクラウドにあってもよい。学習装置200には、複数の超音波診断装置500、502、504に接続されている。ここでは、複数の超音波診断装置は、3台存在する形態を示すが、複数の超音波診断装置は、4台以上存在してもよい。
【0083】
例えば、学習装置200は、超音波診断装置500において生成された故障状態のデータを教師データとして学習し、学習済みモデルを生成する。また、学習装置200は、超音波診断装置500と異なる超音波診断装置502において生成された故障状態のデータを教師データとして学習し、学習済みモデルを更新する。同様にして、学習装置200は、超音波診断装置500及び超音波診断装置502と異なる超音波診断装置504において生成された故障状態のデータを教師データとして学習し、学習済みモデルを更新する。学習装置200で生成(更新)された学習済みモデルは、複数の超音波診断装置500、502、504にそれぞれ伝達される。複数の超音波診断装置500、502、504は、学習装置200で生成された最新の学習済みモデルをそれぞれ記憶する。
【0084】
このように、学習装置200は、複数の超音波診断装置500、502、504において設定された故障状態データを教師データとして学習することができる。よって、学習装置200は、複数の超音波診断装置500、502、504に対応した学習済みモデルを生成することができる。また、学習装置200は、複数の超音波診断装置500、502、504で生成された故障状態のデータをまとめて教師データとして学習することもできる。ここでは、複数の超音波診断装置500、502、504が第一の超音波診断装置にも、第二の超音波診断装置にもなりうる。
【0085】
次に、
図9を用いて報知部108(表示部106)の報知形態(表示形態)を説明する。報知部108は、第二の超音波診断装置が故障状態であることが判定部において判定された旨を報知する。この場合、故障状態であることに加え、故障箇所を併せて報知するようにしても良い。
【0086】
推論部208は、第二の超音波診断装置から生成されたデータを用いて故障を判定するように学習された学習済みモデルを用いて、表示部106に表示されている超音波画像データ600や超音波診断装置内部のデータをチェックし、故障の有無を判定する。
【0087】
そして、推論部208で第二の超音波診断装置が故障状態であると判定された場合には、報知部108は、操作者へ報知する。報知部108は、表示部106の表示機能として機能してもよく、アラーム音などを利用して報知してもよい。第二の超音波診断装置が故障を判定した際には、故障を判定した旨を表示部106に表示して操作者に伝えるだけでなく、加えて修理依頼の連絡先を表示部106に表示する。報知部108はコールセンターへ報知を行ってもよい。なお、報知部108の報知に関しては、超音波診断に影響がないようにするためのいかなるアプローチが採られてもよく、特定のアプローチに限定されない。
【0088】
図10を用いて、超音波診断装置における学習フェーズの動作を説明する。
【0089】
S700:第一の超音波診断装置において、故障状態のデータが取得される。例えば、第一の超音波診断装置で生成されるデータとしては、実際に故障を起こした、もしくは故障状態を模擬した反射波信号、信号処理データ、超音波画像データなどが故障状態のデータとなり得る。また、第一の超音波診断装置の外部装置で生成した故障状態を模擬した模擬データを第一の超音波診断装置に入力するようにしてもよい。
【0090】
S701:学習装置200は、故障状態のデータを教師データとして学習し、学習済みモデルを生成する。S701の後、学習フェーズの動作が終了する。
【0091】
次に、
図11を用いて、超音波診断装置における推論フェーズの動作を説明する。
【0092】
図11では、第二の超音波診断装置において超音波画像データになる前のデータを対象に故障判定を行う場合を示す。
【0093】
S800:送受信部110は、超音波探触子100に対して超音波を送受信させる。超音波探触子100は、空中に超音波を送受信してもよい。
【0094】
S801:判定部116は、超音波探触子100に対して超音波を送受信させて取得された反射波信号データ、信号処理データ、超音波画像データの少なくとも一つを用いて故障判定を行う。
【0095】
故障が判定された場合、S803に進み、報知部108を用いて警告報知を行うが、その後、S802に進み、超音波画像生成部114は超音波画像の生成を行う。
【0096】
故障が判定されない場合、そのままS802に進み、超音波画像生成部114は超音波画像の生成を行う。
【0097】
S802:超音波画像生成部114は、S801で生成されたデータを用いて超音波画像を生成する。このステップでは、超音波画像の視認性を向上させるための画像処理も行なうこともできる。
【0098】
S806:表示部106は、超音波画像生成部114において生成された超音波画像に加え、報知部108(表示部106)は、故障が判定されていれば警告を表示する。S806の後、推論フェーズの動作が終了する。
【0099】
次に、
図12を用いて、超音波診断装置における推論フェーズの動作を説明する。
【0100】
図12では、第二の超音波診断装置で生成された超音波画像データを対象に故障判定を行う場合を示す。
【0101】
S800:操作者は、送受信部110は、超音波探触子100に対して超音波を送受信させる。超音波探触子100は、空中に超音波を送受信してもよい。
【0102】
S802:超音波画像生成部114は、送受信部110が反射波信号に対して、各種の信号処理を行ない、超音波画像データを生成する。このステップでは、信号処理に加え、超音波画像の視認性を向上させるための画像処理も行なうこともできる。
【0103】
S804:判定部116は、S802で超音波画像生成部114が生成した超音波画像データを用いて故障判定を行う。故障が判定された場合、S805に進み、報知部108(表示部106)は、警告を表示するが、その後S806に進み超音波画像の表示を行う。
【0104】
故障が判定されない場合は、そのままS806に進み、表示部106は超音波画像の表示を行う。
【0105】
S806:表示部106は、超音波画像生成部114において生成された超音波画像に加え、故障が判定されていれば警告を表示する。S806の後、推論フェーズの動作が終了する。
【0106】
以上、本発明の超音波診断装置の故障判定装置では、故障状態である第一の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定する判定部116と、判定部116の判定結果を報知する報知部108とを備える。よって、本発明よれば、精度よく超音波診断装置の故障判定を行うことができる。
【0107】
なお、正常状態の超音波診断装置を用いて学習済みモデルを生成してもよい。正常状態である第三の超音波診断装置において生成されたデータを教師データとして学習された学習済みモデルを用いて、判定部116は、第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定してもよい。正常状態である第三の超音波診断装置における送受信部110で受信された反射波信号、信号処理部112において信号処理された信号処理データ、超音波画像生成部114が生成した超音波画像データをそれぞれ学習して学習済みモデルを生成する学習装置を備える。判定部116は、学習済みモデルを用いて、第二の超音波診断装置において生成されたデータから、第二の超音波診断装置が故障状態であるか否かを判定する。そして、報知部108は、判定部116の判定結果を報知する。
【実施例2】
【0108】
図13、
図14を用いて、本発明の実施例2における超音波診断装置を説明する。実施例1と異なる点は、実施例2においては、第二の超音波診断装置が故障状態である場合、制御部118は、第二の超音波診断装置の故障状態のデータを補正する処理を行う点が実施例1と異なる。制御部118は、例えば、第二の超音波診断装置において故障状態と判定されていない正常状態のデータを用いて第二の超音波診断装置の故障状態のデータを補正する。
【0109】
図示はしないが、本発明の実施例2においては、学習フェーズにおいて、第一の超音波診断装置の正常状態のデータと故障状態のデータを対応づけ、学習装置200に学習させる。
【0110】
図13を用いて、第二の超音波診断装置における推論フェーズの動作を説明する。
図13では、第二の超音波診断装置で生成され、超音波画像データになる前のデータを対象に故障判定を行う場合を示す。
【0111】
S800:操作者は、送受信部110は、超音波探触子100に対して超音波を送受信させる。超音波探触子100は、空中に超音波を送受信してもよい。
【0112】
S801:超音波診断装置は、超音波探触子100に対して超音波を送受信させて取得された反射波信号、信号処理データを用いて故障判定を行う。
【0113】
故障が判定された場合、S803に進み、報知部108(表示部106)は、に警告を表示する。そして、制御部118は、S813の処理で故障状態となっているデータの補正を行い、S802に進み、超音波画像生成部114は超音波画像の生成を行う。このようにすることで、簡易的に超音波診断装置を故障状態から回復させることが可能となる。
【0114】
故障が判定されない場合は、そのままS802に進み、超音波画像生成部114は超音波画像の生成を行う。
【0115】
S802:超音波画像生成部114は、S801で生成されたデータを用いて超音波画像を生成する。このステップでは、超音波画像の視認性を向上させるための画像処理も行われる。
【0116】
S806:表示部106は、超音波画像生成部114において生成された超音波画像を表示し、報知部108は、故障が判定されていれば警告を表示する。S806の後、推論フェーズの動作が終了する。
【0117】
図14を用いて、超音波診断装置で生成された超音波画像データを対象に故障判定を行う場合を示す。
【0118】
S800:操作者は、送受信部110は、超音波探触子100に対して超音波を送受信させる。超音波探触子100は、空中に超音波を送受信してもよい。
【0119】
S802:超音波画像生成部114は、送受信部110が反射波信号に対して、各種の信号処理を行ない、超音波画像データを生成する。このステップでは、信号処理に加え、超音波画像の視認性を向上させるための画像処理も行われる。
【0120】
S804:超音波診断装置は、超音波画像生成部114が生成した超音波画像データを用いて故障判定を行う。故障が判定された場合、S805に進み、報知部108は、表示部106に警告を表示する。そして、制御部は、S815の処理で故障状態のデータの補正を行い、S806に進み超音波画像の表示を行う。このようにすることで、簡易的に超音波診断装置を故障状態から回復させることが可能となる。
【0121】
故障が判定されない場合は、そのままS806に進み、表示部106は超音波画像の表示を行う。
【0122】
S806:表示部106は、超音波画像生成部114において生成された超音波画像を表示する。報知部108は、故障が判定されていれば警告を表示する。S806の後、推論フェーズの動作が終了する。
【0123】
以上、本実施例における超音波診断装置の故障判定装置は、第二の超音波診断装置の故障状態を判定すると第二の超音波診断装置で生成されるデータを補正し、簡易的に超音波診断装置を故障状態から回復させることができる。
【0124】
実施例1~2の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体(図示しない。)を介してコンピュータに供給し、当該コンピュータプログラムを実行させることができる。上述した超音波画像表示方法をコンピュータに実行させるためのコンピュータプログラムである。つまり、コンピュータプログラムは、コンピュータで超音波診断装置の機能を実現するためのプログラムである。記憶媒体は、当該コンピュータプログラムを記憶している。
【0125】
また、実施例1~2に記載の事項は、超音波診断装置に接続される超音波探触子100の種類が異なる場合には、各々の種類の超音波探触子100に対し、最適となるように個別の学習、推論が行われてもよい。
【符号の説明】
【0126】
100 超音波探触子
104 操作部
106 表示部
110 送受信部
112 信号処理部
114 超音波画像生成部
116 判定部
118 制御部
200 学習装置
202 教師データ生成部
204 学習部
206 記憶部
208 推論部