特開 2024-30065 情報処理方法、プログラム、情報処理装置及びモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024030065

(43)【公開日】2024-03-07

(54)【発明の名称】情報処理方法、プログラム、情報処理装置及びモデル生成方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240229BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022132621

(22)【出願日】2022-08-23

(71)【出願人】

【識別番号】517346521

【氏名又は名称】株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】陣内 佑

(72)【発明者】

【氏名】東 隆

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601BB09

4C601DD08

4C601EE01

4C601GB05

4C601GC02

4C601GC10

4C601JB34

4C601JC06

4C601JC16

4C601JC20

(57)【要約】

【課題】断面間の画像を好適に高解像度化することができる情報処理方法等を提供する。
【解決手段】情報処理方法は、被検者の連続する複数の第１超音波画像データを取得し、前記複数の第１超音波画像データを第２超音波画像データに変換し、第２超音波画像データを入力した場合に、該第２超音波画像データを高解像度化した第３超音波画像データを生成する生成器５１に、変換した前記第２超音波画像データを入力することで第３超音波画像データを生成する処理をコンピュータが実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

被検者の連続する複数の第１超音波画像データを取得し、
前記複数の第１超音波画像データを第２超音波画像データに変換し、
第２超音波画像データを入力した場合に、該第２超音波画像データを高解像度化した第３超音波画像データを生成する生成器に、変換した前記第２超音波画像データを入力することで第３超音波画像データを生成する
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記生成器は、前記第１超音波画像データから成る訓練データを学習済みの生成器である
請求項１に記載の情報処理方法。

【請求項3】

前記生成器は、該生成器が生成する超音波画像の真偽を識別する識別器との競合学習により生成される、敵対的生成ネットワークの生成器である
請求項１に記載の情報処理方法。

【請求項4】

前記第１超音波画像データは、被検者の対象部位のコロナル画像であり、
前記第２超音波画像データは、サジタル画像又はアキシャル画像である
請求項１に記載の情報処理方法。

【請求項5】

前記第１超音波画像データは、被検者の対象部位の第１スライス画像であり、
複数の第１スライス画像を、該第１スライス画像とは異なる断面の第２スライス画像に変換し、
変換した第２スライス画像を前記生成器に入力することで、高解像度化した第３スライス画像を生成する
請求項１に記載の情報処理方法。

【請求項6】

前記第１超音波画像データは、被検者の対象部位の第１スライス画像であり、
複数の第１スライス画像を３次元ボリュームデータに変換し、
変換した３次元ボリュームデータを前記生成器に入力することで、高解像度化した３次元ボリュームデータを生成し、
生成した３次元ボリュームデータから、前記第１スライス画像とは異なる断面の第２スライス画像を生成する
請求項１に記載の情報処理方法。

【請求項7】

前記第１超音波画像データは、被検者の対象部位の第１スライス画像であり、
複数の第１スライス画像を、該第１スライス画像とは異なる断面の第２スライス画像に変換し、
変換した第２スライス画像に点拡がり関数の逆関数を適用することで、高解像度化した第３スライス画像を生成する
請求項１に記載の情報処理方法。

【請求項8】

被検者の連続する複数の第１超音波画像データを取得し、
前記複数の第１超音波画像データを第２超音波画像データに変換し、
第２超音波画像データを入力した場合に、該第２超音波画像データを高解像度化した第３超音波画像データを生成する生成器に、変換した前記第２超音波画像データを入力することで第３超音波画像データを生成する
処理をコンピュータに実行させるプログラム。

【請求項9】

制御部を備えた情報処理装置であって、
前記制御部が、
被検者の連続する複数の第１超音波画像データを取得し、
前記複数の第１超音波画像データを第２超音波画像データに変換し、
第２超音波画像データを入力した場合に、該第２超音波画像データを高解像度化した第３超音波画像データを生成する生成器に、変換した前記第２超音波画像データを入力することで第３超音波画像データを生成する
情報処理装置。

【請求項10】

被検者の連続する複数の第１超音波画像データから成る訓練データを取得し、
前記訓練データに基づき、第１超音波画像データを入力した場合に第１超音波画像データを生成する生成器と、生成される第１超音波画像データの真偽を識別する識別器とを競合して学習することで、前記生成器を生成する
処理をコンピュータが実行するモデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム、情報処理装置及びモデル生成方法に関する。

【背景技術】

【0002】

機械学習モデルを用いて、Ｘ線ＣＴ（Computer Tomography）、超音波エコー等の撮像画像を高解像度化する方法が提案されている。例えば特許文献１では、ＧＡＮ（Generative Adversarial Network；敵対的生成ネットワーク）を用いてＣＴ画像を高解像度化する方法等が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／１７５４４５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のような先行文献では画像生成モデルの学習のために「高解像度画像と低解像度画像のペア」を必要としている。従って、高解像度画像の取得が困難な場合には適用できないという問題がある。一方、以下で説明する実施の形態では高解像度画像を必要としない。原画像を利用して学習を行うことができる。つまり、「より高解像度な画像を得ることが難しい画像」に対しても本手法は適用することができる。

【0005】

また、先行文献はＧＡＮを前提としている。しかし上述の通り、画像生成モデルの学習のために「高解像度画像と低解像度画像のペア」を必要としないことで、本手法はＧＡＮだけでなくDiffusion modelなどＧＡＮではない画像生成手法も用いることができる。Diffusion modelは近年登場した新しい画像生成モデルであり 、多くの場合にＧＡＮよりも高解像度でより本物らしい画像を生成できることが知られている。Diffusion modelなども利用することができるため、本手法の方がより高解像度の画像が生成できる。

【0006】

先行文献はブラックボックスな深層モデルによる超解像のみが提案されている。本手法は点拡がり関数モデルも用いることで解釈性に優れた超解像手法も提案している。点拡がり関数は明示的であるため、大きなアーチファクトが生成されることが考えにくい。また、生成された画像がどのような処理によって生成されたものなのかを、読影者に対し説明するパラメータとして明示し、ブラックボックス化を解消することができる。

【0007】

一つの側面では、断面間の画像を好適に高解像度化することができる情報処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0008】

一つの側面では、情報処理方法は、被検者の連続する複数の第１超音波画像データを取得し、前記複数の第１超音波画像データを第２超音波画像データに変換し、第２超音波画像データを入力した場合に、該第２超音波画像データを高解像度化した第３超音波画像データを生成する生成器に、変換した前記第２超音波画像データを入力することで第３超音波画像データを生成する処理をコンピュータが実行する。

【発明の効果】

【0009】

一つの側面では、断面間の画像を好適に高解像度化することができる。

【図面の簡単な説明】

【0010】

【図1】画像診断システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】端末の構成例を示すブロック図である。

【図4】実施の形態１の概要を示す説明図である。

【図5】生成モデルに関する説明図である。

【図6】生成器の生成処理の手順を示すフローチャートである。

【図7】超解像画像の生成処理の手順を示すフローチャートである。

【図8】実施の形態２に係る生成器の生成処理の手順を示すフローチャートである。

【図9】実施の形態２に係る超解像画像の生成処理の手順を示すフローチャートである。

【図10】実施の形態３の概要を示す説明図である。

【図11】実施の形態３に係る生成器の生成処理の手順を示すフローチャートである。

【図12】実施の形態３に係る超解像画像の生成処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、被検者の乳房を対象とした超音波画像診断を行う画像診断システムについて説明する。画像診断システムは、サーバ１、端末２、撮像装置３を含む。サーバ１及び端末２は、インターネット等のネットワークＮを介して通信接続されている。

【0012】

なお、本実施の形態では画像診断の対象とする生体部位の一例として乳房を挙げるが、他の生体部位であってもよい。

【0013】

サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。後述するように、サーバ１は、所定の訓練データを学習することで、超音波スライス画像を入力した場合に、これを高解像度化した超音波スライス画像を出力する生成器５１（図４参照）を生成する。

【0014】

端末２及び撮像装置３は、超音波エコー検査のための画像診断装置を構成する。端末２は、画像診断装置のコンソールとして機能するコンピュータであり、乳房のスライス画像を生成（再構成）して表示する。

【0015】

撮像装置３は、超音波信号の送受信を行う撮像装置である。図１に示すように、撮像装置３は、被検者がうつ伏せになった状態で乳房を撮像可能に構成されている。具体的には、撮像装置３はベッド状の形状を有し、天板３１に乳房を挿入するための孔３２が設けられている。孔３２の下方には水槽３３が設けられ、被検者は孔３２から水槽３３に乳房を挿入する。

【0016】

水槽３３には、リングアレイ３４が設けられている。リングアレイ３４は、複数の超音波素子（トランスデューサ）を備えるリング状の振動子アレイである。リングアレイ３４には複数の超音波素子が等間隔で配置され、各超音波素子は超音波信号を送信すると共に、反射波を受信する。端末２は、各超音波素子から得た複数方向の反射波データを再構成し、スライス画像（コロナル画像）を生成する。リングアレイ３４は上下方向に移動可能に構成されており、端末２はリングアレイ３４を上下に移動させて垂下した乳房の各位置（高さ）におけるスライス画像を撮像する。

【0017】

本実施の形態に係る画像診断装置として、国際公開第２０１７／０５１９０３号に記載の超音波診断システムを採用することができる。

【0018】

なお、画像診断装置は上記の構成に限定されない。例えばベッド型の撮像装置３に代えて、ハンディスキャナを用いた画像診断装置としてもよい。

【0019】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１（プログラム製品）、その他のデータを記憶している。

【0020】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0021】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。

【0022】

図３は、端末２の構成例を示すブロック図である。端末２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、送受信部２６、画像処理部２７、及び補助記憶部２８を備える。
制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部２８に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。送受信部２６は、リングアレイ３４の超音波素子を制御し、超音波信号を送受信する。画像処理部２７は、画像処理（再構成）を行うモジュールであり、好適には、ＧＰＵのように計算処理能力が高いプロセッサを含む。

【0023】

補助記憶部２８は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２８は、生成器５１を記憶している。生成器５１は、所定の訓練データを学習済みの機械学習モデルであり、低解像度の超音波スライス画像を入力した場合に高解像度の超音波スライス画像を出力するモデルである。生成器５１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

【0024】

なお、端末２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。

【0025】

図４は、実施の形態１の概要を示す説明図である。図４では、被検者の乳房のコロナル画像群（第１超音波画像データ）をサジタル画像（第２超音波画像データ）に変換し、更にサジタル画像を高解像度のサジタル画像（第３超音波画像データ。以下、高解像度化した画像を「超解像画像」と呼ぶ）に変換する様子を図示している。図４に基づき、本実施の形態の概要を説明する。

【0026】

上述の如く、撮像装置３は下方向に垂下した乳房の各位置（高さ）におけるスライス画像を撮像する。すなわち、撮像装置３は、図４左上に示すように、体軸に平行な断面のコロナル画像（第１スライス画像）を複数枚連続して撮像する。

【0027】

次に端末２は、コロナル画像群を、コロナル画像とは異なる断面のサジタル画像（第２スライス画像）に変換する。ここで、元のコロナル画像に比べて、これを再構成したサジタル画像は解像度が低くなり、ぼやけるという事象が発生する。そこで本実施の形態では、サジタル画像を高解像度化する処理を施す。

【0028】

具体的には、端末２は、機械学習により構築された生成器５１を用いて、サジタル画像を高解像度化する。生成器５１は、超音波画像を入力した場合に、これを高解像度化した超解像画像を生成するよう学習済みのモデルであり、例えばＧＡＮに係る生成器（Generator）である。より具体的には、本実施の形態ではＳｔａｒＧＡＮに係る生成器を用いる。なお、十分な学習データ量が確保できる場合には、ＳｔｙｌｅＧＡＮを用いても良い。

【0029】

なお、本実施の形態では生成器５１がＧＡＮに係る生成器であるものとして説明するが、生成器５１はこれに限定されるものではなく、例えば拡散モデル（Diffusion Model）、ＶＡＥ（Variational Autoencoder）、ＣＮＮ（例えばＵ－ｎｅｔ）など、他の生成モデルであってもよい。

【0030】

図５は、生成モデル５０に関する説明図である。図５では、ＧＡＮのフレームワークを概念的に図示している。サーバ１は、所定の訓練データを学習することで、生成器５１及び識別器（Discriminator）５２から成る生成モデル５０を生成する。

【0031】

訓練データは、学習データのうち、最も解像度が高い断面で学習を行う。ボリュームデータにおいて、最も解像度型が高い断面は撮像断面と言い換えることができる。例えば本実施の形態では、コロナル画像群から成るデータを用いるため、サーバ１は、コロナル画像と同程度の解像度の超解像画像を生成するよう、学習を行う。

【0032】

なお、本実施の形態ではコロナル画像を訓練データとして用いるが、本実施の形態はこれに限定されるものではなく、例えばサジタル断面をより解像度高く取得できるモダリティにによって取得されたデータにおいては、サジタル画像を訓練データとして用いてもよい。

【0033】

上述の如く、サーバ１は、コロナル画像から成る訓練データを用いて生成モデル５０を生成する。例えばサーバ１はまず、生成器５１のパラメータ（重み等）を固定した上で訓練用のコロナル画像を生成器５１に入力し、コロナル画像を生成する。そしてサーバ１は、生成器５１が生成したコロナル画像を偽のデータとし、訓練用のコロナル画像を真のデータとして識別器５２に与え、識別器５２のパラメータを最適化する。次にサーバ１は、識別器５２のパラメータを最適値に固定し、生成器５１の学習を行う。サーバ１は、生成器５１が生成したコロナル画像（超解像画像）を識別器５２に入力した場合に、真偽の確率が５０％に近似するよう生成器５１のパラメータを最適化する。これにより、サーバ１は生成モデル５０を生成する。

【0034】

図４に戻って説明を続ける。例えば端末２には、サーバ１からネットワークＮを介して生成器５１のデータがインストールされている。端末２は、コロナル画像群を撮像してサジタル画像に変換した場合、サジタル画像を生成器５１に入力することで、サジタル超解像画像（第３スライス画像）を生成する。端末２は、当該超解像画像を表示部２４に表示し、ユーザ（医療従事者）に提示する。

【0035】

図６は、生成器５１の生成処理の手順を示すフローチャートである。図６に基づき、生成器５１を生成する際の処理内容について説明する。
サーバ１の制御部１１は、生成モデル５０を生成するための訓練データを取得する（ステップＳ１１）。訓練データは、例えばコロナル画像群（第１超音波画像データ群）から成るデータである。

【0036】

制御部１１は訓練データに基づき、コロナル画像を入力した場合にこれを高解像度化した超解像画像を生成する生成器５１と、生成器５１が生成するコロナル画像の真偽を識別する識別器５２とを競合して学習することで、生成モデル５０を生成する（ステップＳ１２）。すなわち、制御部１１はＧＡＮを構築する。制御部１１は一連の処理を終了する。

【0037】

図７は、超解像画像の生成処理の手順を示すフローチャートである。図７に基づき、超解像画像を生成する際の処理内容について説明する。
端末２の制御部２１は、撮像装置３から、被検者の連続する複数のコロナル画像（第１超音波画像データ。第１スライス画像）を取得する（ステップＳ３１）。制御部２１は、取得した複数のコロナル画像を、当該コロナル画像とは異なる断面のサジタル画像（第２超音波画像データ。第２スライス画像）に変換する（ステップＳ３２）。

【0038】

制御部２１は、変換したサジタル画像を生成器５１に入力することで、サジタル画像を高解像度化したサジタル超解像画像（第３超音波画像データ。第３スライス画像）を生成する（ステップＳ３３）。制御部２１は、生成したサジタル超解像画像を表示部２４に表示し（ステップＳ３４）、一連の処理を終了する。

【0039】

なお、上記ではコロナル画像をサジタル画像に変換して高解像度化するものとして説明したが、コロナル画像をアキシャル画像に変換して高解像度化してもよい。すなわち、高解像度化の対象となる画像はサジタル画像だけではなくアキシャル画像であってもよい。

【0040】

以上より、本実施の形態１によれば、コロナル画像だけでなく、コロナル断面とコロナル断面との間のサジタル画像（又はアキシャル画像）も高解像度化することができる。

【0041】

（実施の形態２）
本実施の形態では、３次元ボリュームデータを高解像度化する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

【0042】

実施の形態１では、コロナル画像群をサジタル画像（又はアキシャル断面画像）に変換し、高解像度化する形態について説明した。一方で、コロナル画像群を３次元ボリュームデータとして捉え、これを高解像度化してもよい。

【0043】

図８は、実施の形態２に係る生成器５１の生成処理の手順を示すフローチャートである。
サーバ１の制御部１１は、生成モデル５０の生成に用いる訓練データを取得する（ステップＳ２０１）。訓練データは、例えば３次元ボリュームデータ群（第１超解像画像データ群）から成るデータである。

【0044】

制御部１１は訓練データに基づき、３次元ボリュームデータを入力した場合にこれを高解像度化した超解像ボリュームデータを生成する生成器５１と、生成器５１が生成する超解像ボリュームデータの真偽を識別する識別器５２とを競合して学習することで、生成器５１及び識別器５２から成る生成モデル５０を生成する（ステップＳ２０２）。すなわち、制御部１１はＧＡＮを構築する。制御部１１は一連の処理を終了する。

【0045】

図９は、実施の形態２に係る超解像画像の生成処理の手順を示すフローチャートである。
端末２の制御部２１は、被検者の連続する複数のコロナル画像（第１超音波画像データ。第１スライス画像）を撮像装置３から取得する（ステップＳ２２１）。制御部２１は、取得したコロナル画像群を３次元ボリュームデータ（第２超音波画像データ）に変換する（ステップＳ２２２）。

【0046】

制御部２１は、変換した３次元ボリュームデータを生成器５１に入力することで、これを高解像度化した超解像ボリュームデータ（第３超音波画像データ。第３スライス画像）を生成する（ステップＳ２２３）。制御部２１は、生成した超解像ボリュームデータに基づく３次元画像を表示部２４に表示し（ステップＳ２２４）、一連の処理を終了する。

【0047】

以上より、本実施の形態２によれば、３次元ボリュームデータを高解像度化することもできる。

【0048】

（実施の形態３）
本実施の形態では、超音波（点音源）の拡がりを点拡がり関数でモデル化することができると仮定し、点拡がり関数を適用することで超解像画像を生成する形態について説明する。

【0049】

図１０は、実施の形態３の概要を示す説明図である。図１０に基づき、本実施の形態の概要を説明する。

【0050】

実施の形態１でも述べたように、コロナル画像をサジタル画像（又はアキシャル断面画像）に変換した場合、サジタル画像の解像度が低くなる。このようにサジタル画像がぼやけてしまうのは、超音波による撮像時に点音源が広がって映ってしまうからである。

【0051】

そこで本実施の形態では、点音源の拡がりを点拡がり関数でモデル化することができると仮定する。より具体的には、点拡がり関数がガウス関数であると仮定し、データから点拡がり関数のパラメータを推定する。

【0052】

なお、本実施の形態では点拡がり関数がガウス関数であるものと仮定するが、ガウス関数以外のものであってもよい。

【0053】

学習時においてサーバ１は、高解像度のサジタル超解像画像と、低解像度のサジタル画像とを用いて点拡がり関数のパラメータを推定する。すなわち、サーバ１はサジタル超解像画像を入力とし、サジタル画像を出力としてフィルタパラメータの推定値を算出する。なお、サジタル超解像画像は実施の形態１、２で述べた方法、あるいはシミュレーション実験によって生成される。

【0054】

実際にサジタル画像からサジタル超解像画像を生成する場合、端末２は、サジタル画像に点拡がり関数の逆関数を適用することで、サジタル超解像画像を生成する。

【0055】

図１１は、実施の形態３に係る生成器５１の生成処理の手順を示すフローチャートである。
サーバ１の制御部１１は、生成モデル５０を生成するための訓練データを取得する（ステップＳ３０１）。訓練データは、例えばサジタル画像群（第１超音波画像データ群）から成るデータである。制御部１１は、訓練用のサジタル画像から、正解（真）のサジタル超解像画像を生成する（ステップＳ３０２）。

【0056】

制御部１１は訓練データに基づき、点拡がり関数のパラメータを推定する（ステップＳ３０３）。具体的には、制御部１１は、ステップＳ３０２で生成したサジタル超解像画像を入力とし、訓練用のサジタル画像を出力として、フィルタパラメータの推定値を算出する。制御部１１は一連の処理を終了する。

【0057】

図１２は、実施の形態３に係る超解像画像の生成処理の手順を示すフローチャートである。
端末２の制御部２１は、被検者の連続する複数のコロナル画像（第１超音波画像データ。第１スライス画像）を撮像装置３から取得する（ステップＳ３２１）。制御部２１は、当該複数のコロナル画像をサジタル画像（第２超音波画像データ。第２スライス画像）に変換する（ステップＳ３２２）。

【0058】

制御部２１は、サジタル画像に点拡がり関数の逆関数を適用することで、サジタル超解像画像（第３超音波画像データ。第３スライス画像）を生成する（ステップＳ３２３）。制御部２１は、生成したサジタル超解像画像を表示部２４に表示し（ステップＳ３２４）、一連の処理を終了する。

【0059】

以上より、本実施の形態３によれば、点拡がり関数を適用することで超解像画像を生成することもできる。

【0060】

なお、一般的に、高解像度化のためには細部は変化するが、画像全体の形が崩れてはならない。これを実現するためには、入力するサジタル画像と画像全体の形が一致した出力をする必要がある。深層学習による生成モデルを単純に使うと全体の形が保てなくなる。本手法では例えば下記の方策のいずれかによってこれを防いでいる。
（１）StarGAN/StyleGANなどのStyle transferを使う: Style transferはtarget画像に対してreference画像の細部のスタイルを適用することで新しい画像を生成する手法である。元画像をサジタル画像、reference画像をコロナル画像とすることで全体の形を元のサジタル画像と同様にしたまま、細部をコロナル画像のように高解像にすることができる。
（２）Diffusion modelの利用: 元のサジタル画像を初期画像としてdiffusionを実行することで、画像全体の形が元の画像から大きく変化しないように出来る。

【0061】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0062】

各実施の形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0063】

１ サーバ
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
２ 端末（情報処理装置）
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 送受信部
２７ 画像処理部
２８ 補助記憶部
Ｐ２ プログラム
３ 撮像装置
５０ 生成モデル
５１ 生成器
５２ 識別器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】