(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143659
(43)【公開日】2024-10-11
(54)【発明の名称】光超音波画像生成装置、光超音波画像生成方法、及び光超音波画像生成プログラム
(51)【国際特許分類】
A61B 8/13 20060101AFI20241003BHJP
G01N 29/24 20060101ALI20241003BHJP
G01N 29/06 20060101ALI20241003BHJP
【FI】
A61B8/13
G01N29/24
G01N29/06
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023056439
(22)【出願日】2023-03-30
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和4年度、国立研究開発法人日本医療研究開発機構、「医療機器等における先進的研究開発・開発体制強轉化事業 先進的医療機器・システム等開発プロジェクト」「診断・治療適用のための光超音波3Dイメージングによる革新的画像診断装置の開発」委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】599016431
【氏名又は名称】学校法人 芝浦工業大学
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】椎名 毅
(72)【発明者】
【氏名】山川 誠
【テーマコード(参考)】
2G047
4C601
【Fターム(参考)】
2G047AA12
2G047AC13
2G047BC13
2G047CA04
2G047EA07
2G047GB02
2G047GB19
2G047GG35
2G047GG47
2G047GH06
4C601DE16
4C601EE04
4C601GB06
4C601GB09
4C601JB34
4C601JC06
(57)【要約】
【課題】センサ密度が疎な2次元アレイセンサを用いた場合でも、測定対象の再構成画像の画質が低下するのを抑制する。
【解決手段】光超音波画像生成装置は、測定対象に光を照射することにより測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、複数の異なる配列方向の各々について、隣接する実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルに、複数の実受信センサから取得した複数の実受信信号を入力して、仮想受信信号出力モデルから出力された複数の仮想受信信号を取得し、複数の実受信信号と複数の仮想受信信号とに基づいて測定対象の光超音波画像を再構成する再構成部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルと、
前記複数の実受信センサから前記複数の実受信信号を取得する実受信信号取得部と、
前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得する仮想受信信号取得部と、
前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する再構成部と、
を備えた光超音波画像生成装置。
【請求項2】
前記仮想受信信号出力モデルは、前記複数の異なる配列方向毎に学習された複数の学習済みモデルを含み、
前記仮想受信信号取得部は、前記複数の異なる配列方向毎に前記実受信信号を前記複数の学習済みモデルに入力して、前記複数の学習済みモデルから前記複数の異なる配列方向毎に前記仮想受信信号を取得する
請求項1記載の光超音波画像生成装置。
【請求項3】
前記複数の異なる配列方向は、フィボナッチの数列に基づいて定められた配列方向である
請求項1記載の光超音波画像生成装置。
【請求項4】
前記機械学習は、畳み込みニューラルネットワークである
請求項1記載の光超音波画像生成装置。
【請求項5】
コンピュータが、
測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルを用いて、
前記複数の実受信センサから前記複数の実受信信号を取得し、
前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得し、
前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する、
ことを含む処理を実行する光超音波画像生成方法。
【請求項6】
コンピュータに、
測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルを用いて、
前記複数の実受信センサから前記複数の実受信信号を取得し、
前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得し、
前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する、
ことを含む処理を実行させる光超音波画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光超音波画像生成装置、光超音波画像生成方法、及び光超音波画像生成プログラムに関する。
【背景技術】
【0002】
特許文献1には、超音波パルスを出力する超音波パルス出力部と、パルス光を出力するパルス光出力部と、前記超音波パルスが測定対象において反射された反射波を、時間に対応付けて測定する反射波測定部と、前記パルス光により前記測定対象において発生した光音響波を、時間に対応付けて測定する光音響波測定部と、前記反射波の測定結果が所定の閾値を超えた時点である超過時点を取得する超過時点取得部と、前記パルス光の出力時点に向けて、前記光音響波の測定結果を第一シフト時間だけ移動させる測定結果シフト部と、を備え、前記光音響波の測定結果において前記超過時点に対応する時点を対応時点とし、前記第一シフト時間が、前記パルス光の出力時点から前記対応時点までの時間である対応時間以下である、光超音波測定装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
生体に光パルスを照射すると、赤血球などの光吸収体により光が吸収され、光音響効果により光吸収体から超音波が発生する。この超音波信号を複数の超音波センサで受信し、逆投影手法、例えばUniversal Back Projection法(以下、UBP法)等を用いて超音波の発生源、すなわち血管等の光吸収体の分布を再構成する技術が光超音波イメージングと呼ばれている。
【0005】
光超音波イメージングにおいて、3次元の血管分布等の光吸収体分布を計測するには、センサ素子が2次元に配列された2次元アレイ超音波センサが必要となる。また、血管など円柱状の吸収体から発生する超音波は伝搬方向に指向性がある。このため、これらの光吸収体分布を正確に再構成するためには、計測対象から発生した超音波を様々な方向から計測できるように、視野角が広く計測対象を覆うように球面上に配置したアレイセンサや平板型アレイセンサ等が必要となる。また、高画質な再構成画像を得るためには、高密度にセンサ素子を配列したアレイセンサが必要となる。
【0006】
上記の2つの条件を満たす2次元アレイセンサでは、センサ素子の数が膨大になる。しかし、製造コストや製造技術の問題により、実際には、センサ素子の密度が疎で対象を広く覆うスパースな2次元アレイセンサ、または、センサ素子の密度は高いが狭い範囲の信号しか受信できない稠密な2次元アレイセンサの何れかを選択することになる。ただし、後者の2次元アレイセンサの場合、実際には血管があるにもかかわらず、血管からの超音波信号を受信できず再構成できない血管が生じてしまうため、臨床上望ましくない。そのため、画質は悪くても再構成できない血管をできる限り無くすために、センサ密度は疎であるがなるべく計測対象を広く覆うスパースな2次元アレイセンサが用いられる。
【0007】
しかしながら、スパースな2次元アレイセンサでは、センサ素子密度が疎であることによるアーチファクト、すなわち虚像が生じ、再構成画像の画質としては低下するという問題があった。
【0008】
そこで、従来では、画質低下を改善するために、2次元アレイセンサ全体を移動させる、具体的には平行移動させたり回転させたりすることにより、アーチファクトを打ち消し、センサ密度が疎な2次元アレイセンサであっても高画質な再構成画像を実現している。
【0009】
しかしながら、2次元アレイセンサ全体を移動させるため、計測に時間がかかると共に、動いている対象の計測には適していない、という問題があった。
【0010】
本開示は、センサ密度が疎な2次元アレイセンサを用いた場合でも、測定対象の光超音波画像の画質が低下するのを抑制することができる光超音波画像生成装置、光超音波画像生成方法、及び光超音波画像生成プログラムを提供することを目的としている。
【課題を解決するための手段】
【0011】
本開示の第1態様に係る光超音波画像生成装置は、測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルと、前記複数の実受信センサから前記複数の実受信信号を取得する実受信信号取得部と、前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得する仮想受信信号取得部と、前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する再構成部と、を備える。
【0012】
本開示の第2態様に係る光超音波画像生成方法は、コンピュータが、測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルを用いて、前記複数の実受信センサから前記複数の実受信信号を取得し、前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得し、前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する、ことを含む処理を実行する。
【0013】
本開示の第3態様に係る光超音波画像生成プログラムは、コンピュータに、測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルを用いて、前記複数の実受信センサから前記複数の実受信信号を取得し、前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得し、前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する、ことを含む処理を実行させる。
【発明の効果】
【0014】
本開示によれば、センサ密度が疎な2次元アレイセンサを用いた場合でも、測定対象の光超音波画像の画質が低下するのを抑制することができる、という効果を有する。
【図面の簡単な説明】
【0015】
【
図2】光超音波画像生成装置のハードウェア構成を示すブロック図である。
【
図3】光超音波画像生成装置の機能構成を示すブロック図である。
【
図4】2次元アレイセンサが設けられる半球状部材の斜視図である。
【
図7A】第1方向に沿って配列された実受信センサを示す図である。
【
図7B】第2方向に沿って配列された実受信センサを示す図である。
【
図7C】第3方向に沿って配列された実受信センサを示す図である。
【
図8】仮想受信センサを仮想的に配置した2次元アレイセンサの平面図である。
【
図9B】実受信センサ及び仮想受信センサの受信信号の波形図である。
【
図10】光超音波画像生成処理のフローチャートである。
【
図11A】センサ密度が疎の2次元アレイセンサの第1方向に沿って配列された実受信センサの受信信号を示す図である。
【
図11B】センサ密度が疎の2次元アレイセンサの第2方向に沿って配列された実受信センサの受信信号を示す図である。
【
図11C】センサ密度が疎の2次元アレイセンサの第3方向に沿って配列された実受信センサの受信信号を示す図である。
【
図12A】仮想受信センサを仮想的に配置した2次元アレイセンサの第1方向に沿って配列された実受信センサ及び仮想受信センサの受信信号を示す図である。
【
図12B】仮想受信センサを仮想的に配置した2次元アレイセンサの第2方向に沿って配列された実受信センサ及び仮想受信センサの受信信号を示す図である。
【
図12C】仮想受信センサを仮想的に配置した2次元アレイセンサの第3方向に沿って配列された実受信センサ及び仮想受信センサの受信信号を示す図である。
【
図13A】センサ密度が疎の2次元アレイセンサの実受信センサの受信信号に基づいて再構成した光超音波画像を示す図である。
【
図13B】仮想受信センサを仮想的に配置した2次元アレイセンサの実受信センサ及び仮想受信センサの受信信号に基づいて再構成した光超音波画像を示す図である。
【
図14】3本の円柱状部材を半球状部材上に載置した状態を示す斜視図である。
【
図15A】センサ密度が疎の2次元アレイセンサの実受信センサの受信信号に基づいて再構成した光超音波画像を示す図である。
【
図15B】センサ密度が疎の2次元アレイセンサの実受信センサ及び仮想受信センサの実受信センサの受信信号に基づいて再構成した光超音波画像を示す図である。
【
図16A】実受信センサを格子状に配列した場合の平面図である。
【
図16B】実受信センサを格子状に配列して実受信センサ間に仮想受信センサを仮想的に配置した場合の平面図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施の形態の一例について説明する。
【0017】
図1に、本実施形態に係る測定装置10の構成図を示す。
図1に示すように、測定装置10は、光源20と、2次元アレイセンサ30と、光超音波画像生成装置40と、を備える。
【0018】
光源20は、一例として近赤外光等の光を測定対象に照射する。測定対象は、光吸収体であり、例えば人間等の生体の血管等であるが、これに限られるものではない。
【0019】
2次元アレイセンサ30は、2次元状に配列された複数の実受信センサ32を備える。実受信センサ32は、光吸収体である測定対象に光を照射することにより測定対象で発生した超音波信号を受信する。
【0020】
光超音波画像生成装置40は、詳細は後述するが、近赤外光等の光が照射された測定対象で発生した超音波を受信した2次元アレイセンサ30から取得した受信信号に基づいて、測定対象の超音波画像を再構成することにより生成する。
【0021】
図2は、本実施形態に係る光超音波画像生成装置40のハードウェア構成を示すブロック図である。
図2に示すように、光超音波画像生成装置40は、コントローラ41を備える。コントローラ41は、一般的なコンピュータを含む装置で構成される。
【0022】
図2に示すように、コントローラ41は、CPU(Central Processing Unit)41A、ROM(Read Only Memory)41B、RAM(Random Access Memory)41C、及び入出力インターフェース(I/O)41Dを備える。そして、CPU41A、ROM41B、RAM41C、及びI/O41Dがバス41Eを介して各々接続されている。バス41Eは、コントロールバス、アドレスバス、及びデータバスを含む。
【0023】
また、I/O41Dには、操作部42、表示部43、通信部44、及び記憶部45が接続されている。
【0024】
操作部42は、例えばマウス及びキーボードを含んで構成される。
【0025】
表示部43は、例えば液晶ディスプレイ等で構成される。
【0026】
通信部44は、光源20及び2次元アレイセンサ30等の外部装置とデータ通信を行うためのインターフェースである。
【0027】
記憶部45は、ハードディスク等の不揮発性の外部記憶装置で構成される。
図2に示すように、記憶部45は、光超音波画像生成プログラム45A及び仮想受信信号出力モデル45B等を記憶する。
【0028】
CPU41Aは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ(例えば、CPU)、又は、専用のプロセッサ(例えば、GPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
【0029】
なお、光超音波画像生成プログラム45Aは、不揮発性の非遷移的(non-transitory)記録媒体に記憶して、又はネットワークを介して配布して、光超音波画像生成装置40に適宜インストールすることにより記憶部45に記憶されてもよい。
【0030】
不揮発性の非遷移的記録媒体の例としては、CD-ROM(Compact Disc Read Only Memory)、光磁気ディスク、HDD(ハードディスクドライブ)、DVD-ROM(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が挙げられる。
【0031】
図3は、光超音波画像生成装置40のCPU41Aの機能構成を示すブロック図である。
図3に示すように、CPU41Aは、機能的には、仮想受信信号出力モデル45B、実受信信号取得部46、仮想受信信号取得部47、及び再構成部48の各機能部を備える。
【0032】
CPU41Aは、記憶部45に記憶された光超音波画像生成プログラム45Aを読み込んで実行することにより
図3に示す各機能部として機能する。
【0033】
本実施形態では、2次元アレイセンサ30は、例えば
図4に示すように、半球状部材50の内側に、
図5に示すように複数の実受信センサ32が配列された構成である。なお、2次元アレイセンサ30は、半球状部材に限らず、平板状部材に複数の実受信センサ32を2次元状に配列した構成としてもよい。
【0034】
2次元アレイセンサ30の複数の実受信センサ32のセンサ密度は疎である。このため、光源20から近赤外光等の光が測定対象に照射され、測定対象で発生した超音波信号を複数の実受信センサ32で受信し、受信した実受信信号のみに基づいて測定対象の光超音波画像を再構成したとしても、所望の画質の光超音波画像を得ることは困難である。一方で、センサ密度を稠密とすると、実受信センサ32の数が増加し、高コストとなる。
【0035】
実受信信号の波形は実受信センサ32の位置により変わってくるが、一般的に音速が一様な媒質、或いは一様に近い媒質において計測される実受信信号は、光吸収体と受信信号の位置関係により決まるため、実受信センサ32の間に仮想受信センサを仮想的に配置し、仮想受信センサにおける仮想受信信号を周囲の実受信センサ32における実受信信号から推定することが可能である。ただし、単純な実受信センサ32の位置関係に基づいて、補間により仮想受信信号を推定するのは困難である。また、実際には複数の光吸収体からの超音波信号が重なり合っているため、特定の光吸収体からの超音波信号のみを特定することは難しい。
【0036】
一方で、2次元アレイセンサから規則的に並んだ実受信センサ32のみを抽出して、抽出された実受信センサ32から出力された実受信信号を並べると、1つ1つの光吸収体からの超音波信号の位置と超音波信号の波形を特定することは難しいものの、規則性を持ったパターンが得られる。よって、2次元アレイセンサから 規則的な配列の実受信センサ32を抽出し、抽出された実受信センサ32の間に仮想受信センサを仮想的に配置することにより、実受信信号から仮想受信信号を生成することが可能となる。ただし、この場合も単純な補間処理で仮想受信信号を生成するのは困難である。
【0037】
そこで、本実施形態では、隣接する実受信センサ32の間に仮想的に配置した複数の仮想受信センサの仮想受信信号を、機械学習により学習した仮想受信信号出力モデル45Bを用いて取得する。そして、複数の実受信信号及び複数の仮想受信信号に基づいて、測定対象の光超音波画像を再構成する。
【0038】
仮想受信信号出力モデル45Bは、測定対象に光を照射することにより測定対象で発生した超音波信号を受信する複数の実受信センサ32であって、複数の異なる配列方向に沿って配列された複数の実受信センサ32で実際に受信した複数の実受信信号を入力とし、複数の異なる配列方向の各々について、隣接する実受信センサ32の間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みのモデルである。
【0039】
ここで、複数の実受信センサ32は、複数の異なる配列方向に沿って配列されている。実受信センサ32の配列方法については様々な方法が考えられるが、本実施形態では、一例としてフィボナッチの数列に基づいて配列する。
図5に示すように半球状に配列された複数の実受信センサ32は、xy平面においては、
図6に示すような配列となる。ここで、例えば
図6において2次元アレイセンサ30の中央付近の実受信センサ32Aを起点として、
図7Aに示す第1方向D1、
図7Bに示す第2方向D2、
図7Cに示す第3方向D3に沿って、実受信センサ32を配列する。第1方向D1、第2方向D2、及び第3方向D3は、フィボナッチの数列に基づいて設定され、渦巻き状となる。
【0040】
起点となる実受信センサ32Aを変えて、第1方向D1、第2方向D2、及び第3方向D3に実受信センサ32を配列することを複数回繰り返すことにより、
図6に示すように複数の実受信センサ32が2次元状に配列される。
【0041】
そして、
図8に示すように、隣接する実受信センサ32の間に仮想受信センサ34を仮想的に配置する。具体的には、第1方向D1、第2方向D2、及び第3方向D3のそれぞれの方向に隣接する実受信センサ32の間に仮想受信センサ34を配置する。なお、隣接する実受信センサ32の中間に仮想受信センサ34を1つ配置してもよいし、隣接する実受信センサ32の間に複数の仮想受信センサ34を配置してもよい。これにより、仮想的にはセンサ密度が稠密な2次元アレイセンサ、例えばセンサの数が4倍程度の2次元アレイセンサが得られる。
【0042】
仮想受信信号出力モデル45Bは、複数の実受信センサ32で実際に受信した複数の実受信信号を入力とし、複数の仮想受信センサ34から出力される複数の仮想受信信号を出力とするモデルである。すなわち、仮想受信信号出力モデル45Bは、複数の仮想受信センサ34を実際に配置した場合に出力されると考えられる受信信号を仮想受信信号として出力する。
【0043】
仮想受信信号出力モデル45Bは、機械学習により学習される。仮想受信信号出力モデル45Bは、本実施形態では一例として畳み込みニューラルネットワークにより学習されるが、学習方法は畳み込みニューラルネットワークに限られるものではない。
【0044】
畳み込みニューラルネットワークの学習は以下のように行う。まず、シミュレーションにより様々なパターンの光吸収体分布を作成し、各光吸収体分布における実受信センサ32及び仮想受信センサ34で受信される受信信号を作成する。これらの受信信号を用いて畳み込みニューラルネットワークを学習させる。なお、この畳み込みニューラルネットワークの学習は、例えば渦巻き状の第1方向D1、第2方向D2、及び第3方向D3の配列方向毎に行う。すなわち、第1方向D1に沿って配列された実受信センサ32については第1の学習済み畳み込みニューラルネットワークを作成し、第2方向D2に沿って配列された実受信センサ32については第2の学習済み畳み込みニューラルネットワークを作成し、第3方向D3に沿って配列された実受信センサ32については第3の学習済み畳み込みニューラルネットワークを作成する。なお、第1の学習済み畳み込みニューラルネットワーク、第2の学習済み畳み込みニューラルネットワーク、及び第3の学習済み畳み込みニューラルネットワークは、全て同一の学習済み畳み込みニューラルネットワークでもよいし、3つの学習済み畳み込みニューラルネットワークのうち2つが同一の学習済み畳み込みニューラルネットワークでもよいし、3つの学習済み畳み込みニューラルネットワークが各々異なる学習済み畳み込みニューラルネットワークでもよい。
【0045】
実受信信号取得部46は、複数の実受信センサ32から複数の実受信信号を取得する。
【0046】
仮想受信信号取得部47は、複数の実受信信号を仮想受信信号出力モデル45Bに入力して、仮想受信信号出力モデル45Bから出力された複数の仮想受信信号を取得する。
【0047】
具体的には、第1方向D1に沿って配列された実受信センサ32から取得した実受信信号を第1の学習済み畳み込みニューラルネットワークに入力することにより、第1の配列方向に沿って仮想的に配置した仮想受信センサ34の仮想受信信号を取得する。
【0048】
また、第2方向D2に沿って配列された実受信センサ32から取得した実受信信号を第2の学習済み畳み込みニューラルネットワークに入力することにより、第2の配列方向に沿って仮想的に配置した仮想受信センサ34の仮想受信信号を取得する。
【0049】
また、第3方向D3に沿って配列された実受信センサ32から取得した実受信信号を第3の学習済み畳み込みニューラルネットワークに入力することにより、第3の配列方向に沿って仮想的に配置した仮想受信センサ34の仮想受信信号を取得する。
【0050】
図9Aに、実受信センサ32から出力される実受信信号の一例を示す。
図9Aに示すように、実受信信号R1は、上下にピークを有するピーク波形PKを有し、このピーク波形PKの部分が光吸収体の位置、すなわち血管等の測定対象が存在する位置に対応する。
【0051】
図9Bに、実受信センサ32及び隣接する実受信センサ32の間に仮想的に配置された仮想受信センサ34から出力される仮想受信信号、すなわち仮想受信信号出力モデル45Bから出力される仮想受信信号の一例を示す。
図9Bに示すように、仮想受信信号R2は、実受信信号R1と同様に、上下にピークを有するピーク波形PKを有する。
【0052】
再構成部48は、実受信信号取得部46が取得した複数の実受信信号R1と、仮想受信信号取得部47が取得した複数の仮想受信信号R2と、に基づいて、測定対象の光超音波画像を再構成する。光超音波画像の生成方法としては、前述したUBP法を用いることができるが、これに限られるものではない。
【0053】
次に、光超音波画像生成装置40のCPU41Aで実行される光超音波画像生成処理について、
図10に示すフローチャートを参照して説明する。なお、
図10に示す光超音波画像生成処理は、ユーザーにより光超音波画像生成処理の実行が指示されることにより実行される。
【0054】
ステップS100では、CPU41Aが、測定対象に光を照射するよう光源20に指示する。これにより、光源20から測定対象に対して近赤外光等の光が照射される。これにより、光が照射された測定対象において発生した超音波信号が実受信センサ32において受信される。
【0055】
ステップS101では、CPU41Aが、実受信センサ32から出力された実受信信号R1を取得する。
【0056】
ステップS102では、CPU41Aが、ステップS101で取得した実受信信号R1を仮想受信信号出力モデル45Bに入力する。具体的には、第1方向D1に沿って配列された実受信センサ32から取得した実受信信号R1を第1の学習済み畳み込みニューラルネットワークに入力し、第2方向D2に沿って配列された実受信センサ32から取得した実受信信号R1を第2の学習済み畳み込みニューラルネットワークに入力し、第3方向D3に沿って配列された実受信センサ32から取得した実受信信号R1を第3の学習済み畳み込みニューラルネットワークに入力する。
【0057】
そして、第1の学習済み畳み込みニューラルネットワーク、第2の学習済み畳み込みニューラルネットワーク、及び第3の学習済み畳み込みニューラルネットワークの各々から出力された仮想受信信号R2を取得する。なお、前述したように、第1の学習済み畳み込みニューラルネットワーク、第2の学習済み畳み込みニューラルネットワーク、及び第3の学習済み畳み込みニューラルネットワークは、全て同一の学習済み畳み込みニューラルネットワークでもよいし、3つの学習済み畳み込みニューラルネットワークのうち2つが同一の学習済み畳み込みニューラルネットワークでもよいし、3つの学習済み畳み込みニューラルネットワークが各々異なる学習済み畳み込みニューラルネットワークでもよい。
【0058】
ステップS103では、CPU41Aが、ステップS101で取得した実受信信号R1及びステップS102で取得した仮想受信信号R2に基づいて、測定対象の光超音波画像を、UBP法を用いて再構成することにより生成する。
【0059】
ステップS104ではCPU41Aが、ステップS103で生成した測定対象の光超音波画像を例えば表示部43に出力することにより表示する。
【0060】
図11Aに、
図6に示すようなセンサ密度が疎の2次元アレイセンサ30における第1方向に沿って配列された実受信センサ32の実受信信号R1のピーク波形PKの一例を示す。なお、横軸は時間、縦軸は実受信センサ32のセンサNoである。同様に、
図11Bに、センサ密度が疎の2次元アレイセンサ30における第2方向に沿って配列された実受信センサ32の実受信信号R1のピーク波形PKの一例を示す。同様に、
図11Cに、センサ密度が疎の2次元アレイセンサ30における第3方向に沿って配列された実受信センサ32の実受信信号R1のピーク波形PKの一例を示す。
【0061】
図11A~11Cに示すように、各方向に沿って配列された実受信センサ32の実受信信号を並べることにより、光吸収体の位置に応じた規則的なパターンを観測することができる。
【0062】
また、
図12Aに、
図8に示すような実受信センサ32の間に仮想受信センサ34を仮想的に配置することによりセンサ密度が稠密の2次元アレイセンサ30における第1方向に沿って配列された実受信センサ32の実受信信号R1及び仮想受信センサ34の仮想受信信号R2のピーク波形PKの一例を示す。同様に、
図12Bに、センサ密度が稠密の2次元アレイセンサ30における第2方向に沿って配列された実受信センサ32の実受信信号R1及び仮想受信センサ34の仮想受信信号R2のピーク波形PKの一例を示す。同様に、
図12Cに、センサ密度が稠密の2次元アレイセンサ30における第3方向に沿って配列された実受信センサ32の実受信信号R1及び仮想受信センサ34の仮想受信信号R2のピーク波形PKの一例を示す。
図12A~12Cに示すピーク波形PKの方が、仮想受信信号R2によって補間されているため、
図11A~11Cと比較して滑らかであるのが判る。
【0063】
図11A~11Cに示すようなセンサ密度が疎の2次元アレイセンサ30の実受信センサ32で受信された実受信信号R1に基づいて、UBP法を用いて再構成した光超音波画像G1を
図13Aに示す。
【0064】
図12A~12Cに示すようなセンサ密度が稠密の2次元アレイセンサ30の実受信センサ32で受信された実受信信号R1及び仮想受信信号出力モデル45Bから出力された仮想受信信号R2に基づいて、UBP法を用いて再構成した光超音波画像G2を
図13Bに示す。
【0065】
図13Aに示す光超音波画像G1は、円形状の測定対象Sから放射状にアーチファクトが多く発生しているが、
図13Bに示す光超音波画像G2は、
図13Aと比較して、アーチファクトが少なく、高画質が実現できていることが判る。
【0066】
また、
図14に示すように、半球状部材50上に、3本の円柱状部材52を載置し、光を照射して3本の円柱状部材52の光超音波画像を生成した結果を
図15A、15Bに示す。
【0067】
図15Aは、
図6に示すようなセンサ密度が疎の2次元アレイセンサ30を半球状部材50上に設け、実受信センサ32で受信した実受信信号R1に基づいて生成した光超音波画像G3を示す。
【0068】
図15Bは、
図6に示すようなセンサ密度が疎の2次元アレイセンサ30を半球状部材50上に設け、実受信センサ32で受信した実受信信号R1及び畳み込みニューラルネットワークを学習した学習済みの仮想受信信号出力モデル45Bから出力された仮想受信信号R2に基づいて生成した光超音波画像G4を示す。
【0069】
図15Aの光超音波画像G3のS/N比は8.2dB、
図15Bの光超音波画像G4のS/N比は23.7dBであり、
図15Bの光超音波画像G4のS/N比は、
図15Aの光超音波画像G3のS/N比と比較して訳15dB向上している。
【0070】
また、
図15Bに示す光超音波画像G4は、
図15Aの光超音波画像G3と比較して、アーチファクトが少なく高画質であることが判る。このように、畳み込みニューラルネットワークである仮想受信信号出力モデル45Bを用いて取得した仮想受信信号R2を用いて光超音波画像を生成することにより、センサ密度が疎な2次元アレイセンサを用いた場合でも、測定対象の再構成画像の画質が低下するのを抑制することができ、センサ密度が稠密な2次元アレイセンサを用いた場合と同等の再構成画像が得られることが判った。また、従来のように2次元アレイセンサ30全体を移動させたりする必要がなく、計測時間が長くなるのを抑制することができる。
【0071】
そして、測定対象となる光吸収体、例えば赤血球及び造影剤を用いたリンパ液の時間的な変化等を高画質で解析することができるようになり、血流速度等の新たな診断情報の取得が可能になる。
【0072】
また、実受信センサ32の数を減らすことで2次元アレイセンサ30自体のコストを抑えることができ、本実施形態では省略したが、各実受信センサ32の後段に必要なアンプ及びA/D変換器等の数も減らすことができるため、測定装置10全体のコストを大幅に抑えることが可能になる。
【0073】
なお、上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
【0074】
例えば本実施形態では、2次元アレイセンサ30が半球状部材50に設けられた場合について説明したが、平板状部材に設けられてもよい。この場合、
図16Aに示すように、実受信センサ32を格子状に配置してもよい。そして、
図16Bに示すように、縦方向A1、横方向A2、及び斜め方向A3の3方向に仮想受信センサ34A、34B、34Cを仮想的に配置してもよい。
【0075】
また、上各実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した光超音波画像生成処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、光超音波画像生成処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0076】
以下に、本開示に関する付記項を記載する。
【0077】
(付記項1)
測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルと、
前記複数の実受信センサから前記複数の実受信信号を取得する実受信信号取得部と、
前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得する仮想受信信号取得部と、
前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する再構成部と、
を備えた光超音波画像生成装置。
(付記項2)
前記仮想受信信号出力モデルは、前記複数の異なる配列方向毎に学習された複数の学習済みモデルを含み、
前記仮想受信信号取得部は、前記複数の異なる配列方向毎に前記実受信信号を前記複数の学習済みモデルに入力して、前記複数の学習済みモデルから前記複数の異なる配列方向毎に前記仮想受信信号を取得する
付記項1記載の光超音波画像生成装置。
(付記項3)
前記複数の異なる配列方向は、フィボナッチの数列に基づいて定められた配列方向である
付記項1又は付記項2記載の光超音波画像生成装置。
(付記項4)
前記機械学習は、畳み込みニューラルネットワークである
付記項1~3の何れか1項に記載の光超音波画像生成装置。
(付記項5)
コンピュータが、
測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルを用いて、
前記複数の実受信センサから前記複数の実受信信号を取得し、
前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得し、
前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する、
ことを含む処理を実行する光超音波画像生成方法。
(付記項6)
コンピュータに、
測定対象に光を照射することにより前記測定対象で発生した超音波信号を受信する複数の実受信センサであって、予め定めた複数の異なる配列方向に沿って配列された複数の実受信センサで実際に受信した複数の実受信信号を入力とし、前記複数の異なる配列方向の各々について、隣接する前記実受信センサの間に仮想的に配置した複数の仮想受信センサから出力される複数の仮想受信信号を出力とする学習モデルを、機械学習により学習した学習済みの仮想受信信号出力モデルを用いて、
前記複数の実受信センサから前記複数の実受信信号を取得し、
前記複数の実受信信号を前記仮想受信信号出力モデルに入力して、前記仮想受信信号出力モデルから出力された前記複数の仮想受信信号を取得し、
前記複数の実受信信号と、前記複数の仮想受信信号と、に基づいて、前記測定対象の光超音波画像を再構成する、
ことを含む処理を実行させる光超音波画像生成プログラム。
【符号の説明】
【0078】
10 測定装置
20 光源
30 2次元アレイセンサ
32、32A 実受信センサ
34、34A、34B、34C 仮想受信センサ
40 光超音波画像生成装置
41 コントローラ
45 記憶部
45A 光超音波画像生成プログラム
45B 仮想受信信号出力モデル
46 実受信信号取得部
47 仮想受信信号取得部
48 再構成部
50 半球状部材
52 円柱状部材