IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジェイエルケイ インスペクションの特許一覧 ▶ サムスン ライフ パブリック ウェルフェア ファウンデーションの特許一覧

特許7251744人工知能に基づく血流区間の分類方法及びシステム
<>
  • 特許-人工知能に基づく血流区間の分類方法及びシステム 図1
  • 特許-人工知能に基づく血流区間の分類方法及びシステム 図2
  • 特許-人工知能に基づく血流区間の分類方法及びシステム 図3
  • 特許-人工知能に基づく血流区間の分類方法及びシステム 図4
  • 特許-人工知能に基づく血流区間の分類方法及びシステム 図5
  • 特許-人工知能に基づく血流区間の分類方法及びシステム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-27
(45)【発行日】2023-04-04
(54)【発明の名称】人工知能に基づく血流区間の分類方法及びシステム
(51)【国際特許分類】
   A61B 5/055 20060101AFI20230328BHJP
   G06T 7/00 20170101ALI20230328BHJP
【FI】
A61B5/055 382
A61B5/055 383
G06T7/00 350C
【請求項の数】 5
(21)【出願番号】P 2021537198
(86)(22)【出願日】2019-12-24
(65)【公表番号】
(43)【公表日】2022-02-18
(86)【国際出願番号】 KR2019018412
(87)【国際公開番号】W WO2020138925
(87)【国際公開日】2020-07-02
【審査請求日】2021-08-27
(31)【優先権主張番号】10-2018-0168333
(32)【優先日】2018-12-24
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519144808
【氏名又は名称】ジェイエルケイ カンパニー,リミテッド
(73)【特許権者】
【識別番号】514326683
【氏名又は名称】サムスン ライフ パブリック ウェルフェア ファウンデーション
【氏名又は名称原語表記】SAMSUNG LIFE PUBLIC WELFARE FOUNDATION
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】キム,ウォン テ
(72)【発明者】
【氏名】カン,シン ウク
(72)【発明者】
【氏名】リ,ミョン ジェ
(72)【発明者】
【氏名】キム,ドン ミン
(72)【発明者】
【氏名】ジャン,ジン ソン
(72)【発明者】
【氏名】パク,ジョン ヒョク
(72)【発明者】
【氏名】バン,オ ヨン
(72)【発明者】
【氏名】キム,ユン-チョル
(72)【発明者】
【氏名】チョン,ジョン-ウォン
(72)【発明者】
【氏名】ソ,ウ-クン
【審査官】最首 祐樹
(56)【参考文献】
【文献】特表2016-520405(JP,A)
【文献】特開2011-254861(JP,A)
【文献】特開2009-050726(JP,A)
【文献】国際公開第2018/119366(WO,A1)
【文献】特開2013-192624(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
脳疾患患者の医用画像において血流区間を分類するシステムであって、
経時的に取得した各ボクセル(voxel)の医用画像信号の特性に応じて、正常信号形態を示す第1領域と、前記第1領域以外の第2領域とを抽出する領域抽出部と、及び、
前記第1領域の全体的な医用画像信号の特徴を抽出し、前記特徴に基づいて人工ニューラルネットワーク又は機械学習の手法を活用して、動脈灌流の時期、毛細血管灌流の時期及び静脈灌流の時期の区間を分類する血流区間分類部と、を含み、
前記血流区間分類部は、前記医用画像信号について、6つの軸における線形回帰の決定係数(linear regression’s coefficient of determinationR2)の合計の最大値を基準に、前記動脈灌流の時期、前記毛細血管灌流の時期及び前記静脈灌流の時期の区間を分類し、
前記血流区間分類部が分類した動脈灌流区間、毛細血管灌流区間及び静脈灌流区間に関する情報を、視覚化のための画像データとして利用する、人工知能に基づく血流区間分類システム。
【請求項2】
前記血流区間分類部に接続されて前記画像データを出力する画像視覚化部をさらに含み、
前記画像視覚化部は、各血管の区間に分類された医用画像信号を、前記領域抽出部が抽出した前記第2領域内の病変に対応する第2A領域又は異常信号形態を示す第2B領域と結合して、各領域又は各区間の医用画像信号を視覚化して出力する、請求項1に記載の人工知能に基づく血流区間分類システム。
【請求項3】
前記領域抽出部は、前記医用画像信号の特性に応じて人工ニューラルネットワーク又は機械学習の手法を活用して、前記第1領域と前記第2領域とを抽出する、請求項1に記載の人工知能に基づく血流区間分類システム。
【請求項4】
コンピューティング装置を含むか又はコンピューティング装置に搭載される血流区間分類システムが、脳疾患患者の医用画像信号から人工知能に基づいて血流区間を分類する方法であって、
血流区間分類システムの領域抽出部が、経時的に取得した各ボクセル(voxel)の医用画像信号の特性に応じて、正常信号形態を示す第1領域と、前記第1領域以外の第2領域とを抽出するステップと、及び、
前記血流区間分類システムの血流区間分類部が、前記第1領域の全体的な医用画像信号の特徴を抽出し、前記特徴に基づいて人工ニューラルネットワーク又は機械学習の手法を活用して、動脈灌流の時期、毛細血管灌流の時期及び静脈灌流の時期の区間を分類するステップと、を含み、
前記区間分類ステップでは、前記医用画像信号について、6つの軸における線形回帰の決定係数(linear regression’s coefficient of determinationR2)の合計の最大値を基準に、前記動脈灌流の時期、前記毛細血管灌流の時期及び前記静脈灌流の時期の区間を分類し、
前記区間分類ステップで分類された動脈灌流区間、毛細血管灌流区間及び静脈灌流区間に関する情報を、視覚化のための画像データとして利用する、人工知能に基づく血流区間分類方法。
【請求項5】
前記血流区間分類部に接続されて前記画像データを出力する画像視覚化部が、各血管の区間に分類された医用画像信号を、前記領域抽出部が抽出した前記第2領域内の病変に対応する第2A領域又は異常信号形態を示す第2B領域と結合して、各領域又は各区間の医用画像信号を視覚化して出力するステップをさらに含む、請求項4に記載の人工知能に基づく血流区間分類方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、血管区間を分類するためのソリューションに係り、さらに詳しくは、磁気共鳴画像又はコンピュータ断層撮影画像を活用して、動脈(Arterial phase)、毛細血管(Capillary phase)及び静脈(Venous phase)の区間を自動的に分類するための方法及びシステムに関する。
【背景技術】
【0002】
最近では、磁気共鳴画像(magnetic resonance imaging、MRI)が医用画像として広く使用されている。MRIは、人体の組織内の水素粒子(H)の磁気特性を用いて、磁場内の組織に応じて他の共鳴又は弛緩現象後に発生するエネルギーを信号として捕捉して画像化する装置又はその方法、或いはその装置により得られる画像を指す。
【0003】
MRI画像を用いて疾患、例えば脳卒中病変を検出するために、MRI画像の中で脳の血流を示す灌流強調画像(perfusion-weighted imaging、PWI)と、水分子の拡散を示す拡散強調画像(diffusion-weighted imaging、DWI)とが広く使用されている。例えば、DWIは、脳卒中病変コア(core)領域を検出するために使用され、PWIはMRIから得られる灌流画像であり、経時的に投入された造影剤の濃度の変化を通知し、このような機能を通じて脳卒中病変コア領域を含む周辺まで拡大された半影(penumbra)領域を検出するために使用される。DWIは急性脳梗塞の診断に最も敏感な手法であり、発生から数分以内に病変が現れ、超急性脳梗塞の治療法を決定するのに役に立つ。
【0004】
一方、医用画像は、その種類に応じて異なる画像処理過程を経なければならないので、検出又は診断装置又はその運用システムが複雑で大きいという欠点がある。
【0005】
また、医用画像を用いる従来の病変検出技術のほとんどは、医用画像に基づいて病変を診断する際に、医師などのユーザーの参加を必要とするか、ユーザーを補助するレベルにとどまっており、自動的に病変を診断したり、病変の等級を分析したりするにはまだ限界がある。
【0006】
最近、医療分野では機械学習(machine learning)又は人工知能(artifical intelligence)を導入して活発な研究開発が進んでいる。しかし、特定の病変、例えば脳卒中などの脳疾患と関連する病変を自動的に診断し、病変の等級を分析するための研究開発の結果はまだ微々たるのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、従来技術のニーズに応えるためのものであり、本発明の目的は、磁気共鳴画像又はコンピュータ断層撮影灌流画像を活用して、動脈(Arterial phase)、毛細血管(Capillary phase)及び静脈(Venous phase)の区間を自動的に分類するための方法及びシステムを提供することである。
【0008】
本発明の他の目的は、医用画像情報を活用して脳疾患に対いて3つの等級を推定できる、人工知能に基づく血流区間の分類方法及びシステムを提供することである。
【0009】
本発明のまた他の目的は、医用画像を人工ニューラルネットワーク又は機械学習(マシンラーニング)に基づいて急性脳疾患患者の医用画像信号を分析して病変の等級を予測するのに寄与できる、人工知能に基づく血流区間の分類方法及びシステムを提供することである。
【0010】
本発明のまた一つの目的は、前述した人工知能に基づく血流区間分類方法を実現するプログラムを記録するコンピュータ読み取り可能な記録媒体を提供することである。
【課題を解決するための手段】
【0011】
上記技術的課題を解決するための本発明の一態様に係る人工知能に基づく血流区間分類システムは、
脳疾患患者の医用画像において血流区間を分類するシステムであって、経時的に取得した各ボクセル(voxel)の医用画像信号の特性に応じて、正常信号形態を示す第1領域と、前記第1領域以外の第2領域とを抽出する領域抽出部と;前記第1領域の全体的な医用画像信号の特徴を抽出し、前記特徴に基づいて人工ニューラルネットワーク又は機械学習の手法を活用して、動脈灌流の時期、毛細血管灌流の時期及び静脈灌流の時期の区間を分類する血流区間分類部と;を含み、ここで、前記血流区間分類部が分類した動脈灌流区間、毛細血管灌流区間及び静脈灌流区間に関する情報を、視覚化のための画像データとして利用する
【0012】
一実施形態において、人工知能に基づく血流区間分類システムは、前記血流区間分類部に接続されて前記画像データを出力する画像視覚化部をさらに含む。画像視覚化部は、各血管の区間に分類された医用画像信号を、前記領域抽出部が抽出した前記第2領域内の病変に対応する第2A領域又は異常信号形態を示す第2B領域と結合して、各領域又は各区間の医用画像信号を視覚化して出力する。
【0013】
一実施形態において、前記血流区間分類部は、前記医用画像信号について、6つの軸における線形回帰の決定係数(linear regression’s coefficient of determinationR2)の合計の最大値(maximum)を基準に、前記動脈灌流の時期、前記毛細血管灌流の時期及び前記静脈灌流の時期の区間を分類する。
【0014】
一実施形態において、前記領域抽出部は、前記医用画像信号の特性に応じて人工ニューラルネットワーク又は機械学習の手法を活用して、前記第1領域と前記第2領域とを抽出してもよい。
【0015】
上記技術的課題を解決するための本発明の他の態様に係る血流区間分類方法は、コンピューティング装置を含むか又はコンピューティング装置に搭載される血流区間分類システムが、脳疾患患者の医用画像信号から人工知能に基づいて血流区間を分類する方法であって、血流区間分類システムの領域抽出部が、経時的に取得した各ボクセル(voxel)の医用画像信号の特性に応じて、正常信号形態を示す第1領域と、前記第1領域以外の第2領域とを抽出するステップと;前記血流区間分類システムの血流区間分類部が、前記第1領域の全体的な医用画像信号の特徴を抽出し、前記特徴に基づいて人工ニューラルネットワーク又は機械学習の手法を活用して、動脈灌流の時期、毛細血管灌流の時期及び静脈灌流の時期の区間を分類するステップと;を含み、ここで、前記区間分類ステップで分類された動脈灌流区間、毛細血管灌流区間及び静脈灌流区間に関する情報を、視覚化のための画像データとして利用してもよい。
【0016】
一実施形態において、人工知能に基づく血流区間分類方法は、前記血流区間分類部に接続されて前記画像データを出力する画像視覚化部が、各血管の区間に分類された医用画像信号を、前記領域抽出部が抽出した前記第2領域内の病変に対応する第2A領域又は異常信号形態を示す第2B領域と結合して、各領域又は各区間の医用画像信号を視覚化して出力するステップをさらに含んでいてもよい。
【0017】
一実施形態において、前記区間分類ステップでは、前記医用画像信号について、6つの軸における線形回帰の決定係数(linear regression’s coefficient of determinationR2)の合計の最大値を基準に、前記動脈灌流の時期、前記毛細血管灌流の時期及び前記静脈灌流の時期の区間を分類してもよい。
【0018】
上記技術的課題を解決するための本発明のまた他の態様に係る装置は、前述した実施形態のいずれかの人工知能に基づく血流区間分類方法を具現するプログラムを記録したコンピュータ読み取り可能な記録媒体を含んでいてもよい。
【発明の効果】
【0019】
前述した人工知能に基づく血流区間分類システム及び方法を使用する場合には、既存の血流区間分類における信頼性と正確性を向上させることができる。つまり、既存の血流区間分類方法の場合には、信号全体を統合して計算するため、病変領域が大きい場合やノイズが大きい場合、区間を適切に分類することが難しく、その精度と信頼性が低下する問題があるが、本実施形態によれば、血流区間分類の前に領域区分又は領域分割(segmentation)によって病変領域及びノイズ領域を除いた後に計算することで、区間分類の速度、信頼性及び安全性を高めることができる。
【0020】
また、本発明によれば、血流区間分類又は血流区間分類及び領域抽出に人工ニューラルネットワーク又は機械学習を活用することにより、人工知能に基づく定量的病変領域、体積及び進行状況に関する情報を提供することができる。
【0021】
さらに、本発明によれば、人工知能に基づく自動化処理過程を通じて脳梗塞などの脳疾患に残っている血栓又は残留物の量を決定するなどの分析を効果的に行うことが可能であり、それにより、既存の受動的努力による時間及びコストを削減できるという効果がある。
【0022】
さらにまた、本発明によれば、医用画像内の診断対象となる病変のステップ、状態又は等級を予想したり、病変による障害の等級を予測したりすることにより、専門医レベルの治療の必要性を分析して予測することができ、その分析又は予測結果を視覚的に病変の診断に利用するために提供できるという効果がある。
【図面の簡単な説明】
【0023】
図1】本発明の一実施形態に係る人工知能に基づく血流区間分類システムのブロック図である。
図2図1のシステムに採用できる機械学習手法であり、正常信号の全体的な信号特性に基づいて各時期を分類した例示図である。
図3】本発明の他の実施形態に係る人工知能に基づく血流区間分類システムのブロック図である。
図4図3のシステムに採用できる人工知能に基づく血流区間分類方法のフローチャートである。
図5】本実施形態のシステム及び方法に採用できる畳み込みニューラルネットワークの構造図である。
図6】本実施形態のシステムに採用できる画像視覚化部の画面の例示図である。
【発明を実施するための形態】
【0024】
本明細書に開示されている本発明の概念による実施形態に対する特定の構造的ないし機能的説明は、単に本発明の概念による実施形態を説明するための目的で例示されたものであり、本発明の概念による実施形態は、様々な形態で実施されることができ、本明細書に説明された実施形態に限定されるものではない。
【0025】
本発明の概念による実施形態は、様々な変更を加えることができ、様々な形態を有することができるため、実施形態を図面に例示し、本明細書において詳しく説明する。しかし、これは、本発明の概念による実施形態を特定の開示形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし対象物を含む。
【0026】
本明細書で使用した用語は、単に特定の実施形態を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において、「含む」又は「有する」などの用語は、本発明に記載された特徴、数字、ステップ、動作、構成要素、部分品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものと理解されなければならない。
【0027】
本明細書で使用される用語は、次のとおりである。
【0028】
T2強調画像(T2-weighted imaging):磁気共鳴画像(MRI:magnetic resonance imaging)からの特定のパルスシーケンス(pulse sequence)から得られる手法、或いは、この手法で得られる画像を指すものであり、画像は主に人体の内部組織の構造的な情報を提供する。
【0029】
FLAIR(Fluid attenuated inversion recovery):長い反転時間とエコ時間で脳脊髄液の信号を弱めることにより、T2強調画像で見逃しやすい病変を簡単に検出する磁気画像装置を用いた信号取得手法や、この手法で得られる画像を指す。FLAIRは、流体減衰反転回復とも呼ばれている。
【0030】
DWI(Diffusion weighted imaging):磁気共鳴画像から得られる拡散強調画像を主に指し、細胞組織内の水分子の特定の方向への拡散の程度及び有無に関する情報を提供する。
【0031】
PWI(Perfusion weighted imaging):磁気共鳴画像から得られる灌流強調画像(簡単に灌流画像)を指し、投入された造影剤の経時的な濃度の変化を通知する。
【0032】
Penumbra(ペナンブラ):虚血性イベントや塞栓症などによって発生する画像内の半影領域であり、酸素運搬機能が局部的に低下して低酸素細胞死滅を引き起こすか、数時間以内に適切な処置を行うと生存可能な領域を指す。
【0033】
ADC(Apparent diffusion coefficient):磁気共鳴画像から得られる見かけ拡散係数であり、人体の内部組織における拡散妨害因子に関する情報を提供する。
【0034】
Arterial phase(AP):磁気共鳴画像から得られる特定の灌流の時期であり、経時的に投入された造影剤が動脈部分を通過する時期を示す。
【0035】
Capillary phase(CP):磁気共鳴画像から得られる特定の灌流の時期であり、経時的に投入された造影剤が毛細血管部分を通過する時期を示す。
【0036】
Venous phase(VP):磁気共鳴画像から得られる特定の灌流の時期であり、経時的に投入された造影剤が静脈部分を通過する時期を示す。
【0037】
以下、添付図面に基づいて、本発明の好適な実施形態について詳しく説明する。
【0038】
図1は、本発明の一実施形態に係る人工知能に基づく血流区間分類システム(以下、簡単に「分類システム」という。)のブロック図である。図2は、本実施形態のシステム及び方法に採用できる機械学習手法であり、正常信号の全体的な信号特性に基づいて各時期を分類した例示図である。
【0039】
図1を参照すると、本実施形態に係る分類システム100は、領域抽出部10及び血流区間分類部20を備え、入力される医用画像や医用画像信号を処理して血流区間情報を出力するように構成される。ここで、血流区間情報は、造影剤が経時的に血管内を流れる際に動脈部分を通過する時期(AP)、毛細血管部分を通過する時期(CP)及び静脈部分を通過する時期(VP)に対応する血流区間に対する分類情報を含む。
【0040】
医用画像は、脳梗塞(cerebral infraction)、脳出血(cerebral hemorrhage)などの急性脳卒中(acute stroke)やその他の脳疾患を患っている患者の脳を、MRI(magnetic resonance imaging)装置、コンピュータ断層撮影装置、陽電子断層撮影装置などで撮影した画像を含むことができる。
【0041】
領域抽出部10は、経時的に入力される各ボクセル(voxel)の医用画像信号の特性に応じて、正常信号形態を示す第1領域と、前記第1領域以外の第2領域とを抽出する。第2領域は、病変領域(第2A領域)又は異常信号形態を示す領域(第2B領域)であり得る。
【0042】
ボクセルは、体積(volume)とピクセル(pixel)を組み合わせた体積要素であり、3次元空間での正規の格子単位の値を表し、空間座標や他のボクセル群との位置関係を持っている一つの立体イメージを構成するデータ構造の一部として機能できる。
【0043】
前述した領域抽出部10の機能/動作を、血流区間分類部20の機能/動作の前に行うと、血流区間分類の前に、領域区分又は領域分割(segmentation)により病変領域及びノイズ領域を除いた後、医用画像信号を計算することができ、それにより血流区間の分類の速度、信頼性及び安全性を高めることができる。
【0044】
血流区間分類部20は、領域抽出部10から抽出された第1領域の全体的な信号の特徴(医用画像信号の特徴)を抽出し、抽出された全体的な信号の特徴に基づいて人工ニューラルネットワークや機械学習の手法を活用して、動脈灌流の時期、毛細血管灌流の時期及び静脈灌流の時期の区間を分類する。
【0045】
より具体的には、図2を参照して説明すると、血流区間分類部20は、医用画像信号について、6つの軸における線形回帰の決定係数(linear regression’s coefficient of determinationR2)の合計の最大値(maximum)を基準に、動脈灌流の時期(arterial phase)、毛細血管灌流の時期(capillary phase)及び静脈灌流の時期(venous phase)の区間を自動的に分類することができる。
【0046】
各時期の区間は、6つの軸レベルにおけるR2値の合計と所定の時間区間によって決定される領域(図2の3つのカラーボックスを参照)内の灌流区間として決定され得る。
【0047】
前述した血流区間分類部20は、人工ニューラルネットワーク又は機械学習を活用して血流区間を分類することにより、人工知能に基づく定量的病変領域、体積及び進行状況に関する情報を抽出又は生成することができる。
【0048】
本実施形態によれば、人工知能に基づく自動化処理過程を通じて、脳梗塞などの脳疾患にどれだけの血栓や残留物が残っているかを決定するなどの分析を効果的に行うことができる。
【0049】
前述した分類システム100は、コンピューティング装置に搭載されてもよく、コンピューティング装置を含むように実現されてもよい。コンピューティング装置は、プログラムを格納するメモリと、メモリに接続されてプログラムを実行するプロセッサとを備えてもよい。また、コンピューティング装置は、通信インタフェースに接続されてよく、通信インタフェースの少なくとも一部を備えてもよい。
【0050】
メモリは、領域抽出部10及び血流区間分類部20の機能を実行するための、又は各機能を実現又は運営するためのソフトウェアモジュールを格納することができる。このようなソフトウェアモジュールは、コンピューティング装置の作動に応じてプロセッサに搭載されて当該機能や動作を行うことができる。
【0051】
プロセッサは、マイクロプロセッサ、演算処理装置又は制御装置に対応でき、中央処理装置(CPU)やコア(core)を含み得、メモリに格納されたプログラムやソフトウェアモジュールを実行して、本実施形態の人工知能に基づく血流区間分類方法を実行するように実現され得る。
【0052】
通信インタフェースは、イントラネット、インターネット、有線ネットワーク、無線ネットワーク、衛星ネットワーク又はこれらの組み合わせのための少なくとも一つ以上のサブ通信システムを備えてもよい。通信インタフェースは、MRI装置やデータベースに接続されて医用画像信号を受信又は読み出して取得でき、処理された結果(血流区間情報など)を画像視覚化部や外部装置などに送信するように実現され得る。
【0053】
図3は、本発明の他の実施形態に係る人工知能に基づく血流区間分類システムのブロック図である。
【0054】
図3を参照すると、本実施形態に係る分類システムは、基本分類システム100に加えて画像視覚化部200をさらに含み得る。また、本実施形態の分類システムは、基本分類システムに含まれている領域抽出部10が人工ニューラルネットワークや機械学習を活用して、医用画像信号から、正常信号領域である第1領域と、病変領域又は異常信号領域である第2領域とを区分して抽出するように構成されてもよい。領域抽出部10の第1領域を抽出する場合、第2領域の抽出を省略してもよい。
【0055】
基本分類システム100の基本的な構成は、図1及び図2を参照して前述した領域抽出部10と血流区間分類部20とを含む構成と実質的に同じなので、その詳細な説明は省略する。
【0056】
画像視覚化部200は、血流区間分類部20に接続され、血流区間分類部20から受信した動脈血流の時期、毛細血管血流の時期及び静脈血流の時期に基づいて医用画像信号を処理した画像データを出力する。
【0057】
特に、画像視覚化部200は、各血管の区間に分類された医用画像信号を、領域抽出部10から抽出した第2領域内の病変領域に対応する第2A領域又は異常信号形態を示す領域(第2B領域)と結合して、各領域又は各区間の医用画像信号を視覚化した画像データを出力することができる。
【0058】
本実施形態に係る分類システムは、画像視覚化部200を通じて、病変領域や異常信号形態を示す領域と、正常信号形態を示す領域で分類した動脈灌流、毛細血管灌流及び静脈灌流とを結合して、定量的病変領域、体積及び進行状況に関する情報を視覚化された画像として出力することができる。このような構成によれば、人工知能に基づく自動化処理過程により、脳梗塞などの脳疾患に残っている血栓や残留物の量を決定するなどの分析を効果的に行うことができ、医用画像内の病変のステップ、状態又は等級を予想したり、病変による障害の等級を効果的に予測したりするのに寄与することができる。
【0059】
前述した画像視覚化部200に伝達される血流区間情報は、AP、CP及びVPに分類された情報を含み、画像視覚化部200以外の他の外部装置に伝達されてもよく、その場合、医師等に伝達される脳血流区間の分類情報として検出された病変と病変に接続される動脈、毛細血管及び静脈灌流区間を通じて病変を診断したり、病変の進行状況を予測したり、病変の影響を予測したりするのに補助するように加工された情報出力形態を有してよい。
【0060】
前述した実施形態の分類システムに採用可能な人工知能は、別途の前処理機、認識器、学習機又はこれらを組み合わせた独立した機能部或いは構成部として分類システムに接続される形態を備えてもよく、各構成部(領域抽出部、血流区間分類部)に搭載される形態を備えてもよい。人工知能は、機械学習(machine learning)、人工ニューラルネットワーク又は深層学習(deep learning:ディープラーニング)を含むように設計されてもよい。深層学習は畳み込みニューラルネットワークなどを含んでもよい。このような人工知能やこれを含む人工知能システムは、学習手段などと呼ばれることがある。
【0061】
図4は、図3のシステムに採用できる人工知能に基づく血流区間分類方法のフローチャートである。
【0062】
図4を参照すると、本実施形態に係る人工知能に基づく血流区間分類方法(以下、簡単に「分類方法」という。)は、以下の主な3つのステップ(S31乃至S33)を含むように構成されてもよい。
【0063】
具体的には、まず、分類システムは、医用画像信号から、経時的な血流の領域の中で正常信号領域を抽出する(S31)。
【0064】
その後、分類システムは、正常信号領域の全体的な信号の特徴に基づいて、動脈灌流の時期(AP)、毛細血管灌流の時期(CP)及び静脈灌流の時期(VP)の区間に分類する(S32)。
【0065】
その後、分類システムは、画像視覚化部により分類されたAP、CP及びVP区間と、病変領域や病変領域に対応する異常領域とを結合して、医用画像の各領域や各区間を視覚化して出力する(S33)。
【0066】
上記のステップにより、分類システムは、病変領域と病変領域に接続されるかその周辺の血流情報を迅速かつ正確にそして自動化して提供することができ、このような分類システムが提供する情報は、患者の病変の進行状況や等級を判断して診断するのに効果的に利用され得る。
【0067】
図5は、本実施形態のシステム及び方法に採用できる畳み込みニューラルネットワークの構造図である。
【0068】
本実施形態に係る分類システムは、血流区間の自動分類のための人工知能ニューラルネットワークとして深層学習アーキテクチャを使用できる。深層学習アーキテクチャは、医用画像信号内の血流区間を畳み込みニューラルネットワーク(convolutional neural network、CNN)、逆畳み込み(deconvolution:逆畳み込み)、スキップコネクション(skip connection)などを使用して自動的に分類することができる。
【0069】
例えば、深層学習アーキテクチャは、畳み込みネットワーク、逆畳み込みネットワーク及びショートカット(shortcut)を含む形態を備えていてもよい。図5に示すように、深層学習アーキテクチャは、医用画像(X)の局所的な特徴を抽出するために3×3サイズのカラー畳み込み層(convolution layer)とアクティベーション層(ReLU)を積み、2×2サイズのフィルターをストライド(stride)1で適用して、次の下位深さのレベルに接続される畳み込みブロックの演算を4回繰り返して行い、その次に2×2サイズの逆畳み込み層(deconvolution layer)とアクティベーション層(ReLU)を適用して次の上位深さのレベルに接続した後、3×3サイズのカラー畳み込み層とアクティベーション層を積む逆畳み込みブロックの演算を4回繰り返して行い、ここで、各レベルの畳み込みブロックの演算を含む畳み込みネットワークの各レベルの畳み込みブロックのイメージに、同じレベルの逆畳み込みネットワークの対応レベルの畳み込み結果をコピーして接続し(copy and contatenate)、各ブロックで畳み込み演算をそれぞれ実行するように構成されてもよい。
【0070】
畳み込みネットワークと逆畳み込みネットワーク内の畳み込みブロックは、conv-ReLU-conv層の組み合わせにより実現され得る。また、深層学習アーキテクチャの出力は、畳み込みネットワークや逆畳み込みネットワークに接続される分類器を介して行われてもよいが、これに限定されない。分類器は、FCN(fully connectivity network)手法を用いて画像から局所的な特徴を抽出するために使用できる。
【0071】
また、深層学習アーキテクチャは、具現に応じて、畳み込みブロック内でインセプションモジュール(inseption module)又はマルチフィルターパスウェイ(multi filter pathway)をさらに使用してもよい。インセプションモジュール又はマルチフィルターパスウェイ内の互いに異なるフィルターは、1×1フィルターを含んでいてもよい。
【0072】
ちなみに、深層学習アーキテクチャにおいて入力(input)イメージが横32、縦32、そしてRGBチャンネルを有する場合、医用画像に対応する入力イメージ(X)のサイズは、[32×32×3]であってもよい。深層学習アーキテクチャの畳み込みニューラルネットワーク(convloultional neural network、CNN)において畳み込み(convolutional、CONV)層は、入力イメージの一部の領域と接続され、この接続された領域と自分の重み(加重値)の内的演算(dot product)を計算するように設計されてもよい。
【0073】
ここで、正規化線形ユニット(rectified linear unit、ReLU)層は、max(0,x)のように各要素に適用される活性化関数(activation function)である。ReLU層は、ボリュームのサイズを変更しない。プーリング層(pooling layer)は、縦及び横で表される次元に対してダウンサンプリング(downsampling)又はサブサンプリング(subsampling)を実行することにより、減少したボリュームを出力することができる。
【0074】
また、完全接続(fully-connected、FC)層は、クラススコアを計算し、例えば[1×1×10]のサイズのボリュームを出力することができる。この場合、10個の数字は、10個のカテゴリーに対するクラススコアに該当する。完全接続層は、以前のボリュームのすべての要素と接続される。そこで、ある層は母数(parameter)を有するが、ある層は母数を有さなくてもよい。CONV/FC層は、活性化関数であり、単純に入力ボリュームだけではなく、重み(weight)とバイアス(bias)を含んでいてもよい。一方、ReLU/POOLING層は、固定関数であり、CONV/FC層の母数は、各イメージに対するクラススコアが、当該イメージのラベルと同じになるように最急降下法(gradient descent)で学習することができる。
【0075】
図6は、本実施形態のシステムに採用できる画像視覚化部の画面の例示図である。
【0076】
図6を参照すると、本実施形態に係る分類システムの画像視覚化部は、ディスプレイ装置を備えていてもよく、ディスプレイ装置の画面600に病変領域や異常信号領域とこれに結合される正常信号形態を示す領域の灌流区間情報(動脈、毛細血管及び静脈)を視覚化して出力することができる(610参照)。
【0077】
視覚化された情報610は、特定の領域や区間に対する拡大画像612、614としても提供され得、拡大画像は、ボクセル形状、立体断面形状などの画像出力形態を有し得る。
【0078】
分類システムの画像視覚化部は、人工知能による自動診断結果に関連する情報及び設定を特定の表示領域(第2表示領域、620)に出力することができる。また、画像視覚化部は、視覚化された情報610の活用や処理のためのユーザインタフェース630を備えてもよい。ユーザインタフェース630は、病変領域やその進行状態の表現に対する拡大、回転などの操作機能や、斜視図、六面図、断面図などの選択機能を提供し得る。また、ユーザインタフェース630は、データ出力やデータ出力フォーマット変換などを選択して実行するための機能を備えてもよい。
【0079】
画像視覚化部は、基本分類システム100に接続されるデスクトップコンピュータの画像出力部や、携帯情報端末(PDA)、モバイル端末、ネットワーク端末、及びサーバ装置のうちの少なくとも一つに結合された画像出力装置を含んでもよい。
【0080】
一方、前述した実施形態では、画像視覚化部が、各血管の区間に分類された医用画像信号を、領域抽出部から抽出された第2領域内の病変に対応する第2A領域又は異常信号形態を示す第2B領域と結合させて、医用画像の各領域又は各区間の医用画像信号を視覚化して出力するものとして説明されたが、本発明は、このような構成に限定されず、画像視覚化部の一部の機能を実現する視覚化画像生成部が、血流区間分類部の出力端に接続されて当該機能を実行するように具現されてもよい。その場合、視覚化画像生成部は、基本的な人工知能に基づく血流区間分類システム(図1の100参照)に含まれてもよく、また、その場合、画像視覚化部は、視覚化画像生成部の画像を受けて出力する既存の一般的なディスプレイ装置に対応できる。言うまでもなく、このような視覚化画像生成部の機能は、人工知能に基づく血流区間分類方法における画像視覚化生成ステップを含むものとして実現可能である。
【0081】
以上で説明したように、本実施形態によれば、医用画像信号を人工知能に基づいて処理して、医用画像信号内の動脈灌流、毛細血管灌流及び静脈灌流を効果的に分類するか、分類された灌流区間情報を視覚的に表出し、それにより迅速かつ効率的な急性脳疾患診断ソリューションを提供することができる。
【0082】
本発明は、図面を参照した実施形態を中心として説明されたが、これは例示的なものに過ぎず、本技術分野における通常の知識を有する者であれば、これから様々な変形及び均等な他の実施形態が可能であるということを理解するであろう。したがって、本発明の真の技術的な保護範囲は、添付の特許請求の範囲により定めなければならないであろう。
図1
図2
図3
図4
図5
図6