(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-16
(45)【発行日】2022-11-25
(54)【発明の名称】人工神経網を利用した内耳器官内リンパ水腫の比率測定方法及びその装置
(51)【国際特許分類】
A61B 10/00 20060101AFI20221117BHJP
G06T 7/00 20170101ALI20221117BHJP
A61B 5/055 20060101ALI20221117BHJP
【FI】
A61B10/00 J
G06T7/00 616
A61B10/00 E ZDM
A61B5/055 382
(21)【出願番号】P 2021051251
(22)【出願日】2021-03-25
【審査請求日】2021-03-25
(31)【優先権主張番号】10-2020-0037062
(32)【優先日】2020-03-26
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】514326683
【氏名又は名称】サムスン ライフ パブリック ウェルフェア ファウンデーション
【氏名又は名称原語表記】SAMSUNG LIFE PUBLIC WELFARE FOUNDATION
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】チョン、ウォ-ノ
(72)【発明者】
【氏名】チョ、ペク ファン
(72)【発明者】
【氏名】チョ、ヨン サン
(72)【発明者】
【氏名】パク、チェ ジョン
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2019-072410(JP,A)
【文献】米国特許第10430946(US,B1)
【文献】国際公開第2015/067300(WO,A1)
【文献】米国特許出願公開第2014/0270451(US,A1)
【文献】KIRSCH, V. et al. ,P119. Activity-dependent plasticity of the endolymphatic space in vestibular migraine - A single case study,Clinical Neurophysiology,2018年,Vol.129, No.8 ,Page.e111
【文献】阪本剛,頭部領域の画像診断 頭部領域の解析技術と研究の展望,映像情報Medical,2018年07月01日,Vol.50, No.7 ,pp.36-39
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
A61B 10/00
PubMed
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
内耳器官を撮影した複数のフレームイメージを獲得する段階と、
前記複数のフレームイメージを神経網に入力し、前記複数のフレームイメージそれぞれに対応する複数のマスクデータを獲得する段階と、
前記複数のマスクデータを、前記内耳器官別に群集化させ、
前記内耳器官別に群集化された複数のマスクデータのうち、マスクデータそれぞれに含まれた内耳器官領域が最大であるマスクデータに基づいて、前記内耳器官別の代表イメージを獲得する段階と、
前記複数のフレームイメージ
及びhydrops映像を合成してターゲット映像
を獲得する段階と、
前記内耳器官別の代表イメージ
及び前記ターゲット映像を重畳させ、内リンパ水腫の比率を測定する段階と、を含む、内リンパ水腫の比率測定方法。
【請求項2】
前記内耳器官別の代表イメージを獲得する段階は、
前記内耳器官別に群集化された前記複数のマスクデータを利用し、前記内耳器官それぞれに対応する3Dセグメンテーションを生成する段階をさらに含み、
前記内リンパ水腫の比率を測定する段階は、
前記ターゲット映像と前記3Dセグメンテーションとを重畳させ、内リンパ水腫の比率を測定する段階をさらに含む、請求項1に記載の内リンパ水腫の比率測定方法。
【請求項3】
前記内リンパ水腫の比率を測定する段階は、
前記ターゲット映像と、前記内耳器官別の代表イメージとを重畳させ、内リンパ水腫検出イメージを獲得する段階と、
前記内リンパ水腫検出イメージに含まれた内耳器官マスク領域において、負値を有するピクセルデータを利用し、内リンパ水腫の比率を測定する段階と、を含む、請求項1に記載の内リンパ水腫の比率測定方法。
【請求項4】
前記複数のフレームイメージは、
前記内耳器官を撮影したMRC(magnetic resonance cisternography)映像に含まれたフレームイメージであり、
前記ターゲット映像は、
前記MRC映像と
前記hydrops映像とを合成して生成されたHydrops-Mi2(hydrops image multiplied with heavily T2-weighted MRcisternography)映像である、請求項1に記載の内リンパ水腫の比率測定方法。
【請求項5】
プロセッサを含み、
前記プロセッサは、
内耳器官を撮影した複数のフレームイメージを獲得し、前記複数のフレームイメージを神経網に入力し、前記複数のフレームイメージそれぞれに対応する複数のマスクデータを獲得し、前記複数のマスクデータを、前記内耳器官別に群集化させ、
前記内耳器官別に群集化された複数のマスクデータのうち、マスクデータそれぞれに含まれた内耳器官領域が最大であるマスクデータに基づいて、前記内耳器官別の代表イメージを獲得し、前記複数のフレームイメージ
及びhydrops映像を合成してターゲット映像
を獲得し、前記内耳器官別の代表イメージ
及び前記ターゲット映像を重畳させ、内リンパ水腫の比率を測定する、内リンパ水腫の比率測定装置。
【請求項6】
前記プロセッサは、
前記内耳器官別に群集化された前記複数のマスクデータを利用し、前記内耳器官それぞれに対応する3Dセグメンテーションをさらに生成し、前記ターゲット映像と前記3Dセグメンテーションとを重畳させ、内リンパ水腫の比率を測定する、請求項
5に記載の内リンパ水腫の比率測定装置。
【請求項7】
前記プロセッサは、
前記ターゲット映像と、前記内耳器官別の代表イメージとを重畳させ、内リンパ水腫検出イメージを獲得し、前記内リンパ水腫検出イメージに含まれた負値を有するピクセルデータを利用し、内リンパ水腫の比率を測定する、請求項
5に記載の内リンパ水腫の比率測定装置。
【請求項8】
前記複数のフレームイメージは、
前記内耳器官を撮影したMRC(magnetic resonance cisternography)映像に含まれたフレームイメージであり、
前記ターゲット映像は、
前記MRC映像と
前記hydrops映像とを合成して生成されたHydrops-Mi2(hydrops image multiplied with heavily T2-weighted MRcisternography)映像である、請求項
5に記載の内リンパ水腫の比率測定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内リンパ水腫の比率測定方法及びその装置に係り、さらに詳細には、内耳器官を撮影した複数のフレームイメージを人工神経網に入力し、内リンパ水腫の比率を測定する方法及びその装置に関する。
【背景技術】
【0002】
メニエール病は、めまい症、聴力低下、耳鳴り、耳詰まりのような症状が急に反復的に生ずる疾病である。最近では、内耳器官である蝸牛殻(cochlea)器官及び前庭(vestibule)器官に生じた内リンパ水腫が、メニエール病の原因であるという仮説により、専門家らは、内リンパ水腫の比率(endolymphatic hydrops ratio)が高い場合、メニエール病と診断している。しかし、既存におき、内リンパ水腫の比率を計算するためには、専門家が蝸牛殻及び前庭器官を直接検出したために、時間及び人力浪費が相当なものであるという問題が存在する。
【0003】
特に、蝸牛殻及び前庭器官は、脳MR映像において、非常に小さい面積を占めるために、ROI(region of interest)検出に時間が長くかかり、過程が複雑であり、内リンパ水腫を検出する判読者ごとに所見差があるので、客観性が低いという限界が存在する。
【0004】
前述の背景技術は、発明者が、本発明導出のために保有していたか、あるいは本発明導出過程において習得した技術情報であり、必ずしも本発明出願前に一般公衆に公開された公知技術とすることはできない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、内耳器官のROI(region of interest)抽出のための手作業なしに、脳を撮影した映像のみを利用し、内リンパ水腫の比率を測定する方法及びその装置を提供することである。
【課題を解決するための手段】
【0006】
本発明の一実施形態による内リンパ水腫の比率測定方法は、内耳器官を撮影した複数のフレームイメージを獲得する段階と、前記複数のフレームイメージを神経網に入力し、前記複数のフレームイメージそれぞれに対応する複数のマスクデータを獲得する段階と、前記複数のマスクデータを前記内耳器官別に群集化させ、所定条件により、前記内耳器官別の代表イメージを獲得する段階と、前記複数のフレームイメージを利用して合成されたターゲット映像と、前記内耳器官別の代表イメージとを重畳させ、内リンパ水腫の比率を測定する段階と、を含んでもよい。
【0007】
一実施形態において、前記内耳器官別の代表イメージを獲得する段階は、前記内耳器官別に群集化された前記複数のマスクデータを利用し、前記内耳器官それぞれに対応する3Dセグメンテーション(segmentation)を生成する段階をさらに含み、前記内リンパ水腫の比率を測定する段階は、前記ターゲット映像と前記3Dセグメンテーションとを重畳させ、内リンパ水腫の比率を測定する段階をさらに含んでもよい。
【0008】
一実施形態において、前記内耳器官別の代表イメージを獲得する段階は、前記内耳器官別に群集化された複数のマスクデータのうち、マスクデータそれぞれに含まれた内耳器官領域が最大であるマスクデータを、前記内耳器官の代表イメージとして獲得する段階を含んでもよい。
【0009】
一実施形態において、前記内リンパ水腫の比率を測定する段階は、前記ターゲット映像と、前記内耳器官別の代表イメージとを重畳させ、内リンパ水腫検出イメージを獲得する段階と、前記内リンパ水腫検出イメージに含まれた内耳器官マスク領域において、負値を有するピクセルデータを利用し、内リンパ水腫の比率を測定する段階と、を含んでもよい。
【0010】
一実施形態において、前記複数のフレームイメージは、前記内耳器官を撮影したMRC(magnetic resonance cisternography)映像に含まれたフレームイメージであり、前記ターゲット映像は、前記MRC映像と該hydrops映像とを合成して生成されたHydrops-Mi2(hydrops image multiplied with heavily T2-weighted MR cisternography)映像でもある。
【0011】
本発明の他の実施形態による内リンパ水腫の比率測定装置は、プロセッサを含み、前記プロセッサは、内耳器官を撮影した複数のフレームイメージを獲得し、前記複数のフレームイメージを神経網に入力し、前記複数のフレームイメージそれぞれに対応する複数のマスクデータを獲得し、前記複数のマスクデータを、前記内耳器官別に群集化させ、所定条件により、前記内耳器官別の代表イメージを獲得し、前記複数のフレームイメージを利用して合成されたターゲット映像と、前記内耳器官別の代表イメージとを重畳させ、内リンパ水腫の比率を測定することができる。
【0012】
一実施形態において、前記プロセッサは、前記内耳器官別に群集化された前記複数のマスクデータを利用し、前記内耳器官それぞれに対応する3Dセグメンテーションをさらに生成し、前記ターゲット映像と前記3Dセグメンテーションとを重畳させ、内リンパ水腫の比率を測定することができる。
【0013】
一実施形態において、前記プロセッサは、前記内耳器官別に群集化された複数のマスクデータのうち、マスクデータそれぞれに含まれた内耳器官領域が最大であるマスクデータを、前記内耳器官の代表イメージとして獲得することができる。
【0014】
一実施形態において、前記プロセッサは、前記ターゲット映像と、前記内耳器官別の代表イメージとを重畳させ、内リンパ水腫検出イメージを獲得し、前記内リンパ水腫検出イメージに含まれた負値を有するピクセルデータを利用し、内リンパ水腫の比率を測定することができる。
【0015】
一実施形態において、前記複数のフレームイメージは、前記内耳器官を撮影したMRC映像に含まれたフレームイメージであり、前記ターゲット映像は、前記MRC映像と該hydrops映像とを合成して生成されたHydrops-Mi2映像でもある。
前述のところ以外の他の側面、特徴、利点は、以下の図面、特許請求の範囲、及び発明の詳細な説明から明確になるであろう。
【図面の簡単な説明】
【0016】
【
図1】本発明の一実施形態による、内リンパ水腫の比率測定方法を遂行する内リンパ水腫の比率測定システムを図示した図面である。
【
図2】本発明の一実施形態による、内リンパ水腫の比率測定装置の構成及び動作について説明するためのブロック図である。
【
図3】本発明の一実施形態による、内リンパ水腫の比率測定方法のフローチャートである。
【
図4】
図3の一部動作について詳細に説明するための図面である。
【
図5】
図3の一部動作について詳細に説明するための図面である。
【
図6】本発明の一実施形態による、神経網を利用し、複数のマスクデータを獲得する方法について説明するための図面である。
【
図7】本発明の一実施形態による、内耳器官別の代表イメージを獲得する方法について説明するための図面である。
【
図8】本発明の一実施形態により、複数のフレームイメージを利用し、ターゲット映像を獲得する方法について説明するための図面である。
【
図9】本発明の一実施形態により、内リンパ水腫の比率を測定する方法について説明するための図面である。
【
図10】本発明の一実施形態により、内耳器官別に3Dセグメンテーションを生成し、内リンパ水腫の比率を測定する方法について説明するための図面である。
【発明を実施するための形態】
【0017】
後述する本発明に係わる詳細な説明は、本発明が実施されうる特定実施形態を例示として図示する添付図面を参照する。そのような実施形態は、当業者が本発明を実施することができるほどに十分に詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないと理解されなければならない。例えば、本明細書に記載されている特定形状、構造及び特性は、本発明の精神と範囲とを外れずにも、一実施形態から他の実施形態に変更されても具現されるのである。また、それぞれの実施形態内の個別構成要素の位置または配置も、本発明の精神と範囲とを外れずにも変更されうるということが理解されなければならない。従って、後述する詳細な説明は、限定的な意味としてなされるものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲、及びそれと均等な全範囲を包括するものであると受け入れられなければならない。図面において、類似した参照符号は、多くの側面にわたり、同一であるか、あるいは類似した構成要素を示す。
【0018】
本発明で開示する人工知能(AI:artificial intelligence)は、人工的な知能、またはそれを作ることができる方法論を研究する分野を意味し、機械学習(machine learning)は、人工知能技術の一分野として、コンピュータ装置がデータを介して学習し、特定の対象あるいは条件を理解することができるようにしたり、データのパターンを見出して分類する技術的方式でもって、コンピュータがデータを分析することができるようにしたりするアルゴリズムでもある。本発明で開示する機械学習は、人工知能モデルを学習するための動作方法を含む意味としても理解される。
【0019】
以下においては、本発明が属する技術分野において当業者が、本発明を容易に実施することができるようにするために、本発明の多くの実施形態につき、添付図面を参照して詳細に説明する。
【0020】
以下、
図1を参照し、本発明の一実施形態による、内リンパ水腫の比率測定方法を遂行する内リンパ水腫の比率測定システムについて詳細に説明する。
【0021】
従来、メニエール病診断のために、内リンパ水腫の比率を測定するためには、脳映像において非常に小さい領域を占める内耳器官を手作業で検出し、専門家が直接に内リンパ水腫の比率を測定したために、客観性と正確性とが落ちるという限界があった。従って、以下、本発明のいくつかの実施形態により、専門家の手作業なしに、脳映像だけでもって、内リンパ水腫の比率を測定する方法及びその装置について説明する。
【0022】
一実施形態によって測定される内リンパ水腫の比率は、脳映像から獲得されたフレームイメージ10を利用することができる。特に、本発明のいくつかの実施形態による内リンパ水腫の比率測定方法は、耳領域に係わるフレームイメージ20を抽出することができ、当該フレームイメージを神経網30に入力し、特定内耳器官領域に対応するマスクデータ40を獲得することができる。また、一実施形態による、内リンパ水腫の比率測定方法によれば、複数の内耳器官に係わるマスクデータを同時に抽出することができるので、神経網から出力された複数のマスクデータ40は、内耳器官別にも群集化される。例えば、前庭器官に対応するマスクデータと、蝸牛殻に対応するマスクデータとが別途にクラスタリングされ、同一内耳器官に係わるマスクデータであっても、右側または左側であるかということによってもそれぞれ群集化される。
【0023】
一方、本発明のいくつかの実施形態による内リンパ水腫の比率測定方法は、内リンパ水腫の比率測定のために、内耳器官に係わるさらに鮮明な映像及び/またはイメージを獲得する段階をさらに含んでもよい。例えば、神経網の入力データとして利用された脳映像と異なるフォーマットの映像50を共に合成し、内耳器官がさらに明確に区分されるターゲット映像60が獲得されうる。その後、既獲得の内耳器官のマスクデータと、前述のターゲット映像とを重畳させることにより、各フレームに含まれたピクセルデータ70分析を介し、内リンパ水腫の比率を測定することができる。
【0024】
以下、
図2を参照し、内リンパ水腫の比率測定装置について詳細に説明する。
【0025】
一実施形態において、内リンパ水腫の比率測定装置100は、メモリ101、プロセッサ102、入出力インターフェース103及び通信モジュール104を含んでもよい。メモリ101は、コンピュータで読み取り可能な記録媒体として、RAM(random access memory)や、ROM(read only memory)及びディスクドライブのような非消滅性大容量記録装置(permanent mass storage device)を含んでもよい。また、メモリ101には、内リンパ水腫の比率測定装置100を制御するためのプログラムコード及びその設定、複数のフレームイメージ、複数のマスクデータ、内耳器官別の代表イメージが、一時的または永久に保存されうる。
【0026】
プロセッサ102は、基本的な算術、ロジック及び入出力演算を行うことにより、コンピュータプログラムの命令(instruction)を処理するようにも構成される。該命令は、メモリ101または通信モジュール104によってもプロセッサ102に提供される。例えば、プロセッサ102は、メモリ101のような記録装置に保存されたプログラムコードによって受信される命令を実行するようにも構成される。プロセッサ102、及びプロセッサ102の構成要素は、
図3の内リンパ水腫の比率測定方法が含む段階(S110ないしS160)を遂行するように、内リンパ水腫の比率測定装置100を制御することができる。例えば、プロセッサ102、及びプロセッサ102の構成要素は、メモリ101が含むオペレーションシステム(OS)のコードと、少なくとも1つのプログラムのコードとによる命令を行うように具現されることができる。ここで、プロセッサ102の構成要素は、内リンパ水腫の比率測定装置100に保存されたプログラムコードが提供する命令により、プロセッサ102によって遂行されるプロセッサ102の互いに異なる機能(different functions)の表現でもある。一実施形態において、内リンパ水腫の比率測定装置100のプロセッサ102は、内耳器官を撮影した複数のフレームイメージを獲得し、前記複数のフレームイメージを神経網に入力し、前記複数のフレームイメージそれぞれに対応する複数のマスクデータを獲得し、前記複数のマスクデータを、前記内耳器官別に群集化させ、所定条件により、前記内耳器官別の代表イメージを獲得し、前記複数のフレームイメージを利用して合成されたターゲット映像と、前記内耳器官別の代表イメージとを重畳させ、内リンパ水腫の比率を測定することができる。
【0027】
通信モジュール104は、ネットワークを介して外部サーバと通信するための機能を提供することができる。一例として、内リンパ水腫の比率測定装置100のプロセッサ102が、メモリ101のような記録装置に保存されたプログラムコードによって生成された要請が、通信モジュール104の制御により、ネットワークを介して外部サーバに伝達されうる。逆に、外部サーバのプロセッサの制御によって提供される制御信号、命令、コンテンツ、ファイルなどが、ネットワークを経て、通信モジュール104を介して内リンパ水腫の比率測定装置100にも受信される。例えば、通信モジュール104を介して受信された外部サーバの制御信号や命令などは、プロセッサ102やメモリ101にも伝達され、コンテンツやファイルなどは、内リンパ水腫の比率測定装置100がさらに含みうる記録媒体にも保存される。
【0028】
また、通信モジュール104は、外部サーバと、ネットワークを介して通信することができる。通信方式は、制限されるものではないが、該ネットワークは、近距離無線通信網でもある。例えば、該ネットワークは、ブルートゥース(登録商標)(Bluetooth)通信網、BLE(Bluetooth low energy)通信網、Wi-Fi(wireless fidelity)通信網でもある。
【0029】
また、入出力インターフェース103は、ユーザ入力を受信し、出力データをディスプレイすることができる。一実施形態による入出力インターフェース103は、ディスプレイに、内耳器官のマスクデータ、内リンパ水腫の比率データを表示することができる。
【0030】
また、他の実施形態において、内リンパ水腫の比率測定装置100は、
図2の構成要素よりさらに多くの構成要素を含んでもよい。しかし、ほとんどの従来の技術的構成要素を明確に図示する必要性はない。例えば、内リンパ水腫の比率測定装置100は、内リンパ水腫の比率測定装置の内部構成要素に電力を供給するバッテリ及び充電装置を含んでもよく、前述の入出力装置のうち少なくとも一部を含むように具現されるか、あるいはトランシーバ(transceiver)、GPS(global positioning system)モジュール、各種センサ、データベースのような他の構成要素をさらに含んでもよい。
【0031】
図3は、本発明の一実施形態による、内リンパ水腫の比率測定方法を時系列的に示した図面である。
【0032】
段階S110において、内リンパ水腫の比率測定装置は、内耳器官を撮影した複数のフレームイメージを獲得することができる。内耳器官を撮影した複数のフレームイメージは、脳映像に含まれたフレームイメージにおいて、耳領域を撮影したフレームイメージでもある。一実施形態において、内リンパ水腫の比率測定装置は、脳映像に含まれたフレームイメージから、耳領域に対応するフレームイメージのみを獲得することもでき、他の実施形態において、脳映像全体に対するフルスタック(full-stack)イメージをいずれも獲得した後、耳領域に係わる映像パッチを抽出することもでき、さらに他の実施形態において、内リンパ水腫の比率測定装置は、神経網を利用し、脳映像に含まれた複数のフレームイメージから、耳領域を含むフレームイメージのみを抽出することもできる。一実施形態において、脳映像で特定内耳器官に対応する映像パッチを抽出する場合、前述の内耳器官を撮影した複数のフレームイメージは、前記映像パッチに含まれたフレームイメージでもある。また、該脳映像は、例えば、脳MRC(magnetic resonance cisternography)映像でもあり、該内耳器官は、例えば、前庭器官及び/または蝸牛殻を含んでもよい。従って、以下、
図6ないし
図10を介し、脳MRC映像に含まれた前庭器官と蝸牛殻とのイメージを介し、本発明のいくつかの実施形態による内リンパ水腫の比率測定方法について説明する。しかし、それらは、本発明の容易な理解のための一例示であるのみ、前記脳映像のフォーマット、または内耳器官の種類及び個数は、それらに限定されるものではないということに留意する。
【0033】
段階S120において、内リンパ水腫の比率測定装置は、複数のフレームイメージを神経網に入力し、複数のフレームイメージそれぞれに対応する複数のマスクデータを獲得することができる。それぞれのフレームイメージは、耳領域に含まれた内耳器官を撮影したフレームイメージであり、少なくとも1以上の内耳器官を含んでもよい。従って、本実施形態による内リンパ水腫の比率測定装置は、それぞれのフレームイメージに含まれた少なくとも1以上の内耳器官領域が表示されたマスクデータを獲得することができる。その場合、該マスクデータは、CNN(convolutional neural network)基盤の神経網からも出力される。例えば、内耳器官のマスクデータを抽出する神経網は、少なくとも1層のコンボリューションレイヤ(convolution layer)、少なくとも1層デコンボリューションレイヤ(deconvolution layer)を含んでもよく、いくつかの実施形態において、後述される群集化のためのラベリングを行う完全連結レイヤ(fully connected layer)をさらに含んでもよい。ただし、それらは、神経網構造の一例示であるのみ、本発明のいくつかの実施形態により、内リンパ水腫の比率を測定する神経網の構造は、それらに限定されるものではないということに留意する。
【0034】
また、一実施形態において、前述の神経網は、1回の演算を介し、それぞれのフレームイメージに含まれたターゲット内耳器官領域一つだけを抽出することができるが、他の実施形態において、1回の演算を介し、それぞれのフレームイメージに含まれた複数の内耳器官領域全部を抽出することもできる。その場合、内リンパ水腫の比率測定装置は、複数の内耳器官を区別するために、それぞれ異なる色相を利用し、マスクデータを生成することができる。ここで、複数の内耳器官それぞれを区別するための方法は、限定されるものではなく、前述の色相だけではなく、線太、形態などを利用することができるということは、言うまでもない。
【0035】
段階S130において、内リンパ水腫の比率測定装置は、複数のマスクデータを、内耳器官別に群集化させることができる。それぞれのマスクデータは、複数の内耳器官領域が含まれる可能性が高い。従って、本発明のいくつかの実施形態による内リンパ水腫の比率測定装置は、内耳器官別にマスクデータをクラスタリングすることができる。例えば、内リンパ水腫の比率測定装置は、左前庭器官、右前庭器官、左蝸牛殻及び右蝸牛殻それぞれに対応するマスクデータ同士分類することができる。
【0036】
段階S140において、内リンパ水腫の比率測定装置は、所定条件により、内耳器官別の代表イメージ獲得することができる。一実施形態において、内リンパ水腫の比率測定装置は、内耳器官別に群集化されたマスクデータから、当該内耳器官を最も明確に表示する代表イメージを抽出することができる。一実施形態において、内リンパ水腫の比率測定装置は、最大ROI(region of interest)領域を含むマスクデータを、当該内耳器官の代表イメージとして選定することができる。一実施形態において、それぞれのマスクデータは、内耳器官領域に対応するROI領域が表示されうる。従って、本実施形態による内リンパ水腫の比率測定装置は、ROI領域が最大であるマスクデータを、内耳器官を最も明確に表示する代表イメージとして選定することができる。
【0037】
一方、内リンパ水腫の比率測定装置は、段階S150において、内リンパ水腫の比率測定装置は、複数のフレームイメージを利用して合成されたターゲット映像を獲得することができる。本実施形態において、内リンパ水腫の比率測定装置は、内耳器官をさらに正確に検出するために、段階S110で利用した複数のフレームイメージと異なるフォーマットの映像をさらに合成し、ターゲット映像を獲得することができる。例えば、前述の複数のフレームイメージが、脳MRC映像に含まれたフレームイメージである場合、内リンパ水腫の比率測定装置は、前述の脳MRC映像と該hydrops映像とを合成し、ターゲット映像を獲得することができる。その場合、獲得されたターゲット映像は、Hydrops-Mi2(hydrops image multiplied with heavily T2-weighted MRcisternography)フォーマットの映像でもある。さらに具体的には、本実施形態による内リンパ水腫の比率測定装置は、MRC映像とhydrops映像とに対し、ピクセル単位で乗算演算を行い、ターゲット映像を獲得することができる。前述のターゲット映像は、フレームイメージに比べ、明暗比(CNR:contrast-to-noise ratio)がさらに高いのである。ただし、前述の映像のフォーマットは、本発明の理解を容易にするための一例示であるのみ、本発明のいくつかの実施形態によるフレームイメージのフォーマット、及びターゲット映像のフォーマットは、それに限定されるものではないということに留意する。
【0038】
また、本発明のいくつかの実施形態において、段階S150は、前述の段階S110ないし段階S140と独立しても遂行される。従って、段階S110ないし段階S140のうち一つと、段階S150とが同時に遂行されもし、段階S110ないし段階S140よりも段階S150が先に遂行されもし、段階S110ないし段階S140段階後、S150が遂行されもする。
【0039】
段階S160において、内リンパ水腫の比率測定装置は、ターゲット映像と、内耳器官別の代表イメージとを重畳させ、内リンパ水腫の比率測定することができる。一実施形態において、内リンパ水腫の比率測定装置は、生成されたターゲット映像に、段階S140で獲得された代表イメージを重畳させることができる。その後、内リンパ水腫の比率測定装置は、代表イメージを利用し、ターゲット映像に含まれた内耳器官の内リンパ水腫の比率を測定することができる。内リンパ水腫の比率を測定する方法は、以下、
図5でさらに詳細に説明する。
【0040】
以下、
図4を参照し、本発明の一実施形態により、3Dセグメンテーション(segmentation)を利用し、内耳器官の内リンパ水腫の比率を測定する方法について詳細に説明する。
【0041】
段階S210において、内リンパ水腫の比率測定装置は、内耳器官別に群集化された複数のマスクデータを利用し、内耳器官それぞれに対応する3Dセグメンテーションを生成することができる。本実施形態による内リンパ水腫の比率測定装置は、内耳器官と対応する3Dセグメンテーションを生成することができる。その場合、内リンパ水腫の比率測定装置は、
図3に図示された段階S110ないし段階S140とは異なり、代表イメージを獲得する必要がない。従って、本実施形態による内リンパ水腫の比率測定装置は、内耳器官別に群集化された複数のマスクデータを利用し、内耳器官それぞれに対応する1つの3Dセグメンテーションを獲得することができる。例えば、左前庭器官、右前庭器官、左蝸牛殻及び右蝸牛殻認知を基に群集化された複数のマスクデータが獲得された場合、内リンパ水腫の比率測定装置は、左前庭器官、右前庭器官、左蝸牛殻及び右蝸牛殻のそれぞれに対応する3Dセグメンテーションを生成することができる。
【0042】
また、内リンパ水腫の比率測定装置は、段階S150において、複数のフレームイメージを利用し、ターゲット映像を獲得することができる。一方、前述のように、内リンパ水腫の比率測定装置は、段階S150を、前述の段階S210と独立して遂行し、ターゲット映像を獲得することができる。その場合、段階S210と段階S150とが同時にも遂行され、段階S210より段階S150が先に遂行され、段階S210が遂行された後、段階S150が遂行されもする。
【0043】
そして、段階S220において、内リンパ水腫の比率測定装置は、ターゲット映像と3Dセグメンテーションとを重畳させ、内リンパ水腫の比率を測定することができる。一実施形態において、内リンパ水腫の比率測定装置は、ターゲット映像に含まれた複数のフレームイメージフルスタックを利用し、それぞれの内耳器官に対応する3Dデータを生成することができ、前述の3Dデータと、段階S210で獲得した3Dセグメンテーションとを重畳させ、内リンパ水腫の比率を測定することができる。その場合、内リンパ水腫の比率測定装置は、立方骨(cuboid)状の3Dピクセルを利用し、内耳器官の内リンパ水腫の比率を測定することができる。
【0044】
また、本発明のいくつかの実施形態による神経網は、神経網学習段階から、3Dフォーマットのデータを利用し、3Dセグメンテーションを検出することもでき、その場合にも、同様に、内リンパ水腫の比率測定装置は、3Dセグメンテーションに含まれた内耳器官領域を検出することができる。本実施形態において、前述の神経網は、3D CNN構造の神経網でもある。
【0045】
以下、
図5を参照し、本発明の一実施形態により、内リンパ水腫の比率を測定する方法について詳細に説明する。
【0046】
段階S310において、内リンパ水腫の比率測定装置は、ターゲット映像と、内耳器官別の代表イメージとを重畳させ、内リンパ水腫検出イメージ獲得することができる。さらに具体的には、内リンパ水腫の比率測定装置は、前述の代表イメージに対応するターゲット映像のフレームイメージにつき、ROI領域に含まれたピクセルデータを含む内リンパ水腫検出イメージを獲得することができる。
【0047】
その後、段階S320において、内リンパ水腫の比率測定装置は、内リンパ水腫検出イメージに含まれた負値を有するピクセルデータを利用し、内リンパ水腫の比率を測定することができる。本実施形態において、内リンパ水腫の比率測定装置は、前述の内リンパ水腫検出イメージに含まれたROI領域に含まれたピクセルの値を利用し、内リンパ水腫の比率を測定することができる。一実施形態において、内リンパ水腫の比率は、前述のROI領域に含まれたイメージピクセルの個数において、負値を有するピクセルの個数比率を利用しても測定される。
【0048】
以下、
図6を参照し、本発明の一実施形態により、神経網を利用し、複数のマスクデータを獲得する方法について詳細に説明する。
【0049】
一実施形態により、内耳器官を撮影した複数のフレームイメージ210が獲得された後、内リンパ水腫の比率測定装置は、前述の複数のフレームイメージ210を、CNN構造の神経網200に入力し、複数のマスクデータ220を獲得することができる。その場合、神経網から出力された複数のマスクデータ220は、複数のフレームイメージ210それぞれとも対応する。また、マスクデータ221,222それぞれは、1以上の内耳器官領域に対応するROI領域を含んでもよい。一方、内耳器官領域を検出する神経網200は、MRC映像に含まれた複数のフレームイメージ、及び内耳器官領域が表示された複数のマスクデータを利用し、事前学習されうる。
【0050】
内耳器官を撮影した複数のフレームイメージ210は、脳映像に含まれたフレームイメージにおいて、耳領域を撮影したフレームイメージでもある。一実施形態において、内リンパ水腫の比率測定装置は、脳映像に含まれたフレームイメージから、耳領域に対応するフレームイメージのみを獲得することもでき、他の実施形態において、脳映像全体に対するフルスタックイメージをいずれも獲得した後、耳領域に係わる映像パッチを抽出することもでき、さらに他の実施形態において、内リンパ水腫の比率測定装置は、神経網を利用し、脳映像に含まれた複数のフレームイメージから、耳領域を含むフレームイメージ210のみを抽出することもできる。一実施形態において、脳映像から、特定内耳器官に対応する映像パッチを抽出する場合、前述の内耳器官を撮影した複数のフレームイメージは、前記映像パッチに含まれたフレームイメージでもある。例えば、前記脳映像は、脳MRC映像でもあり、内耳器官は、例えば、前庭器官及び/または蝸牛殻を含んでもよい。また、一実施形態において、内リンパ水腫の比率測定装置は、1以上の内耳器官領域が表示されたマスクデータ220を獲得することができる。その場合、マスクデータ220は、CNN基盤の神経網200からも出力される。前述の神経網200は、少なくとも1つのコンボリューションレイヤ、少なくとも1つのデコンボリューションレイヤを含んでもよく、いくつかの実施形態において、後述される群集化のためのラベリングを行う完全連結レイヤをさらに含んでもよい。
【0051】
図7を参照し、本発明のいくつかの実施形態によるフレームイメージとマスクデータとの一例について説明する。
【0052】
図示されたところを参照するとき、本発明の一実施形態による、内リンパ水腫の比率測定装置は、1回の演算を介し、それぞれのフレームイメージに含まれたターゲット内耳器官領域一つだけを抽出することができるが、他の実施形態において、1回の演算を介し、それぞれのフレームイメージに含まれた複数の内耳器官領域全部を抽出することもできる。その場合、内リンパ水腫の比率測定装置は、複数の内耳器官を区別するために、それぞれ異なる色相を利用し、マスクデータを生成することができる。ここで、複数の内耳器官それぞれを区別するための方法は、限定されるものではなく、前述の色相だけではなく、線太、形態などを利用することができるということは、言うまでもない。
【0053】
また、一実施形態による内リンパ水腫の比率測定装置は、複数のマスクデータを、内耳器官別に群集化させることができる。それぞれのマスクデータは、複数の内耳器官領域が含まれる可能性が高い。従って、本発明のいくつかの実施形態による内リンパ水腫の比率測定装置は、内耳器官別に、マスクデータをクラスタリングすることができる。例えば、内リンパ水腫の比率測定装置は、左前庭器官、右前庭器官、左蝸牛殻及び右蝸牛殻のそれぞれに対応するマスクデータ同士分類することができる。
【0054】
その後、内リンパ水腫の比率測定装置は、所定条件により、内耳器官別の代表イメージ獲得することができる。一実施形態において、内リンパ水腫の比率測定装置は、内耳器官別に群集化されたマスクデータから、当該内耳器官を最も明確に表示する代表イメージを抽出することができる。該代表イメージを選定するための前述の所定条件は、獲得されたフレームイメージ、内耳器官またはユーザの目的により、多様にも設定される。一実施形態において、内リンパ水腫の比率測定装置は、最大ROI領域を含むマスクデータを、当該内耳器官の代表イメージとして選定することができる。一実施形態において、それぞれのマスクデータは、内耳器官領域に対応するROI領域が表示されうる。従って、本実施形態による内リンパ水腫の比率測定装置は、ROI領域が最大であるマスクデータを、内耳器官を最も明確に表示する代表イメージとして選定することができる。
【0055】
例えば、
図7に図示されているように、左蝸牛殻のフレームイメージ(a)を基に獲得された左蝸牛殻の代表イメージ(a’)は、左蝸牛殻に対応する最大のROI領域を含み、左前庭器官のフレームイメージ(b)を基に獲得された左前庭器官の代表イメージ(b’)は、右前庭器官に対応する最大のROI領域を含み、右蝸牛殻のフレームイメージ(c)を基に獲得された右蝸牛殻の代表イメージ(c’)は、右蝸牛殻に対応する最大のROI領域を含み、右前庭器官のフレームイメージ(d)を基に獲得された右前庭器官の代表イメージ(d’)は、右前庭器官に対応する最大のROI領域を含むのである。
【0056】
以下、
図8を参照し、本発明のいくつかの実施形態によってターゲット映像を獲得する方法について詳細に説明する。
【0057】
一実施形態による内リンパ水腫の比率測定装置は、段階S150(
図4)において、内リンパ水腫の比率測定装置は、複数のフレームイメージを利用して合成されたターゲット映像を獲得することができる。本実施形態において、内リンパ水腫の比率測定装置は、内耳器官をさらに正確に検出するために、複数のフレームイメージと異なるフォーマットの映像をさらに合成し、ターゲット映像を獲得することができる。例えば、前述の複数のフレームイメージが、脳MRC映像301に含まれたフレームイメージである場合、内リンパ水腫の比率測定装置は、内耳器官を撮影した映像のうち、前述のMRC映像301と異なるフォーマットの映像と、前述のMRC映像301を介して獲得された複数のフレームイメージとを合成することができる。例えば、内リンパ水腫の比率測定装置は、前述の脳MRC映像301とhydrops映像302を合成し、ターゲット映像300を獲得することができる。その場合、獲得されたターゲット映像300は、Hydrops-Mi2フォーマットの映像でもある。さらに具体的には、本実施形態による内リンパ水腫の比率測定装置は、MRC映像301とhydrops映像302をピクセル単位で乗算演算を行い、ターゲット映像を獲得することができる。前述のターゲット映像は、フレームイメージに比べ、明暗比(CNR)がさらに高いのである。ただし、前述の映像のフォーマットは、本発明の理解を容易にするための一例示であるのみ、本発明のいくつかの実施形態によるフレームイメージのフォーマット、及びターゲット映像のフォーマットは、それに限定されるものではないということに留意する。
【0058】
図9は、本発明のいくつかの実施形態により、内耳器官を検出し、内リンパ水腫の比率を測定する方法を図示した図面である。
【0059】
一実施形態による内リンパ水腫の比率測定装置は、ターゲット映像300と内耳器官別の代表イメージ310,320とを重畳させ、内耳器官別に、内リンパ水腫検出イメージ311,321を獲得することができる。さらに具体的には、内リンパ水腫の比率測定装置は、前述の代表イメージ310,320に対応するターゲット映像300のフレームイメージにつき、代表イメージに含まれた内耳器官領域に対応するROI領域のピクセルデータを獲得することができる。一実施形態において、内リンパ水腫の比率測定装置は、第1内耳器官の代表イメージ310と、ターゲット映像300とを利用し、第1内リンパ水腫検出イメージ311を獲得する段階と、第2内耳器官の代表イメージ320と、ターゲット映像300とを利用し、第2内リンパ水腫検出イメージ321を獲得する段階と、を順次に遂行することもでき、同時に遂行することもできるということは、言うまでもない。
【0060】
その後、内リンパ水腫の比率測定装置は、内リンパ水腫検出イメージ311,321に含まれた負値を有するピクセルデータを利用し、内リンパ水腫の比率測定することができる。本実施形態において、内リンパ水腫の比率測定装置は、前述の内リンパ水腫検出イメージ311,321に含まれたROI領域に含まれたピクセルの値を利用し、内リンパ水腫の比率を測定することができる。一実施形態において、内リンパ水腫の比率は、前述のROI領域に含まれたイメージピクセルの個数において、負値を有するピクセルの個数比率を利用しても測定される。
【0061】
以下、
図10を参照し、本発明の他の実施形態により、内耳器官に対応する3Dセグメンテーションを利用し、内耳器官の内リンパ水腫の比率を測定する方法について詳細に説明する。
【0062】
一実施形態において、内リンパ水腫の比率測定装置は、内耳器官別に群集化された複数のフレームイメージ210を利用し、内耳器官それぞれに対応する3Dセグメンテーション410,420を生成することができる。本実施形態による、内リンパ水腫の比率測定装置は、内耳器官と対応する3Dセグメンテーションを生成することができる。その場合、内リンパ水腫の比率測定装置は、前述の実施形態と異なり、内耳器官別の代表イメージを獲得する必要がない。従って、本実施形態による内リンパ水腫の比率測定装置は、内耳器官別に群集化された複数のフレームイメージ210を重畳させ、内耳器官それぞれに対応する1つの3Dセグメンテーション410,420を獲得することができる。例えば、左前庭器官、右前庭器官、左蝸牛殻及び右蝸牛殻であるかということを基に群集化された複数のマスクデータが獲得された場合、内リンパ水腫の比率測定装置は、左前庭器官、右前庭器官、左蝸牛殻及び右蝸牛殻のそれぞれに対応する3Dセグメンテーションを生成することができる。
【0063】
また、本発明のいくつかの実施形態による神経網は、神経網学習段階から、3Dフォーマットのデータを利用し、3Dセグメンテーションを検出することもでき、その場合にも、同様に、内リンパ水腫の比率測定装置は、3Dセグメンテーションに含まれた内耳器官領域を検出することができる。本実施形態において、前述の神経網は、3D CNN構造の神経網でもある。
【0064】
一方、他の実施形態において、内リンパ水腫の比率測定装置は、神経網から出力された複数のマスクデータを利用し、3Dセグメンテーションを獲得することもできる。その場合、内リンパ水腫の比率測定装置は、前述のマスクデータに含まれた内耳器官のROI領域を中心に、3Dセグメンテーションを生成することができる。
【0065】
以下、後述される3Dセグメンテーションは、3D CNNを介してROI領域が検出されるか、あるいはROI領域を含む複数のマスクデータを利用して生成されたものであるかということを仮定して説明する。
【0066】
内リンパ水腫の比率測定装置は、ターゲット映像300と3Dセグメンテーション410,420とを重畳させ、内リンパ水腫の比率を測定することができる。一実施形態において、内リンパ水腫の比率測定装置は、ターゲット映像300に含まれた複数のフレームイメージフルスタックを利用し、それぞれの内耳器官に対応する3Dデータを生成することができ、前述の3Dデータと3Dセグメンテーション410,420とを重畳させ、内リンパ水腫の比率を測定することができる。その場合、内リンパ水腫の比率測定装置は、3Dピクセルを利用し、内耳器官の内リンパ水腫の比率を測定することができる。その場合、3Dピクセルの形態は、六面体状でもあるが、それは一例示であるのみ、3Dピクセルを利用し、内耳器官に対応する3D客体の体積測定を介し、内リンパ水腫の比率が測定されうるということは、言うまでもない。
【0067】
以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、並びに/またはハードウェア構成要素及びソフトウェア構成要素の組み合わせによっても具現される。例えば、実施形態において、説明された装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる他のあらゆる装置のように、1以上の汎用コンピュータまたは特殊目的コンピュータを利用しても具現される。処理装置は、オペレーションシステム(OS)、及びオペレーションシステム(OS)上で遂行される1以上のソフトウェアアプリケーションを遂行することができる。また、該処理装置は、ソフトウェアの実行に応答し、データに/をアクセス/保存・操作・処理及び生成することもできる。理解の便宜のために、該処理装置は、一つが使用されるように説明されてもいるが、当該技術分野で当業者であるならば、該処理装置が複数個の処理要素(processing element)、及び/または複数類型の処理要素を含んでもよいということが分かるであろう。例えば、該処理装置は、複数個のプロセッサ、または1つのプロセッサ、及び1つのコントローラを含んでもよい。また、並列プロセッサ(parallel processor)のような、異なる処理構成(processing configuration)も可能である。
【0068】
該ソフトウェアは、コンピュータプログラム、コード、命令、またはそれらのうち1以上の組み合わせを含んでもよく、所望次第に動作するように処理装置を構成するか、あるいは独立的または結合的に(collectively)処理装置に命令を与えることができる。ソフトウェア及び/またはデータは、処理装置によって解釈されるか、あるいは処理装置に命令またはデータを提供するために、いかなる類型の機械、構成要素(component)、物理的装置、仮想装置(virtual equipment)、コンピュータ記録媒体またはその装置、あるいは伝送される信号波(signal wave)にも、永久または一時的に具体化(embody)されもする。該ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法により、保存されたり実行されたりもする。該ソフトウェア及び該データは、1以上のコンピュータで読み取り可能な記録媒体にも保存される。
【0069】
一実施形態による方法は、多様なコンピュータ手段を介しても遂行されるプログラム命令形態に具現され、コンピュータで読み取り可能な媒体にも記録される。コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを、単独または組み合わせて含んでもよい。媒体に記録されるプログラム命令は、一実施形態のために特別に設計されて構成されたものでもあり、コンピュータソフトウェア当業者に公知されて使用可能なものでもある。コンピュータで読み取り可能な記録媒体の例には、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体(magnetic media);CD-ROM(compact disc read only memory)、DVD(digital versatile disc)のような光記録媒体(optical media);フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical media);及びROM、RAM)、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行されうる高級言語コードを含む。前述のハードウェア装置は、本実施形態の動作を遂行するために、1以上のソフトウェアモジュールとして作動するようにも構成され、その逆も同様である。
【0070】
以上のように、本実施形態が、たとえ限定された実施形態と図面とによって説明されたにしても、当該技術分野で当業者であるならば、前述の記載から、多様な修正及び変形が可能であろう。例えば、説明された技術が、説明された方法と異なる順序によって遂行され、かつ/または説明されたシステム、構造、装置、回路のような構成要素が、説明された方法と異なる形態で結合または組み合わされるか、他の構成要素または均等物によって代置されたり置換されたりしても、適切な結果が達成されうる。
【0071】
従って、他の具現、他の実施形態、及び特許請求の範囲と均等なものも、特許請求の範囲の範疇に属する。
【符号の説明】
【0072】
10 脳映像から獲得されたフレームイメージ
20 耳領域に係わるフレームイメージ
30 神経網
40 マスクデータ
50 脳映像とは異なるフォーマットの映像
60,300 ターゲット映像
70 ピクセルデータ
100 内リンパ水腫比率測定装置
101 メモリ
102 プロセッサ
103 入出力インターフェース
104 通信モジュール
220 CNN構造の神経網
210 フレームイメージ
220 複数のマスクデータ
221,222 それぞれのマスクデータ
301 脳MRS映像
302 Hydrops映像
310,320 内耳器官別代表イメージ
311,321 内リンパ水腫検出イメージ
410,420 3Dセグメンテーション