特許 6980309 再構成された画像群に基づく画像提供方法およびこれを利用した装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6980309

(24)【登録日】2021年11月19日

(45)【発行日】2021年12月15日

(54)【発明の名称】再構成された画像群に基づく画像提供方法およびこれを利用した装置

(51)【国際特許分類】

   A61B 6/03 20060101AFI20211202BHJP

【ＦＩ】

   A61B6/03 360M

【請求項の数】15

【全頁数】16

(21)【出願番号】特願2020-134933(P2020-134933)

(22)【出願日】2020年8月7日

(65)【公開番号】特開2021-30075(P2021-30075A)

(43)【公開日】2021年3月1日

【審査請求日】2020年8月7日

(31)【優先権主張番号】10-2019-0098920

(32)【優先日】2019年8月13日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】520047532

【氏名又は名称】ビュノ インコーポレイテッド

【氏名又は名称原語表記】ＶＵＮＯ， ＩＮＣ．

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(74)【代理人】

【識別番号】100170900

【弁理士】

【氏名又は名称】大西 渉

(72)【発明者】

【氏名】ベ ウン

(72)【発明者】

【氏名】イ スンホ

【審査官】 井上 香緒梨

(56)【参考文献】

【文献】 特開２０１７−１９６３００（ＪＰ，Ａ）

【文献】 国際公開第２０１９／１４３１７７（ＷＯ，Ａ１）

【文献】 特表２０１６−５１４５３３（ＪＰ，Ａ）

【文献】 特開２００２−３０１０６５（ＪＰ，Ａ）

【文献】 特開２００４−０８９５０７（ＪＰ，Ａ）

【文献】 特開２００５−１３１２８７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０１８３５６４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００−６／１４

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

コンピュータ装置が実行する画像提供方法であって、
前記コンピュータ装置が、被写体に属する第１スライス厚の第１画像を取得する段階と、
前記コンピュータ装置が、前記被写体に属する前記第１スライス厚より薄い第２スライス厚の第２画像を取得する段階であって、前記第２画像は、複数の第２画像セットを含み、前記第２画像セットのそれぞれは、前記第１画像および前記第２画像間のマッチング関係が
（ｉ）前記第２画像セットのそれぞれは、前記第２画像セットのそれぞれの先頭画像を基準として、前記第１画像の個別の一画像にマッチングされ、
（ｉｉ）前記第２画像セットのそれぞれ内の複数の画像は、相互の位置関係に基づいて整列されている、
ことに基づいて作成されるように、対応する一つの第１画像からニューラルネットワークに基づいて生成され、且つ、一データベースに格納されている複数の画像を含む、第２画像を取得する段階と、
前記コンピュータ装置が、前記第１画像および前記第２画像の一画像を提供する段階と、
前記コンピュータ装置が、第１入力に応じ、前記第１入力に与えられた方向性に基づき、現在の閲覧画像を次の閲覧に提供されるように定められた画像に更新する第１プロセス、および第２入力に応じ、前記現在の閲覧画像を第１画像および対応する第２画像の間で前記第１画像および前記第２画像間の前記マッチング関係に基づいて切り換える第２プロセスを実行する段階と、
を含む、画像提供方法。

【請求項2】

前記第２画像セットのそれぞれは、前記第１画像および前記第２画像の識別番号に基づいて、前記対応する第１画像にマッチングされている、
請求項１に記載の画像提供方法。

【請求項3】

前記ニューラルネットワークは、トレーニングデータとして、それぞれが前記第１スライス厚の第１トレーニング画像および前記第２スライス厚の第２トレーニング画像を含む複数のトレーニング画像ペアを使用することによって予めトレーニングされているニューラルネットワークを含む、
請求項１又は２に記載の画像提供方法。

【請求項4】

前記実行する段階は、トグルキー方式による前記第２入力に基づいて前記第２プロセスを実行する、
請求項１から３のいずれか一項に記載の画像提供方法。

【請求項5】

前記実行する段階は、前記第２入力に対応する所定のユーザ入力が維持される間、前記第２プロセスを実行する、
請求項１から４のいずれか一項に記載の画像提供方法。

【請求項6】

コンピュータ装置が実行する画像提供方法であって、
前記コンピュータ装置が、第１スライス厚に対応する、被写体に属する第１画像を第１ユーザ入力の方向性にしたがい、対応する位置順に提供する段階と、
前記コンピュータ装置が、第２ユーザ入力を受信する場合、第２スライス厚に対応する、前記被写体に属する第２画像を、前記第１画像および前記第２画像のマッチング関係に基づいて、前記第２ユーザ入力を受信する時点で提供されている第１画像の位置に対応する第２画像から開始して、前記方向性にしたがい、対応する位置順に提供する段階と、
を含み、
前記第２スライス厚は、前記第１スライス厚より薄く、
前記第２画像は複数の第２画像セットを含み、前記第２画像セットのそれぞれは、対応する一つの第１画像からニューラルネットワークに基づいて生成される複数の画像を含み、且つ、前記生成される画像を一データベースに格納することにより、前記第１画像および前記第２画像間の前記マッチング関係が
（ｉ）前記第２画像セットのそれぞれは、前記第２画像セットのそれぞれの先頭画像を基準として、前記第１画像の個別の一画像にマッチングされ、
（ｉｉ）前記第２画像セットのそれぞれ内の複数の画像は、相互の位置関係に基づいて整列されている、
ことに基づいて提供されている、画像提供方法。

【請求項7】

前記第２画像セットのそれぞれは、前記第２画像セットのそれぞれの先頭画像を基準として、前記第１画像の前記個別の一画像にマッチングされる、請求項６に記載の画像提供方法。

【請求項8】

前記第２ユーザ入力の受信に応じて開始画像として提供される前記第２画像は、前記第２ユーザ入力の受信時点で提供されている第１画像の前記位置に対応する第２画像セットの先頭画像である、請求項６又は７に記載の画像提供方法。

【請求項9】

前記複数の第２画像は、前記複数の第２画像および前記対応する第１画像の識別番号に基づいて、前記対応する第１画像にマッチングされている、請求項６から８のいずれか一項に記載の画像提供方法。

【請求項10】

前記ニューラルネットワークは、トレーニングデータとして、それぞれが前記第１スライス厚の第１トレーニング画像および前記第２スライス厚の第２トレーニング画像を含む複数のトレーニング画像ペアを使用することによって予めトレーニングされているニューラルネットワークを含む、請求項６から９のいずれか一項に記載の画像提供方法。

【請求項11】

対応する位置の昇べきの順で前記第２画像群の前記第２画像が提供される過程において前記方向性が変更される場合、前記対応する位置の降べきの順で前記第２画像群の前記第２画像を提供し、
対応する位置の降べきの順で前記第２画像群の前記第２画像が提供される過程において前記方向性が変更される場合、前記対応する位置の昇べきの順で前記第２画像群の前記第２画像を提供する段階、
をさらに含む、請求項６から１０のいずれか一項に記載の画像提供方法。

【請求項12】

前記第２画像群の前記第２画像を提供する前記段階は、前記第２ユーザ入力が維持される間、前記第２画像群の前記第２画像を順に提供し、
前記第２ユーザ入力が終了する場合、終了時点に提供される第２画像に対応する前記第１画像群の第１画像から始まる、前記第１画像群の前記第１画像を前記方向性に基づいて順に提供する、請求項６から１１のいずれか一項に記載の画像提供方法。

【請求項13】

前記第２画像群の前記第２画像を前記方向性にしたがい、対応する位置順に提供する前記段階は、
前記第２ユーザ入力を追加で受信する場合、前記第２ユーザ入力を追加で受信した時点に提供する第２画像に対応する前記第１画像群の第１画像から始まる、前記第１画像群の前記第１画像を前記方向性に基づいて順に提供する、請求項６から１２のいずれか一項に記載の画像提供方法。

【請求項14】

コンピュータ装置が、請求項１〜１３のうちのいずれか一項に記載の画像提供方法を実行するように実現された命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む、機械読み取り可能な非一時的な記録媒体に記録された、コンピュータプログラム。

【請求項15】

画像を提供するコンピュータ装置であって、
ユーザ入力を受信する通信部と、
請求項１から１３のいずれか一項に記載の前記画像提供方法を実行するプロセッサと、
を含む、コンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像提供方法およびこれを利用した装置に関する。

【背景技術】

【0002】

現在、病変を分析するための診断として、ＣＴ（コンピュータ断層撮影）技術を利用した画像検査が広く行われている。ＣＴ画像を構成する個別の画像は、所定のスライス厚の物体を平面投影（ｐｒｏｊｅｃｔｉｏｎ）したものであるが、このような個別の画像の厚さは、便宜上、ＣＴ画像のスライス厚と呼ばれる。例えば、５ｍｍのスライス厚の画像は、物理的に５ｍｍのスライス厚をもつ空間情報を１つの画像として合わせたものであるため画像がはっきりせず、すなわち、画像の質が低い。

【0003】

ＣＴ画像の厚さは、ＣＴ読影の目的と環境に応じて異なるように再構成されるが、スライス厚が薄いほど画像の質が良くて細かな読影を可能にする反面、ＣＴ画像の枚数が多くなり、読影に多くの時間がかかる。さらに、スライス厚が薄い画像を保存するためには、大きな保存領域が必要となる。

【0004】

通常の胸部ＣＴ画像の場合は、以後の読影の効率性と保存領域の節減のために５ｍｍのスライス厚の画像をデータベースに保存する場合が多いが、５ｍｍのスライス厚の画像において、５ｍｍ未満の小さな結節は、画像的特性により破損する可能性が高い。したがって、正確な検診のために、５ｍｍのスライス厚のＣＴ画像とこれよりも薄いＣＴ画像を交互に確認することのできる効果的なインタフェースが求められている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ｃｈａｏ Ｄｏｎｇ ｅｔａｌ．著、「Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ」、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０１．０００９２ｖ３、２０１５

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、相対的に厚いスライス厚に対応する画像と薄いスライス厚に対応する画像を効果的に切り換えて閲覧することができるインタフェースを提供することを目的とする。

【0007】

本発明は、厚いスライス厚に対応する画像群の画像から薄いスライス厚に対応する画像群の画像を生成し、厚いスライス厚の画像群の画像と薄いスライス厚の画像群の画像を自由に切り換えることのできる手段を提供することにより、医師がより正確な診断結果を導き出せるように補助するだけでなく、読影補助システムによる分析の正確度を高めることを目的とする。

【課題を解決するための手段】

【0008】

上述したような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成について、以下のように説明する。

【0009】

本発明の一実施形態（ａｓｐｅｃｔ）によると、コンピュータ装置が実行する画像提供方法は、（ａ）前記コンピュータ装置が、被写体に属する第１スライス厚の連続的な体積に対して生成された一連の画像のうちの少なくとも一部を含む第１画像群を取得するか、前記コンピュータ装置と連動する他の装置が前記第１画像群を取得するように支援する段階、（ｂ）前記コンピュータ装置が、前記第１画像群のうちの一画像または前記被写体に属する第２スライス厚の連続的な体積に対して生成される一連の画像を含む第２画像群のうちの一画像を現在の閲覧画像として提供するか、前記コンピュータ装置と連動する他の装置が提供するように支援する段階、（ｃ）前記コンピュータ装置が、入力装置の第１特定入力に応じ、前記第１特定入力に与えられた方向性に基づき、前記現在の閲覧画像として提供される画像を次の閲覧に提供されるように定められた個別の画像に繰り返し更新するか、前記他の装置が更新するように支援する（ｃ１）プロセス、および前記入力装置の第２特定入力に応じ、前記現在の閲覧画像を前記第１画像群に属する画像と前記第２画像群に属する画像との間で切り換えるか、前記他の装置が切り換えるように支援する（ｃ２）プロセスを実行する段階を含む。

【0010】

好ましくは、前記第２スライス厚は、前記第１スライス厚よりも薄くてよい。

【0011】

好ましくは、前記第１画像群は、前記被写体に属する第１スライス厚の連続的な体積に対して生成された一連の画像のうちの少なくとも一部を平面に投影することによって生成され、前記第２画像群は、ＳＲ（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）により、前記第１画像群から生成されてよい。

【0012】

本発明の他の実施形態によると、コンピュータ装置が、本開示書に示された方法を実行するように実現された命令語を含むコンピュータプログラムが提供される。

【0013】

本発明のさらに他の実施形態によると、互いに異なるスライス厚の被写体情報に基づいて生成された画像を提供するコンピュータ装置が提供されるが、前記コンピュータ装置は、ユーザ入力を受信する通信部、および第１スライス厚の連続的な体積に対して生成された一連の画像のうちの少なくとも一部を含む第１画像群を取得するか、前記コンピュータ装置と連動する他の装置が前記第１画像群を取得するように支援するプロセス、前記第１画像群のうちの一画像または前記被写体に属する第２スライス厚の連続的な体積に対して生成される一連の画像を含む第２画像群のうちの一画像を現在の閲覧画像として提供するか、前記コンピュータ装置と連動する他の装置が提供するように支援するプロセス、入力装置の第１特定入力に応じ、前記第１特定入力に与えられた方向性に基づき、前記現在の閲覧画像として提供される画像を次の閲覧に提供されるように定められた個別の画像に繰り返し更新するか、前記他の装置が更新するように支援するプロセス、および前記入力装置の第２特定入力に応じ、前記現在の閲覧画像を前記第１画像群に属する画像と前記第２画像群に属する画像との間で切り換えるか、前記他の装置が切り換えるように支援するプロセスを実行するプロセッサを含む。

【発明の効果】

【0014】

本発明の一実施形態によると、読影者が、薄いスライス厚に対応する画像が必要でないと判断した領域に対しては厚いスライス厚に対応する画像を用いることで読影の速度を高め、より精密な判断が求められる領域に対しては再構成された薄いスライス厚の画像を用いて読影を行うようにするインタフェースにより、読影の正確度を高めるとともに、読影にかかる時間を節減する効果がある。

【0015】

すなわち、本発明によると、最終的には、医療スタッフが診断にかける時間を節約して読影の速度と質を高め、医療現場におけるワークフロー（ｗｏｒｋ ｆｌｏｗ）の発展に繋がる潜在的な効果が期待できる。

【0016】

さらに、本発明は、従来から病院で利用されてきた医療画像、例えば、３次元的に取得される超音波画像やＭＲＩ画像などにもそのまま活用可能であるため、本発明の方法が特定の形式の画像やプラットフォームに従属するものではない。

【図面の簡単な説明】

【0017】

本発明の実施形態をより詳しく説明するために添付された図面は、本発明の実施形態の一部に過ぎず、本発明が属する技術分野において通常の知識を有する者（以下、「当業者」とする）であれば、このような図面から他の図面を容易に得ることができるであろう。

【図1】本発明における、画像提供方法を実行するコンピュータ装置の構成の一例を概略的に示した図である。

【図2】本発明における、画像提供方法を実行するコンピュータ装置のハードウェアまたはソフトウェアの構成要素の一例を示したブロック図である。

【図3】一実施形態における、画像提供方法を説明するためのフローチャートである。

【図4】一実施形態における、第２画像群の画像が生成されて保存される方式を説明するための図である。

【図5】一実施形態における、コンピュータ装置による画像提供方法が適用された一例を示した図である。

【発明を実施するための形態】

【0018】

後述する本発明の詳細な説明は、本発明の目的、技術的解法、ならびに長所を明確にするために、発明を実施することのできる特定の実施形態を例示した添付の図面を参照しながら説明する。これらの実施形態は、当業者が本発明を実施することができるように詳しく説明される。

【0019】

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「画像」または「画像データ」は、離散的な画像要素（例えば、２次元画像ではピクセル、３次元画像ではボクセル）で構成された多次元データを意味する。例えば、「画像」は、コーンビーム（ｃｏｎｅ−ｂｅａｍ）コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、超音波、または本発明の技術分野において公知の任意の他の医療画像システムによって収集された被写体、すなわち、被検体（ｓｕｂｊｅｃｔ）の医療画像であってよい。また、画像は、非医療的な脈絡で提供されるものであってもよく、例えば、リモートセンシングシステム（ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｓｙｓｔｅｍ）や電子顕微鏡（ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｙ）などが挙げられてよい。

【0020】

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「画像」とは、（例えば、ビデオ画面に表示された）肉眼で確認することのできる画像、または（例えば、ＣＴ、ＭＲＩ検出器などのピクセル出力に対応するファイルのような）画像のデジタル表現物を意味する用語である。

【0021】

説明の便宜のために、添付の図面では、コーンビーム断層撮影（Ｃｏｎｅ−Ｂｅａｍ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＢＣＴ）の画像データを例示的な画像形式（ｍｏｄａｌｉｔｙ）として示した。しかし、当業者であれば、本発明の多様な実施形態で利用される画像形式が、Ｘ線画像、ＭＲＩ、ＣＴ、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）、ＰＥＴ−ＣＴ、ＳＰＥＣＴ、ＳＰＥＣＴ−ＣＴ、ＭＲ−ＰＥＴ、３Ｄ超音波画像などを含み、３次元的画像およびこれから派生するスライス画像であれば、例示的に挙げられた形式に限定されないという点を理解することができるであろう。

【0022】

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ：医療用デジタル画像および通信）」標準は、医療用機器においてデジタル画像表現と通信に利用される多様な標準を総称した用語であり、これは米国放射線医会（ＡＣＲ）と米国電機工業会（ＮＥＭＡ）で構成された連合委員会で発表された。

【0023】

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「医療用画像保存通信システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）」は、ＤＩＣＯＭ標準に合うように保存、加工、通信を行うシステムを意味するものであり、Ｘ線、ＣＴ、ＭＲＩのようなデジタル医療画像装備から得られた医療画像はＤＩＣＯＭ形式で保存され、ネットワークを介して病院内外の端末に送信可能であり、これに読影結果や診療記録が追加されてもよい。

【0024】

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「学習」あるいは「ラーニング」は、順序を踏んだコンピューティング（ｃｏｍｐｕｔｉｎｇ）によって機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を実行することを意味するものであり、人間の教育活動のような精神的作用を意味するものではないということは、当業者であれば容易に理解することができるであろう。

【0025】

本明細書の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「含む」という単語とこの変形は、他の技術的特徴、付加物、構成要素、または段階を除外することを意図するものではない。さらに、「１つ」または「１」は１つ以上という意味で使用されるものであり、「また他の」は少なくとも２番目以上に限定される。

【0026】

当業者であれば、本発明の他の目的、長所、および特性が、一部は本説明書から、さらに一部は本発明の実施形態から、明らかにすることが可能であろう。以下で説明する例示および図面は実施形態として提供されるが、これによって本発明が限定されることはない。したがって、特定の構造や機能に関し、本発明で開示する詳細事項が限定的な意味として解釈されてはならず、当業者が実質的に適切な任意の詳細構造として本発明を多様に実施できるように指針を提供するための代表的な基礎資料として解釈されなければならない。

【0027】

また、本発明は、本明細書に表示される実施形態のすべての可能な組み合わせを含む。本発明の多様な実施形態は、互いに異なるが、互いに排他的である必要はないことが理解されなければならない。例えば、ここに記載されている特定の形状、構造、および特性は、一実施形態に関連するものであり、本発明の思想および範囲を逸脱しない限り、他の実施形態によって実現されてよい。また、開示されるそれぞれの実施形態内の個別の構成要素の位置または配置は、本発明の思想および範囲を逸脱しない限り、変更可能であることが理解されなければならない。したがって、後述する詳細な説明は、限定的な意味として解釈されてはならず、本発明の範囲は、適切に説明されるのであれば、特許請求の範囲が主張するものと均等なすべての範囲とともに、添付の特許請求の範囲によってのみ限定される。図面における類似の参照符号は、多側面にわたって同一あるいは類似の機能を示す。

【0028】

本明細書において異なって表示されるか文脈において明らかに矛盾しない限り、単数で示される項目は、その文脈で特別な要求がない限り、複数の意味合いも含む。さらに、本発明の説明において、関連する公知の構成または機能についての具体的な説明が本発明の要旨を不明瞭にし得ると判断される場合には、これについての詳細な説明は省略する。

【0029】

以下、当業者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について、添付の図面を参照しながら詳細に説明する。

【0030】

図１は、本発明における、画像提供方法を実行するコンピュータ装置の構成の一例を概略的に示した概念図である。

【0031】

図１を参照すると、本発明の一実施形態に係るコンピュータ装置１００は、通信部１１０およびプロセッサ１２０を含み、前記通信部１１０を通じて外部コンピュータ装置（図示せず）と直接的あるいは関接的に通信してよい。

【0032】

具体的に、前記コンピュータ装置１００は、典型的なコンピュータハードウェア（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力／出力装置、その他の従来のコンピュータ装置の構成要素を含むことができる装置、ルータ、スイッチなどのような電子通信装置、ネットワークアタッチトストレージ（Ｎｅｔｗｏｒｋ−Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ：ＮＡＳ）およびストレージエリアネットワーク（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＳＡＮ）のような電子情報ストレージシステム）とコンピュータソフトウェア（すなわち、コンピュータ装置が特定の方式によって機能するようにする命令語）との組み合わせを利用することによって所望するシステム性能を達成するものであってよい。

【0033】

このようなコンピュータ装置の通信部１１０は、連動する他のコンピュータ装置と要求および応答を送受信してよく、一例として、このような要求と応答は、同一のＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）セッション（ｓｅｓｓｉｏｎ）によって実行されてよいが、これに限定されることはなく、例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）データグラム（ｄａｔａｇｒａｍ）として送受信されてもよい。さらに広い意味での前記通信部１１０として、命令語または指示などを伝達するためのキーボード、マウス、その他の外部入力装置、プリンタ、ディスプレイ、その他の外部出力装置が含まれてもよい。

【0034】

また、コンピュータ装置のプロセッサ１２０は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（ｃａｃｈｅ ｍｅｍｏｒｙ）、データバス（ｄａｔａ ｂｕｓ）などのハードウェア構成を含んでよい。さらに、オペレーティングシステムや、特定の目的を実行するアプリケーションのソフトウェア構成をさらに含んでもよい。

【0035】

図２は、本発明における、画像提供方法を実行するコンピュータ装置のハードウェアまたはソフトウェア構成要素の一例を示したブロック図である。

【0036】

図２に示された個別のモジュールは、例えば、コンピュータ装置１００に含まれた通信部１１０やプロセッサ１２０、または前記通信部１１０およびプロセッサ１２０の連動によって実現されてよいことは、当業者であれば理解できるであろう。

【0037】

図２を参照しながら、本発明に係る方法および装置の構成について簡単に説明すると、コンピュータ装置１００は、構成要素として、画像取得モジュール２１０を含んでよい。画像取得モジュール２１０は、データベースに予め保存されているか画像撮影のための専用機器から取得される、第１画像群に含まれる画像を取得してよい。第１画像群に含まれる画像は、被写体に属する第１スライス厚の連続的な体積を平面に投影することによって生成された画像であってよい。第１画像群の画像は、被写体の軸位像（ａｘｉａｌ ｉｍａｇｅ）であってよい。また、添付の図面では、説明の便宜上、胸部のＣＴ画像に基づいて第１画像群および第２画像群の画像が生成されることを例示しているが、これに限定されることはなく、一般的な３次元医療画像すべてに適用可能であるという点が理解できるであろう。第１画像群に属する画像は、保存領域を節約し、一般的に読影速度を高めるために比較的厚い第１スライス厚の体積の情報に基づいて生成された画像であってよい。

【0038】

取得された第１画像群の画像は画像生成モジュール２２０に伝達されてよく、画像生成モジュール２２０は、伝達された画像に基づいて少なくとも１つの第２画像群の画像を生成してよい。第２画像群の画像は、第１スライス厚に比べて薄い第２スライス厚に対応する画像であってよい。

【0039】

画像生成モジュール２２０は、大量の第１画像群の画像と、これに対応する第２画像群の画像に基づいて学習された人工ニューラルネットワークを含んでよい。画像生成モジュール２２０は、第１画像群の画像から抽出された特徴に合った第２画像群の画像を再生成する構成からなるが、その一例として、第１画像群の画像から第２画像群の画像を生成するように構成された深層ニューラルネットワークである完全畳み込みニューラルネットワークを利用してよい。また、画像生成モジュール２２０は、第１スライス厚および第２スライス厚をパラメータとして受け、受信した第１画像群の画像から第２スライス厚に対応する第２画像群の画像を生成するように学習されてよい。このような画像生成モジュール２２０は、第１スライス厚の第１訓練用画像および第２スライス厚の第２訓練用画像を含む複数の訓練用画像の対を訓練データとして利用して予め学習されたものであってよい。

【0040】

一方、低い解像度の画像を高い解像度の画像に変換する、すなわち、解像度を高める技法であるＳＲ（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ：超解像）が可能であるという点は広く知られているが、このＳＲは、例えば、非特許文献１（Ｃｈａｏ Ｄｏｎｇ ｅｔａｌ．著、「Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ」、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０１．０００９２ｖ３、２０１５）に例示されたとおりである。この文献で説明されたＳＲの技法も、入力画像の特徴を抽出し、特徴に合った出力画像を再生成するものであるため、当業者であれば、ＳＲ技法の適用によって第２画像群の画像が生成可能であるという点を理解することができるであろう。

【0041】

画像保存および送信モジュール２３０は、生成された第２画像群の画像を保存してよい。画像保存および送信モジュール２３０は、第２画像群の画像を、生成の基となった第１画像群の画像にマッチングしてデータベースに保存してよい。また、画像保存および送信モジュール２３０は、生成された第２画像群の画像間の相互位置関係に基づいて第２画像群の画像を整列し、整列結果に基づいて第２画像群の画像を保存してよい。例えば、画像保存モジュール２３０は、第２画像群の画像の物理的位置の順に、すなわち、画像に対応する深さ値の順に画像を整列し、整列された画像をデータベースに保存してよい。

【0042】

画像保存および送信モジュール２３０は、データベースに保存された第１画像群の画像または第２画像群の画像を外部エンティティ（ｅｎｔｉｔｙ）に提供してよい。外部エンティティに提供するときに、画像保存および送信モジュール２３０は、所定のディスプレイ装置などを通じて提供するか、備えられた通信部を通じて外部エンティティに第１画像群の画像または第２画像群の画像を提供してよい。画像保存および送信モジュール２３０は、読影者の要求にしたがい、第１画像群の画像または第２画像群の画像を選択的に外部エンティティに提供してよい。

【0043】

ここで、外部エンティティとは、前記コンピュータ装置１００の使用者、管理者、前記被検体を担当する担当医療専門家などを含んでよく、この他にも、前記第１画像群の画像から算出された第２画像群の画像を必要とする主体であればすべて含まれるものと理解されなければならない。例えば、前記外部エンティティは、前記第２画像群の画像を活用する別途のＡＩ（Ａｒｉｔｉｆｉｃａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）ハードウェアおよび／またはソフトウェアモジュールを含む外部のＡＩ装置であってよい。また、外部エンティティにおける「外部（ｅｘｔｅｒｎａｌ）」とは、前記第１画像群の画像および第２画像群の画像のうちの少なくとも１つを利用するＡＩハードウェアおよび／またはソフトウェアモジュールが前記コンピュータ装置１００と一体化する実施形態を排除することを意図したものではなく、本発明の方法を実行するハードウェアおよび／またはソフトウェアモジュールの結果物である第２画像群の画像が他の方法の入力データとしても活用可能であることを示唆するように利用されたものであることを明らかにしておく。つまり、前記外部エンティティは、コンピュータ装置１００自体であってもよい。

【0044】

なお、このように生成された第２画像群の画像は、今後、医師の読影および診断を容易にするために活用されるようになるであろう。

【0045】

マッチングされて保存された第１画像群の画像および第２画像群の画像に基づき、画像保存および送信モジュール２３０は、読影者が画像を効果的に閲覧することのできる手段を提供する。読影の正確性を向上させるために、厚いスライス厚に対応する画像および薄いスライス厚に対応する画像の両方を被写体から個別に生成して保存して読影者が必要に応じて独立する２つの画像を交互に確認していた従来の方式は、２つの画像が互いにマッチングされておらず、読影者が独立する画像を交互に直接確認しなければならないため、読影に断絶が生じることがあった。本願発明の場合は、第１画像群の画像と第２画像群の画像が互いにマッチングされており、第２画像群の画像は相互位置関係に基づいて整列されているため、画像読影過程において断絶がなく、迅速かつ正確に読影を実行することができる手段を提供することが可能となる。

【0046】

図２に示した構成要素は、説明の便宜上、１つのコンピュータ装置で実現されるように示されているが、本発明の方法を実行するコンピュータ装置１００は、複数の装置が互いに連動するように構成されてもよいという点が理解されなければならない。

【0047】

以下、本発明に係る画像提供方法の一実施形態について、図３〜５を参照しながらさらに詳しく説明する。

【0048】

図３は、一実施形態における、画像提供方法を説明するためのフローチャートである。

【0049】

図３を参照すると、コンピュータ装置は、段階Ｓ１００で、被写体に属する第１スライス厚の連続的な体積に対して生成された一連の画像のうちの少なくとも一部を含む第１画像群を取得するか、コンピュータ装置と連動する他の装置が第１画像群を取得するように支援してよい。一実施形態よると、第１画像群は、被写体に属する第１スライス厚の連続的な体積に対して生成された一連の画像のうちの少なくとも一部を平面に投影することによって生成されてよい。

【0050】

段階Ｓ２００で、コンピュータ装置は、第１画像群のうちの一画像または被写体に属する第２スライス厚の連続的な体積に対して生成される一連の画像を含む第２画像群のうちの一画像を現在の閲覧画像として提供するか、前記コンピュータ装置と連動する他の装置が提供するように支援してよい。一実施形態によると、第２スライス厚は、第１スライス厚よりも薄くてよい。第２画像群は、ＳＲ（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）により、第１画像群から生成されてよい。

【0051】

段階Ｓ３００で、コンピュータ装置は、入力装置の第１特定入力に応じ、第１特定入力に与えられた方向性に基づき、現在の閲覧画像として提供される画像を次の閲覧に提供されるように定められた個別の画像に繰り返し更新するか、他の装置が更新するように支援するプロセスを実行してよい。第１特定入力は、現在の閲覧画像を更新するための入力であり、方向性を有する任意の入力であってよい。例えば、第１特定入力は、方向性を有するマウススクロールによる入力、またはキーボードの方向キーを利用した入力であってよい。上方向のマウススクロール入力が実行された場合、コンピュータ装置は、現在の閲覧画像に対して軸方向に真上の位置に対応する画像に現在の閲覧画像を更新してよい。これとは反対に、下方向のマウススクロール入力が実行された場合、コンピュータ装置は、現在の閲覧画像の軸方向に真下の位置に対応する画像に現在の閲覧画像を更新してよい。第１特定入力が提示された例示に限定されることはなく、方向性を有する入力を提供することのできる任意の方式を含んでよい。

【0052】

段階Ｓ３００で、コンピュータ装置は、入力装置の第２特定入力に応じ、現在の閲覧画像を第１画像群に属する画像と第２画像群に属する画像との間で切り換えるか、他の装置が切り換えるように支援するプロセスを実行してよい。例えば、現在の閲覧画像が第１画像群の画像の場合に第２特定入力が実行された場合、コンピュータ装置は、現在の閲覧画像に対応する第２画像群に含まれた画像に現在の閲覧画像を切り換えてよい。上述したように、第２画像群の画像は、第１画像群の画像にマッチングされているため、画像の切り換えを遅滞なく実行することができ、これによって読影の断絶を防ぐことができる。

【0053】

一実施形態によると、第２特定入力は、トグルキー（ｔｏｇｇｌｅ ｋｅｙ）方式によって実行されてよい。例えば、第１画像群が現在の閲覧画像として提供される状況で、トグルキーに基づいて第２特定入力が受信された場合、コンピュータ装置は、第２特定入力を受信した時点に提供される現在の閲覧画像に対応する第２画像群に属する画像を現在の閲覧画像として提供してよい。以後、トグルキーに基づいて第２特定入力が再び受信された場合、第２特定入力を再び受信した時点の現在の閲覧画像に対応する第１画像群の画像を現在の閲覧画像として提供してよい。

【0054】

他の実施形態によると、第２特定入力に対応する所定のユーザ入力が維持される間、コンピュータ装置は、第２画像群に含まれた画像を現在の閲覧画像として提供してよい。より具体的に、第１画像群に含まれた画像が現在の閲覧画像として提供されている状況で、第２特定入力が開始され、３秒間が維持された場合、コンピュータ装置は、第２特定入力を受信した時点に提供される現在の閲覧画像に対応する第２画像群の画像を現在の画像として提供してよく、第２特定入力が維持される３秒間にわたり、第２画像群の画像を現在の画像として提供してよい。第２特定入力が維持される状況で、第１特定入力が実行される場合、コンピュータ装置は、第２画像群の画像で、現在の閲覧画像を更新する動作を実行してよい。つまり、第２特定入力が維持される状況で上方向に対応する第１特定入力が受信される場合、コンピュータ装置は、現在の閲覧画像の軸方向に真上の位置に対応する第２画像群の画像に現在の閲覧画像を更新してよい。

【0055】

コンピュータ装置によって画像が提供される方式の具体的な例については、図５を参照しながらより詳しく説明する。

【0056】

図４は、一実施形態における、第２画像群の画像が生成されて保存される方式を説明するための図である。

【0057】

コンピュータ装置は、上述したように、予め保存された第１画像群に含まれた画像４１０から第２画像群に対応する画像４２１、４２２、４２３、４２４、４２５を生成してよい。例えば、画像４１０は、５ｍｍのスライス厚に対応する第１画像群に含まれる画像であってよい。画像４２１、４２２、４２３、４２４、４２５は、１ｍｍのスライス厚に対応する第２画像群に含まれる画像であってよい。５枚の画像４２１、４２２、４２３、４２４、４２５は、５ｍｍのスライス厚に対応する画像４１０に基づいて生成されてよい。コンピュータ装置は、画像４１０および画像４２１、４２２、４２３、４２４、４２５を互いにマッチングし、マッチングされた画像をデータベースに保存してよい。例えば、画像４１０に基づいて生成された画像４２１、４２２、４２３、４２４、４２５は、画像４１０とマッチングされて保存され、画像４２１、４２２、４２３、４２４、４２５は、それぞれの物理的位置情報（例えば、対応する深さ情報の順）に基づいて整列されて保存されてよい。画像４１０と画像４２１、４２２、４２３、４２４、４２５をマッチングする方式は、画像の識別番号どうしをマッチングする方式であってよい。例えば、画像４１０に対応する識別番号がＡ１であり、画像４２１、４２２、４２３、４２４、４２５に対応する識別番号がＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５である場合、Ａ１とＢ１〜Ｂ５とをマッチングしてデータベース上に保存してよい。このような方式により、第２画像群に含まれるすべての画像は、対応する第１画像群の画像とマッチングされてデータベースに保存され、第２画像群に含まれる画像は、相互間の位置関係情報に基づいて整列されてデータベースに保存されてよい。

【0058】

図５は、一実施形態における、コンピュータ装置による画像提供方法が適用された一例を示した図である。

【0059】

図５を参照すると、画像５１０、５２０は、出力装置を通じて読影者に提供される画像であってよい。第１特定入力５３１は、読影者が現在の閲覧画像５１２を更新するための入力であって、マウスのスクロール、キーボードの方向ボタンなどのように方向性を提供する任意の入力を含んでよい。

【0060】

５ｍｍのスライス厚に対応する第１画像群の画像５１２が初期画像として読影者に提供される状況で、読影者から第１特定入力５３１を受信する場合、コンピュータ装置は画像５１２を更新してよい。より詳しく説明すると、読影者は、上方向のマウススクロール入力によって現在の閲覧画像５１２よりも深さ軸に５ｍｍ上位に対応する画像５１３を閲覧したり、下方向のマウススクロール入力によって現在の閲覧画像５１２よりも深さ軸に５ｍｍ下位に対応する画像５１１を閲覧したりすることができる。

【0061】

より細密な読影のために、現在閲覧中の５ｍｍのスライス厚に対応する画像５１０よりも薄いスライス厚の画像５２０を閲覧しなければならない場合、読影者は、第２特定入力５３２によって画像を切り換えてよい。例えば、現在の閲覧画像５１２を閲覧している途中に読影者から第２特定入力５３２を受信する場合、コンピュータ装置は、現在の閲覧画像５１２にマッチングされて予め保存された画像５２１、５２２、５２３、５２４、５２５のうちのいずれか１つを提供してよい。提示された図面において、画像５２１、５２２、５２３、５２４、５２５は、画像５１２に基づいて生成された１ｍｍのスライス厚の画像であってよく、画像５２６、５２７は、画像５１３に基づいて生成された１ｍｍのスライス厚の画像であってよい。

【0062】

一実施形態によると、コンピュータ装置は、第２特定入力５３２が維持される間に切り換えられた画像５２０を提供し、第２特定入力５３２が終了する場合、再び画像５１０を提供してよい。第２特定入力５３２が維持される状況で、読影者は、第１特定入力５３１によって閲覧画像５２１、５２２、５２３、５２４、５２５、５２６間の更新を実行してよい。画像の更新方式は、画像５１０に対して説明した方式と同じであってよい。

【0063】

第２特定入力５３２が中断された場合、中断された時点に、現在の閲覧画像５２５に対応する画像５１０に画像が切り換えられてよい。

【0064】

他の実施形態によると、第２特定入力５３２は、トグルキー方式によって実行されてよい。例えば、読影者は、第２特定入力５３２を実行する場合に、該当の入力を維持しなくても、第２特定入力５３２が再び受信されるまで切り換えられた画像５２０の閲覧を維持してよい。

【0065】

上述した実施形態の説明に基づき、当業者であれば、本発明の方法および／またはプロセス、またはその段階が、ハードウェア、ソフトウェア、または特定の用例に適合したハードウェアおよびソフトウェアの任意の組み合わせによって実現可能であるという点を明確に理解することができるであろう。前記ハードウェアは、汎用コンピュータおよび／または専用コンピュータ装置、または特定のコンピュータ装置または特定のコンピュータ装置の特別な形態または構成要素を含んでよい。前記プロセスは、内部および／または外部メモリを有する、１つ以上のマイクロプロセッサ、マイクロコントローラ、組み込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、またはその他のプログラマブル装置によって実現されてよい。また、あるいは代案として、前記プロセスは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブルゲートアレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラマブルアレイロジック（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ：ＰＡＬ）、または電子信号を処理するために構成されることのできる任意の他の装置または装置の組み合わせによって実施されてよい。さらに、本発明の技術的解法の対象物または先行技術に寄与する部分は、多様なコンピュータ構成要素によって実行可能なプログラム命令語の形態で実現されて機械読み取り可能な記録媒体に記録されてよい。前記機械読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組み合わせて含んでよい。前記機械読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであっても、コンピュータソフトウェア分野の当業者に公知の使用可能なものであってもよい。機械読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）のような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、上述した装置のうちのいずれか１つだけでなく、プロセッサ、プロセッサアーキテクチャ、または異なるハードウェアおよびソフトウェアの組み合わせによる異種結合、または他のいずれかのプログラム命令語を実行することのできる機械上で実行されるために記録およびコンパイルまたはインタプリタされることのできる、Ｃのような構造的プログラミング言語、Ｃ＋＋のようなオブジェクト志向プログラミング言語、または高級または低級プログラミング言語（アセンブリ語、ハードウェア技術言語、およびデータベースプログラミング言語および技術）を使用して生成されてよく、機械語コードやバイトコードはもちろん、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードもこれに含まれる。

【0066】

したがって、本発明に係る一実施形態では、上述した方法およびその組み合わせが１つ以上のコンピュータ装置によって実行されるときに、その方法および方法の組み合わせが各段階を実行させる実行可能なコードとして実施されてよい。他の実施形態では、前記方法は、前記段階を実行するシステムによって実施されてよく、方法は、装置にわたって多様な状態に分散されても、すべての機能が１つの専用、独立型装置、または他のハードウェアに統合されてもよい。さらに他の実施形態では、上述したプロセスと関連する段階を実行する手段は、上述した任意のハードウェアおよび／またはソフトウェアを含んでよい。このようなすべての順次結合および組み合わせは、本発明の範囲内に属するように意図されたものである。

【0067】

例えば、上述したハードウェア装置は、本発明に係る処理を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。前記ハードウェア装置は、プログラム命令語を記録するためのＲＯＭ／ＲＡＭのようなメモリと結合し、前記メモリに記録された命令語を実行するように構成されるＭＰＵ、ＣＰＵ、ＧＰＵ、ＴＰＵのようなプロセッサを含んでよく、外部装置と信号をやり取りすることのできる通信部を含んでよい。さらに、前記ハードウェア装置は、開発者によって作成された命令語を伝達するためのキーボード、マウス、またはその他の外部入力装置を含んでよい。

【0068】

以上のように、実施形態について、具体的な構成要素などのような特定の事項と限定された実施形態および図面に基づいて説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明がこのような実施形態に限定されてはならず、当業者であれば、このような記載から多様な修正および変形が可能であろう。

【0069】

したがって、本発明の思想は、上述した実施形態に局限されて定められてはならず、添付の特許請求の範囲と均等であるか等価的に変更されたすべてのものは、本発明の思想の範囲に属する。

【0070】

このように均等であるか等価的に変形されたものには、例えば、本発明に係る方法を実施したときと同じ結果を導き出すことのできる、論理的に同値（ｌｏｇｉｃａｌｌｙ ｅｑｕｉｖａｌｅｎｔ）の方法が含まれてよく、本発明の真意および範囲が上述した実施形態に制限されてはならず、法律に基づいて許容可能な最も広い意味として解釈されなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】