(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164649
(43)【公開日】2024-11-27
(54)【発明の名称】医用画像処理装置、医用画像処理システム、及び、プログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20241120BHJP
【FI】
A61B6/03 360T
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2023080286
(22)【出願日】2023-05-15
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100196047
【弁理士】
【氏名又は名称】柳本 陽征
(74)【代理人】
【識別番号】100202429
【弁理士】
【氏名又は名称】石原 信人
(74)【代理人】
【識別番号】100220630
【弁理士】
【氏名又は名称】河崎 亮
(72)【発明者】
【氏名】渡部 恭子
(72)【発明者】
【氏名】長門 優喜
(72)【発明者】
【氏名】西岡 昂彦
(72)【発明者】
【氏名】村上 友梨
(72)【発明者】
【氏名】山守 恭平
(72)【発明者】
【氏名】穐山 寿美江
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA16
4C093FD03
(57)【要約】
【課題】学習済みモデルに対して追加の学習を行うことなく、異なるモダリティ装置で撮影された画像を学習済みモデルに対して適用できるようにすることである。
【解決手段】実施形態に係る医用画像処理装置は、医用データを取得する取得部と、前記取得部が取得した前記医用データを、画像の解析結果を出力する学習済みモデルの入力に適合する入力画像に変換する変換部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
医用データを取得する取得部と、
前記取得部が取得した前記医用データを、画像の解析結果を出力する学習済みモデルの入力に適合する入力画像に変換する変換部と、
を備える、医用画像処理装置。
【請求項2】
前記変換部により変換された前記入力画像を出力する出力部をさらに備える、請求項1に記載の医用画像処理装置。
【請求項3】
第1モダリティ装置において収集された生データを前記入力画像に変換する条件である画像変換条件が、前記生データの撮影条件に対応付けて記憶されている、第1記憶部を更に備え、
前記変換部は、前記取得部が前記医用データとして前記生データを取得した場合には、前記生データの撮影条件に対応する前記画像変換条件を取得し、取得した画像変換条件を用いた画像変換処理を前記生データに対して実行することにより、前記生データを前記入力画像に変換する、請求項2に記載の医用画像処理装置。
【請求項4】
第1モダリティ装置において撮影された第1医用画像を前記入力画像に変換する手法である画像変換手法が、前記第1医用画像の撮影条件に対応付けて記憶されている、第2記憶部を更に備え、
前記変換部は、前記取得部が前記医用データとして前記第1医用画像を取得した場合には、前記第2記憶部に記憶されている前記画像変換手法を用いた画像変換処理を前記第1医用画像に対して実行することにより、前記第1医用画像を前記入力画像に変換する、請求項2に記載の医用画像処理装置。
【請求項5】
前記変換部は、
前記取得部により取得された前記第1医用画像の撮影条件が前記第2記憶部に記憶されているか否かを判定し、
前記第1医用画像の撮影条件が前記第2記憶部に記憶されている場合には、前記第1医用画像の撮影条件に対応する前記画像変換手法を取得し、取得した画像変換手法を用いた画像変換処理を前記第1医用画像に対して実行することにより、前記第1医用画像を前記入力画像に変換する、請求項4に記載の医用画像処理装置。
【請求項6】
医用画像に基づいて前記医用画像の画像変換処理に用いられる前記画像変換手法を特定するモデルである特定モデルを用いて、前記第1医用画像の画像変換処理に用いられる前記画像変換手法を特定する第1特定部を更に備え、
前記第1特定部は、前記第1医用画像の撮影条件が前記第2記憶部に記憶されていない場合には、前記特定モデルに対して、前記第1医用画像を入力することで、前記第1医用画像の画像変換処理に用いられる前記画像変換手法を特定し、
前記変換部は、第1特定部により特定された前記画像変換手法を用いた画像変換処理を前記第1医用画像に対して実行することにより、前記第1医用画像を前記入力画像に変換する、請求項5に記載の医用画像処理装置。
【請求項7】
前記変換部は、前記取得部が前記医用データとして前記第1モダリティ装置と異なる第2モダリティ装置において撮影された第2医用画像を取得した場合には、前記第2記憶部に記憶されている前記画像変換手法を用いた画像変換処理を前記第2医用画像に対して実行することにより、前記第2医用画像を前記入力画像に変換する、請求項4に記載の医用画像処理装置。
【請求項8】
前記第1モダリティ装置と異なる第2モダリティ装置において撮影された第2医用画像に基づいて、前記第2医用画像の前記第1モダリティ装置における撮影条件を算出する算出部を更に備え、
前記変換部は、
前記算出部により算出された前記第2医用画像の第1モダリティ装置における撮影条件が前記第2記憶部に記憶されているか否かを判定し、
前記第2医用画像の第1モダリティ装置における撮影条件が前記第2記憶部に記憶されている場合には、前記第2医用画像の第1モダリティ装置における撮影条件に対応する前記画像変換手法を取得し、
取得した画像変換手法を用いた画像変換処理を前記第2医用画像に対して実行することにより、前記第1医用画像を前記入力画像に変換する、
請求項7に記載の医用画像処理装置。
【請求項9】
前記算出部により算出された前記第2医用画像の第1モダリティ装置における撮影条件に基づいて、第2記憶部に記憶されている第1医用画像の撮影条件をフィルタリングするフィルタリング部と、
前記第2医用画像と前記入力画像とに基づいて、前記フィルタリング部によりフィルタリングされた前記第1医用画像の撮影条件に対応付けられた前記画像変換手法から、前記第2医用画像の画像変換処理に用いられる前記画像変換手法を選択する選択部とを、更に備え、
前記変換部は、前記第2医用画像の第1モダリティ装置における撮影条件が前記第2記憶部に記憶されていない場合には、前記選択部により選択された前記画像変換手法を用いた画像変換処理を前記第2医用画像に対して実行することにより、前記第2医用画像を前記入力画像に変換する、請求項8に記載の医用画像処理装置。
【請求項10】
医用画像に基づいて前記医用画像の画像変換処理に用いられる前記画像変換手法を特定するモデルである特定モデルを用いて、前記第2医用画像の画像変換処理に用いられる前記画像変換手法を特定する第2特定部を更に備え、
前記第2特定部は、前記特定モデルに対して、前記第2医用画像を入力することで、前記第2医用画像の画像変換処理に用いられる前記画像変換手法を特定し、
前記変換部は、第2特定部により特定された前記画像変換手法を用いた画像変換処理を前記第2医用画像に対して実行することにより、前記第2医用画像を前記入力画像に変換する、請求項7に記載の医用画像処理装置。
【請求項11】
前記画像変換手法は、前記第1医用画像と、前記第1医用画像の撮影条件とに基づく機械学習により生成された画像変換モデルである、請求項5に記載の医用画像処理装置。
【請求項12】
前記画像変換手法は、前記第1医用画像と、前記第1医用画像の撮影条件と基づいて生成されたルールベースの変換式である、請求項5に記載の医用画像処理装置。
【請求項13】
前記出力部は、前記入力画像を前記学習済みモデルに出力する、請求項2に記載の医用画像処理装置。
【請求項14】
前記出力部は、前記解析結果とともに、前記入力画像に変換する際に用いられた前記画像変換手法に関する情報である画像変換手法情報、及び、前記入力画像に変換する際に用いられた前記画像変換手法の使用比率に関する情報である使用比率情報を表示部に出力する、請求項4乃至請求項12のいずれかに記載の医用画像処理装置。
【請求項15】
前記画像変換手法の使用比率を調整する入力操作をユーザから受け付けて、受け付けた前記入力操作に基づいて、前記使用比率を調整する調整部を更に備え、
前記出力部は、調整後の使用比率に基づく前記入力画像を前記表示部に出力する、請求項14に記載の医用画像処理装置。
【請求項16】
前記画像変換手法情報と、前記撮影条件とを対応付けて第2記憶部に登録する登録部を更に備える、請求項14に記載の医用画像処理装置。
【請求項17】
前記画像変換手法情報は、前記画像変換手法を生成する際に用いられた画像の比率に関する情報である使用画像比率情報を含み、
前記出力部は、前記使用画像比率情報を前記表示部に出力する、請求項14に記載の医用画像処理装置。
【請求項18】
医用データを保管する医用データサーバと、
前記医用データサーバから、前記医用データを取得する取得部と、
前記取得部が取得した前記医用データを、画像の解析結果を出力する学習済みモデルの入力に適合する入力画像に変換する変換部とを、備える、
医用画像処理装置と、
を備える、医用画像処理システム。
【請求項19】
医用データを取得するステップと、
取得した前記医用データを、画像の解析結果を出力する学習済みモデルの入力に適合する入力画像に変換するステップと、
を医用画像処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用画像処理装置、医用画像処理システム、及び、プログラムに関する。
【背景技術】
【0002】
従来より、X線CT(Computed Tomography)装置や磁気共鳴イメージング(MRI: Magnetic Resonance Imaging)装置などの各種のモダリティ装置が撮影した医用画像を解析するための学習済みモデルが生成されている。このような学習済みモデルには、学習済みモデルの解析精度が低下しないように、学習済みモデルに最適な画像を入力する必要がある。
【0003】
しかしながら、学習済みモデルを生成する際に用いられた医用画像を撮影したモダリティ装置と、学習済みモデルに入力される医用画像を撮影したモダリティ装置とが、メーカや性能等が異なるモダリティ装置である場合、学習済みモデルに入力される医用画像の特徴は、学習済みモデルを生成する際に用いられた医用画像の特徴と異なる。そして、このような学習済みモデルを生成する際に用いられた医用画像と特徴が異なる医用画像を学習済みモデルに入力すると、学習済みモデルの出力の精度が落ちてしまう場合がある。
【0004】
また、学習済みモデルの出力の精度を保証するために、病院等の施設において学習済みモデルの追加の学習を行うことはできない。つまり、病院等の施設に保管されている医用画像、特に、メーカが異なるモダリティ装置により撮影された医用画像を得て、学習済みモデルの学習を行うことができない。したがって、学習済みモデルに対して追加の学習を行うことなく、異なるモダリティ装置で撮影された画像を学習済みモデルに対して適用できるようにすることが望まれている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第2023/281738号
【特許文献2】特開2022-35508号公報
【特許文献3】特開2020-39490号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、学習済みモデルに対して追加の学習を行うことなく、異なるモダリティ装置で撮影された画像を学習済みモデルに対して適用できるようにすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記の課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0007】
実施形態に係る医用画像処理装置は、医用データを取得する取得部と、前記取得部が取得した前記医用データを、画像の解析結果を出力する学習済みモデルの入力に適合する入力画像に変換する変換部と、を備える。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態に係る医用画像処理システムの構成例を示すブロック図。
【
図2】第1実施形態に係る医用画像処理装置において、学習済みモデルが画像解析処理を実行するまでの処理の一例を示す図。
【
図3】第1実施形態に係る医用画像処理装置の構成例を示すブロック図。
【
図4】第1実施形態に係る医用画像処理システムにおいて、第1モダリティ装置において収集された生データの撮影条件と画像変換条件とを対応付けた第1対応表の一例を示す図。
【
図5】第1実施形態に係る医用画像処理システムにおいて、第1モダリティ装置において撮影された第1医用画像の撮影条件と画像変換手法情報とを対応付けた第2対応表の一例を示す図。
【
図6】第1実施形態に係る医用画像処理装置において、第1医用画像に画像変換モデルを適用する場合の一例を示す図。
【
図7】第1実施形態に係る医用画像処理装置において、第2医用画像の第1モダリティ装置における撮影条件の算出方法の一例を説明するための説明図。
【
図8】第1実施形態に係る医用画像処理装置において、第2医用画像の第1モダリティ装置における撮影条件の算出方法の一例を説明するための説明図。
【
図9】第1実施形態に係る医用画像処理装置において、第2医用画像の第1モダリティ装置における撮影条件の算出方法の他の例を説明するための説明図。
【
図10】第1実施形態に係る医用画像処理装置において、第2医用画像の第1モダリティ装置における撮影条件の算出方法の他の例を説明するための説明図。
【
図11】第1実施形態に係る医用画像処理装置で実行される変換処理の内容を説明するフローチャート図。
【
図12】第1実施形態に係る医用画像処理装置で実行される変換処理の内容を説明するフローチャート図。
【
図13】第1実施形態に係る医用画像処理装置のディスプレイに出力される入力画像及び操作領域の出力態様の一例を示す図。
【
図14】第1実施形態に係る医用画像処理装置において、操作領域における画像変換モデルの選択操作の一例を示す図。
【
図15】第1実施形態に係る医用画像処理装置において、操作領域における画像変換モデルの選択操作の一例を示す図。
【
図16】第1実施形態に係る医用画像処理装置のディスプレイに出力される解析結果、画像変換手法情報及び使用比率情報の一例を示す図。
【
図17】第1実施形態に係る医用画像処理システムの医用画像処理装置で実行される更新処理の内容を説明するフローチャート図。
【
図18】第2実施形態に係る医用画像処理装置の構成例を示すブロック図。
【
図19】第2実施形態に係る医用画像処理装置で実行される変換処理の内容を説明するフローチャート図。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、医用画像処理装置、医用画像処理システム、及び、プログラムの実施形態について説明する。なお、以下の説明において実質的に同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行うこととする。
【0010】
〔第1実施形態〕
図1は、第1実施形態に係る医用画像処理システムの構成例を示すブロック図である。
図1に示す医用画像処理システム1は、あるモダリティ装置において生成された医用画像を用いて学習した学習済みモデルに対して、他のモダリティ装置において生成された医用データを入力可能にするシステムである。
図1に示すように、本実施形態に係る医用画像処理システム1は、第1モダリティ装置10と、第2モダリティ装置20と、第3モダリティ装置30と、医用データサーバ40と、医用画像処理装置50とを備えて構成されている。
図1に示す例において、第1モダリティ装置10と、第2モダリティ装置20と、第3モダリティ装置30と、医用データサーバ40と、医用画像処理装置50とは、ネットワークNWを介して、互いに通信可能に接続されている。
【0011】
第1モダリティ装置10、第2モダリティ装置20及び第3モダリティ装置30は、例えば、被検体やファントムを撮影して医用データを生成する装置である。そして、第1モダリティ装置10、第2モダリティ装置20及び第3モダリティ装置30は、ネットワークNWを介して、生成した医用データを医用データサーバ40や医用画像処理装置50に送信する。医用データとは、被検体やファントムを撮影することにより収集される生データ、及び、被検体やファントムを撮影することにより生成される医用画像等である。この医用画像は、生データに対して、再構成処理を実行することに生成される。つまり、生データは、再構成処理が実行される前のデータである。また、以下の説明では、第1モダリティ装置10において撮影された医用画像を第1医用画像と称し、第2モダリティ装置20において撮影された医用画像を第2医用画像と称し、第3モダリティ装置において撮影された医用画像を第3医用画像と称する。
【0012】
また、本実施形態に係る第1モダリティ装置10、第2モダリティ装置20及び第3モダリティ装置30は、例えば、X線CT装置である。なお、本実施形態に係る第1モダリティ装置10、第2モダリティ装置20及び第3モダリティ装置30は、X線CT装置に限られず、X線CT装置以外のX線診断装置であってもよく、超音波診断装置やMRI装置等であってもよい。
【0013】
さらに、第1モダリティ装置10、第2モダリティ装置20及び第3モダリティ装置30は、X線CT装置等の同一種類のモダリティ装置であるが、メーカや機種、性能、設置された施設等が異なるモダリティ装置である。本実施形態において、例えば、第1モダリティ装置10と、第3モダリティ装置30とは、同じメーカのモダリティ装置であるが、性能や機種、設置された施設等が異なるモダリティ装置である。また、第2モダリティ装置20と、第3モダリティ装置30とは、メーカが異なるモダリティ装置である。なお、第1モダリティ装置10と、第2モダリティ装置20とは、メーカが異なるモダリティ装置である。
【0014】
なお、本実施形態に係る医用画像処理システム1において、第1モダリティ装置10と第2モダリティ装置20との両方が備えられている必要はなく、第1モダリティ装置10と第2モダリティ装置20とのいずれかが備えられていればよい。また、この第3モダリティ装置30は、例えば、医療現場において、第1モダリティ装置10又は第2モダリティ装置20と入れ替えて設置される装置であってもよい。このように、第3モダリティ装置30が第1モダリティ装置10又は第2モダリティ装置20と入れ替えて設置される場合、
図1に示す例において、第1モダリティ装置10と、第2モダリティ装置20とは備えられていなくてもよい。なお、第1モダリティ装置10と、第2モダリティ装置20とが備えられていない場合であっても、過去に第1モダリティ装置10において収集された生データや第1モダリティ装置10において撮影された第1医用画像、第2モダリティ装置20において撮影された第2医用画像は、後述する医用データサーバ40に保管されている。
【0015】
医用データサーバ40は、第1モダリティ装置10、第2モダリティ装置20及び第3モダリティ装置30により生成された医用データ等を保管するサーバである。また、医用データサーバ40は、ネットワークNWを介して、保管している医用データ等を、第1モダリティ装置10や第2モダリティ装置20、第3モダリティ装置30に送信したり、医用画像処理装置50に送信したりする。本実施形態に係る医用データサーバ40は、例えば、PACS(Picture Archiving and Communication System)等の画像サーバである。
【0016】
医用画像処理装置50は、医用データに対して、画像変換処理を実行する装置である。この医用画像処理装置50は、ネットワークNWを介して、第1モダリティ装置10や第2モダリティ装置20、第3モダリティ装置30、医用データサーバ40等から医用データを取得する。このため、医用画像処理装置50は、例えば、ワークステーション、及び、読影端末などであり、ネットワークNWを介して接続されたシステム上に備えられている。また、本実施形態に係る医用画像処理装置50は、学習済みモデルを用いて、学習済みモデルに入力された画像に対して、画像解析処理を実行する。なお、医用画像処理装置50は、オフラインの装置であってもよい。その場合、医用画像処理装置50は、可搬型の記録媒体を介して、第1モダリティ装置10や第2モダリティ装置20、第3モダリティ装置30、医用データサーバ40等から医用データを取得してもよい。
【0017】
ネットワークNWは、電気通信技術を利用した情報通信網全般を意味する。ネットワークNWは、例えば、病院基幹LAN(Local Area Network)等の無線/有線LANやインターネット網のほか、電気通信回路網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワークなどを含む。
【0018】
次に、
図2を参照して、本実施形態に係る医用画像処理装置50が実行する処理の一例を説明する。
図2は、本実施形態に係る医用画像処理装置50において、学習済みモデルが画像解析処理を実行するまでの処理の一例を示す図である。この
図2に示す例においては、第3モダリティ装置30により生成された第3医用画像を用いて学習した学習済みモデル210に対して、第1モダリティ装置10で撮影された医用データMDや、第2モダリティ装置20で撮影された医用データMDを入力する場合を例に説明する。ここで、学習済みモデル210とは、入力画像IMに対してセグメンテーションやディテクション等の画像解析を実行するモデルである。この学習済みモデル210は、例えば、強化学習、教師あり学習、教師なし学習、深層学習(ディープラーニング)等の機械学習により生成される。
【0019】
なお、学習済みモデル210の学習方法は、これらの学習方法に限られない。すなわち、学習済みモデル210の学習方法は、任意であり、他の学習方法により生成されてもよい。また、本実施形態において、学習済みモデル210は、第3モダリティ装置30の1つのモダリティ装置により撮影された医用画像を用いて学習したが、学習済みモデル210の生成に用いられる医用画像を撮影するモダリティ装置の数は1つに限られない。すなわち、学習済みモデル210の生成に用いられる医用画像を撮影するモダリティ装置の数は任意であり、第3モダリティ装置30を含む複数のモダリティ装置により撮影された医用画像を用いて学習済みモデル210を学習してもよい。
【0020】
上述したように、本実施形態において、第1モダリティ装置10と、第3モダリティ装置30とは、同じメーカのモダリティ装置であるが、機種、性能、設置された施設等が異なるモダリティ装置であり、第2モダリティ装置20と、第3モダリティ装置30とは、異なるメーカのモダリティ装置である。そのため、第3医用画像と、第1医用画像又は第2医用画像とは、医用画像における特徴が異なっている。ここで、医用画像における特徴とは、医用画像に含まれるノイズや、医用画像のコントラスト、画質、CT値等である。
【0021】
このように、第3医用画像と、第1医用画像又は第2医用画像とで、ノイズやコントラスト等の医用画像の特徴が異なっている場合に、第1医用画像又は第2医用画像を、第3医用画像を用いて学習した学習済みモデル210に入力しても、第1医用画像又は第2医用画像の解析結果が意図した解析精度にならない場合がある。
【0022】
これに対して、第3医用画像を用いて学習した学習済みモデル210を、第1医用画像及び/又は第2医用画像を用いて追加で学習することにより、解析精度の低下を抑制することも考えられる。しかしながら、学習済みモデル210の追加の学習を行うために、学習用のデータとして、個人情報を外部に持ち出す場合には、ユーザ等は個人情報を外部に持ち出すための各種手続きや情報漏洩の対策などを実施しなければならず、これらの手続きや対策等はユーザによって煩雑である。また、病院などの施設において、第1医用画像及び/又は第2医用画像を用いて、学習済みモデル210の追加の学習を行うことは、解析精度の保証の観点から困難である。
【0023】
そこで、
図2に示すように、医用画像処理装置50は、第1モダリティ装置10又は第2モダリティ装置20において生成された医用データMDを、第3医用画像を用いて学習した学習済みモデル210に適合する入力画像IMに画像変換して、画像変換した入力画像IMを学習済みモデル210に入力する。そして、医用画像処理装置50は、学習済みモデル210を用いて入力画像IMを解析して、学習済みモデル210による入力画像IMの解析結果ARを出力する。このように、第1モダリティ装置10又は第2モダリティ装置20において生成された医用データMDを、第3医用画像を用いて学習した学習済みモデル210に適合する入力画像IMに画像変換することにより、解析精度の低下を抑制しつつ、学習済みモデル210に対して異なるモダリティ装置で撮影された画像を適用できる。
【0024】
図3は、本実施形態に係る医用画像処理装置50の構成例を示すブロック図である。
図3に示すように、医用画像処理装置50は、メモリ51と、ディスプレイ52と、入力インターフェース53と、通信インターフェース54と、処理回路55とを備えて構成されている。この医用画像処理装置50を構成するための複数の要素は、1つの筐体に格納されてもよいし、複数の筐体に分散して格納されてもよい。
【0025】
メモリ51は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。本実施形態においては、メモリ51は、例えば、第1モダリティ装置10、第2モダリティ装置20、第3モダリティ装置又は医用データサーバ40から取得した医用データMDを記憶したり、学習済みモデル210を記憶したり、第1モダリティ装置10において収集された生データを入力画像IMに変換する条件である画像変換条件を、第1モダリティ装置において収集された生データの撮影条件に対応付けて記憶したり、第1医用画像を入力画像IMに変換する手法である画像変換手法を、第1医用画像の撮影条件に対応付けて記憶したり、画像変換手法情報を記憶したり、入力画像IMを記憶したりする。このメモリ51は、本実施形態における第1記憶部及び第2記憶部に相当している。
【0026】
ここで、撮影条件とは、生データ、第1医用画像及び第2医用画像を生成する際の撮影に用いられる条件である。この撮影条件は、例えば、X線CT装置であれば、管電圧、管電流、再構成関数等の再構成条件、フィルタ、撮影部位、プロトコル名等の条件が含まれている。なお、撮影部位やプロトコル名は、撮影条件に必ずしも含まれなくてもよい。また、撮影条件には、管電圧(kV)、管電流、再構成関数(FC)等の再構成条件、フィルタ、撮影部位、プロトコル名以外の条件が含まれてもよい。
【0027】
また、画像変換条件とは、第1モダリティ装置10において収集された生データを入力画像IMに変換する条件である。この画像変換条件は、例えば、第1モダリティ装置10において収集された生データと、第1モダリティ装置10において生データを収集した際の生データの撮影条件と、入力画像IMとに基づいて作成される。画像変換条件は、例えば、第1モダリティ装置10において収集された生データを再構成するための再構成条件や、第1モダリティ装置において生データを収集する際の再構成条件を、入力画像IMに再構成するための再構成条件に変換するための変換式等である。本実施形態においては、第1モダリティ装置10と第3モダリティ装置30とは、同一メーカの装置であるため、第1モダリティ装置10において収集した生データの撮影条件毎の画像変換条件を事前に用意することができ、事前に用意された画像変換条件を用いて、第1モダリティ装置10において収集された生データを入力画像IMに変換することができる。
【0028】
また、画像変換手法とは、第1モダリティ装置10において撮影された第1医用画像を入力画像IMに変換する手法である。この画像変換手法とは、例えば、ルールベースの変換式や、画像変換モデルである。ルールベースの変換式は、例えば、第1医用画像と第1医用画像の撮影条件とに基づいて生成される。画像変換モデルは、第1医用画像と、第1医用画像の撮影条件に基づく機械学習により生成される。より具体的には、画像変換モデルは、第1モダリティ装置10において、撮影条件を変えて同じ対象(例えば、ファントム)を撮影した、入力画像IMに最適な条件で撮影した第1医用画像を含む複数の第1医用画像と、入力画像IMに最適な条件を含む複数の第1医用画像の撮影条件に基づく機械学習により生成される。
【0029】
なお、上述した画像変換モデルは、第1モダリティ装置10において撮影された第1医用画像と第1医用画像の撮影条件とに基づく機械学習により生成されることとしたが、画像変換モデルの生成方法はこれに限られない。すなわち、画像変換モデルの生成方法は任意である。例えば、入力画像IMに最適な撮影条件で撮影した第1医用画像を、敵対的生成ネットワーク(Generative Adversarial Network:GAN)を用いて作成されたモデルに入力することにより、最適な撮影条件とは異なる撮影条件で撮影されたような医用画像を疑似的に作成する。そして、画像変換モデルは、疑似的に作成された医用画像に基づく機械学習により生成されてもよい。
【0030】
本実施形態において、第1モダリティ装置10と第3モダリティ装置30とは、同一メーカの装置であるため、第1モダリティ装置10において撮影された第1医用画像の撮影条件毎に入力画像IMへの画像変換手法を事前に用意することができ、事前に用意された画像変換手法を用いて、第1モダリティ装置10において撮影された第1医用画像を入力画像IMに変換することができる。また、第2医用画像の入力画像IMへの変換においては、第2モダリティ装置20と第3モダリティ装置30とは、メーカが異なるモダリティ装置であるため、第2モダリティ装置20において撮影した第2医用画像の撮影条件毎の入力画像IMへの画像変換手法を事前に用意することが困難である。そのため、第2医用画像の入力画像IMへの変換については、第1モダリティ装置10において撮影された第1医用画像の撮影条件毎の入力画像IMへの画像変換手法を用いることとなる。なお、以下の説明において、画像変換手法が画像変換モデルである場合を例に説明する。
【0031】
また、画像変換手法情報は、入力画像IMに変換する際に用いられた画像変換手法に関する情報である。この画像変換手法情報は、例えば、第1医用画像を入力画像IMに変換する際に用いられる画像変換モデルを識別するための情報である画像変換モデル識別情報や、画像変換モデルの名称を示す情報である画像変換モデル名称、画像変換モデルを第1医用画像又は第2医用画像に適用した場合に第1医用画像又は第2医用画像のノイズやコントラストが調整される量を示す情報である調整量、画像変換手法を生成する際に用いられた画像の比率に関する使用画像比率情報を含む。この使用画像比率情報には、画像変換モデルを生成する際に用いられた臨床画像やファントム画像等の画像の種類の比率に関する情報である画像変換モデル内訳や、画像変換モデルを生成する際に用いられた画像を撮影した撮影装置毎の画像の精度に関する情報、画像変換モデルを生成する際に用いられた画像の画像範囲の比率に関する情報、画像変換モデルを生成する際に用いられた画像の条件の比率に関する情報等の情報が含まれる。なお、画像変換手法情報は、画像変換モデル識別情報、画像変換モデル名称、調整量、及び、使用画像比率情報以外の情報を含んでもよい。また、使用比率情報は画像モデル内訳や画像変換モデルを生成する際に用いられた画像を撮影した撮影装置毎の画像の精度に関する情報、画像変換モデルを生成する際に用いられた画像の画像範囲の比率に関する情報、画像変換モデルを生成する際に用いられた画像の条件の比率に関する情報以外の情報を含んでもよい。
【0032】
なお、本実施形態において、学習済みモデル210は、医用画像処理装置50のメモリ51に記憶されている。このため、本実施形態においては、医用画像処理装置50が、学習済みモデル210を用いて、画像の解析を実行する。しかし、画像の解析は、医用画像処理装置50において実行される場合に限られない。すなわち、画像の解析が実行される箇所は任意であり、例えば、医用画像処理装置50とネットワークNWを介して接続された診断支援装置などに学習済みモデル210が記憶されており、医用画像処理装置50は、ネットワークNWを介して、画像変換処理を実行した入力画像IMを診断支援装置に送信することにより、診断支援装置に記憶された学習済みモデル210により画像の解析が実行されるようにしてもよい。
【0033】
図4は、本実施形態に係る医用画像処理システム1において、第1モダリティ装置10において収集された生データの撮影条件と画像変換条件とを対応付けた第1対応表の一例を示す図である。
図4に示すように、本実施形態に係る第1対応表T1では、第1モダリティ装置10において生データが収集された際の撮影条件と、画像変換条件とが関連付けて保持されている。
図4に示す第1対応表T1の例では、医用画像処理装置50は、生データの撮影条件A1~F1までの撮影条件毎に、画像変換条件RE1~RE6が関連付けて保持されている。例えば、医用画像処理装置50は、撮影条件A1の生データを取得すると、第1対応表T1から画像変換条件RE1を取得し、画像変換条件RE1を用いて撮影条件A1の生データを入力画像IMに変換する。
【0034】
図5は、本実施形態に係る医用画像処理システム1において、第1モダリティ装置10において撮影された第1医用画像の撮影条件と画像変換手法情報とを対応付けた第2対応表の一例を示す図である。この
図5に示すように、例えば、本実施形態に係る第2対応表T2では、第1モダリティ装置10において第1医用画像を撮影した際に用いられた第1医用画像の撮影条件と、画像変換手法情報として、画像変換モデル識別情報と、画像変換モデル名称と、調整量と、使用画像比率情報として画像変換モデル内訳とが関連付けられて保持されている。また、本実施形態に係る第2対応表T2では、第1医用画像の撮影条件と、使用比率情報とが関連付けられて保持されている。
図5に示す例において、撮影条件A2の第1医用画像は入力画像IMである。つまり、撮影条件A2の第1医用画像は学習済みモデル210に最適な画像であるため、医用画像処理装置50は、撮影条件A2の第1医用画像を取得した場合、取得した撮影条件A2の第1医用画像を変換することなく、学習済みモデル210に入力することができる。このため、第2対応表T2における第1医用画像の撮影条件A2の欄には、画像変換モデル識別情報以外の情報が関連付けられていない。なお、第2対応表T2には、他の情報を含むようにしてもよい。
【0035】
画像変換モデル識別情報は、第1医用画像を入力画像IMに変換する際に用いられる画像変換モデルを識別するための情報である。この第1医用画像の撮影条件と画像変換モデル識別情報とが第2対応表T2において関連付けて保持されているため、画像変換モデルが、第1医用画像の撮影条件に対応付けて記憶されていることとなる。
図5に示すように、第1医用画像の撮影条件B2を例にとると、画像変換モデル識別情報は「MO3」と関連付けられており、第1医用画像の撮影条件C2を例にとると、画像変換モデル識別情報は「MO2」と関連付けられており、第1医用画像の撮影条件H2を例にとると、画像変換モデル識別情報は「MO2、MO3」と関連付けられている。つまり、
図4に示す例においては、第1医用画像の撮影条件B2の場合、第1医用画像に画像変換モデルMO3を適用することを示しており、第1医用画像の撮影条件C2の場合、第1医用画像に画像変換モデルMO2を適用することを示しており、撮影条件H2の場合、第1医用画像に画像変換モデルMO2と画像変換モデルMO3とを適用することを示している。なお、
図5に示す例においては、1つの第1医用画像の撮影条件に対して、1つ又は2つの画像変換モデルが対応付けられているが、1つの第1医用画像の撮影条件に対する画像変換モデルの数は、1つ又は2つに限られない。すなわち、1つの第1医用画像の撮影条件に対する画像変換モデルの数は任意であり、1つの第1医用画像の撮影条件に対して、3つ以上の画像変換モデルが対応付けられてもよい。
【0036】
画像変換モデル名称は、画像変換モデルの名称を示す情報である。
図5に示すように、第1医用画像の撮影条件B2を例にとると、画像変換モデル名称は「ノイズ変換モデルA」と関連付けられており、第1医用画像の撮影条件C2を例にとると、画像変換モデルは「コントラスト変換モデルA」と関連付けられている。
【0037】
調整量は、第1医用画像に画像変換モデルを適用した場合に第1医用画像のノイズやコントラストが調整される量を示す情報である。
図5に示すように、第1医用画像の撮影条件B2を例にとると、調整量は「1」と関連付けられているため、ノイズ除去が1増加するように調整されることを示している。また、第1医用画像の撮影条件C2を例にとると、調整量は「1」と関連付けられているため、コントラストが1増加するように調整されることを示している。
【0038】
画像変換モデル内訳は、画像変換モデルを生成する際に用いられた画像の種類の比率に関する情報である。画像変換モデルを生成する際に用いられた画像の種類とは、臨床画像や、臨床画像(加工)、ファントム等である。臨床画像は、被検体を撮影した画像であり、臨床画像(加工)は、被検体を撮影した画像に対して、各種の加工を施した画像であり、ファントムは、ファントムを撮影した画像である。臨床画像を用いた比率が大きいほど、画像変換モデルの信用度が高く、ファントムを用いた比率が大きいほど、画像変換モデルの信用度が低くなる。医用画像処理装置50は、この画像変換モデル内訳をユーザに提示することにより、画像変換処理に用いられた画像変換モデルの信用度をユーザに提示することができる。
図5に示すように、第1医用画像の撮影条件B2を例にとると、画像変換モデル内訳は、「臨床画像:85%、臨床画像(加工):10%、ファントム:5%」と関連付けられており、第1医用画像の撮影条件C2を例にとると、「臨床画像:60%、臨床画像(加工):30%、ファントム:10%」と関連付けられている。
【0039】
使用比率情報は、入力画像IMに変換する際に用いられた画像変換モデルの使用比率に関する情報である。
図5に示すように、第1医用画像の撮影条件H2を例にとると、「2:3」と関連付けられているため、コントラスト変換モデルAとノイズ変換モデルAが2:3の使用比率で適用されることを示している。また、第1医用画像の撮影条件B2を例にとると、撮影条件B2の第1医用画像に用いられる画像変換モデルは1つであるため、使用比率情報は関連付けられていない。
【0040】
この医用画像処理装置50において、第1医用画像に画像変換モデルを適用する場合をより詳細に説明する。
図6は、本実施形態に係る医用画像処理装置50において、第1医用画像に画像変換モデルを適用する場合の一例を示す図である。
図6に示すように、医用画像処理装置50は、撮影条件D2の第1医用画像FM1を取得すると、第2対応表T2を用いて、第1医用画像の撮影条件D2に対応付けられた画像変換モデルMO1である高画質化変換モデルAを撮影条件D2の第1医用画像FM1に適用する。これにより、撮影条件D2の第1医用画像FM1を入力画像IM1に変換することができる。ここで、本実施形態において高画質化とは、例えば、ノイズおよびコントラストの両方を調整することである。
【0041】
また、
図6に示すように、医用画像処理装置50は、撮影条件C2の第1医用画像FM2を取得すると、第2対応表T2を用いて、第1医用画像の撮影条件C2に対応付けられた画像変換モデルMO2であるコントラスト変換モデルAを撮影条件C2の第1医用画像FM2に適用する。これにより、撮影条件C2の第1医用画像FM2を入力画像IM2に変換することができる。さらに、
図6に示すように、医用画像処理装置50は、撮影条件B2の第1医用画像FM3を取得すると、第2対応表T2を用いて、第1医用画像FM3の撮影条件B2に対応付けられた画像変換モデルMO3であるノイズ変換モデルAを撮影条件B2の第1医用画像FM3に適用する。これにより、撮影条件B2の第1医用画像FM3を入力画像IM3に変換することができる。
【0042】
なお、
図5及び
図6に示すように、本実施形態に係る画像変換モデルは、ノイズ、コントラスト及び高画質化を行う画像変換モデルであるが、画像変換モデルの種類はこれに限られない。すなわち、作成される画像変換モデルの種類は任意であり、例えば、部位や体形、造影状態等に関する画像変換モデルがメモリ51に記憶されていてもよい。
【0043】
図3に戻り、ディスプレイ52は、各種の画像や情報を出力する。例えば、ディスプレイ52は、第1モダリティ装置10や第2モダリティ装置20、第3モダリティ装置30、医用データサーバ40から取得した、生データや第1医用画像FM、第2医用画像、第3医用画像などを出力したり、生データや第1医用画像、第2医用画像などを変換した入力画像IMを出力したり、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力したりする。本実施形態においては、ディスプレイ52は、例えば、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ等によって構成される。このディスプレイ52は、本実施形態における表示部に相当している。
【0044】
入力インターフェース53は、ユーザからの各種の入力を受け付ける回路であり、本実施形態においては、入力インターフェース53は、例えば、変換する医用データMDの選択や使用比率の調整等に関する入力操作を、ユーザから受け付ける。本実施形態においては、入力インターフェース53は、例えば、マウスやキーボード、トラックボール、手動スイッチ、フットスイッチ、ボタン、ジョイスティック等により実現される。
【0045】
通信インターフェース54は、ネットワークNWの形態に応じた種々の情報通信用プロトコルを実装する。通信インターフェース54は、この各種プロトコルに従って、ネットワークNWを介して他の装置との通信を実現する。特に、本実施形態では、通信インターフェース54を介して、医用画像処理装置50は、ネットワークNWに接続されて、第1モダリティ装置10や第2モダリティ装置20、第3モダリティ装置30、医用データサーバ40との通信が実現される。
【0046】
処理回路55は、各種の演算を行う演算回路であり、例えば、CPUやGPU等のプロセッサにより構成される。本実施形態に係る処理回路55は、例えば、医用データMDを入力画像IMに変換したり、学習済みモデル210が出力した画像の解析結果を出力したりする。
【0047】
このため、本実施形態に係る処理回路55は、取得機能551と、変換機能552と、出力機能553と、第1特定機能554と、算出機能555と、フィルタリング機能556と、選択機能557と、調整機能558と、登録機能559とを有する。取得機能551は本実施形態における取得部に相当しており、変換機能552は本実施形態における変換部に相当しており、出力機能553は本実施形態における出力部に相当しており、第1特定機能554は本実施形態における第1特定部に相当しており、算出機能555は本実施形態における算出部に相当しており、フィルタリング機能556は本実施形態におけるフィルタリング部に相当しており、選択機能557は本実施形態における選択部に相当しており、調整機能558は本実施形態における調整部に相当しており、登録機能559は、本実施形態における登録部に相当している。
【0048】
図3に示す実施形態では、取得機能551と、変換機能552と、出力機能553と、第1特定機能554と、算出機能555と、フィルタリング機能556と、選択機能557と、調整機能558と、登録機能559とにて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ51に格納されている。処理回路55はプログラムをメモリ51から読み出し、実行することで、各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路55は、
図3の処理回路55内に示された各機能を有することとなる。なお、
図3においては単一の処理回路55にて、取得機能551と、変換機能552と、出力機能553と、第1特定機能554と、算出機能555と、フィルタリング機能556と、選択機能557と、調整機能558と、登録機能559とが実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路55を構成し、各プロセッサがプログラムを実行することにより、これらの機能を実現するものとしても構わない。
【0049】
取得機能551は、医用データMDを取得する。変換機能552は、取得機能551が取得した医用データMDを画像の解析結果を出力する学習済みモデル210の入力に適合する入力画像IMに変換する。具体的には、変換機能552は、取得機能551が医用データMDとして生データを取得した場合には、生データの撮影条件に対応する画像変換条件を取得し、取得した画像変換条件を用いた画像変換処理を生データに対して実行することにより、生データを入力画像IMに変換する。また、変換機能552は、取得機能551が医用データMDとして第1医用画像又は第2医用画像を取得した場合には、メモリ51に記憶されている画像変換手法における画像変換モデルを用いた画像変換処理を第1医用画像又は第2医用画像に対して実行することにより、第1医用画像又は第2医用画像を入力画像IMに変換する。
【0050】
出力機能553は、変換機能552により変換された入力画像IMを出力する。第1特定機能554は、特定モデルを用いて、第1医用画像の画像変換処理に用いられる画像変換手法を特定する。本実施形態においては、第1特定機能554は、特定モデルを用いて、第1医用画像の画像変換処理に用いられる画像変換モデルを特定する。ここで特定モデルとは、医用画像に基づいて、医用画像の画像変換処理に用いられる画像変換モデルを特定するモデルである。具体的には、特定モデルは、医用画像の入力に対して、分類(classification)などにより、画像変換に用いられる画像変換モデルを特定するモデルである。
【0051】
なお、この特定モデルにおいて特定される画像変換モデルは、1つに限られず、撮影条件等に基づいて、複数の画像変換モデルが特定されてもよい。また、特定モデルを用いて複数の画像変換モデルが特定される場合、特定された複数の画像変換モデルの使用比率情報も特定される。
【0052】
算出機能555は、第1モダリティ装置10と異なる第2モダリティ装置20において撮影された第2医用画像に基づいて、第2医用画像の第1モダリティ装置10における撮影条件を算出する。具体的には、第2医用画像を入力画像IMに変換する場合、第1医用画像の第1モダリティにおける撮影条件と画像変換モデルが対応付けられているため、第2医用画像の第2モダリティ装置20における撮影条件では、入力画像IMに変換する際に用いられる画像変換モデルを特定できない。このため、算出機能555は、第2医用画像の第1モダリティ装置10における撮影条件を算出することとなる。このように算出機能555が第2医用画像の第1モダリティ装置10における撮影条件を算出することにより、変換機能552は、第2対応表T2を用いて、入力画像IMに変換する際に用いられる画像変換モデルを特定して、第2医用画像を入力画像IMに変換することができる。
【0053】
ここで、第2医用画像の第1モダリティ装置10における撮影条件の算出は、例えば、第1モダリティ装置10における撮影条件が不明の第2医用画像を用いて、第1モダリティ装置10における撮影条件が既知の第1医用画像の撮影条件を調整することで行われる。
【0054】
図7及び
図8は、本実施形態に係る医用画像処理装置50において、第2医用画像の第1モダリティ装置10における撮影条件の算出方法の一例を説明するための説明図である。
図7に示す例において、算出機能555は、第1モダリティ装置10における撮影条件が既知の第1医用画像FMと、第1モダリティ装置10における撮影条件を算出したい第2医用画像SMとを取得して、第1医用画像FMと、第2医用画像SMと、第1医用画像FMの撮影条件を指定する入力操作を受け付ける操作領域OP1とをディスプレイ52に出力する。次に、算出機能555は、スライドバーSB1に対する当該入力操作にしたがった調整後の第1医用画像FMの撮影条件に基づいて第1モダリティ装置10により撮影されることが推定される推定画像と、第2モダリティ装置20において撮影された第2医用画像SMとをディスプレイ52に出力しながら、スライドバーSB1に対する当該入力操作にしたがった第1医用画像FMの撮影条件を調整する。なお、推定画像は、例えば、第1医用画像FMと第1医用画像FMの撮影条件を学習した第1モデルを用いて、入力操作にしたがった調整後の第1モダリティ装置10における撮影条件に対応する推定画像をディスプレイ52に出力する。
【0055】
そして、
図8に示すように、算出機能555は、推定画像FM’が第2医用画像SMと同等となった場合における操作領域OP1に出力された推定画像FM’の撮影条件を、第2医用画像SMの第1モダリティ装置10における撮影条件として算出する。
【0056】
また、第2医用画像の第1モダリティ装置10における撮影条件の算出は、例えば、第1モダリティ装置10における撮影条件が既知の第1医用画像FMと、第1モダリティ装置10における撮影条件を算出したい第2医用画像SMとの類似度とを比較することにより、自動的に行われてもよい。
【0057】
図9は、本実施形態に係る医用画像処理装置50において、第2医用画像SMの第1モダリティ装置10における撮影条件の算出方法の他の例を説明するための説明図である。
図9に示すように、算出機能555は、複数の第1医用画像FMと、第1モダリティ装置10における撮影条件を算出したい第2医用画像SMとを取得する。次に、算出機能555は、複数の第1医用画像FMと、第1モダリティ装置10における撮影条件を算出したい第2医用画像SMとを比較して、複数の第1医用画像FMのそれぞれと、第1モダリティ装置10における撮影条件を算出したい第2医用画像SMとの類似度を判断する。そして、算出機能555は、複数の第1医用画像FMのうち類似度が閾値以上となった第1医用画像FMの撮影条件を、第2医用画像SMの第1モダリティ装置10における撮影条件と推定することにより、第2医用画像SMの第1モダリティ装置10における撮影条件を算出してもよい。
【0058】
また、第2医用画像SMの第1モダリティ装置10における撮影条件の算出は、第1モダリティ装置10の複数種類の撮影条件毎に各撮影条件の値を変更したときに得られる画像を学習した第2モデルを用いて、自動的に行われてもよい。
【0059】
図10は、本実施形態に係る医用画像処理装置50において、第2医用画像SMの第1モダリティ装置10における撮影条件の算出方法の他の例を説明するための説明図である。
図10に示すように、この第2モデルは、撮影条件の1つである管電圧の値を変更したときに推定される画像と、他の種類の撮影条件である再構成関数の値を変更したときに推定される画像とをそれぞれ学習したモデルである。この
図10に示される例では、管電圧を変更すると推定される画像の濃淡が変更される。また、再構成関数が変更されると、推定される画像の色味が変更される。
【0060】
この第2モデルを用いて、算出機能555は、第2モデルから、複数種類の撮影条件のうちの1種類の撮影条件を選択する。次に、算出機能555は、選択した1種類の撮影条件の値を変更しながら、当該第2モデルから取得される1種類の撮影条件の値に対応する画像と、第1モダリティ装置10における撮影条件を算出したい第2医用画像SMとを比較して、類似度を判断する。そして、算出機能555は、類似度が閾値以上となったときの値を有する1種類の撮影条件を確定することを、複数種類の撮影条件の全ての値が確定されるまで繰り返す。これにより、算出機能555は、複数種類の撮影条件毎に、第2医用画像SMの第1モダリティ装置10における撮影条件を推定して、第2医用画像SMの第1モダリティ装置10における撮影条件を算出してもよい。
【0061】
なお、第2医用画像SMの第1モダリティ装置10における撮影条件の算出方法は、上述した例に限られない。すなわち、第2医用画像SMの第1モダリティ装置10における撮影条件の算出方法は任意である。
【0062】
フィルタリング機能556は、算出機能555により算出された第2医用画像SMの第1モダリティ装置10における撮影条件に基づいて、メモリ51に記憶されている第1医用画像FMの撮影条件をフィルタリングする。選択機能557は、第2医用画像SMと入力画像IMとに基づいて、フィルタリング機能556によりフィルタリングされた第1医用画像FMの撮影条件に対応付けられた画像変換モデルから、第2医用画像SMの画像変換処理に用いられる画像変換モデルを選択する。
【0063】
調整機能558は、使用比率を調整する入力操作をユーザから受け付けて、受け付けた入力操作に基づいて、使用比率を調整する。登録機能559は、画像変換手法情報と、撮影条件とを対応付けてメモリ51に登録する。
【0064】
図11及び
図12は、本実施形態に係る医用画像処理装置50で実行される変換処理の内容を説明するフローチャート図である。変換処理では、医用データMDを取得したり、医用データMDを入力画像IMに変換したり、変換された入力画像IMを学習済みモデル210に出力したりする。例えば、この変換処理は、ユーザが開始を指示することにより実行される処理である。
【0065】
図11に示すように、まず、医用画像処理装置50は、医用データMDを取得する(ステップS11)。この医用データMDを取得する処理は、処理回路55における取得機能551により実現される。具体的には、医用画像処理装置50は、第1モダリティ装置10、第2モダリティ装置20又は医用データサーバ40から、医用データMDとして、第1モダリティ装置10において収集された生データ、第1モダリティ装置10において撮影された第1医用画像FM及び第2モダリティ装置20において撮影された第2医用画像SMのいずれかを取得する。
【0066】
次に、
図11に示すように、医用画像処理装置50は、医用データMDの付帯情報を取得する(ステップS13)。この医用データMDの付帯情報を取得する処理は、処理回路55における取得機能551により実現される。具体的には、医用画像処理装置50は、第1モダリティ装置10、第2モダリティ装置20又は医用データサーバ40から、医用データMDとともに、ステップS11で取得した医用データMDの付帯情報を取得する。
【0067】
ここで、付帯情報とは、医用データMDに付帯する情報であり、被検体を撮影したモダリティ装置によって生成される。付帯情報は、例えば、医用データMDの撮影条件や医用データMDを生成したモダリティ装置のメーカに関する情報、生データや医用画像などの医用データMDのデータの種類に関する情報等を含む。
【0068】
なお、付帯情報は、ステップS11において医用データMDとともに取得されてもよい。ステップS11において医用データMDとともに付帯情報が取得された場合、このステップS13における付帯情報を取得する処理は省略されてもよい。
【0069】
次に、
図11に示すように、医用画像処理装置50は、医用データMDを特定する(ステップS15)。この医用データMDを特定する処理は、処理回路55における取得機能551により実現される。具体的には、医用画像処理装置50は、ステップS13で取得した付帯情報に基づいて、ステップS11で取得した医用データMDが、生データ、第1医用画像FM、及び、第2医用画像SMのいずれであるかを特定する。
【0070】
次に、
図11に示すように、医用画像処理装置50は、医用データMDが第1モダリティ装置10により撮影されたか否かを判定する(ステップS17)。この医用データMDが第1モダリティ装置10により撮影されたか否かを判定する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS15における医用データMDの特定結果に基づいて、医用データMDが第1モダリティ装置10により撮影されたか否かを判定する。
【0071】
そして、ステップS17において、医用データMDが第1モダリティ装置10により撮影された場合(ステップS17:YES)、医用画像処理装置50は、医用データMDが生データであるか否かを判定する(ステップS19)。この医用データMDが生データであるか否かを判定する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS15における医用データMDの特定結果に基づいて、医用データMDが生データであるか否かを判定する。
【0072】
そして、ステップS19において、医用データMDが生データである場合(ステップS19:YES)、すなわち、取得機能551が医用データMDとして生データを取得した場合、医用画像処理装置50は、生データの撮影条件に対応する画像変換条件を取得する(ステップS21)。この生データの撮影条件に対応する画像変換条件を取得する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、第1対応表T1を用いて、生データの撮影条件に対応する画像変換条件を取得する。より具体的には、変換機能552は、第1対応表T1を用いて、生データの撮影条件に対応する画像変換条件を特定し、特定した画像変換条件をメモリ51から取得する。
【0073】
次に、
図11に示すように、医用画像処理装置50は、生データを入力画像IMに変換する(ステップS23)。この生データを入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS21で取得した画像変換条件を用いた画像変換処理を生データに対して実行することにより、生データを入力画像IMに変換する。より具体的には、ステップS21において画像変換条件として再構成条件を取得した場合、医用画像処理装置50は、取得した再構成条件に基づいて、再構成処理を生データに対して実行することにより、生データを入力画像IMに変換する。
【0074】
次に、
図11に示すように、医用画像処理装置50は、入力画像IMを学習済みモデル210に出力する(ステップS25)。この入力画像IMを学習済みモデル210に出力する処理は、処理回路55における出力機能553により実現される。具体的には、医用画像処理装置50は、ステップS23で変換機能552により変換された入力画像IMを、メモリ51に記憶された学習済みモデル210に出力する。
【0075】
次に、
図11に示すように、医用画像処理装置50は、解析結果ARを取得する(ステップS27)。この解析結果ARを取得する処理は、処理回路55における取得機能551により実現される。具体的には、医用画像処理装置50は、学習済みモデル210から、解析結果ARを取得する。
【0076】
次に、
図11に示すように、医用画像処理装置50は、解析結果ARを出力する(ステップS29)。この解析結果ARを出力する処理は、処理回路55における出力機能553により実現される。具体的には、医用画像処理装置50は、ステップS27で取得した解析結果ARをディスプレイ52に出力して、変換処理を終了する。
【0077】
一方、ステップS19において、医用データMDが生データでない場合(ステップS19:NO)、すなわち、取得機能551が医用データMDとして第1医用画像FMを取得した場合、医用画像処理装置50は、第1医用画像FMの撮影条件が記憶されているか否かを判定する(ステップS31)。この第1医用画像FMの撮影条件が記憶されているか否かを判定する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、取得機能551により取得された第1医用画像FMの撮影条件がメモリ51に記憶されているか否かを判定する。より具体的には、変換機能552は、メモリ51に記憶されている第2対応表T2を用いて、第1医用画像FMの撮影条件がメモリ51の第2対応表T2に記憶されているか否かを判定する。
【0078】
そして、ステップS31において、第1医用画像FMの撮影条件が記憶されていると判定した場合(ステップS31:YES)、すなわち、第1医用画像FMの撮影条件がメモリ51に記憶されている場合には、医用画像処理装置50は、第1医用画像FMの撮影条件に対応する画像変換モデルを取得する(ステップS33)。この第1医用画像FMの撮影条件に対応する画像変換モデルを取得する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、第2対応表T2を用いて、第1医用画像FMの撮影条件に対応する画像変換モデルを取得する。より具体的には、変換機能552は、第2対応表T2を用いて、第1医用画像FMの撮影条件に対応する画像変換モデルを特定し、特定した画像変換モデルをメモリ51から取得する。なお、このステップS33において、特定モデルを用いて複数の画像変換モデルが特定される場合、特定された複数の画像変換モデルの使用比率情報も特定される。
【0079】
次に、
図11に示すように、医用画像処理装置50は、取得した画像変換モデルを用いて、第1医用画像FMを入力画像IMに変換する(ステップS35)。この第1医用画像FMを入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS33において取得した画像変換モデルを用いた画像変換処理を第1医用画像FMに対して実行することにより、第1医用画像FMを入力画像IMに変換する。
【0080】
一方、ステップS31において、第1医用画像FMの撮影条件が記憶されていないと判定した場合(ステップS31:NO)、すなわち、第1医用画像FMの撮影条件がメモリ51に記憶されていない場合には、医用画像処理装置50は、第1医用画像FMに対応する画像変換モデルを特定する(ステップS37)。この第1医用画像FMに対応する画像変換モデルを特定する処理は、処理回路55における第1特定機能554により実現される。具体的には、医用画像処理装置50は、特定モデルに対して、第1医用画像FMを入力することで、第1医用画像FMの画像変換処理に用いられる画像変換モデルを特定する。
【0081】
次に、
図11に示すように、医用画像処理装置50は、特定した画像変換モデルを用いて第1医用画像FMを入力画像IMに変換する(ステップS39)。この第1医用画像FMを入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS37において特定した画像変換モデルを用いた画像変換処理を第1医用画像FMに対して実行することにより、第1医用画像FMを入力画像IMに変換する。
【0082】
一方、ステップS17において、医用データMDが第1モダリティ装置10により撮影されていない場合(ステップS17:NO)、すなわち、取得機能551が医用データMDとして第1モダリティ装置10と異なる第2モダリティ装置20において撮影された第2医用画像SMを取得した場合には、医用画像処理装置50は、第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されているか否かを判定する(ステップS41)。この第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されているか否かを判定する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、取得機能551により取得された第2医用画像SMの第2モダリティ装置20における撮影条件がメモリ51に記憶されているか否かを判定する。より具体的には、変換機能552は、メモリ51に記憶されている第2対応表T2を用いて、第2医用画像SMの第2モダリティ装置20における撮影条件がメモリ51の第2対応表T2に記憶されているか否かを判定する。
【0083】
そして、ステップS41において、第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されている場合(ステップS41:YES)、医用画像処理装置50は、第2医用画像SMの第2モダリティ装置20における撮影条件に対応する画像変換モデルを取得する(ステップS43)。この第2医用画像SMの第2モダリティ装置20における撮影条件に対応する画像変換モデルを取得する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、第2対応表T2を用いて、第2医用画像SMの第2モダリティ装置20における撮影条件に対応する画像変換モデルを取得する。より具体的には、変換機能552は、第2対応表T2を用いて、第2医用画像SMの第2モダリティ装置20における撮影条件に対応する画像変換モデルを特定し、特定した画像変換モデルをメモリ51から取得する。
【0084】
次に、
図11に示すように、医用画像処理装置50は、取得した画像変換モデルを用いて、第2医用画像SMを入力画像IMに変換する(ステップS45)。この第2医用画像SMを入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS43において取得した画像変換モデルを用いた画像変換処理を第2医用画像SMに対して実行することにより、第2医用画像SMを入力画像IMに変換する。
【0085】
一方、ステップS41において、第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されていない場合(ステップS41:NO)、医用画像処理装置50は、第2医用画像SMの第1モダリティ装置10における撮影条件を算出する(ステップS47)。この第2医用画像SMの第1モダリティ装置10における撮影条件を算出する処理は、処理回路55における算出機能555により実現される。具体的には、医用画像処理装置50は、第2医用画像SMに基づいて、第2医用画像SMの第1モダリティ装置10における撮影条件を算出する。
【0086】
次に、
図11に示すように、医用画像処理装置50は、第2医用画像SMの第1モダリティ装置10における撮影条件が記憶されているか否かを判定する(ステップS49)。この第2医用画像SMの第1モダリティ装置10における撮影条件が記憶されているか否かを判定する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、医用画像処理装置50は、算出機能555により算出された第2医用画像SMの第1モダリティ装置10における撮影条件がメモリ51に記憶されているか否かを判定する。より具体的には、変換機能552は、メモリ51に記憶されている第2対応表T2を用いて、第2医用画像SMの第1モダリティ装置10における撮影条件がメモリ51の第2対応表T2に記憶されているか否かを判定する。
【0087】
そして、ステップS49において、第2医用画像SMの第1モダリティ装置10における撮影条件が記憶されている場合(ステップS49:YES)、すなわち、第2医用画像SMの第1モダリティ装置10における撮影条件がメモリ51に記憶されている場合、医用画像処理装置50は、第2医用画像SMの第1モダリティ装置10における撮影条件に対応する画像変換モデルを取得する(ステップS51)。この第2医用画像SMの第1モダリティ装置10における撮影条件に対応する画像変換モデルを取得する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、第2対応表T2を用いて、第2医用画像SMの第1モダリティ装置10における撮影条件に対応する画像変換モデルを取得する。より具体的には、変換機能552は、第2対応表T2を用いて、第2医用画像SMの第1モダリティ装置10における撮影条件に対応する画像変換モデルを特定し、特定した画像変換モデルをメモリ51から取得する。
【0088】
次に、
図11に示すように、医用画像処理装置50は、取得した画像変換モデルを用いて、第2医用画像SMを入力画像IMに変換する(ステップS53)。この第2医用画像SMを入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS51において取得した画像変換モデルを用いた画像変換処理を第2医用画像SMに対して実行することにより、第2医用画像SMを入力画像IMに変換する。
【0089】
一方、ステップS49において、第2医用画像SMの第1モダリティ装置10における撮影条件が記憶されていない場合(ステップS49:NO)、すなわち、第2医用画像SMの第1モダリティ装置10における撮影条件がメモリ51に記憶されていない場合、医用画像処理装置50は、第1医用画像FMの撮影条件をフィルタリングする(ステップS55)。第1医用画像FMの撮影条件をフィルタリングする処理は、処理回路55におけるフィルタリング機能556により実現される。具体的には、医用画像処理装置50は、ステップS47において算出された第2医用画像SMの第1モダリティ装置10における撮影条件に基づいて、第1医用画像FMの撮影条件をフィルタリングする。より具体的には、フィルタリング機能556は、第2医用画像SMの第1モダリティ装置10における撮影条件に含まれる撮影部位及び撮影プロトコル名と同一の撮影部位及び撮影プロトコル名を含む第1医用画像FMの撮影条件を、第2対応表T2に関連付けられている第1医用画像FMの撮影条件からフィルタリングする。
【0090】
次に、
図11に示すように、医用画像処理装置50は、画像変換モデルを選択する(ステップS57)。この画像変換モデルを選択する処理は、処理回路55における選択機能557により実現される。具体的には、医用画像処理装置50は、第2医用画像SMと入力画像IMに基づいて、フィルタリング部によりフィルタリングされた第1医用画像FMの撮影条件に対応付けられた画像変換モデルから、第2医用画像SMの画像変換処理に用いられる画像変換モデルを選択する。より具体的には、選択機能557は、第2医用画像SMに対する入力画像IMを取得して、第2医用画像SMと、入力画像IMとのコントラストやノイズなどの画質の差異を評価し、評価結果と、第2対応表T2に関連付けられた画像変換手法情報とを比較して、画像変換モデルを選択する。
【0091】
例えば、ステップS57において、選択機能557は、第2医用画像SMと入力画像IMとの画質の差異を評価することにより、第2医用画像SMを入力画像IMに変換するためには、ノイズが0.5足りなくて、コントラストが1足りないとの評価結果を得た場合、第2対応表T2に関連付けられた画像変換手法情報を参照する。そして、選択機能557は、ノイズを0.5上げる画像変換モデルはないものの、コントラストを1上げる画像変換モデルが第2対応表T2に関連付けられていることから、評価結果に基づいて、画像変換モデルMO2であるコントラスト変換モデルAを選択する。なお、このステップS57において、選択される画像変換モデルは1つに限られず、複数の画像変換モデルが選択されてもよい。この第2医用画像SMの第1モダリティ装置10における撮影条件と、選択機能557により選択された第1医用画像FMの撮影条件は、類似していると呼ばれる場合もある。
【0092】
次に、
図11に示すように、医用画像処理装置50は、選択した画像変換モデルを用いて、第2医用画像SMを入力画像IMに変換する(ステップS59)。この第2医用画像SMを入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS57において選択した画像変換モデルを用いた画像変換処理を第2医用画像SMに対して実行することにより、第2医用画像SMを入力画像IMに変換する。
【0093】
次に、
図12に示すように、医用画像処理装置50は、入力画像IMをディスプレイ52に出力する(ステップS61)。この入力画像IMをディスプレイ52に出力する処理は、処理回路55における出力機能553により実現される。具体的には、医用画像処理装置50は、ステップS35、ステップS39、ステップS45、ステップS53又はステップS59において変換された入力画像IMをディスプレイ52に出力する。
【0094】
次に、
図12に示すように、医用画像処理装置50は、画像変換手法情報及び使用比率情報を取得する(ステップS63)。この画像変換手法情報を取得する処理は、処理回路55における取得機能551により実現される。具体的には、医用画像処理装置50は、ステップS35、ステップS39、ステップS45、ステップS53又はステップS59において画像を変換する際に用いられた画像変換手法に対応する画像変換手法情報及びステップS35、ステップS39、ステップS45、ステップS53又はステップS59において用いられた画像変換モデルの使用比率情報を取得する。なお、ステップS63において、入力画像IMに変換する際に用いられた画像変換モデルが1つの場合には、画像変換手法情報のみ取得する。
【0095】
次に、
図12に示すように、医用画像処理装置50は、複数の画像変換モデルが用いられたか否かを判定する(ステップS64)。この複数の画像変換モデルが用いられたか否かを判定する処理は、処理回路55における調整機能558により実現される。具体的には、医用画像処理装置50は、ステップS63において取得した画像変換手法情報に基づいて、入力画像IMを変換する際に複数の画像変換モデルが用いられたか否かを判定する。
【0096】
そして、ステップS64において、複数の画像変換モデルが用いられていると判定された場合(ステップS64:YES)、医用画像処理装置50は、スライダーバーを含む操作領域を出力する(ステップS65)。このスライダーバーを含む操作領域を出力する処理は、処理回路55における調整機能558により実現される。具体的には、医用画像処理装置50は、ステップS63において取得された画像変換手法情報及び使用比率情報に基づいて、画像変換モデルの使用比率を調整する入力操作を受け付ける、スライダーバーを含む操作領域をディスプレイ52に出力する。
【0097】
図13乃至
図15を用いて、入力画像IM及び操作領域の出力態様を説明する。
図13は、本実施形態に係る医用画像処理装置50のディスプレイ52に出力される入力画像IM及び操作領域の出力態様の一例を示す図である。
図14及び
図15は、本実施形態に係る医用画像処理装置50において、操作領域における画像変換モデルの選択操作の一例を示す図である。
図13に示すように、医用画像処理装置50は、入力画像IMをディスプレイ52に出力し、入力画像IMの下方に操作領域OP2を出力している。また、医用画像処理装置50は、操作領域OP2に、画像変換モデルを選択するためのプルダウンPDと、画像変換モデルの使用比率を調整可能なスライダーバーSB2とを出力している。
図13に示す例においては、プルダウンPDにはコントラスト変換モデルAが選択されているため、スライダーバーSB2を操作することにより、コントラスト変換モデルAの使用比率を増減することができる。具体的には、例えば、ユーザが、スライダーバーSB2を、d1方向に操作することにより、コントラスト変換モデルAの使用比率が増加し、スライダーバーSB2を、d1方向と反対方向に操作することにより、コントラスト変換モデルAの使用比率が減少する。
【0098】
また、
図14に示すように、ユーザが、入力インターフェース53を介して、操作領域OP2におけるプルダウンPDをクリックすることにより、操作領域OP2には、選択可能な画像変換モデルを提示するプルダウンメニューが出力される。
図14に示す例においては、入力画像IMに変換する際に複数の画像変換モデルが用いられているため、プルダウンメニューには、コントラスト変換モデルAと、コントラスト変換モデルBと、コントラスト変換モデルCと、コントラスト変換モデルDとが選択可能に出力されている。この
図14に示す例において、コントラスト変換モデルBが選択されると、スライダーバーSB2を操作することにより、コントラスト変換モデルBの使用比率を増減することができる。また、このプルダウンメニューが出力された状態において、ユーザがマウスポインタMPを用いていずれかの画像変換モデルを指示することにより、指示された画像変換モデルの内訳が出力される。
図15に示す例においては、コントラスト変換モデルAが指示されているため、コントラスト変換モデルAの画像変換モデル内訳R1として、「臨床画像:85%、臨床画像(加工):10%、ファントム:5%」が出力されている。また、
図15に示す例においてはコントラスト変換モデルBが指示されているため、コントラスト変換モデルAの画像変換モデル内訳R2として、「臨床画像:35%、臨床画像(加工):30%、ファントム:25%」が出力されている。
【0099】
次に、
図12に示すように、医用画像処理装置50は、使用比率が調整されたか否かを判定する(ステップS67)。この使用比率が調整されたか否かを判定する処理は、処理回路55における調整機能558により実現される。具体的には、医用画像処理装置50は、入力インターフェース53を介して、画像変換モデルの使用比率を調整する入力操作をユーザから受け付けて、画像変換モデルの使用比率が調整されたか否かを判定する。より具体的には、調整機能558は、使用比率を調整する入力操作として、スライダーバーSB2に対する入力操作を受け付けて、使用比率が調整されたか否かを判定する。
【0100】
そして、ステップS67において、使用比率が調整された場合(ステップS67:YES)、医用画像処理装置50は、入力画像IMに変換する(ステップS69)。この入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS67において調整された使用比率に基づいて、第1医用画像FM又は第2医用画像SMを入力画像IMに変換する。
【0101】
次に、
図12に示すように、医用画像処理装置50は、入力画像IMを出力する(ステップS71)。この入力画像IMを出力する処理は、処理回路55における出力機能553により実現される。具体的には、医用画像処理装置50は、ステップS69で変換された、調整後の使用比率に基づく入力画像IMをディスプレイ52に出力する。
【0102】
一方、ステップS67において、使用比率が調整されない場合(ステップS67:NO)又は、ステップS71の後、医用画像処理装置50は、使用比率の調整が終了したか否かを判定する(ステップS73)。この使用比率の調整が終了したか否かを判定する処理は、処理回路55における調整機能558により実現される。具体的には、医用画像処理装置50は、入力インターフェース53を介して、使用比率の調整を終了するためのボタン(不図示)が押下されたか否かを判定することにより、使用比率の調整が終了したか否かを判定する。なお、使用比率の調整の終了は、ボタンが押下された場合に限られず、入力インターフェース53を介して、画像変換手法情報の変更を終了するための音声入力を行うことにより、使用比率の調整の終了を判定するようにしてもよい。
【0103】
そして、ステップS73において、使用比率の調整が終了していない場合(ステップS73:NO)、医用画像処理装置50は、ステップS67に戻り、画像変換手法情報の変更が終了するまでステップS67からの処理を繰り返す。
【0104】
一方、ステップS64において、複数の画像変換モデルが用いられていると判定した場合(ステップS64:NO)、又は、ステップS73において、使用比率の調整が終了した場合(ステップS73:YES)、医用画像処理装置50は、入力画像IMを学習済みモデル210に出力する(ステップS75)。この入力画像IMを学習済みモデル210に出力する処理は、処理回路55における出力機能553により実現される。具体的には、医用画像処理装置50は、入力画像IMを学習済みモデル210に出力する。
【0105】
次に、
図12に示すように、医用画像処理装置50は、解析結果ARを取得する(ステップS77)。この解析結果ARを取得する処理は、処理回路55における取得機能551により実現される。具体的には、医用画像処理装置50は、学習済みモデル210が出力した入力画像IMに対する解析結果ARを取得する。
【0106】
次に、
図12に示すように、医用画像処理装置50は、解析結果AR、画像変換手法情報及び使用比率情報を出力する(ステップS79)この解析結果AR、画像変換手法情報、及び、使用比率情報を出力する処理は、処理回路55における出力機能553により実現される。具体的には、医用画像処理装置50は、ステップS75において、学習済みモデル210から出力された解析結果ARとともに、入力画像IMに変換する際に用いられた画像変換手法情報、及び、使用比率情報をディスプレイ52に出力する。なお、ステップS79において、入力画像IMに変換する際に用いられた画像変換モデルが1つの場合には、解析結果ARとともに、画像変換手法情報のみをディスプレイ52に出力する。
【0107】
図16は、本実施形態に係る医用画像処理装置50のディスプレイ52に出力される解析結果AR、画像変換手法情報、及び、使用比率情報の一例を示す図である。
図16に示すように、ディスプレイ52には、解析結果ARが出力され、解析結果ARの下側には、レポートに関する情報などが表示されるレポート表示領域RDが出力され、解析結果ARの右側には情報表示領域IDが出力されている。この情報表示領域IDには、入力画像IMの変換に用いられた画像変換モデルと、使用比率情報が出力されている。
図16に示す例において、情報表示領域IDには、入力画像IMの変換に用いられた画像変換モデルに関する画像変換手法情報として、コントラストLvと示されたコントラスト変換モデルと、ノイズ調整修正と示されたノイズ変換モデルと、高画質化と示された高画質化変換モデルと、その他の3つの変換モデルが出力され、使用比率情報として、コントラスト変換モデルと、ノイズ変換モデルと、高画質化変換モデルと、その他の3つの変換モデルとの比である「3:2:1:0:5:1」が出力されている。このように、解析結果ARとともに画像変換手法情報及び使用比率情報をディスプレイ52に出力することにより、ユーザはどのような画像変換モデルが用いられたかを知ることができる。
【0108】
このステップS79を実行することにより、本実施形態に係る変換処理を終了する。
【0109】
図17は、本実施形態に係る医用画像処理システム1の医用画像処理装置50で実行される更新処理の内容を説明するフローチャート図である。この更新処理では、画像変換手法情報及び撮影条件を取得して、撮影条件が登録されていない場合や画像変換手法情報が更新された場合に、撮影条件を新たに登録したり、画像変換手法情報を更新したりする処理である。例えば、この更新処理は、入力画像IMが学習済みモデル210に出力された場合に実行される処理である。
【0110】
図17に示すように、まず、医用画像処理装置50は、入力画像IMが学習済みモデル210に出力されたか否かを判定する(ステップS81)。この入力画像IMが学習済みモデル210に出力されたか否かを判定する処理は、処理回路55における登録機能559により実現される。そして、入力画像IMが学習済みモデル210に出力されていない場合(ステップS81:NO)、入力画像IMが学習済みモデル210に出力されるまで、ステップS81の処理を繰り返して待機する。
【0111】
一方、ステップS81において、入力画像IMが学習済みモデル210に出力された場合(ステップS81:YES)、医用画像処理装置50は、入力画像IMの画像変換手法情報及び撮影条件を取得する(ステップS83)。この入力画像IMの画像変換手法情報及び撮影条件を取得する処理は、処理回路55における登録機能559により実現される。具体的には、医用画像処理装置50は、入力画像IMに変換する前の第1医用画像FM又は第2医用画像SMの撮影条件及び入力画像IMに変換する際に用いられた画像変換手法情報を取得する。
【0112】
次に、
図17に示すように、医用画像処理装置50は、撮影条件が登録されているか否かを判定する(ステップS85)。この撮影条件が登録されているか否かを判定する処理は、処理回路55における登録機能559により実現される。具体的には、医用画像処理装置50は、入力画像IMに変換する前の第1医用画像FM又は第2医用画像SMの撮影条件が、第2対応表T2に登録されているか否かを判定する。
【0113】
そして、ステップS85において、撮影条件が登録されていない場合(ステップS85:NO)、医用画像処理装置50は、画像変換手法情報及び撮影条件を対応付けて登録する(ステップS87)。この画像変換手法情報及び撮影条件を対応付けて登録する処理は、処理回路55における登録機能559により実現される。具体的には、ステップS83で取得した画像変換手法情報及び撮影条件を対応付けて第2対応表T2に登録することにより、画像変換手法情報及び撮影条件をメモリ51に登録する。
【0114】
一方、ステップS85において、撮影条件が登録されている場合(ステップS85:YES)、医用画像処理装置50は、画像変換手法情報が異なるか否かを判定する(ステップS89)。この画像変換手法情報が異なるか否かを判定する処理は、処理回路55における登録機能559により実現される。具体的には、医用画像処理装置50は、第2対応表T2において撮影条件に対応付けられた画像変換手法情報と、ステップS83で取得した画像変換手法情報が異なるか否かを判定する。
【0115】
そして、ステップS89において、画像変換手法情報が異なる場合(ステップS89:YES)、医用画像処理装置50は、撮影条件に対応する画像変換手法情報を更新する(ステップS91)。この撮影条件に対応する画像変換手法情報を更新する処理は、処理回路55における登録機能559により実現される。具体的には、医用画像処理装置50は、第2対応表T2において撮影条件に対応付けられた画像変換手法情報をステップS83で取得した画像変換手法情報に更新する。
【0116】
ステップS87の後、ステップS89において画像変換手法情報が異ならない場合(ステップS89:NO)、及び、ステップS91の後、本実施形態に係る更新処理を終了する。なお、この更新処理において、入力画像IMを変換する際に複数の画像変換モデルが用いられている場合、医用画像処理装置50は、画像変換手法情報及び撮影条件とともに、使用比率情報を取得して、撮影条件が登録されていない場合や画像変換手法情報及び/又は使用比率情報が更新された場合に、撮影条件に画像変換手法情報及び使用比率情報を対応付けて登録したり、画像変換手法情報及び/又は使用比率情報を更新したりするようにしてもよい。
【0117】
以上のように、本実施形態に係る医用画像処理システム1の医用画像処理装置50によれば、医用画像処理装置50は、医用データMDとして、生データを取得した場合、取得した生データの撮影条件に対応する画像変換条件を取得し、取得した画像変換条件を用いた再構成処理を生データに対して実行することにより、生データを入力画像IMに変換することとしたので、学習済みモデル210に対して追加の学習を行うことなく、異なるモダリティ装置で撮影された画像を学習済みモデル210に対して適用できる。
【0118】
また、本実施形態に係る医用画像処理システム1の医用画像処理装置50によれば、医用画像処理装置50は、医用データMDとして、第1医用画像FMを取得した場合、取得した第1医用画像FMの撮影条件に対応する画像変換処理モデルを取得又は特定し、取得又は特定した画像変換モデルを用いて、第1医用画像FMを入力画像IMに変換することとしたので、生データの場合と同様に、学習済みモデル210に対して追加の学習を行うことなく、異なるモダリティ装置で撮影された画像を学習済みモデル210に対して適用できる。
【0119】
さらに、本実施形態に係る医用画像処理システム1の医用画像処理装置50によれば、医用画像処理装置50は、医用データMDとして第2医用画像SMを取得した場合、第2医用画像SMの第2モダリティ装置20における撮影条件に対応する画像変換モデルを取得、又は、第2医用画像SMから第2医用画像SMの第1モダリティ装置10における撮影条件を算出し、算出した第2医用画像SMの第1モダリティ装置10における撮影条件に対応する画像変換モデルを取得、或いは、第2医用画像SMの画像変換処理に用いられる画像変換モデルを選択し、取得又は選択した画像変換モデルを用いて第2医用画像SMを入力画像IMに変換することとしたので、生データ及び第1医用画像FMの場合と同様に、学習済みモデル210に対して追加の学習を行うことなく、異なるモダリティ装置で撮影された画像を学習済みモデル210に対して適用できる。
【0120】
なお、上述した第1実施形態において、第2対応表T2には、第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されている場合も考慮したが、これに限られない。つまり、第2対応表T2には、第1医用画像FMの撮影条件又は第2医用画像SMの第1モダリティ装置10における撮影条件のみが記憶されるようにしてもよい。この場合、
図11に示す変換処理のステップS41乃至ステップS45の処理は省略されるため、ステップS17において医用データMDとして第2医用画像SMが取得されたと判定された場合、医用画像処理装置50は、ステップS47における第2医用画像SMの第1モダリティ装置10における撮影条件を算出するようにしてもよい。
【0121】
〔第2実施形態〕
上述した第1実施形態に係る医用画像処理装置50においては、医用データMDとして、第2医用画像SMを取得し、第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されていない場合には、第2医用画像SMの第1モダリティ装置10における撮影条件を算出することとしたが、これに限られない。第2実施形態に係る医用画像処理装置50においては、第2医用画像SMの第1モダリティ装置10における撮影条件を算出することなく、特定モデルを用いて、第2医用画像SMに対応する画像変換手法を特定するようにしてもよい。以下、上述した第1実施形態と異なる部分を説明する。
【0122】
図18は、第2実施形態に係る医用画像処理装置50の構成例を示すブロック図であり、上述した第1実施形態における
図3に対応する図である。この
図18に示すように、本実施形態に係る医用画像処理装置50は、上述した第1実施形態に係る医用画像処理装置50に対して、処理回路55に第2特定機能560を追加することにより構成されている。なお、第2特定機能560は、本実施形態に係る第2特定部に相当している。また、算出機能555、フィルタリング機能556及び選択機能557は、本実施形態との関係性が薄いため、処理回路55の機能から省略されてもよい。また、第2特定機能560以外の構成及び機能は、上述した第1実施形態における
図3と同様であるので、説明を省略する。
【0123】
第2特定機能560は、特定モデルを用いて、第2医用画像SMの画像変換処理に用いられる画像変換手法を特定する。本実施形態においては、第2特定機能560は、特定モデルを用いて、第2医用画像SMの画像変換処理に用いられる画像変換モデルを特定する。
【0124】
図19は、第2実施形態に係る医用画像処理装置50で実行される変換処理の内容を説明するフローチャート図であり、上述した第1実施形態における
図11に対応する図である。なお、
図19に示すステップS45までの処理は、上述した第1実施形態における
図11と同等であるため、説明を省略する。
【0125】
図19に示すように、ステップS41において、第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されていないと判定した場合(ステップS41:NO)、医用画像処理装置50は、第2医用画像SMに対応する画像変換モデルを特定する(ステップS101)。この第2医用画像SMに対応する画像変換モデルを特定する処理は、処理回路55における第2特定機能560により実現される。具体的には、医用画像処理装置50は、特定モデルに対して、第2医用画像SMを入力することで、第2医用画像SMの画像変換処理に用いられる画像変換モデルを特定する。
【0126】
次に、
図19に示すように、医用画像処理装置50は、特定した画像変換モデルを用いて第2医用画像SMを入力画像IMに変換する(ステップS103)。この第2医用画像SMを入力画像IMに変換する処理は、処理回路55における変換機能552により実現される。具体的には、医用画像処理装置50は、ステップS101において特定された画像変換モデルを用いた画像変換処理を第2医用画像SMに対して実行することにより、第2医用画像SMを入力画像IMに変換する。なお、このステップS103より後のステップS61以降の処理は、上述した第1実施形態における
図12と同等であるため、説明を省略する。
【0127】
以上のように、第2実施形態に係る医用画像処理システム1の医用画像処理装置50によれば、医用画像処理装置50は、医用データMDとして、第2医用画像SMを取得した場合、第2医用画像SMの第1モダリティ装置10における撮影条件を算出することなく、特定モデルを用いて、第2医用画像SMの画像変換処理に用いられる画像変換モデルを特定し、特定モデルにより特定された画像変換を用いて、第2医用画像SMを入力画像IMに変換することとしたので、学習済みモデル210に対して追加の学習を行うことなく、異なるモダリティ装置で撮影された画像を学習済みモデル210に対して適用できる。
【0128】
なお、上述した第2実施形態において、第2対応表T2には、第2医用画像SMの第2モダリティ装置20における撮影条件が記憶されている場合も考慮したが、これに限られない。つまり、第2対応表T2には、第1医用画像FMの撮影条件又は第2医用画像SMの第1モダリティ装置10における撮影条件のみが記憶されるようにしてもよい。この場合、
図19に示す変換処理のステップS41乃至ステップS45の処理は省略されるため、ステップS17において医用データMDとして第2医用画像SMが取得されたと判定された場合、医用画像処理装置50は、ステップS101において、第2医用画像SMに対応する画像変換モデルを特定するようにしてもよい。
【0129】
〔第1実施形態及び第2実施形態の変形例〕
上述した第1実施形態及び第2実施形態の医用画像処理装置50は、調整後の使用比率を調整前の初期の使用比率に戻すことも可能である。具体的には、医用画像処理装置50は、変換処理のステップS67において使用比率が調整された場合、調整後の使用比率を、ステップS63において取得された使用比率情報に基づく初期の使用比率に戻すことも可能である。このように調整後の使用比率を調整前の初期の使用比率に戻すことを実現するために、医用画像処理装置50は、初期の使用比率に戻すためのリセットボタンを操作領域OP2に出力する。そして、医用画像処理装置50は、ユーザによるリセットボタンへの入力操作に基づいて、調整前の初期の使用比率に戻すようにしてもよい。
【0130】
上述した第1実施形態及び第2実施形態の医用画像処理装置50は、調整前の初期の使用比率に対応する入力画像IMをメモリ51に保存することも可能である。具体的には、医用画像処理装置50は、変換処理のステップS61において出力される入力画像IMと、ステップS63において取得される画像変換手法情報及び使用比率情報とを保存することも可能である。この入力画像IMと画像変換手法情報及び使用比率情報との保存は、医用データMDを入力画像IMに変換した後に自動で行われてもよく、入力画像IMと画像変換手法情報及び使用比率情報とを保存するための保存ボタンを操作領域OP2に出力して、ユーザにより手動で行われてもよい。
【0131】
また、入力画像IMと入力画像IMに対応する画像変換手法情報及び使用比率情報とがメモリ51に保存されている場合、医用画像処理装置50は、学習済みモデル210による解析結果ARが出力された後に、メモリ51に保存された入力画像IMと画像変換手法情報及び使用比率情報とを読み出し、使用比率を調整して、調整後の使用比率に基づく入力画像IMを学習済みモデル210又はディスプレイ52出力するようにしてもよい。
【0132】
上述した第1実施形態及び第2実施形態の医用画像処理装置50は、画像変換モデルを適用して変換された入力画像IMに対して、追加的に画像変換モデルを適用できるようにすることも可能である。具体的には、医用画像処理装置50は、追加的に適用する画像変換モデルを選択するための入力操作に基づいて、ステップS61において出力された入力画像IMに対して、追加的に適用するために選択された画像変換モデルを適用するようにしてもよい。より具体的には、医用画像処理装置50は、例えば、ステップS61において出力された入力画像IMにコントラスト変換モデルAが適用されている場合、このコントラスト変換モデルAが適用された入力画像IMにコントラスト変換モデルB等の他の画像変換モデルを適用するようにしてもよい。この場合、医用画像処理装置50は、追加的に適用する画像変換モデルを選択するための選択ボタンを操作領域OP2に出力する。そして、医用画像処理装置50は、ユーザによる選択ボタンへの入力操作に基づいて、選択された画像変換モデルを入力画像IMに追加的に適用し、画像変換モデルが追加的に適用された入力画像IMをディスプレイ52に出力するようにしてもよい。
【0133】
上述した第1実施形態及び第2実施形態の医用画像処理装置50は、第1医用画像FM又は第2医用画像SM対して画像変換モデルを適用するパターンを複数含んだセットであるパターンセットをプリセットし、プリセットされたパターンセットに基づいて、第1医用画像FM又は第2医用画像SMに対して、パターン毎の画像変換モデルを適用した入力画像IMをディスプレイ52に出力するようにしてもよい。また、医用画像処理装置50は、プリセットされたパターンセットに基づいて、第1医用画像FM又は第2医用画像SMに対して、パターン毎の画像変換モデルを適用した入力画像IMをメモリ51に保存するようにしてもよい。具体的には、例えば、医用画像処理装置50は、パターンセットとして、コントラスト変換モデルAを適用するパターンと、ノイズ変換モデルAを適用するパターンと、高画質化変換モデルAを適用するパターンをプリセットしておき、取得機能551が取得した第1医用画像FM又は第2医用画像SMに対して、コントラスト変換モデルAと、ノイズ変換モデルAと、高画質化変換モデルAとをそれぞれ適用した3枚の入力画像IMに変換するようにしてもよい。
【0134】
なお、上述した例においては、パターンセットにはコントラスト変換モデルAを適用するパターンと、ノイズ変換モデルAを適用するパターンと、高画質化変換モデルAを適用するパターンとの3つのパターンが含まれることとしたが、パターンセットに含まれるパターンは3つに限られない。すなわち、パターンセットに含まれるパターン数は任意であり、1又は2つのパターンを含むようにしてもよく、4つ以上のパターンを含むようにしてもよい。
【0135】
上述した第1実施形態及び第2実施形態の医用画像処理装置50において実行される変換処理において、ステップS35、ステップS39、ステップS53及びステップS59において変換された入力画像IMをディスプレイ52に出力する場合も考慮したが、これに限られない。つまり、変換処理において、医用画像処理装置50は、変換された入力画像IMを学習済みモデル210に出力するようにしてもよい。この場合、変換処理におけるステップS61からステップS73までの処理は省略されるため、医用画像処理装置50は、ステップS35、ステップS39、ステップS53及びステップS59において入力画像IMに変換した場合、ステップS75において、入力画像IMを学習済みモデル210に出力するようにしてもよい。
【0136】
なお、上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及び、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは、メモリ51に保存されたプログラムを読み出して実行することにより機能を実現する。なお、メモリ51にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成して構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、プロセッサは、プロセッサ単一の回路として構成されている場合に限らず、複数の独立した回路を組み合わせて、1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図3における複数の構成要素を1つのプロセッサへ統合して、その機能を実現するようにしてもよい。
【0137】
以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置及び方法は、その他の様々な形態で実施することができる。また、本明細書で説明した装置及び方法の形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲及びこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。
【符号の説明】
【0138】
1…医用画像処理システム、10…第1モダリティ装置、20…第2モダリティ装置、30…第3モダリティ装置、40…医用データサーバ、50…医用画像処理装置、51…メモリ、52…ディスプレイ、53…入力インターフェース、54…通信インターフェース、55…処理回路、210…学習済みモデル、551…取得機能、552…変換機能、553…出力機能、554…第1特定機能、555…算出機能、556…フィルタリング機能、557…選択機能、558…調整機能、559…登録機能、560…第2特定機能