特開 2023-146110 機械学習モデルに入力する医用画像を生成するためのコンピュータ実装方法、コンピュータプログラム、学習済み機械学習モデルの作成方法、および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023146110

(43)【公開日】2023-10-12

(54)【発明の名称】機械学習モデルに入力する医用画像を生成するためのコンピュータ実装方法、コンピュータプログラム、学習済み機械学習モデルの作成方法、および装置

(51)【国際特許分類】

   A61B 5/055 20060101AFI20231004BHJP

   G06T 7/00 20170101ALI20231004BHJP

   G06T 1/00 20060101ALI20231004BHJP

   G06T 5/00 20060101ALI20231004BHJP

   G06T 1/40 20060101ALI20231004BHJP

【ＦＩ】

A61B5/055 380

G06T7/00 350C

G06T7/00 612

G06T1/00 290C

G06T5/00 700

G06T1/40

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022053132

(22)【出願日】2022-03-29

(71)【出願人】

【識別番号】591063187

【氏名又は名称】バイエル アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｂａｙｅｒ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】木虎 直樹

(72)【発明者】

【氏名】高橋 圭一郎

(72)【発明者】

【氏名】岩尾 快彦

【テーマコード（参考）】

4C096

5B057

5L096

【Ｆターム（参考）】

4C096AB36

4C096AC05

4C096DC14

4C096DC20

4C096DC29

4C096DC40

5B057AA09

5B057CC01

5B057CD05

5L096BA06

5L096BA13

5L096DA01

5L096EA13

5L096EA14

5L096FA52

5L096FA59

5L096FA66

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】機械学習モデルを用いて、より高精度に病変の検出を行うことを目的とする。
【解決手段】本発明の一態様は、機械学習モデルに入力する医用画像を生成するためのコンピュータ実装方法を提供する。当該方法は、モダリティ機器により生成された第１の複数の医用画像を取得するステップであって、第１の複数の医用画像の各々は、複数の相のうちの１つに関連付けられる、ステップと、第１の複数の医用画像の１つまたは複数の画像特性を調整し、機械学習モデルに入力するために第２の複数の医用画像を生成するステップであって、１つまたは複数の画像特性が、視野サイズ、画像サイズ、スライス位置、スライス間隔、およびスライス枚数のうちの少なくとも１つを含む、ステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

機械学習モデルに入力する医用画像を生成するためのコンピュータ実装方法であって、
モダリティ機器により生成された第１の複数の医用画像を取得するステップであって、前記第１の複数の医用画像の各々は、複数の相のうちの１つに関連付けられる、ステップと、
前記第１の複数の医用画像の１つまたは複数の画像特性を調整し、機械学習モデルに入力するために第２の複数の医用画像を生成するステップであって、前記１つまたは複数の画像特性が、視野サイズ、画像サイズ、スライス位置、スライス間隔、およびスライス枚数のうちの少なくとも１つを含む、ステップと
を含む、コンピュータ実装方法。

【請求項2】

前記モダリティ機器が、磁気共鳴イメージング（ＭＲＩ）装置であり、
前記第１の複数の医用画像が肝臓の画像を含む、
請求項１に記載のコンピュータ実装方法。

【請求項3】

前記１つまたは複数の画像特性が、画像サイズまたは視野サイズを含み、
前記第２の複数の医用画像を生成するステップが、前記第１の複数の医用画像の画像サイズ、または視野サイズを変更し、前記複数の相の各々にわたり共通の画像サイズまたは視野サイズを有する前記第２の複数の医用画像を生成するステップを含む、
請求項１または２に記載のコンピュータ実装方法。

【請求項4】

前記１つまたは複数の画像特性が、スライス位置を含み、
前記第２の複数の医用画像を生成するステップが、前記第１の複数の医用画像のスライス位置が正しい身体的位置を示すように、前記第１の複数の医用画像のスライス位置の位置合わせを行うステップを含む、請求項１または２に記載のコンピュータ実装方法。

【請求項5】

前記第１の複数の医用画像のスライス位置の位置合わせを行うステップが、基準となる相のスライス位置に対する前記複数の相の各々のスライス位置のずれ量を決定するステップを含み、
前記ずれ量を決定するステップが、基準となる相のスライス画像の各々と、前記複数の相の１つに関連付けられる前記第１の複数の医用画像の各々との間の相互情報量に基づき、前記複数の相の１つと前記基準となる相の間の単一の前記ずれ量を決定するステップを含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記相互情報量に基づき前記ずれ量を決定するステップが、
前記複数の相の１つに関連付けられる前記第１の複数の医用画像の各々について、前記基準となる相のスライス画像の各々との間の相互情報量を決定するステップと、
前記複数の相の１つに関連付けられる前記第１の複数の医用画像の各々について、前記決定した相互情報量に基づき、前記ずれ量を決定するための近似曲線を決定するステップと、
前記複数の相の１つに関連付けられる前記第１の複数の医用画像の各々について決定した前記近似曲線に基づき、総合的な近似曲線を決定するステップと、
前記総合的な近似曲線に基づき、前記複数の相の１つにおける前記単一のずれ量を決定するステップと
を含む、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記１つまたは複数の画像特性が、前記複数の相の各々に対するスライス間隔またはスライス枚数を含み、
前記第２の複数の医用画像を生成するステップが、前記複数の相の各々にわたり、共通のスライス間隔および共通のスライス枚数のうちの少なくとも１つを有する前記第２の複数の医用画像を生成するステップであって、
前記複数の相のうちの１つに関連付けられる前記第１の複数の医用画像の少なくとも１つを削除するステップ、または
前記複数の相のうちの１つに関連付けられる前記第１の複数の医用画像に基づき補完画像を生成し、補完画像により内挿を行うステップ
を含む、生成するステップを含む、請求項１または２に記載のコンピュータ実装方法。

【請求項8】

前記第１の複数の医用画像が、同一の輝度範囲を持つように正規化を行うステップをさらに含み、
前記第２の複数の医用画像を生成するステップが、前記正規化された第１の複数の医用画像から、前記第２の複数の医用画像を生成するステップを含む、
請求項１から７のうちのいずれか一項に記載のコンピュータ実装方法。

【請求項9】

請求項１から８のうちのいずれか一項に記載の方法により生成された前記第２の複数の医用画像を前記機械学習モデルに入力し、病変の位置を特定するための情報を出力するように前記機械学習モデルを訓練するステップを含む、学習済み機械学習モデルの作成方法。

【請求項10】

請求項１から８のうちのいずれか一項に記載の方法により生成された前記第２の複数の医用画像を前記機械学習モデル、または別の機械学習モデルに入力し、病変の位置を特定するための情報を取得するステップを含む、コンピュータ実装方法。

【請求項11】

コンピュータにより実行されたときに、前記コンピュータに請求項１から１０のうちのいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。

【請求項12】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに結合された１つまたは複数の記録部と
を備え、前記１つまたは複数の記録部が、前記１つまたは複数のプロセッサにより実行されたときに、請求項１から１０のうちのいずれか一項に記載の方法を前記プロセッサに実行させる命令を記録する、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モダリティ機器により取得した医用画像から、機械学習モデルに入力するための医用画像を生成する方法に関する。

【背景技術】

【0002】

医療分野では、超音波装置、Ｘ線装置、Ｘ線コンピュータ断層撮影（ＣＴ）装置、および磁気共鳴イメージング（ＭＲＩ）装置等のモダリティ機器により画像を生成し、生成された画像を医師等の専門家が視覚的に判断を行い、病変の特定を行う。一般的にモダリティ機器では、撮像パラメータの設定により複数種類の画像を得ることができ、さらに造影剤を投与し経時的変化を捉えるダイナミックスタディを加えれば画像から得られる情報はさらに増す。複数種類の撮像画像の情報を総合的に判断することで専門家はより正確に腫瘍の位置および種類を特定することができる。従って、読影解釈に際して専門家には高度の知識および経験が要求されている。近年、専門家の判断をサポートするためにＡＩの活用が行われ始めている。例えば、脳ＭＲＩ画像を深層学習によって解析し、脳動脈りゅうの位置を判断することが行われている（非特許文献１参照）。また、深層学習を用いてダイナミックCTの画像から肝臓の腫瘤性病変を複数カテゴリに自動分類するアルゴリズムが開発されている（非特許文献２参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】日経ｘＴＥＣＨ，「深層学習を活用した脳MRIのプログラム医療機器、薬事承認を取得」，[検索日 2022年3月25日]，インターネット＜ＵＲＬ：https://xtech.nikkei.com/atcl/nxt/news/18/06212/＞

【非特許文献2】本杉宇太郎，「深層学習と画像診断：肝のCT・MRIへの応用」，一般社団法人 日本肝臓学会，肝臓，2020年61巻12号 p.637-644

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、機械学習モデルを用いて、より高精度に病変の検出を行うことを目的とする。

【課題を解決するための手段】

【0005】

鋭意検討の結果、本発明者らは、モダリティ機器が各相で撮影した画像群から、画像特性を合わせた画像群を作成し、これを機械学習モデルへの入力データとすることが、より高精度の病変検出を可能とすることを見出し、本発明を完成した。画像特性は、例えば、画像サイズ、視野サイズ、スライス位置、スライス枚数、およびスライス位置を含んでよい。

【0006】

上記の課題を解決するために、本発明の第１の態様は、機械学習モデルに入力する医用画像を生成するためのコンピュータ実装方法を提供する。当該コンピュータ実装方法は、モダリティ機器により生成された第１の複数の医用画像を取得するステップであって、第１の複数の医用画像の各々は、複数の相のうちの１つに関連付けられる、ステップと、第１の複数の医用画像の１つまたは複数の画像特性を調整し、機械学習モデルに入力するために第２の複数の医用画像を生成するステップであって、１つまたは複数の画像特性が、視野サイズ、画像サイズ、スライス位置、スライス間隔、およびスライス枚数のうちの少なくとも１つを含む、ステップとを含む。

【0007】

本発明の第２の態様は、第１の態様において、モダリティ機器が、磁気共鳴イメージング（ＭＲＩ）装置であり、第１の複数の医用画像が肝臓の画像を含む。

【0008】

本発明の第３の態様は、第１の態様または第２の態様において、１つまたは複数の画像特性が、画像サイズまたは視野サイズを含み、第２の複数の医用画像を生成するステップが、第１の複数の医用画像の画像サイズ、または視野サイズを変更し、複数の相の各々にわたり共通の画像サイズまたは視野サイズを有する第２の複数の医用画像を生成するステップを含む。

【0009】

本発明の第４の態様は、第１または第２の態様において、１つまたは複数の画像特性が、スライス位置を含み、第２の複数の医用画像を生成するステップが、第１の複数の医用画像のスライス位置が正しい身体的位置を示すように、第１の複数の医用画像のスライス位置の位置合わせを行うステップを含む。

【0010】

本発明の第５の態様は、第４の態様において、第１の複数の医用画像のスライス位置の位置合わせを行うステップが、基準となる相のスライス位置に対する複数の相の各々のスライス位置のずれ量を決定するステップを含み、ずれ量を決定するステップが、基準となる相のスライス画像の各々と、複数の相の１つに関連付けられる第１の複数の医用画像の各々との間の相互情報量に基づき、複数の相の１つと基準となる相の間の単一のずれ量を決定するステップを含む。

【0011】

本発明の第６の態様は、第５の態様において、相互情報量に基づきずれ量を決定するステップが、複数の相の１つに関連付けられる第１の複数の医用画像の各々について、基準となる相のスライス画像の各々との間の相互情報量を決定するステップと、複数の相の１つに関連付けられる第１の複数の医用画像の各々について、決定した相互情報量に基づき、ずれ量を決定するための近似曲線を決定するステップと、複数の相の１つに関連付けられる第１の複数の医用画像の各々について決定した近似曲線に基づき、総合的な近似曲線を決定するステップと、総合的な近似曲線に基づき、複数の相の１つにおける単一のずれ量を決定するステップとを含む。

【0012】

本発明の第７の態様は、第１または第２の態様において、１つまたは複数の画像特性が、複数の相の各々に対するスライス間隔またはスライス枚数を含み、第２の複数の医用画像を生成するステップが、複数の相の各々にわたり、共通のスライス間隔および共通のスライス枚数のうちの少なくとも１つを有する第２の複数の医用画像を生成するステップであって、複数の相のうちの１つに関連付けられる第１の複数の医用画像の少なくとも１つを削除するステップ、または複数の相のうちの１つに関連付けられる第１の複数の医用画像に基づき補完画像を生成し、補完画像により内挿を行うステップを含む。

【0013】

本発明の第８の態様は、第１から７の態様のうちのいずれか１つにおいて、コンピュータ実装方法が、第１の複数の医用画像が同一の輝度範囲を持つように正規化を行うステップをさらに含み、第２の複数の医用画像を生成するステップが、正規化された第１の複数の医用画像から、第２の複数の医用画像を生成するステップを含む。

【0014】

本発明の第９の態様は、学習済みモデルの作成方法を提供する。当該学習済みモデルの作成方法は、第１から８の態様のうちのいずれか１つのコンピュータ実装方法により生成された第２の複数の医用画像を機械学習モデルに入力し、病変の位置を特定するための情報を出力するように機械学習モデルを訓練するステップを含む。

【0015】

本発明の第１０の態様は、第１から８の態様のうちのいずれか１つのコンピュータ実装方法により生成された第２の複数の医用画像を機械学習モデル、または別の機械学習モデルに入力し、病変の位置を特定するための情報を取得するステップを含む方法を提供する。

【0016】

本発明の第１１の態様は、コンピュータプログラムを提供する。本コンピュータプログラムは、コンピュータにより実行されたときに、コンピュータに、第１から第８の態様のうちのいずれか１つの方法を実行させる命令を含む。

【0017】

本発明の第１２の態様は、装置を提供する。本装置は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサに結合された１つまたは複数の記録部とを備え、１つまたは複数の記録部が、１つまたは複数のプロセッサにより実行されたときに、第１から第１０の態様のうちのいずれか１つの方法をプロセッサに実行させる命令を記録する。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施形態に係る医用画像調整装置１の構成を示す図である。

【図2】２つの相において取得された画像が異なる視野サイズを示す例を示す図である。

【図3】画像サイズ調整の具体的な例を示す図である。

【図4】スライス位置合わせの具体的な例を示す図である。

【図5】相互情報量を用いたスライス位置のずれの計算を説明するための図である。

【図6】相互情報量を用いたスライス位置のずれの計算を説明するための図である。

【図7】スライス間隔およびスライス位置の調整の具体的な例を示す図である。

【図8】本発明の第１の実施形態に係る医用画像調整装置１の処理フロー１００を示す図である。

【図9】第１の複数の医用画像の画像特性の調整フローを示す図である。

【図10】本発明の第２の実施形態に係る機械学習システム１０００の構成を示す図である。

【図11】輝度正規化処理前後の画像および輝度範囲の例を示す図である。

【図12】分割領域の例を示す図である。

【図13】基準となる画像に病変のヒートマップを重ね合わせた画像を示す図である。

【図14】本発明の第２の実施形態に係る機械学習システム１０００の学習処理フロー２００を示す図である。

【図15】本発明の第２の実施形態に係る機械学習システム１０００の学習後の処理フロー３００を示す図である。

【図16】位置合わせ等が行われた第２の複数の医用画像生成後における処理の流れのイメージ図である。

【図17】ＭＲＩの各撮影モードにおける画像サイズおよびスライス枚数の例を示す図である。

【図18】本発明の一実施形態による画像調整装置６００の最小構成を示す図である。

【図19】本発明の一実施形態に係る画像調整装置７００のハードウェア構成図である。

【発明を実施するための形態】

【0019】

<第１の実施形態>
以下、第１の実施形態に係る医用画像調整装置１について、図１から図７を参照しながら説明する。

【0020】

一般にモダリティ機器は、撮影モードにより様々な画像特性を有する画像群を生成する。画像特性は、画像サイズ、視野サイズ、スライス位置、スライス間隔、およびスライス枚数等を含む。モダリティ機器は、例えば磁気共鳴画像（ＭＲＩ）撮像装置、コンピュータ断層撮影（ＣＴ）撮像装置、デジタルX線撮影装置、コンピュータ・ラジオグラフィ、血管造影X線診断装置、または超音波診断装置等を含む医用イメージング装置の総称であってよい。医用画像から病変部分の特定を行う機械学習モデルの訓練時または学習済みモデルの利用時に、不揃いな画像特性を有する画像を入力とすることは、病変特定精度に悪影響を及ぼし得る。また、モダリティ機器による撮影中に患者が動くことも想定され、被写体の位置がずれた画像が作成されることもある。位置がずれた画像を用いて学習を行うことも病変特定の精度を低下させる原因となり得る。本発明はこれらの課題を解決するための手段を提供する。

【0021】

（医用画像調整装置１の構成）
図１は、本発明の第１の実施形態に係る、医用画像調整装置１の構成を示す図である。医用画像調整装置１は、画像取得部１１および画像処理部１２を備える。医用画像調整装置１は、コンピュータデバイス等のハードウェア、プロセッサによって実行されるソフトウェア、またはその組み合わせとして実装されてよい。医用画像調整装置１は、モダリティ機器から取得された画像から、機械学習モデルに入力するために、調整された画像を生成する装置である。調整された画像は、機械学習モデルの学習のための訓練データとして用いられてもよい。さらに調整された画像は、病変位置を特定するように訓練された機械学習モデルに入力して、病変特定に関する所定の結果を得るために用いられてもよい。

【0022】

画像取得部１１は、モダリティ機器により生成された第１の複数の医用画像を取得する。モダリティ機器は、そのモダリティ機器の種類、機器の設定パラメータ（例えば、ＭＲＩ装置における磁場や電磁波のパラメータ）、および撮影タイミング（時相）に応じて、異なる情報を提供する撮影画像群を生成することが可能である。本明細書では、モダリティ機器の種類、モダリティ機器の設定パラメータ、および撮影タイミングにより特定される撮影状態のことを「相」と称する。例えば、ＣＴ撮像装置およびＭＲＩ撮像装置の場合では、設定パラメータおよび撮影タイミングにより関連付けられる特定の相において、複数の断面画像を取得することができる。一般にこれらの断面画像はスライス画像とも呼ばれる。

【0023】

上記のようにモダリティ機器は、特定の相に関して１つまたは複数の医用画像を取得することが可能である。画像取得部１１が取得する第１の複数の医用画像は、１つまたは複数のモダリティ機器が各相に関して撮像した１つまたは複数の画像を含む。言い換えれば、第１の複数の医用画像の各々は、複数の相のうちの１つに関連付けられてよい。

【0024】

画像処理部１２は、視野サイズ調整部１２１、画像サイズ調整部１２２、スライス位置調整部１２３、およびスライス間隔/枚数調整部１２４を備える。画像処理部１２は、画像取得部１１により取得された第１の複数の医用画像の１つまたは複数の画像特性を調整し、機械学習モデルに入力するための第２の複数の医用画像を生成する。例えば、調整される１つまたは複数の画像特性は、視野サイズ、画像サイズ、スライス位置、スライス間隔、およびスライス枚数のうちの少なくとも１つを含む。視野サイズ調整部１２１、画像サイズ調整部１２２、スライス位置調整部１２３、およびスライス間隔/枚数調整部１２４の各々は、入力された複数の画像に対して所定の画像処理を行い、画像処理後の画像を出力する。入力される画像は、第１の複数の医用画像であってもよいし、画像処理部１２の他の調整部によって処理され、出力された複数の画像であってもよい。例えば、一実施形態では、視野サイズ調整部１２１、画像サイズ調整部１２２、スライス位置調整部１２３、およびスライス間隔/枚数調整部１２４の順番で第１の複数の医用画像が順に処理される。このとき、各調整部は調整後の画像を次の調整部に渡してよい。第１の複数の医用画像は、画像処理部１２の視野サイズ調整部１２１、画像サイズ調整部１２２、スライス位置調整部１２３、およびスライス間隔/枚数調整部１２４の１つまたは複数により、対応する画像特性が順に調整され、画像処理部１２から第２の複数の医用画像として出力される。従って、便宜的に「第１の複数の医用画像」との用語は、画像処理部１２がモダリティ機器から取得する画像、および画像処理部１２において画像処理中の画像を称するために用いられ、「第２の複数の医用画像」との用語は、画像処理部１２から最終的に出力される画像を称するために用いられる。

【0025】

視野サイズ調整部１２１は、複数の医用画像の視野サイズを調節し、同一の視野サイズを有する複数の医用画像を生成する。視野サイズとは、画像が写し出す被写体の範囲を示す。各相においてモダリティ機器が取得した画像は、視野サイズが異なることがある。図２は、Ａ相およびＢ相において取得された各画像が異なる視野サイズを有する例を示す。図２の例では、Ａ相で取得された画像には胴体のみが写し出されているが、Ｂ相ではＡ相よりも広い視野で撮影されているため胴体に加えて腕の一部が画像内に写し出されている。視野サイズ調整部１２１は、例えば第１の複数の医用画像と関連付けられる複数の相のうち、視野サイズが最も狭い相を基準として採用してよい。視野サイズ調整部１２１は、第１の複数の医用画像のその他の相に関連付けられる画像について、基準の相と同じ視野サイズを有するように画像の一部の切り出しを行ってよい。図２の例の場合、Ｂ相に比べてＡ相で撮影された画像の視野サイズが狭いためＡ相を基準とする。視野サイズ調整部１２１は、Ｂ相の画像においてＡ相と同じ視野サイズを有するように点線部分で切り出しを行う。これによりＡ相およびＢ相の画像の視野サイズが同一となる。視野サイズ調整部１２１は、視野サイズの調整を行うことで、共通の視野サイズを有する複数の医用画像を出力する。

【0026】

画像サイズ調整部１２２は、複数の医用画像の画像サイズを調整し、同一の画像サイズを有する複数の医用画像を生成する。なお、画像サイズ調整部１２２による画像サイズの調整は、視野サイズ調整部１２１による視野サイズの調整の後に行われることが望ましい。各相においてモダリティ機器が取得した画像は、異なる画像サイズを有し得る。また、上記のように視野サイズ調整部１２１により視野サイズが調節された複数の医用画像は、異なる画像サイズを有し得る。画像サイズ調整部１２２は、複数の医用画像を受け取り、これらの医用画像が同一のサイズを有するように画像処理を行う。一実施形態では、画像サイズ調整部１２２は、所定の相に関連付けられる画像サイズを基準とし、この基準となる画像サイズに一致するように他の相の画像サイズを変更する。また、他の実施形態では、画像処理部１２は、予め決められた画像サイズとなるように第１の複数の医用画像のサイズを変更してもよい。画像サイズの変更は、例えば、画像の拡大または縮小によって行われてよい。図３は、画像サイズ調整の具体的な例を示す。図３において、Ａ相に関連付けられる画像のサイズは、４００ピクセル×４００ピクセルであり、Ｂ相に関連付けられる画像のサイズは５００ピクセル×５００ピクセルである。画像サイズ調整部１２２は、Ａ相およびＢ相に関連付けられた医用画像の画像サイズを、共に２５６ピクセル×２５６ピクセルに縮小する。結果として画像サイズ調整部１２２は、共通の画像サイズを有する複数の医用画像を出力する。

【0027】

スライス位置調整部１２３は、第１の複数の医用画像のスライス位置が正しい身体的位置を示すように、第１の複数の医用画像のスライス位置の位置合わせを行う。なお、スライス位置調整部１２３による画像処理は、画像サイズ調整部１２２による画像サイズの調整の後に行われることが望ましい。上記のようにモダリティ機器は、各相において複数のスライス画像を取得し得る。撮影された各断面画像は、撮影位置に対応する座標情報を有し得る。この座標情報はスライス位置情報と呼ばれる。スライス位置情報は、モダリティ機器の機械的な位置に基づく位置情報に基づき生成される。従って、例えば異なる撮影タイミングにおいて被写体が動いた場合では、同じスライス位置と関連付けられる断面画像であっても、被写体のずれの分だけ異なる部位の断面を写す画像となり得る。例えば、Ａ相およびＢ相の間で被写体が断面の垂直方向に５mmだけ移動している場合、Ｂ相における断面画像のスライス位置は、Ａ相における断面画像のスライス位置を基準とすれば５mmのずれを含んでいるといえる。スライス位置調整部１２３は、各相の間のスライス位置のずれを修正することで、スライス位置合わせを行う。基準となるスライス位置に対してずれが修正されたスライス位置は、同一の基準に基づく身体的位置、つまり正しい身体的位置を示し得る。従って、修正後のスライス位置が同一であるスライス画像は、同じ、または概ね同じ身体的位置に対応する画像である。特に小さい病変に対する予測を行う場合では、わずかな位置のずれが大きく影響することが分かっている。スライス画像位置のずれを合わせることは、病変判定学習の精度に対して大きく影響し得る。

【0028】

スライス位置調整部１２３の処理内容の理解をより容易にするために、図４にスライス位置合わせの具体的な例を示す。図４の例では、Ａ相では２ｍｍの間隔で５枚の断面画像が取得され、Ｂ相では３ｍｍの間隔で４枚の断面画像が取得されている。Ｂ相の各断面画像は、Ａ相の断面画像に対して、断面と垂直方向に各々Δ１～４mmのずれを含むと仮定する。一般にずれ量は、各撮影タイミングで身体移動がばらつくことを考えると、スライス画像毎に異なる値を有し得るパラメータである。スライス位置調整部１２３は、２つの相の各スライス画像間の相互情報量を計算することで、基準となる相からの対象スライス画像の平行移動量を取得して、スライス位置の補正を行ってよい。相互情報量は、２つの確率変数の相互依存の尺度を表す量である。

【0029】

上記の通り、ずれ量は、同じ相であってもスライス画像毎に異なる値を有し得る。一方で、相互情報量により位置のずれを計算する場合、位置ずれの計算精度が高くないため、スライス画像の各々に対して精度良くずれ量を求めることは難しいという事情がある。そこで一実施形態では、調整対象の相におけるスライス画像の各々は、基準となる相から一定量の平行移動が行われていると仮定し、各相に対して単一のずれ量Δの値を計算する。当該実施形態においてスライス位置調整部１２３は、調整対象の相におけるスライス画像の各々と基準となる相のスライス画像の各々との間の相互情報量に基づき、調整対象の相と基準となる相との間の単一のずれ量を決定してよい。また、基準となる相は、第１の複数の医用画像に関連付けられる複数の相から選択されてよい。

【0030】

図５および６を参照しながらより具体的に、相互情報量を用いたスライス位置のずれの計算を説明する。図４の例において、調整対象となる相（Ｂ相）のスライス画像Ｂ２のスライス位置のずれを決定することを考える。まずＢ２に対して、Ａ１、Ａ２、Ａ３、Ａ４、およびＡ５との相互情報量を計算し、図５のようなグラフが得られたとする。このグラフにおいて、縦軸は相互情報量を示し、横軸はＢ２に対するＡ相のスライス位置の相対的距離を示す。相互情報量は、Ｂ２から距離が離れるスライス画像ほど小さくなるはずである。Ａ１とＡ２に関してはスライス位置の相対的距離が等しいため同じ相互情報量となってよいはずであるが、実際にはＡ１とＢ２との間の相互情報量がＡ２とＢ２との間の相互情報量よりも大きくなっている。これは、Ａ２よりもＡ１の方が、実際の身体的位置としてはＢ１に近いことを示している。言い換えれば、Ａ相のスライス位置を身体的位置の基準として採用した場合、Ｂ相のＢ２のスライス位置は、身体的位置からずれ量Δが存在していると推測することができる。例えば、ずれ量は、決定した相互情報量に基づき二次関数等の近似曲線を決定し、近似曲線の頂点の位置から決定することができる。また、相互情報量が最大となる点付近の値のみを用いることでより精度よくずれ量を決定することが可能なことがある。従ってずれ量Δは、相互情報量が最大となる値およびその周辺にある所定の数の相互情報量を用いて近似曲線を決定してもよい。

【0031】

本来はスライス画像毎にずれ量Δを算出すべきであるが、先に述べたように相互情報量による位置ズレの測定精度が高くないため、調整対象となる相に対してずれ量を単一のずれ量で近似することが、精度の面で有利となる場合がある。上記の例において、図６のようにＢ１からＢ４の全てに対してずれ量を算出するための近似曲線を決定できたとする。この例では、相互情報量が最大となる頂点にばらつきが生じている。このばらつきは、スライス画像毎のずれの本質的なばらつきと、計算の誤差に起因するばらつきとを含むものであるが、本質的なばらつきは、誤差に起因するばらつきよりも十分小さいと仮定することが可能である。そこで、Ｂ相の各スライスに対して求めた近似曲線に基づき、１つの総合的な近似曲線を決定し、この総合的な近似曲線に対してピークを算出することによりずれ量Δを決定することができる。なお、これらの具体的な例は、説明のための単なる例示に過ぎないことに留意されたい。例えば、他の実施形態では、各スライス画像に対して算出したずれ量を平均し、平均のずれ量を調整対象の相のずれ量として決定してもよい。

【0032】

図６の例では調整対象となる相に対して１つのずれ量を決定する際に、調整対象となる相の各スライス画像に対して１つの近似曲線を決定した。一方で、基準となる相と調整対象となる相のずれは相対的なものであり、他の実施形態では、基準となる相（図４の例におけるＡ相）の各スライス画像に対して１つのずれ量、または近似曲線を決定し、決定した複数のずれ量、または近似曲線に基づき、調整対象となる相（図４の例におけるＢ相）についての１つのずれ量を決定してもよい。図４の例で説明すれば、まずＡ１についてＢ１～Ｂ４の各々との間の相互情報量を求める。これらの相互情報量により、Ａ１のＢ相に対する近似曲線、またはずれ量を決定することができる。Ａ２からＡ５についても同様の計算を行い、Ａ１からＡ５の各々について決定した近似曲線、またはずれ量に基づき、Ｂ相のＡ相に対する１つのずれ量を決定することができる。

【0033】

上記実施形態では、ずれ量を相互情報量に基づき決定するが、これに限定されず、他の実施形態では種々の方法で２つの画像間の被写体位置のずれ量を決定してよい。例えば、差分二乗和、差分絶対和、正規化相互相関、または画像均一度比等を用いた任意の画像位置合わせ技術が用いられてもよい。

【0034】

一実施形態では、スライス位置合わせは、第１の複数の医用画像の一部と関連付けられる相を基準として、他の相と関連付けられる第１の複数の医用画像の各々のスライス位置のずれを算出し、スライス位置合わせを行ってよい。また、他の実施形態では予め基準として採用される相と関連付けられる医用画像群のスライス位置を基準として、これに対する第１の複数の医用画像のスライス位置のずれを算出し、スライス位置合わせを行ってもよい。

【0035】

スライス間隔/枚数調整部１２４は、第１の複数の医用画像の各相に関連付けられるスライス間隔およびスライス枚数のうちの少なくとも１つの調整を行い、各相にわたり、共通のスライス間隔および/または共通のスライス枚数を有する複数の医用画像を生成する。なお、スライス間隔/枚数調整部１２４による画像処理は、スライス位置調整部１２３によるスライス位置合わせ後に行われることが望ましい。訓練データとして、厳密に各相のスライス間隔およびスライス枚数が一致している必要性はないものの、病変検出精度の向上のためには、ある程度のスライス間隔が一致していること、およびスライス枚数が一致していることが望ましい。スライス間隔/枚数調整部１２４は、基準となる相のスライス間隔に基づき、各相のスライス間隔を調整してよい。基準となる相は、第１の複数の医用画像に関連付けられる相のうちの１つであってもよいし、または予め用意した医用画像の相であってもよい。

【0036】

スライス間隔および/またはスライス間隔の調整は、スライス枚数の増減、およびスライス画像の内挿のうちの少なくとも１つによって行われてよい。例えば一実施形態において、スライス間隔/枚数調整部１２４は、まず基準となる相のスライス画像を間引くことにより、調整後の基準相のスライス間隔が所定の間隔となるように調整を行ってもよい。また、スライス間隔/枚数調整部１２４は、基準相以外の相に対して、基準相とスライス枚数とスライス間隔が等しくなるように調整を行ってよい。図７は、スライス間隔およびスライス位置の調整の具体的な例を示す図である。図７の例において基準となる相は、Ａ相である。Ａ相のスライス間隔は２mmであり、Ｂ相のスライス間隔は３mmである。まずＡ相のスライス画像の一部を削除することにより、Ａ相のスライス枚数を削減する。調整後、Ａ相のスライス間隔は４mmである。また、Ｂ相については、スライス間隔が４mmとなるように元のスライス画像から補完画像を生成し、内挿を行う。内挿には、種々の既存の技術が用いられてよい。Ｂ相の調整後は、スライス間隔も４mmである。これらの処理により、Ａ相およびＢ相のスライス間隔および枚数が一致する。なお、図７は、より明確な理解のためにスライス間隔およびスライス枚数の調整処理の一例を示すものであり、スライス間隔および/またはスライス枚数の調整は、画像の削除およびスライス画像の内挿により様々な態様があることを理解されたい。

【0037】

（医用画像調整装置１の処理フロー１００）
図８は、本発明の第１の実施形態に係る医用画像調整装置１の処理フロー１００を示す図である。

【0038】

Ｓ１０１にて、医用画像調整装置１の画像取得部１１は、モダリティ機器により生成された第１の複数の医用画像を取得する。モダリティ装置は、特定の相において１つまたは複数の医用画像を生成することができる。従って第１の複数の医用画像の各々は、複数の相のうちの１つに関連付けられてよい。

【0039】

Ｓ１０２にて、医用画像調整装置１の画像処理部１２は、第１の複数の医用画像の１つまたは複数の画像特性を調整し、第２の複数の医用画像を生成する。第２の複数の医用画像は、機械学習モデルに直接または間接的に入力するための画像であってよい。第２の複数の医用画像は、病変位置を特定するように機械学習モデルを訓練するための訓練データとして用いられてもよく、または病変位置を特定するための情報を出力するように訓練された機械学習モデルに入力する検査データとして用いられてもよい。

【0040】

またＳ１０２にて、調整される１つまたは複数の画像特性は、画像サイズ、視野サイズ、スライス位置、スライス間隔、およびスライス枚数のうちの少なくとも１つを含んでよい。Ｓ１０２は、調整される画像特性に何が含まれるかに基づき、選択的に下記のＳ１０２１からＳ１０２４の１つまたは複数の処理を含む。図９は、Ｓ１０２における第１の複数の医用画像の画像特性の調整フローを示す図である。なお、本実施形態では、説明のためにＳ１０２１からＳ１０２４の順で処理される場合を説明するが、Ｓ１０２１からＳ１０２４の実行の順番は任意であってよい。

【0041】

Ｓ１０２において調整される画像特性が視野サイズを含む場合、Ｓ１０２１にて医用画像調整装置１の視野サイズ調整部１２１は、第１の複数の医用画像の視野サイズを調整し、第１の複数の医用画像の各相にわたり共通の視野サイズを有する複数の医用画像を生成する。視野サイズの具体的な調整方法については、視野サイズ調整部１２１の説明の通りであり、ここでは詳細な説明は省略する。

【0042】

Ｓ１０２において調整される画像特性が画像サイズを含む場合、Ｓ１０２２にて医用画像調整装置１の画像サイズ調整部１２２は、第１の複数の医用画像の画像サイズを調整し、各相にわたり共通の画像サイズを有する複数の医用画像を生成する。画像サイズの具体的な調整方法については、画像サイズ調整部１２２の説明の通りであり、ここでは詳細な説明は省略する。

【0043】

Ｓ１０２において調整される画像特性が、スライス位置を含む場合、Ｓ１０２３にて医用画像調整装置１のスライス位置調整部１２３は、第１の複数の医用画像のスライス位置が正しい身体的位置を示すように、第１の複数の医用画像のスライス位置の位置合わせを行う。また、位置合わせにおいてスライス位置調整部１２３は、基準となる相のスライス位置に対する、各相のスライス位置のずれ量を決定する。基準となる相は、予め用意した画像群に関連付けられる相、または第１の複数の医用画像に関連付けられる複数の相のうちの１つであってよい。

【0044】

スライス位置のずれ量は、基準となる相のスライス画像と、調整対象の相に関連付けられる第１の複数の医用画像との間の相互情報量に基づきを決定されてよい。例えば、調整対象の相に関連付けられる第１の複数の医用画像のうちの対象画像となる１つと、基準となる相のスライス画像の各々との間の相互情報量を決定し、決定した相互情報量に基づき対象画像についてのずれ量を求めることができる。また、一実施形態では、第１の複数の医用画像に関連付けられる複数の相の各々のずれ量は、各相において一定であると仮定してもよい。その場合、Ｓ１０２３において、調整対象の相に関連付けられる第１の複数の医用画像の各々について、基準となる相のスライス画像の各々との間の相互情報量を決定する。さらに、調整対象の相に関連付けられる第１の複数の医用画像の各々について、決定した相互情報量に基づき、ずれ量を決定するための近似曲線を決定する。さらに調整対象の相に関連付けられる第１の複数の医用画像の各々について決定した近似曲線に基づき、総合的な近似曲線を決定する。そして、決定した総合的な近似曲線に基づき、調整対象の相における単一のずれ量を決定する。これにより、相互情報量を用いてずれ量を決定する場合でも精度の良いずれ量の決定が可能となる。当該実施形態では、近似曲線によりずれ量を決定したが、任意の適当な方法を用いて、決定した相互情報量からずれ量を総合的に決定することが可能である。例えば調整対象の相の各画像に対してずれ量をまず決定し、その後、これらのずれ量の平均を、調整対象の相のずれ量であると決定してもよい。

【0045】

Ｓ１０２において調整される画像特性が、スライス間隔および枚数のうちの少なくとも１つを含む場合、Ｓ１０２４にて医用画像調整装置１のスライス間隔/枚数調整部１２４は、第１の複数の医用画像の各相に関連付けられるスライス間隔およびスライス枚数のうちの少なくとも１つの調整を行い、各相にわたり共通のスライス間隔および/またはスライス枚数を有する複数の医用画像を生成する。より具体的には、スライス間隔またはスライス枚数の調整は、特定の相に関連付けられる第１の複数の医用画像の少なくとも１つを削除すること、または特定の相に関連付けられる第１の複数の医用画像に基づき補完画像を生成し、補完画像により内挿を行うことによって行われてよい。

【0046】

上記の通りＳ１０２では、Ｓ１０２１からＳ１０２４のうちの少なくとも１つが実行され、第１の複数の医用画像は、調整された画像特性を有する第２の複数の医用画像が生成される。Ｓ１０２において、第２の複数の医用画像が生成された後、処理フロー１００は終了する。

【0047】

以上、本実施形態に係る医用画像調整装置１について詳細に説明したが、医用画像調整装置１の具体的な態様は、上述のものに限定されることはなく、要旨を逸脱しない範囲内において種々の設計変更等を加えることは可能である。

【0048】

<第２の実施形態>
以下、第２の実施形態に係る機械学習システム１０００について、図１０～図１６を参照しながら説明する。
（機械学習システム１０００の構成）
図１０は、本発明の第２の実施形態に係る機械学習システム１０００の構成を示す図である。機械学習システム１０００は、入力部１０１０と、輝度補正部１０２０と、画像処理部１０３０と、臓器領域特定部１０４０と、領域分割部１０５０と、特徴量算出部１０６０と、学習部１０７０と、出力部１０８０と備える。なお、画像処理部１０３０は、第１の実施形態で説明した画像処理部１２と同様の機能を備えてよい。

【0049】

入力部１０１０は、モダリティ機器により生成された第１の複数の医用画像を取得する。第１の実施形態と同様にモダリティ機器は、機器の種類、機器の設定パラメータ、および撮影タイミングと紐づけられる相において、１つまたは複数の画像を取得することができる。従って、第１の複数の医用画像の各々は、複数の相のうちの１つに関連付けられる。

【0050】

輝度補正部１０２０は、入力部１０１０が取得した第１の複数の医用画像の輝度の違いを補正し、第１の複数の医用画像の各々の輝度範囲を正規化する。モダリティ機器により異なる症例について撮影された画像は、同じ相であっても輝度の範囲が異なる場合がある。輝度補正部１０２０は、第１の複数の医用画像の各々が同一または概ね同一の輝度範囲を有するように第１の複数の医用画像に対して画像処理を行う。図１１は、輝度正規化処理前後の画像および輝度範囲の例を示す図である。図１１の左側に示される輝度補正前の画像は、ヒストグラムが示すようにそれぞれ異なる輝度範囲を有するが、正規化後ではそれぞれの画像が同じ輝度範囲を有している。

【0051】

画像処理部１０３０は、輝度補正部１０２０により輝度範囲が正規化された第１の複数の医用画像から第２の複数の医用画像を生成する。第１の実施形態と同様に画像処理部１０３０は、第１の複数の医用画像の１つまたは複数の画像特性を調整し、共通の画像特性を有する、および/またはスライス位置合わせが行われた第２の複数の医用画像を生成する。調整される１つまたは複数の画像特性は、画像サイズ、視野サイズ、スライス位置、スライス間隔、およびスライス枚数のうちの少なくとも１つを含む。画像処理部１０３０の機能は、第１の実施形態における画像処理部１２と同じであってよいため、ここでは詳細な説明は省略する。

【0052】

臓器領域特定部１０４０は、画像処理部１０３０により生成された第２の複数の医用画像のうちの特定の相に関連付けられる画像において表示される臓器領域を特定する。特定される臓器領域は、単独または複数の臓器領域であってもよいし、または身体内の複数の臓器領域とその周辺領域が含まれてもよい。例えば、臓器領域特定部１０４０は、各臓器の輝度の違いを利用して、臓器領域を特定し得る。

【0053】

領域分割部１０５０は、臓器領域特定部１０４０により特定された臓器領域を、パッチとも呼ばれる分割領域に分割する。分割領域への分割方法は、単純な格子状の分割の他、スーパーピクセル（SuperPixel）を用いた分割を用いてよい。スーパーピクセルとは、一般に距離的、色、およびテクスチャが近い画素を１つのまとまりと捉えることによりピクセルをグルーピングした分割領域のことを示す。例えば、図１２のように臓器領域を分割する。臓器領域特定部１０４０および領域分割部１０５０は、第２の複数の医用画像における特徴量を算出する単位である分割領域を決定する。この分割領域は、実際には身体の３次元的な部分に対応し、その領域に病変があるか否かを判定するために用いられる。従って、例えば身体の所定部位における複数の断面画像が基準となる場合には、これに対応する各断面上において分割領域が存在する。また、各特徴量は、基準となる断面上の分割領域に対応する画像領域おいて算出され、算出された特徴量は機械学習モデルへの入力データとなり得る。上記のように、第２の複数の医用画像は、既に、スライス枚数およびスライス間隔、ならびに位置合わせが行われていてよい。これにより、より正確な比較が可能となる。

【0054】

領域分割部１０５０は、一部の領域（例えば、特定の臓器領域）を他の領域（例えば、特定の臓器領域の周辺領域）に対してより小さく分割することも可能である。これにより、ターゲットとなる病変に関連する臓器に関して高精度かつ効率的にモデルの訓練をすることが可能となる。

【0055】

特徴量算出部１０６０は、領域分割部１０５０が分割し、特定した分割領域における特徴量を第２の複数の医用画像の各々について算出する。その際、特徴量算出部１０６０は、領域分割部１０５０から分割領域を規定する情報を受信し、画像処理部１０３０から特徴量を算出する対象である第２の複数の医用画像を受信してよい。特徴量算出部１０６０は、分割領域内の輝度の平均および分散等の統計値を算出して、分割領域ごとに算出した統計値を特徴量として出力する。従って、各相に関連付けられる画像群について、その特徴量の組が生成される。

【0056】

学習部１０７０は、特徴量算出部１０６０が算出した特徴量を入力として機械学習を行い、モデル１０７１を訓練する。学習部１０７０は、分割領域において病変が存在する確率を出力するようにモデルを訓練してよい。例えば、学習後のモデル１０７１は、複数の相に関連する画像群を入力として、特定の種類の腫瘍が分割領域内にある確率を出力することが可能である。

【0057】

また、学習部１０７０において学習が行われたモデル１０７１は、特徴量算出部１０６０が出力する分割領域ごとの特徴量を入力として、分割領域において病変が存在する確率を出力部に渡すことができる。

【0058】

出力部１０８０は、学習済みのモデル１０７１に検査対象の画像群が入力された場合に、モデル１０７１から取得した分割領域ごとの病変が存在する確率を出力してよい。出力された確率は、例えばヒートマップと呼ばれる、確率と対応する色を分割領域ごとに割り当てる形式で表示されてよい。図１３は、基準となる画像に、病変のヒートマップを重ね合わせた画像を示す。図１３では、図左側に示されるより白色である領域が、病変の存在確率がより高いことを示すが、実際には色により区別されてよい。分割領域ごとに病変が存在する確率を推測するデータは、医師等の専門家が読影を行う際に用いられてよく、医師の読影に係る時間を短くし、また病変の見逃しを減らすことが可能である。

【0059】

（学習システムの学習処理フロー２００）
図１４は、本発明の第２の実施形態に係る機械学習システム１０００の学習処理フロー２００を示す図である。

【0060】

Ｓ１００１にて、機械学習システム１０００は、入力部１０１０を介してモダリティ機器により生成された第１の複数の医用画像を取得する。学習処理フロー２００において、第１の複数の医用画像は、訓練データとして用いられる。
Ｓ１００２にて、機械学習システム１０００の輝度補正部１０２０は、第１の複数の医用画像の輝度の違いを補正し、第１の複数の医用画像の各々の輝度範囲を正規化する。なお、Ｓ１００２は他の実施形態では省略されてもよい。
Ｓ１００３にて、機械学習システム１０００の画像処理部１０３０は、輝度範囲が正規化された第１の複数の医用画像から、画像特性を調整することで第２の複数の医用画像を生成する。Ｓ１００３のより具体的な処理フローは、第１の実施形態における医用画像調整装置１の処理フロー１００と同様であってよい。
Ｓ１００４にて、機械学習システム１０００の臓器領域特定部１０４０は、画像処理部１０３０により生成された第２の複数の医用画像のうちの特定の相に関連付けられる画像において表示される臓器領域を特定する。
Ｓ１００５にて、機械学習システム１０００の領域分割部１０５０は、臓器領域特定部１０４０により特定された臓器領域を分割領域に分割する。なお、分割領域を規定するための基準となる画像は第２の複数の医用画像のうちの一部でなく、既に用意された画像群であってもよい。この場合、Ｓ１００４およびＳ１００５を学習システムの学習処理フローに含める必要はなく、学習処理フロー２００の前処理として、既に用意された画像群を用いて分割領域を作成するためにＳ１００４およびＳ１００５と同様の処理が行われてもよい。
Ｓ１００６にて、機械学習システム１０００の特徴量算出部１０６０は、分割領域における特徴量を第２の複数の医用画像の各々について算出する。
Ｓ１００７にて、機械学習システム１０００の学習部１０７０は、特徴量算出部１０６０が算出した特徴量を入力としてモデル１０７１を訓練し、学習済みのモデル１０７１を生成する。

【0061】

（学習システムの学習後の処理フロー）
図１５は、本発明の第２の実施形態に係る機械学習システム１０００の学習後の処理フロー３００を示す図である。

【0062】

Ｓ２００１にて、機械学習システム１０００は、入力部１０１０を介してモダリティ機器により生成された第１の複数の医用画像を取得する。処理フロー３００において、第１の複数の医用画像は、検査対象データとして用いられる。
Ｓ２００２にて、機械学習システム１０００の輝度補正部１０２０は、第１の複数の医用画像の輝度の違いを補正し、第１の複数の医用画像の各々の輝度範囲を正規化する。なお、Ｓ２００２は他の実施形態では省略されてもよい。
Ｓ２００３にて、機械学習システム１０００の画像処理部１０３０は、輝度範囲が正規化された第１の複数の医用画像の１つまたは複数の画像特性を調整し、第２の複数の医用画像を生成する。画像特性を調整では、モデル１０７１の訓練に用いられた画像特性を基準として採用し、この基準となる画像特性を各相が有するように画像の調整が行われてよい。
Ｓ２００４にて、機械学習システム１０００の特徴量算出部１０６０は、分割領域における特徴量を第２の複数の医用画像の各々について算出する。
Ｓ２００５にて、機械学習システム１０００は、特徴量算出部１０６０が出力する分割領域ごとの特徴量を学習済みモデル１０７１に入力し、分割領域において病変が存在する確率を出力として取得する。
Ｓ２００６にて、機械学習システム１０００の出力部１０８０は、分割領域において病変が存在する確率を出力する。
なお、本実施形態では、生成された第２の複数の医用画像は、学習済みのモデル１０７１に入力されるが、他の実施形態では、第２の複数の医用画像は、学習部１０７０が生成した学習済みモデルとは異なる学習済みモデルに入力されてもよい。

【0063】

図１６は、位置合わせ等が行われた第２の複数の医用画像生成後における処理の流れのイメージ図である。図１６は、上記におけるＳ１００４からＳ１００７およびＳ２００４からＳ２００６に相当する。図１６において、最上段は、基準となる相に関連付けられる画像を示し、この画像を基準として分割領域が作成される。また、その他の相に関連付けられる画像においても、作成された分割領域で特徴量の計算が行われ、それぞれ機械学習モデルに入力される。訓練データにより機械学習モデルが訓練された後は、機械学習モデルに分割領域ごとの特徴量を検査データとして入力することにより、領域ごとに特定の病変が存在する確率を示す情報を出力として取得可能である。

【0064】

<第３の実施形態>
第３の実施形態は、第１および第２の実施形態においてモダリティ機器がＭＲＩ装置であり、医用画像が肝臓を被写体とした画像である場合に相当する。本発明は、任意のモダリティ機器、および任意の医用画像に対して適用可能であるが、ＭＲＩ画像により肝臓病変を検出する機械学習モデルの作成に、特に適しているため、本実施形態を補足的に説明する。

【0065】

肝臓は「沈黙の臓器」と呼ばれており、炎症や癌があっても初期には自覚症状が殆どない。また、他の病気の検査で偶然に肝細胞癌が発見されることも少なくない。現在、肝細胞癌は、画像診断（超音波、造影ＣＴ、ＭＲＩ等）と腫瘍マーカ測定を併用して診断が行われている。近年の技術の進歩に伴い、モダリティ機器の新たな撮影モード（例えば、ガドキセト酸ナトリウム(Gd-EOB-DTPA)造影）が開発され、画像解析の方法や、画像分類の方法も多様化している。また、造影ＭＲＩでは複数相の画像を総合して初めて腫瘍の種類の特定が可能となる。専門家は、読影するにあたり相当の知識量や熟練を要するため、大きな負担が生じている。医用画像における病変検出をＡＩによりサポートすることは、読影に係る時間を短縮し、微小な病変や前癌病変の見逃しを低減し、個人の高い能力を必要とすることなしに読影を容易にすると期待される。

【0066】

ＭＲＩ装置は、照射される電磁波と生体内の水素原子が持つ磁化ベクトルを利用して断層像を取得する。ＭＲＩ装置では、磁場や電磁波のパラメータを変化させることで、T1強調画像、T2強調画像、HeavyT2強調画像、拡散強調画像等の複数種類の画像を撮像することができる。また、造影剤投与後に撮像を繰り返して血行動態を評価するダイナミックスタディや肝特異性造影剤を用いて周囲肝組織と腫瘍との機能の差異を反映した画像（例：Gd-EOB-DTPA造影MRI肝細胞造影相）も撮像され得る。第３の実施形態における「相」とは、これらの造影剤投与後の撮影時刻の違い、およびT1強調画像等の撮影モード自体の違いに基づく、撮影状態のこと示してよい。上記のように、ＭＲＩ装置は、ＣＴを含む他のモダリティ機器と比較しても特に多くの撮影モードが存在しており、一症例当たり判断が必要となる枚数は数百枚にもなる。その全ての画像を総合して病変を判断すること、特に高度の技術を要求するものである。

【0067】

また、造影ＣＴでは造影による時間変化が主要な撮影対象となるが、ダイナミックＣＴにおいて画像サイズやスライス枚数を変えて撮影することはあまり一般的ではない。一方で、ＭＲＩ撮影では、図１７が示すように、HBP(肝細胞造影相)、ダイナミックスタディ（造影前相、動脈相、門脈相、および平衡相）、DWI(拡散強調画像)、ならびにT2強調画像(T2WI)等の種々の撮影モードにおいて、画像のサイズ、スライス枚数、およびスライス間隔が大きく異なり得るという事情が存在する。また、一般に画像のサイズ、スライス枚数、およびスライス間隔は、病気の症例によっても異なり得る。従って、ＭＲＩ画像を教師データとして使用する場合は特に様々な画像特性を有する画像群を用いる必要があるため、事前に入力画像の画像特性を揃えることは、検出精度の向上に特に貢献する。

【0068】

また、一般にＭＲＩ撮影はＣＴと比較して長い撮影時間を要する。従って、撮影中に患者が体をよじらせる等の動きを行い、その結果撮影画像の位置がずれてしまうことがあるこのような位置のずれた画像を教師データと使用することも、上記同様、機械学習モデルの判定精度に悪影響をもたらす。特に、腹部は他の部位に比べて心臓や横隔膜の動きの影響を受けやすく臓器の位置が変化しやすい。また、肝細胞癌の診断目的の造影ＭＲＩでは、検出したい腫瘍のサイズが小さいことも多く、わずかな位置の変化が大きな影響を及ぼすことも分かった。

【0069】

＜第４の実施形態＞
図１８は、本発明の一実施形態による画像調整装置６００の最小構成を示す図である。
本実施形態による画像調整装置６００は、画像取得部６０１と画像処理部６０２とを備える。画像取得部６０１は、モダリティ機器により生成された第１の複数の医用画像を取得する。第１の複数の医用画像の各々は、複数の相のうちの１つに関連付けられる。画像処理部６０２は、第１の複数の医用画像の１つまたは複数の画像特性を調整し、機械学習モデルに入力するために第２の複数の医用画像を生成する。ここで１つまたは複数の画像特性は、視野サイズ、画像サイズ、スライス位置、スライス間隔、およびスライス枚数のうちの少なくとも１つを含む。

【0070】

＜画像調整装置のハードウェア構成＞
図１９は、本発明の一実施形態に係る画像調整装置７００のハードウェア構成図である。画像調整装置７００は、第１の実施形態の医用画像調整装置１と同様の機能を有するコンピュータであってよい。画像調整装置７００は、１つまたは複数のプロセッサ７０１と、１つまたは複数の記録装置７０２とを有する。１つまたは複数のプロセッサ７０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、およびＭＰＵ（Ｍicro-Ｐrocessing Unit）等のコンピュータ実行可能命令を解読および実行する任意の処理装置であってよい。また、記録装置７０２は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、フラッシュメモリ、コンパクトディスク(CD)ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは、命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、汎用コンピュータもしくは専用コンピュータまたは汎用プロセッサもしくは専用プロセッサによってアクセスされ得る任意の他の記録媒体を含み得る。また記録装置７０２は、処理フロー１００、学習処理フロー２００、または処理フロー３００を１つまたは複数のプロセッサ７１０に実行させるためのプログラムを記録してよい。なお、他の実施形態では、１つまたは複数のプロセッサ７０１は、画像調整装置７００とは異なる外部の装置に記録されたプログラムを読み出して、処理フロー１００、学習処理フロー２００、または処理フロー３００を実行してもよい。さらに画像調整装置７００は、任意に入出力装置７０３、通信モジュール７０４、およびディスプレイ７０５等のさらなるハードウェアを備えてもよい。

【0071】

本明細書で説明される機能は、ハードウェア、プロセッサによって実行されるソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。プロセッサによって実行されるソフトウェアにおいて実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され、またはコンピュータ可読媒体を介して送信され得る。他の例および実装形態が、本開示および添付の特許請求の範囲の範囲内に入る。たとえば、ソフトウェアの性質により、上で説明された機能は、プロセッサによって実行されるソフトウェア、ハードウェア、ファームウェア、ハードワイヤリング、またはこれらのうちの任意の組合せを使用して実装され得る。機能を実装する特徴はまた、機能の部分が異なる物理的位置において実装されるように分散されることを含めて、様々な位置において物理的に位置し得る。

【0072】

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0073】

１ 医用画像調整装置
１１ 画像取得部
１２ 画像処理部
１２１ 視野サイズ調整部
１２１ 画像視野調整部
１２２ 画像サイズ調整部
１２３ スライス位置調整部
１２４ スライス間隔/枚数調整部
２００ 学習処理フロー
３００ 処理フロー
６００ 画像調整装置
６０１ 画像取得部
６０２ 画像処理部
７００ 画像調整装置
７０１ プロセッサ
７０２ 記録装置
７０３ 入出力装置
７０４ 通信モジュール
７０５ ディスプレイ
１０００ 機械学習システム
１０１０ 入力部
１０２０ 輝度補正部
１０３０ 画像処理部
１０４０ 臓器領域特定部
１０５０ 領域分割部
１０６０ 特徴量算出部
１０７０ 学習部
１０７１ モデル
１０８０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】