特許 7439656 生成プログラム、生成方法、生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】生成プログラム、生成方法、生成装置

(51)【国際特許分類】

   A61B 6/46 20240101AFI20240220BHJP

   G06T 7/00 20170101ALI20240220BHJP

【ＦＩ】

A61B6/46 536Z

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2020103246

(22)【出願日】2020-06-15

(65)【公開番号】P2021194261

(43)【公開日】2021-12-27

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】宮▲崎▼ 信浩

(72)【発明者】

【氏名】武部 浩明

(72)【発明者】

【氏名】馬場 孝之

(72)【発明者】

【氏名】嶋田 雅彦

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２０１８－１１０７１４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１６０９７７（ＵＳ，Ａ１）

【文献】特許第６１２５１２６（ＪＰ，Ｂ１）

【文献】特開２０２０－０５４５７９（ＪＰ，Ａ）

【文献】特開２００５－０５８７６０（ＪＰ，Ａ）

【文献】特開２０１３－１７５００３（ＪＰ，Ａ）

【文献】特開２０１９－０７４８６８（ＪＰ，Ａ）

【文献】K. S. Kim et al.，A Compressed-Sensing Based Blind Deconvolution Method for Image Deblurring in Dental Cone-Beam Computed Tomography，Journal of Digital Imaging，米国，Society for Imaging Infomatics in Medicine，2018年09月20日，Vol. 32，pp. 478-488，DOI: 10.1007/s10278-018-0120-9

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／５８

Ｇ０６Ｔ ７／００ － ７／９０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

第１の画像の撮影条件である第１の撮影条件に対応付けられ、前記第１の画像に適用された第１のフィルタを決定し、
前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した第２の画像を生成し、
前記第１の画像に付与された機械学習用の正解ラベルを、前記第２の画像に付与する
処理をコンピュータに実行させることを特徴とする生成プログラム。

【請求項2】

前記決定する処理は、前記第１の画像に畳み込み演算により適用された第１のＰＳＦを決定し、
前記生成する処理は、フーリエ変換により周波数領域に変換され、さらに乗算により前記第１のＰＳＦの特性が打ち消された前記第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果を、フーリエ逆変換による時間領域に変換した画像を、前記第２の画像として生成することを特徴とする請求項１に記載の生成プログラム。

【請求項3】

前記決定する処理は、前記第１の画像の撮影機器及び再構成関数の組み合わせである第１の撮影条件に対応付けられた前記第１のフィルタを決定し、
前記生成する処理は、前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる撮影機器及び再構成関数の組み合わせである前記第２の撮影条件に対応付けられた前記第２のフィルタを適用した画像を、前記第２の画像として生成することを特徴とする請求項１に記載の生成プログラム。

【請求項4】

前記付与する処理は、人体のＣＴ（Computed Tomography）画像である前記第１の画像に付与された、症例に対応した正解ラベルを前記第２の画像に付与することを特徴とする請求項１に記載の生成プログラム。

【請求項5】

第１の画像の撮影条件である第１の撮影条件に対応付けられ、前記第１の画像に適用された第１のフィルタを決定し、
前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した第２の画像を生成し、
前記第１の画像に付与された機械学習用の正解ラベルを、前記第２の画像に付与する
処理をコンピュータが実行することを特徴とする生成方法。

【請求項6】

第１の画像の撮影条件である第１の撮影条件に対応付けられ、前記第１の画像に適用された第１のフィルタを決定し、
前記第１のフィルタの特性が打ち消された前記第１の画像に、前記第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した第２の画像を生成し、
前記第１の画像に付与された機械学習用の正解ラベルを、前記第２の画像に付与する
制御部を含むことを特徴とする生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成技術に関する。

【背景技術】

【0002】

医療における画像検査は、医師不足や１検査あたりの撮影画像数の増加により、医師の負担が増大しているため、効率化が求められている。医師が、過去の似た症例の病名やカルテ情報を参考にすることで、画像検査に要する時間を短縮し、効率化することが期待される。

【0003】

過去の似た症例を参考にするためには、機械学習等により、画像から症例を特徴化し、特徴を基に過去の類似した症例を検索することが考えられる。一方で、画像内の症例を特徴化する機械学習は、学習に含まれていない画像を識別することができない。そのため、撮影条件の違いによって画質が異なるＣＴ（Computed Tomography）画像において、想定される撮影条件で撮影された様々なバリエーションを有する画像と正解ラベルのペアを大量に生成することが求められる。

【0004】

画像と正解ラベルのペアを大量に生成する方法として、医師が知見に基づいて、ＣＴ画像内の症例の正解ラベルを手作業で作成する方法が考えられる。また、既に正解ラベル付けされた学習データに対し、回転、反転、平行移動、スケール変化、色変化、コントラスト変化等の画像処理を行うことで、様々なバリエーションを有する画像を生成する方法が知られている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－１８０７２９号公報

【文献】特開２０１９－５６９５７号公報

【非特許文献】

【0006】

【文献】ピクトグラムでわかる呼吸器内科（https://respiresi.exblog.jp/23965463/）

【文献】三浦 健太, 喜田 卓也, “花画像データセットの構築と畳み込みニューラルネットワーク,” DEIM Forum 2017, 2017.

【文献】A. Dosovitskiy, J. T. Springenberg, and T. Brox, “Unsupervisedfeature learning by augmenting single images,” arXiv, 2014.

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来の方法には、適切な学習用の画像と正解ラベルのペアを、効率良く生成することができない場合があるという問題がある。例えば、医師が正解ラベルを手作業で作成する方法は、手作業を要する上に、十分な量の画像をあらかじめ用意する必要があり、画像と正解ラベルのペアを効率良く生成することができない場合がある。また、画像処理により画像を生成する方法では、撮影画像として存在し得ない画像が生成されることがあり、識別精度を向上させることができない場合がある。

【0008】

１つの側面では、適切な学習用の画像と正解ラベルのペアを、効率良く生成することを目的とする。

【課題を解決するための手段】

【0009】

１つの態様において、生成プログラムは、第１の画像に適用された第１のフィルタを決定する処理をコンピュータに実行させる。生成プログラムは、前記第１のフィルタの特性が打ち消された前記第１の画像に、第２のフィルタを適用した第２の画像を生成する処理をコンピュータに実行させる。

【発明の効果】

【0010】

１つの側面では、適切な学習用の画像と正解ラベルのペアを、効率良く生成することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、類似症例の検索方法を説明する図である。

【図2】図２は、生成システムの構成例を示す図である。

【図3】図３は、学習データ情報のデータ構造の例を示す図である。

【図4】図４は、撮影条件情報のデータ構造の例を示す図である。

【図5】図５は、生成データ情報のデータ構造の例を示す図である。

【図6】図６は、画像と正解ラベルのペアの生成方法を説明する図である。

【図7】図７は、生成装置の処理の流れを示すフローチャートである。

【図8】図８は、ＰＳＦ決定処理の流れを示すフローチャートである。

【図9】図９は、ＰＳＦ変換処理の流れを示すフローチャートである。

【図10】図１０は、画像生成処理の流れを示すフローチャートである。

【図11】図１１は、正解ラベル付与処理の流れを示すフローチャートである。

【図12】図１２は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0012】

以下に、本発明に係る生成プログラム、生成方法、生成装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例】

【0013】

まず、図１を用いて、ＣＴ画像による類似症例の検索について説明する。図１に示すように、検索キーとなるＣＴ画像から、機械学習を用いた方法及び画像解析により異常陰影の候補が抽出される。そして、抽出された異常陰影の候補とデータベースに保存済みの過去の症例の陰影のデータとの照合が行われ、検索キーと類似する画像の一覧が検索結果として得られる。

【0014】

図２は、生成システムの構成例を示す図である。図２に示すように、生成システム１は、生成装置１０、記憶装置２０、画像入力装置３０及び計算機４０を有する。例えば、計算機４０は、ユーザが操作するパーソナルコンピュータ等の端末である。また、例えば、生成装置１０、記憶装置２０及び画像入力装置３０は、サーバである。また、生成システム１の各装置の機能の一部及び全部は、一体として構成されていてもよい。

【0015】

図１に示すように、生成装置１０は、画像入力装置３０から入力された画像を基に、学習用の画像と正解ラベルのペアを生成する。その際、生成装置１０は、必要に応じて記憶装置２０に記憶されている情報を参照する。また、生成装置１０は、計算機４０を介して行われた操作に応じて処理を行ってもよい。

【0016】

生成装置１０は、決定部１０１、変換部１０２、生成部１０３及び付与部１０４を有する。また、記憶装置２０は、学習データ情報２０１、撮影条件情報２０２及び生成データ情報２０３を記憶する。

【0017】

学習データ情報２０１は、既存の学習用の画像に関する情報を含む。例えば、既存の学習用の画像は、実際にＣＴ機器等によって撮影され、再構成関数が適用された画像のデータである。

【0018】

図３は、学習データ情報のデータ構造の例を示す図である。図３に示すように、学習データ情報２０１は、ファイル名、リンク、ＩＤを含む。ファイル名は、画像ファイルの名称である。リンクは画像ファイルの格納場所のパスである。ＩＤは、画像と生成された画像とを紐付けるためのインデックスである。画像の生成については後述する。例えば、図３の例では、「Ｉｍａｇｅ１」という名称の画像ファイルのＩＤは「ＩＭＧ１」である。

【0019】

撮影条件情報２０２は、撮影条件に関する情報を含む。例えば、撮影条件は、画像を撮影するＣＴ機器の種類及び再構成関数である。また、撮影条件は、管電圧等を含んでいてもよい。

【0020】

図４は、撮影条件情報のデータ構造の例を示す図である。図４に示すように、撮影条件情報２０２は、撮影機器、再構成関数、時間データ、リンク（時間データ）、周波数データ、リンク（周波数データ）、生成を含む。撮影機器及び再構成関数は、撮影条件に相当する。時間データは、時間領域のＰＳＦの有無を管理するためのフラグである。リンク（時間データ）は、時間領域のＰＳＦデータの格納場所である。周波数データは、周波数領域のＰＳＦの有無を管理するためのフラグである。リンク（周波数データ）は、周波数領域のＰＳＦデータの格納場所である。なお、格納場所は、実際にデータが格納されている場所であってもよいし、対応するデータが生成された場合に格納される予定の場所であってもよい。生成は、学習データの生成への利用を管理するためのフラグである。例えば、図４の例では、撮影機器が「Ｄ１」、再構成関数が「Ｆ１」である場合の時間データ及び周波数データは無く、データ生成に利用する撮影条件である。

【0021】

図５は、生成データ情報のデータ構造の例を示す図である。図５に示すように、生成データ情報２０３は、ファイル名、リンク、ＩＤを含む。ファイル名は、画像ファイルの名称である。リンクは画像ファイルの格納場所のパスである。ＩＤは、画像と生成された画像とを紐付けるためのインデックスである。例えば、図５の例では、「Ｉｍａｇｅ１＿ＰＳＦ１」という名称の画像ファイルのＩＤは「ＩＭＧ１」である。

【0022】

図６は、画像と正解ラベルのペアの生成方法を説明する図である。図５に示すように、生成装置１０は、既存の学習用の画像２０１ａを基に画像生成を行い、画像２０３ａを生成する。このとき、生成装置１０は、画像２０１ａに付されていた正解ラベルと同じ正解ラベルを画像２０３ａに付与する。以下、画像と正解ラベルのペアを生成するための、生成装置１０の各処理部の詳細を説明する。

【0023】

決定部１０１は、第１の画像に適用された第１のフィルタを決定する。ここで、第１の画像は既存の学習用の画像であり、決定部１０１は、第１の画像の情報を学習データ情報２０１から取得する。

【0024】

ここで、本実施例におけるフィルタは、ＰＳＦである。ＰＳＦは、畳み込み演算により画像に適用される。そのため、例えば、決定部１０１は、第１の画像に畳み込み演算により適用された第１のＰＳＦを決定する。

【0025】

また、ＰＳＦは撮影条件と対応付けられている。また、撮影条件には、撮影機器の種類と再構成関数が含まれる。そのため、例えば、決定部１０１は、第１の画像の撮影条件である第１の撮影条件に対応付けられた第１のフィルタを決定する。また、決定部１０１は、第１の画像の撮影機器及び再構成関数の組み合わせである第１の撮影条件に対応付けられた第１のフィルタを決定する。

【0026】

例えば、決定部１０１は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）画像に付随するタグから撮影機器名（種類）及び再構成関数を抽出することができる。ＤＩＣＯＭタグ（0008, 1090）のManufacturer’s Model Nameは撮影機器名に対応する。また、ＤＩＣＯＭタグ（0018, 1210）のConvolution Kernelは再構成関数に対応する。

【0027】

また、撮影機器ごとの再構成関数の一覧が、計算機４０を通じてユーザにより生成装置１０に入力されていてもよい。例えば、ユーザは、撮影機器Ｄ１で再構成関数Ｆ１及びＦ３が使用されることを入力する。また、例えば、ユーザは、撮影機器Ｄ２で再構成関数Ｆ２及びＦ４が使用されることを入力する。

【0028】

決定部１０１は、金属ワイヤ（ファントム）の撮影によるＰＳＦ決定を行うことができる（参考文献：市川勝弘, 原孝則, 丹羽伸次, 大橋一也, “CTにおける金属ワイヤによるMTFの測定法,” 日本放射線学会雑誌, 2008.）。また、決定部１０１は、ＣＴ画像中の血管を利用したＰＳＦ決定を行うことができる（参考文献：河田佳樹, 中屋良宏, 仁木登, 大松広伸, 江口研二, 金子昌弘, 森山 紀之, “ＣＴ像からのＰＳＦ測定法,” 電子情報通信学会論文誌, 2008.）。

【0029】

さらに、決定部１０１は、データの生成に利用するＰＳＦを決定する。ここで、学習データとして利用するデータは、様々なバリエーションを有する画像が適しており、バリエーション（例えば、画質の違い）は、ＰＳＦの形状によって変化する。そのため、既存の学習用の画像の撮影条件のＰＳＦと異なる（類似していない）ＰＳＦを有する画像を生成することで、データの網羅性を向上させることが可能である。そこで、決定部１０１は、既存の学習用の画像の撮影条件のＰＳＦと生成する画像の撮影条件のＰＳＦとの分布の類似度がある閾値以下のＰＳＦを決定する。

【0030】

また、決定部１０１は、識別を行う対象ごとにＰＳＦを決定する。例えば、画像データの収集が困難な医用画像は、症例ごとに撮影条件に偏りが存在する可能性があるため、識別を行う対象すべてに同一のＰＳＦを用いた学習データの生成が適しているとは限らない。

【0031】

ここで、互いに分布の異なるＰＳＦ１、ＰＳＦ２、ＰＳＦ３があり、症例Ａの学習データにはＰＳＦ１、ＰＳＦ２、症例Ｂの学習データにはＰＳＦ１、ＰＳＦ３がそれぞれ含まれているとする。この場合、症例ＡにはＰＳＦ３による学習データの生成、症例ＢにはＰＳＦ２による学習データの生成が適している。なお、ＰＳＦの分布の類似は、例えば、（１）式に示す正規化相互相関関数Ｒによって算出されてもよい。

【0032】

【数1】

【0033】

ただし、Ｉ（ｘ，ｙ）は、既存の学習データとして利用されているＰＳＦである。また、Ｔ（ｘ，ｙ）は、生成する学習データのＰＳＦである。また、ｈはＰＳＦの高さである。また、ｗはＰＳＦの幅である。

【0034】

変換部１０２は、時間領域のＰＳＦ又は画像を、フーリエ変換により周波数領域へ変換する。また、変換部１０２は、周波数領域のＰＳＦ又は画像を、フーリエ変換により時間領域へ変換する。

【0035】

変換部１０２は、時間領域の画像であるＩ（ｘ，ｙ）を、（２）式のように周波数領域に変換する。Ｆ｛ ｝はフーリエ変換である。

【0036】

【数2】

【0037】

変換部１０２は、時間領域のＰＳＦであるＰ（ｘ，ｙ）を、（３）式のように周波数領域に変換する。

【0038】

【数3】

【0039】

生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第２のフィルタを適用した第２の画像を生成する。例えば、生成部１０３は、フーリエ変換により周波数領域に変換され、さらに乗算により第１のＰＳＦの特性が打ち消された第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果を、フーリエ逆変換による時間領域に変換した画像を、第２の画像として生成する。

【0040】

ここで、Ｉ（ｘ，ｙ）をＣＴ画像とする。ＣＴ機器で取得した投影データ（生データ）をＯ（ｘ，ｙ）とする。また、ＰＳＦをＰ（ｘ，ｙ）とする。このとき、Ｉ（ｘ，ｙ）は、（４）式のように表される。ただし、＊は畳み込み演算子（フィルタリング処理）である。

【0041】

【数4】

【0042】

生成部１０３は、（５）式によりＦ（Ｉ´（ｘ，ｙ））を生成する。Ｆ（Ｉ´（ｘ，ｙ））は、フーリエ変換により周波数領域に変換され、さらに乗算により第１のＰＳＦの特性が打ち消された第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果である。

【0043】

【数5】

【0044】

Ｆ｛Ｐ（ｘ，ｙ）｝／Ｆ｛Ｐ（ｘ，ｙ）｝は、撮影条件（ＰＳＦ）の打ち消しを意味する。また、Ｆ｛Ｐ（ｘ，ｙ）｝やＦ｛Ｐ´（ｘ，ｙ）｝を掛けることは、ＰＳＦの適用を意味する。このように、時間領域における畳み込み演算は、周波数領域における乗算で表現できる。

【0045】

さらに、生成部１０３は、（６）式により第２の画像Ｉ´（ｘ，ｙ）を生成する。Ｉ´（ｘ，ｙ）は、Ｆ（Ｉ´（ｘ，ｙ））をフーリエ逆変換による時間領域に変換した画像である。

【0046】

【数6】

【0047】

ＰＳＦはフィルタの一例である。また、ＰＳＦは撮影条件に対応する。このため、生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。

【0048】

撮影条件は、例えば撮影機器及び再構成関数の組み合わせということができる。このため、生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる撮影機器及び再構成関数の組み合わせである第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。

【0049】

付与部１０４は、第１の画像に付与された機械学習用の正解ラベルを、第２の画像に付与する。付与部１０４は、人体のＣＴ画像である第１の画像に付与された、症例に対応した正解ラベルを第２の画像に付与する。例えば、図６に示すように、既存の学習用の画像２０１ａに付与されていた正解ラベルが「症例Ａ」であれば、付与部１０４は、生成部１０３によって生成された画像２０３ａにも正解ラベル「症例Ａ」を付与する。

【0050】

図７は、生成装置の処理の流れを示すフローチャートである。図７に示すように、生成装置１０は、まず画像を取得する（ステップＳ１）。ここでは、生成装置１０は、既存の学習用の画像であって、正解ラベルが付与された画像を取得する。

【0051】

次に、生成装置１０は、ＰＳＦ決定処理を行う（ステップＳ２）。そして、生成装置１０は、ＰＳＦ変換処理を行う（ステップＳ３）。ここで、生成装置１０は、画像生成処理を行う（ステップＳ４）。さらに、生成装置１０は、正解ラベル付与処理を行う（ステップＳ５）。そして、生成装置１０は、処理結果を出力する（ステップＳ６）。

【0052】

処理を続行するための条件が満たされている場合（ステップＳ７、Ｙｅｓ）、生成装置１０はステップＳ１に戻り処理を繰り返す。処理を続行するための条件が満たされていない場合（ステップＳ７、Ｎｏ）、生成装置１０は、処理を終了する。例えば、処理を続行するための条件は、規定の数の画像が生成されていないこと等である。

【0053】

図８は、ＰＳＦ決定処理の流れを示すフローチャートである。図８の処理は、図７のＰＳＦ決定処理（ステップＳ２）に相当する。まず、決定部１０１は、記憶装置２０から学習に利用する画像を取得する（ステップＳ１０１）。次に、決定部１０１は、画像のタグから撮影条件を特定する（ステップＳ１０２）。例えば、記憶装置２０に保存されている学習に利用する画像は、ＣＴ機器によって撮影され再構成関数が適用された既存の学習用の画像である。

【0054】

他に学習に利用する画像が存在する場合（ステップＳ１０３、Ｙｅｓ）、決定部１０１はステップＳ１０２に戻り処理を繰り返す。一方、他に学習に利用する画像が存在しない場合（ステップＳ１０３、Ｎｏ）、決定部１０１はステップＳ１０５に進む。また、ステップＳ１０１～Ｓ１０３と並行して、決定部１０１は、撮影装置で取得可能な撮影条件を取得しておく（ステップＳ１０４）。

【0055】

記憶装置２０に撮影条件に対応するＰＳＦの"時間データ"フラグが０である場合（ステップＳ１０５、Ｙｅｓ）、決定部１０１は、ＰＳＦを決定し、"時間データ"フラグを１に設定する（ステップＳ１０６）。一方、記憶装置２０に撮影条件に対応するＰＳＦの"時間データ"フラグが０でない場合（ステップＳ１０５、Ｎｏ）、決定部１０１はステップＳ１０７に進む。

【0056】

処理を行っていない撮影条件が存在する場合（ステップＳ１０７、Ｙｅｓ）、決定部１０１は、ステップＳ１０５に戻り処理を繰り返す。一方、処理を行っていない撮影条件が存在しない場合（ステップＳ１０７、Ｎｏ）、決定部１０１は、学習データの生成に利用するＰＳＦを決定する（ステップＳ１０８）。そして、決定部１０１は、利用するＰＳＦの"生成"フラグを１に設定する（ステップＳ１０９）。

【0057】

図９は、ＰＳＦ変換処理の流れを示すフローチャートである。図９の処理は、図７のＰＳＦ変換処理（ステップＳ３）に相当する。まず、変換部１０２は、記憶装置２０から学習に利用する画像を取得する（ステップＳ２０１）。そして、変換部１０２は、学習に利用する画像を周波数変換し、記憶装置２０に格納する（ステップＳ２０２）。

【0058】

処理を行っていない画像が存在する場合（ステップＳ２０３、Ｙｅｓ）、変換部１０２はステップＳ２０２に戻り処理を繰り返す。一方、処理を行っていない画像が存在しない場合（ステップＳ２０３、Ｎｏ）、変換部１０２は、処理を終了する。

【0059】

変換部１０２は、ステップＳ２０１～Ｓ２０３と並行して以下の処理を行う。まず、変換部１０２は、記憶装置２０から撮影条件を取得する（ステップＳ２０４）。ここで、撮影条件に対応するＰＳＦの"生成"フラグが１かつ"周波数データ"フラグが０である場合（ステップＳ２０５、Ｙｅｓ）、変換部１０２はステップＳ２０６に進む。一方、撮影条件に対応するＰＳＦの"生成"フラグが１でないか、又は、"周波数データ"フラグが０でない場合（ステップＳ２０５、Ｎｏ）、変換部１０２はステップＳ２０７に進む。

【0060】

変換部１０２は、撮影条件に対応するＰＳＦを周波数変換し、記憶装置２０に格納し、"周波数"フラグを１に設定する（ステップＳ２０６）。以降、このとき格納した周波数領域に変換済みのＰＳＦを、周波数データと呼ぶ。ここで、処理を行っていない撮影条件が存在する場合（ステップＳ２０７、Ｙｅｓ）、変換部１０２は、ステップＳ２０５に戻り処理を繰り返す。一方、処理を行っていない撮影条件が存在しない場合（ステップＳ２０７、Ｎｏ）、変換部１０２は処理を終了する。

【0061】

図１０は、画像生成処理の流れを示すフローチャートである。図１０の処理は、図７の画像生成処理（ステップＳ４）に相当する。まず、生成部１０３は、記憶装置２０から学習に利用する画像の周波数変換結果を取得する（ステップＳ３０１）。また、生成部１０３は、記憶装置２０から学習に利用する画像の撮影条件に対応したＰＳＦの周波数変換結果を取得する（ステップＳ３０２）。

【0062】

ここで、生成部１０３は、画像の撮影条件の特性を打ち消す（ステップＳ３０３）。なお、ＰＳＦ及び画像が周波数領域に変換済みの場合、生成部１０３は、乗算により撮影条件の特性の打ち消し及び周波数データの適用を行うことができる。また、生成部１０３は、記憶装置２０から撮影条件を取得する（ステップＳ３０４）。

【0063】

ここで、"生成"フラグが１でない場合（ステップＳ３０５、Ｎｏ）、生成部１０３はステップＳ３０９に進む。一方、"生成"フラグが１である場合（ステップＳ３０５、Ｙｅｓ）、生成部１０３は、周波数データを取得する（ステップＳ３０６）。そして、生成部１０３は、撮影条件の特性を打ち消した結果に対して周波数データを適用し、記憶装置２０に格納する（ステップＳ３０７）。さらに、生成部１０３は、学習に利用する画像と生成した画像を紐づける固有のＩＤを付与する（ステップＳ３０８）。

【0064】

ここで、処理していない撮影条件が存在する場合（ステップＳ３０９、Ｙｅｓ）、生成部１０３はステップＳ３０５に戻り処理を繰り返す。一方、処理していない撮影条件が存在しない場合（ステップＳ３０９、Ｎｏ）、生成部１０３はステップＳ３１０に進む。

【0065】

ここで、処理していない画像が存在する場合（ステップＳ３１０、Ｙｅｓ）、生成部１０３はステップ３０１に戻り処理を繰り返す。一方、処理していない画像が存在しない場合（ステップＳ３１０、Ｎｏ）、生成部１０３は処理を終了する。

【0066】

図１１は、正解ラベル付与処理の流れを示すフローチャートである。図１１の処理は、図７の正解ラベル付与処理（ステップＳ５）に相当する。まず、付与部１０４は、記憶装置２０から画像生成処理で得られた画像を取得する（ステップＳ４０１）。次に、付与部１０４は、ＩＤを基に画像生成処理で得られた画像に紐づく元画像を取得する（ステップＳ４０２）。さらに、付与部１０４は、元画像に付与されている正解ラベルを取得する（ステップＳ４０３）。

【0067】

ここで、付与部１０４は、画像生成処理で得られた画像に元画像から取得した正解ラベルを付与する（ステップＳ４０４）。ここで、処理していない画像が存在する場合（ステップＳ４０５、Ｙｅｓ）、付与部１０４はステップＳ４０１に戻り処理を繰り返す。一方、処理していない画像が存在しない場合（ステップＳ４０５、Ｎｏ）、付与部１０４は処理を終了する。

【0068】

上述したように、決定部１０１は、第１の画像に適用された第１のフィルタを決定する。生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第２のフィルタを適用した第２の画像を生成する。このように、生成装置１０は、既存の画像を基に、異なるフィルタが適用された画像を自動的に生成する。その結果、本実施例によれば、適切な学習用の画像と正解ラベルのペアを、効率良く生成することができる。

【0069】

例えば、本実施例をＣＴ画像に適用する場合、医師の手作業によるデータ作成コストを低減することができる。また、特に学習データとして利用したい撮影条件で撮影された画像が少ない場合や存在しない場合であっても、学習データを生成することができ、また、異なる撮影条件で撮影された画像に対しても高い識別精度を得ることができる。

【0070】

決定部１０１は、第１の画像に畳み込み演算により適用された第１のＰＳＦを決定する。生成部１０３は、フーリエ変換により周波数領域に変換され、さらに乗算により第１のＰＳＦの特性が打ち消された第１の画像に、フーリエ変換により周波数領域に変換された第２のＰＳＦを乗算により適用して得られた結果を、フーリエ逆変換による時間領域に変換した画像を、第２の画像として生成する。このように、周波数変換を行うことで、畳み込み演算によって適用されたフィルタの打ち消しや、再適用を乗算により容易に行うことができる。

【0071】

決定部１０１は、第１の画像の撮影条件である第１の撮影条件に対応付けられた第１のフィルタを決定する。生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。これにより、同じ対象物を撮影した画像であって、撮影条件が異なる画像を容易に生成することができる。

【0072】

決定部１０１は、第１の画像の撮影機器及び再構成関数の組み合わせである第１の撮影条件に対応付けられた第１のフィルタを決定する。生成部１０３は、第１のフィルタの特性が打ち消された第１の画像に、第１の撮影条件と異なる撮影機器及び再構成関数の組み合わせである第２の撮影条件に対応付けられた第２のフィルタを適用した画像を、第２の画像として生成する。これにより、医療のように学習データの入手が難しい分野においても、学習用の画像を容易に得ることができる。

【0073】

付与部１０４は、第１の画像に付与された機械学習用の正解ラベルを、第２の画像に付与する。これにより、正解ラベルが共通で画像が異なる学習データを生成することができる。

【0074】

付与部１０４は、人体のＣＴ画像である第１の画像に付与された、症例に対応した正解ラベルを第２の画像に付与する。これにより、実際に撮影をすることなく、既存の画像と同じ症例の画像を生成することができる。

【0075】

ここで、（７）式のように、時間領域における畳み込み演算が、周波数領域では乗算で表現可能であることを証明する。

【0076】

【数7】

【0077】

まず、畳み込み演算は（８）式のように定義される。

【0078】

【数8】

【0079】

また、離散時間フーリエ変換は（９）式のように定義される。

【0080】

【数9】

【0081】

このとき、（１０）式により、離散時間フーリエ変換により変換された畳み込み演算は、乗算で表現されることが証明される。

【0082】

【数10】

【0083】

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。

【0084】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0085】

図１２は、ハードウェア構成例を説明する図である。図１２に示すように、生成装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バス等で相互に接続される。

【0086】

通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0087】

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、生成装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、決定部１０１、変換部１０２、生成部１０３及び付与部１０４と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、決定部１０１、変換部１０２、生成部１０３及び付与部１０４等と同様の処理を実行するプロセスを実行する。

【0088】

このように生成装置１０は、プログラムを読み出して実行することで学習類方法を実行する情報処理装置として動作する。また、生成装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、生成装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【0089】

このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

【符号の説明】

【0090】

１ 生成システム
１０ 生成装置
２０ 記憶装置
３０ 画像入力装置
４０ 計算機
１０１ 決定部
１０２ 変換部
１０３ 生成部
１０４ 付与部
２０１ 学習データ情報
２０２ 撮影条件情報
２０３ 生成データ情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】