特許 7444382 画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240228BHJP

   G06V 10/40 20220101ALI20240228BHJP

   A61B 6/03 20060101ALI20240228BHJP

【ＦＩ】

G06T7/00 350B

G06V10/40

A61B6/03 560D

【請求項の数】 18

(21)【出願番号】P 2022550372

(86)(22)【出願日】2021-07-12

(86)【国際出願番号】 JP2021026147

(87)【国際公開番号】W WO2022059315

(87)【国際公開日】2022-03-24

【審査請求日】2023-02-22

(31)【優先権主張番号】P 2020154532

(32)【優先日】2020-09-15

(33)【優先権主張国・地域又は機関】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「人工知能技術を活用した革新的ながん創薬システムの開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】510097747

【氏名又は名称】国立研究開発法人国立がん研究センター

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】小林 和馬

(72)【発明者】

【氏名】三宅 基隆

(72)【発明者】

【氏名】浜本 隆二

(72)【発明者】

【氏名】桝本 潤

【審査官】松浦 功

(56)【参考文献】

【文献】特開２００８－２２９１６１（ＪＰ，Ａ）

【文献】特開平０７－１２３２６８（ＪＰ，Ａ）

【文献】特開２０１３－１６５７６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ａ６１Ｂ ６／００ － ６／１２

Ａ６１Ｂ ５／０５ － ５／０７

Ａ６１Ｂ ８／００ － ８／１５

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
対象画像を符号化することにより、前記対象画像に含まれる関心領域の異常さについての画像特徴を表す少なくとも１つの第１の特徴量を導出し、
前記対象画像を符号化することにより、前記対象画像に含まれる前記関心領域が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの第２の特徴量を導出するように構成される画像符号化装置。

【請求項2】

前記第１の特徴量および前記第２の特徴量の組み合わせは、前記対象画像についての画像特徴を表す請求項１に記載の画像符号化装置。

【請求項3】

前記関心領域の異常さについての代表的な画像特徴を表す少なくとも１つの第１の特徴ベクトル、および前記関心領域が正常な領域であったとした場合の画像についての代表的な画像特徴を表す少なくとも１つの第２の特徴ベクトルを記憶するストレージを備え、
前記プロセッサは、前記関心領域の異常さについての画像特徴を表す特徴ベクトルを、前記第１の特徴ベクトルのうちの、前記関心領域の異常さについての画像特徴との差分が最小となる第１の特徴ベクトルに置換することにより量子化して、前記第１の特徴量を導出し、
前記関心領域が正常な領域であったとした場合の画像についての画像特徴を表す特徴ベクトルを、前記第２の特徴ベクトルのうちの、前記関心領域が正常な領域であったとした場合の画像についての画像特徴との差分が最小となる第２の特徴ベクトルに置換することにより量子化して、前記第２の特徴量を導出するように構成される請求項１または２に記載の画像符号化装置。

【請求項4】

前記プロセッサは、前記対象画像が入力されると、前記第１の特徴量および前記第２の特徴量を導出するように学習がなされた符号化学習モデルを用いて、前記第１の特徴量および前記第２の特徴量を導出するように構成される請求項１から３のいずれか１項に記載の画像符号化装置。

【請求項5】

少なくとも１つのプロセッサを備え、
前記プロセッサは、請求項１から４のいずれか１項に記載の画像符号化装置によって、前記対象画像から導出した前記第１の特徴量に基づいて、前記対象画像における前記関心領域の異常さについての種類に応じた領域を抽出するように構成される画像復号化装置。

【請求項6】

前記プロセッサは、前記第２の特徴量に基づいて、前記対象画像における前記関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像を導出し、
前記第１の特徴量および前記第２の特徴量に基づいて、前記対象画像についての画像特徴を再構成した第２の再構成画像を導出するように構成される請求項５に記載の画像復号化装置。

【請求項7】

前記プロセッサは、前記第１の特徴量に基づいて、前記対象画像における前記関心領域の異常さについての種類に応じたラベル画像を導出し、前記第２の特徴量に基づいて、前記対象画像における前記関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像を導出し、前記第１の特徴量および前記第２の特徴量に基づいて、前記対象画像の画像特徴を再構成した第２の再構成画像を導出するように学習がなされた復号化学習モデルを用いて、前記関心領域の異常さについての種類に応じたラベル画像の導出、前記第１の再構成画像の導出および前記第２の再構成画像の導出を行うように構成される請求項６に記載の画像復号化装置。

【請求項8】

請求項１から４のいずれか１項に記載の画像符号化装置と、請求項５から７のいずれか１項に記載の画像復号化装置とを備えた画像処理装置。

【請求項9】

関心領域を含む教師画像および該教師画像における該関心領域の異常さについての種類に応じた教師ラベル画像からなる教師データを用いて、請求項４に記載の画像符号化装置における符号化学習モデルと、請求項７に記載の画像復号化装置における復号化学習モデルとを学習する学習装置であって、
少なくとも１つのプロセッサを備え、
前記プロセッサは、前記符号化学習モデルを用いて、前記教師画像から前記第１の特徴量および前記第２の特徴量にそれぞれ対応する第１の学習用特徴量および第２の学習用特徴量を導出し、
前記復号化学習モデルを用いて、前記第１の学習用特徴量に基づいて前記教師画像に含まれる関心領域の異常さについての種類に応じた学習用ラベル画像を導出し、前記第２の学習用特徴量に基づいて、前記教師画像における前記関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の学習用再構成画像を導出し、前記第１の学習用特徴量および前記第２の学習用特徴量に基づいて、前記教師画像の画像特徴を再構成した第２の学習用再構成画像を導出し、
前記第１の学習用特徴量と予め定められた第１の特徴量の確率分布との差である第１の損失、前記第２の学習用特徴量と予め定められた第２の特徴量の確率分布との差である第２の損失、前記教師データに含まれる前記教師ラベル画像と前記学習用ラベル画像との前記教師画像に対するセマンティックセグメンテーションとしての差に基づく第３の損失、前記第１の学習用再構成画像と前記教師画像における前記関心領域外の画像との差に基づく第４の損失、前記第２の学習用再構成画像と前記教師画像との差に基づく第５の損失、および前記第１の学習用再構成画像と前記第２の学習用再構成画像との前記関心領域内外にそれぞれ対応する領域間の差に基づく第６の損失の少なくとも１つが予め定められた条件を満足するように、前記符号化学習モデルおよび前記復号化学習モデルを学習するように構成される学習装置。

【請求項10】

少なくとも１つのプロセッサと、
請求項１から４のいずれか１項記載の画像符号化装置とを備え、
前記プロセッサは、
前記画像符号化装置により、クエリ画像についての第１の特徴量および第２の特徴量を導出し、
複数の参照画像のそれぞれについての第１の特徴量および第２の特徴量が、前記複数の参照画像のそれぞれと対応づけられて登録された画像データベースを参照して、前記クエリ画像から導出された前記第１の特徴量および前記第２の特徴量の少なくとも一方に基づいて、前記クエリ画像と前記複数の参照画像のそれぞれとの類似度を導出し、
前記類似度に基づいて、前記クエリ画像に類似する参照画像を類似画像として前記画像データベースから抽出するように構成される類似画像検索装置。

【請求項11】

対象画像を符号化することにより、前記対象画像に含まれる関心領域の異常さについての画像特徴を表す少なくとも１つの第１の特徴量を導出し、
前記対象画像を符号化することにより、前記対象画像に含まれる前記関心領域が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの第２の特徴量を導出する画像符号化方法。

【請求項12】

請求項１から４のいずれか１項に記載の画像符号化装置によって、前記対象画像から導出した前記第１の特徴量に基づいて、前記対象画像における前記関心領域の異常さについての種類に応じた領域を抽出する画像復号化方法。

【請求項13】

関心領域を含む教師画像および該教師画像における該関心領域の異常さについての種類に応じた教師ラベル画像からなる教師データを用いて、請求項４に記載の画像符号化装置における符号化学習モデルと、請求項７に記載の画像復号化装置における復号化学習モデルとを学習する学習方法であって、
前記符号化学習モデルを用いて、前記教師画像から前記第１の特徴量および前記第２の特徴量にそれぞれ対応する第１の学習用特徴量および第２の学習用特徴量を導出し、
前記復号化学習モデルを用いて、前記第１の学習用特徴量に基づいて前記教師画像に含まれる関心領域の異常さについての種類に応じた学習用ラベル画像を導出し、前記第２の学習用特徴量に基づいて、前記教師画像における前記関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の学習用再構成画像を導出し、前記第１の学習用特徴量および前記第２の学習用特徴量に基づいて、前記教師画像の画像特徴を再構成した第２の学習用再構成画像を導出し、
前記第１の学習用特徴量と予め定められた第１の特徴量の確率分布との差である第１の損失、前記第２の学習用特徴量と予め定められた第２の特徴量の確率分布との差である第２の損失、前記教師データに含まれる前記教師ラベル画像と前記学習用ラベル画像との前記教師画像に対するセマンティックセグメンテーションとしての差に基づく第３の損失、前記第１の学習用再構成画像と前記教師画像における前記関心領域外の画像との差に基づく第４の損失、前記第２の学習用再構成画像と前記教師画像との差に基づく第５の損失、および前記第１の学習用再構成画像と前記第２の学習用再構成画像との前記関心領域内外にそれぞれ対応する領域間の差に基づく第６の損失の少なくとも１つが予め定められた条件を満足するように、前記符号化学習モデルおよび前記復号化学習モデルを学習する学習方法。

【請求項14】

請求項１から４のいずれか１項記載の画像符号化装置により、クエリ画像についての第１の特徴量および第２の特徴量を導出し、
複数の参照画像のそれぞれについての第１の特徴量および第２の特徴量が、前記複数の参照画像のそれぞれと対応づけられて登録された画像データベースを参照して、前記クエリ画像から導出された前記第１の特徴量および前記第２の特徴量の少なくとも一方に基づいて、前記クエリ画像と前記複数の参照画像のそれぞれとの類似度を導出し、
前記類似度に基づいて、前記クエリ画像に類似する参照画像を類似画像として前記画像データベースから抽出する類似画像検索方法。

【請求項15】

対象画像を符号化することにより、前記対象画像に含まれる関心領域の異常さについての画像特徴を表す少なくとも１つの第１の特徴量を導出する手順と、
前記対象画像を符号化することにより、前記対象画像に含まれる前記関心領域が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの第２の特徴量を導出する手順とをコンピュータに実行させる画像符号化プログラム。

【請求項16】

請求項１から４のいずれか１項に記載の画像符号化装置によって、前記対象画像から導出した前記第１の特徴量に基づいて、前記対象画像における前記関心領域の異常さの種類に応じた領域を抽出する手順をコンピュータに実行させる画像復号化プログラム。

【請求項17】

関心領域を含む教師画像および該教師画像における該関心領域の異常さについての種類に応じた教師ラベル画像からなる教師データを用いて、請求項４に記載の画像符号化装置における符号化学習モデルと、請求項７に記載の画像復号化装置における復号化学習モデルとを学習する手順をコンピュータに実行させる学習プログラムであって、
前記符号化学習モデルを用いて、前記教師画像から前記第１の特徴量および前記第２の特徴量にそれぞれ対応する第１の学習用特徴量および第２の学習用特徴量を導出する手順と、
前記復号化学習モデルを用いて、前記第１の学習用特徴量に基づいて前記教師画像に含まれる関心領域の異常さについての種類に応じた学習用ラベル画像を導出し、前記第２の学習用特徴量に基づいて、前記教師画像における前記関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の学習用再構成画像を導出し、前記第１の学習用特徴量および前記第２の学習用特徴量に基づいて、前記教師画像の画像特徴を再構成した第２の学習用再構成画像を導出する手順と、
前記第１の学習用特徴量と予め定められた第１の特徴量の確率分布との差である第１の損失、前記第２の学習用特徴量と予め定められた第２の特徴量の確率分布との差である第２の損失、前記教師データに含まれる前記教師ラベル画像と前記学習用ラベル画像との前記教師画像に対するセマンティックセグメンテーションとしての差に基づく第３の損失、前記第１の学習用再構成画像と前記教師画像における前記関心領域外の画像との差に基づく第４の損失、前記第２の学習用再構成画像と前記教師画像との差に基づく第５の損失、および前記第１の学習用再構成画像と前記第２の学習用再構成画像との前記関心領域内外にそれぞれ対応する領域間の差に基づく第６の損失の少なくとも１つが予め定められた条件を満足するように、前記符号化学習モデルおよび前記復号化学習モデルを学習する手順とをコンピュータに実行させる学習プログラム。

【請求項18】

請求項１から４のいずれか１項記載の画像符号化装置により、クエリ画像についての第１の特徴量および第２の特徴量を導出する手順と、
複数の参照画像のそれぞれについての第１の特徴量および第２の特徴量が、前記複数の参照画像のそれぞれと対応づけられて登録された画像データベースを参照して、前記クエリ画像から導出された前記第１の特徴量および前記第２の特徴量の少なくとも一方に基づいて、前記クエリ画像と前記複数の参照画像のそれぞれとの類似度を導出する手順と、
前記類似度に基づいて、前記クエリ画像に類似する参照画像を類似画像として前記画像データベースから抽出する手順とをコンピュータに実行させる類似画像検索プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラムに関するものである。

【背景技術】

【0002】

近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器により取得された医用画像から関心領域を検出するための各種手法が提案されている。例えば、特開２０２０－０６２３５５号公報には、訓練用の医用画像データから、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出し、抽出したデータを学習した学習モデルを用いて、抽出対象となる医用画像から病変領域を抽出する手法が提案されている。特開２０２０－０６２３５５号公報に記載された学習モデルにおいては、対象となる医用画像について、病変領域の特徴量および病変周囲の領域の特徴量を用いて、病変の領域が抽出される。

【0003】

一方、医用画像に含まれる関心領域についての症例と類似する過去の医用画像を参照することにより、診断を効率よく行うことができる。このため、対象となる医用画像に類似する過去の医用画像を検索する手法が提案されている（例えば特開２００４－０５３６４号公報参照）。特開２００４－０５３６４号公報に記載された手法は、まず診断対象となる医用画像に含まれる関心領域の特徴量を導出する。そして、データベースに保存された医用画像について予め導出された特徴量と、対象となる医用画像から導出した特徴量との差に基づいて類似度を導出し、類似度に基づいて、類似する過去の医用画像を検索する。

【0004】

ところで、医用画像における病変のような関心領域の画像特徴は、疾患により引き起こされる病的な変化と、そこに元々存在している正常な解剖学的特徴とが組み合わさったものであると言える。人体の正常な解剖学的特徴は共通しているため、臨床医は、関心領域に注目した際に、関心領域の背後に存在していたであろう正常な解剖学的特徴を差し引いて、異常さのみを純粋に反映する画像特徴を想起して、関心領域を評価している。

【0005】

このため、同一患者について疾患が発症した前後の医用画像について疾患の領域を比較読影すること、および類似した病変を有する異なる患者間の医用画像を比較読影することが、画像診断において非常に重要となる。このような医用画像に対する臨床医の認識過程をコンピュータにより再現するためには、関心領域の画像特徴を、そこに本来存在しているであろう正常な解剖学的特徴からの差分として表現する必要がある。また、これと同時に、関心領域が仮に正常な領域であったとした場合の正常な解剖学的特徴を再現できるようにする必要もある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特開２０２０－０６２３５５号公報に記載された手法は、医用画像から関心領域を検出するのみである。また、特開２００４－０５３６４号公報に記載された手法は、画像における関心領域が類似する医用画像が検索されるのみである。このため、特開２０２０－０６２３５５号公報および特開２００４－０５３６４号公報に記載の手法を用いても、医用画像に含まれる関心領域の画像特徴と、関心領域が正常な領域であったとした場合の画像特徴とを分離的に扱うことができない。

【0007】

本開示は上記事情に鑑みなされたものであり、異常な領域を関心領域として含む対象画像に関して、関心領域の異常さについての画像特徴と、関心領域が仮に正常な領域であったとした場合の画像についての画像特徴とを分離して扱うことができるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本開示による画像符号化装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
対象画像を符号化することにより、対象画像に含まれる関心領域の異常さについての画像特徴を表す少なくとも１つの第１の特徴量を導出し、
対象画像を符号化することにより、対象画像における関心領域が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの第２の特徴量を導出するように構成される。

【0009】

なお、関心領域は、本開示による画像符号化装置において、第１の特徴量および第２の特徴量の少なくとも一方を導出しつつ、抽出されるものであってもよい。あるいは、対象画像においてすでに関心領域が抽出されたものであってもよい。また、表示された対象画像に対する操作者の入力により、対象画像から関心領域を抽出してもよい。

【0010】

本開示において、関心領域の「異常さ」についての画像特徴とは、対象画像における関心領域が仮に正常な領域であったとした場合の画像についての画像特徴を基準として、実際の対象画像に含まれる関心領域についての画像特徴が、その基準からどれだけ逸脱しているかという画像特徴の差分として表されてもよい。

【0011】

なお、本開示による画像符号化装置においては、第１の特徴量および第２の特徴量の組み合わせは、対象画像についての画像特徴を表すものであってもよい。

【0012】

また、本開示による画像符号化装置においては、関心領域の異常さについての代表的な画像特徴を表す少なくとも１つの第１の特徴ベクトル、および関心領域が正常な領域であったとした場合の画像についての代表的な画像特徴を表す少なくとも１つの第２の特徴ベクトルを記憶するストレージを備え、
プロセッサは、関心領域の異常さについての画像特徴を表す特徴ベクトルを、第１の特徴ベクトルのうちの、関心領域の異常さについての画像特徴との差分が最小となる第１の特徴ベクトルに置換することにより量子化して、第１の特徴量を導出し、
関心領域が正常な領域であったとした場合の画像についての画像特徴を表す特徴ベクトルを、第２の特徴ベクトルのうちの、関心領域が正常な領域であったとした場合の画像についての画像特徴との差分が最小となる第２の特徴ベクトルに置換することにより量子化して、第２の特徴量を導出するように構成されるものであってもよい。

【0013】

また、本開示による画像符号化装置においては、プロセッサは、対象画像が入力されると、第１の特徴量および第２の特徴量を導出するように学習がなされた符号化学習モデルを用いて、第１の特徴量および第２の特徴量を導出するように構成されるものであってもよい。

【0014】

本開示による画像復号化装置は、少なくとも１つのプロセッサを備え、
プロセッサは、本開示による画像符号化装置によって、対象画像から導出した第１の特徴量に基づいて、対象画像における関心領域の異常さについての種類に応じた領域を抽出するように構成される。

【0015】

なお、本開示による画像復号化装置においては、プロセッサは、第２の特徴量に基づいて、対象画像における関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像を導出し、
第１の特徴量および第２の特徴量に基づいて、対象画像についての画像特徴を再構成した第２の再構成画像を導出するように構成されるものであってもよい。

【0016】

また、本開示による画像復号化装置においては、プロセッサは、第１の特徴量に基づいて、対象画像における関心領域の異常さについての種類に応じたラベル画像を導出し、第２の特徴量に基づいて、対象画像における関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像を導出し、第１の特徴量および第２の特徴量に基づいて、対象画像の画像特徴を再構成した第２の再構成画像を導出するように学習がなされた復号化学習モデルを用いて、関心領域の異常さについての種類に応じたラベル画像の導出、第１の再構成画像の導出および第２の再構成画像の導出を行うように構成されるものであってもよい。

【0017】

本開示による画像処理装置は、本開示による画像符号化装置と、本開示による画像復号化装置とを備える。

【0018】

本開示による学習装置は、関心領域を含む教師画像および教師画像における関心領域の異常さについての種類に応じた教師ラベル画像からなる教師データを用いて、本開示による画像符号化装置における符号化学習モデルと、本開示による画像復号化装置における復号化学習モデルとを学習する学習装置であって、
少なくとも１つのプロセッサを備え、
プロセッサは、符号化学習モデルを用いて、教師画像から第１の特徴量および第２の特徴量にそれぞれ対応する第１の学習用特徴量および第２の学習用特徴量を導出し、
復号化学習モデルを用いて、第１の学習用特徴量に基づいて教師画像に含まれる関心領域の異常さについての種類に応じた学習用ラベル画像を導出し、第２の学習用特徴量に基づいて、教師画像における関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の学習用再構成画像を導出し、第１の学習用特徴量および第２の学習用特徴量に基づいて、教師画像の画像特徴を再構成した第２の学習用再構成画像を導出し、
第１の学習用特徴量と予め定められた第１の特徴量の確率分布との差である第１の損失、第２の学習用特徴量と予め定められた第２の特徴量の確率分布との差である第２の損失、教師データに含まれる教師ラベル画像と学習用ラベル画像との教師画像に対するセマンティックセグメンテーションとしての差に基づく第３の損失、第１の学習用再構成画像と教師画像における関心領域外の画像との差に基づく第４の損失、第２の学習用再構成画像と教師画像との差に基づく第５の損失、および第１の学習用再構成画像と第２の学習用再構成画像との関心領域内外にそれぞれ対応する領域間の差に基づく第６の損失の少なくとも１つが予め定められた条件を満足するように、符号化学習モデルおよび復号化学習モデルを学習するように構成される。

【0019】

第３の損失に関しての「セマンティックセグメンテーションとしての差」とは、教師ラベル画像により表される異常さの種類に応じた領域と、学習用ラベル画像により表される異常さの種類に応じた領域との重なりに基づいて定められる指標である。

【0020】

第４の損失に関しての「関心領域外」とは、教師画像における関心領域以外のすべての領域を意味する。なお、教師画像に何ら構造物が含まれない背景が含まれる場合、関心領域外には背景も含めた領域も含む。一方、関心領域外には背景を含めない領域のみを含むものであってもよい。

【0021】

第６の損失に関しての「関心領域内外に対応する領域」とは、第１の学習用再構成画像と第２の学習用再構成画像との関心領域に対応する領域および、関心領域に対応しない領域の双方を意味する。関心領域に対応しない領域とは、第１の学習用再構成画像と第２の学習用再構成画像との関心領域に対応する領域以外のすべての領域を意味する。なお、第１および第２の学習用再構成画像に何ら構造物が含まれない背景が含まれる場合、関心領域に対応しない領域には背景も含めた領域も含む。一方、関心領域に対応しない領域には背景を含まない領域のみを含むものであってもよい。

【0022】

本開示による類似画像検索装置は、少なくとも１つのプロセッサと、
本開示による画像符号化装置とを備え、
プロセッサは、
画像符号化装置により、クエリ画像についての第１の特徴量および第２の特徴量を導出し、
複数の参照画像のそれぞれについての第１の特徴量および第２の特徴量が、複数の参照画像のそれぞれと対応づけられて登録された画像データベースを参照して、クエリ画像から導出された第１の特徴量および第２の特徴量の少なくとも一方に基づいて、クエリ画像と複数の参照画像のそれぞれとの類似度を導出し、
類似度に基づいて、クエリ画像に類似する参照画像を類似画像として画像データベースから抽出するように構成される。

【0023】

本開示による画像符号化方法は、対象画像を符号化することにより、対象画像に含まれる関心領域の異常さについての画像特徴を表す少なくとも１つの第１の特徴量を導出し、
対象画像を符号化することにより、対象画像に含まれる関心領域が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの第２の特徴量を導出する。

【0024】

本開示による画像復号化方法は、本開示による画像符号化装置によって、対象画像から導出した第１の特徴量に基づいて、対象画像における関心領域の異常さについての種類に応じた領域を抽出する。

【0025】

本開示による学習方法は、関心領域を含む教師画像および教師画像における関心領域の異常さについての種類に応じた教師ラベル画像からなる教師データを用いて、本開示による画像符号化装置における符号化学習モデルと、本開示による画像復号化装置における復号化学習モデルとを学習する学習方法であって、
符号化学習モデルを用いて、教師画像から第１の特徴量および第２の特徴量にそれぞれ対応する第１の学習用特徴量および第２の学習用特徴量を導出し、
復号化学習モデルを用いて、第１の学習用特徴量に基づいて教師画像に含まれる関心領域の異常さについての種類に応じた学習用ラベル画像を導出し、第２の学習用特徴量に基づいて、教師画像における関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の学習用再構成画像を導出し、第１の学習用特徴量および第２の学習用特徴量に基づいて、教師画像の画像特徴を再構成した第２の学習用再構成画像を導出し、
第１の学習用特徴量と予め定められた第１の特徴量の確率分布との差である第１の損失、第２の学習用特徴量と予め定められた第２の特徴量の確率分布との差である第２の損失、教師データに含まれる教師ラベル画像と学習用ラベル画像との教師画像に対するセマンティックセグメンテーションとしての差に基づく第３の損失、第１の学習用再構成画像と教師画像における関心領域外の画像との差に基づく第４の損失、第２の学習用再構成画像と教師画像との差に基づく第５の損失、および第１の学習用再構成画像と第２の学習用再構成画像との関心領域内外にそれぞれ対応する領域間の差に基づく第６の損失の少なくとも１つが予め定められた条件を満足するように、符号化学習モデルおよび復号化学習モデルを学習する。

【0026】

本開示による類似画像検索方法は、本開示による画像符号化装置により、クエリ画像についての第１の特徴量および第２の特徴量を導出し、
複数の参照画像のそれぞれについての第１の特徴量および第２の特徴量が、複数の参照画像のそれぞれと対応づけられて登録された画像データベースを参照して、クエリ画像から導出された第１の特徴量および第２の特徴量の少なくとも一方に基づいて、クエリ画像と複数の参照画像のそれぞれとの類似度を導出し、
類似度に基づいて、クエリ画像に類似する参照画像を類似画像として画像データベースから抽出する。

【0027】

なお、本開示による画像符号化方法、画像復号化方法、学習方法および類似画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。

【発明の効果】

【0028】

本開示によれば、異常な領域を関心領域として含む対象画像に関して、関心領域の異常さについての画像特徴と、関心領域が仮に正常な領域であった場合の画像についての画像特徴とを分離して扱うことができる。

【図面の簡単な説明】

【0029】

【図1】本開示の実施形態による画像符号化装置、画像復号化装置、学習装置および類似画像検索装置を適用した医療情報システムの概略構成を示す図

【図2】本実施形態による画像処理システムの概略構成を示す図

【図3】本実施形態による画像処理システムの機能構成図

【図4】本実施形態による画像符号化装置および画像復号化装置が行う処理の概念図

【図5】第１の特徴ベクトルへの置換を説明するための図

【図6】学習に使用する教師データの例を示す図

【図7】検索結果リストを示す図

【図8】第１の検索条件による検索結果の表示画面を示す図

【図9】第２の検索条件による検索結果の表示画面を示す図

【図10】第３の検索条件による検索結果の表示画面を示す図

【図11】本実施形態において行われる学習処理を示すフローチャート

【図12】本実施形態において行われる類似画像検索処理を示すフローチャート

【発明を実施するための形態】

【0030】

以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像符号化装置、画像復号化装置、学習装置および類似画像検索装置を適用した医療情報システムの構成について説明する。なお、以降の説明において、画像処理装置には、本開示の画像符号化装置および画像復号化装置を含む。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像処理装置、学習装置および類似画像検索装置を内包するコンピュータ１、撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

【0031】

コンピュータ１は、本実施形態による画像処理装置、学習装置および類似画像検索装置を内包するものであり、本実施形態の画像符号化プログラム、画像復号化プログラム、学習プログラムおよび類似画像検索プログラムがインストールされている。コンピュータ１は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像符号化プログラム、画像復号化プログラム、学習プログラムおよび類似画像検索プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。

【0032】

撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ(Computed Tomography)装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ（Positron Emission Tomography）装置等である。撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、撮影装置２はＭＲＩ装置であり、被検体の脳を含む頭部のＭＲＩ画像を３次元画像として生成する。

【0033】

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、画像保管サーバ３には、後述する教師データも記憶されている。

【0034】

なお、本実施形態においては、画像保管サーバ３には、画像データベースＤＢが保存されている。画像データベースＤＢには、脳出血および脳梗塞等の各種疾患を含む複数の画像が参照画像として登録されている。画像データベースＤＢについては後述する。また、本実施形態においては、参照画像も複数のスライス画像からなる３次元画像である。

【0035】

次いで、本実施形態による画像符号化装置、画像復号化装置、学習装置および類似画像検索装置について説明する。図２は、本実施形態による画像符号化装置、画像復号化装置、学習装置および類似画像検索装置を含む画像処理システムのハードウェア構成を説明する。図２に示すように、本実施形態による画像処理システム２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像処理システム２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク４に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0036】

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像符号化プログラム１２Ａ、画像復号化プログラム１２Ｂ、学習プログラム１２Ｃおよび類似画像検索プログラム１２Ｄが記憶される。ＣＰＵ１１は、ストレージ１３から画像符号化プログラム１２Ａ、画像復号化プログラム１２Ｂ、学習プログラム１２Ｃおよび類似画像検索プログラム１２Ｄを読み出してからメモリ１６に展開し、展開した画像符号化プログラム１２Ａ、画像復号化プログラム１２Ｂ、学習プログラム１２Ｃおよび類似画像検索プログラム１２Ｄを実行する。

【0037】

次いで、本実施形態による画像処理システムの機能的な構成を説明する。図３は、本実施形態による画像処理システムの機能的な構成を示す図である。図３に示すように本実施形態による画像処理システム２０は、情報取得部２１、画像符号化装置２２、画像復号化装置２３、学習装置２４、類似画像検索装置２５および表示制御部２６を備える。画像符号化装置２２は、第１の特徴量導出部２２Ａおよび第２の特徴量導出部２２Ｂを備える。画像復号化装置２３は、セグメンテーション部２３Ａ、第１の再構成部２３Ｂおよび第２の再構成部２３Ｃを備える。学習装置２４は、学習部２４Ａを備える。類似画像検索装置２５は、類似度導出部２５Ａおよび抽出部２５Ｂを備える。なお、画像符号化装置２２が情報取得部２１を備えるものであってもよい。また、類似画像検索装置２５が表示制御部２６を備えるものであってもよい。

【0038】

そして、ＣＰＵ１１が、画像符号化プログラム１２Ａ、画像復号化プログラム１２Ｂ、学習プログラム１２Ｃおよび類似画像検索プログラム１２Ｄを実行することにより、ＣＰＵ１１は、情報取得部２１、第１の特徴量導出部２２Ａ、第２の特徴量導出部２２Ｂ、セグメンテーション部２３Ａ、第１の再構成部２３Ｂ、第２の再構成部２３Ｃ、学習部２４Ａ、類似度導出部２５Ａ、抽出部２５Ｂおよび表示制御部２６として機能する。

【0039】

情報取得部２１は、操作者による入力デバイス１５からの指示により、画像保管サーバ３から、後述する検索の対象となるクエリ画像を対象画像として取得する。ここで、以降の説明において、画像符号化装置２２および画像復号化装置２３について説明する場合には、画像符号化装置２２に入力される画像を対象画像と称する。一方、学習装置２４が学習を行う際に画像符号化装置２２に入力される画像は、教師画像となる。また、類似画像検索装置２５について説明する場合には、画像符号化装置２２に入力される画像をクエリ画像と称する。

【0040】

なお、対象画像が既にストレージ１３に保存されている場合には、情報取得部２１は、ストレージ１３から対象画像を取得するようにしてもよい。また、情報取得部２１は、後述する符号化学習モデルおよび復号化学習モデルの学習のために、画像保管サーバ３から複数の教師データを取得する。

【0041】

画像符号化装置２２を構成する第１の特徴量導出部２２Ａは、対象画像を符号化することにより、対象画像に含まれる関心領域の異常さについての画像特徴を表す少なくとも１つの第１の特徴量を導出する。なお、本実施形態においては、関心領域は、第１の特徴量を導出しつつ抽出されることとなる。なお、関心領域は第１の特徴量を導出する前に、対象画像から予め抽出されていてもよい。例えば、対象画像から関心領域を検出する機能を画像符号化装置２２に設け、画像符号化装置２２において第１の特徴量を導出する前に対象画像から関心領域を抽出するようにしてもよい。あるいは、画像保管サーバ３に保管された対象画像において、すでに関心領域が抽出されたものであってもよい。また、対象画像をディスプレイ１４に表示し、表示された対象画像に対する操作者の入力により、対象画像から関心領域を抽出してもよい。

【0042】

画像符号化装置２２を構成する第２の特徴量導出部２２Ｂは、対象画像を符号化することにより、対象画像に含まれる関心領域が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの第２の特徴量を導出する。

【0043】

このために、第１の特徴量導出部２２Ａおよび第２の特徴量導出部２２Ｂは、対象画像が入力されると、第１の特徴量および第２の特徴量を導出するように学習がなされた符号化学習モデルとしてのエンコーダおよび潜在モデル(Latent model)を有する。また、本実施形態においては、第１の特徴量導出部２２Ａと第２の特徴量導出部２２Ｂとで共通の符号化学習モデルを有するものとする。符号化学習モデルとしてのエンコーダおよび潜在モデルについては後述する。

【0044】

なお、本実施形態においては、対象画像は脳を含み、関心領域は、脳梗塞または脳出血等の脳の疾患の種類に応じて定められた領域とする。

【0045】

ここで、第２の特徴量は、対象画像における関心領域が正常な領域であったとした場合の画像についての画像特徴を表す。このため、第２の特徴量は、対象画像における関心領域、すなわち疾患の領域が、疾患が仮に存在しなかったとした場合の領域、とくに脳の正常組織の画像特徴により補間された画像特徴を表すものとなる。したがって、第２の特徴量は、対象画像における脳がすべて正常組織となった状態における画像の画像特徴を表すものとなる。

【0046】

また、第１の特徴量および第２の特徴量の組み合わせは、対象画像の画像特徴、とくに疾患の種類に応じて定められた領域を含む脳の画像特徴を表すものであってもよい。この場合、第１の特徴量は、対象画像に含まれる関心領域の異常さについての画像特徴を表すが、対象画像に含まれる関心領域が正常な領域であったとした場合の画像特徴との差分を表現する画像特徴を表すものとなる。本実施形態においては、関心領域は脳の疾患であるため、第１の特徴量は、対象画像における脳がすべて正常組織となった状態における画像の画像特徴との差分を表現する画像特徴を表すものとなる。これにより、異常な領域を関心領域として含む脳の画像から、疾患の種類に応じて定められた領域の異常さについての画像特徴と、脳がすべて正常組織となった状態における画像の画像特徴とを、分離して獲得することができる。

【0047】

画像復号化装置２３のセグメンテーション部２３Ａは、第１の特徴量導出部２２Ａが導出した第１の特徴量に基づいて、対象画像における関心領域の異常さについての種類に応じた関心領域ラベル画像を導出する。

【0048】

画像復号化装置２３の第１の再構成部２３Ｂは、第２の特徴量導出部２２Ｂが導出した第２の特徴量に基づいて、対象画像における関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像を導出する。

【0049】

画像復号化装置２３の第２の再構成部２３Ｃは、第１の特徴量導出部２２Ａが導出した第１の特徴量および第２の特徴量導出部２２Ｂが導出した第２の特徴量に基づいて、対象画像の画像特徴を再構成した第２の再構成画像を導出する。なお、再構成される対象画像の画像特徴とは、対象画像に含まれる脳以外の背景も含む画像特徴である。

【0050】

このために、セグメンテーション部２３Ａ、第１の再構成部２３Ｂおよび第２の再構成部２３Ｃは、第１の特徴量および第２の特徴量が入力されると、関心領域の異常さについての種類に応じた関心領域ラベル画像を導出し、第１の再構成画像および第２の再構成画像を導出するように学習がなされた、復号化学習モデルとしてのデコーダを有する。

【0051】

図４は、本実施形態における画像符号化装置および画像復号化装置が行う処理の概念図である。図４に示すように、画像符号化装置２２は、符号化学習モデルであるエンコーダ３１および潜在モデル３１Ａを有する。エンコーダ３１および潜在モデル３１Ａは、本実施形態による第１の特徴量導出部２２Ａおよび第２の特徴量導出部２２Ｂとしての機能を有する。また、画像復号化装置２３は、復号化学習モデルであるデコーダ３２Ａ～３２Ｃを有する。デコーダ３２Ａ～３２Ｃは、それぞれセグメンテーション部２３Ａ、第１の再構成部２３Ｂおよび第２の再構成部２３Ｃとしての機能を有する。

【0052】

符号化学習モデルとしてのエンコーダ３１および潜在モデル３１Ａ、並びに復号化学習モデルとしてのデコーダ３２Ａ～３２Ｃは、関心領域を含む脳を被写体とした教師画像および教師画像における脳の疾患の種類に応じて定められた領域に応じた教師ラベル画像の組み合わせを教師データとして使用して、機械学習を行うことにより構築される。エンコーダ３１およびデコーダ３２Ａ～３２Ｃは、例えば、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。また、潜在モデル３１Ａは、ＶＱ－ＶＡＥ（Vector Quantised-Variational AutoEncoder）の手法を用いて学習される。

【0053】

ＶＱ－ＶＡＥは、「Neural Discrete Representation Learning、Aaron van den Oordら、Advances in Neural Information Processing Systems 30 (NIPS)、6306-6315、2017」において提案された手法であり、特徴量抽出器（すなわちエンコーダ）によりエンコードされた入力データの特徴を表す潜在変数を受け取り、受け取った潜在変数を量子化し、量子化された潜在変数を特徴量復号器（すなわちデコーダ）に渡し、元の入力データが正しく再構成されたか否かによって、潜在変数の量子化の過程を学習する手法である。学習については後述する。

【0054】

なお、潜在モデル３１Ａは、ＶＱ－ＶＡＥに代えて、自己符号化器（AutoEncoder）、ＶＡＥ（Variational AutoEncoder）、ＧＡＮ（Generative Adversarial Networks）、およびＢｉＧＡＮ（Bidirectional GAN）の手法等、任意の手法を用いて学習することが可能である。

【0055】

エンコーダ３１を構成する畳み込みニューラルネットワークは、複数の処理層からなる。各処理層は畳み込み処理層であり、前段の処理層から入力される画像をダウンサンプリングしつつ、各種カーネルを用いた畳み込み処理を行う。カーネルは、予め定められた画素サイズ（例えば３×３）を有し、各要素に重みが設定されている。具体的には前段の入力された画像のエッジを強調する微分フィルタのような重みが設定されている。各処理層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴量の全体にカーネルを適用し、特徴マップとして出力する。また、エンコーダ３１の処理層は後段ほど特徴マップの解像度が小さくなっている。これにより、エンコーダ３１は、入力される対象画像Ｇ０の特徴を、特徴マップの解像度が小さくなるように圧縮（すなわち次元圧縮）することにより符号化して、２つの潜在変数、すなわち第１の潜在変数ｚ１および第２の潜在変数ｚ２を出力する。第１の潜在変数ｚ１は、対象画像Ｇ０における関心領域の異常さについての画像特徴を表し、第２の潜在変数ｚ２は、対象画像Ｇ０における関心領域が正常な領域であったとした場合の画像についての画像特徴を表す。

【0056】

第１および第２の潜在変数ｚ１，ｚ２は、それぞれｎ×ｎ個のＤ次元のベクトルからなる。図４においては、例えばｎ＝４であり、第１および第２の潜在変数ｚ１，ｚ２は、各位置がＤ次元のベクトルからなるｎ×ｎのマップとして表すことができる。なお、第１の潜在変数ｚ１と第２の潜在変数ｚ２とで、ベクトルの次元数およびベクトルの数を異なるものとしてもよい。ここで、第１の潜在変数ｚ１が、関心領域の異常さについての画像特徴を表す特徴ベクトルに対応する。また、第２の潜在変数ｚ２が、対象画像Ｇ０に含まれる関心領域が正常な領域であったとした場合の画像についての画像特徴を表す特徴ベクトルに対応する。

【0057】

ここで、本実施形態においては、潜在モデル３１Ａにおいて、第１の潜在変数ｚ１に対して、関心領域の異常さついての代表的な画像特徴を表す、Ｋ個のＤ次元の第１の特徴ベクトルｅ１ｋが予め用意されている。また、潜在モデル３１Ａにおいて、第２の潜在変数ｚ２に対して、関心領域が正常な領域であった場合の画像についての代表的な画像特徴を表す、Ｋ個のＤ次元の第２の特徴ベクトルｅ２ｋが予め用意されている。なお、第１の特徴ベクトルｅ１ｋおよび第２の特徴ベクトルｅ２ｋは、ストレージ１３に記憶される。また、用意する第１の特徴ベクトルｅ１ｋの数と第２の特徴ベクトルｅ２ｋの数とを異なるものとしてもよい。

【0058】

画像符号化装置２２は、潜在モデル３１Ａにおいて、第１の潜在変数ｚ１に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを、第１の特徴ベクトルｅ１ｋにより置換する。この際、第１の潜在変数ｚ１に含まれるｎ×ｎ個のＤ次元のベクトルは、それぞれＤ次元のベクトル空間において、差が最小となる第１の特徴ベクトルｅ１ｋに置換される。図５は、第１の特徴ベクトルへの置換を説明するための図である。なお、図５においては、説明を容易なものとするために、潜在変数のベクトルを２次元で示している。また、図５においては、４つの第１の特徴ベクトルｅ１１～ｅ１４が用意されているものとする。図５に示すように、第１の潜在変数ｚ１に含まれる１つの潜在変数のベクトルｚ１－１は、ベクトル空間において、第１の特徴ベクトルｅ１２との差が最小となる。このため、ベクトルｚ１－１は、第１の特徴ベクトルｅ１２と置換される。また、第１の潜在変数ｚ２についても、第１の潜在変数ｚ１と同様に、ｎ×ｎ個のＤ次元のベクトルのそれぞれが第２の特徴ベクトルｅ２ｋのいずれかにより置換される。

【0059】

このように、第１の潜在変数ｚ１に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを第１の特徴ベクトルｅ１ｋと置換することにより、第１の潜在変数ｚ１は、ｎ×ｎ個の予め定められた値を持つ最大Ｋ個の潜在変数の組み合わせにより表されるものとなる。したがって、第１の潜在変数ｚｄ１は、Ｄ次元の潜在空間において量子化されて分布することとなる。

【0060】

また、第２の潜在変数ｚ２に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを第２の特徴ベクトルｅ２ｋと置換することにより、第２の潜在変数ｚ２は、ｎ×ｎ個の予め定められた値を持つ最大Ｋ個の潜在変数の組み合わせにより表されるものとなる。したがって、第２の潜在変数ｚｄ２は、Ｄ次元の潜在空間において量子化されて分布することとなる。

【0061】

量子化された第１および第２の潜在変数として参照符号ｚｄ１，ｚｄ２を用いる。なお、量子化された第１および第２の潜在変数ｚｄ１，ｚｄ２も、各位置がＤ次元のベクトルからなるｎ×ｎのマップとして表すことができる。量子化された第１および第２の潜在変数ｚｄ１，ｚｄ２が、それぞれ第１の特徴量および第２の特徴量に対応する。

【0062】

デコーダ３２Ａ～３２Ｃを構成する畳み込みニューラルネットワークは、複数の処理層からなる。各処理層は畳み込み処理層であり、第１および第２の潜在変数ｚｄ１，ｚｄ２が第１および第２の特徴量として入力されると、前段の処理層から入力される特徴量をアップサンプリングしつつ、各種カーネルを用いた畳み込み処理を行う。各処理層は、カーネルの注目画素をずらしながら、前段の処理層から出力された特徴量からなる特徴マップの全体にカーネルを適用する。また、デコーダ３２Ａ～３２Ｃの処理層は後段ほど特徴マップの解像度が大きくなっている。なお、後述するように類似画像検索装置が類似画像を検索する際には、デコーダ３２Ａ～３２Ｃにおいて処理は行われない。しかしながら、ここでは、後述する学習の処理に必要であることから、画像符号化装置２２により対象画像Ｇ０から導出された第１および第２の潜在変数ｚｄ１，ｚｄ２を用いて、デコーダ３２Ａ～３２Ｃにおいて行われる処理を説明する。

【0063】

本実施形態においては、デコーダ３２Ａには、第１の潜在変数ｚｄ１が入力される。デコーダ３２Ａは、第１の潜在変数ｚｄ１に基づいて、エンコーダ３１に入力された対象画像Ｇ０の関心領域の異常さの種類に応じた関心領域ラベル画像Ｖ０を導出する。

【0064】

デコーダ３２Ｂには、第２の潜在変数ｚｄ２が入力される。デコーダ３２Ｂは、第２の潜在変数ｚｄ２に基づいて、エンコーダ３１に入力された対象画像Ｇ０に含まれる関心領域が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像Ｖ１を導出する。このため、対象画像Ｇ０に関心領域が含まれていても、第１の再構成画像Ｖ１には関心領域が含まれず、その結果、第１の再構成画像Ｖ１に含まれる脳は正常組織のみからなるものとなる。

【0065】

デコーダ３２Ｃには、第２の潜在変数ｚｄ２が入力される。また、デコーダ３２Ｃの各処理層には、各処理層の解像度に応じたサイズの関心領域ラベル画像Ｖ０が側副的に入力される。具体的には、各処理層の解像度に応じたサイズの関心領域ラベル画像Ｖ０の特徴マップが側副的に入力される。なお、側副的に入力される特徴マップは、デコーダ３２Ａにおいて、関心領域ラベル画像Ｖ０を導出する直前の処理層から出力される特徴マップを、デコーダ３２Ｃの各処理層の解像度に応じたサイズとなるように縮小することにより導出してもよい。あるいは、デコーダ３２Ａが関心領域ラベル画像Ｖ０を導出する過程において導出した、各処理層の解像度に応じたサイズの特徴マップを、デコーダ３２Ｃの各処理層に入力してもよい。以降の説明においては、関心領域ラベル画像Ｖ０を導出する直前の処理層から出力される特徴マップを、デコーダ３２Ｃの各処理層の解像度に応じたサイズとなるように縮小することにより、デコーダ３２Ｃの各処理層に側副的に入力するものとする。

【0066】

ここで、関心領域ラベル画像Ｖ０および特徴マップは、第１の潜在変数ｚｄ１に基づいて導出されるものである。このため、デコーダ３２Ｃは、第１および第２の潜在変数ｚｄ１，ｚｄ２に基づいて、入力された対象画像Ｇ０の画像特徴を再構成した第２の再構成画像Ｖ２を導出することとなる。これにより、第２の再構成画像Ｖ２は、第２の潜在変数ｚｄ２に基づく、第１の再構成画像Ｖ１に含まれる正常組織のみからなる脳についての画像特徴に対して、第１の潜在変数ｚｄ１に基づく、疾患の種類に応じて定められた領域の異常さについての画像特徴が付加されたものとなる。したがって、第２の再構成画像Ｖ２は、入力された対象画像Ｇ０の画像特徴を再構成したものとなる。

【0067】

学習装置２４の学習部２４Ａは、画像符号化装置２２のエンコーダ３１および潜在モデル３１Ａ、並びに画像復号化装置２３のデコーダ３２Ａ～３２Ｃの学習を行う。図６は学習に使用する教師データの例を示す図である。図６に示すように、教師データ３５は、梗塞あるいは出血等の関心領域３７を含む脳の教師画像３６と、教師画像３６における関心領域の異常さの種類に応じた教師ラベル画像３８とを有する。

【0068】

学習部２４Ａは、エンコーダ３１に教師画像３６を入力し、教師画像３６についての第１の潜在変数ｚ１および第２の潜在変数ｚ２を出力させる。なお、以降の説明においては、教師画像３６についての第１の潜在変数および第２の潜在変数についても、参照符号としてｚ１，ｚ２を用いるものとする。

【0069】

次いで、学習部２４Ａは、第１の潜在変数ｚ１および第２の潜在変数ｚ２に含まれる潜在変数のベクトルを、潜在モデル３１Ａにおいて第１および第２の特徴ベクトルによりそれぞれ置換することにより、量子化された第１の潜在変数ｚｄ１および第２の潜在変数ｚｄ２を取得する。なお、以降の説明においては、教師画像３６についての量子化された第１の潜在変数および第２の潜在変数についても、参照符号としてｚｄ１，ｚｄ２を用いるものとする。教師画像３６についての、量子化された第１の潜在変数ｚｄ１および第２の潜在変数ｚｄ２が、第１の学習用特徴量および第２の学習用特徴量にそれぞれ対応する。

【0070】

そして、学習部２４Ａは、第１の潜在変数ｚｄ１をデコーダ３２Ａに入力して、教師画像３６に含まれる関心領域３７の異常さについての種類に応じた学習用関心領域ラベル画像ＶＴ０を導出させる。また、学習部２４Ａは、第２の潜在変数ｚｄ２をデコーダ３２Ｂに入力して、教師画像３６に含まれる関心領域３７が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の学習用再構成画像ＶＴ１を導出させる。さらに、学習部２４Ａは、第２の潜在変数ｚｄ２をデコーダ３２Ｃに入力し、デコーダ３２Ｃの各処理層に、各処理層の解像度に応じたサイズの学習用関心領域ラベル画像ＶＴ０、具体的には学習用関心領域ラベル画像ＶＴ０の特徴マップを側副的に入力して、教師画像３６についての画像特徴を再構成した第２の学習用再構成画像ＶＴ２を導出させる。なお、第２の学習用再構成画像ＶＴ２の導出に際し、学習用関心領域ラベル画像ＶＴ０を導出する直前の処理層から出力される特徴マップを、デコーダ３２Ｃの各処理層の解像度に応じたサイズとなるように縮小することにより、デコーダ３２Ｃの各処理層に側副的に入力すればよい。

【0071】

学習部２４Ａは、第１の学習用特徴量である第１の潜在変数ｚｄ１と予め定められた第１の特徴量の確率分布との差を第１の損失Ｌ１として導出する。ここで、予め定められた第１の特徴量の確率分布とは、第１の潜在変数ｚｄ１が従うべき確率分布である。ＶＱ－ＶＡＥの手法を用いた場合、コードワード損失およびコミットメント損失が、第１の損失Ｌ１として導出される。コードワード損失とは、第１の特徴量の確率分布における代表的な局所特徴であるコードワードが取るべき値である。コミットメント損失とは、第１の潜在変数ｚｄ１と、第１の潜在変数ｚｄ１に最も近いコードワードとの距離である。第１の損失Ｌ１によって、予め定められた第１の特徴量の確率分布にしたがった第１の潜在変数ｚｄ１が取得されるように、エンコーダ３１および潜在モデル３１Ａが学習される。

【0072】

また、学習部２４Ａは、第２の学習用特徴量である第２の潜在変数ｚｄ２と予め定められた第２の特徴量の確率分布との差を第２の損失Ｌ２として導出する。ここで、予め定められた第２の特徴量の確率分布とは、第２の潜在変数ｚｄ２が従うべき確率分布である。ＶＱ－ＶＡＥの手法を用いた場合、第１の損失Ｌ１と同様に、コードワード損失およびコミットメント損失が、第２の損失Ｌ２として導出される。第２の潜在変数ｚｄ２に関するコードワード損失とは、第２の特徴量の確率分布における代表的な局所特徴であるコードワードが取るべき値である。第２の潜在変数ｚｄ２に関するコミットメント損失とは、第２の潜在変数ｚｄ２と、第２の潜在変数ｚｄ２に最も近いコードワードとの距離である。第２の損失Ｌ２によって、予め定められた第２の特徴量の確率分布にしたがった第２の潜在変数ｚｄ２が取得されるように、エンコーダ３１および潜在モデル３１Ａが学習される。

【0073】

また、学習部２４Ａは、教師画像３６に含まれる関心領域３７の異常さについての種類に応じた教師ラベル画像３８と、学習用関心領域ラベル画像ＶＴ０との教師画像に対するセマンティックセグメンテーションとしての差を第３の損失Ｌ３として導出する。

【0074】

「セマンティックセグメンテーションとしての差」とは、教師ラベル画像３８により表される異常さの種類に応じた領域と、学習用関心領域ラベル画像ＶＴ０により表される異常さの種類に応じた領域との重なりに基づいて定められる指標である。具体的には、教師ラベル画像３８の要素数と学習用関心領域ラベル画像ＶＴ０の要素数との和に対する、教師ラベル画像３８と学習用関心領域ラベル画像ＶＴ０との共通の要素数×２の値をセマンティックセグメンテーションとしての差、すなわち第３の損失Ｌ３として用いることができる。

【0075】

また、学習部２４Ａは、教師画像３６に含まれる関心領域３７外の領域と第１の学習用再構成画像ＶＴ１との差を、第４の損失Ｌ４として導出する。具体的には、学習部２４Ａは、教師画像３６から関心領域３７を除去した領域と、第１の学習用再構成画像ＶＴ１との差を第４の損失Ｌ４として導出する。

【0076】

また、学習部２４Ａは、教師画像３６と第２の学習用再構成画像ＶＴ２との差を、第５の損失Ｌ５として導出する。

【0077】

さらに、学習部２４Ａは、第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との、関心領域内外にそれぞれ対応する領域間の差に基づく第６の損失Ｌ６を導出する。

【0078】

第６の損失Ｌ６に関し、第１の学習用再構成画像ＶＴ１は、教師画像３６における関心領域３７が正常な領域であったとした場合の画像であり、関心領域を含まないように導出される。一方、第２の学習用再構成画像ＶＴ２は関心領域を含むように導出される。このため、第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との対応する画素についての差分値を導出すると、関心領域に対応する領域においてのみ差分値が存在し、関心領域に対応しない領域においては、差分値は存在しないはずである。しかしながら、学習が終了していない段階においては、符号化および復号化の精度が低いことから、関心領域に対応する領域において差分値が存在しない場合がある。また、関心領域に対応しない領域において差分値が存在する場合もある。第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との、関心領域内外にそれぞれ対応する領域間の差に基づく第６の損失Ｌ６とは、第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との対応する画素についての差分値を導出した際に、関心領域に対応する領域において差分値が存在し、かつ関心領域に対応しない領域において差分値が存在しないことを表す指標となる。

【0079】

ここで、エンコーダ３１および潜在モデル３１Ａにより取得された第１の潜在変数ｚｄ１が、予め定められた第１の特徴量の確率分布に従うほど、エンコーダ３１からは教師画像３６に含まれる関心領域３７の異常さを忠実に再現可能な好ましい第１の潜在変数ｚ１を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第１の潜在変数ｚｄ１を取得することが可能となる。

【0080】

また、エンコーダ３１および潜在モデル３１Ａにより取得された第２の潜在変数ｚｄ２が、予め定められた第２の特徴量の確率分布に従うほど、エンコーダ３１からは、教師画像３６に含まれる関心領域３７が正常な領域であったとした場合の画像を忠実に再現可能な好ましい第２の潜在変数ｚ２を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第２の潜在変数ｚｄ２を取得することが可能となる。

【0081】

また、デコーダ３２Ａから出力される学習用関心領域ラベル画像ＶＴ０は、第１の潜在変数ｚｄ１に基づいて導出されるため、教師ラベル画像３８とは完全には一致しない。また、学習用関心領域ラベル画像ＶＴ０は、教師画像３６に含まれる関心領域３７と完全には一致しない。しかしながら、学習用関心領域ラベル画像ＶＴ０と教師ラベル画像３８との教師画像３６に対するセマンティックセグメンテーションとしての差が小さいほど、対象画像Ｇ０が入力された場合に、エンコーダ３１からはより好ましい第１の潜在変数ｚ１を出力することが可能となる。すなわち、対象画像Ｇ０におけるどこが関心領域であるかを表す情報および関心領域の異常さについての画像特徴を潜在的に含む第１の潜在変数ｚ１を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第１の潜在変数ｚｄ１を取得することが可能となる。したがって、エンコーダ３１により対象画像Ｇ０から関心領域を抽出しつつ、関心領域の異常さについての画像特徴を表す第１の潜在変数ｚｄ１が導出されることとなる。また、デコーダ３２Ａからは対象画像に含まれる関心領域に対応する領域に関して、関心領域の異常さについての種類に応じた関心領域ラベル画像Ｖ０を出力することが可能となる。

【0082】

また、デコーダ３２Ｂから出力される第１の学習用再構成画像ＶＴ１は、第２の潜在変数ｚｄ２に基づいて導出されるため、教師画像３６に含まれる関心領域３７が正常な領域であったとした場合の画像についての画像特徴とは完全には一致しない。しかしながら、第１の学習用再構成画像ＶＴ１と教師画像３６における関心領域３７でない領域との差が小さいほど、対象画像Ｇ０が入力された場合に、エンコーダ３１からはより好ましい第２の潜在変数ｚ２を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第２の潜在変数ｚｄ２を取得することが可能となる。また、デコーダ３２Ｂからは対象画像Ｇ０に含まれる関心領域が正常な領域であったとした場合の画像についての画像特徴により近い第１の再構成画像Ｖ１を出力することが可能となる。

【0083】

また、デコーダ３２Ｃから出力される第２の学習用再構成画像ＶＴ２は、第１の潜在変数ｚｄ１および第２の潜在変数ｚｄ２に基づいて導出されるため、教師画像３６とは完全には一致しない。しかしながら、第２の学習用再構成画像ＶＴ２と教師画像３６との差が小さいほど、対象画像Ｇ０が入力された場合に、エンコーダ３１からはより好ましい第１の潜在変数ｚ１および第２の潜在変数ｚ２を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第１の潜在変数ｚｄ１および量子化された第２の潜在変数ｚｄ２を取得することが可能となる。また、デコーダ３２Ｃからは対象画像Ｇ０により近い第２の再構成画像Ｖ２を出力することが可能となる。

【0084】

また、デコーダ３２Ｂから出力される第１の学習用再構成画像ＶＴ１とデコーダ３２Ｃから出力される第２の学習用再構成画像ＶＴ２とは、関心領域の存在の有無に差異がある。このため、関心領域に対応する領域においては第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との差分値が一定値以上担保されているほど、かつ関心領域に対応しない領域においては第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との差の絶対値が小さいほど、対象画像Ｇ０が入力された場合に、エンコーダ３１からはより好ましい第１の潜在変数ｚ１および第２の潜在変数ｚ２を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第１の潜在変数ｚｄ１および量子化された第２の潜在変数ｚｄ２を取得することが可能となる。また、デコーダ３２Ｂからは対象画像Ｇ０に含まれる関心領域が正常な領域であったとした場合の画像により近い第１の再構成画像Ｖ１を出力することが可能となる。さらに、デコーダ３２Ｃからは対象画像Ｇ０により近い第２の再構成画像Ｖ２を出力することが可能となる。

【0085】

このため、学習部２４Ａは、上述したように導出した第１から第６の損失Ｌ１～Ｌ６のうちの少なくとも１つに基づいて、エンコーダ３１、潜在モデル３１Ａおよびデコーダ３２Ａ～３２Ｃの学習を行う。本実施形態においては、学習部２４Ａは、第１から第６の損失Ｌ１～Ｌ６のすべてが、予め定められた条件を満足するように、エンコーダ３１、潜在モデル３１Ａおよびデコーダ３２Ａ～３２Ｃを学習する。すなわち、第１から第５の損失Ｌ１～Ｌ５が小さくなり、第６の損失Ｌ６が適切な値となるように、エンコーダ３１およびデコーダ３２Ａ～３２Ｃを構成する処理層の数、プーリング層の数、処理層におけるカーネルの係数、カーネルの大きさおよび各層間の結合の重み等を導出することにより、エンコーダ３１およびデコーダ３２Ａ～３２Ｃを学習する。また、学習部２４Ａは、潜在モデル３１Ａについては、第１から第５の損失Ｌ１～Ｌ５が小さくなり、第６の損失Ｌ６が適切な値となるように、第１の特徴ベクトルｅ１ｋおよび第２の特徴ベクトルｅ２ｋを更新する。

【0086】

なお、本実施形態においては、学習部２４Ａは、第１の損失Ｌ１が予め定められたしきい値Ｔｈ１以下となり、第２の損失Ｌ２が予め定められたしきい値Ｔｈ２以下となり、第３の損失Ｌ３が予め定められたしきい値Ｔｈ３以下となり、第４の損失Ｌ４が予め定められたしきい値Ｔｈ４以下となり、第５の損失Ｌ５が予め定められたしきい値Ｔｈ５以下となるように、エンコーダ３１、潜在モデル３１Ａおよびデコーダ３２Ａ～３２Ｃを学習する。また、学習部２４Ａは、第６の損失Ｌ６について、関心領域に対応する領域においては第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との差の絶対値が予め定められたしきい値Ｔｈ６以上となり、関心領域に対応しない領域においては第１の学習用再構成画像ＶＴ１と第２の学習用再構成画像ＶＴ２との差分値が予め定められたしきい値Ｔｈ７以下となるように、エンコーダ３１、潜在モデル３１Ａおよびデコーダ３２Ａ～３２Ｃを学習する。なお、しきい値を使用する学習に代えて，予め定められた回数の学習を行うようにしてもよく、各損失Ｌ１～Ｌ６が最小あるいは最大になるように学習を行うようにしてもよい。

【0087】

このように学習部２４Ａがエンコーダ３１、潜在モデル３１Ａおよびデコーダ３２Ａ～３２Ｃの学習を行うことにより、エンコーダ３１は、入力される対象画像Ｇ０に含まれる脳の関心領域の異常さの画像特徴をより適切に表す第１の潜在変数ｚ１を出力するようになる。また、エンコーダ３１は、入力される対象画像Ｇ０に含まれる脳において、関心領域が正常な領域であったとした場合の脳の画像特徴をより適切に表す第２の潜在変数ｚ２を出力するようになる。また、潜在モデル３１Ａは、入力される対象画像Ｇ０に含まれる脳の関心領域の異常さを表す画像特徴をより適切に表す量子化された第１の潜在変数ｚｄ１を取得するようになる。また、潜在モデル３１Ａは、入力される対象画像Ｇ０に含まれる脳において、関心領域が正常な領域であったとした場合の脳の画像特徴をより適切に表す量子化された第２の潜在変数ｚｄ２を取得するようになる。

【0088】

また、デコーダ３２Ａは、量子化された第１の潜在変数ｚｄ１が入力されると、対象画像Ｇ０に含まれる関心領域の異常さの種類に応じたセマンティックセグメンテーションをより正確に表す関心領域ラベル画像Ｖ０を出力するようになる。また、デコーダ３２Ｂは、量子化された第２の潜在変数ｚｄ２が入力されると、対象画像Ｇ０における、関心領域が仮に正常な領域であった場合の脳の画像特徴を再構成した第１の再構成画像Ｖ１を出力するようになる。また、デコーダ３２Ｃは、量子化された第２の潜在変数ｚｄ２が入力され、かつ各処理層に関心領域ラベル画像Ｖ０が側副的に入力されると、第２の潜在変数ｚｄ２に基づく、第１の再構成画像Ｖ１に含まれる正常組織のみからなる脳についての画像特徴に対して、第１の潜在変数ｚｄ１に基づく、疾患の種類に応じて定められた領域の異常さについての画像特徴が付加され、その結果、関心領域を含む脳の画像特徴を再構成した第２の再構成画像Ｖ２を出力するようになる。

【0089】

類似画像検索装置２５の類似度導出部２５Ａは、画像保管サーバ３に保管された画像データベースＤＢに登録された参照画像のうち、診断の対象となるクエリ画像（すなわち対象画像Ｇ０）と類似する類似参照画像を検索すべく、クエリ画像と画像データベースＤＢに登録されたすべての参照画像との類似度を導出する。なお、以降の説明においては、クエリ画像として対象画像と同一の参照符号Ｇ０を用いるものとする。ここで、画像データベースＤＢには、脳の各種症例についての複数の参照画像が登録されている。本実施形態においては、参照画像について、学習済みのエンコーダ３１を含む画像符号化装置２２により、量子化された第１および第２の潜在変数が予め導出されて、参照画像と対応づけられて画像データベースＤＢに登録されている。参照画像と対応づけられて画像データベースＤＢに登録された第１および第２の潜在変数を、第１および第２の参照潜在変数と称する。

【0090】

以下、類似度導出部２５Ａにおける類似度の導出について説明する。本実施形態においては、クエリ画像Ｇ０には脳の疾患である関心領域が含まれているものとする。類似度導出部２５Ａは、検索条件に基づいて、クエリ画像Ｇ０と参照画像との類似度を導出する。

【0091】

ここで、本実施形態においては、画像符号化装置２２により、クエリ画像Ｇ０に含まれる関心領域の異常さについての画像特徴を表す第１の潜在変数が導出される。また、画像符号化装置２２により、クエリ画像Ｇ０における関心領域が正常な領域であったとした場合の画像についての画像特徴を表す第２の潜在変数が導出される。このため、本実施形態においては、検索条件として、関心領域も含めてクエリ画像Ｇ０と類似する参照画像を検索する第１の検索条件、クエリ画像Ｇ０に含まれる関心領域の異常さのみが類似する参照画像を検索する第２の検索条件、およびクエリ画像Ｇ０に含まれる関心領域が正常な領域であったとした場合の画像が類似する参照画像を検索する第３の検索条件が選択可能となっている。選択は、入力デバイス１５を用いて画像処理システム２０に入力することができる。そして、類似度導出部２５Ａは、入力された検索条件にしたがって、クエリ画像Ｇ０と参照画像との類似度を導出する。

【0092】

第１の検索条件が入力された場合、類似度導出部２５Ａは、クエリ画像Ｇ０について導出された第１の潜在変数ｚｄ１と参照画像に対応する第１の参照潜在変数との差、およびクエリ画像Ｇ０について導出された第２の潜在変数ｚｄ２と参照画像に対応する第２の参照潜在変数との差に基づいて、類似度を導出する。

【0093】

具体的には、類似度導出部２５Ａは、下記の式（１）に示すように、潜在変数のベクトル空間において、第１の潜在変数ｚｄ１と第１の参照潜在変数とのマップにおける対応する位置のベクトルのユークリッド距離√{(Vt1(i,j)-Vr1(i,j)}²を導出し、導出したユークリッド距離の総和Σ[√{(Vt1(i,j)-Vr1(i,j)}²]を導出する。また、類似度導出部２５Ａは、第２の潜在変数ｚｄ２と第２の参照潜在変数とのマップにおける対応する位置のベクトルのユークリッド距離√{(Vt2(i,j)-Vr2(i,j)}²を導出し，導出したユークリッド距離の総和Σ[√{(Vt2(i,j)-Vr2(i,j)}²]を導出する。そして、類似度導出部２５Ａは、２つの総和の和を類似度として導出する。

【0094】

式（１）において、Ｓ１は第１の検索条件に基づく類似度、Ｖｔ１（ｉ，ｊ）は、第１の潜在変数ｚｄ１におけるマップの位置（ｉ，ｊ）におけるベクトル、Ｖｒ１（ｉ，ｊ）は、第１の参照潜在変数におけるマップの位置（ｉ，ｊ）におけるベクトル、Ｖｔ２（ｉ，ｊ）は、第２の潜在変数ｚｄ２におけるマップの位置（ｉ，ｊ）におけるベクトル、Ｖｒ２（ｉ，ｊ）は、第２の参照潜在変数におけるマップの位置（ｉ，ｊ）におけるベクトルをそれぞれ表す。

【0095】

S1＝Σ[√{(Vt1(i,j)-Vr1(i,j)}²]+Σ[√{(Vt2(i,j)-Vr2(i,j)}²] （１）

【0096】

なお、上記式（１）に代えて、下記の式（１ａ）により、類似度Ｓ１を導出してもよい。ここで、concat(a,b)とはベクトルａとベクトルｂとを連結する演算である。
S1 = Σ[√{(Vt12(i,j)-Vr12(i,j)}2] （１ａ）
但し、
Vt12(i,j) = concat(Vt1(i,j),Vt2(i,j))
Vr12(i,j) = concat(Vr1(i,j),Vr2(i,j))

【0097】

一方、第２の検索条件が入力された場合、類似度導出部２５Ａは、クエリ画像Ｇ０について導出された第１の潜在変数ｚｄ１と参照画像に対応する第１の参照潜在変数との差に基づいて、類似度を導出する。具体的には、類似度導出部２５Ａは、潜在変数のベクトル空間において、下記の式（２）に示すように、第１の潜在変数ｚｄ１と第１の参照潜在変数とのマップにおける対応する位置のベクトルのユークリッド距離√{(Vt1(i,j)-Vr1(i,j)}²を導出し、導出したユークリッド距離の総和Σ[√{(Vt1(i,j)-Vr1(i,j)}²]を類似度Ｓ２として算出する。

【0098】

S2＝Σ[√{(Vt1(i,j)-Vr1(i,j)}²] （２）

【0099】

さらに、第３の検索条件が入力された場合、類似度導出部２５Ａは、クエリ画像Ｇ０について導出された第２の潜在変数ｚｄ２と参照画像に対応する第２の参照潜在変数との差に基づいて、類似度を導出する。具体的には、類似度導出部２５Ａは、潜在変数のベクトル空間において、下記の式（３）に示すように、第２の潜在変数ｚｄ２と第２の参照潜在変数とのマップにおける対応する位置のベクトルのユークリッド距離√{(Vt2(i,j)-Vr2(i,j)}²を導出し、導出したユークリッド距離の総和Σ[√{(Vt2(i,j)-Vr2(i,j)}²]を類似度Ｓ３として算出する。

【0100】

S3＝[√{(Vt2(i,j)-Vr2(i,j)}²] （３）

【0101】

なお、類似度Ｓ１～Ｓ３の導出は、上記手法に限定されるものではない。ユークリッド距離に代えて、マンハッタン距離、ベクトル内積あるいはコサイン類似度等を用いてもよい。

【0102】

類似画像検索装置２５の抽出部２５Ｂは、画像データベースＤＢから、入力された検索条件に応じた類似度Ｓ１～Ｓ３に基づいて、クエリ画像Ｇ０に類似する類似参照画像を抽出する。抽出部２５Ｂは、クエリ画像Ｇ０と画像データベースＤＢに登録されたすべての参照画像との類似度Ｓ１～Ｓ３に基づいて、対象画像Ｇ０に類似する参照画像を類似参照画像として抽出する。具体的には、抽出部２５Ｂは、類似度Ｓ１～Ｓ３が大きい順に参照画像をソートして検索結果リストを作成する。図７は検索結果リストを示す図である。図７に示すように、検索結果リスト５０には、画像データベースＤＢに登録された参照画像が、類似度Ｓ１～Ｓ３が大きい順にソートされている。そして、抽出部２５Ｂは、検索結果リスト５０におけるソート順が上位所定数の参照画像を、画像データベースＤＢから類似参照画像として抽出する。

【0103】

表示制御部２６は、抽出部２５Ｂによる抽出結果をディスプレイ１４に表示する。図８～図１０はそれぞれ第１から第３の検索条件に基づく抽出結果の表示画面を示す図である。図８～１０に示すように、抽出結果の表示画面４０は、クエリ画像Ｇ０を表示する第１の表示領域４１および検索結果を表示する第２の表示領域４２を含む。また、表示画面４０は、検索条件を選択するためのプルダウンメニュー４３および検索を実行するための検索実行ボタン４４を含む。なお、プルダウンメニュー４３は、第１の検索条件を表す「関心領域＋正常領域」、第２の検索条件を表す「関心領域のみ」、および第３の検索条件を表す「正常領域のみ」を選択可能となっている。操作者が、プルダウンメニュー４３において所望とする検索条件を選択し、検索実行ボタン４４を選択することにより、本実施形態の処理が実行されて、検索結果の表示画面４０がディスプレイ１４に表示される。

【0104】

図８に示すように、第１の検索条件に基づく検索結果の表示画面４０の第２の表示領域４２には、クエリ画像Ｇ０に含まれる関心領域も含めて、クエリ画像Ｇ０と類似する４つの類似参照画像Ｒ１１～Ｒ１４が表示されている。また、図９に示すように、第２の検索条件に基づく表示画面の第２の表示領域４２には、クエリ画像Ｇ０に含まれる関心領域の異常さのみが類似する４つの類似参照画像Ｒ２１～Ｒ２４が表示されている。また、図１０に示すように、第３の検索条件に基づく検索結果の表示画面４０の第２の表示領域４２には、クエリ画像Ｇ０に含まれる脳において関心領域が正常な領域であったとした場合の画像が類似する４つの類似参照画像Ｒ３１～Ｒ３４が表示されている。

【0105】

次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において行われる学習処理を示すフローチャートである。なお、複数の教師データは画像保管サーバ３から取得されてストレージ１３に保存されているものとする。まず、学習装置２４の学習部２４Ａは、教師画像３６および教師ラベル画像３８を含む１つの教師データ３５をストレージ１３から取得し（ステップＳＴ１）、教師データ３５に含まれる、教師画像３６を画像符号化装置２２のエンコーダ３１に入力する。エンコーダ３１は、第１の潜在変数ｚ１および第２の潜在変数ｚ２を、それぞれ第１の学習用特徴量および第２の学習用特徴量として導出する（学習用特徴量導出；ステップＳＴ２）。

【0106】

次いで、学習部２４Ａは、第１の潜在変数ｚ１および第２の潜在変数ｚ２から、量子化された第１の潜在変数ｚｄ１および量子化された第２の潜在変数ｚｄ２を導出する（量子化；ステップＳＴ３）。そして学習部２４Ａは、量子化された第１の潜在変数ｚｄ１を画像復号化装置２３のデコーダ３２Ａに入力する。これにより、デコーダ３２Ａは、教師画像３６から関心領域３７の異常さについての種類に応じた学習用関心領域ラベル画像ＶＴ０を導出する。また、学習部２４Ａは、量子化された第２の潜在変数ｚｄ２を画像復号化装置２３のデコーダ３２Ｂに入力する。これにより、デコーダ３２Ｂは、教師画像３６に含まれる関心領域が正常な領域であったとした場合の画像を再構成した第１の学習用再構成画像ＶＴ１を導出する。さらに、学習部２４Ａは、第２の潜在変数ｚｄ２をデコーダ３２Ｃに入力し、さらにデコーダ３２Ｃの各処理層の解像度に応じたサイズの学習用関心領域ラベル画像ＶＴ０を、デコーダ３２Ｃの各処理層に側副的に入力する。これにより、デコーダ３２Ｃは教師画像３６の画像特徴を再構成した第２の学習用再構成画像ＶＴ２を導出する（学習用画像導出；ステップＳＴ４）。

【0107】

続いて、学習部２４Ａは、上述したように第１から第６の損失Ｌ１～Ｌ６を導出する（ステップＳＴ５）。

【0108】

そして、学習部２４Ａは、第１から第６の損失Ｌ１～Ｌ６が、予め定められた条件を満足するか否かを判定する（条件判定；ステップＳＴ６）。ステップＳＴ６が否定されると、学習部２４Ａは新たな教師データをストレージ１３から取得し（ステップＳＴ７）、ステップＳＴ２の処理に戻り、新たな教師データを用いてステップＳＴ２～ステップＳＴ６の処理を繰り返す。ステップＳＴ６が肯定されると、学習部２４Ａは学習処理を終了する。これにより、画像符号化装置２２のエンコーダ３１および画像復号化装置２３のデコーダ３２Ａ～３２Ｃが構築される。

【0109】

次いで、本実施形態において行われる類似画像検索処理について説明する。図１２は、本実施形態において行われる類似画像検索処理のフローチャートである。まず、情報取得部２１が、検索の対象となるクエリ画像Ｇ０を取得し（ステップＳＴ１１）、表示制御部２６が、クエリ画像Ｇ０をディスプレイ１４に表示する（ステップＳＴ１２）。そして、プルダウンメニュー４３において検索条件が指定されて、検索実行ボタン４４が選択されることにより検索実行が指示されると（ステップＳＴ１３；ＹＥＳ）、画像符号化装置２２が、クエリ画像Ｇ０についての量子化された第１の潜在変数ｚｄ１および量子化された第２の潜在変数ｚｄ２を第１の特徴量および第２の特徴量として導出する（特徴量導出；ステップＳＴ１４）。そして、類似度導出部２５Ａが、第１および第２の特徴量に基づいて、対象画像Ｇ０と画像保管サーバ３の画像データベースＤＢに登録された参照画像との類似度を導出する（ステップＳＴ１５）。次いで、抽出部２５Ｂが、検索条件に応じて、類似度が上位所定数の参照画像を類似参照画像として抽出する（ステップＳＴ１６）。さらに、表示制御部２６が、類似参照画像を表示画面４０の第２の表示領域４２に表示し（検索結果表示；ステップＳＴ１７）、処理を終了する。

【0110】

このように、本実施形態においては、画像符号化装置２２のエンコーダ３１において、対象画像Ｇ０を符号化することにより、対象画像Ｇ０に含まれる関心領域の異常さについての画像特徴を表す少なくとも１つの第１の特徴量を導出するようにした。また、エンコーダ３１において、対象画像Ｇ０を符号化することにより、対象画像Ｇ０に含まれる関心領域が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの第２の特徴量を導出するようにした。これにより、対象画像Ｇ０を符号化することによって、対象画像Ｇ０に含まれる関心領域の異常さについての画像特徴と、関心領域が正常な領域であったとした場合の画像についての画像特徴とを、分離して扱うことが可能となる。

【0111】

また、対象画像Ｇ０に含まれる関心領域に含まれる疾患の種類に応じて定められた領域についての画像特徴を、関心領域が正常な領域であったとした場合の画像についての画像特徴からの差分として扱うことにより、対象画像Ｇ０に含まれる関心領域の異常さについての画像特徴を表す第１の特徴量のみを用いた、対象画像Ｇ０に類似する参照画像の検索を行うことができる。また、対象画像Ｇ０に含まれる関心領域が正常な領域であったとした場合についての画像の画像特徴を表す第２の特徴量のみを用いた、対象画像Ｇ０に類似する参照画像の検索を行うことができる。また、第１および第２の特徴量の双方を用いた、対象画像Ｇ０に類似する参照画像の検索を行うことができる。したがって、所望とする検索条件に応じた類似画像の検索を行うことができる。

【0112】

また、本実施形態においては、画像復号化装置２３の学習済みのデコーダ３２Ａを用いることにより、第１の特徴量から、入力された対象画像Ｇ０に含まれる関心領域の異常さについての種類に応じた関心領域ラベル画像Ｖ０を導出することができる。これにより、対象画像Ｇ０に含まれる疾患の種類に応じて定められた領域をラベル画像として取得することができる。

【0113】

また、本実施形態においては、画像復号化装置２３の学習済みのデコーダ３２Ｂを用いることにより、第２の特徴量から、入力された対象画像Ｇ０に含まれる関心領域が仮に正常な領域であった場合の画像についての画像特徴を再構成した第１の再構成画像Ｖ１を導出することができる。これにより、入力された画像から関心領域を除去した正常組織のみからなる画像を取得することができる。

【0114】

また、本実施形態においては、画像復号化装置２３の学習済みのデコーダ３２Ｃを用いることにより、対象画像Ｇ０についての画像特徴を再構成した第２の再構成画像Ｖ２を導出することができる。これにより、対象画像Ｇ０を再現することができる。

【0115】

なお、本実施形態による画像符号化装置においては、対象画像が異常な領域を関心領域として含まない場合、第１の特徴量が無効な値となる。この場合、第２の特徴量、あるいは第１の特徴量および第２の特徴量の組み合わせは、対象画像についての画像特徴を表すものであってもよい。

【0116】

なお、上記実施形態においては、脳を対象画像として用いているが、対象画像は脳に限定されるものではない。脳の他に、肺、心臓、肝臓、腎臓、および四肢等の人体の任意の部位を含む画像を対象画像とすることができる。この場合、部位に現れる腫瘤、梗塞、癌および骨折等の疾患を関心領域として含む教師画像および教師ラベル画像を用いて、エンコーダ３１およびデコーダ３２Ａ～３２Ｃの学習を行えばよい。これにより、対象画像Ｇ０から、対象画像Ｇ０に含まれる部位に応じた関心領域の異常さについての画像特徴を表す第１の特徴量および、対象画像Ｇ０に含まれる関心領域が正常な領域であったとした場合の画像についての画像特徴を表す第２の特徴量を導出することが可能となる。

【0117】

また、上記実施形態においては、第１の特徴量導出部２２Ａおよび第２の特徴量導出部２２Ｂのそれぞれについて、別々の符号化学習モデルを使用し、別々の符号化学習モデルにより、第１の特徴量および第２の特徴量をそれぞれ導出するようにしてもよい。

【0118】

また、上記実施形態において、例えば、情報取得部２１、第１の特徴量導出部２２Ａ、第２の特徴量導出部２２Ｂ、セグメンテーション部２３Ａ、第１の再構成部２３Ｂ、第２の再構成部２３Ｃ、学習部２４Ａ、類似度導出部２５Ａ、抽出部２５Ｂおよび表示制御部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0119】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0120】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0121】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0122】

１ コンピュータ
２ 撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２Ａ 画像符号化プログラム
１２Ｂ 画像復号化プログラム
１２Ｃ 学習プログラム
１２Ｄ 類似画像検索プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 画像処理システム
２１ 情報取得部
２２ 画像符号化装置
２２Ａ 第１の特徴量導出部
２２Ｂ 第２の特徴量導出部
２３ 画像復号化装置
２３Ａ セグメンテーション部
２３Ｂ 第１の再構成部
２３Ｃ 第２の再構成部
２４ 学習装置
２４Ａ 学習部
２５ 類似画像検索装置
２５Ａ 類似度導出部
２５Ｂ 抽出部
２６ 表示制御部
３１ エンコーダ
３１Ａ 潜在モデル
３２Ａ～３２Ｃ デコーダ
３５ 教師データ
３６ 教師画像
３７ 関心領域
３８ 教師ラベル画像
４０ 表示画面
４１ 第１の表示領域
４２ 第２の表示領域
４３ プルダウンメニュー
４４ 検索実行ボタン
Ｇ０ 対象画像
５０ 検索結果リスト
Ｒ１１～Ｒ１４、Ｒ２１～Ｒ２４、Ｒ３１～Ｒ３４ 類似参照画像
Ｖ０ 関心領域ラベル画像
Ｖ１ 第１の再構成画像
Ｖ２ 第２の再構成画像
ＶＴ０ 学習用関心領域ラベル画像
ＶＴ１ 学習用第１の再構成画像
ＶＴ２ 学習用第２の再構成画像
ｚ１ 第１の潜在変数
ｚ２ 第２の潜在変数
ｚｄ１ 量子化された第１の潜在変数
ｚｄ２ 量子化された第２の潜在変数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】