知財求人 - 知財ポータルサイト「IP Force」
▶ 独立行政法人国立がん研究センターの特許一覧 ▶ 富士フイルム株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-05
(45)【発行日】2025-03-13
(54)【発明の名称】画像検索装置、方法およびプログラム
(51)【国際特許分類】
G06F 16/532 20190101AFI20250306BHJP
G06F 16/56 20190101ALI20250306BHJP
G16H 30/20 20180101ALI20250306BHJP
【ＦＩ】
G06F16/532
G06F16/56
G16H30/20
【請求項の数】
15
(21)【出願番号】P 2023531470
(86)(22)【出願日】2022-04-26
(86)【国際出願番号】 JP2022018956
(87)【国際公開番号】W WO2023276432
(87)【国際公開日】2023-01-05
【審査請求日】2023-12-11
(31)【優先権主張番号】P 2021107772
(32)【優先日】2021-06-29
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「人工知能技術を活用した革新的ながん創薬システムの開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】510097747
【氏名又は名称】国立研究開発法人国立がん研究センター
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】小林 和馬
(72)【発明者】
【氏名】三宅 基隆
(72)【発明者】
【氏名】浜本 隆二
【審査官】鹿野 博嗣
(56)【参考文献】
【文献】特開２０１１－１１８５４３（ＪＰ，Ａ）
【文献】特開２００８－２２９１６１（ＪＰ，Ａ）
【文献】特開２０１７－０９９９０７（ＪＰ，Ａ）
【文献】特表２００９－５２８５９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサを備え、前記プロセッサは、
クエリ画像の元となる、検索を所望する部位を含むクエリベース画像に対する、検索を所望する少なくとも１つの所見を表す所見情報の入力を受け付けることにより、前記所見が付加されたクエリ画像を導出し、
前記付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量を導出し、
前記クエリベース画像における前記部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出し、
所見を含む複数の参照画像であって、前記参照画像のそれぞれに含まれる所見についての画像特徴を表す少なくとも１つの参照所見特徴量、および前記参照画像のそれぞれに含まれる前記所見が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量と対応づけられた複数の参照画像が登録された画像データベースを参照して、前記付加所見特徴量および前記クエリ正常特徴量と前記参照所見特徴量および前記参照正常特徴量との比較に基づいて、前記クエリ画像と前記複数の参照画像のそれぞれとの類似度を導出し、
前記類似度に基づいて、前記クエリ画像に類似する前記参照画像を類似画像として画像データベースから抽出する画像検索装置。
【請求項2】
前記所見情報は、前記所見の種類に応じた領域を含む請求項１に記載の画像検索装置。【請求項3】
前記プロセッサは、前記付加された所見を符号化することにより前記付加所見特徴量を導出し、前記クエリベース画像を符号化することにより前記クエリ正常特徴量を導出する請求項１または２に記載の画像検索装置。
【請求項4】
前記クエリベース画像は、前記検索を所望する部位が正常領域のみからなる標準的な画像である請求項１から３のいずれか１項に記載の画像検索装置。【請求項5】
前記所見についての代表的な画像特徴を表す少なくとも１つの所見特徴ベクトル、および前記正常領域についての代表的な画像特徴を表す正常特徴ベクトルを記憶するストレージを備え、前記プロセッサは、前記付加された所見についての画像特徴を表す付加所見特徴ベクトルを導出し、前記付加所見特徴ベクトルを、前記所見特徴ベクトルのうちの、前記付加所見特徴ベクトルとの差分が最小となる所見特徴ベクトルに置換することにより量子化して、前記付加所見特徴量を導出し、
前記クエリベース画像における前記部位に含まれる正常領域についての画像特徴を表すクエリ正常特徴ベクトルを導出し、前記クエリ正常特徴ベクトルを、前記正常特徴ベクトルのうちの、前記クエリ正常特徴ベクトルとの差分が最小となる正常特徴ベクトルに置換することにより量子化して、前記クエリ正常特徴量を導出する請求項４に記載の画像検索装置。
【請求項6】
前記クエリベース画像は所見を含む画像であり、前記クエリ正常特徴量は、前記クエリベース画像に含まれる前記所見が正常な領域であったとした場合の画像についての画像特徴を表す請求項１から３のいずれか１項に記載の画像検索装置。
【請求項7】
前記所見についての代表的な画像特徴を表す少なくとも１つの所見特徴ベクトル、および含まれる前記所見が正常な領域であったとした場合の画像についての代表的な画像特徴を表す正常特徴ベクトルを記憶するストレージを備え、前記プロセッサは、前記付加された所見についての画像特徴を表す付加所見特徴ベクトルを導出し、前記付加所見特徴ベクトルを、前記所見特徴ベクトルのうちの、前記付加所見特徴ベクトルとの差分が最小となる所見特徴ベクトルに置換することにより量子化して、前記付加所見特徴量を導出し、
前記クエリベース画像において、前記所見が含まれる領域が正常な領域であったとした場合についての前記クエリベース画像の画像特徴を表すクエリ正常特徴ベクトルを導出し、前記クエリ正常特徴ベクトルを、前記正常特徴ベクトルのうちの、前記クエリ正常特徴ベクトルとの差分が最小となる正常特徴ベクトルに置換することにより量子化して、前記クエリ正常特徴量を導出する請求項６に記載の画像検索装置。
【請求項8】
前記プロセッサは、前記付加された所見が入力されると前記付加所見特徴量を導出するように学習がなされた符号化学習モデルを用いて、前記付加所見特徴量を導出する請求項１から７のいずれか１項に記載の画像検索装置。【請求項9】
前記プロセッサは、前記クエリベース画像が入力されると前記クエリ正常特徴量を導出するように学習がなされた符号化学習モデルを用いて、前記クエリ正常特徴量を導出する請求項１から８のいずれか１項に記載の画像検索装置。【請求項10】
前記参照所見特徴量および前記参照正常特徴量は、前記参照画像を符号化することにより導出される請求項１から９のいずれか１項に記載の画像検索装置。【請求項11】
前記参照所見特徴量および前記参照正常特徴量の組み合わせは、前記参照画像についての画像特徴を表す請求項１０に記載の画像検索装置。【請求項12】
前記参照所見特徴量は、前記参照画像に含まれる所見の異常さについての画像特徴を表す特徴ベクトルを、前記所見の異常さについての代表的な画像特徴を表す少なくとも１つの第１の特徴ベクトルのうちの、前記所見の異常さについての画像特徴との差分が最小となる第１の特徴ベクトルに置換することにより量子化されて導出され、前記参照正常特徴量は、前記所見が正常な領域であったとした場合の前記参照画像についての画像特徴を表す特徴ベクトルを、前記所見が正常な領域であったとした場合の画像についての代表的な画像特徴を表す少なくとも１つの第２の特徴ベクトルのうちの、前記所見が正常な領域であったとした場合の前記参照画像についての画像特徴との差分が最小となる第２の特徴ベクトルに置換することにより量子化されて導出される請求項１０または１１に記載の画像検索装置。
【請求項13】
前記参照所見特徴量および前記参照正常特徴量は、前記参照画像が入力されると、前記参照所見特徴量および前記参照正常特徴量を導出するように学習がなされた符号化学習モデルを用いて導出される請求項１０から１２のいずれか１項に記載の画像検索装置。【請求項14】
クエリ画像の元となる、検索を所望する部位を含むクエリベース画像に対する、検索を所望する少なくとも１つの所見を表す所見情報の入力を受け付けることにより、前記所見が付加されたクエリ画像を導出し、前記付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量を導出し、
前記クエリベース画像における前記部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出し、
所見を含む複数の参照画像であって、前記参照画像のそれぞれに含まれる所見についての画像特徴を表す少なくとも１つの参照所見特徴量、および前記参照画像のそれぞれに含まれる前記所見が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量と対応づけられた複数の参照画像が登録された画像データベースを参照して、前記付加所見特徴量および前記クエリ正常特徴量と前記参照所見特徴量および前記参照正常特徴量との比較に基づいて、前記クエリ画像と前記複数の参照画像のそれぞれとの類似度を導出し、
前記類似度に基づいて、前記クエリ画像に類似する前記参照画像を類似画像として画像データベースから抽出する画像検索方法。
【請求項15】
クエリ画像の元となる、検索を所望する部位を含むクエリベース画像に対する、検索を所望する少なくとも１つの所見を表す所見情報の入力を受け付けることにより、前記所見が付加されたクエリ画像を導出する手順と、前記付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量を導出する手順と、
前記クエリベース画像における前記部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出する手順と、
所見を含む複数の参照画像であって、前記参照画像のそれぞれに含まれる所見についての画像特徴を表す少なくとも１つの参照所見特徴量、および前記参照画像のそれぞれに含まれる前記所見が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量と対応づけられた複数の参照画像が登録された画像データベースを参照して、前記付加所見特徴量および前記クエリ正常特徴量と前記参照所見特徴量および前記参照正常特徴量との比較に基づいて、前記クエリ画像と前記複数の参照画像のそれぞれとの類似度を導出する手順と、
前記類似度に基づいて、前記クエリ画像に類似する前記参照画像を類似画像として画像データベースから抽出する手順とをコンピュータに実行させる画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像検索装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器により取得された医用画像を用いることによる診断が行われている。画像を用いた診断を行う際には、診断の対象となる医用画像に含まれる所見についての症例と類似する過去の医用画像を参照することが多い。過去の医用画像は病院等に設けられたＰＡＣＳ（Picture Archiving and Communication Systems）と呼ばれる画像データベースに大量に保存されている。このため、対象となる医用画像に類似する過去の医用画像を検索する手法が提案されている。例えば特開２００３－０２５７２３号公報においては、検索の元となるクエリ画像から色、テクスチャおよび形状等を特徴量として抽出し、抽出した特徴量と類似する特徴量を有する参照画像を検索する手法が提案されている。また、特開２０１８－１６５９２６号公報においては、畳み込みニューラルネットワークを用いてクエリ画像の特徴量を導出し、導出した特徴量に類似する特徴量を有する参照画像を検索する手法が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
画像を検索するためにはクエリ画像が必要である。しかしながら、所望とされる所見を含むクエリ画像が手元にない場合、検索そのものを行うことができない。また、臨床の現場においては、同一部位に存在する異なる疾患を比較読影したいという要望がある。例えば、脳の特定の解剖学的位置に嚢胞性病変を認め、脳腫瘍または脳膿瘍が疑われる頭部のＭＲＩ画像を用いた画像診断を行う場合を想定する。この場合、特定の解剖学的部位に脳腫瘍を含むＭＲＩ画像と脳膿瘍を含むＭＲＩ画像とをそれぞれデータベースから検索し、疾患毎に固有な特徴を改めて確認した上で、診断対象となる画像に対して最終的な診断を下したいという要望がある。
【0004】
このような場合、画像を検索する医師等のユーザは、データベースに保存された画像を１枚ずつ確認してクエリ画像を探す必要がある。しかしながら、このような作業は大変な労力を要するため、現実的ではない。
【0005】
本開示は上記事情に鑑みなされたものであり、ユーザが所望とする画像を簡易に検索できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本開示による画像検索装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
クエリ画像の元となる、検索を所望する部位を含むクエリベース画像に対する、検索を所望する少なくとも１つの所見を表す所見情報の入力を受け付けることにより、所見が付加されたクエリ画像を導出し、
付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量を導出し、
クエリベース画像における部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出し、
所見を含む複数の参照画像であって、参照画像のそれぞれに含まれる所見についての画像特徴を表す少なくとも１つの参照所見特徴量、および参照画像のそれぞれに含まれる所見が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量と対応づけられた複数の参照画像が登録された画像データベースを参照して、付加所見特徴量およびクエリ正常特徴量と参照所見特徴量および参照正常特徴量との比較に基づいて、クエリ画像と複数の参照画像のそれぞれとの類似度を導出し、
類似度に基づいて、クエリ画像に類似する参照画像を類似画像として画像データベースから抽出する。
プロセッサは、
クエリ画像の元となる、検索を所望する部位を含むクエリベース画像に対する、検索を所望する少なくとも１つの所見を表す所見情報の入力を受け付けることにより、所見が付加されたクエリ画像を導出し、
付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量を導出し、
クエリベース画像における部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出し、
所見を含む複数の参照画像であって、参照画像のそれぞれに含まれる所見についての画像特徴を表す少なくとも１つの参照所見特徴量、および参照画像のそれぞれに含まれる所見が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量と対応づけられた複数の参照画像が登録された画像データベースを参照して、付加所見特徴量およびクエリ正常特徴量と参照所見特徴量および参照正常特徴量との比較に基づいて、クエリ画像と複数の参照画像のそれぞれとの類似度を導出し、
類似度に基づいて、クエリ画像に類似する参照画像を類似画像として画像データベースから抽出する。
【0007】
なお、本開示による画像検索装置においては、所見情報は、所見の種類に応じた領域を含むものであってもよい。
【0008】
また、本開示による画像検索装置においては、プロセッサは、付加された所見を符号化することにより付加所見特徴量を導出し、
クエリベース画像を符号化することによりクエリ正常特徴量を導出するものであってもよい。
クエリベース画像を符号化することによりクエリ正常特徴量を導出するものであってもよい。
【0009】
また、本開示による画像検索装置においては、クエリベース画像は、検索を所望する部位が正常領域のみからなる標準的な画像であってもよい。
【0010】
また、本開示による画像検索装置においては、所見についての代表的な画像特徴を表す少なくとも１つの所見特徴ベクトル、および正常領域についての代表的な画像特徴を表す正常特徴ベクトルを記憶するストレージを備え、
プロセッサは、付加された所見についての画像特徴を表す付加所見特徴ベクトルを導出し、付加所見特徴ベクトルを、所見特徴ベクトルのうちの、付加所見特徴ベクトルとの差分が最小となる所見特徴ベクトルに置換することにより量子化して、付加所見特徴量を導出し、
クエリベース画像における部位に含まれる正常領域についての画像特徴を表すクエリ正常特徴ベクトルを導出し、クエリ正常特徴ベクトルを、正常特徴ベクトルのうちの、クエリ正常特徴ベクトルとの差分が最小となる正常特徴ベクトルに置換することにより量子化して、クエリ正常特徴量を導出するものであってもよい。
プロセッサは、付加された所見についての画像特徴を表す付加所見特徴ベクトルを導出し、付加所見特徴ベクトルを、所見特徴ベクトルのうちの、付加所見特徴ベクトルとの差分が最小となる所見特徴ベクトルに置換することにより量子化して、付加所見特徴量を導出し、
クエリベース画像における部位に含まれる正常領域についての画像特徴を表すクエリ正常特徴ベクトルを導出し、クエリ正常特徴ベクトルを、正常特徴ベクトルのうちの、クエリ正常特徴ベクトルとの差分が最小となる正常特徴ベクトルに置換することにより量子化して、クエリ正常特徴量を導出するものであってもよい。
【0011】
また、本開示による画像検索装置においては、クエリベース画像は所見を含む画像であり、
クエリ正常特徴量は、クエリベース画像に含まれる所見が正常な領域であったとした場合の画像についての画像特徴を表すものであってもよい。
クエリ正常特徴量は、クエリベース画像に含まれる所見が正常な領域であったとした場合の画像についての画像特徴を表すものであってもよい。
【0012】
また、本開示による画像検索装置においては、所見についての代表的な画像特徴を表す少なくとも１つの所見特徴ベクトル、および含まれる所見が正常な領域であったとした場合の画像についての代表的な画像特徴を表す正常特徴ベクトルを記憶するストレージを備え、
プロセッサは、付加された所見についての画像特徴を表す付加所見特徴ベクトルを導出し、付加所見特徴ベクトルを、所見特徴ベクトルのうちの、付加所見特徴ベクトルとの差分が最小となる所見特徴ベクトルに置換することにより量子化して、付加所見特徴量を導出し、
クエリベース画像において、所見が含まれる領域が正常な領域であったとした場合についてのクエリベース画像の画像特徴を表すクエリ正常特徴ベクトルを導出し、クエリ正常特徴ベクトルを、正常特徴ベクトルのうちの、クエリ正常特徴ベクトルとの差分が最小となる正常特徴ベクトルに置換することにより量子化して、クエリ正常特徴量を導出するものであってもよい。
プロセッサは、付加された所見についての画像特徴を表す付加所見特徴ベクトルを導出し、付加所見特徴ベクトルを、所見特徴ベクトルのうちの、付加所見特徴ベクトルとの差分が最小となる所見特徴ベクトルに置換することにより量子化して、付加所見特徴量を導出し、
クエリベース画像において、所見が含まれる領域が正常な領域であったとした場合についてのクエリベース画像の画像特徴を表すクエリ正常特徴ベクトルを導出し、クエリ正常特徴ベクトルを、正常特徴ベクトルのうちの、クエリ正常特徴ベクトルとの差分が最小となる正常特徴ベクトルに置換することにより量子化して、クエリ正常特徴量を導出するものであってもよい。
【0013】
また、本開示による画像検索装置においては、プロセッサは、付加された所見が入力されると付加所見特徴量を導出するように学習がなされた符号化学習モデルを用いて、付加所見特徴量を導出するものであってもよい。
【0014】
また、本開示による画像検索装置においては、プロセッサは、クエリベース画像が入力されるとクエリ正常特徴量を導出するように学習がなされた符号化学習モデルを用いて、クエリ正常特徴量を導出するものであってもよい。
【0015】
また、本開示による画像検索装置においては、参照所見特徴量および参照正常特徴量は、参照画像を符号化することにより導出されるものであってもよい。
【0016】
また、本開示による画像検索装置においては、参照所見特徴量および参照正常特徴量の組み合わせは、参照画像についての画像特徴を表すものであってもよい。
【0017】
また、本開示による画像検索装置においては、参照所見特徴量は、参照画像に含まれる所見の異常さについての画像特徴を表す特徴ベクトルを、所見の異常さについての代表的な画像特徴を表す少なくとも１つの第１の特徴ベクトルのうちの、所見の異常さについての画像特徴との差分が最小となる第１の特徴ベクトルに置換することにより量子化されて導出され、
参照正常特徴量は、所見が正常な領域であったとした場合の参照画像についての画像特徴を表す特徴ベクトルを、所見が正常な領域であったとした場合の画像についての代表的な画像特徴を表す少なくとも１つの第２の特徴ベクトルのうちの、所見が正常な領域であったとした場合の参照画像についての画像特徴との差分が最小となる第２の特徴ベクトルに置換することにより量子化されて導出されるものであってもよい。
参照正常特徴量は、所見が正常な領域であったとした場合の参照画像についての画像特徴を表す特徴ベクトルを、所見が正常な領域であったとした場合の画像についての代表的な画像特徴を表す少なくとも１つの第２の特徴ベクトルのうちの、所見が正常な領域であったとした場合の参照画像についての画像特徴との差分が最小となる第２の特徴ベクトルに置換することにより量子化されて導出されるものであってもよい。
【0018】
また、本開示による画像検索装置においては、参照所見特徴量および参照正常特徴量は、参照画像が入力されると、参照所見特徴量および参照正常特徴量を導出するように学習がなされた符号化学習モデルを用いて導出されるものであってもよい。
【0019】
本開示による画像検索方法は、クエリ画像の元となる、検索を所望する部位を含むクエリベース画像に対する、検索を所望する少なくとも１つの所見を表す所見情報の入力を受け付けることにより、所見が付加されたクエリ画像を導出し、
付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量を導出し、
クエリベース画像における部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出し、
所見を含む複数の参照画像であって、参照画像のそれぞれに含まれる所見についての画像特徴を表す少なくとも１つの参照所見特徴量、および参照画像のそれぞれに含まれる所見が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量と対応づけられた複数の参照画像が登録された画像データベースを参照して、付加所見特徴量およびクエリ正常特徴量と参照所見特徴量および参照正常特徴量との比較に基づいて、クエリ画像と複数の参照画像のそれぞれとの類似度を導出し、
類似度に基づいて、クエリ画像に類似する参照画像を類似画像として画像データベースから抽出する。
付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量を導出し、
クエリベース画像における部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出し、
所見を含む複数の参照画像であって、参照画像のそれぞれに含まれる所見についての画像特徴を表す少なくとも１つの参照所見特徴量、および参照画像のそれぞれに含まれる所見が正常な領域であったとした場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量と対応づけられた複数の参照画像が登録された画像データベースを参照して、付加所見特徴量およびクエリ正常特徴量と参照所見特徴量および参照正常特徴量との比較に基づいて、クエリ画像と複数の参照画像のそれぞれとの類似度を導出し、
類似度に基づいて、クエリ画像に類似する参照画像を類似画像として画像データベースから抽出する。
【0020】
なお、本開示による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【0021】
本開示によれば、ユーザが所望とする画像を簡易に検索できる。
【図面の簡単な説明】
【0022】
【図1】本開示の実施形態による画像検索装置を適用した医療情報システムの概略構成を示す図
【図2】本実施形態による画像検索装置を含む画像処理システムの概略構成を示す図
【図3】本実施形態による画像検索装置を含む画像処理システムの機能構成図
【図4】検索画面を示す図
【図5】クエリ画像が導出された検索画面を示す図
【図6】画像符号化部および画像復号化部が行う処理の概念図
【図7】画像符号化部および画像復号化部が行う処理の概念図
【図8】第１の特徴ベクトルへの置換を説明するための図
【図9】学習に使用する教師データの例を示す図
【図10】学習に使用する教師データの例を示す図
【図11】類似画像を検索する際のクエリ画像Ｑ０からの特徴量の導出を説明するための図
【図12】検索結果リストを示す図
【図13】検索結果を含む検索画面を示す図
【図14】本実施形態において行われる学習処理を示すフローチャート
【図15】本実施形態において行われる画像検索処理を示すフローチャート
【図16】所見を含むクエリベース画像を示す図
【図17】図１６に示すような所見を含むクエリベース画像に対して所見を付加することにより導出されたクエリ画像を示す図
【発明を実施するための形態】
【0023】
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像検索装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像検索装置を内包するコンピュータ１、撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
【0024】
コンピュータ１は、本実施形態による画像検索装置を内包するものであり、本実施形態の画像検索プログラムがインストールされている。コンピュータ１は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像検索プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。
【0025】
撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ(Computed Tomography)装置、ＭＲＩ（Magnetic Resonance Imaging）装置、およびＰＥＴ（Positron Emission Tomography）装置等である。撮影装置２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は脳であり、撮影装置２はＭＲＩ装置であり、被検体の脳を含む頭部のＭＲＩ画像を３次元画像として生成するものとする。
【0026】
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置２で生成された３次元画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、画像保管サーバ３には、後述する教師データも記憶されている。
【0027】
なお、本実施形態においては、画像保管サーバ３には、画像データベースＤＢが保存されている。画像データベースＤＢには、人体における各種部位についての各種疾患を含む複数の画像が参照画像として登録されている。例えば、脳について脳腫瘍、脳出血および脳梗塞等を含む画像、および肺について肺がん等を含む画像が参照画像として登録されている。画像データベースＤＢについては後述する。また、本実施形態においては、参照画像も複数のスライス画像からなる３次元画像である。
【0028】
次いで、本実施形態による画像検索装置について説明する。図２は、本実施形態による画像検索装置を含む画像処理システムのハードウェア構成を説明する。図２に示すように、本実施形態による画像検索装置１０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像検索装置１０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク４に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
【0029】
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像検索プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から画像検索プログラム１２を読み出してからメモリ１６に展開し、展開した画像検索プログラム１２を実行する。
【0030】
次いで、本実施形態による画像検索装置の機能的な構成を説明する。図３は、本実施形態による画像検索装置を含む画像処理システムの機能構成図である。図３に示すように本実施形態による画像検索装置１０は、情報取得部２０、クエリ画像導出部２１、画像符号化部２２、画像復号化部２３、学習部２４、類似度導出部２５、抽出部２６および表示制御部２７を備える。画像符号化部２２は、第１の特徴量導出部２２Ａ、第２の特徴量導出部２２Ｂおよび第３の特徴量導出部２２Ｃを備える。画像復号化部２３は、セグメンテーション部２３Ａ、第１の再構成部２３Ｂおよび第２の再構成部２３Ｃを備える。
【0031】
そして、ＣＰＵ１１が画像検索プログラム１２を実行することにより、ＣＰＵ１１は、情報取得部２０、クエリ画像導出部２１、第１の特徴量導出部２２Ａ、第２の特徴量導出部２２Ｂ、第３の特徴量導出部２２Ｃ、類似度導出部２５、抽出部２６および表示制御部２７として機能する。また、ＣＰＵ１１が不図示の学習プログラムを実行することにより、ＣＰＵ１１は、第１の特徴量導出部２２Ａ、第２の特徴量導出部２２Ｂ、第３の特徴量導出部２２Ｃ、セグメンテーション部２３Ａ、第１の再構成部２３Ｂ、第２の再構成部２３Ｃおよび学習部２４として機能する。
【0032】
情報取得部２０は、操作者による入力デバイス１５からの指示により、画像保管サーバ３から、後述する検索の対象となるクエリ画像を導出するためのクエリベース画像を取得する。クエリベース画像は、検索を所望する部位を含む。また、情報取得部２０は、操作者による入力デバイス１５からの指示により、後述するように学習部２４が画像符号化部２２における符号化学習モデルおよび画像復号化部２３における復号化学習モデルを学習するための複数の教師データを画像保管サーバ３から取得する。
【0033】
なお、クエリベース画像および教師データが既にストレージ１３に保存されている場合には、情報取得部２０は、ストレージ１３からクエリベース画像および教師データを取得するようにしてもよい。
【0034】
クエリ画像導出部２１は、クエリ画像を導出する。クエリ画像の導出に際しては、まず表示制御部２７が、検索画面をディスプレイ１４に表示する。図４は検索画面を示す図である。図４に示すように、検索画面４０は、クエリ画像を導出および表示するための作業領域となる第１の表示領域４１、所見を選択するための第２の表示領域４２、検索結果を表示する第３の表示領域４３、および検索実行ボタン４４を含む。
【0035】
第１の表示領域４１には、検索を所望する部位を含むクエリベース画像Ｂ０が表示される。図４に示すようにクエリベース画像Ｂ０は、例えば、検索を所望する部位が正常領域のみからなる標準的な画像である。本実施形態においては、検索を所望する部位は脳であるため、クエリベース画像Ｂ０は標準的な脳画像である。標準的な画像としては、標準的な人体アトラス画像、健常者の代表的な実画像、複数の健常者の実画像を平均した平均画像、人工的に生成された画像等を例として挙げることができる。なお、クエリベース画像Ｂ０は元々所見を含むものであってもよいが、所見を含むクエリベース画像Ｂ０については後述する。
【0036】
クエリベース画像Ｂ０は、不図示の画像取得画面においてユーザが入力デバイス１５を用いて指示を行うことにより、情報取得部２０が画像保管サーバ３またはストレージ１３から取得する。クエリベース画像Ｂ０は、例えばＭＲＩ画像のような複数のスライス画像からなる３次元画像である。このため、ユーザは、入力デバイス１５のマウスホイールを用いて、第１の表示領域４１に表示されるスライス画像を順次切り替えて表示することができる。
【0037】
第２の表示領域４２には、クエリベース画像Ｂ０に付加することができる所見のリストが表示されている。本実施形態においては、所見のリストには、浮腫４２Ａ、造影効果４２Ｂおよび壊死４２Ｃの３種類の所見が含まれており、これら３つの所見の種類に応じた領域がクエリベース画像Ｂ０に対して付加可能とされている。図４においては、説明のために浮腫４２Ａに白色、造影効果４２Ｂに斜めハッチング、壊死４２Ｃに黒色が割り当てられているが、色を割り当てることが好ましい。また、任意の模様を割り当てるようにしてもよい。
【0038】
ユーザは、まず所見を付加するスライス画像を選択する。なお、所見を付加するスライス画像についてもクエリベース画像Ｂ０と称する。次いで、ユーザは、第２の表示領域４２に表示された所見のリストから、マウスカーソルによりいずれかの所見を選択する。そしてユーザがクエリベース画像Ｂ０における所望とする位置に、選択した所見の種類に応じた領域を描画することにより、クエリベース画像Ｂ０に所見を付加することができる。また、異なる所見を重ね合わせることにより所見の種類に応じた領域を描画して所見を付加することもできる。
【0039】
図５は所見が付加されたクエリベース画像Ｂ０を含む検索画面を示す図である。図５においては、クエリベース画像Ｂ０の左側の領域（右脳の領域）に対して、外側から順に、浮腫、造影効果および壊死の３つの所見の種類に応じた領域が重ね合わせられた所見４５が付加されている。所見４５が付加されたクエリベース画像Ｂ０は検索に用いられることから、クエリ画像Ｑ０となる。なお、本実施形態においては、クエリベース画像Ｂ０に対して所見４５が付加されてクエリ画像Ｑ０が導出されるが、クエリ画像Ｑ０は、クエリベース画像Ｂ０と所見４５の領域のみを含む画像（以下、付加所見ラベル画像とする）Ｆ０とが重ね合わせられた画像となる。
【0040】
ここで、導出されたクエリ画像Ｑ０は後述するように類似画像検索を行う際に画像符号化部２２に入力され、クエリベース画像Ｂ０と付加所見ラベル画像Ｆ０とが別々に符号化される。以降の説明においては、クエリ画像導出部２１が導出したクエリ画像Ｑ０、クエリ画像Ｑ０を構成するクエリベース画像Ｂ０および付加所見ラベル画像Ｆ０を総称して対象クエリ画像と称するものとする。
【0041】
なお、類似画像検索を行う際には、クエリ画像導出部２１が導出したクエリ画像Ｑ０のみならず、異常がある被検体を撮影することにより取得された、元々所見が含まれる画像も参照画像として画像符号化部２２に入力されて符号化される。一方、本実施形態においては、参照画像が所見を含まない場合もある。
【0042】
対象クエリ画像の符号化は、画像符号化部２２を構成する第２の特徴量導出部２２Ｂおよび第３の特徴量導出部２２Ｃが行う。参照画像の符号化は、画像符号化部２２を構成する第１の特徴量導出部２２Ａおよび第２の特徴量導出部２２Ｂが行う。まず、対象クエリ画像の符号化について説明する。
【0043】
画像符号化部２２を構成する第２の特徴量導出部２２Ｂは、対象クエリ画像のうちのクエリベース画像Ｂ０を符号化することにより、クエリベース画像Ｂ０における部位に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を第２の特徴量として導出する。
【0044】
なお、本実施形態においては、対象クエリ画像のうちのクエリベース画像Ｂ０に所見が含まれる場合、画像符号化部２２を構成する第２の特徴量導出部２２Ｂは、クエリベース画像Ｂ０を符号化することにより、クエリベース画像Ｂ０に含まれる所見が正常な領域であった場合の画像についての画像特徴を表す少なくとも１つのクエリ正常特徴量を第２の特徴量として導出する。
【0045】
画像符号化部２２を構成する第３の特徴量導出部２２Ｃは、対象クエリ画像のうちの付加所見ラベル画像Ｆ０を符号化することにより、クエリベース画像Ｂ０に付加された所見の異常さについての画像特徴を表す少なくとも１つの付加所見特徴量を第３の特徴量として導出する。
【0046】
なお、本実施形態においては、対象クエリ画像のうちのクエリ画像Ｑ０に付加所見ラベル画像Ｆ０が含まれない場合、第３の特徴量導出部２２Ｃが第３の特徴量として導出する付加所見特徴量は、所見が含まれないことを表す情報となる。
【0047】
このために、第２の特徴量導出部２２Ｂおよび第３の特徴量導出部２２Ｃは、対象クエリ画像が入力されると、第２の特徴量および第３の特徴量をそれぞれ導出するように学習がなされた符号化学習モデルとしてのエンコーダおよび潜在モデル（Latent model）を有する。符号化学習モデルとしてのエンコーダおよび潜在モデルについては後述する。
【0048】
次いで、参照画像の符号化について説明する。画像符号化部２２を構成する第１の特徴量導出部２２Ａは、参照画像を符号化することにより、対象画像に含まれる所見の異常さについての画像特徴を表す少なくとも１つの参照所見特徴量を第１の特徴量として導出する。なお、本実施形態においは、参照画像に所見が含まれない場合がある。このような場合、第１の特徴量導出部２２Ａが第１の特徴量として導出する参照所見特徴量は、所見が含まれないことを表す情報となる。
【0049】
画像符号化部２２を構成する第２の特徴量導出部２２Ｂは、参照画像を符号化することにより、参照画像に含まれる所見が正常な領域であった場合の画像についての画像特徴を表す少なくとも１つの参照正常特徴量を第２の特徴量として導出する。また、参照画像が所見を含まない場合、画像符号化部２２を構成する第２の特徴量導出部２２Ｂは、参照画像における部位に含まれる正常領域についての画像特徴を表す少なくとも１つの参照正常特徴量を第２の特徴量として導出する。
【0050】
このために、第１の特徴量導出部２２Ａおよび第２の特徴量導出部２２Ｂは、参照画像が入力されると、第１の特徴量および第２の特徴量をそれぞれ導出するように学習がなされた符号化学習モデルとしてのエンコーダおよび潜在モデル（Latent model）を有する。また、本実施形態においては、第１の特徴量導出部２２Ａと第２の特徴量導出部２２Ｂとで共通の符号化学習モデルを有するものとする。符号化学習モデルとしてのエンコーダおよび潜在モデルについては後述する。
【0051】
ここで、対象クエリ画像から第３の特徴量として導出された付加所見特徴量と、参照画像から第１の特徴量として導出された参照所見特徴量とは、いずれも画像に含まれる所見の異常さについての画像特徴を表す。したがって、付加所見特徴量と参照所見特徴量とを比較することによって、対象クエリ画像と参照画像との間で、画像に含まれる所見の異常さについての画像特徴の類似度を導出することができる。
【0052】
一方、対象クエリ画像から第２の特徴量として導出されたクエリ正常特徴量と、参照画像から第２の特徴量として導出された参照正常特徴量とは、いずれも画像に含まれる所見が正常な領域であった場合の画像についての画像特徴を表す。したがって、クエリ正常特徴量と参照正常特徴量を比較することによって、対象クエリ画像と参照画像との間で、画像に含まれる所見が正常な領域であった場合の画像についての画像特徴の類似度を導出することができる。
【0053】
このため、対象クエリ画像から第３の特徴量として導出された付加所見特徴量および第２の特徴量として導出されたクエリ正常特徴量と、参照画像から第１の特徴量として導出された参照所見特徴量および第２の特徴量として導出された参照正常特徴量とを比較することによって、クエリ画像と参照画像との間で、画像に含まれる所見の異常さについての画像特徴および画像に含まれる所見が正常な領域であった場合についての画像特徴が組み合わさった特徴量、すなわち、所望とされる所見が所望とされる正常領域に含まれていた場合の画像としての類似度を導出することができる。
【0054】
一方、符号化学習モデルおよび復号化学習モデルを学習する際に用いられる教師データは、教師画像と教師ラベル画像とからなる。教師ラベル画像とは、教師画像のうちの所見の種類に応じた領域を表したものである。以降の説明においては、画像情報としての、クエリベース画像Ｂ０、参照画像および教師画像を総称して対象画像と称するものとする。また、ラベル画像情報としての、付加所見ラベル画像Ｆ０、教師ラベル画像および所見ラベル画像Ｖ０を対象ラベル画像と称するものとする。
【0055】
なお、本実施形態においては、対象画像は脳を含み、所見は、脳腫瘍、脳梗塞または脳出血等の脳の疾患の種類に応じて定められた領域とする。対象ラベル画像は、対象画像における脳の疾患の種類に応じて定められた領域を表すものとする。
【0056】
ここで、第１の特徴量は、対象画像に含まれる所見の異常さについての画像特徴を表す。すなわち、脳腫瘍、脳梗塞または脳出血等の脳の疾患の種類に応じて定められた領域について、これらを所見として正常組織から識別することを可能にする画像特徴を表す。
【0057】
また、第２の特徴量は、対象画像における所見が正常な領域であったとした場合の画像についての画像特徴を表す。このため、第２の特徴量は、対象画像における所見、すなわち疾患の領域が、疾患が仮に存在しなかったとした場合の領域、とくに脳の正常組織の画像特徴により補間された画像特徴を表すものとなる。したがって、第２の画像特徴は、対象画像における脳がすべて正常組織となった状態における画像の画像特徴を表すものとなる。
【0058】
また、第３の特徴量は、対象ラベル画像によって示された、対象画像における脳の疾患の種類に応じて定められた領域が持つべき画像特徴を表す。
【0059】
また、第１の特徴量および第２の特徴量の組み合わせは、対象画像の画像特徴、とくに疾患の種類に応じて定められた領域を含む脳の画像特徴を表すものであってもよい。この場合、第１の特徴量は、対象画像に含まれる所見の異常さについての画像特徴を表すが、対象画像に含まれる所見が正常な領域であったとした場合の画像特徴との差分を表現する画像特徴を表すものとなる。本実施形態においては、所見は脳の疾患であるため、第１の特徴量は、対象画像における脳がすべて正常組織となった状態における画像の画像特徴との差分を表現する画像特徴を表すものとなる。これにより、異常な領域を所見として含む脳の画像から、疾患の種類に応じて定められた領域の異常さについての画像特徴と、脳がすべて正常組織となった状態における画像の画像特徴とを、分離して獲得することができる。
【0060】
また、本実施形態においては、後述する符号化学習モデルおよび復号化学習モデルの学習によって対象ラベル画像から導出される第３の特徴量は、対象ラベル画像に対応する対象画像から導出される第１の特徴量を近似したものとなる。このために、第３の特徴量および第２の特徴量の組み合わせは、第１の特徴量および第２の特徴量の組み合わせと同様に、対象画像の画像特徴、とくに疾患の種類に応じて定められた領域を含む脳の画像特徴を表すものとなる。この場合、第３の特徴量および第２の特徴量の組み合わせは、対象画像における脳がすべて正常組織となった状態における画像の画像特徴に対して、その画像が所見として含むべき異常な領域を表す画像特徴を付加したものとなる。したがって、第３の特徴量と第２の特徴量とを組み合わせることにより、所望する脳の正常組織に対して、所望する所見を含む画像の画像特徴を合成して獲得することができる。
【0061】
画像復号化部２３のセグメンテーション部２３Ａは、対象画像を入力とした第１の特徴量導出部２２Ａが導出した第１の特徴量に基づいて、対象画像における所見の異常さについての種類に応じた所見ラベル画像Ｖ０を導出する。
【0062】
画像復号化部２３の第１の再構成部２３Ｂは、対象画像を入力とした第２の特徴量導出部２２Ｂが導出した第２の特徴量に基づいて、対象画像における所見が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像を導出する。
【0063】
画像復号化部２３の第２の再構成部２３Ｃは、対象画像を入力とした第１の特徴量導出部２２Ａが導出した第１の特徴量および第２の特徴量導出部２２Ｂが導出した第２の特徴量に基づいて、対象画像の画像特徴を再構成した第２の再構成画像を導出する。なお、再構成される対象画像の画像特徴とは、対象画像に含まれる脳以外の背景も含む画像特徴である。
【0064】
このために、セグメンテーション部２３Ａ、第１の再構成部２３Ｂおよび第２の再構成部２３Ｃは、第１の特徴量および第２の特徴量が入力されると、所見の異常さについての種類に応じた所見ラベル画像Ｖ０を導出し、第１の再構成画像および第２の再構成画像を導出するように学習がなされた、復号化学習モデルとしてのデコーダを有する。
【0065】
図６および図７は、画像符号化部２２および画像復号化部２３が行う処理の概念図である。図６および図７に示すように、画像符号化部２２は、第１の符号化学習モデルであるエンコーダ３１および潜在モデル３１Ａ、並びに第２の符号化学習モデルであるラベルエンコーダ３３および潜在モデル３３Ａを有する。
【0066】
ここで、第１の符号化学習モデルであるエンコーダ３１および潜在モデル３１Ａは画像情報、すなわち対象画像の入力を受け付け、本実施形態による第１の特徴量導出部２２Ａおよび第２の特徴量導出部２２Ｂとして機能する。一方、第２の符号化学習モデルであるラベルエンコーダ３３および潜在モデル３３Ａはラベル画像、すなわち対象ラベル画像の入力を受け付け、本実施形態による第３の特徴量導出部２２Ｃとして機能する。
【0067】
また、画像復号化部２３は、復号化学習モデルであるデコーダ３２Ａ～３２Ｃを有する。デコーダ３２Ａ～３２Ｃは、それぞれセグメンテーション部２３Ａ、第１の再構成部２３Ｂおよび第２の再構成部２３Ｃとしての機能を有する。なお、図７に示すデコーダ３２Ａと図６に示すデコーダ３２Ａとは同一であるが、図７においては説明のために、入力および出力の向きを図６とは逆に示している。
【0068】
第１の符号化学習モデルとしてのエンコーダ３１および潜在モデル３１Ａ、並びに復号化学習モデルとしてのデコーダ３２Ａ～３２Ｃは、所見を含む脳を被写体とした教師画像および教師画像における脳の疾患の種類に応じて定められた領域に応じた教師ラベル画像の組み合わせを教師データとして使用して、機械学習を行うことにより構築される。エンコーダ３１およびデコーダ３２Ａ～３２Ｃは、例えば、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。また、潜在モデル３１Ａは、ＶＱ－ＶＡＥ（Vector Quantised-Variational AutoEncoder）の手法を用いて学習される。
【0069】
ＶＱ－ＶＡＥは、「Neural Discrete Representation Learning、Aaron van den Oordら、Advances in Neural Information Processing Systems 30 (NIPS)、6306-6315、2017」において提案された手法であり、特徴量抽出器（すなわちエンコーダ）によりエンコードされた入力データの特徴を表す潜在変数を受け取り、受け取った潜在変数を量子化し、量子化された潜在変数を特徴量復号器（すなわちデコーダ）に渡し、元の入力データが正しく再構成されたか否かによって、潜在変数の量子化の過程を学習する手法である。学習については後述する。
【0070】
なお、潜在モデル３１Ａは、ＶＱ－ＶＡＥに代えて、自己符号化器（AutoEncoder）、ＶＡＥ（Variational AutoEncoder）、ＧＡＮ（Generative Adversarial Networks）、およびＢｉＧＡＮ（Bidirectional GAN）の手法等、任意の手法を用いて学習することが可能である。
【0071】
エンコーダ３１を構成する畳み込みニューラルネットワークは、複数の処理層からなる。各処理層は畳み込み処理層であり、前段の処理層から入力される画像をダウンサンプリングしつつ、各種カーネルを用いた畳み込み処理を行う。カーネルは、予め定められた画素サイズ（例えば３×３）を有し、各要素に重みが設定されている。具体的には前段の入力された画像のエッジを強調する微分フィルタのような重みが設定されている。各処理層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴量の全体にカーネルを適用し、特徴マップとして出力する。また、エンコーダ３１の処理層は後段ほど特徴マップの解像度が小さくなっている。これにより、エンコーダ３１は、入力される対象画像（Ｇ０とする）の特徴を、特徴マップの解像度が小さくなるように圧縮（すなわち次元圧縮）することにより符号化して、２つの潜在変数、すなわち第１の潜在変数ｚ１および第２の潜在変数ｚ２を出力する。第１の潜在変数ｚ１は、対象画像Ｇ０における所見の異常さについての画像特徴を表し、第２の潜在変数ｚ２は、対象画像Ｇ０における所見が正常な領域であったとした場合の画像についての画像特徴を表す。
【0072】
第１および第２の潜在変数ｚ１，ｚ２は、それぞれｎ×ｎ個のＤ次元のベクトルからなる。図６においては、例えばｎ＝４であり、第１および第２の潜在変数ｚ１，ｚ２は、各位置がＤ次元のベクトルからなるｎ×ｎのマップとして表すことができる。なお、第１の潜在変数ｚ１と第２の潜在変数ｚ２とで、ベクトルの次元数およびベクトルの数を異なるものとしてもよい。ここで、第１の潜在変数ｚ１が、所見の異常さについての画像特徴を表す特徴ベクトルに対応する。また、第２の潜在変数ｚ２が、対象画像Ｇ０に含まれる所見が正常な領域であったとした場合の画像についての画像特徴を表す特徴ベクトルに対応する。
【0073】
ここで、本実施形態においては、潜在モデル３１Ａにおいて、第１の潜在変数ｚ１に対して、所見の異常さについての代表的な画像特徴を表す、Ｋ個のＤ次元の第１の特徴ベクトルｅ１ｋが予め用意されている。また、潜在モデル３１Ａにおいて、第２の潜在変数ｚ２に対して、所見が正常な領域であった場合の画像についての代表的な画像特徴を表す、Ｋ個のＤ次元の第２の特徴ベクトルｅ２ｋが予め用意されている。なお、第１の特徴ベクトルｅ１ｋおよび第２の特徴ベクトルｅ２ｋは、ストレージ１３に記憶される。また、用意される第１の特徴ベクトルｅ１ｋの数と第２の特徴ベクトルｅ２ｋの数とを異なるものとしてもよい。用意された第２の特徴ベクトルｅ２ｋが正常特徴ベクトルの一例である。
【0074】
画像符号化部２２は、潜在モデル３１Ａにおいて、第１の潜在変数ｚ１に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを、第１の特徴ベクトルｅ１ｋにより置換する。この際、第１の潜在変数ｚ１に含まれるｎ×ｎ個のＤ次元のベクトルは、それぞれＤ次元のベクトル空間において、差が最小となる第１の特徴ベクトルｅ１ｋに置換される。図８は、第１の特徴ベクトルへの置換を説明するための図である。なお、図８においては、説明を容易なものとするために、潜在変数のベクトルを２次元で示している。また、図８においては、４つの第１の特徴ベクトルｅ１１～ｅ１４が用意されているものとする。図８に示すように、第１の潜在変数ｚ１に含まれる１つの潜在変数のベクトルｚ１－１は、ベクトル空間において、第１の特徴ベクトルｅ１２との差が最小となる。このため、ベクトルｚ１－１は、第１の特徴ベクトルｅ１２と置換される。また、第２の潜在変数ｚ２についても、第１の潜在変数ｚ１と同様に、ｎ×ｎ個のＤ次元のベクトルのそれぞれが第２の特徴ベクトルｅ２ｋのいずれかにより置換される。
【0075】
このように、第１の潜在変数ｚ１に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを第１の特徴ベクトルｅ１ｋと置換することにより、第１の潜在変数ｚ１は、ｎ×ｎ個の予め定められた値を持つ最大Ｋ個の潜在変数の組み合わせにより表されるものとなる。したがって、第１の潜在変数ｚｄ１は、Ｄ次元の潜在空間において量子化されて分布することとなる。
【0076】
また、第２の潜在変数ｚ２に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを第２の特徴ベクトルｅ２ｋと置換することにより、第２の潜在変数ｚ２は、ｎ×ｎ個の予め定められた値を持つ最大Ｋ個の潜在変数の組み合わせにより表されるものとなる。したがって、第２の潜在変数ｚｄ２は、Ｄ次元の潜在空間において量子化されて分布することとなる。
【0077】
量子化された第１および第２の潜在変数として参照符号ｚｄ１，ｚｄ２を用いる。なお、量子化された第１および第２の潜在変数ｚｄ１，ｚｄ２も、各位置がＤ次元のベクトルからなるｎ×ｎのマップとして表すことができる。量子化された第１および第２の潜在変数ｚｄ１，ｚｄ２が、それぞれ第１の特徴量および第２の特徴量に対応する。
【0078】
デコーダ３２Ａ～３２Ｃを構成する畳み込みニューラルネットワークは、複数の処理層からなる。各処理層は畳み込み処理層であり、第１および第２の潜在変数ｚｄ１，ｚｄ２が第１および第２の特徴量として入力されると、前段の処理層から入力される特徴量をアップサンプリングしつつ、各種カーネルを用いた畳み込み処理を行う。各処理層は、カーネルの注目画素をずらしながら、前段の処理層から出力された特徴量からなる特徴マップの全体にカーネルを適用する。また、デコーダ３２Ａ～３２Ｃの処理層は後段ほど特徴マップの解像度が大きくなっている。なお、後述するように画像検索装置が類似画像を検索する際には、デコーダ３２Ａ～３２Ｃにおいて処理は行われない。しかしながら、ここでは、後述する学習の処理に必要であることから、画像符号化部２２により対象画像Ｇ０から導出された第１および第２の潜在変数ｚｄ１，ｚｄ２を用いて、デコーダ３２Ａ～３２Ｃにおいて行われる処理を説明する。
【0079】
本実施形態においては、デコーダ３２Ａには、第１の潜在変数ｚｄ１が入力される。デコーダ３２Ａは、第１の潜在変数ｚｄ１に基づいて、エンコーダ３１に入力された対象画像Ｇ０の所見の異常さの種類に応じた所見ラベル画像Ｖ０を導出する。
【0080】
デコーダ３２Ｂには、第２の潜在変数ｚｄ２が入力される。デコーダ３２Ｂは、第２の潜在変数ｚｄ２に基づいて、エンコーダ３１に入力された対象画像Ｇ０に含まれる所見が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の再構成画像Ｖ１を導出する。このため、対象画像Ｇ０に所見が含まれていても、第１の再構成画像Ｖ１には所見が含まれず、その結果、第１の再構成画像Ｖ１に含まれる脳は正常組織のみからなるものとなる。
【0081】
デコーダ３２Ｃには、第２の潜在変数ｚｄ２が入力される。また、デコーダ３２Ｃの各処理層には、各処理層の解像度に応じたサイズの所見ラベル画像Ｖ０が側副的に入力される。具体的には、各処理層の解像度に応じたサイズの所見ラベル画像Ｖ０の特徴マップが側副的に入力される。なお、側副的に入力される特徴マップは、デコーダ３２Ａにおいて、所見ラベル画像Ｖ０を導出する直前の処理層から出力される特徴マップを、デコーダ３２Ｃの各処理層の解像度に応じたサイズとなるように縮小することにより導出してもよい。あるいは、デコーダ３２Ａが所見ラベル画像Ｖ０を導出する過程において導出した、各処理層の解像度に応じたサイズの特徴マップを、デコーダ３２Ｃの各処理層に入力してもよい。以降の説明においては、所見ラベル画像Ｖ０を導出する直前の処理層から出力される特徴マップを、デコーダ３２Ｃの各処理層の解像度に応じたサイズとなるように縮小することにより、デコーダ３２Ｃの各処理層に側副的に入力するものとする。
【0082】
ここで、所見ラベル画像Ｖ０および特徴マップは、第１の潜在変数ｚｄ１に基づいて導出されるものである。このため、デコーダ３２Ｃは、第１および第２の潜在変数ｚｄ１，ｚｄ２に基づいて、入力された対象画像Ｇ０の画像特徴を再構成した第２の再構成画像Ｖ２を導出することとなる。これにより、第２の再構成画像Ｖ２は、第２の潜在変数ｚｄ２に基づく、第１の再構成画像Ｖ１に含まれる正常組織のみからなる脳についての画像特徴に対して、第１の潜在変数ｚｄ１に基づく、疾患の種類に応じて定められた領域の異常さについての画像特徴が付加されたものとなる。したがって、第２の再構成画像Ｖ２は、入力された対象画像Ｇ０の画像特徴を再構成したものとなる。
【0083】
一方、第２の符号化学習モデルとしてのラベルエンコーダ３３および潜在モデル３３Ａは、所見の領域のみを含む所見ラベル画像等を教師データとして使用して、ニューラルネットワークを機械学習することにより構築される。ラベルエンコーダ３３および潜在モデル３３Ａを学習するための教師データについては後述する。ラベルエンコーダ３３もエンコーダ３１と同様に畳み込みニューラルネットワークからなる。また、潜在モデル３３Ａは潜在モデル３１Ａと同様に、ＶＱ－ＶＡＥの手法を用いて学習される。
【0084】
本実施形態においては、類似画像を検索する際、ラベルエンコーダ３３には、クエリ画像Ｑ０を構成する付加所見ラベル画像Ｆ０が入力される。ラベルエンコーダ３３は、入力された付加所見ラベル画像Ｆ０の特徴を、特徴マップの解像度が小さくなるように圧縮（すなわち次元圧縮）することにより符号化して、第３の潜在変数ｚ３を出力する。第３の潜在変数ｚ３は、付加された所見の異常さについての画像特徴を表す。
【0085】
第３の潜在変数ｚ３は、第１および第２の潜在変数ｚ１，ｚ２と同様に、ｎ×ｎ個のＤ次元のベクトルからなる。図７においては、例えばｎ＝４であり、第３の潜在変数ｚ３は、各位置がＤ次元のベクトルからなるｎ×ｎのマップとして表すことができる。なお、第３の潜在変数ｚ３と第１の潜在変数ｚ１とで、ベクトルの次元数およびベクトルの数が一致している必要がある。一方で、第３の潜在変数ｚ３は、第２の潜在変数ｚ２とベクトルの次元数およびベクトルの数を異なるものとしてもよい。ここで、第３の潜在変数ｚ３が、付加された所見についての画像特徴を表す付加所見特徴ベクトルに対応する。
【0086】
また、本実施形態においては、潜在モデル３３Ａにおいて、第３の潜在変数ｚ３に対して、所見の異常さについての代表的な画像特徴を表す、Ｋ個のＤ次元の第３の特徴ベクトルｅ３ｋが予め用意されている。なお、第３の特徴ベクトルｅ３ｋも、ストレージ１３に記憶される。また、用意される第３の特徴ベクトルｅ３ｋは第１の特徴ベクトルｅ１ｋと同一であっても異なるものであってもよい。また、用意される第３の特徴ベクトルｅ３ｋの数と第１および第２の特徴ベクトルｅ１ｋ，ｅ２ｋの数とを異なるものとしてもよい。用意された第３の特徴ベクトルｅ３ｋが所見特徴ベクトルの一例である。
【0087】
画像符号化部２２は、潜在モデル３３Ａにおいて、第３の潜在変数ｚ３に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを、第３の特徴ベクトルｅ３ｋにより置換する。この際、第３の潜在変数ｚ３に含まれるｎ×ｎ個のＤ次元のベクトルは、第１および第２の潜在変数と同様に、それぞれＤ次元のベクトル空間において、差が最小となる第３の特徴ベクトルｅ３ｋに置換される。このように、第３の潜在変数ｚ３に含まれるｎ×ｎ個のＤ次元のベクトルのそれぞれを第３の特徴ベクトルｅ３ｋと置換することにより、第３の潜在変数ｚ３は、ｎ×ｎ個の予め定められた値を持つ最大Ｋ個の潜在変数の組み合わせにより表されるものとなる。したがって、第３の潜在変数ｚｄ３は、Ｄ次元の潜在空間において量子化されて分布することとなる。
【0088】
量子化された第３の潜在変数として参照符号ｚｄ３を用いる。なお、量子化された第３の潜在変数ｚｄ３も、各位置がＤ次元のベクトルからなるｎ×ｎのマップとして表すことができる。付加所見ラベル画像Ｆ０について導出された、量子化された第３の潜在変数ｚｄ３が付加所見特徴量の一例である。
【0089】
学習部２４は、画像符号化部２２のエンコーダ３１および潜在モデル３１Ａ、画像復号化部２３のデコーダ３２Ａ～３２Ｃ、並びに画像符号化部２２のラベルエンコーダ３３および潜在モデル３３Ａの学習を行う。図９は、画像符号化部２２のエンコーダ３１および潜在モデル３１Ａ、並びに画像復号化部２３のデコーダ３２Ａ～３２Ｃの学習に使用する教師データの例を示す図である。図９に示すように、教師データ３５は、腫瘍、梗塞あるいは出血等の所見３７を含む脳の教師画像３６と、教師画像３６における所見の異常さの種類に応じた教師ラベル画像３８とを含む。ラベルエンコーダ３３および潜在モデル３３Ａの学習に使用する教師データについては後述する。
【0090】
学習部２４は、エンコーダ３１に教師画像３６を入力し、教師画像３６についての第１の潜在変数ｚ１および第２の潜在変数ｚ２を出力させる。なお、以降の説明においては、教師画像３６についての第１の潜在変数および第２の潜在変数についても、参照符号としてｚ１，ｚ２を用いるものとする。
【0091】
次いで、学習部２４は、第１の潜在変数ｚ１および第２の潜在変数ｚ２に含まれる潜在変数のベクトルを、潜在モデル３１Ａにおいて第１および第２の特徴ベクトルによりそれぞれ置換することにより、量子化された第１の潜在変数ｚｄ１および第２の潜在変数ｚｄ２を取得する。なお、以降の説明においては、教師画像３６についての量子化された第１の潜在変数および第２の潜在変数についても、参照符号としてｚｄ１，ｚｄ２を用いるものとする。教師画像３６についての、量子化された第１の潜在変数ｚｄ１および第２の潜在変数ｚｄ２が、第１の学習用特徴量および第２の学習用特徴量にそれぞれ対応する。
【0092】
そして、学習部２４は、第１の潜在変数ｚｄ１をデコーダ３２Ａに入力して、教師画像３６に含まれる所見３７の異常さについての種類に応じた学習用所見ラベル画像ＶＴ０を導出させる。また、学習部２４は、第２の潜在変数ｚｄ２をデコーダ３２Ｂに入力して、教師画像３６に含まれる所見３７が正常な領域であったとした場合の画像についての画像特徴を再構成した第１の学習用再構成画像ＶＴ１を導出させる。さらに、学習部２４は、第２の潜在変数ｚｄ２をデコーダ３２Ｃに入力し、デコーダ３２Ｃの各処理層に、各処理層の解像度に応じたサイズの学習用所見ラベル画像ＶＴ０、具体的には学習用所見ラベル画像ＶＴ０の特徴マップを側副的に入力して、教師画像３６についての画像特徴を再構成した第２の学習用再構成画像ＶＴ２を導出させる。なお、第２の学習用再構成画像ＶＴ２の導出に際し、学習用所見ラベル画像ＶＴ０を導出する直前の処理層から出力される特徴マップを、デコーダ３２Ｃの各処理層の解像度に応じたサイズとなるように縮小することにより、デコーダ３２Ｃの各処理層に側副的に入力すればよい。
【0093】
図１０はラベルエンコーダ３３および潜在モデル３３Ａの学習に使用する教師データの例を示す図である。図１０に示すように、教師データ３９は、教師データ３５に含まれる教師ラベル画像３８およびデコーダ３２Ａから出力された学習用所見ラベル画像ＶＴ０を含む。ここで、学習用所見ラベル画像ＶＴ０がラベルエンコーダ３３および潜在モデル３３Ａの学習に使用される場合には、これを教師用ラベル画像と称するものとする。このため、学習部２４は、学習用所見ラベル画像ＶＴ０をコピーしたものを、教師用所見ラベル画像として教師データ３９に加えるべく、メモリ１６に保持する。図７において、学習用所見ラベル画像ＶＴ０をコピーして教師用所見ラベル画像とすることを破線で示している。なお、教師用ラベル画像についても学習用所見ラベル画像と同様の参照符号ＶＴ０を用いるものとする。さらに、ラベルエンコーダ３３および潜在モデル３３Ａの学習においては、教師用所見ラベル画像ＶＴ０が導出された際にデコーダ３２Ａに入力されていた第１の潜在変数ｚｄ１を、第１の教師用特徴量として用いる。このため、学習部２４は、量子化された第１の潜在変数ｚｄ１をコピーしたものを、第１の教師用特徴量としてメモリ１６に保持する。図７においては、第１の潜在変数ｚｄ１をコピーして第１の教師用特徴量とすることを破線で示している。なお、第１の教師用特徴量についても、参照符号としてｚｄ１を用いるものとする。
【0094】
ラベルエンコーダ３３および潜在モデル３３Ａの学習に使用する教師データ３９は、教師データ３５に含まれる教師ラベル画像３８および教師画像３６から導出された教師用所見ラベル画像ＶＴ０のいずれか一方のみを含むものであってもよい。しかしながら、ラベルエンコーダ３３および潜在モデル３３Ａの学習に使用する画像の数が多いほど学習を効果的に進めることができるため、教師データ３９には、教師データ３５に含まれる教師ラベル画像３８および教師画像３６から導出された教師用所見ラベル画像ＶＴ０の双方を含めることが好ましい。
【0095】
学習部２４は、ラベルエンコーダ３３に教師ラベル画像３８を入力し、教師ラベル画像３８についての第３の潜在変数ｚ３を出力させる。また、ラベルエンコーダ３３に教師用所見ラベル画像ＶＴ０を入力し、教師用所見ラベル画像ＶＴ０についての第３の潜在変数ｚ３を出力させる。なお、以降の説明においては、教師データ３９についての第３の潜在変数についても、参照符号としてｚ３を用いるものとする。また、ラベルエンコーダ３３に教師用所見ラベル画像ＶＴ０を入力した場合と教師ラベル画像３８を入力した場合とで、行われる学習の処理は同一であるため、ここではラベルエンコーダ３３に教師ラベル画像３８を入力した場合の処理について説明する。
【0096】
次いで、学習部２４は、第３の潜在変数ｚ３に含まれる潜在変数のベクトルを、潜在モデル３３Ａにおいて第３の特徴ベクトルによりそれぞれ置換することにより、量子化された第３の潜在変数ｚｄ３を取得する。なお、以降の説明においては、学習に用いられる第３の潜在変数についても、参照符号としてｚｄ３を用いるものとする。教師データ３９について導出された、量子化された第３の潜在変数ｚｄ３を第３の学習用特徴量とする。
【0097】
学習部２４は、第１の学習用特徴量である第１の潜在変数ｚｄ１と予め定められた第１の特徴量の確率分布との差を第１の損失Ｌ１として導出する。ここで、予め定められた第１の特徴量の確率分布とは、第１の潜在変数ｚｄ１が従うべき確率分布である。ＶＱ－ＶＡＥの手法を用いた場合、コードワード損失およびコミットメント損失が、第１の損失Ｌ１として導出される。コードワード損失とは、第１の特徴量の確率分布における代表的な局所特徴であるコードワードが取るべき値である。コミットメント損失とは、第１の潜在変数ｚｄ１と、第１の潜在変数ｚｄ１に最も近いコードワードとの距離である。第１の損失Ｌ１によって、予め定められた第１の特徴量の確率分布にしたがった第１の潜在変数ｚｄ１が取得されるように、エンコーダ３１および潜在モデル３１Ａが学習される。
【0098】
また、学習部２４は、第２の学習用特徴量である第２の潜在変数ｚｄ２と予め定められた第２の特徴量の確率分布との差を第２の損失Ｌ２として導出する。ここで、予め定められた第２の特徴量の確率分布とは、第２の潜在変数ｚｄ２が従うべき確率分布である。ＶＱ－ＶＡＥの手法を用いた場合、第１の損失Ｌ１と同様に、コードワード損失およびコミットメント損失が、第２の損失Ｌ２として導出される。第２の潜在変数ｚｄ２に関するコードワード損失とは、第２の特徴量の確率分布における代表的な局所特徴であるコードワードが取るべき値である。第２の潜在変数ｚｄ２に関するコミットメント損失とは、第２の潜在変数ｚｄ２と、第２の潜在変数ｚｄ２に最も近いコードワードとの距離である。第２の損失Ｌ２によって、予め定められた第２の特徴量の確率分布にしたがった第２の潜在変数ｚｄ２が取得されるように、エンコーダ３１および潜在モデル３１Ａが学習される。
【0099】
また、学習部２４は、教師画像３６に含まれる所見３７の異常さについての種類に応じた教師ラベル画像３８と、学習用所見ラベル画像ＶＴ０との教師画像に対するセマンティックセグメンテーションとしての差を第３の損失Ｌ３として導出する。
【0100】
「セマンティックセグメンテーションとしての差」とは、教師ラベル画像３８により表される異常さの種類に応じた領域と、学習用所見ラベル画像ＶＴ０により表される異常さの種類に応じた領域との重なりに基づいて定められる指標である。具体的には、教師ラベル画像３８の要素数と学習用所見ラベル画像ＶＴ０の要素数との和に対する、教師ラベル画像３８と学習用所見ラベル画像ＶＴ０との共通の要素数×２の値をセマンティックセグメンテーションとしての差、すなわち第３の損失Ｌ３として用いることができる。
【0101】
また、学習部２４は、教師画像３６に含まれる所見３７外の領域と第１の学習用再構成画像ＶＴ１との差を、第４の損失Ｌ４として導出する。具体的には、学習部２４は、教師画像３６から所見３７を除去した領域と、第１の学習用再構成画像ＶＴ１との差を第４の損失Ｌ４として導出する。
【0102】
また、学習部２４は、教師画像３６と第２の学習用再構成画像ＶＴ２との差を、第５の損失Ｌ５として導出する。
【0103】
さらに、学習部２４は、第２の学習用特徴量である第２の潜在変数ｚｄ２が、教師画像３６における所見３７が正常な領域であったとした場合の画像特徴を含み、教師画像３６における所見３７についての画像特徴を含まないように、第２の潜在変数ｚｄ２を導出する。具体的には、Wasserstein GAN（Proceedings of the 34th International Conference on Machine Learning, PMLR 70:214-223, 2017.）の手法を用いることによって、所見３７を含まない教師画像３６から導出された第２の潜在変数ｚｄ２の分布をあるべき分布として、所見３７を含む教師画像３６から導出された第２の潜在変数ｚｄ２の分布との差を、第６の損失Ｌ６として導出する。
【0104】
Wasserstein GANの手法により、クリティックネットワークと称するニューラルネットワークが、エンコーダ３１およびラベルエンコーダ３３と同様に畳み込みニューラルネットワークとして構築される。クリティックネットワークは、所見３７を含まない複数の教師画像３６から導出された複数の第２の潜在変数ｚｄ２および所見３７を含む複数の教師画像３６から導出された複数の第２の潜在変数ｚｄ２を入力とする。そして、クリティックネットワークは、所見３７を含まない教師画像３６から導出された第２の潜在変数ｚｄ２の分布と、所見３７を含む教師画像３６から導出された第２の潜在変数ｚｄ２の分布との差を、Wasserstein距離として算出する。このとき、クリティックネットワークが、所見３７を含まない教師画像３６から導出された第２の潜在変数ｚｄ２の分布と、所見３７を含む教師画像３６から導出された第２の潜在変数ｚｄ２の分布とに含まれるすべての点において、単位勾配ノルムを持つように制約項を加えてもよい。
【0105】
また、学習部２４は、第３の学習用特徴量である第３の潜在変数ｚｄ３と予め定められた第３の特徴量の確率分布との差を第７の損失Ｌ７として導出する。
【0106】
ここで、予め定められた第３の特徴量の確率分布とは、第３の潜在変数ｚｄ３が従うべき確率分布である。ＶＱ－ＶＡＥの手法を用いた場合、第１の損失Ｌ１と同様に、コードワード損失およびコミットメント損失が、第７の損失Ｌ７として導出される。第３の潜在変数ｚｄ３に関するコードワード損失とは、第３の特徴量の確率分布における代表的な局所特徴であるコードワードが取るべき値である。第３の潜在変数ｚｄ３に関するコミットメント損失とは、第３の潜在変数ｚｄ３と、第３の潜在変数ｚｄ３に最も近いコードワードとの距離である。第７の損失Ｌ７によって、予め定められた第３の特徴量の確率分布にしたがった第３の潜在変数ｚｄ３が取得されるように、ラベルエンコーダ３３および潜在モデル３３Ａが学習される。
【0107】
また、学習部２４は、第３の潜在変数ｚｄ３と第１の教師用特徴量ｚｄ１との差を第８の損失Ｌ８として導出する。
【0108】
ここで、エンコーダ３１および潜在モデル３１Ａにより取得された第１の潜在変数ｚｄ１が、予め定められた第１の特徴量の確率分布に従うほど、エンコーダ３１からは教師画像３６に含まれる所見３７の異常さを忠実に再現可能な好ましい第１の潜在変数ｚ１を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第１の潜在変数ｚｄ１を取得することが可能となる。
【0109】
また、エンコーダ３１および潜在モデル３１Ａにより取得された第２の潜在変数ｚｄ２が、予め定められた第２の特徴量の確率分布に従うほど、エンコーダ３１からは、教師画像３６に含まれる所見３７が正常な領域であったとした場合の画像を忠実に再現可能な好ましい第２の潜在変数ｚ２を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第２の潜在変数ｚｄ２を取得することが可能となる。
【0110】
また、デコーダ３２Ａから出力される学習用所見ラベル画像ＶＴ０は、第１の潜在変数ｚｄ１に基づいて導出されるため、教師ラベル画像３８とは完全には一致しない。また、学習用所見ラベル画像ＶＴ０は、教師画像３６に含まれる所見３７と完全には一致しない。しかしながら、学習用所見ラベル画像ＶＴ０と教師ラベル画像３８との教師画像３６に対するセマンティックセグメンテーションとしての差が小さいほど、対象画像Ｇ０が入力された場合に、エンコーダ３１からはより好ましい第１の潜在変数ｚ１を出力することが可能となる。すなわち、対象画像Ｇ０におけるどこが所見であるかを表す情報および所見の異常さについての画像特徴を潜在的に含む第１の潜在変数ｚ１を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第１の潜在変数ｚｄ１を取得することが可能となる。したがって、エンコーダ３１により対象画像Ｇ０から所見を抽出しつつ、所見の異常さについての画像特徴を表す第１の潜在変数ｚｄ１が導出されることとなる。また、デコーダ３２Ａからは対象画像に含まれる所見に対応する領域に関して、所見の異常さについての種類に応じた所見ラベル画像Ｖ０を出力することが可能となる。
【0111】
また、デコーダ３２Ｂから出力される第１の学習用再構成画像ＶＴ１は、第２の潜在変数ｚｄ２に基づいて導出されるため、教師画像３６に含まれる所見３７が正常な領域であったとした場合の画像についての画像特徴とは完全には一致しない。しかしながら、第１の学習用再構成画像ＶＴ１と教師画像３６における所見３７でない領域との差が小さいほど、対象画像Ｇ０が入力された場合に、エンコーダ３１からはより好ましい第２の潜在変数ｚ２を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第２の潜在変数ｚｄ２を取得することが可能となる。また、デコーダ３２Ｂからは対象画像Ｇ０に含まれる所見が正常な領域であったとした場合の画像についての画像により近い第１の再構成画像Ｖ１を出力することが可能となる。
【0112】
また、デコーダ３２Ｃから出力される第２の学習用再構成画像ＶＴ２は、第１の潜在変数ｚｄ１および第２の潜在変数ｚｄ２に基づいて導出されるため、教師画像３６とは完全には一致しない。しかしながら、第２の学習用再構成画像ＶＴ２と教師画像３６との差が小さいほど、対象画像Ｇ０が入力された場合に、エンコーダ３１からはより好ましい第１の潜在変数ｚ１および第２の潜在変数ｚ２を出力することが可能となる。また、潜在モデル３１Ａによってより好ましい量子化された第１の潜在変数ｚｄ１および量子化された第２の潜在変数ｚｄ２を取得することが可能となる。また、デコーダ３２Ｃからは対象画像Ｇ０により近い第２の再構成画像Ｖ２を出力することが可能となる。
【0113】
また、エンコーダ３１および潜在モデル３１Ａにより取得された第２の潜在変数ｚｄ２について、所見３７を含まない教師画像３６から導出された場合の分布（所見無し分布とする）と、所見３７を含む教師画像３６から導出された場合の分布（所見有り分布とする）とは、所見３７の有無に応じた画像特徴の違いに影響される。このため、所見無し分布と所見有り分布とは完全には一致しない。しかしながら、所見無し分布をあるべき分布とみなすと、所見無し分布と所見有り分布との差が小さくなるほど、所見３７を含む教師画像３６から導出された第２の潜在変数ｚｄ２が、教師画像３６に含まれる所見３７の画像特徴を含まず、教師画像３６に含まれる所見３７が正常な領域であったとした場合の画像についての画像特徴のみを含むようになる。これにより、好ましい第２の潜在変数ｚｄ２を取得することが可能となる。したがって、エンコーダ３１からは、教師画像３６に含まれる所見３７が正常な領域であったとした場合の画像を忠実に再現可能な好ましい第２の潜在変数ｚ２を出力することが可能となる。
【0114】
また、ラベルエンコーダ３３および潜在モデル３３Ａにより取得された第３の潜在変数ｚｄ３が、予め定められた第３の特徴量の確率分布に従うほど、ラベルエンコーダ３３および潜在モデル３３Ａからは、教師ラベル画像３８または教師用所見ラベル画像に含まれる所見の異常さを忠実に再現可能な好ましい第３の潜在変数ｚ３を出力することが可能となる。また、潜在モデル３３Ａによってより好ましい量子化された第３の潜在変数ｚｄ３を取得することが可能となる。
【0115】
また、ラベルエンコーダ３３および潜在モデル３３Ａより取得された第３の潜在変数ｚｄ３と第１の教師用特徴量ｚｄ１との差が小さいほど、ラベルエンコーダ３３および潜在モデル３３Ａから導出された、教師ラベル画像３８または教師用所見ラベル画像ＶＴ０に含まれる所見の異常さを表す第３の潜在変数ｚ３が、エンコーダ３１および潜在モデル３１Ａから導出された、対象画像Ｇ０に含まれる所見の異常さについての画像特徴を表す第１の潜在変数ｚｄ１を近似するようになる。したがって、ラベルエンコーダ３３および潜在モデル３３Ａからは、教師ラベル画像３８または教師用所見ラベル画像ＶＴ０に含まれる所見の異常さに応じた、教師画像３６に含まれるべき所見３７の画像特徴を表す第１の潜在変数ｚｄ１を推定して取得することが可能となる。
【0116】
このため、学習部２４は、上述したように導出した第１から第８の損失Ｌ１～Ｌ８のうちの少なくとも１つに基づいて、エンコーダ３１、潜在モデル３１Ａ、デコーダ３２Ａ～３２Ｃ、ラベルエンコーダ３３および潜在モデル３３Ａの学習を行う。本実施形態においては、学習部２４は、損失Ｌ１～Ｌ８のすべてが、予め定められた条件を満足するように、エンコーダ３１、潜在モデル３１Ａ、デコーダ３２Ａ～３２Ｃ、ラベルエンコーダ３３および潜在モデル３３Ａを学習する。すなわち、第１から第６の損失Ｌ１～Ｌ６の損失が小さくなるように、エンコーダ３１、潜在モデル３１Ａおよびデコーダ３２Ａ～３２Ｃを構成する処理層の数、プーリング層の数、処理層におけるカーネルの係数、カーネルの大きさ、各層間の結合の重み、第１の特徴ベクトルｅ１ｋおよび第２の特徴ベクトルｅ２ｋ等を更新することにより、エンコーダ３１、潜在モデル３１Ａおよびデコーダ３２Ａ～３２Ｃを学習する。また、学習部２４は、ラベルエンコーダ３３および潜在モデル３３Ａについては、第７および第８の損失Ｌ７，Ｌ８が小さくなるように、ラベルエンコーダ３３および潜在モデル３３Ａを構成する処理層の数、プーリング層の数、処理層におけるカーネルの係数、カーネルの大きさ、各層間の結合の重み、第３の特徴ベクトルｅ３ｋ等を更新することにより、ラベルエンコーダ３３および潜在モデル３３Ａを学習する。
【0117】
なお、本実施形態においては、学習部２４は、第１の損失Ｌ１が予め定められたしきい値Ｔｈ１以下となり、第２の損失Ｌ２が予め定められたしきい値Ｔｈ２以下となり、第３の損失Ｌ３が予め定められたしきい値Ｔｈ３以下となり、第４の損失Ｌ４が予め定められたしきい値Ｔｈ４以下となり、第５の損失Ｌ５が予め定められたしきい値Ｔｈ５以下となり、第６の損失Ｌ６が予め定められたしきい値Ｔｈ６以下となり、第７の損失Ｌ７が予め定められたしきい値Ｔｈ７以下となり、第８の損失Ｌ８が予め定められたしきい値Ｔｈ８以下となるように、エンコーダ３１、潜在モデル３１Ａ、デコーダ３２Ａ～３２Ｃ、ラベルエンコーダ３３および潜在モデル３３Ａを学習する。なお、しきい値を使用する学習に代えて，予め定められた回数の学習を行うようにしてもよく、各損失Ｌ１～Ｌ８が最小あるいは最大になるように学習を行うようにしてもよい。
【0118】
このように学習部２４がエンコーダ３１、潜在モデル３１Ａ、デコーダ３２Ａ～３２Ｃ、ラベルエンコーダ３３および潜在モデル３３Ａの学習を行うことにより、エンコーダ３１は、入力される対象画像Ｇ０に含まれる脳の所見の異常さの画像特徴をより適切に表す第１の潜在変数ｚ１を出力するようになる。また、エンコーダ３１は、入力される対象画像Ｇ０に含まれる脳において、所見が正常な領域であったとした場合の脳の画像特徴をより適切に表す第２の潜在変数ｚ２を出力するようになる。また、潜在モデル３１Ａは、入力される対象画像Ｇ０に含まれる脳の所見の異常さを表す画像特徴をより適切に表す量子化された第１の潜在変数ｚｄ１を取得するようになる。また、潜在モデル３１Ａは、入力される対象画像Ｇ０に含まれる脳において、所見が正常な領域であったとした場合の脳の画像特徴をより適切に表す量子化された第２の潜在変数ｚｄ２を取得するようになる。
【0119】
また、デコーダ３２Ａは、量子化された第１の潜在変数ｚｄ１が入力されると、対象画像Ｇ０に含まれる所見の異常さの種類に応じたセマンティックセグメンテーションをより正確に表す所見ラベル画像Ｖ０を出力するようになる。また、デコーダ３２Ｂは、量子化された第２の潜在変数ｚｄ２が入力されると、対象画像Ｇ０における、所見が仮に正常な領域であった場合の脳の画像特徴を再構成した第１の再構成画像Ｖ１を出力するようになる。また、デコーダ３２Ｃは、量子化された第２の潜在変数ｚｄ２が入力され、かつ各処理層に所見ラベル画像Ｖ０が側副的に入力されると、第２の潜在変数ｚｄ２に基づく、第１の再構成画像Ｖ１に含まれる正常組織のみからなる脳についての画像特徴に対して、第１の潜在変数ｚｄ１に基づく、疾患の種類に応じて定められた領域の異常さについての画像特徴が付加され、その結果、所見を含む脳の画像特徴を再構成した第２の再構成画像Ｖ２を出力するようになる。
【0120】
また、ラベルエンコーダ３３は、付加所見ラベル画像Ｆ０が入力されると、付加所見ラベル画像Ｆ０に含まれる脳の所見の異常さの画像特徴をより適切に表す第３の潜在変数ｚ３を出力するようになる。また、潜在モデル３３Ａは、付加所見ラベル画像Ｆ０に含まれる脳の所見の異常さを表す画像特徴をより適切に表す量子化された第３の潜在変数ｚｄ３を出力するようになる。さらに、この過程で導出された第３の潜在変数ｚｄ３は、付加所見ラベル画像Ｆ０に対応する画像に含まれる脳の所見の異常さの画像特徴を表す第１の潜在変数ｚｄ１の推定値となる。
【0121】
類似度導出部２５は、クエリ画像Ｑ０が導出され、ユーザにより検索画面４０の検索実行ボタン４４が選択されると、画像保管サーバ３に保管された画像データベースＤＢに登録された参照画像のうち、クエリ画像導出部２１が導出したクエリ画像Ｑ０（すなわち対象画像Ｇ０）と類似する類似参照画像を検索すべく、クエリ画像Ｑ０と画像データベースＤＢに登録されたすべての参照画像との類似度を導出する。ここで、画像データベースＤＢには、脳の各種症例についての複数の参照画像が登録されている。本実施形態においては、参照画像について、学習済みのエンコーダ３１を含む画像符号化部２２により、量子化された第１および第２の潜在変数が予め導出されて、参照画像と対応づけられて画像データベースＤＢに登録されている。参照画像と対応づけられて画像データベースＤＢに登録された第１および第２の潜在変数を、第１および第２の参照潜在変数と称する。なお、第１の参照潜在変数が参照所見特徴量の一例であり、第２の参照潜在変数が参照正常特徴量の一例である。
【0122】
以下、類似度導出部２５における類似度の導出について説明する。本実施形態においては、クエリ画像Ｑ０には、クエリベース画像Ｂ０にユーザが付加した所見が含まれる。類似度導出部２５は、クエリ画像Ｑ０と参照画像との類似度を導出する。
【0123】
図１１は類似画像を検索する際のクエリ画像Ｑ０からの特徴量の導出を説明するための図である。図１１に示すように、本実施形態においては、画像符号化部２２のラベルエンコーダ３３および潜在モデル３３Ａにより、クエリ画像Ｑ０を構成する付加所見ラベル画像Ｆ０に含まれる所見の異常さについての画像特徴を表す、量子化された第３の潜在変数ｚｄ３が付加所見特徴量として導出される。また、画像符号化部２２のエンコーダ３１および潜在モデル３１Ａにより、クエリ画像Ｑ０を構成するクエリベース画像Ｂ０についての画像特徴を表す、量子化された第２の潜在変数ｚｄ２がクエリ正常特徴量として導出される。類似度導出部２５は、クエリ画像Ｑ０について導出された第３の潜在変数ｚｄ３と参照画像に対応する第１の参照潜在変数との差、およびクエリ画像Ｑ０について導出された第２の潜在変数ｚｄ２と参照画像に対応する第２の参照潜在変数との差に基づいて、類似度を導出する。
【0124】
具体的には、類似度導出部２５は、下記の式（１）に示すように、潜在変数のベクトル空間において、第３の潜在変数ｚｄ３と第１の参照潜在変数とのマップにおける対応する位置のベクトルのユークリッド距離√{(Vq3(i,j)-Vr1(i,j)}2を導出し、導出したユークリッド距離の総和Σ[√{(Vq3(i,j)-Vr1(i,j)}2]を導出する。また、類似度導出部２５は、第２の潜在変数ｚｄ２と第２の参照潜在変数とのマップにおける対応する位置のベクトルのユークリッド距離√{(Vq2(i,j)-Vr2(i,j)}2を導出し，導出したユークリッド距離の総和Σ[√{(Vq2(i,j)-Vr2(i,j)}2]を導出する。そして、類似度導出部２５は、２つの総和の和を類似度として導出する。
【0125】
式（１）において、Ｓ０は類似度、Ｖｑ３（ｉ，ｊ）は、第３の潜在変数ｚｄ３におけるマップの位置（ｉ，ｊ）におけるベクトル、Ｖｒ１（ｉ，ｊ）は、第１の参照潜在変数におけるマップの位置（ｉ，ｊ）におけるベクトル、Ｖｑ２（ｉ，ｊ）は、第２の潜在変数ｚｄ２におけるマップの位置（ｉ，ｊ）におけるベクトル、Ｖｒ２（ｉ，ｊ）は、第２の参照潜在変数におけるマップの位置（ｉ，ｊ）におけるベクトルをそれぞれ表す。
S0＝Σ[√{(Vq3(i,j)-Vr1(i,j)}2]+Σ[√{(Vq2(i,j)-Vr2(i,j)}2] （１）
S0＝Σ[√{(Vq3(i,j)-Vr1(i,j)}2]+Σ[√{(Vq2(i,j)-Vr2(i,j)}2] （１）
【0126】
なお、上記式（１）に代えて、下記の式（１ａ）により、類似度Ｓ０を導出してもよい。ここで、concat(a,b)とはベクトルａとベクトルｂとを連結する演算である。
S0 = Σ[√{(Vq32(i,j)-Vr12(i,j)}2] （１ａ）
但し、
Vq32(i,j) = concat(Vq3(i,j),Vq2(i,j))
Vr12(i,j) = concat(Vr1(i,j),Vr2(i,j))
S0 = Σ[√{(Vq32(i,j)-Vr12(i,j)}2] （１ａ）
但し、
Vq32(i,j) = concat(Vq3(i,j),Vq2(i,j))
Vr12(i,j) = concat(Vr1(i,j),Vr2(i,j))
【0127】
なお、類似度Ｓ０の導出は、上記手法に限定されるものではない。ユークリッド距離に代えて、マンハッタン距離、ベクトル内積あるいはコサイン類似度等を用いてもよい。
【0128】
抽出部２６は、入力された検索条件に応じた類似度Ｓ０に基づいて、画像データベースＤＢからクエリ画像Ｑ０に類似する類似参照画像を抽出する。抽出部２６は、クエリ画像Ｑ０と画像データベースＤＢに登録されたすべての参照画像との類似度Ｓ０に基づいて、クエリ画像Ｑ０に類似する参照画像を類似参照画像として抽出する。具体的には、抽出部２６は、類似度Ｓ０が大きい順に参照画像をソートして検索結果リストを作成する。図１２は検索結果リストを示す図である。図１２に示すように、検索結果リスト５０には、画像データベースＤＢに登録された参照画像が、類似度Ｓ０が大きい順にソートされている。そして、抽出部２６は、検索結果リスト５０におけるソート順が上位所定数の参照画像を、画像データベースＤＢから類似参照画像として抽出する。
【0129】
表示制御部２７は、抽出部２６による抽出結果をディスプレイ１４に表示する。図１３は抽出部２６による抽出結果である検索結果を含む検索画面を示す図である。図１３に示すように、検索画面４０の第３の表示領域４３には、クエリ画像Ｑ０と類似する４つの類似参照画像Ｒ１１～Ｒ１４が表示されている。
【0130】
次いで、本実施形態において行われる処理について説明する。図１４は本実施形態において行われる学習処理を示すフローチャートである。なお、複数の教師データは画像保管サーバ３から取得されてストレージ１３に保存されているものとする。まず、学習部２４は、教師画像３６および教師ラベル画像３８を含む１つの教師データ３５をストレージ１３から取得し（ステップＳＴ１）、教師データ３５に含まれる、教師画像３６を画像符号化部２２のエンコーダ３１に入力する。エンコーダ３１は、第１の潜在変数ｚ１および第２の潜在変数ｚ２を、それぞれ第１の学習用特徴量および第２の学習用特徴量として導出する。また、学習部２４は、教師ラベル画像３８を教師データ３９として使用し、教師ラベル画像３８を画像符号化部２２のラベルエンコーダ３３に入力する。ラベルエンコーダ３３は、第３の潜在変数ｚ３を第３の学習用特徴量として導出する（学習用特徴量導出；ステップＳＴ２）。
【0131】
なお、教師用所見ラベル画像ＶＴ０を教師データ３９として使用する場合、教師用所見ラベル画像ＶＴ０からの第３の学習用特徴量の導出および量子化は、後述するステップＳＴ４の後に行われる。
【0132】
次いで、学習部２４は、第１の潜在変数ｚ１、第２の潜在変数ｚ２および第３の潜在変数ｚ３から、量子化された第１の潜在変数ｚｄ１、量子化された第２の潜在変数ｚｄ２および量子化された第３の潜在変数ｚｄ３を導出する。さらに、学習部２４は、量子化された第１の潜在変数ｚｄ１をコピーしたものを、第１の教師用特徴量ｚｄ１としてメモリ１６に保持する（量子化；ステップＳＴ３）。
【0133】
そして学習部２４は、量子化された第１の潜在変数ｚｄ１を画像復号化部２３のデコーダ３２Ａに入力する。これにより、デコーダ３２Ａは、教師画像３６に含まれる所見３７の異常さについての種類に応じた学習用所見ラベル画像ＶＴ０を導出する。また、教師用所見ラベル画像ＶＴ０を教師データ３９として使用する場合、学習部２４は、学習用所見ラベル画像ＶＴ０をコピーしたものを、教師用所見ラベル画像ＶＴ０としてメモリ１６に保持する。また、学習部２４は、量子化された第２の潜在変数ｚｄ２を画像復号化部２３のデコーダ３２Ｂに入力する。これにより、デコーダ３２Ｂは、教師画像３６に含まれる所見が正常な領域であったとした場合の画像を再構成した第１の学習用再構成画像ＶＴ１を導出する。また、学習部２４は、第２の潜在変数ｚｄ２をデコーダ３２Ｃに入力し、さらにデコーダ３２Ｃの各処理層の解像度に応じたサイズの学習用所見ラベル画像ＶＴ０を、デコーダ３２Ｃの各処理層に側副的に入力する。これにより、デコーダ３２Ｃは教師画像３６の画像特徴を再構成した第２の学習用再構成画像ＶＴ２を導出する（学習用画像導出；ステップＳＴ４）。
【0134】
続いて、学習部２４は、上述したように第１から第８の損失Ｌ１～Ｌ８を導出する（ステップＳＴ５）。
【0135】
そして、学習部２４は、第１から第８の損失Ｌ１～Ｌ８が、予め定められた条件を満足するか否かを判定する（条件判定；ステップＳＴ６）。ステップＳＴ６が否定されると、学習部２４は新たな教師データをストレージ１３から取得し（ステップＳＴ７）、ステップＳＴ２の処理に戻り、新たな教師データを用いてステップＳＴ２～ステップＳＴ６の処理を繰り返す。ステップＳＴ６が肯定されると、学習部２４は学習処理を終了する。これにより、画像符号化部２２のエンコーダ３１、潜在モデル３１Ａ、ラベルエンコーダ３３および潜在モデル３３Ａ、並びに画像復号化部２３のデコーダ３２Ａ～３２Ｃが構築される。
【0136】
次いで、本実施形態において行われる画像検索処理について説明する。図１５は、本実施形態において行われる画像検索処理のフローチャートである。まず、ユーザからの指示に基づいて、情報取得部２０が、検索の対象となるクエリ画像Ｑ０を導出するためのクエリベース画像Ｂ０を取得し（ステップＳＴ１１）、表示制御部２７が、クエリベース画像Ｂ０を含む検索画面４０をディスプレイ１４に表示する（ステップＳＴ１２）。
【0137】
次いで、クエリ画像導出部２１が、クエリベース画像Ｂ０に対する所見の描画を受け付けることにより、所見が付加されたクエリ画像Ｑ０を導出する（ステップＳＴ１３）。
【0138】
そして、検索実行ボタン４４が選択されることにより検索実行が指示されると（ステップＳＴ１４；ＹＥＳ）、画像符号化部２２が、クエリ画像Ｑ０を構成する付加所見ラベル画像Ｆ０についての量子化された第３の潜在変数ｚｄ３、およびクエリ画像Ｑ０を構成するクエリベース画像Ｂ０についての量子化された第２の潜在変数ｚｄ２を、それぞれ付加所見特徴量およびクエリ正常特徴量として導出する（特徴量導出；ステップＳＴ１５）。そして、類似度導出部２５が、付加所見特徴量およびクエリ正常特徴量に基づいて、クエリ画像Ｑ０と画像保管サーバ３の画像データベースＤＢに登録された参照画像との類似度を導出する（ステップＳＴ１６）。次いで、抽出部２６が、検索条件に応じて、類似度が上位所定数の参照画像を類似参照画像として抽出する（ステップＳＴ１７）。さらに、表示制御部２７が、類似参照画像を検索画面４０の第３の表示領域４３に表示し（検索結果表示；ステップＳＴ１８）、処理を終了する。
【0139】
このように、本実施形態においては、クエリベース画像Ｂ０に対する、検索を所望する少なくとも１つの所見を表す所見情報の入力を受け付けることにより、所見が付加されたクエリ画像Ｑ０を導出するようにした。また、付加された所見についての画像特徴を表す少なくとも１つの付加所見特徴量、およびクエリベース画像Ｂ０における脳に含まれる正常領域についての画像特徴を表す少なくとも１つのクエリ正常特徴量を導出し、付加所見特徴量およびクエリ正常特徴量に基づいて、クエリ画像Ｑ０と画像保管サーバ３に保存された複数の参照画像のそれぞれとの類似度を導出し、類似度に基づいて、クエリ画像Ｑ０に類似する参照画像を類似画像として画像保管サーバ３から抽出するようにした。
【0140】
このため、所望とされる所見を含むクエリ画像Ｑ０が手元にない場合であっても、ユーザは所望とされる所見を含むクエリ画像Ｑ０を導出して、クエリ画像Ｑ０に類似する類似画像を検索することができる。このため、ユーザはクエリ画像Ｑ０をデータベースに保存された画像から探す作業を行う必要がなくなり、その結果、ユーザが所望とする画像を簡易に検索することができる。
【0141】
なお、上記実施形態においては、クエリベース画像Ｂ０として、検索を所望する部位が正常領域のみからなる標準的な画像を用いているが、これに限定されるものではない。検索を所望する部位が所見を含む画像をクエリベース画像Ｂ０として用いてもよい。図１６は所見を含むクエリベース画像Ｂ０の例を示す図である。図１６に示すように、クエリベース画像Ｂ０は、例えば左脳に脳梗塞等の所見６０を含む。
【0142】
図１７は、図１６に示す所見を含むクエリベース画像Ｂ０に対して所見を付加することにより導出されたクエリ画像を示す図である。図１７に示すように、クエリ画像Ｑ１は、クエリベース画像Ｂ０に含まれている所見６０および付加された所見４５を含む。なお、クエリ画像Ｑ１は、所見６０を含むクエリベース画像Ｂ０と、所見４５のみを含む付加所見ラベル画像Ｆ０とから構成される。このとき、クエリベース画像Ｂ０に元々含まれている所見６０を表す情報を、デコーダ３２Ａから導出される所見ラベル情報に置き換えて、これをユーザの操作により所望する所見の種類に応じたより望ましいラベル情報へと修正することにより、付加所見ラベル画像Ｆ０を作成してもよい。
【0143】
図１７に示すようなクエリ画像Ｑ１を用いて類似画像検索を行う場合、画像符号化部２２のラベルエンコーダ３３および潜在モデル３３Ａにより、クエリ画像Ｑ１を構成する付加所見ラベル画像Ｆ０に含まれる所見の異常さについての画像特徴を表す第３の潜在変数ｚｄ３が導出される。また、画像符号化部２２のエンコーダ３１および潜在モデル３１Ａにより、クエリ画像Ｑ１を構成する、所見６０を含むクエリベース画像Ｂ０についての画像特徴を表す第２の潜在変数ｚｄ２が導出される。ここで、第２の潜在変数ｚｄ２は、クエリベース画像Ｂ０に含まれる所見６０が正常な領域であったとした場合のクエリベース画像Ｂ０の画像特徴をより適切に表す。
【0144】
このため、本実施形態においては、クエリベース画像Ｂ０が所見を含むものであっても、含まれる所見とは異なる位置に異なる所見を含むクエリ画像Ｑ１を導出して、類似画像検索を行うことができる。
【0145】
また、上記実施形態においては、クエリベース画像Ｂ０における１カ所にのみ所見のみを付加しているが、これに限定されるものではない。クエリベース画像Ｂ０の複数箇所に所見を付加するようにしてもよい。この場合、付加所見ラベル画像Ｆ０は、複数箇所に付加された所見の領域を含むものとなる。
【0146】
また、上記実施形態においては、画像符号化部２２のエンコーダ３１および潜在モデル３１Ａ、画像復号化部２３のデコーダ３２Ａ～３２Ｃ、並びに画像符号化部２２のラベルエンコーダ３３および潜在モデル３３Ａを同時に学習しているが、これに限定されるものではない。まず、画像符号化部２２のエンコーダ３１および潜在モデル３１Ａ、並びに画像復号化部２３のデコーダ３２Ａ～３２Ｃを学習した後に、画像符号化部２２のラベルエンコーダ３３および潜在モデル３３Ａを学習するようにしてもよい。この場合、ラベルエンコーダ３３および潜在モデル３３Ａの学習時には、デコーダ３２Ａの学習は行われないこととなる。
【0147】
また、上記実施形態においては、画像符号化部２２において、ラベルエンコーダ３３が導出した第３の潜在変数ｚ３を潜在モデル３３Ａに入力することによって、量子化された第３の潜在変数ｚｄ３を、量子化された第１の潜在変数ｚｄ１を近似するものとして取得しているが、これに限定されるものではない。潜在モデル３３Ａを用意することなく、ラベルエンコーダ３３が導出した第３の潜在変数ｚ３を潜在モデル３１Ａに入力することによって、量子化された第１の潜在変数ｚｄ１を直接取得してもよい。この際、学習部２４は、第３の潜在変数ｚｄ３と第１の教師用特徴量ｚｄ１との差を第８の損失Ｌ８として導出することに代えて、量子化する前の第３の潜在変数ｚ３と第１の教師用特徴量ｚｄ１との差を第８の損失Ｌ８として導出してもよい。この場合、学習部２４は、第３の学習用特徴量である第３の潜在変数ｚｄ３と予め定められた第３の特徴量の確率分布との差を第７の損失Ｌ７として導出することなく、第１～第６の損失Ｌ１～Ｌ６および第８の損失Ｌ８のみに基づいて符号化学習モデルおよび復号化学習モデルを学習してもよい。
【0148】
また、上記実施形態においては、符号化学習モデルを学習することにより構築して、第１～第３の潜在変数ｚｄ１～ｚｄ３を導出しているが、これに限定されるものではない。予め作成された学習済みモデルを用いてもよく、ルールベースで設計された特徴量計算機を用いて第１～第３の潜在変数ｚｄ１～ｚｄ３を導出してもよい。とくに、第１の潜在変数および第３の潜在変数については、例えば、所見を含む医用画像から所見の領域をセグメンテーションするモデルを学習する際のデータセットを利用して、比較的容易に本実施形態の符号化学習モデルにおけるエンコーダ３１の第１の特徴量導出部２２Ａおよびラベルエンコーダ３３を構築することができる。
【0149】
また、上記実施形態においては、クエリベース画像Ｂ０としてＭＲＩ画像を用いているが、これに限定されるものではない。ＣＴ画像、ＰＥＴ画像の他、放射線により被写体を撮影することにより取得された放射線画像、あるいは超音波画像等をクエリベース画像Ｂ０として用いることが可能である。
【0150】
また、上記実施形態においては、脳の画像を対象画像として用いているが、対象画像は脳に限定されるものではない。脳の画像の他に、肺、心臓、肝臓、腎臓、および四肢等の人体の任意の部位を含む画像を対象画像とすることができる。この場合、部位に現れる腫瘤、梗塞、癌および骨折等の疾患を所見として含む教師画像および教師ラベル画像を用いて、エンコーダ３１、潜在モデル３１Ａ、デコーダ３２Ａ～３２Ｃ、ラベルエンコーダ３３および潜在モデル３３Ａの学習を行えばよい。
また、上記実施形態においては、クエリベース画像Ｂ０としてＭＲＩ画像を用いているが、これに限定されるものではない。ＣＴ画像、ＰＥＴ画像の他、放射線により被写体を撮影することにより取得された放射線画像、あるいは超音波画像等をクエリベース画像Ｂ０として用いることが可能である。
また、上記実施形態においては、クエリベース画像Ｂ０としてＭＲＩ画像を用いているが、これに限定されるものではない。ＣＴ画像、ＰＥＴ画像の他、放射線により被写体を撮影することにより取得された放射線画像、あるいは超音波画像等をクエリベース画像Ｂ０として用いることが可能である。
【0151】
また、第１の特徴量導出部２２Ａ、第２の特徴量導出部２２Ｂおよび第３の特徴量導出部２２Ｃのそれぞれについて、別々の符号化学習モデルを使用し、別々の符号化学習モデルにより、第１の特徴量、第２の特徴量および第３の特徴量をそれぞれ導出するようにしてもよい。
【0152】
また、上記実施形態において、例えば、情報取得部２０、クエリ画像導出部２１、第１の特徴量導出部２２Ａ、第２の特徴量導出部２２Ｂ、第３の特徴量導出部２２Ｃ、セグメンテーション部２３Ａ、第１の再構成部２３Ｂ、第２の再構成部２３Ｃ、学習部２４、類似度導出部２５、抽出部２６および表示制御部２７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0153】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【0154】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【0155】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
【符号の説明】
【0156】
１ コンピュータ
２ 撮影装置
３ 画像保管サーバ
４ ネットワーク
１０ 画像検索装置
１１ ＣＰＵ
１２ 画像検索プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 情報取得部
２１ クエリ画像導出部
２２ 画像符号化部
２２Ａ 第１の特徴量導出部
２２Ｂ 第２の特徴量導出部
２２Ｃ 第３の特徴量導出部
２３ 画像復号化部
２３Ａ セグメンテーション部
２３Ｂ 第１の再構成部
２３Ｃ 第２の再構成部
２４ 学習部
２５ 類似度導出部
２６ 抽出部
２７ 表示制御部
３１ エンコーダ
３１Ａ 潜在モデル
３２Ａ～３２Ｃ デコーダ
３３ ラベルエンコーダ
３３Ａ 潜在モデル
３５ 教師データ
３６ 教師画像
３７ 所見
３８ 教師ラベル画像
３９ 教師データ
４０ 検索画面
４１ 第１の表示領域
４２ 第２の表示領域
４２Ａ 浮腫
４２Ｂ 造影効果
４２Ｃ 壊死
４３ 第３の表示領域
４４ 検索実行ボタン
４５ 所見
５０ 検索結果リスト
６０ 所見
Ｂ０ クエリベース画像
Ｆ０ 付加所見ラベル画像
Ｇ０ 対象画像
Ｒ１１～Ｒ１４ 類似参照画像
Ｖ０ 所見ラベル画像
Ｖ１ 第１の再構成画像
Ｖ２ 第２の再構成画像
ＶＴ０ 学習用付加所見ラベル画像（教師用所見ラベル画像）
ＶＴ１ 学習用第１の再構成画像
ＶＴ２ 学習用第２の再構成画像
ｚ１ 第１の潜在変数
ｚ２ 第２の潜在変数
ｚ３ 第３の潜在変数
ｚｄ１ 量子化された第１の潜在変数（第１の教師用特徴量）
ｚｄ２ 量子化された第２の潜在変数
ｚｄ３ 量子化された第３の潜在変数
２ 撮影装置
３ 画像保管サーバ
４ ネットワーク
１０ 画像検索装置
１１ ＣＰＵ
１２ 画像検索プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 情報取得部
２１ クエリ画像導出部
２２ 画像符号化部
２２Ａ 第１の特徴量導出部
２２Ｂ 第２の特徴量導出部
２２Ｃ 第３の特徴量導出部
２３ 画像復号化部
２３Ａ セグメンテーション部
２３Ｂ 第１の再構成部
２３Ｃ 第２の再構成部
２４ 学習部
２５ 類似度導出部
２６ 抽出部
２７ 表示制御部
３１ エンコーダ
３１Ａ 潜在モデル
３２Ａ～３２Ｃ デコーダ
３３ ラベルエンコーダ
３３Ａ 潜在モデル
３５ 教師データ
３６ 教師画像
３７ 所見
３８ 教師ラベル画像
３９ 教師データ
４０ 検索画面
４１ 第１の表示領域
４２ 第２の表示領域
４２Ａ 浮腫
４２Ｂ 造影効果
４２Ｃ 壊死
４３ 第３の表示領域
４４ 検索実行ボタン
４５ 所見
５０ 検索結果リスト
６０ 所見
Ｂ０ クエリベース画像
Ｆ０ 付加所見ラベル画像
Ｇ０ 対象画像
Ｒ１１～Ｒ１４ 類似参照画像
Ｖ０ 所見ラベル画像
Ｖ１ 第１の再構成画像
Ｖ２ 第２の再構成画像
ＶＴ０ 学習用付加所見ラベル画像（教師用所見ラベル画像）
ＶＴ１ 学習用第１の再構成画像
ＶＴ２ 学習用第２の再構成画像
ｚ１ 第１の潜在変数
ｚ２ 第２の潜在変数
ｚ３ 第３の潜在変数
ｚｄ１ 量子化された第１の潜在変数（第１の教師用特徴量）
ｚｄ２ 量子化された第２の潜在変数
ｚｄ３ 量子化された第３の潜在変数
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
