特許 7380668 表示制御装置、表示制御システム、表示制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-07

(45)【発行日】2023-11-15

(54)【発明の名称】表示制御装置、表示制御システム、表示制御方法及びプログラム

(51)【国際特許分類】

   G06F 16/54 20190101AFI20231108BHJP

   G06F 16/55 20190101ALI20231108BHJP

   G16H 30/20 20180101ALI20231108BHJP

   G06F 16/53 20190101ALI20231108BHJP

【ＦＩ】

G06F16/54

G06F16/55

G16H30/20

G06F16/53

【請求項の数】 10

(21)【出願番号】P 2021203346

(22)【出願日】2021-12-15

(62)【分割の表示】P 2019122644の分割

【原出願日】2019-07-01

(65)【公開番号】P2022033975

(43)【公開日】2022-03-02

【審査請求日】2022-06-14

(31)【優先権主張番号】P 2018158048

(32)【優先日】2018-08-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】皆川 茜

(72)【発明者】

【氏名】古賀 弘志

(72)【発明者】

【氏名】松永 和久

(72)【発明者】

【氏名】浜田 玲

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】国際公開第２０１８／１０４４５８（ＷＯ，Ａ１）

【文献】特表２０１５－５１８１９７（ＪＰ，Ａ）

【文献】特開２００４－２５４７４２（ＪＰ，Ａ）

【文献】特開２００４－１３５８６８（ＪＰ，Ａ）

【文献】特開２００１－２９９７４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ１６Ｈ ３０／２０

(57)【特許請求の範囲】

【請求項1】

診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第１疾患属性とは異なる第２疾患属性である可能性を表す第２疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標とを互いに関連づけて表示部に表示させる表示制御手段と、を備え、
前記第１疾患属性指標及び第２疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
表示制御装置。

【請求項2】

前記表示制御手段は、
前記悪性指標及び前記良性指標を第１の座標軸上の情報とし、且つ、前記第１疾患属性指標及び前記第２疾患属性指標を第２の座標軸上の情報とする２次元座標による表示となるように、前記悪性指標、前記第１疾患属性指標、前記良性指標及び前記第２疾患属性指標の関係を前記表示部に表示させる、
請求項１に記載の表示制御装置。

【請求項3】

疾患の属性が悪性であり、かつ、前記疾患の属性が前記第１疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記
取得された第１疾患属性指標と関連づけて前記表示部に表示させる、
請求項１又は２に記載の表示制御装置。

【請求項4】

前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標と、互いに関連づけて表示部に表示させる、
請求項１から３のいずれか１項に記載の表示制御装置。

【請求項5】

疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
請求項１から４のいずれか１項に記載の表示制御装置。

【請求項6】

前記第１疾患属性がメラノサイト系であり、前記第２疾患属性が非メラノサイト系である、
請求項１から５のいずれか１項に記載の表示制御装置。

【請求項7】

前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
請求項１から６のいずれか１項に記載の表示制御装置。

【請求項8】

表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第１疾患属性とは異なる第２疾患属性である可能性を表す第２疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標とを、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備え、
前記第１疾患属性指標及び第２疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
表示制御システム。

【請求項9】

表示制御装置が実行する表示制御方法であって、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第１疾患属性とは異なる第２疾患属性である可能性を表す第２疾患属性指標とを取得する取得ステップと、
前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標とを互いに関連づけて表示部に表示させる表示制御ステップと、
を含み、
前記第１疾患属性指標及び第２疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
表示制御方法。

【請求項10】

コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第１疾患属性とは異なる第２疾患属性である可能性を表す第２疾患属性指標とを取得する取得ステップ、並びに、
前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標とを互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させ、
前記第１疾患属性指標及び第２疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御システム、表示制御方法及びプログラムに関する。

【背景技術】

【0002】

皮膚科において、皮膚の疾患の診断は、熟練を要し、かなり困難な作業である。そこで、最近では、患部を撮影してその撮影画像をコンピュータにより解析する技術が開発されてきている。大量の症例をデータベース化して、患者の患部の撮影画像をクエリ画像として類似画像検索を行い、類似した症例を参考に診断を行なうものである。
類似画像を表示する装置として、例えば、特許文献１には、画像データベースに登録されている画像の中から、クエリ画像と類似する類似画像を抽出し、クエリ画像の周囲に類似画像を配置するとともに、クエリ画像と類似画像間を連結表示した検索結果を表示手段に提示する画像検索装置等が記載されている。
また、診断を支援するために、患部の良性／悪性を判定する技術も開発されてきている。例えば、非特許文献１には、皮膚疾患の良性／悪性の度合いを１軸の情報で視覚的に提供する診断支援装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２５０５２９号公報

【非特許文献】

【0004】

【文献】"Nevisense - a breakthrough in non-invasive detection of melanoma"、［online］、［令和１年６月１４日検索］、インターネット〈URL：https://scibase.com/the-nevisense-product/〉

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の画像検索装置は、クエリ画像と類似する画像をクエリ画像の周囲にリンク線とともに表示し、新たなクエリ画像が指定された場合、過去の検索結果に追加表示することはできるが、クエリ画像と類似する複数の画像について、その類似の関係性がわかりにくいという課題があった。
また、非特許文献１に記載の診断支援装置は、診断対象部分の良性／悪性の度合いを視覚的に把握できる情報を提供するが、良性／悪性の度合いしか把握できず、診断対象部分の疾患の属性情報を把握しにくいという課題があった。

【0007】

本発明の目的は、診断対象部分の疾患の属性情報を把握しやすく表示させることができる表示制御装置、表示制御システム、表示制御方法及びプログラムを提供することである。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本発明の表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第１疾患属性とは異なる第２疾患属性である可能性を表す第２疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標とを互いに関連づけて表示部に表示させる表示制御手段と、を備え、
前記第１疾患属性指標及び第２疾患属性指標は、前記良性指標及び前記悪性指標に共通して関連付けられ前記表示部に表示される指標である。

【発明の効果】

【0010】

本発明によれば、診断対象部分の疾患の属性情報を把握しやすく表示させることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１に係る類似画像表示装置の機能構成を示す図である。

【図2】実施形態１に係る位置決定部によるカテゴリの位置の決定の一例を示す図である。

【図3】実施形態１に係る画像表示制御部による類似画像表示の一例を示す図である。

【図4】実施形態１に係る類似画像表示装置の類似画像表示処理のフローチャートである。

【図5】実施形態１に係る比較表示画面の一例を示す図である。

【図6】本発明の変形例１に係る画像表示制御部による類似画像表示の一例を示す図である。

【図7】本発明の変形例２に係る画像表示制御部による類似画像表示の一例を示す図である。

【図8】本発明の実施形態２に係る表示制御装置の機能構成を示す図である。

【図9】実施形態２に係る表示制御装置による表示の一例を示す図である。

【図10】実施形態２に係る表示制御装置の表示制御処理のフローチャートである。

【図11】実施形態２に係る表示制御装置のリスク境界線生成処理のフローチャートである。

【図12】本発明の実施形態３に係る表示制御装置の機能構成を示す図である。

【図13】実施形態３に係る表示制御装置による表示の一例を示す図である。

【図14】実施形態３に係る表示制御装置の表示制御処理のフローチャートである。

【図15】本発明の実施形態４に係る表示制御装置の機能構成を示す図である。

【図16】実施形態４に係る表示制御装置による表示の一例を示す図である。

【図17】実施形態４に係る表示制御装置の表示制御処理のフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態に係る類似画像表示装置等について、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。

【0013】

（実施形態１）
本発明の実施形態１に係る類似画像表示装置１００は、クエリ画像に対する類似画像検索の結果得られた類似画像を、所定のカテゴリ毎に集めて、クエリ画像との類似度に基づいてカテゴリ内に配置する。そして、その類似画像が集まって配置されたカテゴリを、所定の軸で定義されたｎ次元空間内に配置して表示することにより、類似画像間の関係性をわかりやすく表示する。このような表示を行うための仕組みについて、以下に説明する。

【0014】

実施形態１に係る類似画像表示装置１００は、図１に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。

【0015】

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（類似画像取得部１１、カテゴリ設定部１２、位置決定部１３、分類部１４、画像表示制御部１５）の機能を実現する。

【0016】

記憶部２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、制御部１０のＣＰＵが実行するプログラム及び必要なデータを記憶する。

【0017】

入力部３１は、類似画像表示装置１００のユーザが類似画像表示装置１００に与える指示を入力したり、クエリ画像を入力したりするためのデバイス（キーボード、マウス、タッチパネル、カメラ等）である。制御部１０は、入力部３１を介してユーザからの指示や、クエリ画像を取得する。入力部３１としては、制御部１０がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部１０は、クエリ画像を、通信部３３を介して取得してもよい。なお、クエリ画像とは、ユーザが類似画像表示装置１００に表示させる類似画像を検索する際に入力する画像データである。類似画像表示装置１００は、クエリ画像に類似する複数の画像をユーザにわかりやすく提示する。

【0018】

出力部３２は、制御部１０が、類似画像をユーザに提示するためのデバイス（ディスプレイ、ディスプレイ用のインタフェース等）である。類似画像表示装置１００は、出力部３２としてディスプレイ（表示部）を備えてもよいし、出力部３２を介して接続した外部のディスプレイに検索結果等を表示してもよい。なお、ディスプレイ（表示部）を備えない類似画像表示装置１００（出力部３２がディスプレイ（表示部）用のインタフェースになっている類似画像表示装置１００）は、類似画像表示制御装置とも呼ばれる。

【0019】

通信部３３は、外部の他の装置（例えば、画像データのデータベースが格納されているサーバ、類似画像検索装置等）とデータの送受信を行うためのデバイス（ネットワークインタフェース等）である。制御部１０は、通信部３３を介してクエリ画像やクエリ画像に類似する画像を取得することができる。

【0020】

次に、制御部１０の機能について説明する。制御部１０は、類似画像取得部１１、カテゴリ設定部１２、位置決定部１３、分類部１４及び画像表示制御部１５の機能を実現する。

【0021】

類似画像取得部１１は、クエリ画像に対する類似画像検索の結果得られたデータ（類似画像の画像データ及び該画像のクエリ画像との類似度）を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部１１は、制御部１０がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部３３を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。類似画像取得部１１は、類似画像取得手段として機能する。

【0022】

カテゴリ設定部１２は、類似画像取得部１１が取得した画像データを分類するカテゴリ群（複数のカテゴリ）を設定する。このカテゴリ群とは、例えば、皮膚の画像データを対象とする場合は、疾患名（色素性母斑、メラノーマ、基底細胞癌等）、外形形状（円形、星形、楕円形等）、色味（赤、黒、茶等）、大きさ、内部構造、母斑（色素斑）の状態（網状パターン、小球状パターン、敷石状パターン、均一パターン、平行パターン、スターバーストパターン、多構築パターン、非特異的パターン等）等である。例えば、疾患名をカテゴリ群とする場合、具体的な疾患名である色素性母斑、メラノーマ、基底細胞癌等が、それぞれ１つのカテゴリとなる。分類するカテゴリ群（複数のカテゴリ）の情報は、予め記憶部２０に記憶されており、カテゴリ設定部１２は、記憶部２０に記憶されているカテゴリ群の情報に基づいて、画像データを分類するカテゴリ群（複数のカテゴリ）を設定する。カテゴリ設定部１２は、カテゴリ設定手段として機能する。

【0023】

位置決定部１３は、カテゴリ設定部１２が設定したカテゴリ群（複数のカテゴリ）に含まれる各カテゴリを示す領域を表示する位置を、ｎ種類（ｎは１以上の整数）の属性に従ってｎ次元の空間における座標として決定する。より詳細には、ｎ種類の属性のそれぞれを、ｎ次元空間の座標を定義するｎ本の座標軸に１対１で対応させ、各カテゴリを示す領域（カテゴリ領域）を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性の属性値に基づいて決定する。

【0024】

例えば、カテゴリ設定部１２が設定したカテゴリ群が疾患名で、位置決定部１３が、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の２種類の属性でそのカテゴリ群（疾患名）の２次元空間での位置を決定する場合を考える。この場合、位置決定部１３は、例えば図２に示すように、「良性／悪性」を縦軸（Ｙ軸）、「メラノサイト系／非メラノサイト系」を横軸（Ｘ軸）とする２次元空間において、各疾患名を表示する位置の座標を決定することになる。ここでは、縦軸（Ｙ軸）においては、良性が下側、悪性が上側とし、横軸（Ｘ軸）においては、メラノサイト系が左側、非メラノサイト系が右側とする。

【0025】

具体例として、疾患名として色素性母斑、メラノーマ、脂漏性角化症、血腫・血管腫、基底細胞癌の５つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、血腫・血管腫が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部１３は、図２に示すように、色素性母斑２０１を左下の領域に、メラノーマ２０２を左上の領域に、脂漏性角化症２０３を右下の領域（領域中央より少し左）に、血腫・血管腫２０４も右下の領域（領域中央より少し右）に、基底細胞癌２０５を右上の領域に表示されるように、それぞれの位置を決定する。

【0026】

なお、位置決定部１３は、異なるカテゴリが表示される位置が同じ座標にならないように、必要に応じてカテゴリの表示位置を調整してもよい。例えば、図２に示す例では、脂漏性角化症２０３も血腫・血管腫２０４も「良性、非メラノサイト系」なので、表示位置を調整しないと両カテゴリともに同じ右下の領域に表示されることになってしまう。このため、図２に示す例では、位置決定部１３は、脂漏性角化症２０３を右下の領域の中央よりも少し左にずらした位置に、血腫・血管腫２０４を右下の領域の中央よりも少し右にずらした位置に、それぞれ表示されるように表示位置を調整している。

【0027】

位置決定部１３が各カテゴリの表示位置を決定する空間の座標軸を決めるために用いるｎ種類の属性の情報と、各カテゴリの該属性の情報と、各属性の配置情報は、予め記憶部２０に記憶されている。位置決定部１３は、記憶部２０に記憶されているｎ種類の属性の情報、各カテゴリの該属性の情報及び各属性の配置情報に基づいて、カテゴリ群（複数のカテゴリ）を表示する位置のｎ次元空間における座標を決定する。図２に示す例においては、属性の情報として「良性／悪性」の属性と、「メラノサイト系／非メラノサイト系」の属性の２種類の属性の情報が記憶部２０に記憶されている。そして、各カテゴリの該属性の情報として、色素性母斑２０１は「良性、メラノサイト系」、メラノーマ２０２は「悪性、メラノサイト系」、脂漏性角化症２０３は「良性、非メラノサイト系」、血腫・血管腫２０４は「良性、非メラノサイト系」、基底細胞癌２０５は「悪性、非メラノサイト系」という情報が記憶部２０に記憶されている。そして、各属性の配置情報として、「良性／悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系／非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部２０に記憶されている。位置決定部１３は、位置決定手段として機能する。

【0028】

分類部１４は、類似画像取得部１１が取得した画像データを、カテゴリ設定部１２が設定したカテゴリ群（複数のカテゴリ）のいずれかのカテゴリに分類する。なお、分類部１４は、各画像データに付加されているタグ情報（例えば、各画像データには疾患名がタグ情報として付加されている）を利用して画像データを分類することができる。分類部１４は、分類手段として機能する。

【0029】

画像表示制御部１５は、分類部１４によって各カテゴリに分類された画像データを、クエリ画像との類似度に基づいて、位置決定部１３によりｎ次元空間における座標が決定されたそのカテゴリを示す領域の内部に配置し、出力部３２を介して表示する。画像表示制御部１５は、例えば図３に示すように、色素性母斑に分類された類似画像を色素性母斑の領域３０１（図３の左下の円内）に、メラノーマに分類された類似画像をメラノーマの領域３０２（図３の左上の円内）に、脂漏性角化症に分類された類似画像を脂漏性角化症の領域３０３（図３の右下の少し左寄りの円内）に、血腫・血管腫に分類された類似画像を血腫・血管腫の領域３０４（図３の右下の少し右寄りの円内）に、基底細胞癌に分類された類似画像を基底細胞癌の領域３０５（図３の右上の円内）に、それぞれクエリ画像３００との類似度が高い程、各領域（円内）の中心に位置するように配置して表示する。画像表示制御部１５は、画像表示制御手段として機能する。

【0030】

以上、類似画像表示装置１００の機能構成について説明した。次に、類似画像表示装置１００が行う類似画像表示処理の内容について、図４を参照して説明する。類似画像表示処理は、ユーザが入力部３１を介して類似画像表示装置１００に類似画像表示処理の開始を指示すると開始される。

【0031】

まず、類似画像表示装置１００の制御部１０は、クエリ画像を取得する（ステップＳ１０１）。例えば、ユーザが入力部３１を介してクエリ画像を類似画像表示装置１００に入力（例えば画面の指定領域にクエリ画像をドラッグ・アンド・ドロップする）すると、制御部１０は、クエリ画像を取得する。

【0032】

次に、類似画像取得部１１は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する（ステップＳ１０２）。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部１１は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。ステップＳ１０２は、類似画像取得ステップとも呼ばれる。類似画像検索の処理は、類似画像表示装置１００の代わりに外部の類似画像検索装置で行ってもよい。その場合は、制御部１０は、ステップＳ１０１で取得したクエリ画像を、通信部３３を介して類似画像検索装置に送信し、類似画像検索装置が類似画像検索をした結果を類似画像取得部１１が取得する。

【0033】

そして、分類部１４は、類似画像取得部１１が取得した類似画像を、各類似画像に付加されているタグ情報に基づいて、カテゴリ設定部１２が設定したカテゴリに分類する（ステップＳ１０３）。ステップＳ１０３は、分類ステップとも呼ばれる。

【0034】

次に、画像表示制御部１５は、ステップＳ１０３で各カテゴリに分類された類似画像を、位置決定部１３が位置を決定した各カテゴリの領域に配置し、出力部３２を介して表示する（ステップＳ１０４）。具体的には、図３に示すように、各カテゴリの領域に、クエリ画像との類似度が高い画像ほどそのカテゴリの領域の中心に配置されるように、同心円状に配置する。図３に示す例では、各カテゴリに分類された類似画像のうち、クエリ画像との類似度が最も高い画像をそのカテゴリの中心に配置し、類似度の高さが２番目以降の画像をその外側に上から時計回りに配置することによって、同心円状に配置している。

【0035】

また、画像表示制御部１５はステップＳ１０４において、各カテゴリの領域にそのカテゴリに分類された類似画像の個数に応じた大きさの円を表示する。この円を表示することにより、各カテゴリの規模を直感的に把握しやすくなる。さらに、画像表示制御部１５はこの円の円周の線の太さを、中心の画像（そのカテゴリでクエリ画像との類似度が最も高い類似画像）とクエリ画像との類似度が高いほど太く表示する。このように円の太さを太くすることによって、ユーザは最もクエリ画像に類似する類似画像の配置場所を直感的に把握できるようになる。また、画像表示制御部１５は、この円の円周の線の太さを、中心の画像に限らず、所定の画像（例えばそのカテゴリでクエリ画像との類似度がｎ番目（ｎは１以上かつそのカテゴリに分類された類似画像の個数以下の整数）に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等）とクエリ画像との類似度に応じて所定の太さ（例えば類似度が高ければ太く、類似度が低ければ細く）で表示してもよい。なお、ユーザが各類似画像とクエリ画像の比較を容易にできるようにするために、画像表示制御部１５はステップＳ１０４において、図３に示すように、クエリ画像３００を表示画面の中心部に表示する処理も行う。ステップＳ１０４は、画像表示制御ステップとも呼ばれる。

【0036】

次に、制御部１０は、ステップＳ１０４で表示された類似画像が入力部３１を介して選択（例えばユーザによりクリック）されたか否かを判定する（ステップＳ１０５）。類似画像が選択されなければ（ステップＳ１０５；Ｎｏ）、ステップＳ１０８に進む。

【0037】

類似画像が選択されたら（ステップＳ１０５；Ｙｅｓ）、画像表示制御部１５は、ステップＳ１０５で選択された画像とクエリ画像とを比較できるように、これらの画像を拡大表示する（ステップＳ１０６）。例えば、図３の色素性母斑の中心の画像（色素性母斑に分類された類似画像の中で、クエリ画像に最も類似する画像）が比較対象画像としてクリックされた場合は、図５に示すように、クエリ画像５１とクリックされた比較対象画像５２とが拡大表示される比較表示画面が出力部３２を介して表示される。図５は、画像表示制御部１５が、比較対象画像５２の下に、その比較対象画像に付加されているタグ情報５３、その比較対象画像５２とクエリ画像５１との類似度の順位５４、比較対象画像５２を類似度の順番に切り換える順送りボタン５５及び逆送りボタン５６を表示することも示している。

【0038】

そして、画像表示制御部１５は、ユーザ操作に応じた画像表示を行う（ステップＳ１０７）。例えば、画像表示制御部１５は、クエリ画像５１又は比較対象画像５２の上で、ドラッグ操作が行われたら該画像を平行移動させ、ホイールの回転が行われたら該画像を拡大又は縮小させ、クエリ画像５１の上でダブルクリックされたら図３に示すクエリ画像表示画面に戻す。また、画像表示制御部１５は、順送りボタン５５又は逆送りボタン５６がクリックされたら、比較対象画像をクエリ画像との類似度の順番に切り替える。

【0039】

次に、制御部１０は、類似画像表示処理の終了が指示されたか否かを判定する（ステップＳ１０８）。類似画像表示処理の終了が指示されていないなら（ステップＳ１０８；Ｎｏ）、ステップＳ１０７に戻る。類似画像表示処理の終了が指示されたら（ステップＳ１０８；Ｙｅｓ）、類似画像表示処理を終了する。例えば、入力部３１を介してユーザにより類似画像表示処理の終了が指示されたら、類似画像表示処理を終了する。

【0040】

以上のように、類似画像表示装置１００は、類似画像をカテゴリに分類して、カテゴリ毎にクエリ画像との類似度の高い順に類似画像を配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。

【0041】

例えば、皮膚疾患の画像を表示させる場合、メラノーマ、基底細胞癌、日光角化症はいずれも悪性疾患であるが、悪性度（人体への影響度）は大きく異なる。従って、例えば、各カテゴリの属性の情報として、メラノーマは「悪性度１０、メラノサイト系」、基底細胞癌は「悪性度８、非メラノサイト系」、日光角化症は「悪性度３、非メラノサイト系」、というように、悪性度の情報（属性の属性値）も記憶部２０に記憶しておき、位置決定部１３が、悪性度に応じて、例えば悪性度が高いカテゴリほど画面の上部の方にそのカテゴリの円が表示されるように当該カテゴリの位置を決定すると、ユーザは各カテゴリに配置された類似画像を、その悪性度とともに確認することができるようになる。他の属性についても同様にその属性の属性値に基づいて位置が決定されることにより、ユーザは類似画像をその属性の属性値に応じて確認することができるようになる。なお、これらはあくまで一例として示したものであって、必ずしも医学的に正しいという意味ではない。医師等、類似画像表示装置１００のユーザの考え方や状況に応じてこれらの表示位置は適宜変更可能である。

【0042】

（変形例１）
上述の実施形態１では、類似画像表示処理において、図３のような表示を行っていたが、さらに類似の関係性を分かり易くする変形例１について図６を参照して説明する。

【0043】

変形例１にかかる類似画像表示装置１００では、類似画像表示処理（図４）のステップＳ１０４において、画像表示制御部１５が次のような処理を行う。（なお、各カテゴリの領域に描画する円の大きさは、上述の実施形態１と同様に、そのカテゴリに分類された類似画像の個数が多いほど大きくする。例えば図６に示されるように、色素性母斑のカテゴリ円３１１はメラノーマのカテゴリ円３１２より大きい。）
‐各カテゴリの領域に描画する円の背景を、中心を濃く、外側になるほど薄く描画する。例えば図６に示されるように、色素性母斑のカテゴリ円３１１のカテゴリの領域に描画する円の背景に、中心側から同心円状のグラフィック図形３１１ａ、３１１ｂ、３１１ｃ、３１１ｄを表示している。なお、図６では濃さを各カテゴリ円の大きさに応じて２～４段階で変化させているが、このような段階を設けずにスムーズに（グラデーションで）変化させてもよい。
‐クエリ画像から各カテゴリの中心の画像までを接続線で接続する。
‐接続線の太さはその接続線が接続しているカテゴリの中心に配置される類似画像（そのカテゴリにおいてクエリ画像と最も類似する類似画像）とクエリ画像との類似度が高いほど太くする。例えば色素性母斑のカテゴリ円３１１への接続線３２１の太さはメラノーマのカテゴリ円３１２への接続線３２２より太い。（なお、接続線の太さは、中心の画像に限らず、所定の画像（例えばそのカテゴリでクエリ画像との類似度がｎ番目（ｎは１以上そのカテゴリに分類された類似画像の個数以下の整数）に高い画像、最も低い画像、類似度順に並べた時に真ん中にくる画像等）とクエリ画像との類似度に応じて所定の太さ（例えば類似度が高ければ太く、類似度が低ければ細く）で表示してもよい。）
‐接続線３２１，３２２，３２３，３２４，３２５の途中には位置決定部１３が各カテゴリの位置を決定する際に用いる属性の情報を表示する。例えば、メラノーマのカテゴリにおいては悪性３３２、メラノサイト系３３４という属性の情報を表示している。
‐上記のような接続線３２１，３２２，３２３，３２４，３２５により、各カテゴリを示す領域は、クエリ画像を根ノードとする木構造を介して、葉ノードとして接続される。つまり、クエリ画像を根ノードとし、各カテゴリを示す領域を葉ノードとして、各カテゴリを示す領域に対応するカテゴリの属性に基づいた接続線が根ノードから葉ノードに接続した木構造により、類似画像等が表示されることになる。そして、各カテゴリに接続される接続線３２１，３２２，３２３，３２４，３２５の内部ノードとして該カテゴリの属性の情報を示す属性名（良性３３１、悪性３３２、メラノサイト系３３３，３３４、非メラノサイト系３３５，３３６等）が表示される。
‐属性の情報は、特に注目して欲しい場合には大きく表示する。（例えば、皮膚の疾患の画像データを対象として類似画像表示を行う場合に、悪性の類似画像の方が良性の類似画像より多い場合には、属性の情報のうち悪性３３２を大きく表示する。なお、図６では良性の類似画像の方が多いため、悪性３３２は良性３３１と同じ大きさで表示されている。）
‐各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、血腫・血管腫のカテゴリ円３１４の中心に配置されている類似画像を囲う小さい円３１４１の線の太さは、その周辺に配置されている類似画像を囲う小さい円３１４２の線の太さより太い。

【0044】

類似画像表示処理（図４）のステップＳ１０４にて、画像表示制御部１５が以上のような処理を行うことにより、例えば図６に示すような、類似画像の表示が行われる。このような表示が行われることにより、以下のような効果が得られる。
‐各カテゴリ円３１１，３１２，３１３，３１４，３１５がｎ種類の属性に従ってｎ次元空間に配置されることによって、ユーザは直感的にクエリ画像の性質を把握することができる。
‐各カテゴリ円３１１，３１２，３１３，３１４，３１５がそのカテゴリに分類された件数（検索件数）の多いほど大きく表示されることによって、ユーザは検索件数を直感的に把握することができる。
‐各カテゴリへの接続線３２１，３２２，３２３，３２４，３２５の太さが、そのカテゴリの中心に配置される類似画像（そのカテゴリにおいてクエリ画像と最も類似する類似画像）とクエリ画像との類似度が高いほど太く表示されることによって、ユーザはクエリ画像に最も類似する類似画像の配置場所を直感的に把握することができる。
‐各カテゴリの領域に描画されるカテゴリ円の背景が、中心を濃く、外側になるほど薄く描画されることによって、円中心部側の症例の重要度が高いことをユーザに視覚的に認識させることができる。

【0045】

（変形例２）
上述の実施形態１では、画像表示制御部１５が類似画像検索結果をカテゴリ毎に同心円状にまとめて配置しているが、これに限られず、放射状、楕円形状、四角形状、等でもよい。例えば、四角形状に配置すると、図７に示すように、よりコンパクトに表示することができ、検索結果が多い場合等でも全ての類似画像を一度に一覧性よく表示することができる。図７に示す例では、画像表示制御部１５は、各カテゴリの四角形３５１，３５２，３５３，３５４，３５５の大きさをそのカテゴリに分類された類似画像の個数が多いほど大きくし、その四角形内に左上からクエリ画像３００との類似度が高い順に右に類似画像を並べ、右端に来たら、左端に戻って一段下から類似画像を並べて表示している。

【0046】

なお、上述の実施形態１では、位置決定部１３が位置を決定する際に用いる属性の数を２種類とし、この２つの属性を２次元空間の２つの軸（Ｘ軸及びＹ軸）に対応させて、類似画像検索結果の表示位置の２次元空間における座標を決定する場合を例として説明したが、これに限られない。例えば、位置を決定する際に用いる属性の数を１種類にして、直線上（１次元空間）に各カテゴリが配置されるようにしてもよい。この場合、カテゴリの配置は直線上に行われるが、カテゴリ内の類似画像は同心円状に配置されるので、最終的には２次元空間に配置されることになる。

【0047】

また、位置を決定する際に用いる属性の数を３種類にして、３次元空間に各カテゴリが配置されるようにしてもよい。この場合、カテゴリや類似画像は３次元空間に配置されるが、出力部３２に出力する際はそれを２次元空間に投影したものを出力することにより、通常のディスプレイ上に表示することができる。また、位置を決定する際に用いる属性の種類数ｎを４以上にしたい場合は、各カテゴリを仮想的にｎ次元空間に配置し、最終的に２次元空間に投影して出力するようにしてもよい。なお、属性の種類としては、上述した「良性／悪性」及び「メラノサイト系／非メラノサイト系」だけでなく、「上皮性／非上皮性」、「転移性／非転移性」、「浸潤性／非浸潤性」、「ウイルス性／非ウイルス性」、「サイズ（例えば、疾患部に外接する楕円の長径）」、「扁平率（例えば、疾患部に外接する楕円の扁平率）」、「病変面積（疾患部の面積）」、「輪郭線の長さ（疾患部の外縁の輪郭線の長さ）」、「腫瘍の深さ（例えば、色（浅ければ黒、深くなるにつれて、褐色、灰青色、青白い鋼色）で判断する）」、「疾患部の色（例えば、腫瘍の深さに対応させて色の軸に並べる）」、「形状（例えば、モーメント（病変領域の座標値、病変領域の輪郭線の座標値、病変領域の画素値等についてモーメント計算を行って算出）の値を用いる）」、「時間（例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる）」等を用いてもよい。

【0048】

また、上述の実施形態１では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、類似画像を表示させる分野において広く適用できる。例えば、花の画像の類似検索、細菌の顕微鏡写真の類似検索等にも適用できる。

【0049】

また、上述の実施形態１では、類似画像表示処理を制御部１０が行っていたが、外部のサーバに処理させた結果を通信部３３で受信して出力部３２に出力してもよい。

【0050】

また、上述の実施形態１及び変形例１，２は適宜組み合わせることができる。例えば、変形例１と変形例２とを組み合わせることにより、類似画像をカテゴリ毎に四角形状に表示させ、接続線や四角形の背景の描画を行うことができ、変形例１の効果と変形例２の効果を両方とも得ることができる。例えば、この場合、各カテゴリの四角形内の一番左上の類似画像（そのカテゴリにおいてクエリ画像と最も類似する類似画像）への接続線をその類似画像とクエリ画像との類似度に応じて太くし、その四角形の背景を、左上を濃く右下にいくほど薄く描画することになる。

【0051】

（実施形態２）
本発明の実施形態２に係る表示制御装置１０１は、クエリ画像に写っている診断対象部分の疾患の属性（例えば「良性／悪性」、「メラノサイト系／非メラノサイト系」等）を各座標軸に対応させて、疾患が各属性に関係する可能性を表す指標を、疾患の属性数を次元数とする空間にプロットして表示する。このような表示を行うことにより、表示制御装置１０１は、診断対象部分の疾患の属性情報を把握しやすくする。なお、実施形態２では、診断対象部分の疾患が人の皮膚疾患である場合を例にして説明するが、診断対象部分（疾患）としては、他に人の子宮（子宮頸がん）や口腔（口腔がん）、人以外の動物（犬猫）の皮膚（皮膚がん）や口腔（口腔がん）等、撮影画像に基づいて診断する様々な部分（疾患）があり得る。

【0052】

実施形態２に係る表示制御装置１０１は、図８に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。

【0053】

制御部１０は、ＣＰＵ等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（指標取得部１６、リスク取得部１７、表示制御部１８）の機能を実現する。

【0054】

記憶部２０は、ＲＯＭ、ＲＡＭ等で構成され、制御部１０のＣＰＵが実行するプログラム及び必要なデータを記憶する。

【0055】

入力部３１は、表示制御装置１０１のユーザが表示制御装置１０１に与える指示を入力したり、クエリ画像を入力したりするためのデバイス（キーボード、マウス、タッチパネル、カメラ等）である。制御部１０は、入力部３１を介して、ユーザからの指示や、クエリ画像を取得する。入力部３１としては、制御部１０がユーザからの指示や、クエリ画像を取得できるなら、任意のデバイスを使用することができる。ただし、制御部１０は、クエリ画像を、通信部３３を介して取得してもよい。なお、クエリ画像とは、ダーモスコープ等を用いて診断対象部分を撮影した画像の画像データである。表示制御装置１０１は、クエリ画像に写っている診断対象部分の疾患の属性情報を、ユーザにわかりやすく提示する。

【0056】

出力部３２は、制御部１０が、疾患の属性情報をユーザにわかりやすく提示するためのデバイス（ディスプレイ、ディスプレイ用のインタフェース等）である。表示制御装置１０１は、出力部３２としてディスプレイ（表示部）を備えてもよいし、出力部３２を介して接続した外部のディスプレイ（表示部）に疾患の属性情報等を表示してもよい。

【0057】

通信部３３は、外部の他の装置（例えば、画像データのデータベースが格納されているサーバ、画像識別装置等）とデータの送受信を行うためのデバイス（ネットワークインタフェース等）である。制御部１０は、通信部３３を介して、画像識別装置による画像識別結果等を取得することができる。

【0058】

次に、制御部１０の機能について説明する。制御部１０は、指標取得部１６、リスク取得部１７及び表示制御部１８の機能を実現する。

【0059】

指標取得部１６は、識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率（可能性）を求め、求めた確率を当該属性の指標として取得する。この識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部１６は、このような学習済みの識別器を備えてもよいし、例えば、通信部３３を介して、学習済みの識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率（可能性）を当該属性の指標として取得してもよい。なお、指標取得部１６が取得する指標は確率に限定されず、指標取得部１６は、より一般的なスコア（可能性が高いほどより大きな値となるスコア（確率の値と一致するとは限らない）や、逆に可能性が低いほどより大きな値となるスコアがあり得る）を指標として取得してもよい。指標取得部１６は、取得手段として機能する。

【0060】

ここでは、指標取得部１６は、クエリ画像に写っている診断対象部分の疾患が４つの疾患（メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症）の各々である確率（以下「疾患該当確率」という）を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて８９．０％、基底細胞癌について４．４％、色素性母斑について６．４％、脂漏性角化症について０．２％であるとする。なお、これらの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。

【0061】

この例では、診断対象部分の疾患の属性が「悪性」である確率が８９．０％＋４．４％＝９３．４％、「良性」である確率が６．４％＋０．２％＝６．６％と算出される。また、診断対象部分の疾患の属性が「メラノサイト系」である確率が８９．０＋６．４％＝９５．４％、「非メラノサイト系」である確率が４．４％＋０．２％＝４．６％と算出される。指標取得部１６は、このようにして算出された診断対象部分の疾患の属性が各種の属性である確率を、診断対象部分の疾患の属性が各種の属性である可能性を表す指標として取得する。特に、診断対象部分の疾患の属性が「悪性」である確率及び「良性」である確率についてはそれぞれ、悪性指標及び良性指標とも呼ばれ、診断対象部分の疾患の属性が「メラノサイト系」や「非メラノサイト系」等の所定の疾患属性である確率については、疾患属性指標とも呼ばれる。また、複数の疾患属性を区別して呼ぶ場合は、第１、第２等を付ける。例えば診断対象部分の疾患の属性のうち、「メラノサイト系」を第１疾患属性、「非メラノサイト系」を第２疾患属性とした場合、診断対象部分の疾患の属性が「メラノサイト系」である確率は第１疾患属性指標、診断対象部分の疾患の属性が「非メラノサイト系」である確率は第２疾患属性指標と呼ばれる。

【0062】

なお、指標取得部１６は、必ずしも診断対象部分の疾患該当確率を取得する疾患識別器を用いなくても良い。指標取得部１６は、例えば疾患識別器の代わりに、診断対象部分の疾患の種類によらずに診断対象部分の疾患の属性が「悪性」である確率（悪性指標）を出力する識別器や、診断対象部分の疾患の属性が「メラノサイト系」のような所定の疾患属性である確率（疾患属性指標）を出力する識別器を用いてもよい。

【0063】

リスク取得部１７は、疾患の属性が悪性であり、かつ、当該疾患の属性が所定の疾患属性である場合における当該疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、リスクとしては、見逃しリスク（識別器の誤判定（悪性未検出）のリスク）や予後リスク（放置リスク）が考えられるが、リスク取得部１７は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらの値を総合的に扱って１つのリスク指標として扱ってもよい。例えば、制御部１０は、疾患識別器の学習に用いた学習用データ以外の画像データ（試験用症例データ）を用いる等して見逃しリスクのリスク指標を求めたり、専門家等による予後リスクに関するデータを用いる等して予後リスクのリスク指標を求めたりして、予めリスク指標を記憶部２０に保存しておく。または、外部のサーバ等で予めリスク指標を求めておいてもよい。そして、リスク取得部１７は、予め制御部１０又は外部のサーバ等により求めたリスク指標を取得する。本実施形態では、このリスク指標は、疾患の属性が悪性の場合における当該疾患の見逃しリスクの高さを当該疾患の悪性指標を基準として表した指標であり、予め後述するリスク境界線生成処理によって生成されているものとする。

【0064】

例えば、「悪性」の確率（悪性指標）が同じであっても、メラノサイト系の悪性疾患は非メラノサイト系の悪性疾患よりも識別難易度が高く、見逃しリスクが高い。本実施形態では、悪性指標がリスク指標より高ければ見逃しリスクが高いことを表すので、疾患属性が「メラノサイト系」の場合のリスク指標は、疾患属性が「非メラノサイト系」の場合のリスク指標より低い値となる。そこで、リスク取得部１７は、疾患属性が「メラノサイト系」の場合は、疾患属性が「非メラノサイト系」の場合よりも低い値のリスク指標を取得することになる。リスク取得部１７は、リスク取得手段として機能する。

【0065】

表示制御部１８は、後述する表示制御処理により、指標取得部１６が取得した複数の指標を、互いに関連づけて表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部１６が「悪性」の指標として９３．４％を取得し、「メラノサイト系」の指標として９５．４％を取得したら、図９に示すように、（９５．４％，９３．４％）に対応する点として、点２０６を表示部に表示させる。表示制御部１８は表示制御手段として機能する。

【0066】

なお、図９においては、縦軸に悪性及び良性、横軸にメラノサイト系及び非メラノサイト系、というように、各軸の両端に属性の名称を記載した。しかし、実際には各軸とも１つの指標に基づいている（各軸の両端の属性は表裏の関係であり、例えば悪性１００％は良性０％を意味する）ので、例えば、縦軸には悪性のみ、横軸にはメラノサイト系のみ、というように単一の名称のみを記載しても良い。図９において、縦軸と横軸の交点は、悪性及び良性の指標がいずれも５０％、かつ、メラノサイト系及び非メラノサイト系の指標がいずれも５０％であることを示す点となる。

【0067】

また、表示制御部１８は、リスク取得部１７で取得されたリスク指標を、指標取得部１６が取得した複数の指標と互いに関連づけて表示部に表示させる。このための表示として、表示制御部１８は、例えば、後述するリスク境界線生成処理によって生成したリスク境界線を、図９に点線で示すようなリスク境界線２０７として表示する。図９では、点２０６がリスク境界線２０７よりも上にあるが、これは、クエリ画像に写っている診断対象部分の疾患のリスクが高いことを示している。なお、図９は、見逃しリスクに基づくリスク境界線２０７の例を示しているが、リスク取得部１７が見逃しリスクだけでなく予後リスクも取得する場合は、表示制御部１８は、見逃しリスクに基づくリスク境界線２０７に加えて、予後リスクに基づくリスク境界線（図示せず）を表示してもよい。また、リスク取得部１７が予後リスクのみを取得する場合は、表示制御部１８は、見逃しリスクに基づくリスク境界線２０７は表示せずに、予後リスクに基づくリスク境界線（図示せず）のみを表示してもよい。

【0068】

以上、表示制御装置１０１の機能構成について説明した。次に表示制御装置１０１が行う表示制御処理の内容について、図１０を参照して説明する。表示制御処理は、ユーザが入力部３１を介して表示制御装置１０１に表示制御処理の開始を指示すると開始される。また、ユーザは表示制御処理の開始の指示に先立って、座標軸に用いる属性の種類（例えば、縦軸に「良性／悪性」、横軸に「メラノサイト系／非メラノサイト系」）を予め表示制御装置１０１に指示しているものとする。

【0069】

まず、表示制御部１８は、表示部に座標軸を表示する（ステップＳ２０１）。ここで表示する座標軸は、予めユーザから指示されている属性に基づく座標軸である。例えば図９に示す例では、縦軸が悪性（良性／悪性）の座標軸で、横軸がメラノサイト系（メラノサイト系／非メラノサイト系）の座標軸である。

【0070】

次に、表示制御装置１０１の制御部１０は、クエリ画像を取得する（ステップＳ２０２）。例えば、ユーザが入力部３１を介してクエリ画像を表示制御装置１０１に入力する（例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする）と、制御部１０は、クエリ画像を取得する。

【0071】

次に、指標取得部１６は、クエリ画像を識別器に入力して、各属性の指標を取得する（ステップＳ２０３）。ステップＳ２０３は取得ステップとも呼ばれる。そして、表示制御部１８は、表示部に表示されている座標軸において、指標取得部１６が取得した指標で表される座標に、点２０６を表示する（ステップＳ２０４）。ステップＳ２０４は表示制御ステップとも呼ばれる。

【0072】

次に表示制御部１８は、後述するリスク境界線生成処理によって予め生成して記憶部２０に保存しておいたリスク境界線２０７を表示部に表示し（ステップＳ２０５）、表示制御処理を終了する。

【0073】

次に、リスク境界線生成処理について、図１１を参照して説明する。リスク境界線生成処理は、表示制御処理（図１０）が実行される前に予め実行されているものとする。具体的には、例えば、図９の座標軸に用いる属性をユーザから指示されるとリスク境界線生成処理が開始される。ただし、リスク境界線生成処理は、予め外部のサーバ等で実行されていてもよい。この場合、制御部１０は、その結果（リスク境界線の座標）を通信部３３を介して取得して、記憶部２０に保存する。では、予め制御部１０がリスク境界線生成処理を実行する場合を説明する。

【0074】

まず、制御部１０は、記憶部２０から、又は通信部３３を介して、（疾患識別器の学習に用いていない）試験用症例の画像データを取得する（ステップＳ３０１）。次に、指標取得部１６は、試験用症例の画像データを疾患識別器に入力して、各座標軸に対応する属性の指標を取得する（ステップＳ３０２）。図９に示す例ではこの属性は「悪性」と「メラノサイト系」であり、ここでは、「悪性」の指標を悪性指標、「メラノサイト系」の指標を疾患属性指標と呼ぶ。

【0075】

そして、制御部１０は、ステップＳ３０２で取得された指標について、悪性指標を疾患属性指標の各区間に分類する（ステップＳ３０３）。ここで、疾患属性指標の各区間とは、例えば疾患属性指標の値を０％以上１００％以下とし、各区間の幅を１０％とすると、疾患属性指標の値が０％以上１０％未満の区間１、疾患属性指標の値が１０％以上２０％未満の区間２、…、疾患属性指標の値が９０％以上１００％以下の区間１０、の１０個の区間である。例えば、ステップＳ３０２で取得された指標が、悪性指標３５％、疾患属性指標５５％だったとすると、制御部１０は、悪性指標３５％を、区間６に分類する。

【0076】

次に、制御部１０は、ステップＳ３０３で分類された悪性指標が全ての区間（上記の例では区間１から区間１０までの全ての区間）にそれぞれ所定数（例えば２０）以上分類されたか否かを判定する（ステップＳ３０４）。所定数未満しか分類されていない区間が存在するなら（ステップＳ３０４；Ｎｏ）、ステップＳ３０１に戻って、新たな試験用症例データによる指標の分類を繰り返す。

【0077】

全ての区間で所定数以上分類されているなら（ステップＳ３０４；Ｙｅｓ）、制御部１０は、各区間について、悪性疾患の感度が所定感度（例えば感度９５％）となる悪性指標の悪性判定閾値（例えば感度９５％の場合、一定数の悪性疾患の試験用症例を識別させたときに、９５％が当該悪性疾患と判定されるようにする閾値）を算出する（ステップＳ３０５）。この閾値が低いほど、疾患の属性が悪性であると判定されやすく、感度が上がり、特異度（良性症例の正解率）が下がる。

【0078】

そして、制御部１０は、各区間の悪性判定閾値の値をスプライン曲線等で結んだ線をリスク境界線とし、このリスク境界線の座標を記憶部２０に保存し（ステップＳ３０６）、リスク境界線生成処理を終了する。表示制御処理（図１０）のステップＳ２０４で表示される点が、このリスク境界線よりも上部にあると、クエリ画像に示される診断対象部分の疾患のリスクが高いことを意味する。

【0079】

なお、上述のリスク境界線生成処理は、あくまでも一例に過ぎず、以下のような変形例も考えられる。
‐疾患リスクに応じて変化させる（メラノサイト系（メラノーマ等）の方が、非メラノサイト系（基底細胞癌等）よりも転移可能性が格段に高く、予後リスクが上がるので、疾患の属性がメラノサイト系である確率が高い領域において、リスク境界線を下げる。）
‐診断対象部分のサイズに応じて上下させる（サイズが大きくなると予後リスクが上がるので、リスク境界線を下げる。）
‐診断対象部分の病変深度に応じて上下させる（診断対象部分の色による判定等の画像処理によって病変深度を推定し、病変深度が深くなると予後リスクが上がるので、リスク境界線を下げる。）
‐診断対象部分としての潰瘍のサイズ、診断対象部分における出血している領域のサイズに応じて、上下させる（潰瘍、出血があり、またその領域が大きいほど予後リスクが上がるので、リスク境界線を下げる。）

【0080】

以上説明したように、表示制御装置１０１は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の属性情報を図９に示すように点２０６の座標によって分かり易く表示することができる。また、リスク境界線２０７も表示することにより、点２０６とリスク境界線２０７との位置関係によって、診断対象部分の疾患のリスクの高さを把握することができる。

【0081】

実施形態２に係る表示制御装置１０１においても、実施形態１に係る類似画像表示装置と同様、属性としては、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の少なくとも一方に代えて、「上皮性／非上皮性」、「転移性／非転移性」、「浸潤性／非浸潤性」、「ウイルス性／非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間（例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる）」等を用いてもよい。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図９に示す例では、疾患の属性がメラノサイト系（メラノサイト系／非メラノサイト系）である可能性を表す指標を横軸に取っている。

【0082】

また、上述の実施形態２では、属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の二つを縦軸及び横軸に割り当てて２次元空間上で点２０６を表示した。しかし、用いる属性を３種類にして、３次元空間上に点２０６を配置して、それを２次元空間に投影したものを出力部３２に出力してもよい。また、用いる属性の種類数ｎを４以上にしたい場合は、仮想的にｎ次元空間に点２０６を配置し、それを最終的に２次元空間に投影して出力部３２に出力するようにしてもよい。

【0083】

（実施形態３）
本発明の実施形態３に係る表示制御装置１０２は、クエリ画像に写っている診断対象部分の疾患の属性を、診断対象部分の疾患が所定の疾患である確率と共に、クエリ画像を根ノードとする木構造で表示する。このような表示を行うことにより、表示制御装置１０２は、診断対象部分の疾患の属性情報を把握しやすくする。

【0084】

実施形態３に係る表示制御装置１０２は、図１２に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。これらのうち、記憶部２０、入力部３１、出力部３２及び通信部３３は、実施形態２に係る表示制御装置１０１が備える記憶部２０、入力部３１、出力部３２及び通信部３３と同様であるので、説明を省略する。

【0085】

制御部１０は、ＣＰＵ等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（指標取得部１６、位置決定部１３、疾患リスク取得部１９、表示制御部１８）の機能を実現する。

【0086】

指標取得部１６は、所定の疾患数の疾患を識別する疾患識別器を用いて、クエリ画像に写っている診断対象部分の疾患が各属性に関係する確率（可能性）を求め、求めた確率を当該属性の指標として取得する。この疾患識別器は、例えばコンボリューショナル・ニューラルネットワークで構成されており、予め所定の学習用画像データを用いて学習されている。指標取得部１６は、このような学習済みの疾患識別器を備えてもよいし、例えば、通信部３３を介して、学習済みの疾患識別器を備えた外部の画像識別装置にクエリ画像を識別させ、その結果得られた各属性に関係する確率（可能性）を当該属性の指標として取得してもよい。

【0087】

ここでは、指標取得部１６は、実施形態２に係る指標取得部１６の項目で説明したように、例えば、４つの疾患（メラノーマ、基底細胞癌、色素性母斑、脂漏性角化症）についての疾患該当確率を出力する疾患識別器を備えているものとする。そして、この疾患識別器にクエリ画像を入力して得られた疾患該当確率が、例えば、メラノーマについて８９．０％、基底細胞癌について４．４％、色素性母斑について６．４％、脂漏性角化症について０．２％であるとする。

【0088】

この例では、実施形態２に係る指標取得部１６の説明で説明したように、診断対象部分の疾患の属性が各種の属性である可能性を表す指標は、悪性指標が９３．４％、良性指標が６．６％、「メラノサイト系」の疾患属性指標が９５．４％、「非メラノサイト系」の疾患属性指標が４．６％となる。また、実施形態３に係る指標取得部１６は、疾患識別器が出力する各疾患の確率も疾患指標として取得する。この例では、メラノーマの疾患指標が８９．０％、基底細胞癌の疾患指標が４．４％、色素性母斑の疾患指標が６．４％、脂漏性角化症の疾患指標が０．２％となる。

【0089】

位置決定部１３は、指標取得部１６が取得する疾患指標の数の各疾患（カテゴリ）に関する情報を表示する位置を、ｎ種類（ｎは１以上の整数）の属性に従ってｎ次元の空間における座標として決定する。より詳細には、ｎ種類の属性のそれぞれを、ｎ次元空間の座標を定義するｎ本の座標軸に１対１で対応させ、各疾患に関する情報を表示する位置を示す座標を、各座標軸においてその座標軸に対応する属性に当該疾患が関係する可能性を表す指標に基づいて決定する。

【0090】

例えば、上記ｎ種類の属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の２種類の属性を採用する場合は、位置決定部１３は、指標取得部１６が取得する疾患指標に対応する各疾患に関する情報を表示する２次元空間上の座標を決定する。位置決定部１３は、例えば図１３に示すように、「良性／悪性」を縦軸（Ｙ軸）、「メラノサイト系／非メラノサイト系」を横軸（Ｘ軸）とする２次元空間において、診断対象部分の各疾患の確率の大きさを表す円（確率円）を表示する位置の座標を決定することになる。なお、図１３では、縦軸（Ｙ軸）においては、良性が下側、悪性が上側とし、横軸（Ｘ軸）においては、メラノサイト系が左側、非メラノサイト系が右側としている。

【0091】

具体例として、疾患として色素性母斑、メラノーマ、脂漏性角化症、基底細胞癌の４つがある場合を考えると、それぞれの疾患の属性は、色素性母斑が「良性、メラノサイト系」、メラノーマが「悪性、メラノサイト系」、脂漏性角化症が「良性、非メラノサイト系」、基底細胞癌が「悪性、非メラノサイト系」である。従って、位置決定部１３は、図１３に示すように、色素性母斑を左下の領域に、メラノーマを左上の領域に、脂漏性角化症を右下の領域に、基底細胞癌を右上の領域に表示されるように、それぞれの位置を決定する。

【0092】

なお、位置決定部１３は、異なる疾患に関する情報が表示される位置が同じ座標にならないように、必要に応じて疾患に関する情報の表示位置を調整してもよい。図１３には示されていないが、例えば指標取得部が血腫・血管腫の疾患指標も取得する場合、血腫・血管腫も、脂漏性角化症と同様にその属性は「良性、非メラノサイト系」なので、疾患に関する情報の表示位置を調整しないと両疾患ともに同じ右下の領域に当該疾患に関する情報が表示されることになってしまう。このような場合、位置決定部１３は、例えば、脂漏性角化症に関する情報の表示位置を右下の領域の中央よりも少し左にずらし、血腫・血管腫に関する情報の表示位置を右下の領域の中央よりも少し右にずらす等、各疾患に関する情報の表示位置を調整してもよい。

【0093】

位置決定部１３が各疾患に関する情報の表示位置を決定する空間の座標軸を決めるために用いるｎ種類の属性の情報と、各疾患の該属性の情報と、各属性の配置情報は、予め記憶部２０に記憶されている。位置決定部１３は、記憶部２０に記憶されているｎ種類の属性の情報、各疾患の該属性の情報及び各属性の配置情報に基づいて、各疾患に関する情報を表示する位置のｎ次元空間における座標を決定する。図１３に示す例においては、属性の情報として「良性／悪性」の属性と、「メラノサイト系／非メラノサイト系」の属性の２種類の属性の情報が記憶部２０に記憶されている。そして、各疾患の該属性の情報として、色素性母斑は「良性、メラノサイト系」、メラノーマは「悪性、メラノサイト系」、脂漏性角化症は「良性、非メラノサイト系」、基底細胞癌は「悪性、非メラノサイト系」という情報が記憶部２０に記憶されている。そして、各属性の配置情報として、「良性／悪性」の属性においては、「良性」は下側に「悪性」は上側に配置し、「メラノサイト系／非メラノサイト系」の属性においては、「メラノサイト系」は左側に「非メラノサイト系」は右側に配置するという情報が記憶部２０に記憶されている。

【0094】

疾患リスク取得部１９は、疾患毎にその疾患のリスクが高いか否かを表すリスク指標を取得する。ここで、疾患のリスクには、予後リスク（疾患を放置した場合の放置リスク）や、見逃しリスク（疾患識別器が悪性疾患を悪性疾患と判定しない誤判定リスク）があるが、疾患リスク取得部１９は、これらのリスクを区別して別々のリスク指標として扱ってもよいし、これらのリスクを総合的に扱って一つのリスク指標として扱ってもよい。例えば、メラノーマは基底細胞癌よりも予後リスク、見逃しリスクともに高い。したがって、疾患リスク取得部１９は、例えば、メラノーマのリスク指標として１０％を、基底細胞癌のリスク指標として８０％を、それぞれ取得する。これは、診断対象部分の疾患がメラノーマであれば確率（疾患指標）が１０％でもリスクが高いが、基底細胞癌であれば確率（疾患指標）が８０％以上でないとリスクが高いとは言えない場合の例である。これらの各疾患のリスク指標の値は、疾患毎に医師等が予め設定した値であっても良いし、実施形態２のリスク境界線生成処理（図１１）の処理と同様にして、学習用に用いたデータとは異なる試験用症例データを用いて、予め各疾患について感度が所定の値（例えば９５％や９０％）となる疾患指標を判定閾値として求めておき、求めた判定閾値をリスク指標として取得するようにしてもよい。疾患リスク取得部１９は、疾患リスク取得手段として機能する。

【0095】

表示制御部１８は、後述する表示制御処理により、指標取得部１６が取得した複数の指標を、互いに関連づけて木構造で図１３に示すように表示部に表示させる。例えば、クエリ画像に写っている診断対象部分について、指標取得部１６が各疾患の疾患指標として、メラノーマ ８９．０％、基底細胞癌 ４．４％、色素性母斑 ６．４％、脂漏性角化症 ０．２％という値を取得したら、図１３に示すように、表示制御部１８は、診断対象部分の疾患が色素性母斑である確率を６．４％に相当する大きさの確率円４１１で、診断対象部分の疾患がメラノーマである確率を８９．０％に相当する大きな確率円４１２で、診断対象部分の疾患が脂漏性角化症である確率を０．２％に相当する小さな確率円４１３で、診断対象部分の疾患が基底細胞癌である確率を４．４％に相当する大きさの確率円４１４で、それぞれ表示する。なお、図１３では、各確率円の中心に中心を示すドットを表示しているが、このようなドットを表示するか否かは任意であり、ユーザの指示等により、中心のドットの表示をオン／オフできるようにしてもよい。

【0096】

以上、表示制御装置１０２の機能構成について説明した。次に表示制御装置１０２が行う表示制御処理の内容について、図１４を参照して説明する。表示制御処理は、ユーザが入力部３１を介して表示制御装置１０２に表示制御処理の開始を指示すると開始される。

【0097】

まず、表示制御装置１０２の制御部１０は、クエリ画像を取得する（ステップＳ４０１）。例えば、ユーザが入力部３１を介してクエリ画像を表示制御装置１０２に入力する（例えば表示部の画面の所定の領域にクエリ画像をドラッグ・アンド・ドロップする）と、制御部１０は、クエリ画像を取得する。

【0098】

次に、表示制御部１８は、図１３に示すように、クエリ画像４００を表示画面の中央部に表示する（ステップＳ４０２）。

【0099】

次に、指標取得部１６は、クエリ画像を疾患識別器に入力して、各疾患の疾患指標を取得する（ステップＳ４０３）。そして、表示制御部１８は、図１３に示すように、各疾患の疾患指標の大きさに基づく確率円を、位置決定部１３が位置を決定した各疾患に関する情報の表示位置に表示する（ステップＳ４０４）。

【0100】

そして、表示制御部１８は、疾患リスク取得部１９で取得された各疾患のリスク指標の大きさを示すリスク円を、その中心が各疾患の確率円の中心と一致する位置で、表示する（ステップＳ４０５）。例えば、図１３では、メラノーマの感度９０％となるリスク指標の大きさに基づくリスク円４１５を実線で、感度９５％となるリスク指標の大きさに基づくリスク円４１６を点線で示している。また、基底細胞癌の感度９０％となるリスク指標の大きさに基づくリスク円４１７を実線で、感度９５％となるリスク指標の大きさに基づくリスク円４１８を点線で示している。ここで、「疾患Ｓの感度Ｐ％となるリスク指標」とは、一定数の疾患Ｓの試験用症例画像を疾患識別器で識別した場合に、そのＰ％が疾患Ｓと判定されるようにするための疾患識別器の出力（疾患Ｓの確率値）の閾値である。

【0101】

図１３に示す例では、メラノーマの確率円４１２は、感度９０％となるリスク指標の大きさに基づくリスク円４１５よりも大きいため、メラノーマの見逃しリスクが高いことが示されている。反面、基底細胞癌の確率円４１４は、感度９５％となるリスク指標の大きさに基づくリスク円４１８よりも小さいため、基底細胞癌の見逃しリスクは低いことが示されている。

【0102】

次に、表示制御部１８は、表示画面の中央部のクエリ画像４００を根ノードとし、各疾患の確率円４１１，４１２，４１３，４１４を葉ノードとし、それらを接続線４２１，４２２，４２３，４２４で接続した木構造を図１３に示すように表示し（ステップＳ４０６）、表示制御処理を終了する。

【0103】

ステップＳ４０６での木構造の表示においては、表示制御部１８は、指標取得部１６により取得された指標に基づき、悪性指標が良性指標より大きければ、図１３に示すように、悪性ノード４３２を良性ノード４３１よりも大きく表示する。また、悪性ノード４３２、良性ノード４３１のあとに、メラノサイト系ノード４３３，４３４や非メラノサイト系ノード４３５，４３６の各ノードを設定し、それらの各ノードから各属性に対応する疾患の確率円４１１，４１２，４１３，４１４に接続線４２１，４２２，４２３，４２４を延ばした木構造を表示する。

【0104】

図１３では示されていないが、表示制御部１８は、各疾患の危険度を分かり易くするために、良性疾患の確率円には緑枠、悪性疾患の確率円には赤枠を付ける等の表示を行ってもよい。

【0105】

また、図１３では、各確率円の大きさは対応する疾患の確率の大きさに応じた大きさになっているが、これに限られない。確率が同じでも疾患に応じてリスクの高さは異なるため、例えば、疾患リスク取得部１９で取得されたリスク指標が当該疾患の確率よりも高い場合は、その疾患の確率が小さくても大きな確率円を表示するようにしてもよいし、疾患リスク取得部１９で取得されたリスク指標が当該疾患の確率よりも低い場合は、その疾患の確率が大きくても小さな確率円を表示するようにしてもよい。

【0106】

以上説明したように、表示制御装置１０２は、入力されたクエリ画像に対し、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を図１３に示すように確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円４１５，４１６，４１７，４１８も表示することにより、確率円４１２，４１４とリスク円４１５，４１６，４１７，４１８との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。

【0107】

実施形態３に係る表示制御装置１０２においても、上述の実施形態と同様、属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の少なくとも一方に代えて、「上皮性／非上皮性」、「転移性／非転移性」、「浸潤性／非浸潤性」、「ウイルス性／非ウイルス性」、「疾患部のサイズ」、「疾患部の色」、「時間（例えば、横軸に時間をとって、縦軸にサイズ等の計測値を取ると、経過観察でサイズ等の計測値の時間変化を見ることができる）」等を用いることができる。これらの属性のうち、予後リスクが最も高いのは、メラノサイト系と考えられるため、図１３に示す例では、疾患の属性がメラノサイト系（メラノサイト系／非メラノサイト系）である可能性を表す指標を横軸に、疾患の属性が悪性（良性／悪性）である可能性を表す指標を縦軸に、それぞれ取った木構造を表示している。

【0108】

また、表示制御部１８は、悪性ノード４３２や良性ノード４３１、メラノサイト系ノード４３３，４３４や非メラノサイト系ノード４３５，４３６の各ノードや、それらの各ノードから各属性に対応する疾患の確率円４１１，４１２，４１３，４１４への接続線４２１，４２２，４２３，４２４等を延ばした木構造を表示せずに、確率円４１１，４１２，４１３，４１４のみを表示してもよいし、確率円４１１，４１２，４１３，４１４とリスク円４１５，４１６，４１７，４１８のみを表示してもよいし、これらの円並びに、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。

【0109】

また、上述の実施形態３では、属性として、「良性／悪性」及び「メラノサイト系／非メラノサイト系」の二つを縦軸及び横軸に割り当てて２次元空間上で木構造を表示した。しかし、用いる属性を３種類にして、３次元空間上に木構造を配置して、それを２次元空間に投影したものを出力部３２に出力してもよい。また、用いる属性の種類数ｎを４以上にしたい場合は、仮想的にｎ次元空間に木構造を配置し、それを最終的に２次元空間に投影して出力部３２に出力するようにしてもよい。

【0110】

（実施形態４）
本発明の実施形態４に係る表示制御装置１０３は、実施形態３に係る表示制御装置１０２の木構造の表示に加えて、クエリ画像に類似する画像を各確率円の周囲に表示する。このような表示を行うことにより、表示制御装置１０３は、診断対象部分の疾患の属性情報を把握しやすくするとともに、類似画像間の関係性をよりわかりやすく表示する。

【0111】

実施形態４に係る表示制御装置１０３は、図１５に示すように、制御部１０、記憶部２０、入力部３１、出力部３２、通信部３３、を備える。これらのうち、記憶部２０、入力部３１及び出力部３２は、実施形態３に係る表示制御装置１０２が備える記憶部２０、入力部３１及び出力部３２と同様であるので、説明を省略する。通信部３３も実施形態３に係る表示制御装置１０２が備える通信部３３と同様であるが、データの送受信先の外部の他の装置として類似画像検索装置等も想定されており、制御部１０は、通信部３３を介して類似画像検索装置による類似画像検索結果（例えば、クエリ画像に類似する画像）を取得することができる。

【0112】

制御部１０は、ＣＰＵ等で構成され、記憶部２０に記憶されたプログラムを実行することにより、後述する各部（指標取得部１６、位置決定部１３、疾患リスク取得部１９、類似画像取得部１１、分類部１４、表示制御部１８）の機能を実現する。

【0113】

指標取得部１６、位置決定部１３及び疾患リスク取得部１９は、実施形態３に係る表示制御装置１０２が備える指標取得部１６、位置決定部１３及び疾患リスク取得部１９と同様なので、説明を省略する。

【0114】

類似画像取得部１１は、実施形態１に係る類似画像取得部１１と同様に、クエリ画像に対する類似画像検索の結果得られたデータ（類似画像の画像データ及び該画像のクエリ画像との類似度）を取得する。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった画像データを、該類似度とともに取得する。類似画像取得部１１は、制御部１０がクエリ画像に類似する画像を検索した結果得られた類似画像のデータを取得してもよいし、例えば、通信部３３を介して、外部の類似画像検索装置にクエリ画像に類似する画像を検索させ、該類似画像検索装置によって検索された類似画像のデータを取得してもよい。また、各画像データにはタグ情報として、その画像に対応する疾患名等の情報が付加されているものとする。

【0115】

分類部１４は、類似画像取得部１１が取得した画像データを、指標取得部１６が用いる疾患識別器が識別する疾患のいずれかに分類する。分類部１４は、各画像データに付加されているタグ情報（例えば、各画像データには疾患名がタグ情報として付加されている）を利用して画像データをいずれかの疾患に分類することができる。

【0116】

表示制御部１８は、後述する表示制御処理により、実施形態３に係る表示制御部１８の処理に加え、類似画像取得部１１が取得した類似画像のデータを、図１６に示すように、分類部１４が分類した疾患に対応する確率円の周囲に表示する処理を行う。

【0117】

以上、表示制御装置１０３の機能構成について説明した。次に表示制御装置１０３が行う表示制御処理の内容について、図１７を参照して説明する。表示制御処理は、ユーザが入力部３１を介して表示制御装置１０３に表示制御処理の開始を指示すると開始される。ただし、図１７に示す表示制御処理のうち、ステップＳ４０１からステップＳ４０６までは、実施形態３に係る表示制御装置１０２の表示制御処理（図１４）と同様の処理であるので、説明を省略する。

【0118】

ステップＳ４０６までの処理で木構造が表示されると、次に、類似画像取得部１１は、クエリ画像に対する類似画像検索の結果得られた類似画像を取得する（ステップＳ４０７）。具体的には、類似画像検索において、クエリ画像との類似度が所定の閾値以上となった類似画像を取得する。このとき、類似画像取得部１１は、類似画像とともに、該類似画像とクエリ画像との類似度も取得する。

【0119】

そして、分類部１４は、類似画像取得部１１が取得した類似画像を、各類似画像に付加されているタグ情報（疾患名）に基づいて、指標取得部１６が用いる疾患識別器が識別する疾患のいずれかに分類する（ステップＳ４０８）。

【0120】

そして、表示制御部１８は、類似画像取得部１１がステップＳ４０７で取得した類似画像を、分類部１４がステップＳ４０８で分類した疾患に対応する確率円の周囲（又は内部）に配置して表示部に表示し（ステップＳ４０９）、表示制御処理を終了する。

【0121】

ステップＳ４０９での表示制御部１８による類似画像の表示は、図１６に示すように、各疾患の確率円の周囲（又は内部）に、クエリ画像との類似度が高い画像ほど、その確率円の中心に配置されるように、同心円状に配置して表示する。図１６に示す例では、各疾患に分類された類似画像のうち、クエリ画像との類似度が最も高い類似画像を各確率円の中心の上に配置し、そこから時計回りに配置することによって、同心円状に配置している。

【0122】

また、各類似画像は、小さい円で囲って表示するが、その小さい円の線の太さはその類似画像とクエリ画像との類似度が高いほど太くする。例えば、図１６に示す例では、メラノーマの確率円４１２の中心の上部に配置されている類似画像を囲う小さい円４１２１の線の太さは、その隣に配置されている類似画像を囲う小さい円４１２２の線の太さより太く表示されている。さらに、メラノーマの確率円４１２の中心の上部に配置されている類似画像を囲う小さい円４１２１の線の太さは、色素性母斑の確率円４１１の上部に配置されている類似画像を囲う小さい円４１１１の線の太さや、脂漏性角化症の確率円４１３の上部に配置されている類似画像を囲う小さい円４１３１の線の太さや、基底細胞癌の確率円４１４の上部に配置されている類似画像を囲う小さい円４１４１の線の太さのいずれよりも太く表示されている。これは、類似画像取得部１１が取得した類似画像のうちクエリ画像に最も類似する類似画像がメラノーマの画像（類似画像を囲う小さい円４１２１に囲われている画像）であることを意味する。

【0123】

以上説明したように、表示制御装置１０３は、入力されたクエリ画像に対し、図１６に示すように、クエリ画像に写っている診断対象部分の疾患が所定の疾患である確率を確率円の大きさで示し、確率円を各疾患の属性に基づいて木構造で表示することにより、診断対象部分の疾患の属性情報を把握しやすくすることができる。また、リスク円４１５，４１６，４１７，４１８も表示することにより、確率円４１２，４１４とリスク円４１５，４１６，４１７，４１８との大小関係によって、診断対象部分の疾患のリスクの高さを把握することができる。さらに、クエリ画像との類似度の高い順に類似画像を各確率円の周囲（又は内部）に配置して表示することができるので、類似画像間の関係性をよりわかりやすく表示させることができる。

【0124】

実施形態４に係る表示制御装置１０２においても、実施形態３に係る表示制御装置１０２と同様に、様々な属性を用いることができ、また表示制御部１８は、確率円４１１，４１２，４１３，４１４、リスク円４１５，４１６，４１７，４１８、クエリ画像４００、類似画像、木構造を構成する各ノード及び接続線の一部のみを表示してもよい。また、属性の種類数が２の木構造（２次元空間上の木構造）だけでなく、属性の種類をｎ種類にして、ｎ次元空間に木構造を配置し、それを最終的に２次元空間に投影して出力部３２に出力するようにしてもよい。

【0125】

また、上述の実施形態２，３，４では、皮膚の疾患を例にとって説明したが、本発明は皮膚科の分野に限定されるものではなく、識別器で画像を識別させる分野において広く適用できる。例えば、花の画像による花の種類の識別、細菌の顕微鏡写真による細菌の識別等にも適用できる。また、これらの識別器の実現方法は任意であり、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて実現してもよいし、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やロジスティック回帰等で実現してもよい。

【0126】

また、上述の実施形態２，３，４では、表示制御処理を制御部１０が行っていたが、外部のサーバで表示制御処理に相当する処理を行わせた結果を通信部３３で受信して出力部３２に出力してもよい。

【0127】

また、上述の各実施形態及び各変形例は適宜組み合わせることができる。実施形態４は実施形態３に実施形態１の一部を組み合わせた実施形態と言えるが、例えば、逆に、実施形態１に実施形態３の一部を組み合わせてもよい。そうすると、図３に示す各カテゴリ円を当該カテゴリに対応する疾患の確率の大きさを示す確率円に置き換え、当該カテゴリに対応する疾患の確率の値やリスク円を表示させることもできる。このようにすると、各疾患の確率やリスクを視覚的に確認しながら、類似画像を参照することができ、より診断の参考にすることができる。また、実施形態３や実施形態４における確率円やリスク円の形状は円に限られず、他の適当な形状（例えば、三角形、四角形等のｎ角形、ハート型、星形等のシンボル形状等）でもよい。

【0128】

なお、類似画像表示装置１００及び表示制御装置１０１，１０２，１０３の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、類似画像表示装置１００が行う類似画像表示処理のプログラム及び表示制御装置１０１，１０２，１０３が行う表示制御処理のプログラムが、記憶部２０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）、メモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

【0129】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0130】

（付記１）
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御手段と、
を備える類似画像表示制御装置。

【0131】

（付記２）
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度に基づいて、前記カテゴリ領域の内部に配置して表示させる、
付記１に記載の類似画像表示制御装置。

【0132】

（付記３）
前記画像表示制御手段は、前記カテゴリ領域を、前記カテゴリ領域に対応するカテゴリに分類された類似画像が多いほど、大きな円で表示させる、
付記１又は２に記載の類似画像表示制御装置。

【0133】

（付記４）
前記画像表示制御手段は、前記カテゴリ領域を示す円の円周の線を、前記カテゴリ領域に対応するカテゴリに分類された類似画像のうち前記クエリ画像に最も類似する類似画像のクエリ画像との類似度が高いほど太く表示させる、
付記３に記載の類似画像表示制御装置。

【0134】

（付記５）
前記画像表示制御手段は、前記類似画像を、前記カテゴリ領域内に同心円状に配置して表示させる、
付記３又は４に記載の類似画像表示制御装置。

【0135】

（付記６）
前記画像表示制御手段は、前記類似画像を、前記クエリ画像との類似度が高いほど前記カテゴリ領域の中心に近い位置に配置して表示させる、
付記５に記載の類似画像表示制御装置。

【0136】

（付記７）
前記画像表示制御手段は、前記同心円状に配置して表示された類似画像の背景に同心円状のグラフィック図形を表示させる、
付記５又は６に記載の類似画像表示制御装置。

【0137】

（付記８）
前記位置決定手段は、前記属性のそれぞれを前記空間の各座標軸に対応させて、前記カテゴリ領域の位置を示す座標を前記空間の該カテゴリの前記属性の属性値に応じた座標に決定する、
付記１から７のいずれか１つに記載の類似画像表示制御装置。

【0138】

（付記９）
前記画像表示制御手段は、前記カテゴリ領域に、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を接続して表示させる、
付記１から８のいずれか１つに記載の類似画像表示制御装置。

【0139】

（付記１０）
前記画像表示制御手段は、前記クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記カテゴリ領域を葉ノードとして、前記カテゴリ領域に対応するカテゴリの属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記類似画像を表示部に表示させ、前記接続線の内部ノードとして前記カテゴリの属性の情報を示す属性名を表示させる、
付記１から８のいずれか１つに記載の類似画像表示制御装置。

【0140】

（付記１１）
前記画像表示制御手段は、前記分類手段で前記カテゴリ領域に対応するカテゴリに分類された複数の類似画像のうちの所定の類似画像のクエリ画像との類似度に応じて、前記類似画像が分類された前記カテゴリに対応する前記カテゴリ領域に接続された前記接続線の太さを、前記表示部に所定の太さで表示させる、
付記９又は１０に記載の類似画像表示制御装置。

【0141】

（付記１２）
前記画像表示制御手段は、前記類似画像のうちユーザに選択された１または複数の類似画像と前記クエリ画像とを前記表示部に拡大表示させる、
付記１から１１のいずれか１つに記載の類似画像表示制御装置。

【0142】

（付記１３）
前記カテゴリは、皮膚の疾患名である、
付記１から１２のいずれか１つに記載の類似画像表示制御装置。

【0143】

（付記１４）
前記属性は、良性／悪性及びメラノサイト系／非メラノサイト系の２種類である、
付記１３に記載の類似画像表示制御装置。

【0144】

（付記１５）
類似画像表示制御装置と表示部とを備える類似画像表示制御システムであって、
前記類似画像表示制御装置は、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得手段と、
前記類似画像取得手段が取得した類似画像を分類する複数のカテゴリを設定するカテゴリ設定手段と、
２以上の所定の次元数の次元の空間における、前記カテゴリ設定手段が設定した各カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定する位置決定手段と、
前記類似画像取得手段が取得した類似画像を前記カテゴリ設定手段が設定した複数のカテゴリのいずれかに分類する分類手段と、
前記分類手段で各カテゴリに分類された前記類似画像を、前記位置決定手段で決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、前記表示部に表示させる画像表示制御手段と、
を備える、
類似画像表示制御システム。

【0145】

（付記１６）
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップと、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップと、
２以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップと、
を含む類似画像表示制御方法。

【0146】

（付記１７）
コンピュータに、
クエリ画像に対する類似画像検索の結果得られた類似画像を取得する類似画像取得ステップ、
前記類似画像取得ステップで取得した類似画像を複数のカテゴリのいずれかに分類する分類ステップ、及び、
２以上の所定の次元数の次元の空間における、前記カテゴリを示す領域であるカテゴリ領域の位置を示す座標を、前記次元数の種類の属性に従って決定するとともに、前記分類ステップで各カテゴリに分類された前記類似画像を、前記決定された座標で示される位置に位置する前記カテゴリ領域の内部に配置して、表示部に表示させる画像表示制御ステップ、
を実行させるためのプログラム。

【0147】

（付記１８）
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて表示部に表示させる表示制御手段と、
を備える表示制御装置。

【0148】

（付記１９）
疾患の属性が悪性であり、かつ、前記疾患の属性が前記第１疾患属性である場合における前記疾患のリスクが高いか否かを表すリスク指標を取得するリスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標及び前記取得された第１疾患属性指標と関連づけて前記表示部に表示させる、
付記１８に記載の表示制御装置。

【0149】

（付記２０）
前記取得手段は、前記診断対象部分の疾患の属性が良性である可能性を表す良性指標と、前記診断対象部分の疾患の属性が前記第１疾患属性とは異なる第２疾患属性である可能性を表す第２疾患属性指標と、をさらに取得し、
前記表示制御手段は、前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標を、互いに関連づけて前記表示部に表示させる、
付記１８に記載の表示制御装置。

【0150】

（付記２１）
前記診断対象部分の疾患のリスクが高いか否かを表すリスク指標を取得する疾患リスク取得手段をさらに備え、
前記表示制御手段は、前記取得されたリスク指標を、前記取得された悪性指標、前記取得された第１疾患属性指標、前記取得された良性指標及び前記取得された第２疾患属性指標と、互いに関連づけて表示部に表示させる、
付記２０に記載の表示制御装置。

【0151】

（付記２２）
疾患に関する情報を表示する位置の座標を決定する位置決定手段をさらに備え、
前記取得手段は、前記診断対象部分の疾患が所定の疾患である可能性を表す疾患指標をさらに取得し、
前記表示制御手段は、クエリ画像を根ノードとし、前記決定された座標で示される位置に位置する前記取得された疾患指標に基づく大きさの確率円を葉ノードとして、前記診断対象部分の疾患の属性に基づいた接続線を前記根ノードから前記葉ノードに接続した木構造により、前記取得された各指標を互いに関連づけて前記表示部に表示させる、
付記２０又は２１に記載の表示制御装置。

【0152】

（付記２３）
前記第１疾患属性がメラノサイト系であり、前記第２疾患属性が非メラノサイト系である、
付記２０から２２のいずれか１つに記載の表示制御装置。

【0153】

（付記２４）
前記診断対象部分の疾患が各属性に関係する確率を出力する識別器をさらに備え、
前記取得手段は、前記出力された各属性に関係する確率を前記各属性の指標として取得する、
付記１８から２３のいずれか１つに記載の表示制御装置。

【0154】

（付記２５）
表示制御装置と表示部とを備える表示制御システムであって、
前記表示制御装置は、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得手段と、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて前記表示部に表示させる表示制御手段と、
を備える、
表示制御システム。

【0155】

（付記２６）
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得ステップと、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップと、
を備える表示制御方法。

【0156】

（付記２７）
コンピュータに、
診断対象部分の疾患の属性が悪性である可能性を表す悪性指標と、前記診断対象部分の疾患の属性が所定の第１疾患属性である可能性を表す第１疾患属性指標と、を取得する取得ステップ、並びに、
前記取得された悪性指標及び前記取得された第１疾患属性指標を、互いに関連づけて表示部に表示させる表示制御ステップ、
を実行させるためのプログラム。

【符号の説明】

【0157】

１０…制御部、１１…類似画像取得部、１２…カテゴリ設定部、１３…位置決定部、１４…分類部、１５…画像表示制御部、１６…指標取得部、１７…リスク取得部、１８…表示制御部、１９…疾患リスク取得部、２０…記憶部、３１…入力部、３２…出力部、３３…通信部、５１，３００，４００…クエリ画像、５２…比較対象画像、５３…タグ情報、５４…類似度の順位、５５…順送りボタン、５６…逆送りボタン、１００…類似画像表示装置、１０１，１０２，１０３…表示制御装置、２０１…色素性母斑、２０２…メラノーマ、２０３…脂漏性角化症、２０４…血腫・血管腫、２０５…基底細胞癌、２０６…点、２０７…リスク境界線、３０１…色素性母斑の領域、３０２…メラノーマの領域、３０３…脂漏性角化症の領域、３０４…血腫・血管腫の領域、３０５…基底細胞癌の領域、３１１，３１２，３１３，３１４，３１５…カテゴリ円、３１１ａ，３１１ｂ，３１１ｃ，３１１ｄ，３１２ａ，３１２ｂ，３１３ａ，３１３ｂ，３１４ａ，３１４ｂ，３１５ａ，３１５ｂ，３１５ｃ…グラフィック図形、３２１，３２２，３２３，３２４，３２５，４２１，４２２，４２３，４２４…接続線、３３１…良性、３３２…悪性、３３３，３３４…メラノサイト系、３３５，３３６…非メラノサイト系、３５１，３５２，３５３，３５４，３５５…四角形、４１１，４１２，４１３，４１４…確率円、４１５，４１６，４１７，４１８…リスク円、４３１…良性ノード、４３２…悪性ノード、４３３，４３４…メラノサイト系ノード、４３５，４３６…非メラノサイト系ノード、３１４１，３１４２，４１１１，４１２１，４１２２，４１３１，４１４１…類似画像を囲う小さい円

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】