特開 2024-45916 識別装置、識別方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024045916

(43)【公開日】2024-04-03

(54)【発明の名称】識別装置、識別方法、プログラム

(51)【国際特許分類】

   A61B 10/00 20060101AFI20240327BHJP

   G06V 10/82 20220101ALI20240327BHJP

   G06N 20/00 20190101ALI20240327BHJP

   G06V 10/80 20220101ALI20240327BHJP

   G06N 3/045 20230101ALI20240327BHJP

【ＦＩ】

A61B10/00 Q

G06V10/82

G06N20/00

G06V10/80

G06N3/04 154

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022151008

(22)【出願日】2022-09-22

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】斉藤 篤

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096CA25

5L096DA02

5L096FA02

5L096HA11

5L096JA11

5L096JA13

5L096JA16

5L096KA04

5L096KA15

(57)【要約】

【課題】複数の異なるモダリティのデータを用いて対象の識別を精度良く行う。
【解決手段】診断装置である診断支援装置は、複数の互いに異なるモダリティに対応するマルチモーダル識別器（マルチモーダル識別器３０ｘ）と、複数の互いに異なるモダリティの各々に対応する複数のシングルモーダル識別器（シングルモーダル識別器３０ａ、シングルモーダル識別器３０ｂ）と、を備える。マルチモーダル識別器は、複数のシングルモーダル識別器で算出された複数の識別スコアと、複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量と、に基づいて、対象を識別するように構成される。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の互いに異なるモダリティに対応するマルチモーダル識別器と、
前記複数の互いに異なるモダリティの各々に対応する複数のシングルモーダル識別器と、を備え、
前記マルチモーダル識別器は、前記複数のシングルモーダル識別器で算出された複数の識別スコアと、前記複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量と、に基づいて、対象を識別するように構成される
ことを特徴とする識別装置。

【請求項2】

前記マルチモーダル識別器は、前記複数の識別スコアを結合して算出した総合識別スコアを、前記複数の特徴量に基づいて補正する補正部を備える
ことを特徴とする請求項１に記載の識別装置。

【請求項3】

前記マルチモーダル識別器は、さらに、複数の特徴量に基づいて交互作用特徴量を抽出する交互作用特徴量抽出部を備え、
前記補正部は、前記総合識別スコアを前記交互作用特徴量で補正する
ことを特徴とする請求項２に記載の識別装置。

【請求項4】

前記複数のシングルモーダル識別器の各々は、
２層以上の中間層を有するニューラルネットワークを有し、
前記２層以上の中間層のうち１層以上において他のシングルモーダル識別器の中間層と同一のパラメータを使用する
ことを特徴とする請求項３に記載の識別装置。

【請求項5】

前記複数の特徴量の各々は、他のシングルモーダル識別器の中間層とパラメータを共有しない中間層で抽出される
ことを特徴とする請求項４に記載の識別装置。

【請求項6】

前記交互作用特徴量抽出部は、前記パラメータを共有しない中間層における前記複数の特徴量から抽出する
ことを特徴とする請求項５に記載の識別装置。

【請求項7】

前記マルチモーダル識別器は、
前記複数のシングルモーダル識別器の各々と共有する入力層と、
前記複数のシングルモーダル識別器の各々と共有する共有中間層と、前記マルチモーダル識別器に固有の固有中間層と、を含む２層以上の中間層と、
出力層と、を有するニューラルネットワークを有する
ことを特徴とする請求項３乃至請求項６のいずれか１項に記載の識別装置。

【請求項8】

前記固有中間層は、
前記複数の識別スコアの重み付き加算により前記総合識別スコアを算出する識別スコア結合部と、
前記共有中間層から出力される前記複数の特徴量に基づいて前記交互作用特徴量を抽出する前記交互作用特徴量抽出部と、
前記総合識別スコアに前記交互作用特徴量をバイアスとして加算する前記補正部と、を備え、
前記出力層は、前記総合識別スコアに前記交互作用特徴量が加算された最終識別スコアを活性化関数へ入力して識別結果を算出する
ことを特徴とする請求項７に記載の識別装置。

【請求項9】

識別結果を出力する出力制御部を更に備え、
前記出力制御部は、
入力データが単一のモダリティを有するデータの場合、前記識別結果を、前記単一のモダリティに対応するシングルモーダル識別器から取得し、
入力データが前記複数のモダリティを有する複数のデータの場合、前記識別結果を、前記複数のモダリティに対応する前記マルチモーダル識別器から取得する
ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の識別装置。

【請求項10】

入力データを、前記入力データのモダリティに対応するシングルモーダル識別器へ入力する入力制御部を更に備える
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の識別装置。

【請求項11】

前記入力制御部は、前記入力データを、前記入力データに付されたメタデータから取得した前記入力データのモダリティを識別する情報に基づいて、前記入力データのモダリティに対応するシングルモーダル識別器へ入力する
ことを特徴とする請求項１０に記載の識別装置。

【請求項12】

前記識別装置は、皮膚画像データの入力に対して診断されるべき疾患の識別結果を出力する診断支援装置を構成し、
前記マルチモーダル識別器が対応する前記複数の互いに異なるモダリティを有する皮膚画像データは、ダーモスコープを用いて複数の異なる撮影方式で撮影された画像データを含み、
前記複数の撮影方式は、ジェルの有無、偏光フィルタの有無、ＵＶ光の使用の有無、接触式又は非接触式の撮影、の要素の組み合わせで区別される
ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の識別装置。

【請求項13】

モダリティが互いに異なる複数の入力データの各々を対応するシングルモーダル識別器に入力して、複数の識別スコアを取得するステップと、
前記複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量を取得するステップと、
前記複数の識別スコアと、前記複数の特徴量と、に基づいて、前記複数の入力データに対応する複数のモダリティに対応するマルチモーダル識別器で対象を識別するステップと、
を含むことを特徴とする識別方法。

【請求項14】

コンピュータに、
モダリティが互いに異なる複数の入力データの各々を対応するシングルモーダル識別器に入力して、複数の識別スコアを取得するステップと、
前記複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量を取得するステップと、
前記複数の識別スコアと、前記複数の特徴量と、に基づいて、前記複数の入力データに対応する複数のモダリティに対応するマルチモーダル識別器で対象を識別するステップと、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、識別装置、識別方法、プログラムに関する。

【背景技術】

【0002】

従来から、異なるモダリティのデータに基づく識別結果を統合して対象を識別するマルチモーダル識別器が知られている。このようなマルチモーダル識別器は、例えば、特許文献１などに記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０７６９１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、マルチモーダル識別器には、シングルモーダル識別器以上の識別の精度が期待されるが、その識別の精度には改善の余地があり、さらになる精度向上が期待されている。

【0005】

以上のような実情を踏まえ、本発明の一側面に係る目的は、複数の異なるモダリティのデータを用いて対象の識別を精度良く行うことである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る識別装置は、複数の互いに異なるモダリティに対応するマルチモーダル識別器と、前記複数の互いに異なるモダリティの各々に対応する複数のシングルモーダル識別器と、を備える。前記マルチモーダル識別器は、前記複数のシングルモーダル識別器で算出された複数の識別スコアと、前記複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量と、に基づいて、対象を識別するように構成される。

【0007】

本発明の一態様に係る識別方法は、モダリティが互いに異なる複数の入力データの各々を対応するシングルモーダル識別器に入力して、複数の識別スコアを取得するステップと、前記複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量を取得するステップと、前記複数の識別スコアと、前記複数の特徴量と、に基づいて、前記複数の入力データに対応する複数のモダリティに対応するマルチモーダル識別器で対象を識別するステップと、を含む。

【0008】

本発明の一態様に係るプログラムは、コンピュータに、モダリティが互いに異なる複数の入力データの各々を対応するシングルモーダル識別器に入力して、複数の識別スコアを取得するステップと、前記複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量を取得するステップと、前記複数の識別スコアと、前記複数の特徴量と、に基づいて、前記複数の入力データに対応する複数のモダリティに対応するマルチモーダル識別器で対象を識別するステップと、を実行させる。

【発明の効果】

【0009】

上記の態様によれば、複数の異なるモダリティのデータを用いて対象の識別を精度良く行うことができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る診断支援装置の機能構成を例示した図である。

【図2】図１に示す診断支援装置の識別部の機能的構成を例示した図である。

【図3】図１に示す診断支援装置の識別部の機能的構成の詳細を例示した別の図である。

【図4】図１に示す診断支援装置の識別部のネットワーク構成を例示した図である。

【図5】マルチモーダル識別器のスコア算出方法を説明するための図である。

【図6】パラメータ共有範囲を説明するための図である。

【図7】図１に示す識別部を生成するための学習処理の一例を示すフローチャートである。

【図8】図１に示す診断支援装置が行う推論処理の一例を示すフローチャートである。

【図9】図３に示す識別部の機能的構成の変形例を示した図である。

【発明を実施するための形態】

【0011】

図１は、一実施形態に係る診断支援装置の機能構成を例示した図である。図１に示す診断支援装置１００は、皮膚の疾患の有無や疾患の種類の診断に用いられる診断支援装置である。診断支援装置１００は、皮膚画像データの入力に対して診断されるべき疾患の識別結果を出力する。従って、診断支援装置１００は、識別装置の一例であり、例えば、汎用若しくは専用のコンピュータで構成される。なお、診断支援装置１００は、識別結果を出力する識別装置を含む装置として構成されてもよい。

【0012】

診断のために入力される皮膚画像データは、特に限定しないが、例えば、ダーモスコープ付の撮影装置で取得されるダーモスコピー画像のデータである。なお、ダーモスコープは、皮膚表面からの反射光を低減しつつ皮膚に生じた病変と疑われる箇所を拡大して非侵襲的に観察可能な拡大鏡である。このため、ダーモスコープで得られるダーモスコピー画像は皮膚の疾患の識別に好適である。ただし、入力される皮膚画像は、ダーモスコピー画像に限られない。

【0013】

ダーモスコープにおいて皮膚表面からの反射光の影響を低減するための具体的な手法としては、ジェルや偏光フィルタを用いる撮影方式が知られている。また、ダーモスコープでは、ＵＶ（ＵｌｔｒａＶｉｏｌｅｔ）光を用いる撮影方式も知られている。ＵＶ光を用いた撮影は、ＵＶ光を吸収するメラニンの特性やＵＶ光による蛍光反応を反映したダーモスコピー画像を得ることが可能であり、皮膚表面からの反射光の影響が低減された画像と同様に、皮膚の疾患の識別に好適である。なお、ジェルを用いた撮影方式は、偏光フィルタやＵＶ光を用いる他の撮影方式と組み合わせて使用することが可能である。

【0014】

このように、ダーモスコープ付の撮影装置では、これらの撮影方式やその組み合わせによって複数の互いに異なるモダリティの皮膚画像データを得ることができる。診断支援装置１００は、これらの複数の互いに異なるモダリティの皮膚画像データの入力に対応している。即ち、複数の互いに異なるモダリティの皮膚画像データの各々から識別結果を得ることができる。さらに、診断支援装置１００は、２つ以上の互いに異なるモダリティの皮膚画像データを用いて、それら皮膚画像データの各々を単独で用いた場合よりも高い識別精度が期待できる１つの識別結果を得ることも可能である。即ち、診断支援装置１００は、単一モダリティの入力と複数モダリティの入力のどちらでも動作する識別装置である。

【0015】

以下、診断支援装置１００の構成について具体的に説明する。診断支援装置１００は、図１に示すように、制御部１０と、記憶部５０と、操作入力部６０と、データ入力部７０と、出力部８０と、通信部９０を備えている。

【0016】

制御部１０は、各種演算処理を実行して、診断支援装置１００の動作を制御する。制御部１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサを含んでいる。制御部１０は、その他、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などプログラマブルデバイスとして動作する任意の電子回路を含んでもよい。

【0017】

記憶部５０は、制御部１０が実行する各種プログラム、プログラムを実行する際に利用する各種データ等を記憶する。記憶部５０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの半導体メモリを含んでいる。記憶部５０は、さらに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置を含んでもよい。

【0018】

記憶部５０に記憶されるプログラムやデータには、機械学習モデル、機械学習モデルを用いた推論に利用される入力データなどが含まれる。機械学習モデルへの入力データは、具体的には、上述した単数又は複数のモダリティの皮膚画像データである。入力データは、データ入力部７０や通信部９０経由で入力され、記憶部５０に記憶される。記憶部５０に記憶されたデータが機械学習モデルへ入力される。機械学習モデルは、具体的には、画像データ（皮膚画像データ）の入力に対して識別結果を出力する畳み込みニューラルネットワーク（ＣＮＮ）を用いた深層学習モデル（以降、ＣＮＮモデルという。）である。

【0019】

記憶部５０には、さらに、機械学習モデルの学習に用いる学習用の画像データが記憶されてもよく、その場合、学習用の画像データには疾患の種類（又は疾患がないこと）を示すラベルが付されている。ただし、学習用の画像データを用いた機械学習モデルの学習は、診断支援装置１００以外の装置で行われてもよく、診断支援装置１００以外の装置によって学習済みの機械学習モデルが診断支援装置１００の記憶部５０に記憶されてもよい。

【0020】

診断支援装置１００では、制御部１０のプロセッサが記憶部５０に記憶されているプログラムを実行することで、制御部１０は、図１に示すように、入力制御部２０と識別部３０と出力制御部４０として動作し、入力データに基づいて識別結果を出力する。即ち、診断支援装置１００は、ＣＮＮモデルを用いた識別装置として動作する。

【0021】

操作入力部６０は、診断支援装置１００に対するユーザの操作入力を受け付ける。操作入力部６０は、例えば、キーボード、マウス、タッチパネル等を含んでもよく、又は、これらの入力デバイスと接続するためのインタフェースであってもよい。

【0022】

データ入力部７０は、入力データを取得する。データ入力部７０は、例えば、ダーモスコープ付の撮影装置に接続されていて、撮影装置で取得したダーモスコピー画像（皮膚画像）の画像データを取得する。データ入力部７０が取得したデータは、記憶部５０に記憶される。

【0023】

出力部８０は、制御部１０で得られた識別結果を出力する。出力部８０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置を含んでもよく、又は、表示装置へ接続されるインタフェースであってもよい。出力部８０は、表示装置に識別結果を表示することで、診断支援装置１００の利用者に識別結果を提供する。

【0024】

通信部９０は、診断支援装置１００以外の装置とデータをやり取りする。通信部９０は、診断支援装置１００とは異なる装置から皮膚画像の画像データを受信してもよい。通信部９０が取得した画像データは、記憶部５０に記憶される。また、通信部９０は、識別結果を診断支援装置１００とは異なる装置に送信してもよい。例えば、診断支援装置１００は、診断支援装置１００へ診断処理を要求したユーザのコンピュータへ識別結果を送信してもよい。

【0025】

図２は、図１に示す診断支援装置の識別部の機能的構成を例示した図である。図１及び図２を参照しながら、制御部１０について詳細に説明する。制御部１０は、上述したように、入力制御部２０と、識別部３０と、出力制御部４０を備えている。

【0026】

識別部３０は、図２に示すように、複数のシングルモーダル識別器（シングルモーダル識別器３０ａ、シングルモーダル識別器３０ｂ、・・・）と、１つ以上のマルチモーダル識別器（マルチモーダル識別器３０ｘ、・・・）と、を含んでいる。

【0027】

シングルモーダル識別器は、単一のモダリティに対応する識別器であり、そのモダリティの入力データに特化して学習したＣＮＮモデルである。識別部３０に含まれる複数のシングルモーダル識別器は、複数の互いに異なるモダリティの各々に対応する。

【0028】

識別部３０に含まれる複数のシングルモーダル識別器が対応する複数の互いに異なるモダリティの画像データは、例えば、ダーモスコープを用いて複数の互い異なる撮影方式で撮影された皮膚画像データである。複数の撮影方式は、ジェルの有無、偏光フィルタの有無、ＵＶ光の使用の有無、接触式又は非接触式の撮影、の各要素の組み合わせで区別されてもよい。従って、シングルモーダル識別器は、ダーモスコープを用いた特定の撮影方式に対応する識別器であってもよい。

【0029】

より具体的には、識別部３０は、例えば、ジェルの有無の２パターンと偏光フィルタ又はＵＶ光の使用の有無（偏光フィルタ使用、ＵＶ光使用、偏光フィルタとＵＶ光のどちらも不使用）の３パターンを組み合わせた、計６つの撮影方式で撮影した画像データのモダリティに対応する６つのシングルモーダル識別器を含んでもよい。さらに、ジェル無しの場合には、皮膚に接触しながら撮影する接触式と皮膚から離して撮影する非接触式で撮影方式をさらに区別してもよく、その場合、識別部３０には、計９つの撮影方式で撮影した画像データのモダリティに対応する９つのシングルモーダル識別器が含まれてもよい。なお、識別部３０は、上述した９つの撮影方式で撮影した画像データのモダリティのうち２つ以上のモダリティに対応することが望ましい。

【0030】

マルチモーダル識別器は、複数の互いに異なるモダリティに対応する識別器であり、複数の互いに異なるモダリティの入力データの特定の組み合わせに特化して学習したＣＮＮモデルである。識別部３０に含まれるマルチモーダル識別器は、複数の互いに異なるモダリティに対応する。識別部３０には、少なくとも１つのマルチモーダル識別器が含まれていればよいが、複数の互いに異なるモダリティのうちの２つ以上の任意の組み合わせに対応するマルチモーダル識別器が含まれてもよい。即ち、識別部３０には、シングルモーダル識別器がｎ個含まれている場合には、最大でｍ個のマルチモーダル識別器が含まれてもよい。ここで、ｍはΣ_ｎＣ_ｒ個（Σはｒが２からｎのときの_ｎＣ_ｒの和）である。

【0031】

識別部３０に含まれるマルチモーダル識別器は、後に詳述するように、識別部３０に含まれる複数のシングルモーダル識別器で算出された複数の識別スコアと、それらの複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量と、に基づいて、対象を識別するように構成されている。

【0032】

入力制御部２０は、入力データを、その入力データのモダリティに対応するシングルモーダル識別器へ入力する。入力制御部２０は、例えば、操作入力部６０に対する利用者の画像選択操作に基づいて選択された皮膚画像データを、記憶部５０から読み出して識別部３０へ入力データとして入力する。

【0033】

このとき、入力制御部２０は、入力データを、その入力データに付されたメタデータから取得した、入力データのモダリティを識別する情報に基づいて、入力データのモダリティに対応するシングルモーダル識別器へ入力してもよい。即ち、入力制御部２０は、利用者が選択した画像のモダリティを入力制御部２０が判断して、識別部３０の適切なシングルモーダル識別器へ入力してもよい。また、入力制御部２０は、入力データを、利用者が指定したモダリティに対応するシングルモーダル識別器へ入力してもよい。即ち、利用者が選択した画像のモダリティを利用者自身が選択してもよく、入力制御部２０は、利用者によって選択されたモダリティに対応するシングルモーダル識別器へ入力データを入力してもよい。

【0034】

出力制御部４０は、識別部３０で生成された識別結果を出力する。出力制御部４０は、例えば、操作入力部６０に対する利用者の画像選択操作に応答して、識別部３０が生成した識別結果を出力部８０へ出力する。このとき、出力制御部４０は、入力データが単一のモダリティを有するデータであれば、識別結果を、その単一のモダリティに対応するシングルモーダル識別器から取得し、入力データが複数のモダリティを有する複数のデータであれば、識別結果を、それらの複数のモダリティに対応するマルチモーダル識別器から取得する。なお、入力データが単一のモダリティを有するデータの場合とは、例えば、利用者が１つの画像だけを選択した場合や、複数の画像を選択したがそれらの画像のモダリティが同じ場合などである。

【0035】

以上の様に構成された制御部１０を有する診断支援装置１００は、識別部３０が複数のシングルモーダル識別器と１つ以上のマルチモーダル識別器を有することで、様々なモダリティの入力データと様々なモダリティの入力データの組み合わせに対応することができる。

【0036】

特に、診断支援装置１００では、マルチモーダル識別器が、複数のシングルモーダル識別器で得られる複数の識別スコア（複数の識別結果に相当する）だけではなく、複数のシングルモーダル識別器で得られる複数の特徴量（識別スコアと比較して中間的な出力情報に相当する）を利用して、対象を識別する。これらの複数の特徴量は互いの異なるシングルモーダル識別器で得られる特徴量である。これらの複数の特徴量を用いることで、複数の特徴量が及ぼす交互作用を識別結果に反映することができる。このため、診断支援装置１００は、複数のシングルモーダル識別器の比較的単純なアンサンブル（例えば、平均、多数決、線形結合など）によって得られる識別結果よりも高精度な識別結果を、マルチモーダル識別器によって得ることができる。

【0037】

また、診断支援装置１００は、入力制御部２０が入力データをその入力データのモダリティに対応するシングルモーダル識別器へ入力することで、識別部３０を入力データに応じて適切に機能させることができる。特に、入力制御部２０がメタデータに基づいて自動的に入力データを入力すべき識別器を選択する構成では、診断支援装置１００は、利用者に画像データのモダリティを意識させることなく適切な識別器で識別処理を行うことができる。

【0038】

また、診断支援装置１００は、出力制御部４０が入力データのモダリティに応じた識別器から識別結果を取得することで、適切な識別器で行われた識別処理の結果（識別結果）を利用者に提供することができる。また、複数のモダリティの入力データが入力された場合には、マルチモーダル識別器の識別結果がシングルモーダル識別器の識別結果に優先して取得されるため、高精度な識別結果を得ることができる。

【0039】

また、診断支援装置１００は、ダーモスコープを用いて複数の異なる撮影方式で撮影された複数の画像データが有する複数のモダリティに対応している。これにより、従来から診断に用いられている様々なダーモスコピー画像に対応することが可能である。また、従来から用いられている様々なダーモスコピー画像を組み合わせて高精度な診断支援を行うことができる。特に、例えば、特性が顕著に異なる撮影方式（例えば、偏光フィルタを用いる撮影方式とＵＶ光を用いる撮影方式など）で撮影した複数の画像データが有する複数のモダリティに対応したマルチモーダル識別器は、交互作用効果を特に効果的に発揮して高精度な識別に資する可能性がある。従って、診断支援装置１００によれば、従来の診断支援以上にダーモスコピー画像を有効に活用して診断支援を行い得る。

【0040】

図３は、図１に示す診断支援装置の識別部の機能的構成の詳細を例示した図である。図４は、図１に示す診断支援装置の識別部のネットワーク構成を例示した図である。図５は、マルチモーダル識別器のスコア算出方法を説明するための図である。図３から図５を参照しながら、制御部１０の構成をさらに詳細に説明する。

【0041】

以降では、説明を簡略化するため、識別部３０に、ダーモスコープを用いたそれぞれ異なる撮影方式に対応するシングルモーダル識別器３０ａとシングルモーダル識別器３０ｂと、シングルモーダル識別器３０ａが対応する撮影方式とシングルモーダル識別器３０ｂが対応する撮影方式の組み合わせに対応するマルチモーダル識別器３０ｘと、を含む場合を例に説明する。なお、シングルモーダル識別器３０ａが対応する撮影方式は、例えば、ジェル有り且つ偏光を利用した撮影方式であり、シングルモーダル識別器３０ｂが対応する撮影方式は、例えば、ジェル有り且つＵＶ光を利用した撮影方式である。

【0042】

シングルモーダル識別器３０ａとシングルモーダル識別器３０ｂは、それぞれ、図３に示すように、入力部３１ａ、３１ｂと、特徴量抽出部３２ａ、３２ｂと、識別スコア算出部３３ａ、３３ｂと、出力部３７ａ、３７ｂを含んでいる。また、シングルモーダル識別器３０ａとシングルモーダル識別器３０ｂは、ＣＮＮモデルとして構成されていて、図４に示すような、入力層Ｌ１１、Ｌ２１と、２層以上の中間層Ｌ１２からＬ１８、中間層Ｌ２２からＬ２８と、出力層Ｌ１９、出力層Ｌ２９を含むニューラルネットワークを各々有している。

【0043】

入力部３１ａ、３１ｂは、入力層Ｌ１１、入力層Ｌ２１に各々対応する。入力部３１ａ、３１ｂには、入力制御部２０によって、対応するモダリティの皮膚画像データが入力される。

【0044】

特徴量抽出部３２ａ、３２ｂと識別スコア算出部３３ａ、３３ｂは、２層以上の中間層Ｌ１２から中間層Ｌ１８、中間層Ｌ２２から中間層Ｌ２８に各々対応する。特徴量抽出部３２ａ、３２ｂは、畳み込み処理（Ｃｏｎｖｏｌｕｔｉｏｎ層）、プーリング処理（Ｐｏｏｌｉｎｇ層）、全結合処理（Ａｆｆｉｎｅ層）などを繰り返すことで、皮膚画像データから特徴量を抽出する。

【0045】

なお、特徴量抽出部３２で抽出される特徴量については、ネットワークの比較的前半部分に位置する層からは画像の局所領域から得られる低レベルの特徴量が抽出される。これに対して、ネットワークの後半部分に位置する層からはより広い領域から得られる高レベルの特徴量が抽出される。複数枚の画像を用いた診断の過程で、医師はまず各画像を一枚ずつ見てそれぞれのパターンを要約した高レベルな表現を獲得し、次に自らの経験に基づいてそれらを統合して診断結果を決定する、という作業を無意識的に行っていると考えられる。そのため、前者の特徴量に対して、後者の特徴量が及ぼす交互作用を識別結果に反映させる方が、複数枚の画像を用いた診断における医師の思考プロセスに近いと考えられる。

【0046】

識別スコア算出部３３ａ、３３ｂは、２層以上の中間層のうちの最終層又は最終層を含む複数層に対応する。識別スコア算出部３３ａ、３３ｂは、特徴量抽出部３２ａ、３２ｂで抽出された特徴量に基づいて識別スコアを各々算出する。識別スコアは、中間層の最終層からの出力情報である。識別スコアは、シングルモーダル識別器が識別するクラス数Ｎ個の要素からなる１次元配列、即ち、Ｎ次元ベクトルであり、各要素は対応するクラスについての識別値（スカラー）である。また、各クラスは、診断支援装置１００が診断支援する疾患に対応している。識別値は対応するクラスらしさを表す値であり、つまり、対応する疾患らしさを表している。図５には、シングルモーダル識別器３０ａで算出される識別スコアＳａとシングルモーダル識別器３０ｂで算出される識別スコアＳｂが、Ｎ次元ベクトルとして出力される例が示されている。

【0047】

出力部３７ａ、３７ｂは、出力層Ｌ１９、出力層Ｌ２９に各々対応する。出力部３７ａ、３７ｂは、識別スコア算出部３３ａ、３３ｂで得られた識別スコアを活性化関数へ入力して識別結果を各々算出する。活性化関数は、例えば、ＳｏｆｔＭａｘ関数であり、確率を表す識別結果を算出する。

【0048】

マルチモーダル識別器３０ｘは、図３に示すように、複数の入力部３１ａ、３１ｂと、複数の特徴量抽出部３２ａ、３２ｂと、複数の識別スコア算出部３３ａ, ３３ｂと、識別スコア結合部３４と、交互作用特徴量抽出部３５と、補正部３６と、出力部３８を含んでいる。また、マルチモーダル識別器３０ｘも、ＣＮＮモデルとして構成されていて、図４に示すような、入力層Ｌ１１、Ｌ２１と、２層以上の中間層Ｌ１２からＬ１８、中間層Ｌ２２からＬ２８、中間層Ｌ３１からＬ３２と、出力層Ｌ３３を含むニューラルネットワークを有している。

【0049】

入力部３１ａ、３１ｂの各々は、シングルモーダル識別器において説明したとおりである。入力部３１ａ、３１ｂに各々対応する入力層Ｌ１１、Ｌ２１は、図４に示すように、複数のシングルモーダル識別器の各々とマルチモーダル識別器の間で共有されている。

【0050】

特徴量抽出部３２ａ、３２ｂと複数の識別スコア算出部３３ａ、３３ｂと識別スコア結合部３４と交互作用特徴量抽出部３５と補正部３６は、２層以上の中間層Ｌ１２からＬ１８、中間層Ｌ２２からＬ２８、中間層Ｌ３１からＬ３２に対応する。

【0051】

特徴量抽出部３２ａ、３２ｂの各々と識別スコア算出部３３ａ、３３ｂの各々は、シングルモーダル識別器において説明したとおりである。特徴量抽出部３２ａ、３２ｂと識別スコア算出部３３ａ、３３ｂに対応する中間層Ｌ１２からＬ１８、中間層Ｌ２２からＬ２８は、図４に示すように、複数のシングルモーダル識別器の各々とマルチモーダル識別器の間で共有されている。

【0052】

識別スコア結合部３４と交互作用特徴量抽出部３５と補正部３６は、中間層Ｌ３１からＬ３２に対応する。交互作用特徴量抽出部３５は、中間層Ｌ３１に対応し、識別スコア結合部３４と補正部３６は、中間層Ｌ３２に対応する。これらの中間層は、図４に示すように、シングルモーダル識別器とは共有されない。即ち、マルチモーダル識別器は、中間層として、複数のシングルモーダル識別器の各々と共有する共有中間層（中間層Ｌ１２からＬ１８、中間層Ｌ２２からＬ２８）と、マルチモーダル識別器に固有の固有中間層（中間層Ｌ３１からＬ３２）を含んでいる。

【0053】

識別スコア結合部３４は、図３に示すように、複数の識別スコア算出部３３から出力される複数の識別スコアに基づいて総合識別スコアを算出する。具体的には、識別スコア結合部３４は、複数の識別スコアを結合して算出する。より具体的には、識別スコア結合部３４は、図５に示すように、複数の識別スコアの重み付き加算により総合識別スコアを算出する。即ち、総合識別スコアは、複数のシングルモーダル識別器（シングルモーダル識別器３０ａ、シングルモーダル識別器３０ｂ）で算出された複数の識別スコアの線形結合として算出される。図５には、シングルモーダル識別器３０ａで算出される識別スコアＳａとシングルモーダル識別器３０ｂで算出される識別スコアＳｂを、重みｗを用いて線形結合して、総合識別スコアＴＳを算出する例が示されている。なお、２つのシングルモーダル識別器を有するこの例では、重みｗは、例えば、Ｎ次元ベクトルである。総合識別スコアＴＳは、識別スコアＳａ、識別スコアＳｂと同じくＮ次元ベクトルである。

【0054】

交互作用特徴量抽出部３５は、複数の識別スコアを算出する過程で得られる複数の特徴量に基づいて交互作用特徴量を抽出する。交互作用特徴量抽出部３５に入力される複数の特徴量は、各々が互いに異なるシングルモーダル識別器（シングルモーダル識別器３０ａ、シングルモーダル識別器３０ｂ）で抽出された特徴量であり、行列又はテンソルで表されている。なお、特徴量は、特徴量マップともいう。交互作用特徴量抽出部３５は、複数の特徴量を線形結合し、さらに、畳み込み処理（Ｃｏｎｖｏｌｕｔｉｏｎ層）、全結合処理（Ａｆｆｉｎｅ層）を経て、図５に示すようなＮ次元ベクトルからなる交互作用特徴量ＦＩを抽出する。

【0055】

なお、交互作用特徴量とは、複数の特徴量を因子とする従属変数と見做したときに、複数の特徴量のそれぞれが従属変数である交互作用特徴量に及ぼす影響がその他の特徴量の水準によって変化するものをいう。即ち、交互作用特徴量は、複数の特徴量の線形結合では表現することができず、複数の特徴量の非線形結合として算出される。

【0056】

補正部３６は、総合識別スコアを複数の特徴量に基づいて補正する。具体的には、補正部３６は、総合識別スコアを複数の特徴量に基づいて抽出された交互作用特徴量で補正する。より具体的には、補正部３６は、図５に示すように、総合識別スコアＴＳに交互作用特徴量ＦＩをバイアスとして加算して、識別スコアＳａ、識別スコアＳｂと同じＮ次元ベクトルからなる最終識別スコアＳｘを算出する。

【0057】

出力部３８は、出力層（出力層Ｌ３３）に対応する。出力部３８は、補正部３６で得られた最終識別スコアを活性化関数へ入力して識別結果を算出する。活性化関数は、例えば、ＳｏｆｔＭａｘ関数であり、確率を表す識別結果を算出する。なお、図３及び図４では、出力層及び出力部が複数のシングルモーダル識別器の各々とマルチモーダル識別器の間で共有されない例を示したが、これらは共有されてもよい。

【0058】

以上の様に構成された制御部１０を有する診断支援装置１００では、マルチモーダル識別器は、総合識別スコアを、複数の特徴量に基づいて補正する。複数のシングルモーダル識別器の比較的単純なアンサンブルに相当する総合識別スコアを複数のシングルモーダル識別器から得られた複数の特徴量に基づいて補正することで、総合識別スコアでは加味されていない交互作用を反映することができる。特に、複数の特徴量に基づいて交互作用特徴量を抽出して、抽出した交互作用特徴量で総合識別スコアを補正することで、より確実に補正により交互作用を反映することができる。従って、従来よりも高精度な識別結果を得ることができる。

【0059】

また、診断支援装置１００では、複数のシングルモーダル識別器とマルチモーダル識別器は、それぞれＣＮＮモデルで構成されていて、マルチモーダル識別器の入力層と中間層の一部（共有中間層）は、複数のシングルモーダル識別器のいずれかと共有されている。従って、既存のシングルモーダル識別器を拡張してマルチモーダル識別器を構成することが可能であり、マルチモーダル識別器をシングルモーダル識別器から独立した全くの新規な識別器として構成する場合と比較して、診断支援装置１００全体で必要となるパラメータ数を大幅に削減することができる。パラメータ数を抑えることでその分メモリ容量を抑えることができるとともに、機械学習モデルの学習に要する時間や労力も抑えることができる。

【0060】

また、シングルモーダル識別器を拡張してマルチモーダル識別器を構成した診断支援装置１００は、学習データを効率的に利用が可能であり、その点においても、シングルモーダル識別器とマルチモーダル識別器を独立して構成する場合よりも優れている。

【0061】

収集される学習用の画像データには、通常、複数のモダリティの画像データのセットよりも、特定のモダリティの画像データ単体の方が多く含まれている。例えば、ジェル有りの撮影方式で撮影した画像とＵＶ光を利用した撮影方式で撮影した画像を収集した場合、ジェル有りの撮影方式で撮影した画像とＵＶ光を利用した撮影方式で撮影した画像がセットで提供される数（即ち、同じ被写体を異なる撮影方式で撮影した画像のセット）は、夫々単独で提供される数の１０分の１以下となることも少なくない。

【0062】

従って、シングルモーダル識別器とマルチモーダル識別器を独立して構成した場合には、マルチモーダル識別器の学習用データがシングルモーダル識別器の学習用データと比較して不足しがちであり、十分な学習ができないことによってマルチモーダル識別器の識別精度がシングルモーダル識別器の識別精度よりも劣ってしまうといった事態が生じ得る。

【0063】

これに対して、診断支援装置１００では、十分な量の学習用データを用いた学習によりシングルモーダル識別器を先行して構築することができる。若しくは、既存のシングルモーダル識別器をそのまま流用することもできる。その後、マルチモーダル識別器の学習を行えばよい。その際、シングルモーダル識別器と共有された層のパラメータは固定した状態で、マルチモーダル識別器の学習を行えばよい。これにより、マルチモーダル識別器の学習では、マルチモーダル識別器に固有の層（固有中間層）のパラメータのみが学習により最適化されるため、シングルモーダル識別器の学習に比べて少ない学習用データでも十分な学習が可能である。即ち、マルチモーダル識別器が少ない学習用データにだけ適応した過学習に陥ることを避けることができる。

【0064】

また、マルチモーダル識別器の中間層に共有中間層と固有中間層を設け、複数のシングルモーダル識別器からの出力を固有中間層に入力することでシングルモーダル識別器の識別スコアを高度に補正することができる。特にシングルモーダル識別器が出力する識別スコアに加えて、識別スコアの算出過程で得られる特徴量を入力することで、識別スコアの線形結合では得られない交互作用効果を反映したスコアを算出することができる。さらに、図３に示すように、複数の特徴量から予め交互作用特徴量を抽出し、抽出した交互作用特徴量を識別スコアの重み付き加算のバイアス項として作用させることで、識別スコアの線形結合に相当する総合識別スコアを補正することができる。

【0065】

図６は、パラメータ共有範囲を説明するための図である。以下、図６を参照しながら、さらにパラメータ数の削減に効果的な構成について説明する。以上では、マルチモーダル識別器とシングルモーダル識別器の間でのパラメータの共有について説明したが、複数のシングルモーダル識別器の間でパラメータを共有してもよい。

【0066】

即ち、複数のシングルモーダル識別器の各々は、図６に示すように、２層以上の中間層（中間層Ｌ１２からＬ１８）を有するニューラルネットワークを有し、それらの２層以上の中間層のうち１層以上（中間層Ｌ１２からＬ１４）において他のシングルモーダル識別器の中間層とパラメータを共有してもよい。これにより、１層以上の中間層が他のシングルモーダル識別器の中間層と同一のパラメータを使用してもよい。

【0067】

診断支援装置１００は、モダリティの異なる入力データに対応する複数のシングルモーダル識別器を有しているが、これらのシングルモーダル識別器は、いずれも皮膚画像データを扱うＣＮＮモデルとして構成されている。異なるモダリティの入力データを扱うシングルモーダル識別器間であっても、画像と音声の様に全く異なるモダリティの入力データを扱うものではなく、画像同士のようにある程度類似するモダリティの入力データを扱うものであれば、パラメータの共有は可能である。

【0068】

共有するパラメータは、畳み込み層のＣｏｎｖｏｌｕｔｉｏｎフィルタに代表される重みパラメータであり、このパラメータの共有はＷｅｉｇｈｔ Ｓｈｒａｒｉｎｇともいう。ただし、パラメータは重みに限らず他の種類のパラメータを共有してもよい。

【0069】

パラメータを共有する中間層は、ネットワークの後半部分よりも前半部分であることが望ましい。前半部分の中間層は、モダリティ間で共通して見られる（コーナー、エッジ、色などをはじめとする）局所的な特徴が抽出されることが多いため、異なるモダリティの画像データを対象とするニューラルネットワーク間であってもパラメータを効果的に共有することが可能である。

【0070】

図６に示すように、複数のシングルモーダル識別器間でパラメータを共有することで、診断支援装置１００全体で必要となるパラメータ数をさらに削減することができる。パラメータ数を抑えることでその分メモリ容量を抑えることができる。また、学習対象のパラメータである重みパラメータを共有することで、機械学習モデルの学習に要する時間や労力を抑えることができる。

【0071】

複数のシングルモーダル識別器間でパラメータを部分的に共有する場合、一般に、低レベルの特徴ほどモダリティ間で共通していることから、パラメータはネットワークの比較的前半部分の層で共有することが望ましい。図６では、交互作用特徴量の抽出に用いられる複数の特徴量の各々が、パラメータを他のシングルモーダル識別器の中間層と共有しない中間層で抽出される例が示されているが、交互作用特徴量の抽出に用いられる複数の特徴量の各々は、パラメータを他のシングルモーダル識別器の中間層と共有しない中間層に限らず、パラメータを共有した中間層（中間層Ｌ１２から中間層Ｌ１４）で抽出されてもよい。

【0072】

学習済みのあるシングルモーダル識別器のパラメータを他のシングルモーダル識別器の学習時にコピーして利用してもよい。即ち、転移学習に利用してもよく、これにより、学習効率を向上させてもよい。

【0073】

図７は、図１に示す識別部を生成するための学習処理の一例を示すフローチャートである。以下では、診断支援装置１００で学習処理が行われる場合を例に学習処理の流れを説明する。

【0074】

学習処理では、まず、学習用の画像データに疾患のラベル付けが行われる（ステップＳ１）。学習用の画像データは、例えば、ダーモスコープを用いて撮影したダーモスコピー画像のデータであり、予め収集されている。これらの画像データは、画像に写っている病変に対応する疾患が既知である。ステップＳ１では、作業者の入力に従って診断支援装置１００が画像データにその既知の疾患のラベルを付与する。なお、ステップＳ１は、図７に示す一連の学習処理よりも以前に行われてもよい。

【0075】

次に、診断支援装置１００は、ラベル付けが終わった学習用の画像データをモダリティで分類する（ステップＳ２）。ラベル付けされた学習用の画像データは様々なモダリティを有している。ステップＳ２では、診断支援装置１００は、モダリティごとに画像データを分類する。分類は、画像データに付されたメタデータによって行われてもよく、ステップＳ１と同様に作業者の入力に従って行われてもよい。なお、ここでは、画像データは、モダリティＭＡの画像データとモダリティＭＢの画像データの２種類に分類された場合を例に説明する。

【0076】

ステップＳ１とステップＳ２の処理により学習用の画像データの準備が終了すると、診断支援装置１００は、まず、モダリティＭＡの画像データでシングルモーダル識別器３０ａのモデル（ＣＮＮモデル）を学習する（ステップＳ３）。ここでは、誤差逆伝播法を用いてパラメータを調整する。即ち、学習用の画像データをシングルモーダル識別器３０ａへ入力して損失関数を算出し、連鎖律によってパラメータ（重みやバイアス）に対する損失関数（交差エントロピー誤差）の勾配を算出することで、パラメータを調整する。

【0077】

シングルモーダル識別器３０ａのモデルの学習が終了すると、診断支援装置１００は、モダリティＭＢの画像データでシングルモーダル識別器３０ｂのモデル（ＣＮＮモデル）を学習する（ステップＳ４）。ステップＳ４では、ステップＳ３で学習済みのモデルのパラメータを利用することで、一部のパラメータの学習を省略してもよい。即ち、シングルモーダル識別器３０ａのモデルと共有しているシングルモーダル識別器３０ｂのモデルのパラメータを固定した状態で学習を行い、その他のパラメータを調整すればよい。

【0078】

なお、ステップＳ３とステップＳ４は同時に行われてもよい。その場合、診断支援装置１００は、モダリティＭＡの画像データをシングルモーダル識別器３０ａへ入力して算出した損失関数とモダリティＭＢの画像データをシングルモーダル識別器３０ｂへ入力して算出した損失関数の合計を求めてもよい。合計した損失関数の勾配からシングルモーダル識別器３０ａのモデルのパラメータとシングルモーダル識別器３０ａのモデルのパラメータの両方（モデル間で共有しているパラメータを含む）を最適化してもよい。

【0079】

シングルモーダル識別器の学習が終了すると、診断支援装置１００は、モダリティＭＡの画像データとモダリティＭＢの画像データのセットでマルチモーダル識別器３０ｘのモデル（ＣＮＮモデル）を学習する（ステップＳ５）。ステップＳ５では、ステップＳ３及びステップＳ４で学習済みのモデルのパラメータを共有することで、マルチモーダル識別器固有のパラメータのみを学習する。

【0080】

図７に示す手順で学習を行うことで、モダリティＭＡとモダリティＭＢのそれそれ及び両方に対応する識別装置を効率良く構築することができる。

【0081】

図８は、図１に示す診断支援装置が行う推論処理の一例を示すフローチャートである。以下、診断支援装置１００が行う推論処理の流れを説明する。なお、識別装置である診断支援装置１００が行う推論処理は、識別処理である。

【0082】

推論処理では、まず、診断支援装置１００は、未知の画像データを取得する（ステップＳ１１）。ステップＳ１１で取得する画像データは、例えば、データ入力部７０で取得したダーモスコピー画像である。

【0083】

次に、診断支援装置１００は、ステップＳ１１で取得した未知の画像データのモダリティを判定する（ステップＳ１２）。一例としては、制御部１０が画像データのメタデータに基づいてモダリティを判定する。その後、診断支援装置１００は、ステップＳ１２で判定したモダリティに応じたシングルモーダル識別器にステップＳ１１で取得した画像データを入力する（ステップＳ１３）。

【0084】

診断支援装置１００は、ステップＳ１１で入力された全ての画像データを取得したか判定する（ステップＳ１４）。例えば、複数の互いに異なるモダリティの画像データからなる画像データのセットがステップＳ１１で入力されている場合には、診断支援装置１００は、そのセットを構成する複数の画像データの全てを取得したかどうかを判定する。診断支援装置１００は、全ての画像データを取得するまでステップＳ１１からステップＳ１４の処理を繰り返す。

【0085】

全ての画像データを取得すると、診断支援装置１００は、推論を実行する（ステップＳ１４）。ここでは、上述した識別部３０が識別処理を実行する。なお、複数の互いに異なるモダリティの画像データからなる画像データのセットがステップＳ１１で入力されている場合には、ステップＳ１４には、少なくとも、モダリティが互いに異なる複数の入力データの各々が入力された対応するシングルモーダル識別器から複数の識別スコアを取得するステップと、複数の識別スコアを算出する過程で得られる各々が互いに異なるシングルモーダル識別器で算出された複数の特徴量を取得するステップと、複数の識別スコアと複数の特徴量に基づいて複数の入力データに対応する複数のモダリティに対応するマルチモーダル識別器で対象を識別するステップと、が含まれている。

【0086】

推論が終了すると、診断支援装置１００は、識別結果を取得する（ステップＳ１６からステップＳ１８）。具体的には、診断支援装置１００は、まず、入力画像データのモダリティが単一かどうかを判定する（ステップＳ１６）。つまり、ステップＳ１１で取得した画像データのモダリティが単一かどうかを判定する。

【0087】

モダリティが単一の場合（ステップＳ１６がＹＥＳ）には、診断支援装置１００は、その単一のモダリティに応じたシングルモーダル識別器から識別結果を取得する（ステップＳ１７）。一方で、モダリティが単一ではない場合（ステップＳ１６がＮＯ）には、診断支援装置１００は、単一ではないそのモダリティの組み合わせに応じたマルチモーダル識別器から識別結果を取得する（ステップＳ１８）。

【0088】

最後に、診断支援装置１００は、ステップＳ１７又はステップＳ１８で取得した識別結果を出力する（ステップＳ１９）。ここでは、診断支援装置１００は、例えば、表示装置に識別結果が表示する。

【0089】

図８に示す手順で推論を行うことで、未知の画像データが単一のモダリティを有する場合には、シングルモーダル識別器で得られた識別結果を利用者に提供し、未知の画像データが複数のモダリティを有する場合には、マルチモーダル識別器で得られた識別結果を利用者に提供することができる。従って、様々なモダリティの画像データと様々なモダリティの画像データの組み合わせに対応して最良の精度の識別結果を利用者に提供することができる。

【0090】

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明は上述した実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、上述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。即ち、識別装置、識別方法、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

【0091】

上述した実施形態では、モダリティの異なる入力データとして撮影方式の異なる画像データを例示したが、入力データは、画像データに限らない。例えば、音声データやテキストデータなどの他のデータが含まれてもよい。また、上述した実施形態では、画像データとして皮膚画像データを例示したが、画像データは皮膚画像データに限らず、診断対象の応じて異なる部位の画像データが利用されてもよい。

【0092】

上述した実施形態では、図１に示すように、入力制御部２０と出力制御部４０が識別部３０とは別に構成され、夫々が識別部３０への入出力を制御する例を示したが、入力制御部２０と出力制御部４０の機能は識別部３０内の入力部や出力部が担ってもよい。

【0093】

図９は、図３に示す識別部の機能的構成の変形例を示した図である。例えば、識別部３０は、図９に示すように、単一の入力部３１を有し、その入力部３１内で行われるスイッチング処理により入力部３１が取得した入力データをそのモダリティに応じた適切なシングルモーダル識別器３０ｃ又はシングルモーダル識別器３０ｄに振り分けてもよい。図９に示す識別部は、シングルモーダル識別器毎に設けられた入力部の代わりに単一の入力部を備える点が図３に示す識別部３０とは異なっている。

【0094】

図９では入力部３１を共通化する例を示したが、識別部３０は、シングルモーダル識別器の各々とマルチモーダル識別器とにそれぞれ設けられた出力部の代わりに、単一の出力部を備えてもよい。単一の出力部が入力データのモダリティに応じてスイッチング処理を行うことで、モダリティに応じた識別結果を識別部３０から出力してもよい。

【0095】

また、図９では入力部３１を共通化する例を示したが、入力部３１に対応する入力層だけではなく、パラメータを共有する中間層も共通化してもよい。即ち、入力部（入力層）ではなく特徴量抽出部（中間層）で上述したスイッチング処理を行ってもよい。この場合も、シングルモーダル識別器の１層以上の中間層が他のシングルモーダル識別器の中間層と同一のパラメータを使用する点は、異なる中間層がパラメータを共有する場合と同様である。

【0096】

上述した実施形態では、機械学習モデルとして深層学習モデル、特に、ＣＮＮモデルを用いる例を示したが、識別部３０に用いられる機械学習モデルには、ＣＮＮモデルに限らない。サポートベクターマシーン（ＳＶＭ）等の他の異なるアルゴリズムを採用してよく、ＣＮＮモデルとそれらを組み合わせて構成されてもよい。また、特徴量抽出部に相当する処理で使用する他のアルゴリズムは、ＣＮＮやＳＶＭなどの機械学習モデルのアルゴリズムに限らず、既存の画像処理モデルであってもよい。

【0097】

特徴量抽出部に相当する処理を他のアルゴリズムで行う場合、特徴量抽出部に相当する処理は、ＣＮＮモデルを用いた識別部３０が行う識別処理の前処理として行われてもよく、例えば、入力制御部２０で行われてもよい。前処理には、例えば、画像の縮小処理、輝度調整処理、フィルタリング処理などが含まれる。また、識別装置が撮影装置を備えている場合であれば、撮影時に行われるクロップ処理が前処理に含まれてもよい。

【0098】

本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよい。

【符号の説明】

【0099】

１０ 制御部
２０ 入力制御部
３０ 識別部
３０ａ、３０ｂ シングルモーダル識別器
３０ｂ シングルモーダル識別器
３０ｘ マルチモーダル識別器
３１ａ、３１ｂ 入力部
３２ａ、３２ｂ 特徴量抽出部
３３ａ、３３ｂ 識別スコア算出部
３４ 識別スコア結合部
３５ 交互作用特徴量抽出部
３６ 補正部
３７ａ、３７ｂ、３８、８０ 出力部
４０ 出力制御部
５０ 記憶部
６０ 操作入力部
７０ データ入力部
１００ 診断支援装置
ＦＩ 交互作用特徴量
Ｌ１１、Ｌ２１ 入力層
Ｌ１２～Ｌ１８、Ｌ２２～Ｌ２８、Ｌ３１、Ｌ３２ 中間層
Ｌ１９、Ｌ２９、Ｌ３３ 出力層
Ｓａ、Ｓｂ 識別スコア
Ｓｘ 最終識別スコア
ＴＳ 総合識別スコア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】