知財求人 - 知財ポータルサイト「IP Force」
▶ 学校法人 名城大学の特許一覧 ▶ 株式会社片岡製作所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022127520
(43)【公開日】2022-08-31
(54)【発明の名称】推定装置、推定方法、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220824BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】未請求
【請求項の数】28
【出願形態】ＯＬ
(21)【出願番号】P 2021025713
(22)【出願日】2021-02-19
(71)【出願人】
【識別番号】599002043
【氏名又は名称】学校法人 名城大学
(71)【出願人】
【識別番号】598072179
【氏名又は名称】株式会社片岡製作所
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(74)【代理人】
【識別番号】100194515
【弁理士】
【氏名又は名称】南野 研人
(72)【発明者】
【氏名】堀田 一弘
(72)【発明者】
【氏名】古川 諒一
(72)【発明者】
【氏名】松本 潤一
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA02
5L096HA09
5L096HA11
5L096JA11
5L096JA18
(57)【要約】 （修正有）
【課題】対象の識別に利用可能なスペクトル成分を推定可能な装置、方法およびプログラムを提供する。
【解決手段】推定システム１００において、推定装置１の画像受信部は、対象を含む画像データを受信する。スペクトル推定データ生成部は、対象を含む画像データから、畳み込みニューラルネットワークによって、画像データのスペクトル成分毎に、画像データの特徴点が検出された位置が示された特徴マップを生成し、特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、対象のクラスを識別する情報であるスペクトル推定データを生成する。画像データは、対象を含む画像の各座標と、座標におけるスペクトルデータとが紐付けられ、スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられている。スペクトル推定部は、スペクトル推定データから、対象の識別に利用可能なスペクトル成分を推定する。
【選択図】図１
【解決手段】推定システム１００において、推定装置１の画像受信部は、対象を含む画像データを受信する。スペクトル推定データ生成部は、対象を含む画像データから、畳み込みニューラルネットワークによって、画像データのスペクトル成分毎に、画像データの特徴点が検出された位置が示された特徴マップを生成し、特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、対象のクラスを識別する情報であるスペクトル推定データを生成する。画像データは、対象を含む画像の各座標と、座標におけるスペクトルデータとが紐付けられ、スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられている。スペクトル推定部は、スペクトル推定データから、対象の識別に利用可能なスペクトル成分を推定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象の識別に利用可能なスペクトル成分を推定するための推定装置であって、
画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
装置。
画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
装置。
【請求項2】
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
請求項１に記載の推定装置。
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
請求項１に記載の推定装置。
【請求項3】
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１または２に記載の推定装置。
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１または２に記載の推定装置。
【請求項4】
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
請求項３に記載の推定装置。
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
請求項３に記載の推定装置。
【請求項5】
前記スペクトル推定部は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項３または４に記載の推定装置。
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項３または４に記載の推定装置。
【請求項6】
前記スペクトル推定部は、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
請求項５記載の推定装置。
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
請求項５記載の推定装置。
【請求項7】
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
請求項１から６のいずれか一項に記載の推定装置。
請求項１から６のいずれか一項に記載の推定装置。
【請求項8】
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類以上の特徴マップを生成し、かつ前記２種類以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１から８のいずれか一項に記載の推定装置。
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類以上の特徴マップを生成し、かつ前記２種類以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１から８のいずれか一項に記載の推定装置。
【請求項9】
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
請求項８に記載の推定装置。
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
請求項８に記載の推定装置。
【請求項10】
前記スペクトル推定部は、
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項８または９に記載の推定装置。
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項８または９に記載の推定装置。
【請求項11】
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１から７のいずれか一項に記載の推定装置。
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１から７のいずれか一項に記載の推定装置。
【請求項12】
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
請求項１１に記載の推定装置。
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
請求項１１に記載の推定装置。
【請求項13】
前記スペクトル推定部は、
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１１または１２に記載の推定装置。
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１１または１２に記載の推定装置。
【請求項14】
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１０または１３に記載の推定装置。
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１０または１３に記載の推定装置。
【請求項15】
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
請求項１４に記載の推定装置。
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
請求項１４に記載の推定装置。
【請求項16】
前記スペクトル推定部は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１４または１５に記載の推定装置。
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１４または１５に記載の推定装置。
【請求項17】
前記スペクトル推定部は、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１６に記載の推定装置。
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１６に記載の推定装置。
【請求項18】
前記スペクトル推定部は、
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１７に記載の推定装置。
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
請求項１７に記載の推定装置。
【請求項19】
前記精度評価値は、Ｆ１スコア（Ｆ値）である、請求項１０および１３から１８のいずれか一項に記載の推定装置。
【請求項20】
前処理部を備え、
前記前処理部は、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
請求項１から１９のいずれか一項に記載の推定装置。
前記前処理部は、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
請求項１から１９のいずれか一項に記載の推定装置。
【請求項21】
前記前処理部は、
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
請求項２０に記載の推定装置。
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
請求項２０に記載の推定装置。
【請求項22】
前記前処理部は、
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
請求項２１に記載の推定装置。
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
請求項２１に記載の推定装置。
【請求項23】
前記前処理部は、
前記画像データに対して、アテンション（Attention）機構を適用する、
請求項２０から２２のいずれか一項に記載の推定装置。
前記画像データに対して、アテンション（Attention）機構を適用する、
請求項２０から２２のいずれか一項に記載の推定装置。
【請求項24】
前記アテンション機構は、チャネルアテンション（Channel attention）機構および／またはスペーシャルアテンション（Spatial attention）機構である、
請求項２３記載の推定装置。
請求項２３記載の推定装置。
【請求項25】
対象の識別に利用可能なスペクトル成分を推定するための推定方法であって、
画像受信工程と、スペクトル推定データ生成工程と、スペクトル推定工程とを含み、
前記画像受信工程では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定工程では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
方法。
画像受信工程と、スペクトル推定データ生成工程と、スペクトル推定工程とを含み、
前記画像受信工程では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定工程では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
方法。
【請求項26】
対象の識別に利用可能なスペクトル成分を推定するためのプログラムであって、
コンピュータに、画像受信手順と、スペクトル推定データ生成手順と、スペクトル推定手順とを実行させ、
前記画像受信手順では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定手順では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
プログラム。
コンピュータに、画像受信手順と、スペクトル推定データ生成手順と、スペクトル推定手順とを実行させ、
前記画像受信手順では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定手順では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
プログラム。
【請求項27】
請求項２６に記載のプログラムを記録している、コンピュータ読み取り可能な記録媒体。
【請求項28】
対象の識別に利用可能なスペクトル成分を推定するための推定システムであって、
前記推定システムは、１以上のコンピュータから構成され、
前記１以上のコンピュータは、画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
システム。
前記推定システムは、１以上のコンピュータから構成され、
前記１以上のコンピュータは、画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推定装置、推定方法、およびプログラムに関する。
【背景技術】
【0002】
細胞の外形等に基づき、ｉＰＳ細胞等の多能性細胞の分化能の評価を行うことが試みられている（非特許文献１および２、特許文献１）。ただし、細胞の外形のみでは細胞種の評価が難しいという問題がある。
【0003】
また、コヒーレント反ストークスラマン散乱（ＣＡＲＳ）顕微鏡等を用いて、細胞内成分に対応するスペクトルを測定することにより、細胞種の推定を行なうことが試みられている（非特許文献３）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ryuji Kato et.al., "Parametric analysis of colony morphology of non-labelled live human pluripotent stem cells for cell quality control", 2016, Scientific Reports, volume 6, Article number: 34009
【非特許文献2】Ke Fan et.al., “A Machine Learning Assisted, Label-free, Non-invasive Approach for Somatic Reprogramming in Induced Pluripotent Stem Cell Colony Formation Detection and Prediction”, 2017, Scientific Reports, volume 7, Article number: 13496
【非特許文献3】岡祐貴ら、「MCR-ALSを用いた生細胞のCARS分子指紋イメージング」、日本分光学会年次講演会、２０１９年、１０６頁
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ＣＡＲＳ顕微鏡を用いたとしても、細胞内成分の多数は、細胞の種類によらず共有されており、特定の細胞を識別可能なスペクトルを特定するのは困難という問題がある。
【0006】
そこで、本発明は、対象の識別に利用可能なスペクトル成分を推定可能な装置および方法の提供を目的とする。
【課題を解決するための手段】
【0007】
前記目的を達成するために、本発明は、対象の識別に利用可能なスペクトル成分を推定するための推定装置（以下、「推定装置」ともいう）であって、
画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する。
画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する。
【0008】
本発明は、対象の識別に利用可能なスペクトル成分を推定するための推定方法であって、
画像受信工程と、スペクトル推定データ生成工程と、スペクトル推定工程とを含み、
前記画像受信工程では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定工程では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する。
画像受信工程と、スペクトル推定データ生成工程と、スペクトル推定工程とを含み、
前記画像受信工程では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定工程では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する。
【0009】
本発明は、対象の識別に利用可能なスペクトル成分を推定するためのプログラムであって、
コンピュータに、画像受信手順と、スペクトル推定データ生成手順と、スペクトル推定手順とを実行させ、
前記画像受信手順では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定手順では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する。
コンピュータに、画像受信手順と、スペクトル推定データ生成手順と、スペクトル推定手順とを実行させ、
前記画像受信手順では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定手順では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する。
【発明の効果】
【0010】
本発明によれば、対象の識別に利用可能なスペクトル成分を推定可能である。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
＜定義＞
本明細書において、「対象」は、所望の対象を意味し、具体例として、細胞；低分子化合物；核酸分子、タンパク質、糖鎖等の生体高分子；等があげられる。
本明細書において、「対象」は、所望の対象を意味し、具体例として、細胞；低分子化合物；核酸分子、タンパク質、糖鎖等の生体高分子；等があげられる。
【0013】
本明細書において、「細胞」は、単離された細胞、または細胞から構成される細胞塊（スフェロイド）、組織、もしくは臓器を意味する。前記細胞は、例えば、培養細胞でもよいし、生体から単離された細胞でもよい。また、前記細胞塊、組織または臓器は、例えば、前記細胞から作製された細胞塊、細胞シート、組織または臓器でもよいし、生体から単離された細胞塊、組織または臓器でもよい。前記細胞は、未分化の細胞でもよいし、分化細胞でもよい。
【0014】
以下、本発明について、図面を参照して詳細に説明する。ただし、本発明は、以下の説明に限定されない。なお、以下の図１～図１０において、同一部分には、同一符号を付し、その説明を省略する場合がある。また、図面においては、説明の便宜上、各部の構造は適宜簡略化して示す場合があり、各部の寸法比等は、実際とは異なり、模式的に示す場合がある。また、各実施形態は、特に言及しない限り、互いにその説明を援用できる。
【0015】
（実施形態１）
実施形態１は、本発明の推定装置および推定端末を含む推定システムの一例である。
図１は、本実施形態の推定装置１および推定端末２を備える推定システム１００を示すブロック図である。図１に示すように、本実施形態の推定システム１００は、推定装置１および推定端末２を備える。推定装置１は、画像受信部１１、前処理部１２、スペクトル推定データ生成部１３、およびスペクトル推定部１４を備える。推定端末２は、画像入力部２１および通信部２２を備える。図１に示すように、推定装置１および推定端末２は、推定システム１００外の通信回線網３を介して一方または両方向に接続可能（通信可能）である。また、図２に示すように、スペクトル推定データ生成部１３は、畳み込みニューラルネットワーク１５を備える。畳み込みニューラルネットワーク１５は、入力層１５ａ、畳み込み層１５ｂ、および出力層１５ｃを備える。畳み込み層１５ｂは、４層の畳み込み層１５ｂ１、１５ｂ２、１５ｂ３、１５ｂ４を備える。
実施形態１は、本発明の推定装置および推定端末を含む推定システムの一例である。
図１は、本実施形態の推定装置１および推定端末２を備える推定システム１００を示すブロック図である。図１に示すように、本実施形態の推定システム１００は、推定装置１および推定端末２を備える。推定装置１は、画像受信部１１、前処理部１２、スペクトル推定データ生成部１３、およびスペクトル推定部１４を備える。推定端末２は、画像入力部２１および通信部２２を備える。図１に示すように、推定装置１および推定端末２は、推定システム１００外の通信回線網３を介して一方または両方向に接続可能（通信可能）である。また、図２に示すように、スペクトル推定データ生成部１３は、畳み込みニューラルネットワーク１５を備える。畳み込みニューラルネットワーク１５は、入力層１５ａ、畳み込み層１５ｂ、および出力層１５ｃを備える。畳み込み層１５ｂは、４層の畳み込み層１５ｂ１、１５ｂ２、１５ｂ３、１５ｂ４を備える。
【0016】
本実施形態の推定装置１および推定端末２は、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ）またはシステムとしてサーバ等に組込まれてもよい。また、前記パーソナルコンピュータは、コンピュータクラスタを構成してもよい。また、図示していないが、推定装置１および推定端末２は、通信回線網３を介して、システム管理者の外部端末とも接続可能であり、システム管理者は、外部端末から推定装置１および推定端末２の管理を実施してもよい。なお、本実施形態において、推定システム１００に含まれる推定装置１および推定端末２は、それぞれ、１つであるが、いずれも複数であってもよい。
【0017】
通信回線網３は、特に制限されず、公知のネットワークを使用でき、例えば、有線でもよいし、無線でもよい。通信回線網３は、例えば、インターネット回線、ＷＷＷ（World Wide Web）、電話回線、ＬＡＮ（Local Area Network）、ＷｉＦｉ(Wireless Fidelity）等があげられる。
【0018】
推定端末２は、例えば、ＰＣ；携帯電話、スマートフォン、タブレット端末等の携帯端末；スマートウォッチ、スマートグラス、ウェアブル端末等があげられる。検出端末２は、例えば、カメラ、スキャナ等の撮像手段、ＩＣ（integrated circuit）カードリーダ、マイク等の音声入力手段等を備えてもよい。
【0019】
つぎに、図３に、推定装置１のハードウェア構成のブロック図を例示する。推定装置１は、例えば、ＣＰＵ（中央処理装置）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０６、ディスプレイ１０７、通信デバイス１０８等を有する。推定装置１の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して接続されている。推定装置１のハードウェア構成は、例えば、後述の推定装置１Ａのハードウェア構成としても採用できる。
【0020】
ＣＰＵ１０１は、例えば、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、推定装置１の全体の制御を担う。推定装置１において、ＣＰＵ１０１により、例えば、本発明のプログラム１０５やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、ＣＰＵ１０１が、画像受信部１１、前処理部１２、スペクトル推定データ生成部１３、およびスペクトル推定部１４として機能する。推定装置１は、演算装置として、ＣＰＵを備えるが、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、ＣＰＵとこれらとの組合せを備えてもよい。なお、ＣＰＵ１０１は、例えば、後述する実施形態２における各部としても機能する。
【0021】
メモリ１０２は、例えば、メインメモリを含む。前記メインメモリは、主記憶装置ともいう。ＣＰＵ１０１が処理を行う際には、例えば、後述する記憶装置１０４（補助記憶装置）に記憶されている本発明のプログラム１０５等の種々の動作プログラムを、メモリ１０２が読み込む。そして、ＣＰＵ１０１は、メモリ１０２からデータを読み出し、解読し、前記プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。メモリ１０２は、例えば、さらに、ＲＯＭ（読み出し専用メモリ）を含む。
【0022】
バス１０３は、例えば、外部機器とも接続できる。前記外部機器は、例えば、外部記憶装置（外部データベース等）、プリンター等があげられる。推定装置１は、例えば、バス１０３に接続された通信デバイス１０８により、通信回線網に接続でき、通信回線網を介して、前記外部機器と接続することもできる。また、推定装置１は、通信デバイス１０８および通信回線網を介して、端末等にも接続できる。
【0023】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラム１０５を含む動作プログラムが格納されている。記憶装置１０４は、例えば、記憶媒体と、前記記憶媒体に読み書きするドライブとを含む。前記記憶媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等があげられ、前記ドライブは、特に制限されない。記憶装置１０４は、例えば、前記記憶媒体と前記ドライブとが一体化されたハードディスクドライブ（ＨＤＤ）であってもよい。
【0024】
推定装置１は、例えば、さらに、入力装置１０６、ディスプレイ１０７を有する。入力装置１０６は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。ディスプレイ１０７は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置があげられる。本実施形態１において、入力装置１０６とディスプレイ１０７とは、別個に構成されているが、入力装置１０６とディスプレイ１０７とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0025】
図４に、推定端末２のハードウェア構成のブロック図を例示する。推定端末２は、例えば、ＣＰＵ２０１、メモリ２０２、バス２０３、記憶装置２０４、入力装置２０５、通信デバイス２２（通信部）、ディスプレイ２０６等を有する。推定端末２の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス２０３を介して接続されている。推定端末２の各構成の説明は、推定装置１の各構成の説明を援用できる。
【0026】
つぎに、本実施形態の推定装置１および推定端末２を備える推定システム１００の処理の一例について、対象細胞について顕微鏡を用いて取得した顕微鏡像を画像データとして使用する場合を例に取り、図５のフローチャートおよび図６の処理フローの模式図に基づき、説明する。なお、推定装置１は、Ｓ３～Ｓ６の処理を実行する。
【0027】
推定装置１の処理に先立ち、まず、推定システム１００外の計測装置を用いて対象細胞を観察し、画像データを取得する。前記計測装置は、取得するスペクトルデータの種類に応じて適宜選択できる。前記計測装置は、推定端末２の一部として組込まれてもよい。前記画像データの数は、複数であればよく、その上限は特に制限されない。
【0028】
前記画像データでは、前記対象細胞を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられている。前記スペクトルデータは、複数のスペクトル成分のそれぞれに対して、前記スペクトル成分のスペクトル強度値が紐付けられたデータであれよい。
【0029】
前記スペクトルデータは、例えば、紫外、可視または赤外域の分光スペクトルデータ；ラマン分光スペクトルデータ；ＮＭＲスペクトルデータ；質量スペクトルデータ；液体クロマトグラム、ガスクロマトグラム；音の周波数スペクトルデータ；等があげられる。前記ラマン分光スペクトルデータ、例えば、自発ラマン散乱分光スペクトルデータ、非線形ラマン散乱分光スペクトルデータ等があげられる。前記非線形ラマン散乱分光としては、誘導ラマン散乱（Stimulated Raman Scattering：SRS）分光、コヒーレントアンチストークスラマン散乱（Coherent Anti-stokes Raman Scattering：CARS）分光、コヒーレントストークスラマン散乱（Coherent Stokes Raman Scattering：CSRS）分光等があげられる。前記スペクトルデータは、好ましくは、紫外、可視もしくは赤外域の分光スペクトルデータ、ラマン分光スペクトルデータ、または質量スペクトルデータである。
【0030】
スペクトルデータが、紫外、可視、または赤外域の分光スペクトルデータ、ラマン分光スペクトルデータである場合、前記スペクトル成分は、波長または波数（周波数）としてもよい。また、スペクトルデータが、質量スペクトルデータである場合、前記スペクトル成分は、質量電荷比または質量数としてもよい。
【0031】
前記画像データを取得する空間が２次元平面（ＸＹ平面）である場合、前記スペクトルデータは、例えば、前記ＸＹ平面における各位置情報（座標：Ｘ、Ｙ）に、前記座標（Ｘ、Ｙ）の画素におけるスペクトルデータのスペクトル成分（Ａ）（例えば、波数）およびそのスペクトル強度値（Ｂ）が紐付けられている。このため、前記画像データは、Ｘ、Ｙ、Ａ、およびＢから構成されるデータとなる。
【0032】
前記画像データを取得する空間が３次元空間（ＸＹＺ平面）である場合、前記スペクトルデータは、例えば、前記ＸＹＺ平面における位置情報（座標：Ｘ、Ｙ、Ｚ）に、前記座標（Ｘ、Ｙ、Ｚ）の画素におけるスペクトルデータのスペクトル成分（Ａ）とそのスペクトル強度値（Ｂ）が紐付けられている。このため、前記画像データは、Ｘ、Ｙ、Ｚ、Ａ、およびＢから構成されるデータとなる。
【0033】
なお、以下では、画像データを取得する空間が２次元平面で有る場合を例にあげて説明するが、前記画像データを取得する空間が３次元空間である場合も同様に実施できる。
【0034】
画像入力部２１は、前記計測装置により取得された前記画像データを入力する（Ｓ１）。前記画像データは、推定端末２の画像入力部２１により入力された後、推定端末２の記憶装置２０４に格納されてもよいし、通信回線網３を介して接続可能なデータサーバ等に格納されてもよい。ついで、推定端末２は、前記画像データを通信部２２および通信回線網３を介して、推定装置１に出力する（Ｓ２）。
【0035】
つぎに、推定装置１は、画像受信部１１により、推定端末２から出力された画像データを受信し（Ｓ３）、処理を開始する。
【0036】
まず、推定装置１では、前処理部１２が、前記画像データに対して加工処理を実施する（Ｓ４）。具体的には、前処理部１２は、前記画像データにおける対象の存在領域の推定処理をする。これにより、推定装置１では、前記画像データにおける対象以外が存在すると推定される領域によるノイズを低減できる。前記推定処理は、スペクトル強度値に基づく、二値化処理、マスク処理等があげられ、より効果的にノイズを低減できることから、マスク処理が好ましい。前記二値化処理は、例えば、公知の二値化処理が使用でき、具体例として、大津の二値化等が使用できる。前記推定処理がマスク処理の場合、前処理部１２は、前記マスク処理に使用するマスク画像を生成する。前記マスク画像の生成は、公知のマスク画像の生成方法により実施でき、具体例として、前記画像データにおける各スペクトル成分から形成されるスペクトル画像の平均を算出し、具体的には、各スペクトル画像の各画素について、スペクトルの強度値の平均値を算出し、得られた平均値の画像を二値化処理することにより生成できる。
【0037】
前記加工処理は、前記存在領域の推定処理に代えて、または加えて前記画像データにおける対象の存在領域の推定処理；後述のＳ５における畳み込みニューラルネットワーク１５で学習する際に注意する領域を特定するアテンション機構による処理；前記画像データの正規化処理；前記画像データのうち、使用するスペクトル成分を選択する選択処理（サンプリング処理）；パディング処理；等を実施してもよい。前記アテンション機構は、チャネルアテンション（Channel attention）機構でもよいし、スペーシャルアテンション（Spatial attention）機構でもよいし、両者を組合わせてもよい。この場合、前処理部１２は、前記画像データに対して１種類または複数種類の加工処理を実施する。なお、実施形態１の推定装置１では、スペクトル推定データ生成部１３による処理に先立ち、前記画像データの加工処理を行なったが、前記加工処理は、後述の畳み込みニューラルネットワーク１５における処理の一部として実施されてもよい。
【0038】
つぎに、推定装置１では、スペクトル推定データ生成部１３により、前記画像データから、スペクトル推定データを生成する（Ｓ５）、すなわち、推定装置１では、スペクトル推定データ生成部１３により、前記画像データを用いて、前記対象の識別において、重要と判断された特徴がマップ化された特徴マップ（特徴量マップ）を生成する。前記特徴マップの種類は、例えば、セグメンテーション（Segmentation）に利用する特徴マップ、分類（Classification）に利用する特徴マップ、物体検知（Detection）に利用する特徴マップ、位置特定（Localization）に利用する特徴マップ等があげられる。
【0039】
具体的には、まず、スペクトル推定データ生成部１３は、前処理部１２による処理後の画像データを畳み込みニューラルネットワーク１５の入力層１５ａに入力する。つぎに、入力層１５ａは、前記処理後の画像データを畳み込み層１５ｂおよび出力層１５ｃに入力する。
【0040】
畳み込み層１５ｂは、第１層～第４層の畳み込み層１５ｂ１、１５ｂ２、１５ｂ３、１５ｂ４を備え、第１層～第４層の畳み込み層１５ｂ１、１５ｂ２、１５ｂ３、１５ｂ４がそれぞれ入力されたデータに基づき、データの畳み込み処理を行ない、得られたデータをつぎの層に入力する。各畳み込み層１５ｂ１、１５ｂ２、１５ｂ３、１５ｂ４では、畳み込み処理（３×３ Convolutionまたは３×３ Convolution stride 2）、正規化処理（Batch Norm：Batch Normalization）および活性化関数による処理（ReLU）を順次実施する。
【0041】
本実施形態において、畳み込み層１５は、４層の畳み込み層から構成されているが、畳み込み層の数は、１層でもよいし、２層以上でもよい。また、本実施形態において、畳み込み層１５ｂは、第１層および第２層の畳み込み層１５ｂ１、１５ｂ２において、３×３ Convolutionによる畳み込み処理、第３層および第４層の畳み込み層１５ｂ３、１５ｂ４において、３×３ Convolution stride 2による畳み込み処理を実施しているが、畳み込み処理の大きさおよびstrideは、前記画像データの種類およびスペクトル成分の推定の精度に応じて適宜選択できる。また、畳み込み層１５ｂ１、１５ｂ２、１５ｂ３、１５ｂ４では、活性化関数としてReLU関数を用いているが、ステップ関数、シグモイド関数、Than関数等の他の活性化関数を用いてもよい。
【0042】
そして、畳み込み層１５ｂ４は、前記処理後の画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し（Ｓ５１）、これを、出力層１５ｃに出力する。
【0043】
つぎに、出力層１５ｃは、畳み込み層１５ｂ４から入力された特徴マップに、入力層１５ａから入力された各特徴マップの生成に用いたスペクトル成分の画像データ（画像データにおける対応するスペクトル成分のレイヤー）を結合して、前記対象のクラスを識別する情報であるスペクトル推定データＡを生成する（Ｓ５２）。すなわち、出力層１５ｃは、前記特徴マップにおけるスペクトル成分毎の特徴マップに、前記特徴マップの生成に用いたスペクトル成分の画像データ（画像データにおける対応するスペクトル成分のレイヤー）を結合して、前記対象のクラス（分類）を識別する情報であるスペクトル推定データＡ（図６（Ａ））を生成する。前記画像データのサイズ（ＸＹ座標の大きさ）は、特徴マップのサイズと同じサイズに補正されることが好ましい。前記補正は、例えば、平均プーリング（average pooling）により実施できる。畳み込みニューラルネットワーク１５では、１以上の畳み込み処理により前記画像データにおけるスペクトル成分の情報が、他の情報と併せて処理されるため、スペクトル成分の情報が混ざる、すなわち、前記スペクトル成分の情報が脱落し、かつ前記スペクトル成分の情報を特徴マップから再生することができない。このため、通常の畳み込みニューラルネットワークで得られる特徴マップを使用しても、前記対象の識別に利用可能なスペクトル成分は、特定できない。他方、本実施形態の推定装置１では、出力層１５ｃにおいて、前記特徴マップの生成に用いたスペクトル成分の画像データを結合することにより、得られた特徴マップにおいても、前記画像データに由来する対応するスペクトル成分の情報が維持される。このため、本実施形態の推定装置１では、後述のスペクトル推定部１４において、前記スペクトル成分の情報を維持しているスペクトル推定データＡを使用して、前記対象の識別において重要と推定されるスペクトル成分を算出するため、前記対象の識別に利用可能なスペクトル成分を推定できる。
【0044】
つぎに、推定装置１では、スペクトル推定部１４により、スペクトル推定データＡから前記対象の識別に利用可能なスペクトル成分を推定する（Ｓ６）。すなわち、推定装置１では、スペクトル推定部１４により、スペクトル推定データＡが含む特徴マップから、畳み込みニューラルネットワーク１５が対象の識別において重要と着目している領域を特定し（Ｓ６１～Ｓ６２）、かつ前記領域の特定に貢献しているスペクトル成分を算出することにより（Ｓ６３～Ｓ６４）、前記対象の識別に利用可能なスペクトル成分を推定する。
【0045】
具体的には、スペクトル推定部１４は、スペクトル推定データＡにおける各スペクトル成分の特徴マップ全体に対して微分処理を行ない、各スペクトル成分の特徴マップの微分値（微分係数）を取得する。そして、スペクトル推定部１４は、各スペクトル成分の特徴マップの微分値を、各スペクトル成分の重要度として算出する（Ｓ６１）。これにより、実施形態１の推定装置は、前記画像データから、各スペクトル成分が重要なスペクトルかを評価できる情報を抽出できる。
【0046】
つぎに、スペクトル推定部１４は、スペクトル成分毎に、スペクトル推定データＡと各スペクトル成分の重要度とを結合して、前記重要度より得られる確率スコアｙｃを得るために貢献した、各スペクトル成分における画素を特定することにより、前記対象のクラス（分類）の識別に貢献した特徴点が特定された貢献度マップＢ（図６（Ａ））を作成する（Ｓ６２）。具体的には、スペクトル推定部１４は、スペクトル推定データＡが含むｋ番目の特徴マップＡｋを選択する。つぎに、スペクトル推定部１４は、特徴マップＡｋの座標（ｉ、ｊ）について、当該座標の確率スコアｙｃへの貢献度（Ｂｋ
ｉ, ｊ）を、確率スコアｙｃと、特徴マップＡｋの座標（ｉ、ｊ）の特徴量（Ａｋ
ｉ, ｊ）とから、下記式（１）により算出する。また、スペクトル推定部１４は、同様の処理を、特徴マップＡｋの全ての座標に対して実施する。さらに、スペクトル推定部１４は、スペクトル推定データＡが含む全ての特徴マップに対して、同様の処理を実施する。
Ｂｋ ｉ, ｊ＝（δｙｃ）／（δＡｋ ｉ, ｊ）・・・（１）
Ｂｋ ｉ, ｊ＝（δｙｃ）／（δＡｋ ｉ, ｊ）・・・（１）
【0047】
また、スペクトル推定部１４は、スペクトル成分毎に、スペクトル推定データＡを活性化関数により処理（ReLU）したデータと、貢献度マップＢを活性化関数により処理（ReLU）したデータとを掛け合わせ、スペクトル成分毎の重要度マップを作成する（Ｓ６３）。つぎに、スペクトル推定部１４は、スペクトル成分毎の重要度マップについて、スカラー変換し、各スペクトル成分のスカラー値の大小関係を比較する。前記スカラー変換は、例えば、全体平均プーリング（Global Average Pooling：ＧＡＰ）が使用できる。さらに、スペクトル推定部１４は、あるスペクトル成分のスカラー値が、相対的に大きい場合、前記スペクトル成分は、相対的に重要度が高いと評価でき、あるスペクトル成分のスカラー値が、相対的に小さい場合、前記スペクトル成分は、相対的に重要度が小さいと評価できる。そして、スペクトル推定部１４は、各スペクトル成分の重要度の高いものから、予め指定された数のスペクトル成分を前記対象の識別に利用可能なスペクトル成分を推定する（Ｓ６４）。前記指定された数は、ユーザの目的に応じて、任意の数値に設定できる。
【0048】
そして、実施形態１の推定装置１、推定端末２、および推定システム１００の処理を終了する。
【0049】
実施形態１の推定装置１、推定端末２、および推定システム１００では、出力層１５ｃにおいて、前記特徴マップの生成に用いたスペクトル成分の画像データを結合することにより、前記スペクトル成分の情報を維持できる。このため、本実施形態の推定装置１、推定端末２、および推定システム１００ででは、スペクトル推定部１４において、前記スペクトル成分の情報を維持しているスペクトル推定データＡを使用できるため、前記対象の識別に利用可能なスペクトル成分を推定できる。
【0050】
（実施形態２）
本実施形態は、本発明の推定装置および推定端末を含む推定システムの他の例である。図７は、本実施形態の推定装置１Ａおよび推定端末２を備える推定システム１００Ａを示すブロック図である。図７に示すように、推定システム１００Ａは、推定装置１Ａおよび推定端末２を備える。また、図７に示すように、推定装置１Ａは、実施形態１の推定装置１の構成において、スペクトル推定データ生成部１３およびスペクトル推定部１４に代えて、スペクトル推定データ生成部１３Ａおよびスペクトル推定部１４Ａを備える。また、図８に示すように、推定装置１Ａのスペクトル推定データ生成部１３Ａは、畳み込みニューラルネットワーク１５に代えて、多重解像度構造を有する畳み込みニューラルネットワーク１６を備える。推定装置１Ａのハードウェア構成は、図３の推定装置１のハードウェア構成において、ＣＰＵ１０１が、図１の推定装置１の構成に変えて、図７の推定装置１Ａの構成を備える以外は同様である。これらの点を除き、実施形態２の推定装置１Ａの構成は、実施形態１の推定装置１の構成と同様であり、その説明を援用できる。
本実施形態は、本発明の推定装置および推定端末を含む推定システムの他の例である。図７は、本実施形態の推定装置１Ａおよび推定端末２を備える推定システム１００Ａを示すブロック図である。図７に示すように、推定システム１００Ａは、推定装置１Ａおよび推定端末２を備える。また、図７に示すように、推定装置１Ａは、実施形態１の推定装置１の構成において、スペクトル推定データ生成部１３およびスペクトル推定部１４に代えて、スペクトル推定データ生成部１３Ａおよびスペクトル推定部１４Ａを備える。また、図８に示すように、推定装置１Ａのスペクトル推定データ生成部１３Ａは、畳み込みニューラルネットワーク１５に代えて、多重解像度構造を有する畳み込みニューラルネットワーク１６を備える。推定装置１Ａのハードウェア構成は、図３の推定装置１のハードウェア構成において、ＣＰＵ１０１が、図１の推定装置１の構成に変えて、図７の推定装置１Ａの構成を備える以外は同様である。これらの点を除き、実施形態２の推定装置１Ａの構成は、実施形態１の推定装置１の構成と同様であり、その説明を援用できる。
【0051】
つぎに、本実施形態の推定装置１Ａおよび推定端末２を備える推定システム１００Ａの処理の一例について、対象細胞について顕微鏡を用いて取得した顕微鏡像を画像データとして使用する場合を例に取り、図９のフローチャートおよび図１０の処理フローの模式図に基づき、説明する。なお、推定装置１Ａは、Ｓ３～Ｓ６の処理を実行する。
【0052】
まず、実施形態２の推定装置１Ａおよび推定端末２を含む推定システム１００Ａは、実施形態１のＳ１～Ｓ４と同様にして、画像データの前処理を実施する。
【0053】
つぎに、推定装置１Ａでは、スペクトル推定データ生成部１３Ａにより、前記画像データから、スペクトル推定データおよびセグメンテーションマップを生成する（Ｓ５）。推定装置１Ａでは、畳み込みニューラルネットワーク１６から出力される２種類（セット）の特徴マップのうち、一方にスペクトル成分の情報を付与して、後述の畳み込みニューラルネットワーク１６が対象の識別において重要と着目している領域を特定する。この際に、推定装置１Ａでは、前記領域特定に用いていない特徴マップ（他の特徴マップ）、すなわち、前記特徴マップの生成に用いたスペクトル成分の画像データを結合していない特徴マップを用いて、畳み込みニューラルネットワーク１６が対象の識別において重要と着目している領域を、別の視点から特定し、これをスペクトル推定データから特定される領域と組合わせて考慮する。このため、推定装置１Ａでは、畳み込みニューラルネットワーク１６が対象の識別において重要と着目している領域の特定精度が向上するため、前記領域の特定に貢献しているスペクトル成分を算出した際に、前記対象の識別性がより高いスペクトル成分を推定できる。したがって、スペクトル推定データ生成部１３Ａにおいて、生成される特徴マップは２種類（セット）以上であることが好ましい。
【0054】
具体的には、まず、スペクトル推定データ生成部１３Ａは、前処理部１２による処理後の画像データを畳み込みニューラルネットワーク１６の入力層１６ａに入力する。実施形態２の推定装置１Ａでは、畳み込みニューラルネットワークとして、多重解像度構造を有する畳み込みニューラルネットワーク１６を用いる。多重解像度構造を有する畳み込みニューラルネットワーク１６では、解像度の異なる特徴マップが得られ、これらに基づき学習できるため、前記対象の位置を特定するセグメンテーションマップおよび前記画像データの特徴点が検出された位置が示された特徴マップ（クラス分類（Classification）に利用する特徴マップ）の識別性を向上できる。このため、実施形態２の推定装置１Ａは、前記対象の識別に利用可能なスペクトル成分をより高い精度で推定できる。なお、実施形態２の推定装置１Ａでは、畳み込みニューラルネットワーク１６において、３セットの異なる解像度の特徴マップを生成し、セグメンテーション（Segmentation）に利用する特徴マップおよびクラス分類（Classification）に利用する特徴マップの生成に利用しているが、異なる解像度の特徴マップのセット数は、２セット以上の任意のセット数とでき、セット数を増やすことにより、識別性を向上できる。
【0055】
つぎに、入力層１６ａは、マスクスペイシャルアテンション（mask spatial attention）機構１７ａに入力する。マスクスペイシャルアテンション機構１７ａでは、前記処理後の画像データに対してマスク処理を実施し、得られたマスク処理後の画像データと、マスク処理前の画像データとを結合する。これにより、実施形態２の推定装置１Ａは、前記画像データにおける対象の存在する領域のスペクトル強度値を増強でき、前記画像データにおけるノイズの影響を低減できる。
【0056】
つぎに、スペクトル推定データ生成部１３Ａは、マスクスペイシャルアテンション機構１７ａによる処理後の画像データについて、マスクチャネルアテンション（mask channel attention）機構１７ｂ１および結合層１６ｃに入力する。マスクチャネルアテンション機構１７ｂ１における処理は、下記参考文献１に準じて実施できる。これにより、実施形態２の推定装置１Ａは、前記画像データにおけるノイズの影響を低減できる。
参考文献１：Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
参考文献１：Hu, Jie, Li Shen, and Gang Sun. "Squeeze-and-excitation networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
【0057】
つぎに、スペクトル推定データ生成部１３Ａは、マスクチャネルアテンション（mask channel attention）機構１７ｂ１による処理後の画像データについて、畳み込み層１６ｂ１に入力する。畳み込み層１６ｂ１では、畳み込み処理（３×３ Convolution）、正規化処理（Batch Norm）および活性化関数による処理（ReLU）を順次実施し、特徴部の特定を行なった第１の特徴マップを生成する。そして、スペクトル推定データ生成部１３Ａは、前記第１の特徴マップをマスクスチャネルアテンション機構１７ｂ２に入力する。マスクチャネルアテンション機構１７ｂ２における処理は、前記参考文献１に準じて実施できる。これにより、実施形態２の推定装置１Ａは、前記第１の特徴マップにおけるノイズの影響を低減できる。
【0058】
つぎに、スペクトル推定データ生成部１３Ａは、マスクチャネルアテンション機構１７ｂ２による処理後の第１の特徴マップについて、畳み込み層１６ｂ２および１６ｂ３に入力する。畳み込み層１６ｂ２では、畳み込み処理（３×３ Convolution）、正規化処理（Batch Norm）および活性化関数による処理（ReLU）を順次実施し、特徴部の特定を行なった第２の特徴マップを生成する。そして、スペクトル推定データ生成部１３Ａは、得られた第２の特徴マップを、結合層１６ｃに入力する。他方、畳み込み層１６ｂ３では、畳み込み処理（３×３ Convolution stride 2）、正規化処理（Batch Norm：Batch Normalization）および活性化関数による処理（ReLU）を順次実施し、特徴部の特定を行なった第３の特徴マップを生成する。畳み込み層１６ｂ３の畳み込み処理は、Stride 2で実施されるため、前記第３の特徴マップの解像度は、前記第２の特徴マップの解像度より低い解像度となる。
【0059】
つぎに、スペクトル推定データ生成部１３Ａは、前記第３の特徴マップについて、畳み込み層１６ｂ４に入力する。畳み込み層１６ｂ４では、畳み込み処理（３×３ Convolution）、正規化処理（Batch Norm）および活性化関数による処理（ReLU）を順次実施し、特徴部の特定を行なった第４の特徴マップを生成する。スペクトル推定データ生成部１３Ａは、得られた第４の特徴マップを、結合層１６ｃおよび畳み込み層１６ｂ５に入力する。畳み込み層１６ｂ５では、畳み込み処理（３×３ Convolution stride）、正規化処理（Batch Norm）および活性化関数による処理（ReLU）を順次実施し、特徴部の特定を行なった第５の特徴マップを生成する。そして、スペクトル推定データ生成部１３Ａは、得られた第５の特徴マップを、結合層１６ｃに入力する。畳み込み層１６ｂ４の畳み込み処理は、Stride 2で実施されるため、前記第５の特徴マップの解像度は、前記第４の特徴マップの解像度より低い解像度となる。したがって、畳み込み層１６ｂの処理後、結合層１６ｃに入力された第２の特徴マップ、第４の特徴マップ、および第５の特徴マップは、この順番で解像度が低くなる。
【0060】
つぎに、スペクトル推定データ生成部１３Ａは、結合層１６ｃにおいて、前記第２の特徴マップ、第４の特徴マップ、および第５の特徴マップと、マスクスペイシャルアテンション機構１７ａによる処理後の画像データにおける各特徴マップの生成に用いたスペクトル成分の画像データ（レイヤー）とを結合して、前記対象のクラスを識別する情報であるスペクトル推定データＡを生成する（Ｓ５２Ａ）。また、スペクトル推定データ生成部１３Ａは、結合層１６ｃにおいて、前記第２の特徴マップ、第４の特徴マップ、および第５の特徴マップを結合することにより、セグメンテーションマップを生成する（Ｓ５３）。
【0061】
つぎに、推定装置１Ａでは、スペクトル推定部１４Ａにより、スペクトル推定データＡとセグメンテーションマップとから前記対象の識別に利用可能なスペクトル成分を推定する（Ｓ６）。
【0062】
具体的には、スペクトル推定部１４Ａは、スペクトル推定データ生成部１３により得られたスペクトル推定データＡに代えて、スペクトル推定データ生成部１３Ａにより得られたスペクトル推定データＡを用いる以外は、実施形態１の推定装置１のＳ６１～Ｓ６３と同様にして、Ｓ６１Ａ～Ｓ６３Ａを実施する
【0063】
他方、スペクトル推定部１４Ａは、セグメンテーションマップから、精度評価値としてＦ１スコア（Ｆ値）値を算出する（Ｓ６５）。なお、実施形態２の推定装置１Ａでは、前記精度評価値として、Ｆ値を用いたが、他の精度評価値を用いてもよい。
【0064】
そして、スペクトル推定部１４Ａは、Ｓ６３Ａで得られた重要度マップと、Ｓ６５で得られた精度評価値とから、各スペクトル成分の評価値を算出し、各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する（Ｓ６６）。具体的には、まず、前記重要度マップの平均値を算出する。前記平均値の算出は、例えば、前記ＧＡＰが使用できる。そして、スペクトル推定部１４Ａは、得られた重要度マップの平均値と前記精度評価値であるＦ値とを掛け合わせ、各スペクトル成分の評価値を算出する。スペクトル推定部１４Ａは、あるスペクトル成分の評価値が、相対的に大きい場合、前記スペクトル成分は、相対的に重要度が高いと評価でき、あるスペクトル成分の評価値が、相対的に小さい場合、前記スペクトル成分は、相対的に重要度が小さいと評価できる。そして、スペクトル推定部１４Ａは、各スペクトル成分の重要度の高いものから、予め指定された数のスペクトル成分を前記対象の識別に利用可能なスペクトル成分を推定する。
【0065】
そして、実施形態２の推定装置１Ａ、推定端末２、および推定システム１００Ａの処理を終了する。
【0066】
実施形態２の推定装置１Ａ、推定端末２、および推定システム１００Ａでは、スペクトル成分の重要度の評価において、セグメンテーションマップ等の他の特徴マップの評価を考慮する。すなわち、実施形態２では、前記対象をセグメンテーション等できる他の特徴マップ由来のスペクトル成分を、前記対象を識別可能なスペクトル成分の重要な要素として考慮している。このため、実施形態２おいて重要度が高い推定されるスペクトル成分は、前記対象のセグメンテーションができ、かつ前記対象の位置を特定可能なスペクトル成分である可能性が高い。したがって、実施形態２の推定装置１Ａ、推定端末２、および推定システム１００Ａでは、前記対象の識別に利用可能なスペクトル成分をより高い精度で推定できる。
【0067】
（実施形態３）
本実施形態のプログラムは、コンピュータに、前記本発明の推定方法を実行させるプログラムである。本実施形態のプログラムにおいて、「手順」は、例えば、「処理」または「命令」と言うこともできる。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
本実施形態のプログラムは、コンピュータに、前記本発明の推定方法を実行させるプログラムである。本実施形態のプログラムにおいて、「手順」は、例えば、「処理」または「命令」と言うこともできる。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【実施例0068】
次に、本発明の実施例について説明する。ただし、本発明は、下記実施例により制限されない。
【0069】
［実施例１］
ｉＰＳ細胞、外胚葉系細胞、中胚葉系細胞、および内胚葉系細胞について、ＣＡＲＳ顕微鏡により取得した画像に基づき、各細胞の識別に利用可能なスペクトルを推定できることを確認した。
ｉＰＳ細胞、外胚葉系細胞、中胚葉系細胞、および内胚葉系細胞について、ＣＡＲＳ顕微鏡により取得した画像に基づき、各細胞の識別に利用可能なスペクトルを推定できることを確認した。
【0070】
（１）ＣＡＲＳ顕微鏡像のデータセット
実施例１では、ＣＡＲＳ顕微鏡によって取得したiPS細胞（ＵＮＤ）およびその分化細胞である、外胚葉系細胞（ＥＣＴ）、中胚葉系細胞（ＭＥＳ）、および内胚葉系細胞（ＥＮＤ）のマルチスペクトル画像（画像データに対応）を用いた。前記マルチスペクトル画像は、各細胞について、２５枚ずつの合計１００枚準備した。各画像データでは、５９９～３０９８Ｈｚのスペクトル強度が紐付けられている。ただし、以下の処理においては、各画像データについて、前処理として５９９～３０９８Ｈｚのうち、６０９のスペクトル成分のスペクトル強度値を等間隔でサンプリング処理したものを使用した。また、各画像の画素数は、７０×１１０画素で構成されている。さらに、各画像データの７０×１１０画素の周囲の画素を０で埋める０パディングを前処理として実施した。そして、前記マルチスペクトル画像のうち、各細胞２０枚の合計８０枚を学習用画像として用い、残りの各細胞５枚の合計２０枚を検証用画像として５分割交差検証を実施した。
実施例１では、ＣＡＲＳ顕微鏡によって取得したiPS細胞（ＵＮＤ）およびその分化細胞である、外胚葉系細胞（ＥＣＴ）、中胚葉系細胞（ＭＥＳ）、および内胚葉系細胞（ＥＮＤ）のマルチスペクトル画像（画像データに対応）を用いた。前記マルチスペクトル画像は、各細胞について、２５枚ずつの合計１００枚準備した。各画像データでは、５９９～３０９８Ｈｚのスペクトル強度が紐付けられている。ただし、以下の処理においては、各画像データについて、前処理として５９９～３０９８Ｈｚのうち、６０９のスペクトル成分のスペクトル強度値を等間隔でサンプリング処理したものを使用した。また、各画像の画素数は、７０×１１０画素で構成されている。さらに、各画像データの７０×１１０画素の周囲の画素を０で埋める０パディングを前処理として実施した。そして、前記マルチスペクトル画像のうち、各細胞２０枚の合計８０枚を学習用画像として用い、残りの各細胞５枚の合計２０枚を検証用画像として５分割交差検証を実施した。
【0071】
（２）推定装置の構成
実施例１の推定装置の構成は、実施形態１の推定装置１の構成と同様とした。
実施例１の推定装置の構成は、実施形態１の推定装置１の構成と同様とした。
【0072】
（３）スペクトル成分の推定
前処理部１２における加工処理として、前記前処理後のマルチスペクトル画像に対して、大津の二値化処理を行ない、スペクトル推定データ生成部１３は、前記処理後の画像データを用いて処理を実施した。この点を除き、実施形態１の推定装置１を用いて、重要度の上位１～１０位のスペクトル成分を推定した。また、ｉＰＳ細胞、外胚葉系細胞、中胚葉系細胞、および内胚葉系細胞について、ランキング１位のスペクトル成分の画像データ（レイヤー）と、各スペクトル成分の貢献度マップとを可視化し、これらを比較した。これらの結果を、下記表１および図１１に示す。
前処理部１２における加工処理として、前記前処理後のマルチスペクトル画像に対して、大津の二値化処理を行ない、スペクトル推定データ生成部１３は、前記処理後の画像データを用いて処理を実施した。この点を除き、実施形態１の推定装置１を用いて、重要度の上位１～１０位のスペクトル成分を推定した。また、ｉＰＳ細胞、外胚葉系細胞、中胚葉系細胞、および内胚葉系細胞について、ランキング１位のスペクトル成分の画像データ（レイヤー）と、各スペクトル成分の貢献度マップとを可視化し、これらを比較した。これらの結果を、下記表１および図１１に示す。
【0073】
【表1】
【0074】
図１１は、画像データおよび可視化結果を示す写真である。図１１において、左側の写真が、前記画像データを示し、右側の写真が、可視化結果を示す。また、図１１において、上段から、ｉＰＳ細胞、外胚葉系細胞、中胚葉系細胞、および内胚葉細胞の結果を示す。前記表１に示すように、重要度の上位１～１０位のスペクトル成分は、各細胞により異なった。また、図１１に示すように、いずれの細胞においても、画像データにおける細胞の存在する領域と、スペクトル成分の貢献度が高い領域とが重なっており、本発明の推定装置により、各細胞を識別可能なスペクトル成分が有効に推定されていることがわかった。以上のことから、本発明の推定装置によれば、対象の識別に利用可能がスペクトル成分を推定できることがわかった。
【0075】
［実施例２］
ｉＰＳ細胞、外胚葉系細胞、中胚葉系細胞、および内胚葉系細胞について、ＣＡＲＳ顕微鏡により取得した画像に基づき、各細胞の識別に利用可能なスペクトルを推定できることを確認した。
ｉＰＳ細胞、外胚葉系細胞、中胚葉系細胞、および内胚葉系細胞について、ＣＡＲＳ顕微鏡により取得した画像に基づき、各細胞の識別に利用可能なスペクトルを推定できることを確認した。
【0076】
（１）ＣＡＲＳ顕微鏡像のデータセット
ＣＡＲＳ顕微鏡像のデータセットは、前記実施例１（１）と同様にして準備した。
ＣＡＲＳ顕微鏡像のデータセットは、前記実施例１（１）と同様にして準備した。
【0077】
（２）推定装置の構成
実施例２の推定装置の構成は、実施形態２の推定装置１Ａの構成と同様とした。
実施例２の推定装置の構成は、実施形態２の推定装置１Ａの構成と同様とした。
【0078】
（３）評価指標値
実施形態２の推定装置１Ａについて、前記マルチスペクトル画像のうち、各細胞２０枚の合計８０枚を学習用画像として用い、残りの各細胞５枚の合計２０枚を検証用画像として５分割交差検証を実施した。そして、実施形態２の推定装置１Ａについて、検証時の正解率（Acc）を算出した。前記正解率は、下記式（２）を用いて算出した。
Ａｃｃ＝（ＴＰ＋ＴＮ）／（ＴＰ＋ＦＰ＋ＦＮ＋ＴＮ）×１００（％）・・・（２）
Ａｃｃ：正解率
ＴＰ：真陽性（True Positive）
ＴＮ：真陰性（True Negative）
ＦＰ：偽陽性（False Positive）
ＦＮ：偽陰性（False Negative）
実施形態２の推定装置１Ａについて、前記マルチスペクトル画像のうち、各細胞２０枚の合計８０枚を学習用画像として用い、残りの各細胞５枚の合計２０枚を検証用画像として５分割交差検証を実施した。そして、実施形態２の推定装置１Ａについて、検証時の正解率（Acc）を算出した。前記正解率は、下記式（２）を用いて算出した。
Ａｃｃ＝（ＴＰ＋ＴＮ）／（ＴＰ＋ＦＰ＋ＦＮ＋ＴＮ）×１００（％）・・・（２）
Ａｃｃ：正解率
ＴＰ：真陽性（True Positive）
ＴＮ：真陰性（True Negative）
ＦＰ：偽陽性（False Positive）
ＦＮ：偽陰性（False Negative）
【0079】
（４）多重解像度構造の有無による正解率の違い
多重解像度構造の有無による畳み込みニューラルネットワークの精度比較を、正解率（％）を指標に実施した。多重解像度構造を有さない畳み込みニューラルネットワークを用いる場合、セグメンテーションに利用する特徴マップ（セグメンテーションマップ）は、前記第５の特徴マップのみを用いて生成し、クラス分類に利用する特徴マップ（クラス分類マップ）は、前記第５の特徴マップおよびマスクスペイシャルアテンション機構１７ａによる処理後の画像データを用いて生成した。これらの結果を下記表２に示す。
多重解像度構造の有無による畳み込みニューラルネットワークの精度比較を、正解率（％）を指標に実施した。多重解像度構造を有さない畳み込みニューラルネットワークを用いる場合、セグメンテーションに利用する特徴マップ（セグメンテーションマップ）は、前記第５の特徴マップのみを用いて生成し、クラス分類に利用する特徴マップ（クラス分類マップ）は、前記第５の特徴マップおよびマスクスペイシャルアテンション機構１７ａによる処理後の画像データを用いて生成した。これらの結果を下記表２に示す。
【0080】
【表2】
【0081】
前記表２に示すように、畳み込みニューラルネットワークが多重解像度構造を有する場合、推定装置１Ａは、多重解像度構造を有さない畳み込みニューラルネットワークを備える場合と比較して、正解率が向上した。これらの結果から、低解像度の特徴マップのみからクラス分類マップおよびセグメンテーションマップを生成するよりも、高解像度の特徴マップも含めてクラス分類マップおよびセグメンテーションマップを生成することで、高い精度で対象を識別可能なクラス分類マップおよびセグメンテーションマップが得られることがわかった。
【0082】
（５）セグメンテーションマップの有無による正解率および重要度マップの違い
推定装置１Ａについて、セグメンテーションマップの有無による精度比較を、正解率（％）および重要度マップを指標に実施した。セグメンテーションマップを用いない場合、推定装置１Ａにおけるクラス分類マップのみを生成した。また、重要度が高いと推定された上位１～１０位のスペクトル成分について、重要度マップを可視化して、対応するスペクトル成分の画像データ（レイヤー）と比較した。これらの結果を下記表３および図１２に示す。
推定装置１Ａについて、セグメンテーションマップの有無による精度比較を、正解率（％）および重要度マップを指標に実施した。セグメンテーションマップを用いない場合、推定装置１Ａにおけるクラス分類マップのみを生成した。また、重要度が高いと推定された上位１～１０位のスペクトル成分について、重要度マップを可視化して、対応するスペクトル成分の画像データ（レイヤー）と比較した。これらの結果を下記表３および図１２に示す。
【0083】
【表3】
【0084】
図１２は、重要度が高いと推定された上位１～１０位のスペクトル成分について、重要度マップを可視化した写真である。図１２において、（Ａ）は、セグメンテーションマップ有りの結果を示し、（Ｂ）は、セグメンテーションマップ無しの結果を示す。前記表３に示すように、セグメンテーションマップの有無では、正解率に差は見られなかった。他方、図１２（Ａ）および（Ｂ）に示すように、セグメンテーションマップ有りは、セグメンテーションマップ無しと比較して、細胞の位置をより正確に捉えていた。このため、セグメンテーションマップの有無は、学習済モデルの正解率には影響を与えないものの、対象の識別に利用可能なスペクトル成分の推定精度の向上には寄与することがわかった。
【0085】
（６）画像データの処理の種類による正解率の違い
畳み込みニューラルネットワーク１６におけるマスクスペイシャルアテンション機構による画像データの処理と、二値化処理との精度比較を、正解率（％）を指標に実施した。二値化処理を用いる場合、畳み込みニューラルネットワーク１６では、マスクスペイシャルアテンション機構１７ａに代えて大津の二値化処理を実施した。これらの結果を下記表４に示す。
畳み込みニューラルネットワーク１６におけるマスクスペイシャルアテンション機構による画像データの処理と、二値化処理との精度比較を、正解率（％）を指標に実施した。二値化処理を用いる場合、畳み込みニューラルネットワーク１６では、マスクスペイシャルアテンション機構１７ａに代えて大津の二値化処理を実施した。これらの結果を下記表４に示す。
【0086】
【表4】
【0087】
前記表４に示すように、前記マスクスペイシャルアテンション機構による画像データの処理は、二値化処理と比較して、正解率が向上した。これは、二値化処理では、ノイズの除去と併せて、細胞の識別に必要な情報も除去されているためと推定された。したがって、前記マスクスペイシャルアテンション機構による対象の存在する領域のスペクトル強度値の増強が、対象の識別性の向上には効果的であることがわかった。
【0088】
（７）スペクトル成分の推定
前記実施例２（１）のマルチスペクトル画像および実施形態２の推定装置１Ａを用いて、重要度の上位１～１０位のスペクトル成分を推定した。これらの結果を、下記表５に示す。
前記実施例２（１）のマルチスペクトル画像および実施形態２の推定装置１Ａを用いて、重要度の上位１～１０位のスペクトル成分を推定した。これらの結果を、下記表５に示す。
【0089】
【表5】
【0090】
前記表５に示すように、重要度の上位１～１０位のスペクトル成分は、各細胞により異なった。このため、本発明の推定装置により、各細胞を識別可能なスペクトル成分が推定されていることがわかった。
【0091】
以上、実施形態および実施例を参照して本発明を説明したが、本発明は、上記実施形態および実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
【0092】
＜付記＞
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
＜推定装置＞
（付記１）
対象の識別に利用可能なスペクトル成分を推定するための推定装置であって、
画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
装置。
（付記２）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
付記１に記載の推定装置。
（付記３）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１または２に記載の推定装置。
（付記４）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記３に記載の推定装置。
（付記５）
前記スペクトル推定部は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３または４に記載の推定装置。
（付記６）
前記スペクトル推定部は、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
付記５記載の推定装置。
（付記７）
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記１から６のいずれかに記載の推定装置。
（付記８）
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類（セット）以上の特徴マップを生成し、かつ前記２種類（セット）以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１から８のいずれかに記載の推定装置。
（付記９）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記８に記載の推定装置。
（付記１０）
前記スペクトル推定部は、
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記８または９に記載の推定装置。
（付記１１）
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１から７のいずれかに記載の推定装置。
（付記１２）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記１１に記載の推定装置。
（付記１３）
前記スペクトル推定部は、
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１１または１２に記載の推定装置。
（付記１４）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１０または１３に記載の推定装置。
（付記１５）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記１４に記載の推定装置。
（付記１６）
前記スペクトル推定部は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１４または１５に記載の推定装置。
（付記１７）
前記スペクトル推定部は、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１６に記載の推定装置。
（付記１８）
前記スペクトル推定部は、
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１７に記載の推定装置。
（付記１９）
前記精度評価値は、Ｆ１スコア（Ｆ値）である、付記１０および１３から１８のいずれかに記載の推定装置。
（付記２０）
前処理部を備え、
前記前処理部は、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
付記１から１９のいずれかに記載の推定装置。
（付記２１）
前記前処理部は、
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
付記２０に記載の推定装置。
（付記２２）
前記前処理部は、
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
付記２１に記載の推定装置。
（付記２３）
前記前処理部は、
前記画像データに対して、アテンション（Attention）機構を適用する、
付記２０から２２のいずれかに記載の推定装置。
（付記２４）
前記アテンション機構は、チャネルアテンション（Channel attention）機構および／またはスペーシャルアテンション（Spatial attention）機構である、
付記２３記載の推定装置。
（付記２５）
対象の識別に利用可能なスペクトル成分を推定するための推定方法であって、
画像受信工程と、スペクトル推定データ生成工程と、スペクトル推定工程とを含み、
前記画像受信工程では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定工程では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
方法。
（付記２６）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
付記２５に記載の推定方法。
（付記２７）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２５または２６に記載の推定方法。
（付記２８）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記２７に記載の推定方法。
（付記２９）
前記スペクトル推定工程は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２７または２８に記載の推定方法。
（付記３０）
前記スペクトル推定工程では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
付記２９記載の推定方法。
（付記３１）
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記２５から３０のいずれかに記載の推定方法。
（付記３２）
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類（セット）以上の特徴マップを生成し、かつ前記２種類（セット）以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定工程では、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２５から３２のいずれかに記載の推定方法。
（付記３３）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記３２に記載の推定方法。
（付記３４）
前記スペクトル推定工程では、
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３２または３３に記載の推定方法。
（付記３５）
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定工程は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２５から３１のいずれかに記載の推定方法。
（付記３６）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記３５に記載の推定方法。
（付記３７）
前記スペクトル推定工程では、
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３５または３６に記載の推定方法。
（付記３８）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３４または３７に記載の推定方法。
（付記３９）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記３８に記載の推定方法。
（付記４０）
前記スペクトル推定工程では、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３８または３９に記載の推定方法。
（付記４１）
前記スペクトル推定工程では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４０に記載の推定方法。
（付記４２）
前記スペクトル推定工程では、
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４１に記載の推定方法。
（付記４３）
前記精度評価値は、Ｆ１スコア（Ｆ値）である、付記３４および３７から４２のいずれかに記載の推定方法。
（付記４４）
前処理工程を備え、
前記前処理工程では、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成工程は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
付記２５から４３のいずれかに記載の推定方法。
（付記４５）
前記前処理工程では、
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
付記４４に記載の推定方法。
（付記４６）
前記前処理工程では、
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
付記４５に記載の推定方法。
（付記４７）
前記前処理工程では、
前記画像データに対して、アテンション（Attention）機構を適用する、
付記４４から４６のいずれかに記載の推定方法。
（付記４８）
前記アテンション機構は、チャネルアテンション（Channel attention）機構および／またはスペーシャルアテンション（Spatial attention）機構である、
付記４７記載の推定方法。
（付記４９）
対象の識別に利用可能なスペクトル成分を推定するためのプログラムであって、
コンピュータに、画像受信手順と、スペクトル推定データ生成手順と、スペクトル推定手順とを実行させ、
前記画像受信手順では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定手順では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
プログラム。
（付記５０）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
付記４９に記載のプログラム。
（付記５１）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９または５０に記載のプログラム。
（付記５２）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記５１に記載のプログラム。
（付記５３）
前記スペクトル推定手順は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記５１または５２に記載のプログラム。
（付記５４）
前記スペクトル推定手順では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
付記５３に記載のプログラム。
（付記５５）
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定手順では、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９から５４のいずれかに記載のプログラム。
（付記５６）
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記４９から５４のいずれかに記載のプログラム。
（付記５７）
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類（セット）以上の特徴マップを生成し、かつ前記２種類（セット）以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定手順では、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９から５６のいずれかに記載のプログラム。
（付記５８）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記５７に記載のプログラム。
（付記５９）
前記スペクトル推定手順では、
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記５７または５８に記載のプログラム。
（付記６０）
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定手順は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９ら５５のいずれかに記載のプログラム。
（付記６１）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記６０に記載のプログラム。
（付記６２）
前記スペクトル推定手順では、
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６０または６１に記載のプログラム。
（付記６３）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記５９または６２に記載のプログラム。
（付記６４）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記６３に記載のプログラム。
（付記６５）
前記スペクトル推定手順では、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６３または６４に記載のプログラム。
（付記６６）
前記スペクトル推定手順では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６５に記載のプログラム。
（付記６７）
前記スペクトル推定手順では、
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６６に記載のプログラム。
（付記６８）
前記精度評価値は、Ｆ１スコア（Ｆ値）である、付記５９および６２から６７のいずれかに記載のプログラム。
（付記６９）
前処理手順を備え、
前記前処理手順では、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成手順は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
付記４９から６８のいずれかに記載のプログラム。
（付記７０）
前記前処理手順では、
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
付記６９に記載のプログラム。
（付記７１）
前記前処理手順では、
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
付記７０に記載のプログラム。
（付記７２）
前記前処理手順では、
前記画像データに対して、アテンション（Attention）機構を適用する、
付記６９から７１のいずれかに記載のプログラム。
（付記７３）
前記アテンション機構は、チャネルアテンション（Channel attention）機構および／またはスペーシャルアテンション（Spatial attention）機構である、
付記７２記載のプログラム。
（付記７４）
付記４９から７３のいずれかに記載のプログラムを記録している、コンピュータ読み取り可能な記録媒体。
（付記７５）
対象の識別に利用可能なスペクトル成分を推定するための推定システムであって、
前記推定システムは、１以上のコンピュータから構成され、
前記１以上のコンピュータは、画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
システム。
＜畳み込みニューラルネットワークシステム＞
（付記７６）
１以上のコンピュータで実行される畳み込みニューラルネットワークシステムであって、
前記畳み込みニューラルネットワークは、
対象を含む画像データを受け取る入力層と、
前記画像データに対して１以上の畳み込み演算を実施し、前記画像データが有するスペクトル成分毎に特徴マップを生成する畳み込み層と、
前記画像データと前記特徴マップとから、前記対象のクラスを識別する情報であるスペクトル推定データを出力する出力層を備え、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
システム。
上記の実施形態および実施例の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
＜推定装置＞
（付記１）
対象の識別に利用可能なスペクトル成分を推定するための推定装置であって、
画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
装置。
（付記２）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
付記１に記載の推定装置。
（付記３）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１または２に記載の推定装置。
（付記４）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記３に記載の推定装置。
（付記５）
前記スペクトル推定部は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３または４に記載の推定装置。
（付記６）
前記スペクトル推定部は、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
付記５記載の推定装置。
（付記７）
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記１から６のいずれかに記載の推定装置。
（付記８）
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類（セット）以上の特徴マップを生成し、かつ前記２種類（セット）以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１から８のいずれかに記載の推定装置。
（付記９）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記８に記載の推定装置。
（付記１０）
前記スペクトル推定部は、
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記８または９に記載の推定装置。
（付記１１）
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定部は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１から７のいずれかに記載の推定装置。
（付記１２）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記１１に記載の推定装置。
（付記１３）
前記スペクトル推定部は、
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１１または１２に記載の推定装置。
（付記１４）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１０または１３に記載の推定装置。
（付記１５）
前記スペクトル推定部は、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記１４に記載の推定装置。
（付記１６）
前記スペクトル推定部は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１４または１５に記載の推定装置。
（付記１７）
前記スペクトル推定部は、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１６に記載の推定装置。
（付記１８）
前記スペクトル推定部は、
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
付記１７に記載の推定装置。
（付記１９）
前記精度評価値は、Ｆ１スコア（Ｆ値）である、付記１０および１３から１８のいずれかに記載の推定装置。
（付記２０）
前処理部を備え、
前記前処理部は、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
付記１から１９のいずれかに記載の推定装置。
（付記２１）
前記前処理部は、
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
付記２０に記載の推定装置。
（付記２２）
前記前処理部は、
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
付記２１に記載の推定装置。
（付記２３）
前記前処理部は、
前記画像データに対して、アテンション（Attention）機構を適用する、
付記２０から２２のいずれかに記載の推定装置。
（付記２４）
前記アテンション機構は、チャネルアテンション（Channel attention）機構および／またはスペーシャルアテンション（Spatial attention）機構である、
付記２３記載の推定装置。
（付記２５）
対象の識別に利用可能なスペクトル成分を推定するための推定方法であって、
画像受信工程と、スペクトル推定データ生成工程と、スペクトル推定工程とを含み、
前記画像受信工程では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定工程では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
方法。
（付記２６）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
付記２５に記載の推定方法。
（付記２７）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２５または２６に記載の推定方法。
（付記２８）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記２７に記載の推定方法。
（付記２９）
前記スペクトル推定工程は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２７または２８に記載の推定方法。
（付記３０）
前記スペクトル推定工程では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
付記２９記載の推定方法。
（付記３１）
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記２５から３０のいずれかに記載の推定方法。
（付記３２）
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類（セット）以上の特徴マップを生成し、かつ前記２種類（セット）以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定工程では、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２５から３２のいずれかに記載の推定方法。
（付記３３）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記３２に記載の推定方法。
（付記３４）
前記スペクトル推定工程では、
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３２または３３に記載の推定方法。
（付記３５）
前記スペクトル推定データ生成工程では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定工程は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記２５から３１のいずれかに記載の推定方法。
（付記３６）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記３５に記載の推定方法。
（付記３７）
前記スペクトル推定工程では、
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３５または３６に記載の推定方法。
（付記３８）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３４または３７に記載の推定方法。
（付記３９）
前記スペクトル推定工程では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記３８に記載の推定方法。
（付記４０）
前記スペクトル推定工程では、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記３８または３９に記載の推定方法。
（付記４１）
前記スペクトル推定工程では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４０に記載の推定方法。
（付記４２）
前記スペクトル推定工程では、
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４１に記載の推定方法。
（付記４３）
前記精度評価値は、Ｆ１スコア（Ｆ値）である、付記３４および３７から４２のいずれかに記載の推定方法。
（付記４４）
前処理工程を備え、
前記前処理工程では、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成工程は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
付記２５から４３のいずれかに記載の推定方法。
（付記４５）
前記前処理工程では、
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
付記４４に記載の推定方法。
（付記４６）
前記前処理工程では、
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
付記４５に記載の推定方法。
（付記４７）
前記前処理工程では、
前記画像データに対して、アテンション（Attention）機構を適用する、
付記４４から４６のいずれかに記載の推定方法。
（付記４８）
前記アテンション機構は、チャネルアテンション（Channel attention）機構および／またはスペーシャルアテンション（Spatial attention）機構である、
付記４７記載の推定方法。
（付記４９）
対象の識別に利用可能なスペクトル成分を推定するためのプログラムであって、
コンピュータに、画像受信手順と、スペクトル推定データ生成手順と、スペクトル推定手順とを実行させ、
前記画像受信手順では、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定手順では、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
プログラム。
（付記５０）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データを出力する出力層を備え、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
付記４９に記載のプログラム。
（付記５１）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９または５０に記載のプログラム。
（付記５２）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記５１に記載のプログラム。
（付記５３）
前記スペクトル推定手順は、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記５１または５２に記載のプログラム。
（付記５４）
前記スペクトル推定手順では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値から前記対象の識別に利用可能なスペクトル成分を推定する、
付記５３に記載のプログラム。
（付記５５）
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定手順では、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９から５４のいずれかに記載のプログラム。
（付記５６）
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記４９から５４のいずれかに記載のプログラム。
（付記５７）
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、２種類（セット）以上の特徴マップを生成し、かつ前記２種類（セット）以上の特徴マップのうち、少なくとも１種類の特徴マップに前記スペクトル成分の画像データを結合して、前記スペクトル推定データを生成し、
前記スペクトル推定手順では、
前記スペクトル推定データと、他の特徴マップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９から５６のいずれかに記載のプログラム。
（付記５８）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび他の特徴マップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記５７に記載のプログラム。
（付記５９）
前記スペクトル推定手順では、
前記他の特徴マップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記５７または５８に記載のプログラム。
（付記６０）
前記スペクトル推定データ生成手順では、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データ内の対象の位置が特定されたセグメンテーションマップを生成し、
前記スペクトル推定手順は、
前記スペクトル推定データと前記セグメンテーションマップとから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記４９ら５５のいずれかに記載のプログラム。
（付記６１）
前記畳み込みニューラルネットワークは、
前記画像データを受け取る入力層と、１以上の畳み込み演算を実施する畳み込み層と、前記スペクトル推定データおよび前記セグメンテーションマップを出力する出力層を備え、
前記畳み込みニューラルネットワークは、多重解像度構造を有する、
付記６０に記載のプログラム。
（付記６２）
前記スペクトル推定手順では、
前記セグメンテーションマップから精度評価値を算出し、
前記スペクトル推定データと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６０または６１に記載のプログラム。
（付記６３）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップから、各特徴マップの生成に用いたスペクトル成分の重要度を算出することにより、各スペクトル成分の重要度を算出し、
前記スペクトル推定データと各スペクトル成分の重要度と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記５９または６２に記載のプログラム。
（付記６４）
前記スペクトル推定手順では、
前記スペクトル推定データにおける各特徴マップを微分し、得られた微分値を各スペクトル成分の重要度として算出する、
付記６３に記載のプログラム。
（付記６５）
前記スペクトル推定手順では、
前記スペクトル推定データと各スペクトル成分の重要度とを結合して、前記対象のクラスの識別に貢献した特徴点が特定された貢献度マップを作成し、
前記スペクトル推定データと前記貢献度マップと前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６３または６４に記載のプログラム。
（付記６６）
前記スペクトル推定手順では、
前記スペクトル推定データと前記貢献度マップとを掛け合わせ、重要度マップを作成し、
得られた重要度マップの平均値と前記精度評価値とから、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６５に記載のプログラム。
（付記６７）
前記スペクトル推定手順では、
前記重要度マップの平均値と前記精度評価値とを掛け合わせ、各スペクトル成分の評価値を算出し、
各スペクトル成分の評価値から、前記対象の識別に利用可能なスペクトル成分を推定する、
付記６６に記載のプログラム。
（付記６８）
前記精度評価値は、Ｆ１スコア（Ｆ値）である、付記５９および６２から６７のいずれかに記載のプログラム。
（付記６９）
前処理手順を備え、
前記前処理手順では、前記画像データに対して加工処理を実施し、
前記スペクトル推定データ生成手順は、
前記対象を含む画像データとして、加工処理後の画像データを用いる、
付記４９から６８のいずれかに記載のプログラム。
（付記７０）
前記前処理手順では、
前記画像データにおける各成分のスペクトル成分の強度値に基づき、前記画像データにおいて前記対象が存在する位置を推定する、
付記６９に記載のプログラム。
（付記７１）
前記前処理手順では、
二値化処理および／またはマスク処理により、前記画像データにおいて前記対象が存在する位置を推定する、
付記７０に記載のプログラム。
（付記７２）
前記前処理手順では、
前記画像データに対して、アテンション（Attention）機構を適用する、
付記６９から７１のいずれかに記載のプログラム。
（付記７３）
前記アテンション機構は、チャネルアテンション（Channel attention）機構および／またはスペーシャルアテンション（Spatial attention）機構である、
付記７２記載のプログラム。
（付記７４）
付記４９から７３のいずれかに記載のプログラムを記録している、コンピュータ読み取り可能な記録媒体。
（付記７５）
対象の識別に利用可能なスペクトル成分を推定するための推定システムであって、
前記推定システムは、１以上のコンピュータから構成され、
前記１以上のコンピュータは、画像受信部と、スペクトル推定データ生成部と、スペクトル推定部とを備え、
前記画像受信部は、
前記対象を含む画像データを受信し、
前記スペクトル推定データ生成部は、
前記対象を含む画像データから、畳み込みニューラルネットワークによって、前記画像データのスペクトル成分毎に、前記画像データの特徴点が検出された位置が示された特徴マップを生成し、前記特徴マップに、各特徴マップの生成に用いたスペクトル成分の画像データを結合して、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記スペクトル推定部は、
前記スペクトル推定データから、前記対象の識別に利用可能なスペクトル成分を推定する、
システム。
＜畳み込みニューラルネットワークシステム＞
（付記７６）
１以上のコンピュータで実行される畳み込みニューラルネットワークシステムであって、
前記畳み込みニューラルネットワークは、
対象を含む画像データを受け取る入力層と、
前記画像データに対して１以上の畳み込み演算を実施し、前記画像データが有するスペクトル成分毎に特徴マップを生成する畳み込み層と、
前記画像データと前記特徴マップとから、前記対象のクラスを識別する情報であるスペクトル推定データを出力する出力層を備え、
前記画像データは、前記対象を含む画像の各座標と、前記座標におけるスペクトルデータとが紐付けられたデータであり、
前記スペクトルデータは、複数のスペクトル成分と、各成分のスペクトル成分の強度値が紐付けられたデータであり、
前記入力層は、前記畳み込み層および前記出力層と接続され、
前記畳み込み層は、前記出力層と接続され、
前記入力層は、各特徴マップの生成に用いたスペクトル成分の画像データを前記出力層に入力し、
前記畳み込み層は、各スペクトル成分の特徴マップを前記出力層に入力し、
前記出力層は、各スペクトル成分の特徴マップと、各スペクトル成分の特徴マップの生成に用いたスペクトル成分の画像データとを結合し、前記対象のクラスを識別する情報であるスペクトル推定データを生成し、前記スペクトル推定データを出力する、
システム。
【産業上の利用可能性】
【0093】
以上のように、本発明によれば、対象を識別に利用可能なスペクトルを推定できる。このため、本発明は、細胞、組織等の対象の識別を行なう生命科学分野、再生医療等において、極めて有用である。
【符号の説明】
【0094】
１０ 推定装置
１１ 画像受信部
１２ 前処理部
１３ スペクトル推定データ生成部
１４ スペクトル推定部
２０ 推定端末
２１ 画像入力部
２２ 通信部
１００、２００ 推定システム
１１ 画像受信部
１２ 前処理部
１３ スペクトル推定データ生成部
１４ スペクトル推定部
２０ 推定端末
２１ 画像入力部
２２ 通信部
１００、２００ 推定システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
