ホーム > 特許ランキング > 国立大学法人北海道大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023058429
(43)【公開日】2023-04-25
(54)【発明の名称】画像診断システム及び学習方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230418BHJP
G01N 21/27 20060101ALI20230418BHJP
【ＦＩ】
G06T7/00 350C
G01N21/27 A
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022144017
(22)【出願日】2022-09-09
(31)【優先権主張番号】P 2021168299
(32)【優先日】2021-10-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100189544
【弁理士】
【氏名又は名称】柏原 啓伸
(72)【発明者】
【氏名】猪熊 泰英
(72)【発明者】
【氏名】瀧川 一学
(72)【発明者】
【氏名】井手 雄紀
【テーマコード（参考）】
2G059
5L096
【Ｆターム（参考）】
2G059AA05
2G059BB04
2G059BB09
2G059EE02
2G059EE13
2G059FF01
2G059KK04
2G059MM01
2G059MM09
2G059MM10
5L096BA03
5L096DA02
5L096FA02
5L096FA59
5L096FA64
5L096HA11
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】化学反応収率や混合試料の混合比率の管理を行う画像診断システム及び学習方法を提供する。
【解決手段】コンピュータ装置４を含む画像診断システム２には、複数物質の混合状態の画像データを説明変数として当該複数物質の混合比率を目的変数とするか又は反応系の反応化合物の画像データを説明変数として当該反応化合物の反応収率を目的変数とする機械学習モデルが構築されている。機械学習モデルを複数物質の混合状態における混合比率を推定するために用いる場合には、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを教師データとして学習を行う。機械学習モデルを反応系の反応化合物における反応収率を推定するために用いる場合には、反応前の化合物と反応後の化合物とを混合して作出された混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、教師データとして学習を行う。
【選択図】図１
【解決手段】コンピュータ装置４を含む画像診断システム２には、複数物質の混合状態の画像データを説明変数として当該複数物質の混合比率を目的変数とするか又は反応系の反応化合物の画像データを説明変数として当該反応化合物の反応収率を目的変数とする機械学習モデルが構築されている。機械学習モデルを複数物質の混合状態における混合比率を推定するために用いる場合には、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを教師データとして学習を行う。機械学習モデルを反応系の反応化合物における反応収率を推定するために用いる場合には、反応前の化合物と反応後の化合物とを混合して作出された混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、教師データとして学習を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像診断システムであって、
前記画像診断システムは、インタフェース装置と、記憶装置と、処理回路とを含み、
前記画像診断システムには、
複数物質の混合状態の画像データを説明変数とし、当該複数物質の混合比率を目的変数とする、又は、反応系の反応化合物の画像データを説明変数とし、当該反応化合物の反応収率を目的変数とする、比率推定のための機械学習モデルが構築されており、
（１）前記比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合には、
前記処理回路が、前記記憶装置に記憶される、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、前記インタフェース装置を介して取得して、教師データとして学習を行い、
（２）前記比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合には、
前記処理回路が、前記記憶装置に記憶される、反応前の化合物と、反応後の化合物とを混合して作出された混合状態の画像データと、当該混合状態における混合比率の数値データとの組み合わせを、前記インタフェース装置を介して取得して、教師データとして学習を行う、
画像診断システム。
前記画像診断システムは、インタフェース装置と、記憶装置と、処理回路とを含み、
前記画像診断システムには、
複数物質の混合状態の画像データを説明変数とし、当該複数物質の混合比率を目的変数とする、又は、反応系の反応化合物の画像データを説明変数とし、当該反応化合物の反応収率を目的変数とする、比率推定のための機械学習モデルが構築されており、
（１）前記比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合には、
前記処理回路が、前記記憶装置に記憶される、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、前記インタフェース装置を介して取得して、教師データとして学習を行い、
（２）前記比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合には、
前記処理回路が、前記記憶装置に記憶される、反応前の化合物と、反応後の化合物とを混合して作出された混合状態の画像データと、当該混合状態における混合比率の数値データとの組み合わせを、前記インタフェース装置を介して取得して、教師データとして学習を行う、
画像診断システム。
【請求項2】
前記比率推定のための機械学習モデルの学習を、外部ネットワークを介して前記画像診断システムと接続する学習サーバが行う、請求項１に記載の画像診断システム。
【請求項3】
（３）前記比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合、
学習済みの前記比率推定のための機械学習モデルに、外部ネットワークを介して取得される当該複数物質の混合状態の画像データを入力として、混合比率の推定値を出力し、
（４）前記比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合、
学習済みの前記比率推定のための機械学習モデルに、外部ネットワークを介して取得される当該反応化合物の画像データを入力データとして、反応収率の推定値を出力する、
請求項１に記載の画像診断システム。
学習済みの前記比率推定のための機械学習モデルに、外部ネットワークを介して取得される当該複数物質の混合状態の画像データを入力として、混合比率の推定値を出力し、
（４）前記比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合、
学習済みの前記比率推定のための機械学習モデルに、外部ネットワークを介して取得される当該反応化合物の画像データを入力データとして、反応収率の推定値を出力する、
請求項１に記載の画像診断システム。
【請求項4】
比率推定のための機械学習モデルとして、畳み込みニューラルネットワークのモデルが用いられる、
請求項１に記載の画像診断システム。
請求項１に記載の画像診断システム。
【請求項5】
前記複数物質の混合状態が、主たる物質と、当該主たる物質以外の物質との、混合状態であり、
更に、
前記主たる物質以外の物質の比率が所定の閾値よりも大きいときには、前記処理回路が所定の信号を出力する、
請求項３に記載の画像診断システム。
更に、
前記主たる物質以外の物質の比率が所定の閾値よりも大きいときには、前記処理回路が所定の信号を出力する、
請求項３に記載の画像診断システム。
【請求項6】
複数物質の混合状態の画像データを説明変数とし、当該複数物質の混合比率を目的変数とする、又は、反応系の反応化合物の画像データを説明変数とし、当該反応化合物の反応収率を目的変数とする、比率推定のための機械学習モデルについての学習方法であって、
（１）前記比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合には、
処理回路が、記憶装置に記憶される、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、教師データとして学習を行い、
（２）前記比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合には、
前記処理回路が、前記記憶装置に記憶される、反応前の化合物と、反応後の化合物とを混合して作出された混合状態の画像データと、当該混合状態における混合比率の数値データとの組み合わせを、教師データとして学習を行う、
学習方法。
（１）前記比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合には、
処理回路が、記憶装置に記憶される、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、教師データとして学習を行い、
（２）前記比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合には、
前記処理回路が、前記記憶装置に記憶される、反応前の化合物と、反応後の化合物とを混合して作出された混合状態の画像データと、当該混合状態における混合比率の数値データとの組み合わせを、教師データとして学習を行う、
学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像診断システム及び方法、特に、混合試料の混合割合評価や化学反応収率の定量化のための画像診断システムに関する。
【背景技術】
【0002】
化学反応の反応収率の確認は、粉末状や結晶状等の混合状態における反応割合を観察者の目視により判断することによって通常行われる。観察者は、混合状態の色や形状を目視する。更に、複数物質の混合状態における個別物質の存在割合の確認も、観察者の目視により判断することによって通常行われる。化学反応の反応収率の確認も、複数物質の混合状態における個別物質の存在割合の確認も、観察者の実験技能を中心とする経験及び知識量に依存することとなる。
【0003】
混合試料における個別物質の存在割合のより詳細な確認のための、及び、化学反応の反応収率のより詳細な確認のための、従来の手法として、ＮＭＲ（Ｎｕｃｌｅａｒ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ：核磁気共鳴）、ＭＳ（Ｍａｓｓ Ｓｐｅｃｔｒｏｍｅｔｒｙ：質量分析）、ＨＰＬＣ（Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｌｉｑｕｉｄ Ｃｈｒｏｍａｔｏｇｒａｐｈｙ：高速液体クロマトグラフィー）等が挙げられる。しかしながら、いずれも、溶液状態で分析を行うものであり、よって、混合試料や反応化合物の溶解性に大きく依存してしまう。また、手法に対する観察者（操作者）の経験にも依存してしまう。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－６４５８９号公報
【特許文献2】特許第６０７７９４７号公報
【特許文献3】特開２０２０－３３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は、反応化合物や混合試料の画像データを入力データとして、化学プラントにおける化学反応収率や、混合試料の混合比率の正確な推定を行う、画像診断システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の画像診断システムは、インタフェース装置と、記憶装置と、処理回路とを含む。画像診断システムには、複数物質の混合状態の画像データを説明変数とし、当該複数物質の混合比率を目的変数とする、又は、反応系の反応化合物の画像データを説明変数とし、当該反応化合物の反応収率を目的変数とする、比率推定のための機械学習モデルが構築されている。（１）比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合には、処理回路が、記憶装置に記憶される、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、インタフェース装置を介して取得して、教師データとして学習を行う。（２）比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合には、処理回路が、記憶装置に記憶される、反応前の化合物と、反応後の化合物とを混合して作出された混合状態の画像データと、当該混合状態における混合比率の数値データとの組み合わせを、インタフェース装置を介して取得して、教師データとして学習を行う。
【発明の効果】
【0007】
本開示の画像診断システムは、反応化合物や混合試料の画像データを入力データとして、化学プラントにおける化学反応収率や、混合試料の混合比率の正確な推定を行うことができる。
【図面の簡単な説明】
【0008】
【図3A】図３Ａは、混合試料の例を示す図である。図３Ａ（１）は、砂糖（スクロース）の画像データの例である。図３Ａ（２）は、食塩（塩化ナトリウム）の画像データの例である。図３Ａ（３）は、砂糖と食塩との混合試料の画像データの例である。
【図4】図４は、うまみ調味料（グルタミン酸ナトリウム）と砂糖（スクロース）と食塩（塩化ナトリウム）との混合試料における、うまみ調味料の混合比率のプロットの例（左端）と、砂糖の混合比率のプロットの例（中央）と、食塩の混合比率のプロットの例（右端）である。３成分のいずれのグラフにおいても、横軸は実際の混合比率を示し、縦軸は実施の形態に係る画像診断システムによる予測値（推定値）を示す。
【図5B】図５Ｂは、ｐ－アミノサリチル酸からｍ－アミノフェノールへの化学反応の反応収率のプロットの例である。横軸は実際の反応収率を示し、縦軸は実施の形態に係る画像診断システムによる予測値（推定値）を示す。
【図6B】図６Ｂは、Ｈ２ＴＰＰ（配位子）からＺｎＩＩＴＰＰ（亜鉛錯体）への化学反応の反応収率のプロットの例である。横軸は実際の反応収率を示し、縦軸は実施の形態に係る画像診断システムによる予測値（推定値）を示す。
【図7B】図７Ｂは、α－グリシンからγ－グリシンへの結晶多型を異ならせる反応における、γ－グリシンの存在割合のプロットの例である。横軸は実際の反応収率を示し、縦軸は実施の形態に係る画像診断システムによる予測値（推定値）を示す。
【図8A】図８Ａ（１α）は、Ｌ（＋）-酒石酸の画像データの例である。図８Ａ（１β）は、Ｌ（＋）-酒石酸の化学式である。図８Ａ（２α）は、Ｄ（－）-酒石酸の画像データの例である。図８Ａ（２β）は、Ｄ（－）-酒石酸の化学式である。
【図8C】図８Ｃ（１）は、Ｌ（＋）-酒石酸とＤ（－）-酒石酸との混合試料におけるＤ（－）-酒石酸の混合比率（重量割合）のプロットの例である。図８Ｃ（２）は、図８Ｃ（１）の重量割合のプロットを、鏡像異性体過剰率（％ｅｅ）に変換したプロットである。
【図9A】図９Ａ（１α）は、サリチル酸（ｏ-ヒドロキシ安息香酸）の画像データの例である。図９Ａ（１β）は、サリチル酸（ｏ-ヒドロキシ安息香酸）の化学式である。図９Ａ（２α）は、ｐ-ヒドロキシ安息香酸の画像データの例である。図９Ａ（２β）は、ｐ-ヒドロキシ安息香酸の化学式である。
【図11A】図１１Ａ（１α）は、実体顕微鏡及び撮像装置（即ち、デジタルマイクロスコープ）により撮像した画像データである。図１１Ａ（１β）は、図１１Ａ（１α）に示す画像データを正方形へトリミングしたものである。図１１Ａ（２α）は、一般的な画像撮影装置により撮像した画像データである。図１１Ａ（２β）は、図１１Ａ（２α）に示す画像データを正方形へトリミングしたものである。
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0010】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0011】
１．［本開示に至る経緯］
化学反応の進行を確認する際、化合物が示す色や形状で判断する機会は非常に多い。そこで、発明者は、化合物の色や粒径、形状という情報は、化学反応における収率や電子状態の確認等に応用でき、これら情報を利用することは、収率や電子状態を容易かつ迅速に評価できる手法となると考えた。
化学反応の進行を確認する際、化合物が示す色や形状で判断する機会は非常に多い。そこで、発明者は、化合物の色や粒径、形状という情報は、化学反応における収率や電子状態の確認等に応用でき、これら情報を利用することは、収率や電子状態を容易かつ迅速に評価できる手法となると考えた。
【0012】
しかしながら、評価者の実験技能及び知識量により、化学反応の進行に関する判断の結果は大きく変わることがある。発明者は、経験値とも称される実験技能及び知識量という不明瞭なパラメータを数値化し、評価及び判断に応用するために、深層機械学習を活用することを想到するに至った。
【0013】
本開示は、混合試料の顕微鏡画像や化合物の顕微鏡画像を集めて教師データを作成し、これらにより夫々機械学習を行うことで、誰もが容易に混合試料の混合割合評価や、化学反応の反応収率の定量化を行うことができる、システムの構築を示すものである。教師データの画像は、顕微鏡画像だけではなく、撮像装置による画像や汎用画像であってもよい。
【0014】
２．［実施の形態］
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。
【0015】
２．１．［システム構成］
実施の形態に係る画像診断システムは、反応化合物や混合試料の画像データを入力データとして、化学プラントにおける化学反応収率や、混合試料の混合比率の正確な推定を行うシステムである。図１は、本実施の形態に係る画像診断システム２のシステム構成図である。
実施の形態に係る画像診断システムは、反応化合物や混合試料の画像データを入力データとして、化学プラントにおける化学反応収率や、混合試料の混合比率の正確な推定を行うシステムである。図１は、本実施の形態に係る画像診断システム２のシステム構成図である。
【0016】
画像診断システム２は、コンピュータ装置４及び記憶装置１２を有する。コンピュータ装置４及び記憶装置１２は有線または無線の通信回線で接続されており、互いにデータを送受信可能である。画像診断システム２は更に外部ネットワーク１４に接続されていてもよく、外部ネットワーク１４に接続された他のコンピュータシステムとの間でデータを授受してもよい。画像診断システム２は、外部ネットワーク１４を介して、例えば、学習サーバ１６と接続してもよい。
【0017】
コンピュータ装置４は、一つ以上のプロセッサを搭載するサーバ機、若しくはワークステーションコンピュータ等である。
【0018】
記憶装置１２は、ディスクドライブやフラッシュメモリ等の、コンピュータ装置４の外部に設けられる記憶装置であり、コンピュータ装置４で用いられる各種データセット１８、各種データベース、及び、各種コンピュータプログラムを記憶する。各種データセット１８には、例えば、後で説明する、コンピュータ装置４のインタフェース装置６を介してコンピュータ装置４が取得するデータや、画像診断システム２が生成する各種データが、格納される。
【0019】
外部ネットワーク１４は、例えば、インターネットであり、ネットワーク端子等のインタフェース装置６を介して、コンピュータ装置４と接続する。
【0020】
学習サーバ１６は、記憶装置１２に記憶される画像データ等を用いて、後で説明する機械学習モデルの学習を行う。
【0021】
更にコンピュータ装置４は、インタフェース装置６、処理回路８、及びメモリ１０を含む。
【0022】
インタフェース装置６は、ネットワーク端子、映像入力端子、ＵＳＢ端子、キーボード、マウス等を含む、外部からデータを取得可能なインタフェースユニットである。外部から、インタフェース装置６を介して、種々のデータが取得される。データは、例えば、後で説明する、混合試料の画像データ、反応化合物の画像データ等である。取得後、これらのデータは、記憶装置１２に格納され得る。記憶装置１２に格納されるデータは適宜、インタフェース装置６を介して、コンピュータ装置４内に取得され得る。
【0023】
更に、画像診断システム２により生成される各種データは、記憶装置１２に適宜格納される。各種データは、例えば、後で説明する、混合試料の混合割合の数値データ、反応化合物の反応収率の数値データ等である。このような画像診断システム２により生成され記憶装置１２に適宜格納される各種データは、インタフェース装置６を介して、コンピュータ装置４内に再び取得され得る。
【0024】
処理回路８は、プロセッサにより構成される。ここでのプロセッサは、ＣＰＵ(Central Processing Unit;中央処理ユニット)やＧＰＵ(Graphics Processing Unit；画像処理ユニット)を包括するものである。本実施の形態に係る画像診断システム２の諸機能は、各種プログラムを処理回路８が実行することによって実現される。なお、当該諸機能は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
【0025】
本開示における処理回路８は、複数台の信号処理回路（プロセッサ）から構成されてもよい。本実施の形態に係る画像診断システム２における様々な処理の一部をあるプロセッサが実行し、他の一部の処理を他のプロセッサが実行してもよい。
【0026】
メモリ１０は、コンピュータ装置４内部のデータ書き換えが可能な記憶部であり、例えば、多数の半導体記憶素子を含むＲＡＭ（Random Access Memory）により構成される。メモリ１０は、処理回路８が様々な処理を実行する際の、具体的なコンピュータプログラムや、変数値や、パラメータ値等を一時的に格納する。なおメモリ１０は、いわゆるＲＯＭ（Read Only Memory）を含んでもよい。ＲＯＭには、以下で説明する画像診断システム２の処理を実現するコンピュータプログラムが予め格納されている。処理回路８がＲＯＭからコンピュータプログラムを読み出し、ＲＡＭに展開することにより、処理回路８が当該コンピュータプログラムを実行可能になる。
【0027】
本開示に係る画像診断システム２は、Ｐｙｔｈｏｎ等のコンピュータ言語を用いて構築されている。本開示に係る画像診断システムの構築のために用いられ得るコンピュータ言語はこれらに限定されるものでは無く、勿論、他のコンピュータ言語が用いられてもよい。
【0028】
更に、本実施の形態に係る画像診断システム２においては、学習済みの機械学習モデルが構築されている。本実施の形態に係る機械学習モデルは、後でも説明するように、例えば、ＲｅｓＮｅｔ等のネットワーク構造を用いて構築される。
【0029】
２．１．１.［機械学習モデルについて］
本実施の形態に係る画像診断システム２において構築されている、混合割合若しくは反応収率の、比率推定のための機械学習モデルを説明する。
本実施の形態に係る画像診断システム２において構築されている、混合割合若しくは反応収率の、比率推定のための機械学習モデルを説明する。
【0030】
比率推定のための機械学習モデルは、複数物質の混合状態の画像データを説明変数（入力）とし、当該複数物質の混合割合（モル比率若しくは重量比率）を目的変数（出力）とする、又は、反応系の反応中の、即ち、反応化合物の、画像データを説明変数（入力）とし、当該反応化合物の反応収率を目的変数（出力）とする、機械学習モデルである。本実施の形態に係る機械学習モデルは、コンピュータ装置４の処理回路８にて学習が行われるものであってもよいし、コンピュータ装置４と外部ネットワーク１４を介して接続する学習サーバ１６にて学習が行われるものであってもよい。
【0031】
従って、教師データは、複数物質の混合状態の画像データと、混合割合（モル比率若しくは重量比率）の数値データとの組み合わせ、又は、反応系における反応化合物の画像データと、反応収率の数値データとの組み合わせ、ということになる。
【0032】
反応系における反応化合物の画像データとは、反応前の化合物（物質）と反応後の化合物（物質）との混合状態の画像データである。より精確な機械学習モデルの作成のために、教師データとしてのこれらの組み合わせデータは大量のものが要求される。
【0033】
しかしながら、反応系における反応化合物の画像データと反応収率の数値データとの組み合わせを多数用意することは、非常に困難である。というのは、或る反応化合物の複数の時点における画像データを取得することは比較的容易ではあるが、当該反応化合物の反応収率を、様々な測定器具や装置を用いて、それら複数の時点において精確に計測することには多大な操作や作業を要するからである。
【0034】
そこで、本実施の形態では、既製品である反応前の化合物（物質）と、やはり既製品である反応後の化合物（物質）を混合して作出した混合状態の画像データと、その混合状態における混合比率（モル比率若しくは重量比率）の数値データとの組み合わせを大量に用意して、教師データとして利用する。ここでの混合比率（モル比率若しくは重量比率）は、反応収率に相当する数値データとして取り扱われる。
【0035】
比率推定のための機械学習モデルは、比率を精確に導出するには、混合試料における物質の組み合わせ毎に、又は、反応系毎に、学習されて別の学習済みの機械学習モデルとされることが好ましい。
【0036】
教師データとしての、混合状態の画像データの取得に当たっては、図２に示すように、混合試料の量、拡大率、背景色、照明量が様々調整される。また、露光及び角度が調整されることにより反射率が様々に調整される。更に、偏光フィルタを用いて画像データに対して偏光が施されることもある。
【0037】
混合状態の作出に当たっては、取得される混合状態の画像データにおいて混合比率をより正確に反映させるべく、混合試料の厚さにも留意される。例えば、平均粒径が「ｒＡ」である物質「Ａ」と平均粒径が「ｒＢ」である物質「Ｂ」により混合状態を作出することを想定する。この場合、混合試料の厚さは、平均粒径の和「ｒＡ＋ｒＢ」より小さいこと、若しくは、平均粒径の和の所定係数（例えば、０．８）倍より小さいことが、望ましい。
【0038】
或いは、例えば、平均粒径が「ｒＣ」である、或る反応系の反応前の物質「Ｃ」と、平均粒径が「ｒＤ」である、当該反応系の反応後の物質「Ｄ」とにより、混合状態を作出することを想定する。この場合も、混合試料の厚さは、平均粒径の和「ｒＣ＋ｒＤ」より小さいこと、若しくは、平均粒径の和の所定係数（例えば、０．８）倍より小さいことが、望ましい。
【0039】
また、混合状態を構成する物質が、１０ミクロン（μｍ）未満の微粉体である場合、混合試料の厚さは、例えば、０．１ｍｍ未満であることが望ましい。
【0040】
更に、教師データとしての混合状態の画像データについては、データオーグメンテーションにより、更なる増加が図られることが望ましい。例えば、画像の回転、反転、一部抜き出し、リサイズ、適応ヒストグラム平均化（ＣＬＡＨＥ）、白黒化などにより、更なる増加が図られることが望ましい。
【0041】
図２は、本実施の形態に係る画像診断システムにおける機械学習モデルを示す図である。上述のように、教師データとしての混合状態の画像データの取得に当たっては、混合試料の量、拡大率、厚さ、露光、角度、背景色、照明量、偏光が、様々に調整されるのが望ましい。更に、画像の回転、反転、一部抜き出し、リサイズ、適応ヒストグラム平均化（ＣＬＡＨＥ）、白黒化などの、データオーグメンテーションに係る画像処理により、教師データの増加が図られることが望ましい。
【0042】
本実施の形態では、機械学習モデルとして、畳み込みニューラルネットワーク（ＣＮＮ： Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のモデルが用いられる。ＣＮＮ（畳み込みニューラルネットワーク）では、図２に示すように、全結合層による識別が行われる。具体的には、オープンソースであるＰｙｔｏｒｃｈライブラリにおけるＲｅｓＮｅｔが用いられている。もちろん、機械学習モデルとしてＣＮＮ以外のものが用いられても構わない。
【0043】
図２に示すＣＮＮ（畳み込みニューラルネットワーク）は、画像データ中での化合物の形状、色（Ｒ、Ｇ、Ｂ）、大きさ、等の要素を、畳み込み（テンソル変換）により、数字情報として扱う。機械学習により、混合状態の画像データから特徴量が抽出される。更に、画像データ及び特徴量が、混合割合若しくは反応収率の、比率と紐付けされて、学習済みの機械学習モデルが作成される。
【0044】
図２では例として、ｐ－アミノサリチル酸からｍ－アミノフェノールへの反応（加熱脱炭酸反応）が採り上げられている。つまり、ｐ－アミノサリチル酸とｍ－アミノフェノールの混合状態の画像データと、ＰＡＳ（ｐ－アミノサリチル酸）９０％及びＭＡＰ（ｍ－アミノフェノール）１０％の比率データとが、紐付けられて学習されていることを示している。
【0045】
２．２．［システム動作］
２．２．１．［学習動作］
本実施の形態に係る画像診断システム２における、比率推定のための機械学習モデルは、複数物質の混合状態における、混合割合（混合比率）を推定するために用いる場合には、複数物質の混合状態の画像データと混合割合の数値データとの多数の組み合わせを教師データとして、学習を行う。
２．２．１．［学習動作］
本実施の形態に係る画像診断システム２における、比率推定のための機械学習モデルは、複数物質の混合状態における、混合割合（混合比率）を推定するために用いる場合には、複数物質の混合状態の画像データと混合割合の数値データとの多数の組み合わせを教師データとして、学習を行う。
【0046】
教師データとしての複数物質の混合状態の画像データは、例えば、実体顕微鏡及び撮像装置によって取得されて、外部ネットワーク１４及びインタフェース装置６を介して記憶装置１２に格納され得る。また、教師データとしてとしての混合比率の数値データは、例えば、キーボード等のインタフェース装置６を介して記憶装置１２に格納され得る。
【0047】
更に、本実施の形態に係る画像診断システム２における、比率推定のための機械学習モデルは、反応系の反応化合物における、反応収率を推定するために用いる場合には、反応系の反応化合物の画像データと反応収率の数値データとの組み合わせを教師データとして、学習を行ってもよい。しかしながら、上述のように、より精確な機械学習モデルを作成できる程度に、教師データとしての、反応系の反応化合物の画像データと反応収率の数値データとの組み合わせを大量に用意することは、非常に困難である。
【0048】
そこで、本実施の形態に係る画像診断システム２における、比率推定のための機械学習モデルは、反応系の反応化合物における反応収率を推定するために用いる場合には、既製品である反応前の化合物と、やはり既製品である反応後の化合物とを混合して作出した混合状態の画像データと、その混合状態における混合比率の数値データとの組み合わせを教師データとして、学習を行う。
【0049】
教師データとしての、反応前後の化合物の、混合状態の画像データも、例えば、実体顕微鏡及び撮像装置によって取得されて、外部ネットワーク１４及びインタフェース装置６を介して記憶装置１２に格納され得る。また、教師データとしての混合比率の数値データも、例えば、キーボード等のインタフェース装置６を介して記憶装置１２に格納され得る。
【0050】
２．２．２．［推定動作］
複数物質の混合状態における、混合割合（混合比率）を推定するために用いる場合には、本実施の形態に係る画像診断システム２における、学習済みの比率推定のための機械学習モデルは、複数物質の混合状態の画像データを入力データとして混合比率の推定を行う。入力データとしての複数物質の混合状態の画像データも、例えば、実体顕微鏡及び撮像装置によって撮像され、外部ネットワーク１４及びインタフェース装置６を介して取得され得る。学習済みの比率推定のための機械学習モデルの出力データである混合比率の数値データは、コンピュータ装置４と接続する、例えば、ディスプレイ装置（図示せず）に出力され得、また、記憶装置１２に格納され得る。
複数物質の混合状態における、混合割合（混合比率）を推定するために用いる場合には、本実施の形態に係る画像診断システム２における、学習済みの比率推定のための機械学習モデルは、複数物質の混合状態の画像データを入力データとして混合比率の推定を行う。入力データとしての複数物質の混合状態の画像データも、例えば、実体顕微鏡及び撮像装置によって撮像され、外部ネットワーク１４及びインタフェース装置６を介して取得され得る。学習済みの比率推定のための機械学習モデルの出力データである混合比率の数値データは、コンピュータ装置４と接続する、例えば、ディスプレイ装置（図示せず）に出力され得、また、記憶装置１２に格納され得る。
【0051】
更に、反応系の反応化合物における、反応収率を推定するために用いる場合には、本実施の形態に係る画像診断システム２における、学習済みの比率推定のための機械学習モデルは、反応系の反応化合物の画像データを入力データとして反応収率の推定を行う。入力データとしての反応系の反応化合物の画像データも、例えば、実体顕微鏡及び撮像装置によって撮像され、外部ネットワーク１４及びインタフェース装置６を介して取得され得る。学習済みの比率推定のための機械学習モデルの出力データである反応収率の数値データも、ディスプレイ装置（図示せず）に出力され得、また、記憶装置１２に格納され得る。
【0052】
２．３．［推定例］
以下、複数の比率推定のための機械学習モデルによる、推定例を説明する。
以下、複数の比率推定のための機械学習モデルによる、推定例を説明する。
【0053】
２．３．１．［砂糖と塩の混合状態における混合割合の推定］
様々な粒径サイズを有するスクロース（Ｃ１２Ｈ２２Ｏ１１：砂糖、分子量３４２．３）と食塩（ＮａＣｌ：塩、分子量５８．４４）との、２成分の混合状態における、混合割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。
様々な粒径サイズを有するスクロース（Ｃ１２Ｈ２２Ｏ１１：砂糖、分子量３４２．３）と食塩（ＮａＣｌ：塩、分子量５８．４４）との、２成分の混合状態における、混合割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。
【0054】
砂糖（スクロース）と塩（塩化ナトリウム）は、夫々有機化合物と無機化合物として分類され、混合状態での存在割合を診断する分析手法が限られており、割合分析は非常に難しいとされている。
【0055】
なお、混合試料においては、混合割合（混合比率）は、一般的に、それぞれの試料を測定した重さ（ｇ）から算出される重量比率（重量％）、若しくは、重さ（ｇ）からモル（ｍｏｌ、物質量）へと変換したモル比率（モル％）で表される。両者は、用途や目的に応じて適宜利用分けされる。今回の推定例では、モル比率を利用している。
【0056】
まず、教師データの作成及び収集について説明する。分析天秤を利用して重さを測った食用砂糖（グラニュー糖（主成分：スクロース）：粒径０．０９×０．０５×０．０４ｃｍ）と食卓塩（塩化ナトリウム）（粒径０．０５×０．０５×０．０５ｃｍ）をスライドガラス若しくはカバーガラス上にて混合した。その混合試料（３ｍｇ程度）に対して、実体顕微鏡（例えば、２０４８×１５３６ピクセル）及び（デジタルカメラ等の）撮像装置を用いて撮影を行うことで、教師データとしての、混合状態の画像データを取得した。教師データとしての画像データ数を増やすために、混合試料を少し掻き混ぜた後の状態の画像データを、５枚程度追加で取得した。また、実体顕微鏡において、拡大率や背景色、照明強度等の撮影条件の調整を適宜行った。ここで混合試料を「３ｍｇ程度」としているが、ここでの教師データの作成及び収集の手法は、～２０ｍｇスケールの少量の混合試料に対してもｇスケールの大量の混合試料に対しても適用可能である。
【0057】
また、５×５ｃｍのガラスプレート上にて大きなスケール（１００ｍｇ程度）で任意の割合で砂糖（スクロース）と塩（塩化ナトリウム）の混合を行い、混合試料の厚さを均一にした上で、実体顕微鏡により取得した画像を６分割した。ここでの混合試料のスケールを「１００ｍｇ程度」としているが、ここでの教師データの作成及び収集の手法も、～２０ｍｇスケールの少量の混合試料に対してもｇスケールの大量の混合試料に対しても適用可能である。
【0058】
更に、スパーテルを用いて約３ｍｇの混合試料をすくい取り、上述の３ｍｇ程度の混合試料に対する撮影条件によって、画像データの収集を行った。この画像データの収集手法も、～２０ｍｇスケールの混合試料に対してもｇスケールの混合試料に対しても適用可能である。
【0059】
粒径サイズの違いによる影響を検討するために、実験試薬として販売されている砂糖（スクロース：粒径０．２４×０．１７×０．１１ｃｍ）と食塩（塩化ナトリウム：粒径０．０５×０．０６×０．０５ｃｍ）とを用いて、同様の撮影条件にて画像データの収集を行った。大きく粒径サイズが異なる組み合わせや殆ど同じ粒径サイズの組み合わせにおいても画像データの収集を行った。
【0060】
以上のようにし作成及び収集された、スクロースと塩化ナトリウムの混合状態の画像データと混合比率の数値データとの多数の組み合わせを教師データとして、比率推定のための機械学習モデルの学習を行った。
【0061】
図３Ａは、スクロースと塩化ナトリウムとの混合試料の例を示す図である。図３Ａ（１）は、砂糖（スクロース）の画像データの例である。図３Ａ（２）は、食塩（塩化ナトリウム）の画像データの例である。図３Ａ（３）は、スクロースと塩化ナトリウムとの混合試料の画像データの例である。比率推定のための機械学習モデルの学習のために、例えば、１６０枚程のスクロースと塩化ナトリウムとの混合試料の画像データを、教師データとして用いるために取得した。
【0062】
図３Ｂは、スクロースと塩化ナトリウムとの様々な混合試料における、学習済みの比率推定のための機械学習モデルによる、混合比率の推定例である。図３Ｂ（１）～（６）に示す混合試料の画像データの上部において、「Ｐｒｅｄ」はスクロースと塩化ナトリウムとの夫々の混合比率（モル％）の推定値を示し、「Ｔｒｕｅ」はスクロースと塩化ナトリウムとの夫々の混合比率（モル％）の実際値を示す。例えば、図３Ｂ（１）に示す混合試料では、スクロースの比率の推定値が９８％であり、塩化ナトリウムの比率の推定値が２％であり、スクロースの比率の実際値が１００％であり、塩化ナトリウムの比率の実際値が０％である。図３Ｂに示すように、推定値と実際値には略差異は無い。
【0063】
図３Ｃは、砂糖（スクロース）と食塩（塩化ナトリウム）との混合試料における砂糖（スクロース）の混合比率のプロットの例である。横軸は実際の混合比率（実際値）を示し、縦軸は推定値（予測値）を示す。図３Ｃに示すプロットの例において、ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：二乗平均平方根誤差）、ＭＡＥ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ：平均絶対誤差）、Ｒ２（決定係数）が、以下のように算出された。即ち、推定値（予測値）が実際値に非常に近いことが示されている。
【表1】
【0064】
更に、うまみ調味料（Ｃ５Ｈ８ＮＯ４Ｎa：グルタミン酸ナトリウム、分子量１６９．１）と砂糖（Ｃ１２Ｈ２２Ｏ１１：スクロース、分子量３４２．３）と食塩（ＮａＣｌ：塩、分子量５８．４）との、３成分の混合状態における混合割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。図４は、うまみ調味料（グルタミン酸ナトリウム）と砂糖（スクロース）と食塩（塩化ナトリウム）との、３成分混合試料における、（左から右に）うまみ調味料、砂糖、及び、食塩の混合比率のプロットの例である。いずれのプロットにおいても、横軸は実際の混合比率（実際値）を示し、縦軸は推定値（予測値）を示す。ここで、比率推定のための機械学習モデルの学習のために、３００枚のうまみ調味料と砂糖と食塩の混合状態の画像データが、教師データとして用いられた。２種の化合物のみならず、３種の化合物を用いた混合物の画像においても、高い推定精度で本開示に係る比率推定のための機械学習モデルが適用可能であることが、図４の各プロットにて明確に示されている。
【0065】
２．３．２．［ｐ－アミノサリチル酸の加熱脱炭酸反応における反応収率の推定］
化学反応の反応収率の画像診断を実際に行う例として、最も簡略化された系である１分子反応に着目した。そこでまず、ｐ－アミノサリチル酸の加熱による脱炭酸反応のための画像診断システム２の構築を行った。
化学反応の反応収率の画像診断を実際に行う例として、最も簡略化された系である１分子反応に着目した。そこでまず、ｐ－アミノサリチル酸の加熱による脱炭酸反応のための画像診断システム２の構築を行った。
【0066】
図５Ａは、ｐ－アミノサリチル酸からｍ－アミノフェノールへの加熱による脱炭酸反応を示す図である。この反応は無溶媒反応（固体反応）であり、副反応物の生成は無く、粉末から結晶に変化するものである。
【0067】
当該加熱による脱炭酸反応では、加熱時間に伴い固体試料の形状が大きく変化した。ＮＭＲやＨＰＬＣ測定による確認も併せて行ない、変換収率の結果と画像の変化割合とが概ね一致した。変換収率（反応収率）と反応系の画像データとを紐付けしたデータセットにより機械学習モデルを作成して、反応収率推定のための画像診断システム２を構築することとした。
【0068】
ｐ－アミノサリチル酸（ＰＡＳ、粉末状）は、１１０－１２０℃にて加熱することで脱炭酸反応が進行し、ｍ－アミノフェノール（ＭＡＰ、結晶状）が生成されることが知られている。本推定例では、多くのデータが要求される教師データの作成に当たっては、砂糖と塩の混合試料における混合比率推定のための機械学習モデルに対する、教師データの作成と同様の手法（上述「２．３．１．」参照）を採用した。つまり、反応前の化合物であるｐ－アミノサリチル酸と、反応後の化合物であるｍ－アミノフェノールとを混合して作出した混合状態の画像データと、その混合状態における混合比率の数値データとの組み合わせを教師データとした。
【0069】
本推定例では、分析天秤を利用して重さを測ったｐ－アミノサリチル酸とｍ－アミノフェノールをスライドガラス若しくはカバーガラス上にて混合した。その混合試料（３ｍｇ程度）に対して、実体顕微鏡（例えば、２０４８×１５３６ピクセル）及び（デジタルカメラ等の）撮像装置を用いて撮影を行うことで、教師データとしての、混合状態の画像データを取得した。教師データとしての画像データ数を増やすために、混合試料を少し掻き混ぜた後の画像データを、５枚程度追加で取得した。
【0070】
両者を混合すると、結晶状であるｍ－アミノフェノールに粉末状のｐ－アミノサリチル酸が纏わり付いた状態となってしまい、ｍ－アミノフェノールを確認することが非常に難しい状況となっていた。そこで、混合する際、始めに粉末状のｐ－アミノサリチル酸をカバーガラス上にのせ、その上に結晶状のｍ－アミノフェノールを「載せる」という方法を試みた。画像データ数を増やすために、スパーテルを用いて混合試料の一部の位置を僅かに動かした画像データも追加で取得した。また、実体顕微鏡において、拡大率や背景色、照明強度等の撮影条件の調整を適宜行った。
【0071】
また、５×５ｃｍのガラスプレート上にて大きなスケール（１００ｍｇ程度）で任意の割合でｐ－アミノサリチル酸とｍ－アミノフェノールの混合を行い、混合試料の厚さを均一にした上で、実体顕微鏡により取得した画像を６分割した。更に、スパーテルを用いて約３ｍｇの混合試料をすくい取り、上述の３ｍｇ程度の混合試料に対する撮影条件によって、画像データの収集を行った。
【0072】
以上のように作成及び収集された、ｐ－アミノサリチル酸とｍ－アミノフェノールの混合状態の画像データと混合比率の数値データとの多数の組み合わせを教師データとして、比率推定のための機械学習モデルの学習を行った。
【0073】
なお、反応収率の推定を行う実際の反応系のために行ったことを簡単に述べる。実際の反応系では、スライドガラス（１８×１８ｍｍ）及びカバーガラス（１５×１５ｍｍ）上に、粉末状のｐ－アミノサリチル酸（１ｍｇ、３ｍｇ、５ｍｇ）をのせ、温度調節可能なホットプレート上で１１０～１２０℃での加熱を１～５時間行なった。加熱前に粉末状であったｐ－アミノサリチル酸は、加熱時間の経過に伴って結晶状のｍ－アミノフェノールに徐々に変化した。実際の反応系における反応収率の算出は、反応系における化合物の全量を溶解させた上でＮＭＲ及びＨＰＬＣによる分析を行い、それら分析結果を用いて対応化合物のシグナル積分比率を求めることに、基づくものである。また、反応収率の算出結果と、画像データにおける化合物の変化割合とが、概ね一致していることも確認した。
【0074】
図５Ｂは、ｐ－アミノサリチル酸からｍ－アミノフェノールへの化学反応の反応収率のプロットの例である。横軸は実際の反応収率（実際値）を示し、縦軸は推定値（予測値）を示す。比率推定のための機械学習モデルの学習のために、例えば、７５枚程のｐ－アミノサリチル酸とｍ－アミノフェノールの混合状態の画像データが、教師データとして用いられた。図５Ｂに示すプロットにおいて、ＲＭＳＥ、ＭＡＥは、以下のように算出された。即ち、推定値（予測値）が実際値に非常に近いことが示されている。
【表2】
【0075】
２．３．３．［テトラキスフェニルポルフィリン（ＴＰＰ）の配位子から亜鉛錯体への反応における反応収率の推定］
次に、テトラキスフェニルポルフィリン（ＴＰＰ）の配位子から亜鉛錯体への反応についての、画像診断システム２の構築を行った。図６Ａは、テトラキスフェニルポルフィリンの、Ｈ２ＴＰＰ（配位子、分子量６１４．８）からＺｎＩＩＴＰＰ（亜鉛錯体、分子量６７８．１）への化学反応を示す図である。
次に、テトラキスフェニルポルフィリン（ＴＰＰ）の配位子から亜鉛錯体への反応についての、画像診断システム２の構築を行った。図６Ａは、テトラキスフェニルポルフィリンの、Ｈ２ＴＰＰ（配位子、分子量６１４．８）からＺｎＩＩＴＰＰ（亜鉛錯体、分子量６７８．１）への化学反応を示す図である。
【0076】
本推定例に係る画像診断システムにおいても、反応前の化合物であるＨ２ＴＰＰ（配位子）と、反応後の化合物であるＺｎＩＩＴＰＰ（亜鉛錯体）とを混合して作出した混合状態の画像データと、その混合状態における混合比率の数値データとの組み合わせを教師データとして、比率推定のための機械学習モデルの学習を行った。
【0077】
実際の反応系では、ＺｎＩＩＴＰＰは、Ｈ２ＴＰＰとＺｎ（ＯＡｃ）２をＣＨＣｌ３－ＭｅＯＨ混合溶媒中で、還流条件にて反応させることで生成される。反応後の混合化合物に対して、分液操作およびシリカゲルクロマトグラフィーにより精製操作が行われる。
【0078】
図６Ｂは、Ｈ２ＴＰＰ（配位子）からＺｎＩＩＴＰＰ（亜鉛錯体）への化学反応の反応収率のプロットの例である。横軸は実際の反応収率（実際値）を示し、縦軸は推定値（予測値）を示す。ここで、比率推定のための機械学習モデルの学習のために、５０枚のＨ２ＴＰＰ（配位子）とＺｎＩＩＴＰＰ（亜鉛錯体）との混合状態の画像データが、教師データとして用いられた。更に、図６Ｂに示すプロットにおいて、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ：平均二乗誤差）が以下のように算出された。即ち、予測値（推定値）が実際値に非常に近いことが示されている。
【表3】
【0079】
２．３．４．［α－グリシンからγ－グリシンへの結晶多型を異ならせる反応における反応収率の推定］
次に、α－グリシンからγ－グリシンへの、結晶多型を異ならせる反応についての、画像診断システム２の構築を行った。図７Ａは、α－グリシンからγ－グリシンへの、結晶多型を異ならせる反応を示す図である。α－グリシンとγ－グリシンのいずれも単結晶系であるが、α－グリシンは針状結晶であり、γ－グリシンはブロック状結晶である。
次に、α－グリシンからγ－グリシンへの、結晶多型を異ならせる反応についての、画像診断システム２の構築を行った。図７Ａは、α－グリシンからγ－グリシンへの、結晶多型を異ならせる反応を示す図である。α－グリシンとγ－グリシンのいずれも単結晶系であるが、α－グリシンは針状結晶であり、γ－グリシンはブロック状結晶である。
【0080】
本推定例に係る画像診断システムにおいても、反応前の化合物であるα－グリシンと、反応後の化合物であるγ－グリシンとを混合して作出した混合状態の画像データと、その混合状態における混合比率の数値データとの組み合わせを教師データとして、比率推定のための機械学習モデルの学習を行った。
【0081】
実際の反応系では、α－グリシンに蒸留水を加えて飽和水溶液とし、９０℃にまで加熱し、静置したまま１時間かけて０℃へ冷却して結晶化させることで、結晶多型が異なるγ－グリシンが得られる。
【0082】
図７Ｂは、α－グリシンからγ－グリシンへの結晶多型を異ならせる反応における、γ－グリシンの存在割合（反応収率）のプロットの例である。横軸は実際の反応収率（実際値）を示し、縦軸は推定値（予測値）を示す。ここで、比率推定のための機械学習モデルの学習のために、２００枚のα－グリシンとγ－グリシンとの混合状態の画像データが、教師データとして用いられた。更に、図７Ｂに示すプロットにおいて、ＭＡＥが以下のように算出されている。即ち、予測値（推定値）が実際値に近いことが示されている。
【表4】
【0083】
２．３．５．［鏡像異性体の混合状態における混合割合の推定］
次に、鏡像異性体であり、互いにキラル分子である、Ｌ（＋）-酒石酸と、Ｄ（－）-酒石酸との、混合状態における混合割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。なお、使用したＬ（＋）-酒石酸の比旋光率と、同じく使用したＤ（－）-酒石酸の比旋光率は、夫々、以下の通りである。
次に、鏡像異性体であり、互いにキラル分子である、Ｌ（＋）-酒石酸と、Ｄ（－）-酒石酸との、混合状態における混合割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。なお、使用したＬ（＋）-酒石酸の比旋光率と、同じく使用したＤ（－）-酒石酸の比旋光率は、夫々、以下の通りである。
【数1】
【数2】
【0084】
図８Ａ（１α）は、Ｌ（＋）-酒石酸の画像データの例である。図８Ａ（２α）は、Ｄ（－）-酒石酸の画像データの例である。画像データの形状は四角である。試料の総重量は何れも２００ｍｇである。なお、図８Ａ（１β）と図８Ａ（２β）は、夫々、Ｌ（＋）-酒石酸とＤ（－）-酒石酸の、化学式である。
【0085】
更に、比率推定のための機械学習モデルの学習のために、３００枚のＬ（＋）-酒石酸とＤ（－）-酒石酸との混合試料の画像データを、教師データとして用いるために取得した。また、混合比率の推定のために、１００枚のＬ（＋）-酒石酸とＤ（－）-酒石酸との混合試料の画像データを取得した。画像データの形状は四角である。ここでの混合試料の総重量も何れも２００ｍｇとしている。これらの画像データにより学習及び推定を行った。
【0086】
図８Ｂは、Ｌ（＋）-酒石酸とＤ（－）-酒石酸との様々な混合試料における、学習済みの比率推定のための機械学習モデルによる、混合比率の推定例である。図８Ｂ（１）～（３）に示す混合試料の画像データの上部において、「Ｌ-体」（即ち、Ｌ（＋）-酒石酸）と「Ｄ-体」（即ち、Ｄ（－）-酒石酸）との夫々の混合比率の推定値と、実測値とを示している。なおここでは、混合比率として重量比率（重量％）を用いている。例えば、図８Ｂ（１）に示す混合試料では、Ｌ（＋）-酒石酸の比率の推定値が８４％であり、Ｄ（－）-酒石酸の比率の推定値が１６％であり、Ｌ（＋）-酒石酸の比率の実測値が８２％であり、Ｄ（－）-酒石酸の比率の実測値が１８％である。図８Ｂに示すように、推定値と実測値には略差異は無い。
【0087】
図８Ｃ（１）は、Ｌ（＋）-酒石酸とＤ（－）-酒石酸との混合試料におけるＤ（－）-酒石酸の混合比率（重量割合）のプロットの例であり、図８Ｃ（２）は、図８Ｃ（１）の重量割合のプロットを、鏡像異性体過剰率（％ｅｅ）に変換したプロットである。いずれにおいても、横軸は実際の混合比率（実際値）を示し、縦軸は推定値を示す。図３Ｃ（１）に示すプロットの例において、ＲＭＳＥ、ＭＡＥ、Ｒ２が、以下のように算出された。即ち、推定値が実際値に非常に近いことが示されている。
【表5】
【0088】
図８Ｃ（２）に係る、鏡像異性体過剰率（％ｅｅ）は、以下の式で定義される。
図８Ｃ（１）（２）に結果としてのプロットを示す、機械学習を行う画像診断システムの稼働により、任意割合の混合試料についての画像データから、混合重量割合の推定を行うことが可能になり、更には、その推定の結果から鏡像異性体過剰率（％ｅｅ）の診断を行うことも可能となった。
【数3】
【0089】
２．３．６．［構造異性体の混合状態における混合割合の推定］
次に、構造異性体である、サリチル酸（ｏ-ヒドロキシ安息香酸）と、ｐ-ヒドロキシ安息香酸との、混合状態における混合割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。ここでの二つの構造異性体は、ｏ-体（オルト体）とｐ-体（パラ体）である。
次に、構造異性体である、サリチル酸（ｏ-ヒドロキシ安息香酸）と、ｐ-ヒドロキシ安息香酸との、混合状態における混合割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。ここでの二つの構造異性体は、ｏ-体（オルト体）とｐ-体（パラ体）である。
【0090】
図９Ａ（１α）は、サリチル酸（ｏ-ヒドロキシ安息香酸）の画像データの例である。図９Ａ（２α）は、ｐ-ヒドロキシ安息香酸の画像データの例である。画像データの形状は四角である。試料の総重量は何れも２００ｍｇである。なお、図９Ａ（１β）と図９Ａ（２α）は、夫々、サリチル酸（ｏ-ヒドロキシ安息香酸）とｐ-ヒドロキシ安息香酸の、化学式である。
【0091】
更に、比率推定のための機械学習モデルの学習のために、１００枚のサリチル酸（ｏ-ヒドロキシ安息香酸）とｐ-ヒドロキシ安息香酸との混合試料の画像データを、教師データとして用いるために取得した。また、混合比率の推定のために、１０枚のサリチル酸（ｏ-ヒドロキシ安息香酸）とｐ-ヒドロキシ安息香酸との混合試料の画像データを取得した。画像データの形状は四角である。ここでの混合試料の総重量も何れも２００ｍｇとしている。これらの画像データにより学習及び推定を行った。
【0092】
図９Ｂは、サリチル酸（ｏ-ヒドロキシ安息香酸）とｐ-ヒドロキシ安息香酸との様々な混合試料における、学習済みの比率推定のための機械学習モデルによる、混合比率の推定例である。図９Ｂ（１）～（３）に示す混合試料の画像データの上部において、「ｏ-体」（即ち、ｏ-ヒドロキシ安息香酸）と「ｐ-体」（即ち、ｐ-ヒドロキシ安息香酸）との夫々の混合比率（ここでも、重量比率（重量％））の推定値と、実測値とを示している。例えば、図９Ｂ（１）に示す混合試料では、ｏ-ヒドロキシ安息香酸の比率の推定値が７３％であり、ｐ-ヒドロキシ安息香酸の比率の推定値が２７％であり、ｏ-ヒドロキシ安息香酸の比率の実測値が８０％であり、ｐ-ヒドロキシ安息香酸の比率の実測値が２０％である。図９Ｂに示すように、推定値と実測値には略差異は無い。
【0093】
図９Ｃは、サリチル酸（ｏ-ヒドロキシ安息香酸）とｐ-ヒドロキシ安息香酸との混合試料におけるサリチル酸（ｏ-ヒドロキシ安息香酸）の混合比率（重量割合）のプロットの例である。横軸は実際の混合比率（実際値）を示し、縦軸は推定値を示す。図８Ｃに示すプロットの例において、ＲＭＳＥ、ＭＡＥ、Ｒ２が、以下のように算出された。即ち、推定値が実際値に非常に近いことが示されている。
図９Ｃに結果としてのプロットを示す、機械学習を行う画像診断システム２の稼働により、同じ分子量であるが構造が異なる構造異性体の存在割合を、画像診断により推定できることが示された。このような画像診断システムは、反応合成で生成する構造異性体の混合割合の見積りに応用され得る。
【表6】
【0094】
２．３．７．［多成分存在系における目的化合物の混合割合の推定］
次に、目的化合物であるナフタレンと、その他化合物（ここでは、シリカゲル、アルミナ、セライト）とを混合させた多成分存在系において、目的化合物のナフタレンの割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。
次に、目的化合物であるナフタレンと、その他化合物（ここでは、シリカゲル、アルミナ、セライト）とを混合させた多成分存在系において、目的化合物のナフタレンの割合を推定する、比率推定のための機械学習モデルを含む画像診断システム２を構築した。
【0095】
【0096】
更に、ナフタレンの比率（割合）の推定のための機械学習モデルの学習のために、３００枚の、ナフタレンと、その他化合物（シリカゲル、アルミナ、セライト）との、多成分存在系の画像データを、教師データとして用いるために取得した。また、ナフタレンの比率（割合）の推定のために、１００枚の、ナフタレンと、その他化合物（シリカゲル、アルミナ、セライト）との、多成分存在系の画像データを取得した。画像データの形状は四角である。ここでの多成分存在系の総重量は何れも２００ｍｇである。これらの画像データにより学習及び推定を行った。
【0097】
図１０Ｂは、ナフタレンと、その他化合物（シリカゲル、アルミナ、セライト）との、様々な多成分存在系における、学習済みの比率推定のための機械学習モデルによる、ナフタレンの比率（割合）の推定例である。図１０Ｂ（１）～（３）に示す多成分存在系の画像データの上部において、「ナフタレン」と「その他」（即ち、シリカゲル、アルミナ、及びセライト）との、夫々の混合比率（ここでも重量比率（重量％））の推定値と、実測値とを示している。例えば、図１０Ｂ（１）に示す多成分存在系では、ナフタレンの比率（割合）の推定値が８７％であり、その他の比率（割合）の推定値が１３％であり、ナフタレンの比率（割合）の実測値が８５％であり、その他の比率（割合）の実測値が１５％である。図１０Ｂに示すように、推定値と実測値には略差異は無い。
【0098】
図１０Ｃは、ナフタレンと、その他化合物（シリカゲル、アルミナ、セライト）との多成分存在系におけるナフタレンの比率（割合）のプロットの例である。横軸は実際の混合比率（実際値）を示し、縦軸は推定値を示す。図１０Ｃに示すプロットの例において、ＲＭＳＥ、ＭＡＥ、Ｒ２が、以下のように算出された。即ち、推定値が実際値に非常に近いことが示されている。
複数種類（上述では、４種類）の化合物が含まれる多成分存在系の画像データにより、本実施の形態に係る画像診断システム２における機械学習を行った結果、目的化合物に着目した混合重量割合の推定が、高い精度にて達成された。
【表7】
【0099】
このような画像診断システムは、廃棄固体物質中などから再利用すべき化合物がどれくらい含まれているか診断する、というような工業的な応用が可能である。
【0100】
２．４．［実施の形態のまとめ］
実施の形態に係る画像診断システム２は、インタフェース装置６と、記憶装置１２と、処理回路８とを含む。画像診断システム２には、複数物質の混合状態の画像データを説明変数とし、当該複数物質の混合比率を目的変数とする、又は、反応系の反応化合物の画像データを説明変数とし、当該反応化合物の反応収率を目的変数とする、比率推定のための機械学習モデルが構築されている。（１）比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合には、処理回路８が、記憶装置１２に記憶される、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、インタフェース装置６を介して取得して、教師データとして学習を行う。（２）比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合には、処理回路８が、記憶装置１２に記憶される、反応前の化合物と、反応後の化合物とを混合して作出された混合状態の画像データと、当該混合状態における混合比率の数値データとの組み合わせを、インタフェース装置６を介して取得して、教師データとして学習を行う。
実施の形態に係る画像診断システム２は、インタフェース装置６と、記憶装置１２と、処理回路８とを含む。画像診断システム２には、複数物質の混合状態の画像データを説明変数とし、当該複数物質の混合比率を目的変数とする、又は、反応系の反応化合物の画像データを説明変数とし、当該反応化合物の反応収率を目的変数とする、比率推定のための機械学習モデルが構築されている。（１）比率推定のための機械学習モデルを、複数物質の混合状態における混合比率を推定するために用いる場合には、処理回路８が、記憶装置１２に記憶される、複数物質の混合状態の画像データと当該混合状態における混合比率の数値データとの組み合わせを、インタフェース装置６を介して取得して、教師データとして学習を行う。（２）比率推定のための機械学習モデルを、反応系の反応化合物における反応収率を推定するために用いる場合には、処理回路８が、記憶装置１２に記憶される、反応前の化合物と、反応後の化合物とを混合して作出された混合状態の画像データと、当該混合状態における混合比率の数値データとの組み合わせを、インタフェース装置６を介して取得して、教師データとして学習を行う。
【0101】
このような画像診断システム２では、反応化合物や混合試料の画像データを入力として、化学反応における反応収率や混合試料の混合比率を正確に推定することができる。
【0102】
３．［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【0103】
３．１．［簡易且つ迅速に構築可能な画像診断システム］
実施の形態に係る説明にて、オープンソースであるＰｙｔｏｒｃｈライブラリを利用してＣＮＮを構築し得ることを述べた。実施の形態に係る画像診断システムの一部は、Ｇｏｏｇｌｅ（登録商標）社が提供する“Ｇｏｏｇｌｅ Ｃｏｌａｂｏｒａｔｏｒｙ”を活用することで構築することが可能である。発明者が構築した、実施の形態に係る画像診断システムの例を以下にて、「システム１」、「システム２」、及び「システム３」として、簡単に示す。
実施の形態に係る説明にて、オープンソースであるＰｙｔｏｒｃｈライブラリを利用してＣＮＮを構築し得ることを述べた。実施の形態に係る画像診断システムの一部は、Ｇｏｏｇｌｅ（登録商標）社が提供する“Ｇｏｏｇｌｅ Ｃｏｌａｂｏｒａｔｏｒｙ”を活用することで構築することが可能である。発明者が構築した、実施の形態に係る画像診断システムの例を以下にて、「システム１」、「システム２」、及び「システム３」として、簡単に示す。
【0104】
３．１．（１）．システム１
システム１は、画像１枚から混合比率の推定値を出すことが可能である画像診断システムである。
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?usp=sharing
システム１では、訓練データとしての画像は予め読み込ませており、学習モデルを組み込み済みである。推定のための画像データをアップロードして画像診断を行う。画像診断のための所要時間は、約１０秒／枚である。
システム１は、画像１枚から混合比率の推定値を出すことが可能である画像診断システムである。
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?usp=sharing
システム１では、訓練データとしての画像は予め読み込ませており、学習モデルを組み込み済みである。推定のための画像データをアップロードして画像診断を行う。画像診断のための所要時間は、約１０秒／枚である。
【0105】
３．１．（２）．システム２
システム２は、実際値と推定値のプロット図、及び診断評価指標（例えば、ＭＡＥ、ＲＭＳＥ、Ｒ２）を取得することが可能である画像診断システムである。
https://colab.research.google.com/drive/1HrXTFVGDix-1yFgi1kP86nM7oXOvrBVS?authuser=1
システム２では、訓練データとしての画像は予め読み込ませており、学習モデルを組み込み済みである。推定のための画像データ、及び実際値をリスト化したテキストファイルをアップロードする。実際値と推定値のプロット図の作成、及び診断評価指標の取得のための、所要時間は約１０分である。
システム２は、実際値と推定値のプロット図、及び診断評価指標（例えば、ＭＡＥ、ＲＭＳＥ、Ｒ２）を取得することが可能である画像診断システムである。
https://colab.research.google.com/drive/1HrXTFVGDix-1yFgi1kP86nM7oXOvrBVS?authuser=1
システム２では、訓練データとしての画像は予め読み込ませており、学習モデルを組み込み済みである。推定のための画像データ、及び実際値をリスト化したテキストファイルをアップロードする。実際値と推定値のプロット図の作成、及び診断評価指標の取得のための、所要時間は約１０分である。
【0106】
３．１．（３）．システム３
システム３は、機械学習モデルの作成から行う画像診断システムである。
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?authuser=0
システム３は、実測した画像データセットをアップロードして機械学習モデルを作成する。推定のための画像データセットもアップロードし、作成した学習モデルを用いて画像診断を行う。機械学習モデルの作成、及び画像診断のための、所要時間は、約１時間である。
システム３は、機械学習モデルの作成から行う画像診断システムである。
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?authuser=0
システム３は、実測した画像データセットをアップロードして機械学習モデルを作成する。推定のための画像データセットもアップロードし、作成した学習モデルを用いて画像診断を行う。機械学習モデルの作成、及び画像診断のための、所要時間は、約１時間である。
【0107】
３．２．［偏光画像データ］
上述のように、画像診断システムが取得する画像データが、偏光フィルタにより偏光が施されたものであることもある。このような偏光が施された画像データを使用することで、人間の目から得られる画像とは異なる画像データを利用することが可能となり、キラル化合物における光学分割純度の推定等にも、本開示の画像診断システムを適用することが可能となる。なお、キラル分子に関する画像診断システムによる推定例については、上述の「２．３．５．［鏡像異性体の混合状態における混合割合の推定］」にて採り上げている。
上述のように、画像診断システムが取得する画像データが、偏光フィルタにより偏光が施されたものであることもある。このような偏光が施された画像データを使用することで、人間の目から得られる画像とは異なる画像データを利用することが可能となり、キラル化合物における光学分割純度の推定等にも、本開示の画像診断システムを適用することが可能となる。なお、キラル分子に関する画像診断システムによる推定例については、上述の「２．３．５．［鏡像異性体の混合状態における混合割合の推定］」にて採り上げている。
【0108】
３．３．［一般的な画像撮影装置による画像データ］
また、本開示の比率推定のための機械学習モデルの説明変数である画像データは、実体顕微鏡及び撮像装置により取得されるものに限定されない。例えば、スマートフォンの撮像機能により撮像される画像であってもよいし、人工衛星から撮像される衛星写真であってもよい。更に、様々な撮像装置による画像であってもよいし、汎用画像であってもよい。
また、本開示の比率推定のための機械学習モデルの説明変数である画像データは、実体顕微鏡及び撮像装置により取得されるものに限定されない。例えば、スマートフォンの撮像機能により撮像される画像であってもよいし、人工衛星から撮像される衛星写真であってもよい。更に、様々な撮像装置による画像であってもよいし、汎用画像であってもよい。
【0109】
図１１Ａ（１α）は、実施の形態における説明でも言及した、実体顕微鏡及び撮像装置（例えば、デジタルマイクロスコープ）により撮像した画像データである。砂糖と食塩の混合試料が撮像されている。なお、図１１Ａ（１β）は、図１１Ａ（１α）に示す画像データを正方形へトリミングしたものである。
【0110】
これに対して、図１１Ａ（２α）は、一般的な画像撮影装置（ここでは、ｉＰｏｄ ｔｏｕｃｈ（登録商標））により撮像した画像データである。やはり砂糖と食塩の混合試料が撮像されている。図１１Ａ（２β）は、図１１Ａ（２α）に示す画像データを正方形へトリミングしたものである。
【0111】
なお、上述のデジタルマイクロスコープの画素密度は、９６ｐｐｉであり、上述の一般的な画像撮影装置の画素密度は、７２ｐｐｉである。図１１Ａ（１α）に示す画像データは２０４８×１５３６ピクセルであり、図１１Ａ（２α）に示す画像データは３２６４×２４４８ピクセルであり、図１１Ａ（１β）及び（２β）に示す画像データは１５３６×１５３６ピクセルである。
【0112】
実施の形態に係る画像診断システムに対して、上述の一般的な画像撮影装置により撮像した１００枚の画像データ（撮像対象：砂糖と食塩の混合試料）を教師データとして入力して、学習を行った。その後、同画像診断システムに対して、やはり上述の一般的な画像撮影装置により撮像した１００枚の画像データ（撮像対象：砂糖と食塩の混合試料）を、推定のための画像データとして入力して、夫々の画像データにおける混合比率の推定を行った。画像データの形状は四角である。混合試料の総重量は何れも２００ｍｇである。
【0113】
図１１Ｂ（１）（２）（３）（４）は、１００のうちの４つの混合試料の画像データと、当該混合試料における砂糖と食塩の混合比率の推定値と実測値（実際値）とを示している。図１１Ｂに示すように、推定値と実測値（実際値）とには略差異は無い。図１１Ｃは、１００の混合試料における、砂糖と食塩の混合比率のプロット図であり、横軸は実際値を示し、縦軸は推定値を示す。ＲＭＳＥ、ＭＡＥ、Ｒ２が、以下のように算出された。即ち、推定値が実測値（実際値）に非常に近いことが示されている。
【表8】
【0114】
３．４．［異なる画像撮影装置による画像データ］
更に、本開示の比率推定のための機械学習モデルの説明変数である画像データは、異なる画像撮影装置により撮像されたものが、混ぜられたものであってもよい。図１２Ａ（１α）は、実体顕微鏡及び撮像装置（例えば、デジタルマイクロスコープ（画素密度：９６ｐｐｉ））により撮像した、砂糖と食塩の混合試料の画像データである。図１２Ａ（２α）は、一般的な画像撮影装置（ここでは、ｉＰｏｄ ｔｏｕｃｈ（登録商標）（画素密度：７２ｐｐｉ））により撮像した、砂糖と食塩の混合試料の画像データである。これらの画像データに対して、色合いを統一させるためにグレースケール処理を施して、モノカラーの画像データとしている。図１２Ａ（１β）は、実体顕微鏡及び撮像装置（例えば、デジタルマイクロスコープ）により撮像してグレースケール処理を施した、砂糖と食塩の混合試料の画像データである。図１２Ａ（２β）は、一般的な画像撮影装置（ここでは、ｉＰｏｄ ｔｏｕｃｈ（登録商標））により撮像してグレースケール処理を施した、砂糖と食塩の混合試料の画像データである。
更に、本開示の比率推定のための機械学習モデルの説明変数である画像データは、異なる画像撮影装置により撮像されたものが、混ぜられたものであってもよい。図１２Ａ（１α）は、実体顕微鏡及び撮像装置（例えば、デジタルマイクロスコープ（画素密度：９６ｐｐｉ））により撮像した、砂糖と食塩の混合試料の画像データである。図１２Ａ（２α）は、一般的な画像撮影装置（ここでは、ｉＰｏｄ ｔｏｕｃｈ（登録商標）（画素密度：７２ｐｐｉ））により撮像した、砂糖と食塩の混合試料の画像データである。これらの画像データに対して、色合いを統一させるためにグレースケール処理を施して、モノカラーの画像データとしている。図１２Ａ（１β）は、実体顕微鏡及び撮像装置（例えば、デジタルマイクロスコープ）により撮像してグレースケール処理を施した、砂糖と食塩の混合試料の画像データである。図１２Ａ（２β）は、一般的な画像撮影装置（ここでは、ｉＰｏｄ ｔｏｕｃｈ（登録商標））により撮像してグレースケール処理を施した、砂糖と食塩の混合試料の画像データである。
【0115】
色合いの統一は、画像診断システムの精度を増すために行うものである。
【0116】
まず、実施の形態に係る画像診断システムに対して、上述のデジタルマイクロスコープにより撮像した、フルカラーの（即ち、グレースケール処理前の）５００枚の画像データ（撮像対象：砂糖と食塩の混合試料）と、上述の一般的な画像撮影装置により撮像した、フルカラーの（即ち、グレースケール処理前の）２４枚の画像データ（撮像対象：砂糖と食塩の混合試料）とを、教師データとして入力して、学習を行った。その後、同画像診断システムに対して、やはり上述の一般的な画像撮影装置により撮像した、フルカラーの６枚の画像データ（撮像対象：砂糖と食塩の混合試料）を、推定のための画像データとして入力して、夫々の画像データにおける混合比率の推定を行った。画像データの形状は四角である。混合試料の総重量は何れも２００ｍｇである。
【0117】
【0118】
一方で、実施の形態に係る画像診断システムに対して、上述のデジタルマイクロスコープにより撮像しグレースケール処理を施した（即ち、モノカラーの）５００枚の画像データ（撮像対象：砂糖と食塩の混合試料）と、上述の一般的な画像撮影装置により撮像しグレースケール処理を施した（即ち、モノカラーの）２４枚の画像データ（撮像対象：砂糖と食塩の混合試料）とを、教師データとして入力して、学習を行った。その後、同画像診断システムに対して、やはり上述の一般的な画像撮影装置により撮像しグレースケール処理を施した、６枚の画像データ（撮像対象：砂糖と食塩の混合試料）を、推定のための画像データとして入力して、夫々の画像データにおける混合比率の推定を行った。
【0119】
図１２Ｂ（２）は、６つ（６枚）の混合試料における、砂糖と食塩の混合比率のプロット図であり、横軸は実際値を示し、縦軸は推定値を示す。ＲＭＳＥ、ＭＡＥ、Ｒ２が以下のように算出された。
推定値が実測値（実際値）に非常に近いことが示されている。更に、図１２Ｂ（１）の場合、即ち、教師データ及び推定のための画像データがフルカラー画像である場合に比べて、図１２Ｂ（２）の場合、即ち、教師データ及び推定のための画像データがグレースケール処理の施されたモノカラー画像である場合では、診断精度が格段に向上していることが、示されている。
【表10】
【0120】
このように、異なる画像撮影装置による画像データを混ぜて利用できるということは、ファインチューニングを用いて転移学習への応用が可能である、ということが示されるものである。
【0121】
３．５．［物質の存在の有無の確認］
「２．３．７．［多成分存在系における目的化合物の混合割合の推定］」でも述べたように、本開示の画像診断システムは、異なる複数の物質を定量化して見分けるために用いることができる。例えば、主たる物質以外の物質（例えば、微小な砂）が混じったことが疑われる主たる物質（例えば、小麦粉）に対して、主たる物質以外の物質の存在若しくは不存在をチェックすることができる。この場合、主たる物質と、主たる物質以外の物質との、様々な混合試料の画像データと、それら混合試料の混合比率の数値データとの、組み合わせを教師データとして、比率推定のための機械学習モデルを予め学習させておく必要がある。
「２．３．７．［多成分存在系における目的化合物の混合割合の推定］」でも述べたように、本開示の画像診断システムは、異なる複数の物質を定量化して見分けるために用いることができる。例えば、主たる物質以外の物質（例えば、微小な砂）が混じったことが疑われる主たる物質（例えば、小麦粉）に対して、主たる物質以外の物質の存在若しくは不存在をチェックすることができる。この場合、主たる物質と、主たる物質以外の物質との、様々な混合試料の画像データと、それら混合試料の混合比率の数値データとの、組み合わせを教師データとして、比率推定のための機械学習モデルを予め学習させておく必要がある。
【0122】
この場合の、学習済みの比率推定のための機械学習モデルに、主たる物質と、主たる物質以外の物質との、混合状態の画像データが入力されると、１００％の値若しくは１００％を僅かに下回る値である、主たる物質の比率と、０％の値若しくは０％を僅かに上回る値である、主たる物質以外の物質の比率が、出力され得ることになる。主たる物質の比率及び主たる物質以外の物質の比率は、例えば、ディスプレイ装置（図示せず）に出力され、また、記憶装置１２に格納される。このとき、主たる物質以外の物質の比率が、所定の閾値よりも大きいときには、処理回路８は、所定の信号、例えば、主たる物質以外の物質の存在を示す信号を出力するように、画像診断システム２が構築されてもよい。この主たる物質以外の物質の存在を示す信号は、ディスプレイ装置（図示せず）にて、主たる物質以外の物質の存在を示すメッセージとして表示され得る。ここで、所定の閾値は、０％を含む極微小な値であることが好ましい。
【0123】
上述のように、主たる物質以外の物質の存在若しくは不存在をより精度よくチェックすることができる画像診断システム２とするためには、主たる物質以外の物質の混入の比率が低い画像データと、そのときの、主たる物質の比率が高く主たる物質以外の物質の比率が低い、混合比率の数値データとの、組み合わせを、教師データとしてできるだけ多く用意した上で、比率推定のための機械学習モデルを予め学習させておくのが好ましい。
３．６．［その他］
３．６．［その他］
【0124】
また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0125】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0126】
本開示の画像診断システムは、混合試料の混合割合評価や化学反応の反応収率の定量化に利用できる。また、本開示の画像診断システムは、大量の反応試料の画像データの収集を実現するための、ロボットによるハイスループットスクリーニングへ適用可能である。また、本開示の画像診断システムは、薬剤調剤におけるヒューマンエラー防止のための監視システムにも適用可能である。更に、本開示の画像診断システムは、化成品及び製薬プラントの品質管理にも適用可能である。
【符号の説明】
【0127】
２・・・画像診断システム、４・・・コンピュータ装置、６・・・インタフェース装置、８・・・処理回路、１０・・・メモリ、１２・・・記憶装置、１４・・・外部ネットワーク、１６・・・学習サーバ、１８・・・データセット。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】