特許 7510782 プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-26

(45)【発行日】2024-07-04

(54)【発明の名称】プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法

(51)【国際特許分類】

   G16H 10/40 20180101AFI20240627BHJP

   G16H 50/50 20180101ALI20240627BHJP

   G01N 33/561 20060101ALI20240627BHJP

【ＦＩ】

G16H10/40

G16H50/50

G01N33/561

【請求項の数】 14

(21)【出願番号】P 2020076807

(22)【出願日】2020-04-23

(65)【公開番号】P2021174201

(43)【公開日】2021-11-01

【審査請求日】2023-04-19

(73)【特許権者】

【識別番号】517448489

【氏名又は名称】合同会社Ｈ．Ｕ．グループ中央研究所

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】山下 英俊

【審査官】梅岡 信幸

(56)【参考文献】

【文献】特開２０１９－０９５３２８（ＪＰ，Ａ）

【文献】国際公開第２０２０／０２７２２８（ＷＯ，Ａ１）

【文献】国際公開第２０１４／１０３０６１（ＷＯ，Ａ１）

【文献】特開２０１７－１２５８４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０１Ｎ ３３／４８－３３／９８

(57)【特許請求の範囲】

【請求項1】

健常者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物と、被検者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物とを撮影した撮影画像を取得し、
撮影画像が入力された場合に、複数の検査項目毎に、前記健常者の基準値と比較した複数のレベルのいずれかに属する確率を出力するように学習された学習モデルに、取得した前記撮影画像を入力して検査項目毎に、前記健常者の基準値と比較した複数のレベルのいずれかに属する確率を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

被検者から採取した検体に検査処置を行った結果物を撮影した撮影画像を取得し、
複数の検査項目毎に、検査結果のレベルに応じたノードを複数有し、撮影画像が入力された場合に、複数の検査項目毎に、各ノードから自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力するように学習された学習モデルに、取得した前記撮影画像を入力して検査項目毎に、各ノードから自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力する
処理をコンピュータに実行させるプログラム。

【請求項3】

健常者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物と、被検者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物とを撮影した撮影画像を取得し、
前記学習モデルは、前記複数の検査項目毎に、健常者の基準値と比較したレベルに応じたノードを複数有し、前記撮影画像が入力された場合に、各ノードは、自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力する
請求項２に記載のプログラム。

【請求項4】

前記検査項目毎に、出力された各ノードの確率が閾値を超えるノードの個数を計数し、計数した個数に応じたレベルを検査結果として出力する
処理を前記コンピュータに実行させる請求項２又は３に記載のプログラム。

【請求項5】

前記複数の検査項目毎の検査結果を、該検査結果について前記学習モデルが出力した確率に応じて異なる表示態様で表示部に表示する
処理を前記コンピュータに実行させる請求項１から４までのいずれかひとつに記載のプログラム。

【請求項6】

前記複数の検査項目毎の検査結果を表示部に表示し、
表示した検査結果に対する訂正指示を受け付け、
受け付けた訂正指示に従って前記検査結果を訂正する
処理を前記コンピュータに実行させる請求項１から５までのいずれかひとつに記載のプログラム。

【請求項7】

訂正された前記検査結果を、訂正されたことを示す情報を付加して表示し、
訂正された前記検査結果及び前記撮影画像を再学習データとして記憶する
処理を前記コンピュータに実行させる請求項６に記載のプログラム。

【請求項8】

健常者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物と、被検者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物とを撮影した撮影画像を取得する画像取得部と、
撮影画像が入力された場合に、複数の検査項目毎に、前記健常者の基準値と比較した複数のレベルのいずれかに属する確率を出力するように学習された学習モデルに、取得した前記撮影画像を入力して検査項目毎に、前記健常者の基準値と比較した複数のレベルのいずれかに属する確率を出力する出力部と
を備える情報処理装置。

【請求項9】

健常者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物と、被検者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物とを撮影した撮影画像を取得し、
撮影画像が入力された場合に、複数の検査項目毎に、前記健常者の基準値と比較した複数のレベルのいずれかに属する確率を出力するように学習された学習モデルに、取得した前記撮影画像を入力して検査項目毎に、前記健常者の基準値と比較した複数のレベルのいずれかに属する確率を出力する
処理をコンピュータが実行する情報処理方法。

【請求項10】

被検者から採取した検体に検査処置を行った結果物を撮影した撮影画像を取得する画像取得部と、
複数の検査項目毎に、検査結果のレベルに応じたノードを複数有し、撮影画像が入力された場合に、複数の検査項目毎に、各ノードから自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力するように学習された学習モデルに、取得した前記撮影画像を入力して検査項目毎に、各ノードから自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力する出力部と
を備える情報処理装置。

【請求項11】

被検者から採取した検体に検査処置を行った結果物を撮影した撮影画像を取得し、
複数の検査項目毎に、検査結果のレベルに応じたノードを複数有し、撮影画像が入力された場合に、複数の検査項目毎に、各ノードから自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力するように学習された学習モデルに、取得した前記撮影画像を入力して検査項目毎に、各ノードから自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力する
処理をコンピュータが実行する情報処理方法。

【請求項12】

学習モデルの生成方法において、
前記学習モデルは、複数の検査項目毎に、検査結果のレベルに応じたノードを複数有し、撮影画像が入力された場合に、各ノードは自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力し、
被検者から採取した検体に検査処置を行った結果物を撮影した撮影画像と、前記検査項目毎に前記検体に対する検査結果のレベルに応じて各ノードに割り当てられた正解ラベルとを含む訓練データを取得し、
取得した訓練データを用いて前記学習モデルを生成する
処理をコンピュータが実行する学習モデルの生成方法。

【請求項13】

前記撮影画像は、健常者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物と被検者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物とを撮影した撮影画像であり、
前記学習モデルは、前記複数の検査項目毎に、健常者の基準値と比較したレベルに応じたノードを複数有し、前記撮影画像が入力された場合に、各ノードは自ノードに応じたレベル及び該レベルよりも大きいレベルに属する確率を出力し、
前記撮影画像と、前記検査項目毎に健常者の基準値と比較したレベルに応じて各ノードに割り当てられた正解ラベルとを含む訓練データを取得し、
前記訓練データを用いて前記学習モデルを生成する
請求項１２に記載の学習モデルの生成方法。

【請求項14】

健常者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物と被検者から採取した検体に免疫電気泳動法に係る検査処置を行った結果物とを撮影した撮影画像、及び複数の検査項目毎に前記健常者の基準値と比較したレベルを含む訓練データを取得し、
取得した訓練データを用いて、撮影画像が入力された場合に、複数の検査項目毎に、前記健常者の基準値と比較した複数のレベルのいずれかに属する確率を出力する学習モデルを生成する
処理をコンピュータが実行する学習モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法に関する。

【背景技術】

【0002】

医療現場では、患者等の被検者の血液、鼻水、尿、唾液等の検体を採取し、採取した検体に対して検査対象物の有無又は含有量を判断する臨床検査が行われている。臨床検査では、例えば健常者から採取した検体と、被検者の検体とのそれぞれについて検査を行い、検査結果を比較することにより、被検者の検体が健常検体とどの程度異なるかを判断して検査結果の決定を行うことがある（例えば特許文献１参照）。また臨床検査では、例えば検査対象物と反応（結合）する検査用抗体が塗布してある検査キットに、被検者から採取した検体を滴下し、所定の検査時間が経過した後の状態を目視で確認することにより、検査対象物の有無（陽性又は陰性）或いは含有量の判定を行うものがある（例えば特許文献２参照）。このような検査においても、例えば健常者から採取した検体と、被検者の検体とのそれぞれについて検査用抗体との反応を行い、反応の結果を比較することにより、検査結果の決定が行われている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－７８７２２号公報

【文献】特開２００６－６４３９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したように、検査結果（反応の結果）を目視で確認する臨床検査では、正確な検査結果を判定することは難しく、医療機関によっては検査対象（被検者から採取した検体）が多数有る場合、多数の検査対象に対して正確な検査結果を迅速に判断する必要があり、臨床検査技師等の検査を行う医療従事者の作業負担が大きい。

【0005】

本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、検査を行う医療従事者の作業負担を軽減することが可能なプログラム等を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係るプログラムは、被検者から採取した検体に検査処置を行った結果物を撮影した撮影画像を取得し、撮影画像が入力された場合に、複数の検査項目毎に検査結果に関する値を出力するように学習された学習モデルに、取得した前記撮影画像を入力して検査項目毎の検査結果に関する値を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

本開示にあっては、被検者から採取した検体に対して検査対象物の有無又は含有量を判断する検査を行う医療従事者の作業負担を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】検査キットの撮影画像例を示す模式図である。

【図2】検査装置の構成例を示すブロック図である。

【図3】検査モデルの構成例を示すブロック図である。

【図4】検査装置による判定処理手順の一例を示すフローチャートである。

【図5】撮影画像例を示す模式図である。

【図6】検査装置による訂正処理手順の一例を示すフローチャートである。

【図7】画面例を示す模式図である。

【図8】画面例を示す模式図である。

【図9】画面例を示す模式図である。

【図10】実施形態２の検査モデルの構成例を示すブロック図である。

【図11】検査モデルによる予測ミスの結果を示す模式図である。

【図12】学習装置の構成例を示すブロック図である。

【図13】実施形態１の検査モデルの生成処理手順の一例を示すフローチャートである。

【図14】実施形態２の検査モデルの生成処理手順の一例を示すフローチャートである。

【図15】検査システムの構成例を示す模式図である。

【図16】検査システムの構成例を示すブロック図である。

【図17】実施形態４のサーバによる判定処理手順の一例を示すフローチャートである。

【図18】検査端末の画面例を示す模式図である。

【図19】実施形態５の検査モデルの構成例を示すブロック図である。

【図20】実施形態５の検査モデルの他の構成例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下に、本開示のプログラム、情報処理装置、情報処理方法及び学習モデルの生成方法について、その実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
免疫電気泳動法を用いた検査キットによる検査結果を、ニューラルネットワーク（学習モデル）を用いて判定する検査装置について説明する。図１は検査キットの撮影画像例を示す模式図である。図１Ａは検査キットに検体を滴下し、電圧を印加することによる電気泳動によって蛋白質成分を分離させ、所定の検査時間が経過した後に染色した状態であり、健常者（特定の病気がない人）の検体を用いた一般的な検査結果の例を示している。図１Ｂは、本実施形態の検査装置１０による検査結果の判定に用いる撮影画像の例であり、検査装置１０では、図１Ｂに示すように、健常者の検体に対して免疫電気泳動法による検査処置を行った後の結果物（検査結果）を撮影した撮影画像（領域Ａ）と患者（被検者）の検体に対して免疫電気泳動法による検査処置を行った後の結果物（検査結果）を撮影した撮影画像（領域Ｂ）とに基づいて、患者の検査結果を判定する。

【0011】

図１に示すように検査キットは細長い矩形板状に構成されており、一面に寒天ゲルが塗布してあり、一面の中央の滴下領域Ｒに孔が設けられており、滴下領域Ｒから短手方向に少し離れた位置に、電圧を印加する方向（検査キットの長手方向）に沿って溝（図示せず）が設けられている。滴下領域Ｒは、被検者から採取した検体を滴下する領域であり、溝は、検体に含まれる蛋白質成分と抗原抗体反応する抗ヒト全血清を滴下する領域である。滴下領域Ｒに滴下された検体中の検査対象物（蛋白質成分）は、電圧が印加された場合に検体中の各蛋白質成分の電荷に応じて寒天ゲル内を陽極又は陰極方向に移動する。所定の検査時間の通電後、抗ヒト全血清を溝に流し込み、検体中の蛋白質成分及び抗ヒト全血清を寒天ゲル内で自由拡散（自然拡散）させると共に、それらの間で抗原抗体反応させることで、免疫沈降物を生成し、寒天ゲル上に固定する。検体中の未反応の蛋白質成分を除去した後、染色液を用いて染色を行うことにより、図１に示すように各蛋白質成分に応じた位置に沈降線が出現する。検体は、例えば被検者の血液、鼻水、尿、唾液等とすることができる。抗ヒト全血清は、例えば本項で後述する１２種類の蛋白質成分と強く結合する抗体とすることができる。図１に示す検査キットは、検体に含まれる蛋白質成分の量を検査するための検査キットの例であり、１２種類の蛋白質成分を検査項目として各蛋白質成分の検出が可能に構成されている。このような検査キットを用いた検査を行った場合、それぞれの沈降線の位置及び濃さに応じて、それぞれの蛋白質成分の量を判定できる。図１に示す検査キットでは、左から順に、プレアルブミン（Pre-albumin：Ｐｒｅ－Ａｌｂ）、アルブミン（Albumin：Ａｌｂ）、α１－アンチトリプシン（Antitrypsin：α１ＡＴ）、β１Ｃ／β１Ａ－グロブリン（globulin：Ｃ３）、α２－マクログロブリン（Macroglobulin：α２Ｍ）、ハプトグロビン（Haptoglobin：Ｈｂ）、ヘモペキシン（Hemopexin：Ｈｅｘ）、トランスフェリン（Transferrin：Ｔｆ）、β－リポプロテイン（Lipoprotein：βＬｐ）、ＩｇＡ（免疫グロブリンＡ）、ＩｇＭ（免疫グロブリンＭ）、ＩｇＧ（免疫グロブリンＧ）の沈降線を示す。

【0012】

図２は、検査装置１０の構成例を示すブロック図である。検査装置１０は、パーソナルコンピュータ又はサーバコンピュータ等を用いて構成されており、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、カメラ１６、読み取り部１７等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はＴＰＵ（Tensor Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理、制御処理等を検査装置１０に行わせる。

【0013】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、例えばディープラーニング処理によって構築された学習済みモデルである検査モデルＭを記憶している。検査モデルＭは、図１Ｂに示すように健常者の検体を用いた検査キットによる検査結果（領域Ａ）と患者の検体を用いた検査キットによる検査結果（領域Ｂ）とを含む画像データ（撮影画像）を入力とし、入力された撮影画像に基づいて、撮影画像中の検査キットによる検査結果として、複数（例えば１２種類）の蛋白質成分のそれぞれの含有量の大小を表す複数レベルのうち、ある含有量レベルにあると推定される確率（ある含有量レベルを検査結果とすべき確からしさ（０から１までの値を取り得る確信度）に関する値）を出力するように学習された学習済みモデルである。検査モデルＭは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を規定する関数の係数や閾値等のデータが検査モデルＭとして記憶される。

【0014】

通信部１３は、有線通信又は無線通信によって、インターネット又はＬＡＮ（LocalArea Network）等のネットワークに接続するためのインタフェースであり、ネットワークを介して他の装置との間で情報の送受信を行う。例えば通信部１３は、ネットワークを介して医療機関における電子カルテシステムと通信できるように構成されていてもよい。入力部１４は、ユーザ（検査者）による操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。なお、入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0015】

カメラ１６はレンズ及び撮像素子等を有し、レンズを介して被写体像の画像データを取得する。カメラ１６は、制御部１１からの指示に従って撮影を行い、取得した画像データ（撮影画像）を記憶部１２へ送出して記憶する。カメラ１６は、検査装置１０に内蔵された構成のほかに、検査装置１０に外付けされる構成でもよい。この場合、検査装置１０は、外部カメラの接続が可能な接続部又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した画像データを接続部又は無線通信部を介して取得する。

【0016】

読み取り部１７は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム及びデータは、例えば制御部１１が読み取り部１７を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶されるプログラム及びデータは、制御部１１が通信部１３を介してネットワーク経由で外部装置からダウンロードして記憶部１２に記憶してもよい。

【0017】

検査装置１０は、上述した構成に加えて、撮影用ライト及び通知部等が設けられていてもよい。撮影用ライトは例えばＬＥＤ（Light Emitting Diode）ライトであり、制御部１１からの指示に従って点灯する。なお、撮影用ライトを点灯させた状態で、解像度及びダイナミックレンジ等のカメラ性能が優れたカメラ１６による撮影を行う場合、検査キットを精度良く撮影した良好な撮影画像が得られる。通知部は、ＬＥＤライト又は回転灯等の発光装置、ブザー又はスピーカ等の音声出力装置であり、発行装置を点灯又は点滅させ、又は音声出力することによって、検査装置１０による各種の状況を検査者に通知する構成としてもよい。

【0018】

図３は検査モデルＭの構成例を示すブロック図である。本実施形態の検査モデルＭは、例えばＣＮＮ（Convolution Neural Network）、Ｒ－ＣＮＮ（Region-based ＣＮＮ）、Fast Ｒ－ＣＮＮ、Faster Ｒ－ＣＮＮ、Mask Ｒ－ＣＮＮ，ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等の種々の物体検出アルゴリズム及び物体分類アルゴリズム（いずれもニューラルネットワーク）を用いて構成されている。図３に示す検査モデルＭは、入力層、特徴量抽出部Ｍ１、全結合層Ｍ２、出力層Ｍ３を有する。本実施形態の検査モデルＭでは、予測工程においては、図１Ｂに示すように健常者の検体による検査結果（領域Ａ、検査基準）と患者の検体による検査結果（領域Ｂ、検査対象）とを含む撮影画像が入力層を介して入力される。なお、入力される画像は、検査キットを撮影した撮影画像であってもよく、撮影画像に対して縮小処理を行った画像であってもよい。入力層は入力される画像の画素数に相当する数の入力ノードを有する。入力層の各入力ノードには検査キットの撮影画像中の各画素が入力され、入力層を介して入力された撮影画像は特徴量抽出部Ｍ１に入力される。特徴量抽出部Ｍ１は、畳み込み層及びプーリング層を含み、特徴量抽出部Ｍ１に入力された撮影画像は、畳み込み層でフィルタ処理等によって画像の特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量が削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは全結合層Ｍ２へ出力される。全結合層Ｍ２は複数層設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層Ｍ２は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に後段の出力層Ｍ３に出力値を出力する。

【0019】

出力層Ｍ３はsoftmax関数、ランダムフォレスト、Gradient Boosting等の多クラス分類器で構成されている。本実施形態の検査モデルＭでは、出力層Ｍ３は、検査対象の１２種類の蛋白質成分のそれぞれに対応する１２個のsoftmax関数（ＩｇＧ用softmax関数Ｍ３１，ＩｇＡ用softmax関数Ｍ３２…）を有する。予測工程では、全結合層Ｍ２からの出力値はそれぞれのsoftmax関数Ｍ３１，Ｍ３２…に入力され、softmax関数Ｍ３１，Ｍ３２…は、入力された全結合層Ｍ２からの出力値を入力（引数）とし、所定の関数を用いて出力値を算出し、算出した出力値を各出力ノードから出力する。本実施形態の検査モデルＭでは、出力層Ｍ３は、１つのsoftmax関数Ｍ３１，Ｍ３２…について５個の出力ノードを有しており、１２個のsoftmax関数Ｍ３１，Ｍ３２…が設けられているので合計６０個の出力ノードを有する。例えばＩｇＧ用softmax関数Ｍ３１に接続された５つの出力ノードは、ＩｇＧについて、入力画像中の検査基準（健常者の検体による検査結果に基づく基準値）に対する検査対象（患者の検体）の検査結果を出力するノードである。具体的には、例えばノード２は、検査対象が検査基準と同程度であり、正常であると判別すべき確率を出力し、ノード１は、検査対象が検査基準と比較してやや減少していると判別すべき確率を出力し、ノード０は、検査対象が検査基準と比較して減少していると判別すべき確率を出力する。また、ノード３は、検査対象が検査基準と比較してやや増加していると判別すべき確率を出力し、ノード４は、検査対象が検査基準と比較して増加していると判別すべき確率を出力する。なお、１つのsoftmax関数Ｍ３１，Ｍ３２…に接続された５つの出力ノードのそれぞれは０～１．０の出力値を出力し、５つの出力ノードから出力される出力値（確率）の合計が１．０となる。即ち、図３に示す出力例では、ＩｇＧレベルとして、「正常」に対応するノード２から０．８５の出力値が出力され、その他の出力ノード０，１，３，４から０～０．０９の出力値が出力されているので、ここでの検査対象のＩｇＧは検査基準に対して「正常」と判断すべき量であることを示す。

【0020】

同様に、ＩｇＡ用softmax関数Ｍ３２に接続された５つの出力ノードは、ＩｇＡについて、入力画像中の検査基準に対する検査対象の検査結果を出力するノードである。具体的には、例えばノード２は、検査対象が正常であると判別すべき確率を出力し、ノード１は、検査対象が検査基準よりもやや減少していると判別すべき確率を出力し、ノード０は、検査対象が検査基準と比較して減少していると判別すべき確率を出力する。また、ノード３は、検査対象が検査基準と比較してやや増加していると判別すべき確率を出力し、ノード４は、検査対象が検査基準と比較して増加していると判別すべき確率を出力する。よって、図３に示す出力例では、ＩｇＡレベルとして、「やや増加」に対応するノード３から０．８５の出力値が出力され、その他の出力ノード０，１，２，４から０～０．０９の出力値が出力されているので、ここでの検査対象のＩｇＡは検査基準に対して「やや増加」と判断すべき量であることを示す。

【0021】

検査モデルＭは、図１Ｂに示すような健常者の検体による検査結果（検査基準）及び患者の検体による検査結果（検査対象）を含む撮影画像と、１２種類の検査項目のそれぞれについて、撮影画像中の検査基準に対する検査対象の検査結果（減少、やや減少、正常、やや増加、増加の５パターンのうちのいずれか）を示す情報（正解ラベル）とを含む訓練データを用いて学習する。検査モデルＭは、訓練データに含まれる撮影画像が入力された場合に、各検査項目について、訓練データに含まれる正解ラベルに対応する１つの出力ノードからの出力値が１．０に近づき、他の出力ノードからの出力値が０に近づくように、特徴量抽出部Ｍ１、全結合層Ｍ２及び出力層Ｍ３（softmax関数Ｍ３１，Ｍ３２…）を学習させる。

【0022】

具体的には、学習工程において、まず出力層Ｍ３（softmax関数Ｍ３１，Ｍ３２…）の出力値として期待する値（確率を表す値として０又は１）を入力することで、出力層Ｍ３の実際の出力値との差分に比例する値（０．０００１％等、“出力層Ｍ３の差分値”と呼ぶ）を算出する。次に、出力層Ｍ３がその出力値を“出力層Ｍ３の差分値”だけ変更するのに必要な、出力層Ｍ３の入力値（“全結合層Ｍ２の差分値”と呼ぶ）を算出する。そして、全結合層Ｍ２が、その出力値を“全結合層Ｍ２の差分値”だけ変更できるように全結合層Ｍ２を構成するパラメータを修正する。こうして上記の予測工程と学習工程とを反復計算することで、全結合層Ｍ２のパラメータは、出力層Ｍ３から期待される出力値が得られるように最適化される。なお、最適化の指標として出力層Ｍ３の出力値と正解ラベルとの誤差に相当する損失関数（例えばsoftmax関数を用いる場合はクロスエントロピー、sigmoid関数を用いる場合は二値クロスエントロピー）の値を上記の反復計算毎に確認することで、最適化の進捗を確認できる。以降、この反復計算により最適化する工程を“全結合層Ｍ２を学習させる”と呼ぶ。なおここでは、学習工程において全結合層Ｍ２の学習を説明したが、同様にして、特徴量抽出部Ｍ１を学習させることができる。またこのような学習工程を様々な入力画像に対して実行し、汎用的な画像認識に活用可能なパラメータとして最適化された機械学習モデルが公開されており、特徴量抽出部Ｍ１として、それらのモデルを組み合わせて使用することができる（転移学習やＦｉｎｅ Ｔｕｎｉｎｇと呼ばれる）。

【0023】

また学習工程において、各蛋白質成分の含有量を表すレベルに対応する確率（ノードの出力値）として１を、それ以外の含有量を表すレベルに対応する確率（ノードの出力値）を０としたワンホットベクトルを、各蛋白質成分に対応するsoftmax関数の出力となるように、全結合層Ｍ２を学習させる。これにより、撮影画像が入力された場合に、撮影画像中の検査基準（健常者の検体）を基準とした検査対象（被検者の検体）に対する各検査項目の検査結果（健常者の基準値と比較したレベル）として、５パターンのそれぞれに対する判別確率を出力するように学習された学習済みの検査モデルＭが得られる。なお、検査モデルＭの学習は例えば他の学習装置で行われる。他の学習装置で学習が行われて生成された学習済みの検査モデルＭは、例えばネットワーク経由又は可搬型記憶媒体１ａ経由で学習装置から検査装置１０にダウンロードされて記憶部１２に記憶される。

【0024】

以下に、本実施形態の検査装置１０が、免疫電気泳動法を用いた検査キットによる検査結果を判定する処理について説明する。図４は検査装置１０による判定処理手順の一例を示すフローチャート、図５は撮影画像例を示す模式図である。以下の処理は、検査装置１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。なお、本実施形態では、以下の処理を制御部１１が制御プログラム１２Ｐを実行することにより実現するが、一部の処理を専用のハードウェア回路で実現してもよい。

【0025】

免疫電気泳動法を用いた検査キットによる検査を行う場合、検査者は、患者（被検者）から採取した検体と、健常者から採取した検体とを用意し、２つの検査キットのそれぞれの滴下領域Ｒに滴下する。そして検査者は、２つの検査キットに対して同時に電圧を印加し、所定時間の電圧印加後、検体内の蛋白質成分と抗ヒト全血清とを自由拡散させると共に免疫沈降反応させ、未反応の蛋白質成分を除去してから染色液を用いて染色し、乾燥させた後に撮影を行う。これにより、検査者は、図５Ａに示すような健常者の検体による電気泳動結果の撮影画像（検査基準）と、患者の検体による電気泳動結果の撮影画像（検査対象）とを同じ検査条件下で取得できる。なお、検査キットの撮影は、カメラ１６によって行ってもよく、他の撮影装置で行ってもよい。また、健常者の検体による電気泳動結果と、患者の検体による電気泳動結果とは、各別に撮影して２つの撮影画像として取得してもよく、並べて撮影して１つの撮影画像として取得してもよい。

【0026】

検査装置１０の制御部１１（画像取得部）は、健常者の検体による電気泳動結果の撮影画像と、患者の検体による電気泳動結果の撮影画像とを、カメラ１６にて又は通信部１３を介して取得する（Ｓ１１）。制御部１１は、取得した撮影画像に対して前処理を実行する（Ｓ１２）。制御部１１はまず、健常者の検体による電気泳動結果の撮影画像と、患者の検体による電気泳動結果の撮影画像とのそれぞれから、沈降線の撮影領域を抽出する。これにより、不要な領域を除外して処理対象のデータ量を削減する。例えば制御部１１は、処理対象の領域として、健常者の電気泳動結果の撮影画像と、患者の電気泳動結果の撮影画像とから１２４０画素×１６２画素をそれぞれ抽出する。次に制御部１１は、それぞれ抽出した領域を結合して、図５Ｂに示すような１２４０画素×３２４画素の結合画像を生成する。そして制御部１１は、結合画像に対して縮小処理を行い、図５Ｃに示すような縮小画像を生成する。例えば制御部１１は２２４画素×２２４画素の縮小画像を生成する。なお、画像を縮小することで画像細部の画像特徴量が消失する場合があるため、処理時間や処理能力が許す限り、縮小の程度を大きくしないことが好ましい。

【0027】

検査装置１０は、このような縮小画像を用いて検査結果を判定する。なお、制御部１１は、健常者の検体による電気泳動結果と、患者の検体による電気泳動結果とを並べて撮影された１つの撮影画像を取得した場合、結合処理は行う必要はないが、２つの沈降線（電気泳動結果）を含む撮影領域を抽出する処理は行ってもよい。また、２つの電気泳動結果の撮影画像から沈降線の撮影領域を抽出する処理、２つの沈降線の撮影領域を結合して結合画像を生成する処理、結合画像を縮小して縮小画像を生成する処理は、他の装置で行われてもよい。この場合、検査装置１０の制御部１１は、他の装置で前処理が実行されて生成された縮小画像を取得することができるので、ステップＳ１２の処理を行う必要がない。

【0028】

制御部１１は、前処理によって得られた縮小画像に基づいて、縮小画像（撮影画像）中の検査基準に対する検査対象の検査結果を判定する処理を実行する（Ｓ１３）。具体的には、制御部１１は、縮小画像を検査モデルＭに入力し、検査モデルＭから出力された情報（各出力ノードからの出力値）に基づいて、撮影画像中の検査対象に対する検査結果を判定する。例えば制御部１１は、検査モデルＭから出力された情報のうちで、１つの検査項目に対応する５つの出力ノードからの出力値（判別確率）を抽出する（Ｓ１４）。具体的には、１つの検査項目に対応するsoftmax関数Ｍ３１，Ｍ３２…に接続されている５つの出力ノードからの出力値を抽出する。そして制御部１１は、５つの出力ノードのうちで出力値が最大値である出力ノードを特定し、特定した出力ノードに対応付けられている検査結果（減少、やや減少、正常、増加、やや増加）を、この検査項目に対する検査結果に特定する（Ｓ１５）。例えば図３に示す出力例では、ＩｇＧの検査項目に対応する出力ノードにおいて、出力値が最大値である出力ノードはノード２であるので、ＩｇＧの検査結果は「正常」に特定される。

【0029】

制御部１１は、全ての検査項目に対する判定処理を終了したか否かを判断しており（Ｓ１６）、終了していないと判断した場合（Ｓ１６：ＮＯ）、ステップＳ１４の処理に戻り、検査モデルＭから出力された情報のうちで、未処理の１つの検査項目に対応する５つの出力ノードからの出力値を抽出する（Ｓ１４）。そして制御部１１は、５つの出力ノードのうちで出力値が最大値である出力ノードを特定し、特定した出力ノードに対応付けられている検査結果を、この検査項目に対する検査結果に特定する（Ｓ１５）。制御部１１は、全ての検査項目についてステップＳ１４～Ｓ１５の処理を行い、全ての検査項目に対する判定処理を終了したと判断した場合（Ｓ１６：ＹＥＳ）、それぞれの検査項目についてステップＳ１５で特定した検査結果を記憶する（Ｓ１７）。例えば制御部１１は、検査対象である患者の識別情報及び撮影画像に対応付けて、各検査項目に対する検査結果を記憶部１２に記憶する。このとき、制御部１１は、各検査項目に対する検査結果に加えて、この検査結果に対する判別確率、具体的には検査モデルＭからの出力値を記憶してもよい。なお、検査装置１０によって判定されて記憶部１２に記憶された検査結果は、例えばネットワーク経由で電子カルテシステムと連携させることができる。

【0030】

上述した処理により、健常者の検体による電気泳動結果を撮影した検査基準画像と、患者の検体による電気泳動結果を撮影した検査対象画像とに基づいて、検査基準画像を基準として、検査対象画像に撮影された電気泳動結果に対する各検査項目の検査結果を特定できる。検査装置１０は、複数の被検者（患者）のそれぞれについて、上述した処理を行い、各患者について各検査項目に対する検査結果を特定する。なお、ここでは、被検者に対する各検査項目の検査結果を記憶部１２に記憶して処理を終了するが、検査結果を判定した後に表示部１５に表示して、検査者に判定処理の終了と判定結果とを通知してもよい。このとき、検査装置１０が通知部を有する場合、通知部による通知処理によって、検査装置１０による判定処理が終了したことを通知してもよい。また、判定した検査結果に対する判定確率（判別確率）が低い場合（例えば０．６未満である場合）、判定結果を表示部１５に表示し、検査モデルＭを用いた判定結果の確認を検査者に促してもよい。

【0031】

次に、上述した処理によって検査装置１０で判定された検査結果が誤っていた場合に訂正する処理について説明する。図６は検査装置１０による訂正処理手順の一例を示すフローチャート、図７～図９は画面例を示す模式図である。以下の処理は、検査装置１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。また以下の処理の一部を専用のハードウェア回路で実現してもよい。

【0032】

検査者は、図４に示す処理によって検査装置１０が判定して記憶部１２に記憶した各患者の検査結果を表示部１５に表示して確認し、訂正すべきものがあれば訂正することができる。制御部１１（出力部）は、入力部１４を介して、検査装置１０によって判定された検査結果の確認指示を受け付けた場合、１人の患者の検査結果を記憶部１２から読み出して表示部１５に表示する（Ｓ２１）。図７は検査結果の表示例を示しており、この患者について、各検査項目に対する検査結果として、減少、やや減少、正常、やや増加、増加のうちで該当する箇所にチェック（図７中の横線）が表示されている。なお、制御部１１は、検査結果を表示する場合、検査結果の表示フォームと、１人の患者に対する各検査項目の検査結果とを記憶部１２から読み出し、表示フォームに対して、各検査項目の検査結果に対応する箇所にチェックを付加して検査結果画面を生成する。これにより、図７に示すような画面が表示部１５に表示される。

【0033】

図７に示す検査結果画面は、健常者の検体による電気泳動結果の撮影画像（正常）と、患者の検体による電気泳動結果の撮影画像（患者）とを表示する。また図７に示す検査結果画面は、各検査項目について判定された検査結果の訂正を指示するための訂正ボタンＢ１と、検査結果画面の表示を終了するための終了ボタンＢ２とが設けられている。検査者は、表示中の撮影画像を確認して、各検査項目の検査結果が適切であるか否かを目視で判断し、適切でないと判断した場合、この検査項目に対応する訂正ボタンＢ１を入力部１４にて操作する。検査結果画面において入力部１４を介して訂正ボタンＢ１が操作された場合、制御部１１は、表示した検査結果に対する訂正指示を受け付ける。なお、図８Ａに示すように検査結果画面において、いずれかの検査項目に対する訂正ボタンＢ１上にカーソルＣ１が重ねられた場合、制御部１１は、この訂正ボタンＢ１に対応する検査項目について、健常者の検体による電気泳動結果の撮影画像中の対応する箇所にマーカＣ２を表示する。これにより、検査者は、訂正対象として考えている検査項目について、表示中の電気泳動結果画面のどの箇所を確認すべきかを知ることができる。また、制御部１１は、健常者の電気泳動結果の撮影画像に付加したマーカＣ２に加えて、被検者（患者）の検体による電気泳動結果の撮影画像中の対応する箇所にもマーカＣ３を表示してもよい。この場合、検査者は、並べて表示されている２つの電気泳動結果のどの箇所に注目すべきかを把握でき、検査結果の判定処理における負担を軽減できる。なお、制御部１１は、健常者及び被検者の電気泳動結果の撮影画像に対して、カーソルＣ１で選択された検査項目に応じた同じ位置にマーカＣ２，Ｃ３を表示してもよい。この場合、検査者は、各検査項目について、電気泳動結果画面において注目すべき大まかな箇所を知ることができる。更に、いずれかの訂正ボタンＢ１の上にカーソルＣ１が重ねられた場合だけでなく、各検査項目の検査結果の表示欄の上にカーソルＣ１が重ねられた場合にも、制御部１１は、上述したようなマーカＣ２，Ｃ３を表示してもよい。また、いずれかの検査項目に対する訂正ボタンＢ１又は検査結果の表示欄の上にカーソルＣ１が重ねられた場合に、制御部１１は、この検査項目の検査結果の表示欄を反転表示又は背景色を変更して表示することにより、検査者が選択しようとしている検査項目を目立たせて表示してもよい。

【0034】

制御部１１は、いずれかの検査項目の検査結果に対する訂正指示を受け付けたか否かを判断しており（Ｓ２２）、訂正指示を受け付けたと判断した場合（Ｓ２２：ＹＥＳ）、即ち、いずれかの訂正ボタンＢ１が操作された場合、検査結果画面の上に重ねて、図８Ｂに示すような訂正受付画面を表示する（Ｓ２３）。訂正受付画面は、例えば図８Ｂに示すように、訂正指示された検査項目及びこの検査項目に対して判定された検査結果を表示し、訂正可能な検査結果（訂正内容）を指定するための各ボタン（減少ボタン、やや減少ボタン、正常ボタン、やや増加ボタン、増加ボタン）と、訂正内容を確定するためのＯＫボタンと、訂正処理の実行をキャンセルするためのキャンセルボタンとを表示する。なお、訂正内容を指定するためのボタンにおいて、判定された検査結果のボタンは既に選択された状態で表示されている。具体的には、図８Ａに示す画面においてＩｇＭの検査項目に対する訂正ボタンが操作された場合、図８Ｂに示す画面において正常ボタンが既に選択された状態で表示される。検査者は、検査装置１０によって判定された検査結果を訂正する場合、訂正したい内容に対応するボタンを操作した上でＯＫボタンを操作し、訂正しない場合はキャンセルボタンを操作する。

【0035】

訂正受付画面において入力部１４を介してキャンセルボタンが操作された場合、制御部１１は、訂正受付画面の表示を終了して検査結果画面の表示に戻す。訂正受付画面において入力部１４を介して訂正内容に対応するボタンが操作された上でＯＫボタンが操作された場合、制御部１１は、操作されたボタンに対応する訂正内容を受け付ける（Ｓ２４）。例えば、やや減少ボタンが操作された場合、制御部１１は、ＩｇＭの検査項目に対する検査結果として「やや減少」への訂正指示を受け付ける。制御部１１は、受け付けた訂正内容に基づいて、検査結果画面に表示中の内容を訂正する（Ｓ２５）。例えば図９Ａに示す画面では、ＩｇＭの検査結果が「やや減少」に訂正され、更にＩｇＭの検査項目に対する訂正ボタンＢ１が「訂正済」に変更されている。このように検査者によって訂正された検査項目を「訂正済」のステータスに変更することにより、訂正された検査結果に、訂正されたことを示す情報（「訂正済」）を付加して表示することができ、訂正されていない検査項目との区別が容易となる。

【0036】

制御部１１は、検査者から受け付けた訂正内容と、ここでの処理対象である撮影画像とを対応付けて記憶部１２に記憶する（Ｓ２６）。なお、検査者から受け付けた訂正内容と、ここでの処理対象である撮影画像とは、検査モデルＭを再学習させるための訓練データ（再学習データ）に用いることができるので、この時点で訓練データとして確保しておいてもよい。検査結果画面を表示している場合、制御部１１は、終了ボタンＢ２が操作されることにより処理の終了指示を受け付けたか否かを判断している（Ｓ２７）。制御部１１は、終了指示を受け付けていないと判断する場合（Ｓ２７：ＮＯ）、ステップＳ２２の処理に戻り、終了指示を受け付けたと判断した場合（Ｓ２７：ＹＥＳ）、図４のステップＳ１７で記憶部１２に記憶した検査結果を訂正する（Ｓ２８）。具体的には、検査対象である患者の識別情報及び撮影画像に対応付けて記憶部１２に記憶してある各検査項目に対する検査結果のうちで、訂正指示された検査項目に対する検査結果を、訂正指示された検査結果に訂正する。そして、制御部１１は処理を終了する。

【0037】

上述した処理により、本実施形態の検査装置１０は、検査モデルＭを用いて撮影画像に基づいて判定した各検査項目に対する検査結果を、必要に応じて訂正することができる。また、訂正された内容を訓練データに用いて検査モデルＭを再学習させることが可能であるので、精度の高い検査モデルＭを生成できる。本実施形態の検査装置１０において、図９Ｂに示すように検査結果画面において、それぞれの検査項目に対する検査結果の表示欄上にカーソルが重ねられた場合に、制御部１１は、この検査結果に対する判別確率を記憶部１２から読み出して表示してもよい。図９Ｂに示す例では、ＩｇＡの検査結果を示すチェック（図９Ｂ中の横線）上にカーソルが重ねられており、この場合、制御部１１は、ＩｇＡの検査結果として検査モデルＭが「正常」に対して出力した出力値（判別確率）を吹き出しの中に表示している。このように、各検査結果に対する判別確率を表示することにより、検査装置１０が検査モデルＭを用いて特定した検査結果の確からしさを確認することができる。また、検査結果画面において、制御部１１は、各検査項目の検査結果を、各検査結果に対する判別確率（検査結果に関する値）に応じた表示態様で表示してもよい。例えば各検査項目に対する検査結果の判別確率が所定値未満である場合（例えば６０％未満である場合）に、図９Ｂ中の検査項目Albuminに対する検査結果のように、背景色を変更して表示してもよい。この場合、検査装置１０が検査モデルＭを用いて特定した検査結果の確からしさに応じて異なる表示態様で各検査結果を表示するので、検査結果の確からしさが低い検査項目を明示することができる。よって、検査者は、例えば背景色を変更して表示された検査項目に対する検査結果の確認を優先的に行えばよく、検査者の作業効率が向上する。

【0038】

本実施形態では、健常者の検体による電気泳動結果を撮影した検査基準画像と、患者の検体による電気泳動結果を撮影した検査対象画像とに基づいて、検査基準画像を基準として、検査対象画像に撮影された電気泳動結果に対する各検査項目の検査結果を自動的に判定する。よって、免疫電気泳動法を用いた検査において、医療従事者等の検査者が目視で検査結果を判定する際に支援することができ、検査者の作業負担を軽減できる。なお、本実施形態の検査モデルＭは、画像の特徴量を抽出する特徴量抽出部Ｍ１及び全結合層Ｍ２を複数の検査項目で共有し、全結合層Ｍ２からの出力値に基づいて検査結果に対する判別確率を算出するsoftmax関数Ｍ３１，Ｍ３２…を検査項目毎に設けてある。特徴量抽出部Ｍ１及び全結合層Ｍ２を複数の検査項目で共有することにより、複数の検査項目に対して、画像の特徴量を抽出する処理及び所定の関数に基づく演算処理を１回行えばよく、演算に要する時間の増加を回避できる。また、検査モデルＭの学習に要する時間の増加も回避できる。

【0039】

本実施形態では、検査装置１０が判定した検査結果（判定結果）が誤っている場合、検査結果画面を介して、判定結果を訂正できる。よって、検査装置１０によって判定された検査結果が誤っていた場合に、例えば検査者によって入力された正解の検査結果に訂正できる。また、訂正した検査結果と撮影画像とを用いて検査モデルＭを再学習させることができ、この場合、より精度の高い検査モデルＭを実現できる。

【0040】

（実施形態２）
検査モデルＭの変形例について説明する。図１０は実施形態２の検査モデルＭの構成例を示すブロック図である。図３に示す実施形態１の検査モデルＭでは、出力層Ｍ３は、１に正規化されている多クラス分類器を用いて構成されている。これに対して、本実施形態の検査モデルＭでは、出力層Ｍ４はsigmoid関数、ＳＶＭ（Support Vector Machine）等の１に正規化されていない二値分類器を用いて構成されている。以下では、出力層Ｍ４がsigmoid関数で構成されている検査モデルＭを例に説明する。即ち、図１０に示す検査モデルＭは、図３に示す実施形態１の検査モデルＭにおいて、softmax関数Ｍ３１，Ｍ３２…を用いた出力層Ｍ３の代わりに、sigmoid関数部Ｍ４１，Ｍ４２…を用いた出力層Ｍ４を有する。それ以外の検査装置１０の構成については、実施形態１と同様であるので詳細な説明を省略する。

【0041】

本実施形態の検査モデルＭでは、出力層Ｍ４は、検査対象の１２種類の蛋白質成分のそれぞれに対応する１２個のsigmoid関数部（ＩｇＧ用sigmoid関数部Ｍ４１，ＩｇＡ用sigmoid関数部Ｍ４２…）を有しており、それぞれのsigmoid関数部Ｍ４１，Ｍ４２…には１個の出力ノードが設けられている。また、各検査項目用のsigmoid関数部Ｍ４１，Ｍ４２…はそれぞれ４つのsigmoid関数（第１関数Ｍ４１１，Ｍ４２１…～第４関数Ｍ４１４，Ｍ４２４…）と、各sigmoid関数からの出力値を入力して所定の計算を行う小計部Ｍ４１５，Ｍ４２５…とを有している。それぞれのsigmoid関数部Ｍ４１，Ｍ４２…において、第１関数Ｍ４１１，Ｍ４２１…にはノード０，１の２つのノードが設けられており、第２関数Ｍ４１２，Ｍ４２２～第４関数Ｍ４１４，Ｍ４２４にはそれぞれ１つのノードが設けられている。なお、第１関数Ｍ４１１，Ｍ４２１…～第４関数Ｍ４１４，Ｍ４２４…に設けられたノード１～ノード４の各ノードは小計部Ｍ４１５，Ｍ４２５…に接続されている。

【0042】

予測工程において、全結合層Ｍ２からの出力値はそれぞれのsigmoid関数部Ｍ４１，Ｍ４２…に入力され、入力された出力値は第１関数～第４関数のそれぞれに入力される。それぞれのsigmoid関数（第１関数～第４関数）は、入力された全結合層Ｍ２からの出力値を入力（引数）とし、所定の関数を用いて出力値を算出し、算出した出力値をノード１～ノード４の各ノードを介して小計部に入力する。小計部は、第１関数～第４関数においてノード１～ノード４から出力された出力値が閾値（例えば０．５）よりも大きいか否かを判定し、閾値よりも大きい出力値の個数を計数し、計数した個数（有効数）に相当するレベルを出力ノードから出力する。なお、計数した個数に相当するレベルは、それぞれの蛋白質成分の含有量を表すレベル（含有量レベル）に対応する。具体的には、小計部が出力する含有量レベルは、有効数が０の場合は「減少」に対応するレベルであり、有効数が１の場合は「やや減少」に対応するレベルであり、有効数が２の場合は「正常」に対応するレベルであり、有効数が３の場合は「やや増加」に対応するレベルであり、有効数が４の場合は「増加」に対応するレベルである。また、検査結果の判定に用いる閾値（ここでは０．５）は予め設定されて、例えば記憶部１２に記憶されている。

【0043】

ここで、例えばＩｇＧ用sigmoid関数部Ｍ４１において、第１関数Ｍ４１１～第４関数４１４に設けられた５つのノードは、ＩｇＧについて、入力画像中の検査基準に対する検査対象の検査結果を出力するノードである。具体的には、ノード０は、検査対象（患者の検体による検査結果）が検査基準（健常者の検体による検査結果）と比較して「減少している」と判別すべき確率を出力する。なお、「減少している」と判別すべき場合とは、検査対象であるＩｇＧの含有量が「少量すら無い」場合を示しており、ノード０からの出力値は、「少量すら無い」と判別すべき確率となる。またノード１は、検査対象が検査基準と比較して「やや減少している」、「正常量である」、「やや増加している」又は「増加している」のいずれかに判別すべき確率を出力する。「やや減少している」、「正常量である」、「やや増加している」又は「増加している」のいずれかに判別すべき場合とは、ＩｇＧの含有量が少なくとも少量はある（少量以上ある）場合を示しており、ノード１からの出力値は、「少量はある」と判別すべき確率となる。またノード２は、検査対象が検査基準と同程度以上であり、「正常量である」、「やや増加している」又は「増加している」のいずれかに判別すべき確率を出力する。「正常量である」、「やや増加している」又は「増加している」のいずれかに判別すべき場合とは、ＩｇＧの含有量が少なくとも正常量はある（正常量以上ある）場合を示しており、ノード２からの出力値は、「正常量はある」と判別すべき確率となる。またノード３は、検査対象が検査基準と比較して「やや増加している」又は「増加している」のいずれかに判別すべき確率を出力する。「やや増加している」又は「増加している」のいずれかに判別すべき場合とは、ＩｇＧの含有量が多くある場合を示しており、ノード３からの出力値は、「多くはある」と判別すべき確率となる。更にノード４は、検査対象が検査基準と比較して「増加している」と判別すべき確率を出力する。「増加している」と判別すべき場合とは、ＩｇＧの含有量が多量にある場合を示しており、ノード４からの出力値は、「多量にある」と判別すべき確率となる。即ち、ノード１～ノード４の各ノードは、各ノードに割り当てられた検査結果と、この検査結果よりも大きいレベル（多い含有量）の検査結果とを含む判別確率を出力する。なお、第１関数Ｍ４１１に接続された２つのノード０，１のそれぞれは０～１．０の出力値を出力し、２つのノードから出力される出力値（判別確率）の合計が１．０となる。第２関数Ｍ４１２～第４関数Ｍ４１４にそれぞれ接続されたノード２～４は０～１．０の出力値を出力する。

【0044】

図１０に示す出力例では、ＩｇＧ用sigmoid関数部Ｍ４１においてＩｇＧレベルとして、「少量はある」に対応するノード１から０．９５の出力値が出力され、「正常量はある」に対応するノード２から０．８６の出力値が出力され、「多くはある」に対応するノード３から０．０１の出力値が出力されている。よって、ＩｇＧ用sigmoid関数部Ｍ４１において小計部Ｍ４１５は、所定の閾値を０．５とした場合、ノード１～ノード４を介して入力された第１関数～第４関数からの出力値のうちで、閾値よりも大きい出力値の個数を２と計数し、計数した有効数２を含有量レベルとして出力ノードから出力する。なお、有効数２の含有量レベルは、検査対象のＩｇＧが検査基準に対して「正常量」と判断すべき量であることを示す。

【0045】

同様に、ＩｇＡ用sigmoid関数部Ｍ４２において、第１関数Ｍ４２１～第４関数４２４に設けられた５つのノードは、ＩｇＡについて、入力画像中の検査基準に対する検査対象の検査結果を出力するノードである。図１０に示す出力例では、ＩｇＡ用sigmoid関数部Ｍ４２においてＩｇＡレベルとして、「少量はある」に対応するノード１から０．９８の出力値が出力され、「正常量はある」に対応するノード２から０．４５の出力値が出力され、「多くはある」に対応するノード３から０．５２の出力値が出力され、「多量にある」に対応するノード４から０．０５の出力値が出力されている。この場合、ＩｇＡ用sigmoid関数部Ｍ４２において小計部Ｍ４２５は、ノード１～ノード４を介して入力された第１関数～第４関数からの出力値のうちで、閾値（例えば０．５）よりも大きい出力値の個数を２と計数し、計数した有効数２を含有量レベルとして出力ノードから出力する。なお、有効数２の含有量レベルは、検査対象のＩｇＡが検査基準に対して「正常量」と判断すべき量であることを示す。図１０に示すように出力層Ｍ４にsigmoid関数を用いた構成では、各sigmoid関数部において、学習が良好に行われて予測が容易である検査対象であれば、第１～第４関数からの出力値はノード１、ノード２、ノード３、ノード４の順に小さい値となる（図１０のＩｇＧ用sigmoid関数部Ｍ４１の出力例）。一方、予測が容易でない検査対象の場合、第１～第４関数からの出力値がノード１、ノード２、ノード３、ノード４の順に小さい値とならない場合がある（図１０のＩｇＡ用sigmoid関数部Ｍ４２の出力例）。図１０に示すようにsigmoid関数を用いた構成では、小計部にて有効数（出力値が閾値以上であるノードの数）を計数し、有効数に応じた含有量レベルを予測結果とするので、４つの関数からの出力値を考慮した予測結果となる。従って、第１～第４関数からの出力値がノード１、ノード２、ノード３、ノード４の順に小さい値とならない場合、即ち、予測が難しい検査対象であっても、予測結果が正解の検査結果から大幅に誤った値となることが抑制される。図１０中のＩｇＡ用sigmoid関数部Ｍ４２の出力例では、第２関数Ｍ４２２が誤った予測を行った可能性が考えられるが、ＩｇＡ用sigmoid関数部Ｍ４２は第１～第４関数Ｍ４２１～Ｍ４２４からの出力値を考慮した有効数に応じた予測結果を特定するので、正解との誤差が小さい予測結果を出力することができる。よって、本実施形態では、第１～第４関数のいずれかが誤った予測を行った場合であっても、sigmoid関数部からの出力値（予測結果）が大幅に誤った結果とならないように構成されている。

【0046】

このような検査モデルＭは、健常者の検体による検査結果（検査基準）及び患者の検体による検査結果（検査対象）を含む撮影画像と、１２種類の検査項目毎の検査結果を示す情報とを含む訓練データを用いて学習する。なお、検査結果は、撮影画像から特定された、１２種類の検査項目毎の検査基準に対する検査対象の検査結果に加えて、同一の患者の検体を用いて免疫電気泳動法とは異なる検査手段（例えば血清蛋白分画検査法、免疫固定電気泳動法、血清免疫グロブリン遊離軽鎖検査法等）によって得られた検査結果を含んでもよい。学習工程において、それぞれのsigmoid関数部Ｍ４１，Ｍ４２…は、小計部Ｍ４１５，Ｍ４２５…を用いずに第１関数Ｍ４１１，Ｍ４２１～第４関数Ｍ４１４，Ｍ４２４を学習させる。従って、学習処理を行う際に、制御部１１は、１２種類の検査項目毎に、健常者の基準値と比較した検査結果のレベル（減少、やや減少、正常、やや増加、増加のいずれかの含有量レベル）に基づいて、第１関数～第４関数に設けられた各ノード（各関数からの出力ノード）に対応する正解ラベル（出力値として期待する値）を割り当てる。具体的には、制御部１１は、例えば検査結果のレベルが正常である場合、ノード０，３，４に対応する正解ラベルに０を割り当て、ノード１，２に対応する正解ラベルに１を割り当てる。よって、制御部１１は、健常者の検体による検査結果及び患者の検体による検査結果を含む撮影画像と、１２種類の検査項目毎に、第１関数～第４関数からの各出力ノードに割り当てられた正解ラベルとを含む訓練データを生成する。そして、検査モデルＭは、訓練データに含まれる撮影画像が入力された場合に、各検査項目について、第１関数～第４関数の出力ノードからの出力値が、各出力ノードに割り当てられた正解ラベル（０又は１、出力値として期待する値）に近づくように特徴量抽出部Ｍ１、全結合層Ｍ２及び出力層Ｍ４（sigmoid関数部Ｍ４１，Ｍ４２…）を学習させる。学習処理は、図３に示す実施形態１の検査モデルＭにおける学習処理と同様の処理によって実現できるので省略する。これにより、撮影画像が入力された場合に、撮影画像中の検査基準を基準とした検査対象における各検査項目の検査結果として、第１関数～第４関数の各出力ノードから、各出力ノードに対応付けられた検査結果のレベルと、該レベルよりも大きいレベル（大きい含有量の検査結果）とに属する判別確率を出力するように学習された学習済みの検査モデルＭが得られる。

【0047】

上述した構成の検査モデルＭを用いる場合であっても、実施形態１と同様に、図４に示す判定処理及び図６に示す訂正処理の実行が可能であり、同様の処理を実行した場合には同様の効果が得られる。なお、図４に示す処理では、本実施形態の検査装置１０の制御部１１は、ステップＳ１５で、１つの検査項目に対応するsigmoid関数部Ｍ４１，Ｍ４２…に接続されている出力ノードから出力された出力値（含有量レベル）を、この検査項目に対する検査結果に特定する。なお、図１０に示した出力例では、ＩｇＧ用sigmoid関数部Ｍ４１の小計部Ｍ４１５は、第１関数Ｍ４１１～第４関数Ｍ４１４から出力された、ＩｇＧの検査項目に対する検査結果（検査結果に対する判別確率）のうちで、所定閾値（例えば０．５）以上である検査結果の個数（有効数）を「少量はある」及び「正常量はある」の２つと計数し、計数した有効数２を含有量レベルとして出力ノードから出力する。これにより、有効数２の含有量レベルに相当する「正常量」の検査結果が、検査対象のＩｇＧに対する検査結果に特定される。

【0048】

このように本実施形態の検査モデルＭを用いた場合であっても、健常者の検体による電気泳動結果と、患者の検体による電気泳動結果とを撮影した撮影画像に基づいて、健常者の検体による電気泳動結果を基準として、患者の検体による電気泳動結果に対する各検査項目の検査結果を特定できる。また、図６に示す処理を実行することにより、撮影画像に基づいて判定された患者の検体に対する検査結果に誤りがある場合には訂正することができる。

【0049】

図１１は、検査モデルＭによる予測ミスの結果を示す模式図である。図１１には、実施形態１の検査モデルＭを用いて各検査項目に対する検査結果を判定（予測）した場合と、実施形態２の検査モデルＭを用いて各検査項目に対する検査結果を判定（予測）した場合とにおいて、正解の検査結果との差異（予測ミス）の割合を示す。図１１Ａは実施形態１の検査モデルＭを用いた場合の予測ミスを示し、図１１Ｂは実施形態２の検査モデルＭを用いた場合の予測ミスを示す。図１１において、完全一致は、検査モデルＭを用いて特定した検査結果が正解の検査結果に一致した場合を示し、みなし正解は、検査モデルＭを用いて特定した検査結果と正解の検査結果との差異（誤差）が、検査結果の判定段階（無い、少量はある、正常量はある、多くはある、多量にあるの各段階）において１段階以下である場合を示す。また、予測ミスは、検査モデルＭを用いて特定した検査結果と正解の検査結果との差異（誤差）が２段階以上である場合を示し、大幅な予測ミスは、検査モデルＭを用いて特定した検査結果と正解の検査結果との差異（誤差）が３段階以上である場合を示す。

【0050】

図１１Ａ，Ｂに示す予測ミスの結果から、図３に示す検査モデルＭを用いた実施形態１の検査装置１０では、完全一致の割合が９４％程度であり、みなし正解の割合が９９．９３％である。また、図１０に示す検査モデルＭを用いた実施形態２の検査装置１０では、完全一致の割合が９６％程度であり、みなし正解の割合が９９．９８％である。これらの結果は熟練の検査担当者と同等レベルであり、正解率が高いと言える。また、医療現場では大幅な予測ミスの発生を回避することが重要であり、上述した予測ミスの結果から、実施形態１，２の検査装置１０を用いた場合、大幅な予測ミスの発生は抑制できていることが分かる。実施形態１の検査装置１０においても予測ミス及び大幅な予測ミスの発生は十分に抑制されているが、実施形態２の検査装置１０では更に抑制されている。出力層Ｍ４にsigmoid関数を用いた実施形態２の検査装置１０では、４つのsigmoid関数からの出力値を考慮して予測結果を特定するので、予測が難しい検査対象であっても大幅な予測ミスの発生を抑制することができる。よって、このような検査装置１０を用いて、検体を撮影した撮影画像から検査結果の予測（判定）を行うことにより、検査担当者は検査結果を特定する際に、検査装置１０による予測結果を参照でき、検査担当者の業務負担を軽減することができる。

【0051】

図１０に示す本実施形態の検査モデルＭは、出力層Ｍ４の各sigmoid関数部Ｍ４１，Ｍ４２…において、第１関数～第４関数が、ノード０から検査対象物が「少量すら無い」と判別すべき確率を出力し、ノード１から「少量はある」と判別すべき確率を出力し、ノード２から「正常量はある」と判別すべき確率を出力し、ノード３から「多くはある」と判別すべき確率を出力し、ノード４から「多量にある」と判別すべき確率を出力するように構成されている。検査モデルＭの構成はこのような構成に限定されない。例えば、出力層Ｍ４の各sigmoid関数部Ｍ４１，Ｍ４２…の第１関数～第４関数が、ノード０から検査対象物が「多量にある」と判別すべき確率を出力し、ノード１から「多量にはない」と判別すべき確率を出力し、ノード２から「多くはない」と判別すべき確率を出力し、ノード３から「正常量はない」と判別すべき確率を出力し、ノード４から「少量すら無い」と判別すべき確率を出力するように構成されていてもよい。

【0052】

（実施形態３）
実施形態１，２の検査装置１０で使用される検査モデルＭの生成処理について説明する。なお、検査モデルＭの学習は例えば所定の学習装置で行われ、学習装置で学習が行われて生成された学習済みの検査モデルＭは、ネットワーク経由又は可搬型記憶媒体１ａ経由で学習装置から検査装置１０にダウンロードされて記憶部１２に記憶される。図１２は、学習装置の構成例を示すブロック図である。学習装置５０は、パーソナルコンピュータ、サーバコンピュータ等で構成されており、制御部５１、記憶部５２、通信部５３、入力部５４、表示部５５、読み取り部５６等を含み、これらの各部はバスを介して相互に接続されている。学習装置５０の各部５１～５６は、実施形態１の検査装置１０の各部１１～１５，１７と同様であるので詳細な説明は省略する。なお、学習装置５０の記憶部５２は、制御プログラム５２Ｐ及び検査モデルＭのほかに、検査モデルＭの学習に訓練データとして用いる検査結果データが記憶してある検査結果ＤＢ５２ａを記憶する。検査結果ＤＢ５２ａには、例えば図１Ｂに示すような健常者の検体による検査結果（検査基準）と患者の検体による検査結果（検査対象）とを含む撮影画像と、１２種類の検査項目のそれぞれについての検査結果（減少、やや減少、正常、やや増加、増加の５パターンのうちのいずれか）とが対応付けられた検査結果データが記憶してある。図３に示す実施形態１の検査モデルＭは、検査結果ＤＢ５２ａに記憶してある検査結果データを訓練データとして用いて学習する。なお、訓練データに用いる検査結果データの撮影画像には、図５Ａに示すような患者の検体画像、図５Ｂに示すような健常者の検体画像と患者の検体画像との結合画像、又は、図５Ｃに示すような結合画像の縮小画像を用いることができる。

【0053】

図１３は、実施形態１の検査モデルＭの生成処理手順の一例を示すフローチャートである。学習装置５０の制御部５１は、検査結果ＤＢ５２ａから検査結果データを１つ取得する（Ｓ３１）。検査結果データには撮影画像と、１２種類の検査項目毎の検査結果（正解ラベル）とが含まれる。制御部５１は、読み出した検査結果データを用いて検査モデルＭの学習処理を行う（Ｓ３２）。ここでは、制御部５１は、検査結果データに含まれる撮影画像を検査モデルＭに入力した場合に、出力層Ｍ３において、検査項目毎に、５つの出力ノードにおいて、検査結果データの正解ラベルに対応する出力ノードからの出力値が１．０に近づき、他の出力ノードからの出力値が０に近づくように、特徴量抽出部Ｍ１、全結合層Ｍ２及び出力層Ｍ３（softmax関数Ｍ３１，Ｍ３２…）を学習させる。

【0054】

制御部５１は、学習処理後の検査モデルＭに対して精度を評価するための精度評価処理を行う（Ｓ３３）。例えば制御部５１は、精度評価の指標として、検査モデルＭの出力層Ｍ３の出力値と正解ラベルとの誤差に相当する損失関数（例えばクロスエントロピー）の値、或いは、精度評価に関する一般的な指標（例えば正解率、感度、特異度、陽性的中率、陰性的中率、Ｆ１値、ＲＯＣ（Receiver Operating Characteristic）曲線のＡＵＣ（Area Under Curve）、Precision-Recall曲線のＡＵＣ（ＰＲ－ＡＵＣ）、及びこれらのマクロ平均又はマイクロ平均等）を算出する。そして制御部５１は、算出した指標の値に基づいて、ステップＳ３２で実行した学習処理（学習処理に用いた訓練データ）を採用するか否かを判断する（Ｓ３４）。例えば制御部５１は、算出した指標の値を表示部５５に表示することにより、学習処理を実行しているユーザ（学習処理の専門家）に通知する。ユーザは、指標の算出値に基づいて、ステップＳ３２で実行した学習処理が適切であったか否かを判断し、適切であったか否かに応じて採用又は不採用の判断を行う。そして制御部５１は、ユーザが判断した採用又は不採用の判断結果を入力部５４を介して受け付け、受け付けたユーザの判断結果に応じて、採用するか否かを判断する。また、精度評価処理において算出される指標に対する採用基準を予め設定して記憶部５２に記憶しておき、制御部５１は、算出した指標の算出値が採用基準を満たしているか否かを判断し、満たしているか否かに応じて採用するか否かを判断してもよい。

【0055】

制御部５１は、ステップＳ３２で実行した学習処理を採用すると判断した場合（Ｓ３４：ＹＥＳ）、検査モデルＭを、ステップＳ３２で実行した学習処理後の検査モデルＭに更新する（Ｓ３５）。ステップＳ３２で実行した学習処理を採用しないと判断した場合（Ｓ３４：ＮＯ）、制御部５１は、ステップＳ３５の処理をスキップする。ここでは制御部５１は、ステップＳ３２で実行した学習処理後の検査モデルＭを破棄し、学習処理前の検査モデルＭについて、ステップＳ３６以降の処理を行う。

【0056】

制御部５１は、検査結果ＤＢ５２ａに記憶してある検査結果データにおいて、未処理の検査結果データがあるか否かを判断し（Ｓ３６）、未処理の検査結果データがあると判断した場合（Ｓ３６：ＹＥＳ）、ステップＳ３１の処理に戻る。そして、制御部５１は、未処理の検査結果データを検査結果ＤＢ５２ａから読み出し、読み出した検査結果データを用いた学習処理を繰り返す。未処理の検査結果データがないと判断した場合（Ｓ３６：ＮＯ）、制御部５１は学習処理を終了する。これにより、撮影画像が入力された場合に、各検査項目の検査結果として、５パターンのそれぞれに対する判別確率を出力するように学習された検査モデルＭが生成される。なお、既に学習済みの検査モデルＭについても、上述した処理を行うことによって再学習させることができる。この場合、学習済みの撮影画像とは画像特徴量が大幅に異なる画像等が適切な正解ラベルと共に入力されれば、判別精度がより高い検査モデルＭを生成できる。

【0057】

図１４は、実施形態２の検査モデルＭの生成処理手順の一例を示すフローチャートである。図１０に示す実施形態２の検査モデルＭは、検査結果ＤＢ５２ａに記憶してある検査結果データから生成された訓練データを用いて学習する。実施形態２の検査モデルＭを生成する場合、学習装置５０の制御部５１は、検査結果ＤＢ５２ａから検査結果データを１つ取得する（Ｓ４１）。検査結果データには撮影画像と、１２種類の検査項目毎の検査結果とが含まれる。制御部５１は、読み出した検査結果データから、検査モデルＭを学習させるための訓練データを生成する（Ｓ４２）。具体的には、制御部５１は、検査モデルＭを学習させる際に各sigmoid関数部Ｍ４１，Ｍ４２…における第１関数～第４関数の各出力ノードからの出力値を特定する。例えば制御部５１は、検査項目毎に、検査結果が「少量すら無い」である場合、ノード０からの出力値を１．０、ノード１～４からの出力値を０とする訓練データを生成する。また制御部５１は、検査結果が「少量はある」である場合、ノード１からの出力値を１．０、ノード０，２～４からの出力値を０とする訓練データを生成し、検査結果が「正常量はある」である場合、ノード１，２からの出力値を１．０、ノード０，３～４からの出力値を０とする訓練データを生成する。更に制御部５１は、検査結果が「多くはある」である場合、ノード１～３からの出力値を１．０、ノード０，４からの出力値を０とする訓練データを生成し、検査結果が「多量にある」である場合、ノード１～４からの出力値を１．０、ノード０からの出力値を０とする訓練データを生成する。このように制御部５１は、検査項目毎に検査結果データが示す検査結果（やや減少、正常、やや増加、増加のいずれか）に応じて、学習処理において各sigmoid関数部Ｍ４１，Ｍ４２…の第１関数～第４関数の各出力ノードに対して、出力すべき値（１又は０の正解ラベル）を割り当てた正解ラベルを含む訓練データを生成する。

【0058】

制御部５１は、上述したように生成した訓練データを用いて検査モデルＭの学習処理を行う（Ｓ４３）。なお、図１０に示す検査モデルＭでは、出力層Ｍ４（各sigmoid関数部Ｍ４１，Ｍ４２…）の学習工程において、小計部Ｍ４１５，Ｍ４２５…を用いずに第１関数Ｍ４１１，Ｍ４２１…～第４関数Ｍ４１４，Ｍ４２４…を学習させる。即ち、制御部５１は、検査結果データに含まれる撮影画像を検査モデルＭに入力した場合に、出力層Ｍ４の各sigmoid関数部Ｍ４１，Ｍ４２…の第１関数～第４関数の５つの出力ノードにおいて、訓練データで出力値を１に設定された出力ノードからの出力値が１．０に近づき、他の出力ノード（訓練データで出力値を０に設定された出力ノード）からの出力値が０に近づくように、特徴量抽出部Ｍ１、全結合層Ｍ２及び第１関数Ｍ４１１，Ｍ４２１…～第４関数Ｍ４１４，Ｍ４２４…を学習させる。例えば、検査結果が「正常」の検査項目では、ノード１～２からの出力値を１．０、ノード０，３～４からの出力値を０とする訓練データが生成されているので、ノード１～２からの出力値が１．０に近づき、ノード０，３～４からの出力値が０に近づくように学習させる。

【0059】

制御部５１は、学習処理後の検査モデルＭに対して精度を評価するための精度評価処理を行う（Ｓ４４）。ここでは、制御部５１は、図１３中のステップＳ３３と同様の処理を行う。このとき制御部５１は、各sigmoid関数部Ｍ４１，Ｍ４２…の小計部Ｍ４１５，Ｍ４２５…を用いずに、各sigmoid関数部Ｍ４１，Ｍ４２…の第１関数Ｍ４１１，Ｍ４２１…～第４関数Ｍ４１４，Ｍ４２４…からの出力値に基づいて、各出力値と正解ラベルとの誤差に相当する損失関数（ここでは二値クロスエントロピー）の値、或いは、精度評価に関する一般的な指標（例えば正解率、感度、特異度、陽性的中率、陰性的中率、Ｆ１値、ＲＯＣ曲線のＡＵＣ、Precision-Recall曲線のＡＵＣ、及びこれらのマクロ平均又はマイクロ平均等）を算出する。なお、制御部５１は、各sigmoid関数部Ｍ４１，Ｍ４２…の小計部Ｍ４１５，Ｍ４２５…からの出力値である含有量レベルと正解ラベルとの誤差に相当する損失関数（二値クロスエントロピー）の値、或いは、精度評価に関する一般的な指標（例えば正解率、感度、特異度、陽性的中率、陰性的中率、Ｆ１値、ＲＯＣ曲線のＡＵＣ、Precision-Recall曲線のＡＵＣ、及びこれらのマクロ平均又はマイクロ平均等）を算出してもよい。そして制御部５１は、指標の算出値に基づいて、ステップＳ４３で実行した学習処理（学習処理に用いた訓練データ）を採用するか否かを判断し（Ｓ４５）、採用すると判断した場合（Ｓ４５：ＹＥＳ）、検査モデルＭを、ステップＳ４３で実行した学習処理後の検査モデルＭに更新する（Ｓ４６）。ステップＳ４３で実行した学習処理を採用しないと判断した場合（Ｓ４５：ＮＯ）、制御部５１は、ステップＳ４６の処理をスキップし、学習処理後の検査モデルＭを破棄する。

【0060】

制御部５１は、検査結果ＤＢ５２ａに記憶してある検査結果データにおいて、未処理の検査結果データがあるか否かを判断し（Ｓ４７）、未処理の検査結果データがあると判断した場合（Ｓ４７：ＹＥＳ）、ステップＳ４１の処理に戻る。そして、制御部５１は、未処理の検査結果データを検査結果ＤＢ５２ａから読み出し、読み出した検査結果データに基づいて訓練データを生成し、生成した訓練データを用いた学習処理を繰り返す。未処理の検査結果データがないと判断した場合（Ｓ４７：ＮＯ）、制御部５１は学習処理を終了する。これにより、図１０に示すように、撮影画像が入力された場合に、各検査項目の検査結果として、５パターンのいずれかを示す含有量レベルを出力するように学習された検査モデルＭが生成される。なお、ここでの検査モデルＭでは、検査項目毎のsigmoid関数部Ｍ４１，Ｍ４２…において、第１関数Ｍ４１１，Ｍ４２１…～第４関数Ｍ４１４，Ｍ４２４…の各出力ノードから出力される判別確率は、各出力ノードに割り当てられている検査結果と、この検査結果よりも高いレベルの検査結果とを含む確率を示す。実施形態２の検査モデルＭにおいても、既に学習済みの検査モデルＭに上述した処理を行うことによって再学習させることができる。この場合、学習済みの撮影画像とは画像特徴量が大幅に異なる画像等が適切な正解ラベルと共に入力されれば、判別精度がより高い検査モデルＭを生成できる。

【0061】

（実施形態４）
検査端末を用いて検査キットを撮影し、検査端末から撮影画像を取得したサーバ（情報処理装置）が、撮影画像に基づいて各検査項目に対する検査結果を判定する検査システムについて説明する。図１５は検査システムの構成例を示す模式図である。本実施形態の検査システムは、複数の検査端末２０と、検査端末２０から検査キットの撮影画像を取得し、撮影画像に基づいて複数の検査項目に対する検査結果を判定して検査端末２０に通知するサーバ３０とを含む。サーバ３０及び検査端末２０のそれぞれは、インターネット等のネットワークＮに接続可能に構成されており、ネットワークＮ経由で情報の送受信を行う。

【0062】

サーバ３０は、本実施形態の検査システムを運営する業者等が管理する情報処理装置であり、サーバコンピュータ又はパーソナルコンピュータ等で構成される。サーバ３０は、複数台設けられてもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。検査端末２０は、医療機関、医療機関から検体を収集した検査業者の拠点等に設けられた情報処理装置であり、タブレット端末、スマートフォン、パーソナルコンピュータ等で構成される。本実施形態では、検査端末２０は、ユーザによる操作に従って、免疫電気泳動法を用いた検査キットを撮影する処理、得られた撮影画像をサーバ３０へ送信する処理等、種々の情報処理を行う。またサーバ３０は、検査端末２０から受信した撮影画像に基づいて、撮影画像中の検査キットが示す各検査項目の検査結果を判定する処理、判定結果を検査端末２０へ送信する処理等、種々の情報処理を行う。

【0063】

図１６は検査システムの構成例を示すブロック図である。検査端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。検査端末２０の各部２１～２６は、実施形態１の検査装置１０の各部１１～１６と同様であるので詳細な説明は省略する。なお、検査端末２０の記憶部２２は検査モデルＭを記憶していなくてもよい。サーバ３０は、制御部３１、記憶部３２、通信部３３等を含み、これらの各部はバスを介して相互に接続されている。サーバ３０の各部３１～３３は、実施形態１の検査装置１０の各部１１～１３と同様であるので詳細な説明は省略する。なお、サーバ３０は、上記の構成に加え、ユーザによる操作入力を受け付ける入力部、制御部３１からの指示に従って各種の情報を表示する表示部等を備えていてもよい。

【0064】

図１７は、実施形態４のサーバ３０による判定処理手順の一例を示すフローチャート、図１８は検査端末２０の画面例を示す模式図である。図１７では左側に検査端末２０が行う処理を、右側にサーバ３０が行う処理をそれぞれ示す。本実施形態では、医療機関又は医療機関から検体を収集した検査業者の拠点等において、検査者が、電気泳動を行い、その結果を撮影した撮影画像をサーバ３０へ送信し、サーバ３０が撮影画像に基づいて各検査項目に対する検査結果を判定する。具体的には、検査者は、患者から採取した検体と、健常者から採取した検体とを用意し、２つの検査キットのそれぞれの滴下領域Ｒに滴下する。そして検査者は、２つの検査キットに対して同時に電圧を印加し、所定時間の電圧印加後、検体内の蛋白質成分と抗ヒト全血清とを自由拡散させると共に免疫沈降反応させて、未反応の蛋白質成分を除去してから染色液を用いて染色し、乾燥させた後に撮影を行う。

【0065】

検査端末２０の制御部２１は、入力部２４を介したユーザからの操作に従って撮影を行い（Ｓ５１）、図５Ａに示すような健常者の検体による電気泳動結果の撮影画像と、患者の検体による電気泳動結果の撮影画像とを取得する。なお、健常者の検体による電気泳動結果と、患者の検体による電気泳動結果とは、各別に撮影して２つの撮影画像として取得するが、並べて撮影して１つの撮影画像として取得してもよい。制御部２１は、取得した撮影画像を表示部２５に表示し（Ｓ５２）、検査者に撮影結果を通知する。図１８は撮影画像の画面例を示しており、健常者の検体による電気泳動結果の撮影画像（検査基準）と、患者の検体による電気泳動結果の撮影画像（検査対象）とが並べて表示されている。また、図１８に示す画面には、検査結果の判定に表示中の撮影画像を用いることを指示するためのＯＫボタンと、撮影のやり直しを指示するための撮り直しボタンとが設けられている。

【0066】

制御部２１は、入力部２４を介して撮り直しボタンが操作されることによって撮影画像の撮り直しが指示されたか否かを判断しており（Ｓ５３）、撮り直しが指示されたと判断した場合（Ｓ５３：ＹＥＳ）、ステップＳ５１の処理に戻り、入力部２４を介したユーザからの操作に従って再度撮影を行う。撮り直しが指示されていないと判断した場合（Ｓ５３：ＮＯ）、即ち、入力部２４を介してＯＫボタンが操作された場合、制御部２１は、取得した撮影画像に対して前処理を実行する（Ｓ５４）。ここでは制御部２１は、図４中のステップＳ１２と同様の処理を行う。即ち、制御部２１はまず、健常者の検体による電気泳動結果の撮影画像と、患者の検体による電気泳動結果の撮影画像とのそれぞれから、沈降線の撮影領域を抽出する。次に制御部１１は、それぞれ抽出した領域を結合して、図５Ｂに示すような結合画像を生成し、結合画像に対して必要に応じて縮小処理を行って縮小画像を生成する。制御部２１は、前処理を実行して得られた画像（例えば縮小画像）をネットワークＮ経由でサーバ３０へ送信する（Ｓ５５）。なお、制御部２１は、縮小画像と共に、自身の検査端末２０の情報（例えば宛先情報）をサーバ３０へ送信する。

【0067】

サーバ３０の制御部３１（画像取得部）は、検査端末２０から電気泳動結果の撮影画像（例えば縮小画像）を受信し、検査モデルＭを用いて、撮影画像中の検査基準に対する検査対象の検査結果を判定する処理を実行する（Ｓ５６）。ここでは、図４中のステップＳ１３～Ｓ１６と同様に、制御部３１は、撮影画像を検査モデルＭに入力し、検査モデルＭからの出力情報（各出力ノードからの出力値）に基づいて、撮影画像中の検査対象に対する検査結果を判定する。具体的には、制御部３１は、検査モデルＭから出力された情報のうちで、１つの検査項目に対応する５つの出力ノードからの出力値（判定確率）を抽出する（Ｓ５７）。より具体的には、制御部３１は、１つの検査項目に対応するsoftmax関数Ｍ３１，Ｍ３２…に接続されている５つの出力ノードからの出力値を抽出する。そして制御部３１は、５つの出力ノードのうちで出力値が最大値である出力ノードを特定し、特定した出力ノードに対応付けられている検査結果（減少、やや減少、正常、増加、やや増加）を、この検査項目に対する検査結果に特定する（Ｓ５８）。制御部３１は、全ての検査項目に対する判定処理を終了していないと判断した場合（Ｓ５９：ＮＯ）、ステップＳ５７の処理に戻り、未処理の検査項目についてステップＳ５７～Ｓ５８の処理を行う。

【0068】

制御部３１（出力部）は、全ての検査項目に対する判定処理を終了したと判断した場合（Ｓ５９：ＹＥＳ）、それぞれの検査項目についてステップＳ５８で特定した検査結果を検査端末２０へ送信する（Ｓ６０）。検査端末２０の制御部２１は、ステップＳ５５でサーバ３０へ送信した画像に基づいてサーバ３０で判定された検査結果をサーバ３０から受信し、受信した検査結果を記憶する（Ｓ６１）。例えば制御部２１は、検査対象である患者の識別情報及び撮影画像に対応付けて、サーバ３０から受信した各検査項目に対する検査結果を記憶部２２に記憶する。なお、サーバ３０は、検査結果に加えて、この検査結果に対する判別確率（検査モデルＭからの出力値）を検査端末２０へ送信してもよく、この場合、検査端末２０は、各検査項目の検査結果に対応付けて、各検査結果に対する判別確率を記憶する。

【0069】

上述した処理により、本実施形態においても、健常者の検体による電気泳動結果を撮影した検査基準画像と、患者の検体による電気泳動結果を撮影した検査対象画像とに基づいて、検査基準画像を基準として、検査対象画像に撮影された電気泳動結果に対する各検査項目の検査結果を特定できる。また本実施形態においても、図６に示す処理の実行が可能であり、図６に示す処理を実行することにより、サーバ３０で判定されて検査端末２０の記憶部２２に記憶された各被検者に対する検査結果を表示部２５に表示できると共に、サーバ３０で判定された検査結果に誤りがある場合には訂正することができる。なお、検査端末２０は、サーバ３０で判定された検査結果に対する訂正を受け付けた場合に、受け付けた訂正内容とこのときの撮影画像（例えば縮小画像）とをサーバ３０へ送信してもよい。この場合、サーバ３０は、検査端末２０から訂正内容（正解の検査結果）及び撮影画像を取得することにより、検査モデルＭを再学習させるための訓練データを収集することができる。また、収集した訓練データを用いて検査モデルＭを再学習させた場合には、より高精度な検査モデルＭを実現できる。本実施形態の構成は、図１０に示す実施形態２の検査モデルＭを用いる検査システムにも適用でき、適用した場合には同様の効果が得られる。

【0070】

（実施形態５）
免疫電気泳動法による検査以外の検査への適用例について説明する。パパニコロウ染色を用いた細胞診の検査結果を、ニューラルネットワーク（学習済みモデル）を用いて判定する検査装置に適用した例について説明する。実施形態５における検査装置は、図２に示す実施形態１の検査装置１０と同様の構成を有するので詳細な説明は省略する。パパニコロウ染色を用いた細胞診は、子宮頸癌、口腔癌、肺扁平上皮癌の進行度を推定する際の検査として行われる。またパパニコロウ染色を用いた細胞診では、スライドガラスに被検者から採取した検体を薄く塗抹し、９５％エタノールで固定した後、試薬により染色してスライドガラス標本を作成する。例えばライトグリーン（緑）、オレンジＧ（橙）、エオジン（ピンク）、ビスマルクブラウン（茶色）、ヘマトキシリン（紺）の５色で染色し、作成したスライドガラス標本を顕微鏡撮影して顕微鏡画像を取得する。ここでの検体は、例えば、子宮膣部、子宮頸部、子宮体部、外陰部、気管支、口腔粘膜、消化管、尿管、尿道、皮膚等から擦過した擦過物、喀痰等が用いられる。

【0071】

パパニコロウ染色では、クロマチンの染色が良好であり、対比染色によって細胞腫毎に染まる色が異なるので、細胞の識別が容易となる。また細胞質が透明感のある染まり方をし、特に角化細胞がオレンジに染色されるので、扁平上皮系の異型細胞の検出に有用である。更に一個の細胞全体を観察できることから、細胞質内顆粒又は封入体の観察が容易となる。このような顕微鏡画像に対して、ニューラルネットワークを用いて検体の状態（病状）を判定することができる。特に、子宮頸癌等の癌の進行過程が解明されている疾患では、検査画像から悪性度の評価が可能である。

【0072】

図１９は実施形態５の検査モデルＭａの構成例を示すブロック図である。本実施例の検査モデルＭａは、図３に示す検査モデルＭと同様の構成で構築されており、入力層、特徴量抽出部Ｍａ１、全結合層Ｍａ２、出力層Ｍａ３を有し、出力層Ｍａ３は４つのsoftmax関数Ｍａ３１～Ｍａ３４を有する。本実施形態の検査モデルＭａでは、パパニコロウ染色によって染め出された検体の顕微鏡画像が入力層を介して入力される。入力層を介して入力された顕微鏡画像は特徴量抽出部Ｍａ１に入力される。特徴量抽出部Ｍａ１は、入力された顕微鏡画像に対して画像の特徴量の抽出処理及び圧縮処理を行って、情報量が削減された特徴マップを生成する。特徴量抽出部Ｍａ１によって生成された特徴マップは全結合層Ｍａ２に入力される。全結合層Ｍａ２は、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層Ｍａ２は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に後段の出力層Ｍａ３に出力値を出力する。

【0073】

本実施形態の検査モデルＭａでは、第１softmax関数Ｍａ３１は、ベセスダシステム（２００１）による分類用のsoftmax関数であり、第１softmax関数Ｍａ３１に接続された４つの出力ノードは、顕微鏡画像中の検体がベセスダシステムによる分類によってＮＩＬＭ、ＬＳＩＬ、ＨＳＩＬ、ＳＣＣのいずれに分類されるかを示す情報（検査結果）を出力する。具体的には、ノード０は、検査対象（顕微鏡画像中の検体）をＮＩＬＭに分類すべき確率（検査結果に関する値）を出力し、ノード１は、ＬＳＩＬに分類すべき確率を出力し、ノード２は、ＨＳＩＬに分類すべき確率を出力し、ノード３は、ＳＣＣに分類すべき確率を出力する。第１softmax関数Ｍａ３１に接続された４つの出力ノードは０～１．０の出力値を出力し、４つの出力ノードからの出力値の合計が１．０となる。なお、分類結果であるＮＩＬＭは正常細胞を示しており、ＮＩＬＭ、ＬＳＩＬ、ＨＳＩＬ、ＳＣＣはこの順に悪性度が高くなる。

【0074】

第２softmax関数Ｍａ３２は、日母分類用のsoftmax関数であり、第２softmax関数Ｍａ３２に接続された５つの出力ノードは、顕微鏡画像中の検体が日母分類によってクラスＩＩ、クラスＩＩＩａ、クラスＩＩＩｂ、クラスＩＶ、クラスＶのいずれに分類されるかを示す情報（検査結果）を出力する。ここでも、第２softmax関数Ｍａ３２に接続された５つの出力ノードは０～１．０の出力値を出力し、５つの出力ノードからの出力値の合計が１．０となる。また、分類結果であるクラスＩＩ、クラスＩＩＩａ、クラスＩＩＩｂ、クラスＩＶ、クラスＶは、この順に悪性度が高くなる。同様に、第３softmax関数Ｍａ３３は、異形成分類（病理組織診断）用のsoftmax関数であり、第３softmax関数Ｍａ３３に接続された６つの出力ノードは、顕微鏡画像中の検体が異形成分類によって陰性、軽度異形成、中等度異形成、高度異形成、上皮内癌、扁平上皮癌のいずれに分類されるかを示す情報（検査結果）を出力する。また第４softmax関数Ｍａ３４は、ＣＩＮ（Cervical Intraepithelial Neoplasia）分類用のsoftmax関数であり、第４softmax関数Ｍａ３４に接続された３つの出力ノードは、顕微鏡画像中の検体がＣＩＮ分類によってＣＩＮ１、ＣＩＮ２、ＣＩＮ３のいずれに分類されるかを示す情報（検査結果）を出力する。

【0075】

上述した構成の検査モデルＭａは、パパニコロウ染色によって染め出された検体の顕微鏡画像と、４種類の分類項目（分類方法）のそれぞれについて、顕微鏡画像中の検体に対する分類結果を示す情報（正解ラベル）とを含む訓練データ（検査結果データ）を用いて学習することによって生成できる。本実施形態の検査モデルＭａは、図１３に示した実施形態３における生成処理によって生成可能である。具体的には、検査モデルＭａは、訓練データに含まれる顕微鏡画像が入力された場合に、各分類項目について、訓練データに含まれる正解ラベルに対応する１つの出力ノードからの出力値が１．０に近づき、他の出力ノードからの出力値が０に近づくように特徴量抽出部Ｍａ１、全結合層Ｍａ２及び出力層Ｍａ３（第１softmax関数Ｍａ３１～第４softmax関数Ｍａ３４）を学習させる。これにより、顕微鏡画像が入力された場合に、顕微鏡画像中の検体に対して、複数の分類項目毎に分類結果のそれぞれに対する判別確率を出力するように学習された学習済みの検査モデルＭａが得られる。

【0076】

上述した構成の検査モデルＭａを用いて、顕微鏡画像中の検体の状態を判定する場合にも、上述した実施形態１と同様の処理が可能である。即ち、検査モデルＭａを用いることにより、顕微鏡画像に基づいて、顕微鏡画像中の検体に対して、複数の分類項目のそれぞれについて分類結果（検査結果）を自動的に判定できる。具体的には、顕微鏡画像を検査モデルＭａに入力することにより、検査モデルＭａから分類項目毎に出力された各出力ノードからの出力値に基づいて、各分類項目についての分類結果を特定できる。よって、パパニコロウ染色を用いた細胞診検査において、医療従事者等の検査者が目視で、複数の分類項目について分類結果を判定し、判定した分類結果に基づいて、病状等の検査結果を判定する際に支援することができ、検査者の作業負担を軽減できる。また本実施形態においても、検査装置１０によって判定（分類）された分類結果が誤っている場合、分類結果を表示部１５に表示して検査者に通知し、入力部１４を介して検査者から訂正指示を受け付けることにより、訂正することができる。また、検査装置１０によって判定された分類結果が誤っていた場合に、例えば検査者によって入力された正解の分類結果と顕微鏡画像とを用いて検査モデルＭａを再学習させることができる。この場合、学習済みの撮影画像とは画像特徴量が大幅に異なる画像等が適切な正解ラベルと共に入力されれば、より精度の高い検査モデルＭａを生成できる。

【0077】

本実施形態の検査装置１０においても、実施形態２のようにsigmoid関数を用いた検査モデルを用いてもよく、同様の効果が得られる。図２０は、実施形態５の検査モデルＭａの他の構成例を示すブロック図である。図２０に示す検査モデルＭａは、図１９に示す検査モデルＭａにおいて、softmax関数Ｍａ３１，Ｍａ３２…を用いた出力層Ｍａ３の代わりに、sigmoid関数部Ｍａ４１，Ｍａ４２…を用いた出力層Ｍａ４を有する。それ以外の検査装置１０の構成については、上述した実施形態５と同様であるので詳細な説明を省略する。

【0078】

図２０に示す検査モデルＭａでは、出力層Ｍａ４は、４つのsigmoid関数部（第１sigmoid関数部Ｍａ４１，第２sigmoid関数部Ｍａ４２，第３sigmoid関数部Ｍａ４３，第４sigmoid関数部Ｍａ４４）を有している。第１sigmoid関数部Ｍａ４１は、ベセスダシステム（２００１）による分類用のsigmoid関数であり、３つのsigmoid関数（第１関数～第３関数）及び小計部を有する。第１sigmoid関数部Ｍａ４１の第１関数～第３関数はそれぞれ、入力された全結合層Ｍ２からの出力値に対して、所定の関数を用いて出力値を算出し、算出した出力値を出力する。第１sigmoid関数部Ｍａ４１の第１関数には２つの出力ノードが、第２関数～第３関数には１つの出力ノードがそれぞれ接続されており、ノード１～３の各出力ノードは小計部に接続されている。第１sigmoid関数部Ｍａ４１の第１関数～第３関数に接続された４つの出力ノードは、顕微鏡画像中の検体がベセスダシステムによる分類によってＮＩＬＭ、ＬＳＩＬ、ＨＳＩＬ、ＳＣＣに分類される結果（検査結果）を出力する。なお、分類結果であるＮＩＬＭは正常細胞を示しており、ＮＩＬＭ、ＬＳＩＬ、ＨＳＩＬ、ＳＣＣの順に悪性度が高くなる。図２０に示す検査モデルＭａでは、第１sigmoid関数部Ｍａ４１において、ノード０は、検査対象（顕微鏡画像中の検体）をＮＩＬＭに分類すべき確率（検査結果に関する値）を出力する。ノード１は、ＬＳＩＬ、ＨＳＩＬ又はＳＣＣに分類すべき確率を出力する。即ち、ノード１からの出力確率は、少なくともＬＳＩＬに分類すべき確率を示す。またノード２は、ＨＳＩＬ又はＳＣＣに分類すべき確率を出力し、ノード２からの出力確率は、少なくともＨＳＩＬに分類すべき確率を示す。またノード３は、ＳＣＣに分類すべき確率を出力する。即ち、第１sigmoid関数部Ｍａ４１において、ノード１～ノード３の各ノードは、各ノードに割り当てられた分類結果と、この分類結果よりも大きいレベル（悪性度が高い）の分類結果とを含む判別確率を出力する。なお、第１sigmoid関数部Ｍａ４１において、第１関数に接続された２つの出力ノード（ノード０，１）のそれぞれは０～１．０の出力値を出力し、２つの出力ノードから出力される出力値の合計が１．０となる。また第２関数～第３関数にそれぞれ接続された出力ノードは０～１．０の出力値を出力する。

【0079】

第１sigmoid関数部Ｍａ４１において、小計部は、第１関数～第３関数のノード１～ノード３において出力値が閾値（例えば０．５）よりも大きいノードの個数を計数し、計数した個数（有効数）に相当するレベルを出力ノードから出力する。ここでの有効数に相当するレベルは、ベセスダシステムによる分類による分類結果を表すレベル（分類レベル）である。具体的には、有効数が０の場合は「ＮＩＬＭ」に対応するレベルであり、有効数が１の場合は「ＬＳＩＬ」に対応するレベルであり、有効数が２の場合は「ＨＳＩＬ」に対応するレベルであり、有効数が３の場合は「ＳＣＣ」に対応するレベルである。

【0080】

第２sigmoid関数部Ｍａ４２は、日母分類用のsigmoid関数であり、４つのsigmoid関数（第１関数～第４関数）及び小計部を有する。第２sigmoid関数部Ｍａ４２の第１関数～第４関数はそれぞれ、入力された全結合層Ｍ２からの出力値に対して、所定の関数を用いて出力値を算出し、算出した出力値を出力する。第２sigmoid関数部Ｍａ４２の第１関数には２つの出力ノードが、第２関数～第４関数には１つの出力ノードがそれぞれ接続されており、ノード１～４の各出力ノードは小計部に接続されている。第２sigmoid関数部Ｍａ４２の第１関数～第４関数に接続された５つの出力ノードは、顕微鏡画像中の検体が日母分類によってクラスＩＩ、クラスＩＩＩａ、クラスＩＩＩｂ、クラスＩＶ、クラスＶに分類される結果（検査結果）を出力する。なお、日母分類による分類結果であるクラスＩＩは正常細胞を示しており、クラスＩＩ、クラスＩＩＩａ、クラスＩＩＩｂ、クラスＩＶ、クラスＶの順に悪性度が高くなる。第２sigmoid関数部Ｍａ４２では、ノード０は、検査対象（顕微鏡画像中の検体）をクラスＩＩに分類すべき確率を出力する。ノード１は、クラスＩＩＩａ、ＩＩＩｂ，クラスＩＶ又はクラスＶに分類すべき確率を出力する。即ち、ノード１からの出力確率は、少なくともクラスＩＩＩａに分類すべき確率を示す。またノード２はクラスＩＩＩｂ，クラスＩＶ又はクラスＶに分類すべき確率を出力し、ノード２からの出力確率は、少なくともクラスＩＩＩｂに分類すべき確率を示す。またノード３はクラスＩＶ又はクラスＶに分類すべき確率を出力し、ノード３からの出力確率は、少なくともクラスＩＶに分類すべき確率を示す。またノード４はクラスＶに分類すべき確率を出力する。即ち、第２sigmoid関数部Ｍａ４２においても、ノード１～ノード４の各ノードは、各ノードに割り当てられた分類結果と、この分類結果よりも大きいレベル（悪性度が高い）の分類結果とを含む判別確率を出力する。なお、第２sigmoid関数部Ｍａ４２においても、第１関数に接続された２つの出力ノード（ノード０，１）のそれぞれは０～１．０の出力値を出力し、２つの出力ノードから出力される出力値の合計が１．０となり、第２関数～第４関数にそれぞれ接続された出力ノードは０～１．０の出力値を出力する。第２sigmoid関数部Ｍａ４２において、小計部は、第１関数～第４関数のノード１～ノード４において出力値が閾値（例えば０．５）よりも大きいノードの個数を計数し、計数した個数（有効数）に相当するレベルを出力ノードから出力する。ここでの有効数に相当するレベルは、日母分類による分類結果を表すレベル（分類レベル）である。具体的には、有効数が０の場合は「クラスＩＩ」に対応するレベルであり、有効数が１の場合は「クラスＩＩＩａ」に対応するレベルであり、有効数が２の場合は「クラスＩＩＩｂ」に対応するレベルであり、有効数が３の場合は「クラスＩＶ」に対応するレベルであり、有効数が４の場合は「クラスＶ」に対応するレベルである。

【0081】

第３sigmoid関数部Ｍａ４３は、異形成分類（病理組織診断）用のsigmoid関数であり、５つのsigmoid関数（第１関数～第５関数）及び小計部を有する。第３sigmoid関数部Ｍａ４３の第１関数には２つの出力ノードが、第２関数～第５関数には１つの出力ノードがそれぞれ接続されており、ノード１～５の各出力ノードは小計部に接続されている。第３sigmoid関数部Ｍａ４３の第１関数～第５関数に接続された６つの出力ノードは、顕微鏡画像中の検体が異形成分類によって陰性、軽度異形成、中等度異形成、高度異形成、上皮内癌、扁平上皮癌に分類される結果（検査結果）を出力する。なお、異形成分類による分類結果である陰性は正常細胞を示しており、陰性、軽度異形成、中等度異形成、高度異形成、上皮内癌、扁平上皮癌の順に悪性度が高くなる。第３sigmoid関数部Ｍａ４３では、ノード０は、検査対象を陰性に分類すべき確率を出力し、ノード１は、軽度異形成、中等度異形成、高度異形成、上皮内癌又は扁平上皮癌に分類すべき確率を出力する。即ち、ノード１からの出力確率は、少なくとも軽度異形成に分類すべき確率を示す。またノード２は中等度異形成、高度異形成、上皮内癌又は扁平上皮癌に分類すべき確率を出力し、ノード２からの出力確率は、少なくとも中等度異形成に分類すべき確率を示す。またノード３は高度異形成、上皮内癌又は扁平上皮癌に分類すべき確率を出力し、ノード３からの出力確率は、少なくとも高度異形成に分類すべき確率を示す。またノード４は上皮内癌又は扁平上皮癌に分類すべき確率を出力し、ノード４からの出力確率は、少なくとも上皮内癌に分類すべき確率を示す。またノード５は扁平上皮癌に分類すべき確率を出力する。第３sigmoid関数部Ｍａ４３においても、第１関数に接続された２つの出力ノード（ノード０，１）のそれぞれは０～１．０の出力値を出力し、２つの出力ノードから出力される出力値の合計が１．０となり、第２関数～第４関数にそれぞれ接続された出力ノードは０～１．０の出力値を出力する。第３sigmoid関数部Ｍａ４３において、小計部は、第１関数～第５関数のノード１～ノード５において出力値が閾値（例えば０．５）よりも大きいノードの個数を計数し、計数した個数（有効数）に相当するレベルを出力ノードから出力する。ここでの有効数に相当するレベルは、異形成分類による分類結果を表すレベル（分類レベル）である。具体的には、有効数が０の場合は「陰性」に対応するレベルであり、有効数が１の場合は「軽度異形成」に対応するレベルであり、有効数が２の場合は「中等度異形成」に対応するレベルであり、有効数が３の場合は「高度異形成」に対応するレベルであり、有効数が４の場合は「上皮内癌」に対応するレベルであり、有効数が５の場合は「扁平上皮癌」に対応するレベルである。

【0082】

第４sigmoid関数部Ｍａ４４は、ＣＩＮ（Cervical Intraepithelial Neoplasia）分類用のsigmoid関数であり、３つのsigmoid関数（第１関数～第３関数）及び小計部を有する。第４sigmoid関数部Ｍａ４４の第１関数には２つの出力ノードが、第２関数～第３関数には１つの出力ノードがそれぞれ接続されており、ノード１～３の各出力ノードは小計部に接続されている。第４sigmoid関数部Ｍａ４４の第１関数～第３関数に接続された４つの出力ノードは、顕微鏡画像中の検体がＣＩＮ分類によって陰性、ＣＩＮ１、ＣＩＮ２、ＣＩＮ３に分類される結果（検査結果）を出力する。なお、ＣＩＮ分類による分類結果である陰性は正常細胞を示しており、陰性、ＣＩＮ１、ＣＩＮ２、ＣＩＮ３の順に悪性度が高くなる。第４sigmoid関数部Ｍａ４４では、ノード０は、検査対象を陰性に分類すべき確率を出力し、ノード１は、ＣＩＮ１、ＣＩＮ２又はＣＩＮ３に分類すべき確率を出力する。即ち、ノード１からの出力確率は、少なくともＣＩＮ１に分類すべき確率を示す。またノード２はＣＩＮ２又はＣＩＮ３に分類すべき確率を出力し、ノード２からの出力確率は、少なくともＣＩＮ２に分類すべき確率を示す。またノード３はＣＩＮ３に分類すべき確率を出力する。第４sigmoid関数部Ｍａ４４においても、第１関数に接続された２つの出力ノード（ノード０，１）のそれぞれは０～１．０の出力値を出力し、２つの出力ノードから出力される出力値の合計が１．０となり、第２関数～第３関数にそれぞれ接続された出力ノードは０～１．０の出力値を出力する。第４sigmoid関数部Ｍａ４４において、小計部は、第１関数～第３関数のノード１～ノード３において出力値が閾値（例えば０．５）よりも大きいノードの個数を計数し、計数した個数（有効数）に相当するレベルを出力ノードから出力する。ここでの有効数に相当するレベルは、ＣＩＮ分類による分類結果を表すレベル（分類レベル）である。具体的には、有効数が０の場合は「陰性」に対応するレベルであり、有効数が１の場合は「ＣＩＮ１」に対応するレベルであり、有効数が２の場合は「ＣＩＮ２」に対応するレベルであり、有効数が３の場合は「ＣＩＮ３」に対応するレベルである。

【0083】

図２０に示す検査モデルＭａも、パパニコロウ染色によって染め出された検体の顕微鏡画像と、４種類の分類項目のそれぞれにおける顕微鏡画像中の検体に対する分類結果とを含む検査結果データから生成された訓練データを用いて学習することによって生成される。なお、図２０に示す検査モデルＭａは、図１４に示した実施形態３における生成処理によって生成可能である。即ち、学習装置５０の制御部５１は、検査結果データから訓練データを生成する。その際、制御部５１は、ベセスダシステムによる分類結果がＮＩＬＭである場合、第１sigmoid関数部Ｍａ４１におけるノード０からの出力値を１．０、ノード１～３からの出力値を０とする訓練データを生成する。また制御部５１は、分類結果がＬＳＩＬである場合、ノード１からの出力値を１．０、ノード０，２～３からの出力値を０とする訓練データを生成し、分類結果がＨＳＩＬである場合、ノード１，２からの出力値を１．０、ノード０，３からの出力値を０とする訓練データを生成する。更に制御部５１は、分類結果がＳＣＣである場合、ノード１～３からの出力値を１．０、ノード０からの出力値を０とする訓練データを生成する。このような訓練データを用いることにより、検査モデルＭａは、検査結果データに含まれる顕微鏡画像が入力された場合に、各分類項目について、出力層Ｍａ４の各sigmoid関数部Ｍａ４１～Ｍａ４４の各関数からの出力ノードにおいて、訓練データで出力値を１に設定された出力ノードからの出力値が１．０に近づき、訓練データで出力値を０に設定された出力ノードからの出力値が０に近づくように特徴量抽出部Ｍａ１、全結合層Ｍａ２及び出力層Ｍａ４（sigmoid関数部Ｍａ４１～Ｍａ４４の各sigmoid関数）を学習させる。これにより、顕微鏡画像が入力された場合に、顕微鏡画像中の検体に対して、複数の分類項目毎に分類結果のいずれかを示す分類レベルを出力するように学習された学習済みの検査モデルＭａが得られる。

【0084】

上述した構成の検査モデルＭａを用いて、顕微鏡画像中の検体の状態を判定する場合にも、上述した実施形態２と同様の処理が可能である。即ち、検査モデルＭａを用いることにより、顕微鏡画像に基づいて、顕微鏡画像中の検体に対して、複数の分類項目のそれぞれについて分類結果（検査結果）を自動的に判定できる。具体的には、顕微鏡画像を検査モデルＭａに入力することにより、検査モデルＭａから分類項目毎に出力された各出力ノードからの出力値に基づいて、各分類項目についての分類結果を特定できる。よって、パパニコロウ染色を用いた細胞診検査において、医療従事者等の検査者が目視で、又はパパニコロウ染色以外の検査法で同定した結果に基づいて、複数の分類項目について分類結果を判定し、判定した分類結果に基づいて、病状等の検査結果を解釈する際に支援することができ、検査者の作業負担を軽減できる。また本実施形態においても、検査装置１０によって判定（分類）された分類結果が誤っている場合、分類結果を表示部１５に表示して検査者に通知し、入力部１４を介して検査者から訂正指示を受け付けることにより、訂正することができる。また、検査装置１０によって判定された分類結果が誤っていた場合に、例えば検査者によって入力された正解の分類結果と顕微鏡画像とを用いて検査モデルＭａを再学習させることができる。この場合にも、学習済みの撮影画像とは画像特徴量が大幅に異なる画像等が適切な正解ラベルと共に入力されれば、より精度の高い検査モデルＭａを生成できる。

【0085】

上述した実施形態１～４の検査装置１０又は検査システムは、前立腺癌の悪性度診断に用いるグリソンスコア（Gleasonスコア）を推定する構成にも適用できる。グリソンスコアを推定するための細胞診では、前立腺の組織を針生検により採取し、ホルマリン固定後にパラフィン薄切切片を作成し、ヘマトキシリン及びエジオン等で染色して病理組織標本を作成する。そして、作成した病理組織標本を顕微鏡撮影して顕微鏡画像を取得する。病理組織標本の顕微鏡画像からグリソンスコア（Gleasonスコア）を推定する場合、顕微鏡画像から優勢病変（最も多く見られる病変）の状態と、随伴病変（２番目に多く見られる病変）の状態とを判定し、判定結果からグリソンスコアを特定する。よって、病理組織標本の顕微鏡画像が入力された場合に、優勢病変の状態を示す情報と、随伴病変の状態を示す情報とを出力する検査モデル（ニューラルネットワーク）を用いることにより、顕微鏡画像からグリソンスコアを推定できる。

【0086】

例えば図１９に示すようにsoftmax関数を用いる場合、グリソンスコアを推定する検査モデルは、出力層に２つのsoftmax関数（第１softmax関数，第２softmax関数）を有する。第１softmax関数には、顕微鏡画像中の検体における優勢病変の状態を５段階で示すグレード（検査結果）を出力する５つの出力ノードが設けられ、第２softmax関数には、随伴病変の状態を５段階で示すグレード（検査結果）を出力する５つの出力ノードが設けられる。なお、各グレードは１，２，３，４，５の順に悪性度が高くなる細胞であることを示す。それぞれのsoftmax関数において、５つの出力ノードのそれぞれは０～１．０の出力値を出力し、５つの出力ノードからの出力値の合計が１．０となる。このような構成の検査モデルを用いることにより、病理組織標本の顕微鏡画像を入力した場合に、検査モデルから優勢病変に関するグレードと随伴病変に関するグレードとが出力される。よって、顕微鏡画像から優勢病変及び随伴病変に関するグレードを自動的に判定できる。

【0087】

また、図２０に示すようにsigmoid関数を用いる場合、グリソンスコアを推定する検査モデルは、出力層に２つのsigmoid関数部（第１sigmoid関数部，第２sigmoid関数部）を有し、それぞれのsigmoid関数部は４つのsigmoid関数（第１関数～第４関数）及び小計部を有する。第１sigmoid関数部の４つの第１関数～第４関数には、顕微鏡画像中の検体における優勢病変の状態を５段階で示すグレードを出力する５つの出力ノードが設けられる。具体的には、第１関数に２つの出力ノード（ノード０～１）が、第２関数～第４関数に１つの出力ノード（ノード２～４）がそれぞれ接続され、ノード１～ノード４の４つの出力ノードが小計部に接続される。第２sigmoid関数部の４つの第１関数～第４関数には、顕微鏡画像中の検体における随伴病変の状態を５段階で示すグレードを出力する５つの出力ノードが設けられる。具体的には、第１関数に２つの出力ノード（ノード０～１）が、第２関数～第４関数に１つの出力ノード（ノード２～４）がそれぞれ接続され、ノード１～ノード４の４つの出力ノードが小計部に接続される。それぞれのsigmoid関数部において、第１関数に接続された２つの出力ノードのそれぞれは０～１．０の出力値を出力し、２つの出力ノードからの出力値の合計が１．０となり、第２関数～第４関数に接続された３つの出力ノードのそれぞれは０～１．０の出力値を出力する。なお、ノード０はグレードが２未満である（即ち１）と判別すべき確率を出力し、ノード１はグレードが２以上であると判別すべき確率を出力し、ノード２～４はグレードが３～５以上であると判別すべき確率を出力する。即ち、ノード１～ノード４の各ノードは、各ノードに割り当てられたグレードと、このグレードよりも大きいグレード（悪性度が高い検査結果）とを含む判別確率を出力する。また、それぞれのsigmoid関数部において、小計部は、ノード１～ノード４の各ノードのうちで、出力値が閾値（例えば０．５）よりも大きいノードの個数を計数し、計数した個数（有効数）に相当するレベルを病変のグレードとして出力ノードから出力する。このような構成の検査モデルを用いた場合でも、病理組織標本の顕微鏡画像を入力することにより、検査モデルから優勢病変に関するグレードと随伴病変に関するグレードとが出力される。よって、顕微鏡画像から優勢病変及び随伴病変に関するグレードを自動的に判定できる。

【0088】

よって、グリソンスコアを推定する際の細胞診検査において、医療従事者等の検査者が例えば目視で、優勢病変及び随伴病変のグレードを判定し、判定した各グレードに基づいてグリソンスコアを判定する際に支援することができ、検査者の作業負担を軽減できる。またsigmoid関数を用いて検査モデルを構成した場合であっても、検査装置１０によって判定（分類）されたグレード（検査結果）が誤っている場合、判定したグレードを表示部１５に表示して検査者に通知し、入力部１４を介して検査者から訂正指示を受け付けることにより、訂正することができる。また、検査装置１０によって判定されたグレードが誤っていた場合に、例えば検査者によって入力された正解のグレードと顕微鏡画像とを用いて検査モデルを再学習させることができる。この場合にも、学習済みの撮影画像とは画像特徴量が大幅に異なる画像等が適切な正解ラベルと共に入力されれば、より精度の高い検査モデルを生成できる。

【0089】

上述した各実施形態では、図３に示すようにsoftmax関数で出力層Ｍ３を構成した検査モデルＭ、又は、図１０に示すようにsigmoid関数で出力層Ｍ４を構成した検査モデルＭを用いて検査結果を推定する構成について説明した。このほかに、図３に示すような検査モデルＭと図１０に示すような検査モデルＭとを組み合わせて、それぞれの検査モデルＭからの出力値をアンサンブル学習（例えば、Gradient Boosting，ランダムフォレスト等の機械学習モデルを使用）することによって、より精度の高い検査モデルＭを生成することも可能である。また、図３に示すような検査モデルＭ及び図１０に示すような検査モデルＭだけでなく、その他のアルゴリズムを用いて構成された一般的な学習モデルも組み合わせて、それぞれのモデルからの出力値をアンサンブル学習することによっても、検査モデルＭの精度を向上させることが可能である。

【0090】

今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0091】

１０ 検査装置
１１ 制御部
１２ 記憶部
１４ 入力部
１５ 表示部
１６ カメラ
Ｍ 検査モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】