特開 2024-56395 プロトコールの提供装置及びプロトコールの提供方法、評価モデルの生成装置及び評価モデルの生成方法、トレーニング方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024056395

(43)【公開日】2024-04-23

(54)【発明の名称】プロトコールの提供装置及びプロトコールの提供方法、評価モデルの生成装置及び評価モデルの生成方法、トレーニング方法、並びにプログラム

(51)【国際特許分類】

   G06Q 10/0633 20230101AFI20240416BHJP

   G06Q 10/0639 20230101ALI20240416BHJP

【ＦＩ】

G06Q10/06 324

G06Q10/06 332

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022163235

(22)【出願日】2022-10-11

(71)【出願人】

【識別番号】522383377

【氏名又は名称】株式会社セルミミック

(71)【出願人】

【識別番号】304021288

【氏名又は名称】国立大学法人長岡技術科学大学

(74)【代理人】

【識別番号】100107984

【弁理士】

【氏名又は名称】廣田 雅紀

(74)【代理人】

【識別番号】100182305

【弁理士】

【氏名又は名称】廣田 鉄平

(74)【代理人】

【識別番号】100096482

【弁理士】

【氏名又は名称】東海 裕作

(74)【代理人】

【識別番号】100131093

【弁理士】

【氏名又は名称】堀内 真

(74)【代理人】

【識別番号】100150902

【弁理士】

【氏名又は名称】山内 正子

(74)【代理人】

【識別番号】100141391

【弁理士】

【氏名又は名称】園元 修一

(74)【代理人】

【識別番号】100221958

【弁理士】

【氏名又は名称】篠田 真希恵

(74)【代理人】

【識別番号】100192441

【弁理士】

【氏名又は名称】渡辺 仁

(72)【発明者】

【氏名】古江 美保

(72)【発明者】

【氏名】大沼 清

【テーマコード（参考）】

5L010

5L049

【Ｆターム（参考）】

5L010AA07

5L049AA07

(57)【要約】      （修正有）

【課題】作業の名称、作業を行う作業者、作業者の評価レベルによりプロトコールとして設定される作業工程の数を変動させ、その作業者にとって良いプロトコールの提供装置及び方法、評価モデルの生成方法及び装置、トレーニング方法並びにプログラムを提供する。
【解決手段】バイオマイスターシステムおける作業の手順であって、作業の名称及び作業者が実施した作業の内容に関するデータを取得し、過去に実施された作業の内容及び管理者による作業の内容に対する評価結果に関するデータを教師データとして機械学習された、下位のノードに作業規定が関連付けられた評価モデルを用いて、取得手段が取得した作業の内容から評価レベルを判定し、判定した評価レベルに関連付けられた作業規定を抽出し、抽出した作業規定を、作業の名称により定義される作業の順序に従って、プロトコールとして構成させ、構成されたプロトコールを表示させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業者が実施する作業の名称、及び前記作業者が実施した作業の内容に関するデータを取得する取得手段と、
過去に実施された作業の内容、及び管理者による当該作業の内容に対する評価結果に関するデータを教師データとして機械学習された評価モデルであって、下位のノードが評価レベルとして示され、当該下位のノードに作業規定が関連付けられた評価モデルを用いて、前記取得手段により取得された作業の内容に関するデータから評価レベルを判定する判定手段と、
前記判定手段により判定された評価レベルに関連付けられた作業規定を抽出する抽出手段と、
前記抽出手段により、抽出された作業規定を、前記作業の名称により定義される作業の順序に従って、プロトコールとして構成させる構成手段と、
前記構成手段により構成されたプロトコールを、外部の表示装置に表示させる表示制御手段と
を備えることを特徴とするプロトコールの提供装置。

【請求項2】

前記評価モデルが、プロトコールに設定される作業工程単位で備えられることを特徴とする請求項１に記載のプロトコールの提供装置。

【請求項3】

作業者が実施する作業の名称、及び前記作業者が実施した作業の内容に関するデータを取得する取得ステップと、
過去に実施された作業の内容、及び管理者による当該作業の内容に対する評価結果に関するデータを教師データとして機械学習された評価モデルであって、下位のノードが評価レベルとして示され、当該下位のノードに作業規定が関連付けられた評価モデルを用いて、前記取得ステップにおいて取得された作業の内容に関するデータから評価レベルを判定する判定ステップと、
前記判定ステップにおいて判定された評価レベルに関連付けられた作業規定を抽出する抽出ステップと、
前記抽出ステップにおいて、抽出された作業規定を、前記作業の名称により定義される作業の順序に従って、プロトコールとして構成させる構成ステップと、
前記構成ステップにおいて構成されたプロトコールを、外部の表示装置に表示させる表示制御ステップと
を含むことを特徴とするプロトコールの提供方法。

【請求項4】

請求項３に記載のプロトコールの提供方法をコンピュータに実行させるプログラム。

【請求項5】

過去に実施された作業の内容、及び管理者による当該作業の内容に関する評価結果に関するデータを教師データとして取得する取得手段と、
当該教師データを用いて機械学習を実行することで、作業の内容に関するデータを入力値、当該入力値から導出される評価レベルを出力値とする評価モデルを生成する生成手段と
を備え、
前記評価結果において、前記過去に実施された作業の内容が、前記管理者により、所定の作業レベルを有する作業者により実施された作業手順において同様の作業手順で実施された作業手順の数に応じて、評価されることを特徴とする評価モデルの生成装置。

【請求項6】

過去に実施された作業の内容、及び管理者による当該作業の内容に関する評価結果に関するデータを教師データとして取得する取得ステップと、
当該教師データを用いて機械学習を実行することで、作業の内容に関するデータを入力値、当該入力値から導出される評価レベルを出力値とする評価モデルを生成する生成ステップと
を含み、
前記評価結果において、前記過去に実施された作業の内容が、前記管理者により、所定の作業レベルを有する作業者により実施された作業手順において同様の作業手順で実施された作業手順の数に応じて、評価されることを特徴とする評価モデルの生成方法。

【請求項7】

請求項６に記載の評価モデルの生成方法をコンピュータに実行させるプログラム。

【請求項8】

作業者が実施する作業の名称、作業レベル、及び前記作業者が実施した作業の内容に関するデータを取得する第１の取得ステップと、
過去に実施された作業の内容、及び管理者による当該作業の内容に対する評価結果に関するデータを教師データとして機械学習された評価モデルであって、下位のノードが評価レベルとして示され、当該下位のノードに作業規定が関連付けられた評価モデルから、前記取得ステップにおいて取得された作業レベルに対応する評価レベルに関連付けられた作業規定を抽出する第１の抽出ステップと、
前記第１の抽出ステップにおいて抽出された作業規定を、前記作業の名称により定義される作業の順序に従って、プロトコールとして構成させる第１の構成ステップと、
前記第１の構成ステップにおいて構成されたプロトコールを、外部の表示装置に表示させる第１の表示制御ステップと、
前記第１の表示制御ステップにおいて表示させたプロトコールに従って、前記作業者が実施した作業の内容に関するデータを取得する第２の取得ステップと、
前記評価モデルを用いて、前記第２の取得ステップにおいて取得された作業の内容に関するデータから評価レベルを判定する判定ステップと、
前記判定ステップにおいて判定された評価レベルに関連付けられた作業規定を抽出する第２の抽出ステップと、
前記第２の抽出ステップにおいて抽出された作業規定を、前記作業の名称により定義される作業の順序に従って、プロトコールとして構成させる第２の構成ステップと、
前記第２の構成ステップにおいて構成されたプロトコールを、前記外部の表示装置に表示させる第２の表示制御ステップと
を含むことを特徴とするトレーニング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、各種作業における作業者の作業レベルを向上させるものであって、プロトコール（作業手順）の提供装置及びプロトコールの提供方法、評価モデルの生成方法及び評価モデルの生成装置、トレーニング方法、並びにプログラムに関する。

【背景技術】

【0002】

一般に、生化学・分子生物等に関する試験、検査の技能を、座学のみで習得、向上させることには限界があり、そのため、実験、実習等、実際に手を動かして作業を実施することが行われてきた。

【0003】

その実験、実習等では、作業者により、予め規定されたプロトコール（作業手順）に従って実施された作業が、その予め規定されたプロトコール通りに実施されているか否かで評価がなされ、作業者は、その評価の結果を踏まえ、その予め規定されたプロトコールに従って作業を繰り返し実施することで、自身の技能を高めることが行われてきた。

【0004】

しかしながら、この予め規定されたプロトコールでは、通常、作業内容が詳細に設定されており、その場合、ある作業レベルを有する作業者にとっては作業を実施しづらくなったり、また、ある作業者にとっては作業を端折ってしまったりすることも想定され、必ずしも、プロトコールが詳細に設定されることが、その作業者にとって良いプロトコールとは限らない。

【0005】

また、このように、良いプロトコールが作業者にとって異なるという前提において、この予め規定されたプロトコールに基づいて、継続して作業を実施しても（即ち、同一のプロトコールに基づいて、継続して作業を実施しても）作業者及び／又は管理者の目的に適うように、作業者の作業レベルを早期に向上させることができない可能性がある。

【0006】

そのため、作業者の作業レベルを早期に向上させる上で、その作業者にとって良いプロトコールを提示する必要があり、その良いプロトコールは、その作業において、作業を行う作業者（又は、作業を行うグループ）、作業者のレベルによって、プロトコールとして設定される作業工程の数を変動させて構成させることも必要とされる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記従来の問題に鑑みてなされたものであって、その課題は、作業の名称、作業を行う作業者（又は、作業を行うグループ）、作業者の評価レベルによりプロトコールとして設定される作業工程の数を変動させ、その作業者にとって良いプロトコールを提示することで、作業者及び／又は管理者の目的に適うように、作業者の作業レベルを早期に向上させることにある。

【課題を解決するための手段】

【0008】

即ち、本発明のプロトコールの提供装置は、作業者が実施する作業の名称、及び前記作業者が実施した作業の内容に関するデータを取得する取得手段と、過去に実施された作業の内容、及び管理者による当該作業の内容に対する評価結果に関するデータを教師データとして機械学習された評価モデルであって、下位のノードが評価レベルとして示され、当該下位のノードに作業規定が関連付けられた評価モデルを用いて、前記取得手段により取得された作業の内容に関するデータから評価レベルを判定する判定手段と、前記判定手段により判定された評価レベルに関連付けられた作業規定を抽出する抽出手段と、前記抽出手段により、抽出された作業規定を、前記作業の名称により定義される作業の順序に従って、プロトコールとして構成させる構成手段と、前記構成手段により構成されたプロトコールを、外部の表示装置に表示させる表示制御手段とを備えることを特徴とする。

【0009】

また、本発明の評価モデルの生成方法は、過去に実施された作業の内容、及び管理者による当該作業の内容に関する評価結果に関するデータを教師データとして取得する取得ステップと、当該教師データを用いて機械学習を実行することで、作業の内容に関するデータを入力値、当該入力値から導出される評価レベルを出力値とする評価モデルを生成する生成ステップとを含み、前記過去に実施された作業の内容において、所定の作業レベルを有する作業者により実施された作業手順であって、かつ同様の作業手順で実施された作業手順の数に応じて、作業手順が評価されることを特徴とする。

【0010】

また、本発明のトレーニング方法は、作業者が実施する作業の名称、作業レベル、及び前記作業者が実施した作業の内容に関するデータを取得する第１の取得ステップと、過去に実施された作業の内容、及び管理者による当該作業の内容に対する評価結果に関するデータを教師データとして機械学習された評価モデルであって、下位のノードが評価レベルとして示され、当該下位のノードに作業規定が関連付けられた評価モデルから、前記取得手段により取得された作業レベルに対応する評価レベルに関連付けられた作業規定を抽出する第１の抽出ステップと、前記第１の抽出ステップにおいて抽出された作業規定を、前記作業の名称により定義される作業の順序に従って、プロトコールとして構成させる第１の構成ステップと、前記構成ステップにおいて構成されたプロトコールを、外部の表示装置に表示させる第１の表示制御ステップと、前記第１の表示制御ステップにおいて表示させたプロトコールに従って、前記作業者が実施した作業の内容に関するデータを取得する第２の取得ステップと、前記評価モデルを用いて、前記第２の取得ステップにおいて取得された作業の内容に関するデータから評価レベルを判定する判定ステップと、前記判定ステップにおいて判定された評価レベルに関連付けられた作業規定を抽出する第２の抽出ステップと、前記第２の抽出ステップにおいて、抽出された作業規定を、前記作業の名称により定義される作業の順序に従って、プロトコールとして構成させる第２の構成ステップと、前記第２の構成ステップにおいて構成されたプロトコールを、前記外部の表示装置に表示させる第２の表示制御ステップとを含むことを特徴とする。

【発明の効果】

【0011】

作業の名称、作業を行う作業者（又は、作業を行うグループ）、作業者の評価レベルによりプロトコールとして設定される作業工程の数を変動させ、その作業者にとって良いプロトコールを提示することで、作業者及び／又は管理者の目的に適うように、作業者の作業レベルを早期に向上させることができる。

【図面の簡単な説明】

【0012】

【図1】バイオマイスターシステムの概略ブロック図である。

【図2】バイオマイスターシステムの機能構成図である。

【図3】バイオマイスターシステムにおける作業の手順を示すフローチャートである。

【図4】機械学習モデル（決定木）を示す図である。

【図5】作業規定を示す図である。

【図6】評価モデルに、作業規定を関連付ける処理を説明するための図である。

【図7】プロトコールを構成する処理を説明するための図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。

【0014】

また、本発明は、トレーニング（練習）全般に用いるトレーニングシステムに関するものであるが、以降では、特別な記載がない限り、生化学・分子生物学実験や細胞生物学的実験のトレーニングに用いるバイオマイスターシステムを例に説明する。

【0015】

図１は、本実施形態に係るバイオマイスターシステム１の概略ブロック図である。バイオマイスターシステム１は、図１に示されるように、作業者側の情報処理装置１０、管理者側の情報処理装置２０、及びアプリケーションサーバ３０を備える。

【0016】

作業者側の情報処理装置１０は、作業者がトレーニングするときの操作に用いられる情報処理装置である。管理者側の情報処理装置２０は、管理者に、作業者の作業内容（作業手順）及び作業内容の解析結果、評価結果を提示し、管理者からのフィードバックを踏まえ、評価モデルの生成（再生成）と、プロトコールの生成（再構成）を実行するときに用いられる情報処理装置である。アプリケーションサーバ３０は、アプリケーションデータを記憶し、作業者がトレーニングするときに、アプリケーションデータを加工し、作業者側の情報処理装置１０に接続される表示装置に表示させるサーバである。

【0017】

なお、プロトコールに関して詳細は後述するが、一般に、プロトコールに規定される作業工程数と作業の行い易さとは、トレードオフの関係にあり、具体的には、（プロトコールを詳細に設定することが好ましいように思われるが）、上述のように、作業内容が細かく設定され過ぎると、ある作業者にとっては作業を実施しづらくなったり、また、ある作業者にとっては作業を端折ってしまったりすることも想定され、必ずしも、作業手順が詳細に設定されたプロトコールが、良いプロトコールとは限らない。そのため、当該作業におけるプロトコールとして、どこまでの作業手順を設定（規定）するかが重要とされる。

【0018】

そこで、本実施形態に係るバイオマイスターシステム１では、プロトコールを、作業の名称（内容）、作業を行う作業者（又は、作業を行うグループ）、作業者の評価レベルに応じて設定し、そのプロトコールを作業者に提示する。そして、これにより、作業者及び／又は管理者の目的に適うように、作業者の作業レベルを早期に向上させるものである。

【0019】

その他、上述のように、本実施形態のトレーニングシステムを、生化学・分子生物学実験（具体的には、例えば、ＰＣＲ、ＲＴ－ＰＣＲ、ＤＮＡシークエンシング、プラスミドベクターの作成、電気泳動、ウェスタンブロッティング等）や細胞生物学的実験（具体的には、例えば、動物細胞培養、植物細胞培養、大腸菌培養、免疫染色、モノクロナール抗体作製、スクリーニング手法等）に関連するトレーニング（練習）に用いることを前提に、バイオマイスターシステムとして説明するが、本実施形態のトレーニングシステムは、飲料食品の製造工程（具体的には、例えば、麦酒、日本酒やワインの製造、お菓子作り等）、伝統工芸、医療分野での各種作業（具体的には、例えば、検査診断薬のキット、細胞製造）に関するトレーニングにも、当然に用いることができる。

【0020】

また、上述の作業工程数に関して、作業者側の情報処理装置１０に接続される表示装置に表示させるプロトコールとして設定される作業工程数は指示工程数として示され、そのプロトコールを確認した作業者が実際に実施した作業工程の数は実施工程数として示される。

【0021】

図２は、バイオマイスターシステム１の機能構成を示すブロック図である。バイオマイスターシステム１は、上述のように、作業者側の情報処理装置１０、管理者側の情報処理装置２０、及びアプリケーションサーバ３０を備える。以下、これらの装置、及びサーバに関して、その機能構成を順に説明する。

【0022】

作業者側の情報処理装置１０は、その機能として、主に、制御部１０２、操作情報取得部１０４、表示制御部１０６、操作データ記憶部１０８、作業手順（プロトコール）解析部１１０、送信部１１２、受信部１１４、評価モデル取得部１１６、評価部１１８を備える。

【0023】

制御部１０２は、作業者側の情報処理装置１０の各機能ブロックの処理を制御する機能ブロックである。操作情報取得部１０４は、作業者により、作業者側の情報処理装置１０に接続される操作装置を用いて操作（入力）された情報を取得する。表示制御部１０６は、作業者側の情報処理装置１０に接続される表示装置に、アプリケーションデータ（処理内容及び処理結果）、処理の解析結果、評価結果、研究用機器及び消耗品に関するデータ、並びにプロトコール等を表示するように制御する。

【0024】

操作データ記憶部１０８は、操作情報取得部１０４により取得された操作情報を記憶する。作業手順（プロトコール）解析部１１０は、操作データ記憶部１０８に記憶された作業者の作業内容に関するデータを解析する。具体的には、作業手順（プロトコール）解析部１１０は、例えば、プロトコールとして設定される作業工程数（指示工程数）と、作業者が実施した作業工程の数（実施工程数）を比較し、その差分（例えば、不足している作業工程、余分な作業工程等）を解析する。

【0025】

その他、作業手順（プロトコール）解析部１１０は、プロトコールから想定されるクリック回数と作業者が実施したクリック回数を比較したり、後述の目視による確認作業工程に関連して、目視で見ているポイントが、プロトコールで規定されている位置から外れてないか、目視で見ているポイントとプロトコールで規定されている位置との距離を測定したり、また、プロトコールで規定されている位置に、目視で見ているポイントが一定時間以上とどまっていないと、目視で確認したと判定し得ないために、プロトコールで規定されている位置に、目視で見ているポイントがとどまっている時間を測定したりする。

【0026】

なお、作業者の作業内容に関するデータの解析結果は、管理者側の情報処理装置２０、また、作業の内容及び／又は作業者の評価（レベル）に応じて、作業者側の情報処理装置１０に接続される表示装置に転送される。

【0027】

送信部１１２は、所定のネットワークを介して、管理者側の情報処理装置２０とアプリケーションサーバ３０に、通信可能に接続される。送信部１１２において、例えば、管理者側の情報処理装置２０に、作業者のＩＤ、作業者のレベル、作業の名称、作業内容に関するデータ、作業者の作業内容に関するデータの解析結果、及び評価結果を送信し、また、アプリケーションサーバ３０に操作（作業）内容を送信する。

【0028】

受信部１１４は、所定のネットワークを介して、管理者側の情報処理装置２０とアプリケーションサーバ３０に、通信可能に接続される。受信部１１４において、例えば、管理者側の情報処理装置２０から作業者のレベルに応じたプロトコール、及び後述の評価モデルを受信し、また、アプリケーションサーバ３０からアプリケーションデータを受信する。

【0029】

評価モデル取得部１１６は、管理者側の情報処理装置２０から評価モデルを取得する。評価部１１８は、評価モデル取得部１１６により取得された評価モデルを用いて、操作データ記憶部１０８に記憶された作業者の作業内容に関するデータに基づいて、作業者の作業内容を評価する。具体的には、例えば、作業時間、作業工程数（実施工程数）、作業を間違えた回数、プロトコールに指示されている容量に見合ったピペット或いはチップを使用している作業工程数、チューブ等の蓋を開け続けていた作業工程数、目視による確認作業工程数等が、作業者の作業内容として評価される。

【0030】

なお、評価結果として、作業者の評価レベルが判定される。ここでの判定に関して、その作業レベルを具体的な数値（例えば、評価レベル１、評価レベル２、評価レベル３等）やアルファベット等で判定される。なお、ここでの評価結果（判定結果）は、上述のように、送信部１１２により、管理者側の情報処理装置に送信される。また、作業手順（プロトコール）解析部１１０により作業者の作業内容に関するデータを解析した結果は、評価部１１８における評価で参照される。

【0031】

補足として、目視による確認作業工程数に関して、（一般に、作業者は、ポインティングデバイスで操作する場所（例えば、マウスの場合、クリックする場所）を見てしまう傾向にあるが）その作業において、作業者が見るべきところをしっかりと見ているかを確認する必要があり、その作業者が見るべきところをしっかりと見ているかを回数としてチェックするものである。

【0032】

例えば、チューブの中に水が入っており、ピペットで吸い取る作業が必要な場合を想定する。その場合、作業者は、ピペットの押す部分をクリックして操作するため、その部分を見てしまうが、実際に見るべきところはチューブに入っている水と、ピペットの先端の２つになる。したがって、目はチューブの中の水とピペットの先端を見て、ピペットの押す部分のクリックはノールックで行う必要がある。また、このチェックには、眼球の動きを解析するデバイス（例えば、図１の符号４０に示されるようなスマートグラス、視線計測器、視線追尾システム等）が用いられる。

【0033】

管理者側の情報処理装置２０は、その機能として、主に、制御部２０２、受信部２０４、プロトコール選択部２０６、表示制御部２０８、入力情報取得部２１０、評価モデル生成部２１２、作業規定記憶部２１４、作業規定設定部２１６、評価モデル記憶部２１８、評価モデル選択部２２０、プロトコール構成部２２２、プロコール記憶部２２４、送信部２２６を備える。

【0034】

制御部２０２は、管理者側の情報処理装置２０の各機能ブロックの処理を制御する機能ブロックである。受信部２０４は、所定のネットワークを介して、作業者側の情報処理装置１０とアプリケーションサーバ３０に、通信可能に接続される。受信部２０４において、例えば、作業者側の情報処理装置１０から、作業者のＩＤ、作業者のレベル、作業の名称、操作（作業）内容に関するデータ、作業者の作業内容に関するデータの解析結果、また、作業者により作業した内容の評価結果（評価レベル）を受信する。

【0035】

プロトコール選択部２０６は、プロコール記憶部２２４に記憶されたプロトコールの群（集合）から、作業者のＩＤ、作業者のレベル、及び作業の名称に基づいて、トレーニング対象とされるプロトコールを選択する。なお、プロトコールを一意に特定することができない場合には、作業者側の情報処理装置１０に接続される表示装置に複数のプロトコールを表示させ、作業者によりトレーニング対象とするプロトコールを選択できるようにすることもできる。

【0036】

表示制御部２０８は、管理者側の情報処理装置２０に接続される表示装置に、例えば、作業者の作業内容に関するデータ、作業者の作業内容に関するデータを解析した結果、評価結果（評価レベル）、作業規定に関する情報、評価モデル等を表示するように制御する。入力情報取得部２１０は、管理者により入力される、評価モデルに学習させる教師データ（即ち、作業者の作業内容、及び管理者が評価した評価結果）、評価モデルに関連付ける作業規定等を取得する。なお、管理者が評価した評価結果に関して、評価レベルであっても、良い作業内容と判断したものに相対的に高いポイントを付与するようなものであってもよい。

【0037】

評価モデル生成部２１２は、プロトコールを構成する作業工程単位で、評価モデルを生成する。上述のように、作業者の作業内容、及び管理者が評価した評価結果に関するデータを、教師データとして、機械学習モデルである評価モデルに入力することで、機械学習を実行させ、評価モデルを生成する（評価モデルを再構成させる）。ここでの機械学習に関して、ある所定のタイミングで実行しても、また、後述の図３に示される手順の過程で実施するようにしてもよい。また、機械学習を実行させる上で、教師データに関して、作業者の単位、作業の内容を適宜、必要に応じて読み込ませることができるものとする。

【0038】

機械学習モデルとしては、例えば、図４に示されるように、決定木等を用いることができる。ここで、決定木とは、所定の条件に従って分岐させることにより、データの推定（分類）を行う機械学習モデルである。決定木は、具体的には、特徴量（作業手順）が割り当てられたノードで構成され（即ち、各々のノードには、特徴量の条件（即ち、分岐させる評価項目）が設定され）、その分岐させる評価項目に従って、下位のノードのいずれかに分類されるように分岐させる。

【0039】

また、ここでの下位のノードが、作業者の作業内容の評価レベルとして設定される。作業者の作業内容、及び管理者が評価した評価結果を、１又は複数の作業者が実施した数に応じて、評価モデルに機械学習を実行させることで、評価モデルの各種パラメータをチューニングし、評価モデルを再構成させる。これにより、あるプロトコールに対して、同じ手順で作業を進めた場合でも、結果として、異なる評価がなされるケースが生じることになる。

【0040】

作業規定記憶部２１４は、作業毎に、その作業を詳細に細分化した規定を記憶する。なお、作業規定の一例として、試薬１をチューブに移す作業工程の作業規定を図５に示す。作業規定設定部２１６は、作業規定記憶部２１４に記憶された規定を、評価モデル生成部２１２により生成された評価モデルの下位のノード（評価レベル）に設定する。ここでの設定処理は、下位のノード、即ち、作業者の作業内容の評価レベルに対して、その評価レベルに対応する作業規定を設定する。なお、どの評価レベル（例えば、評価レベル１、評価レベル２、評価レベル３等）に対して、どの作業規定を設定するかは、事前に決定されているものとする。

【0041】

評価モデル記憶部２１８は、下位のノード（評価レベル）に対応する作業規定が関連付けられた評価モデルを、プロトコールを構成する作業工程単位で記憶する。評価モデル選択部２２０は、例えば、作業者により実施された作業のプロトコールを構成する作業工程の評価モデルを、作業工程単位で評価モデル記憶部２１８から選択する。

【0042】

プロトコール構成部２２２は、トレーニングを実施する作業者の作業レベル又は評価レベル、作業の名称を受信すると、先ず、評価モデル記憶部２１８から、その作業の名称に関する作業に構成される作業工程の評価モデルを作業工程の数に応じて読み込み、次に、その評価モデル毎に、受信した作業者の作業レベルに対応する評価レベル又は受信した評価レベルに対応する、その評価モデルの下位のノードを特定する。そして、下位のノード（評価レベル）が特定されると、さらに、その評価レベルに関連付けられている作業規定を取得する。最後に、その取得した作業規定を、その作業の手順に従って、設定する。

【0043】

補足として、プロトコール構成部２２２は、トレーニングの開始時には受信した作業レベルに対応する評価レベルに応じてプロトコールを構成し、トレーニングの継続時には受信した評価レベルに応じてプロトコールを構成する。また、作業レベルと評価レベルは、例えば、レベル１から１０までで同程度でレベル分けがなされており、そのレベルが１対１で対応するものとする。

【0044】

これにより、入力された作業の名称に関する作業のプロトコールが、同じく入力（受信）された作業者の作業レベル又は評価レベルに応じて、構成される。なお、評価モデルの下位のノード（評価レベル）であって、かつ評価レベルが高いノードに関しては、必ずしも特定の作業規定が関連付けられるわけではなく、「Null（ヌル）」が割り当てられるようにしてもよい。即ち、特に、作業規定が関連付けられなくするようにしてもよい。このように、作業規定を設定することで、プロトコールを構成させた場合に、作業者のレベルが高い場合に、その作業工程の作業規定がプロトコールとして構成されなくなり（そのプロトコールにおいて含ませないようにすることができ）、結果、そのプロトコールにおいて、定義される作業工程数（指示工程数）を少なくすることができる。

【0045】

プロコール記憶部２２４は、プロトコール構成部２２２により構成されたプロトコールを記憶する。送信部２２６は、所定のネットワークを介して、作業者側の情報処理装置とアプリケーションサーバに、通信可能に接続される。送信部２２６において、例えば、作業者側の情報処理装置１０に、作業者のレベルに応じたプロトコール及び評価モデルが送信される。

【0046】

アプリケーションサーバ３０は、その機能として、主に、アプリケーションデータ処理部３０２、アプリケーションデータ記憶部３０４を備える。アプリケーションデータ処理部３０２は、トレーニング時において、操作情報取得部１０４により取得された情報（即ち、作業者により、作業者側の情報処理装置１０に接続される操作装置を用いて操作（入力）された情報）に応じて、アプリケーションデータ記憶部３０４に記憶されているアプリケーションデータを加工して、作業者側の情報処理装置１０に接続される表示装置に表示させるアプリケーションデータを生成する。アプリケーションデータ記憶部３０４は、そのアプリケーションデータを記憶する。

【0047】

なお、バイオマイスターシステム１の機能構成は、必ずしも図２の構成に限定されることはない。したがって、例えば、作業者側の情報処理装置１０に実装している作業手順（プロトコール）解析部１１０、評価部１１８を、管理者側の情報処理装置２０に実装するようにしてもよい。

【0048】

図３は、作業者が、バイオマイスターシステム１を用いてトレーニングする際のバイオマイスターシステムにおける作業の手順を示すフローチャートである。なお、以下において、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。即ち、ここでは、フローチャートの各処理ステップＳ１－１～ステップＳ１－１４をＳ１－１～Ｓ１－１４と略記する。

【0049】

Ｓ１－１において、バイオマイスターシステム１は、操作情報取得部１０４により、作業者側の情報処理装置１０に接続される操作装置を用いて入力された、作業の名称、その作業者のＩＤ、及び作業者のレベルを取得する。なお、図３のフローチャートには図示していないが、その作業者のＩＤ、作業者のレベル及び作業の名称は、作業者側の制御部１０２により、操作データ記憶部１０８に記憶される。

【0050】

Ｓ１－２において、バイオマイスターシステム１は、プロトコール構成部２２２により、Ｓ１－１で取得した作業の名称の作業に関して、作業者の作業レベルに対応する評価レベルに応じたプロトコールを構成させる。なお、構成されたプロトコールは、管理者側の制御部２０２により、プロトコール記憶部２２４に記憶される。

【0051】

Ｓ１－３において、バイオマイスターシステム１は、プロトコール選択部２０６により、作業の名称、取得した作業者のＩＤ及び／又は作業者のレベルに応じて、プロトコール記憶部２２４から対象となるプロトコールを取得（選択）する。なお、選択されたプロトコールは、送信部２２６を介して、作業者側の情報処理装置１０に送信される。Ｓ１－４において、バイオマイスターシステム１は、作業者側の制御部１０２により、受信したプロトコールに応じたアプリケーションデータを、アプリケーションサーバ３０のアプリケーションデータ記憶部３０４から取得する。

【0052】

Ｓ１－５において、バイオマイスターシステム１は、作業者側の表示制御部１０６により、作業者側の情報処理装置１０に接続される表示装置に、プロトコール選択部２０６により選択されたプロトコールと、そのプロトコールに応じて取得されたアプリケーションデータを表示するように制御する。作業者は、表示装置に表示されたプロトコールと、アプリケーションデータを確認すると、トレーニングを開始する。

【0053】

Ｓ１－６において、バイオマイスターシステム１は、操作情報取得部１０４により、操作装置を用いて入力された、作業者の作業内容をデータとして取得し、さらに、作業者側の制御部１０２により、その取得したデータを操作データ記憶部１０８に記憶する。なお、ここでのデータは、具体的には、ポインティングデバイスの座標データ、クリックに関するデータ、眼球の動きを解析したデータ等のデータである。

【0054】

Ｓ１－７において、バイオマイスターシステム１は、作業手順（プロトコール）解析部１１０により、Ｓ１－４において選択されたプロトコールに規定されている作業手順に基づいて、作業者のトレーニングが完了しているか否かを判定する。そして、バイオマイスターシステム１は、作業手順（プロトコール）解析部１１０により作業者のトレーニングが完了していないと判定すると処理をＳ１－５に返し、また、作業者のトレーニングが完了していると判定すると処理をＳ１－８に移行する。なお、バイオマイスターシステム１は、操作情報取得部１０４により、作業者により操作装置を用いて入力された、作業が完了したことを示す通知（操作情報）を取得した場合も、処理をＳ１－８に移行する。

【0055】

Ｓ１－８において、バイオマイスターシステム１は、作業手順（プロトコール）解析部１１０により、Ｓ１－６で操作データ記憶部１０８に記憶された作業者の作業内容に関するデータを解析する。Ｓ１－９において、バイオマイスターシステム１は、評価モデル選択部２２０により、Ｓ１－３で選択されたプロトコールに応じた評価モデルを選択する。

【0056】

Ｓ１－１０において、バイオマイスターシステム１は、評価部１１８により、Ｓ１－９で選択した評価モデルを用いて、Ｓ１－６で操作データ記憶部１０８に記憶した作業者の作業内容に関するデータに基づいて、作業者の作業内容を評価する。バイオマイスターシステム１は、その際、必要に応じて、Ｓ１－８で作業手順（プロトコール）解析部１１０により解析した結果を参照する。

【0057】

Ｓ１－１１において、バイオマイスターシステム１は、評価モデル生成部２１２において、作業者の作業内容に関するデータ、Ｓ１－８で作業手順（プロトコール）解析部１１０により解析した結果、及び管理者が評価した評価レベルを教師データとして評価モデルに機械学習を実行させ、評価モデルを生成する（評価モデルを再構成させる）。ここでの機械学習に関して、例えば、管理者が、解析された結果を参考に、その作業者が行った作業手順から、どのような作業手順が良い作業手順なのかを検討し、さらに、その検討した結果を評価結果（例えば、評価レベル等）に反映し、評価モデルに読み込ませることで実行される。なお、Ｓ１－１１の処理は、必ずしも機械学習を用いて実行しなくてもよく、管理者が、解析された結果を参考に、評価モデルを再構成させるようにしてもよい。

【0058】

Ｓ１－１２において、バイオマイスターシステム１は、作業規定設定部２１６により、作業規定記憶部２１４に記憶された規定を、Ｓ１－１１で評価モデル生成部２１２により生成された評価モデルの下位のノードに関連付ける。Ｓ１－１３において、バイオマイスターシステム１は、プロトコール構成部２２２により、作業の名称、及びＳ１－１０で評価された作業者の評価レベルに基づいて、評価モデルからその評価レベルに関連付けられている作業規定を取得し、さらに、その取得した作業規定を、作業の手順に従って構成させる。

【0059】

Ｓ１－１４において、バイオマイスターシステム１は、作業者側の制御部１０２により、表示制御部１０６を介して、作業者側の情報処理装置１０に接続される表示装置に、トレーニングを継続するか否かを選択するポップアップを表示させ、その選択結果により、処理を分岐させる。作業者が作業を継続することを選択した場合、バイオマイスターシステム１は、作業者側の制御部１０２により、処理をＳ１－５に返し、Ｓ１－１０で評価された作業者の作業レベルに応じて再構成されたプロトコールを、作業者に提示する。また、作業者が作業を終了することを選択した場合、トレーニングは終了される。

【0060】

このように、同じ作業のプロトコールであって、かつ同じレベルのプロトコールであっても、実施された作業の数及び作業の内容に応じて評価モデルを再構成（再定義）することでプロトコールも再設定され、作業者は、次回に実施するトレーニングにおいて、その再設定されたプロトコールに従って、トレーニングを実施することができる。

【0061】

補足として、管理者は、評価モデルとプロトコールを再構成するにあたり考慮する、作業者のＩＤ（即ち、作業者）、実施された作業の数、及び作業の内容を調整することもできる。例えば、大学において、所定のクラス単位で実施される実習等が、これに該当する。具体的には、そのクラスの学生（作業者）のＩＤのみでグループを構成させ、かつ作業（トレーニング）の回数を５回として、さらに、作業において取り分けて重要とされない作業に関しては、評価モデルを生成する上で、参考データ（教師データ）から除外する等、調整することができる。このように、調整することで、所定のクラス単位で、習得すべき作業を一定のレベルで横並びに向上させることができる。

【0062】

それ以外に、１人の作業者が、繰り返し、トレーニングを実施することで、その作業者にとって、習得すべき作業を向上させることができるだけではなく、その作業者にとって、作業を行いやすい作業手順（プロトコール）を提供することができる。また、逆に、不特定多数の作業者に、作業を実施させることで、その作業におけるデファクトスタンダードとなるプロトコールを策定することもできる。

【0063】

その他、過去に実施された作業の内容において、所定の作業レベルを有する作業者により実施された作業手順において、同様の作業手順で実施された作業手順の数に応じて、作業手順を評価し、その評価結果を教師データとして機械学習を実行させることで、プロトコールを再設定し、提供することもできる（例えば、上級者レベルを有する作業者により実施された作業手順において、その作業手順と同じか、あるいは同じと判断される相同性のある作業手順で実施された作業手順が、上級者レベルを有する作業者の過半数であった場合に、その作業手順が好ましいものと評価し、その評価結果を教師データとして機械学習を実行させることで、プロトコールを再設定し、提供することもできる）。

【0064】

このように、作業者のＩＤ（即ち、作業者）、実施された作業の数、及び作業の内容を調整し、その実施された作業の内容を解析し、機械学習を実行することで、作業者及び／又は管理者の目的に適うプロトコールを生成し、提供することができる。そして、これにより、作業者の作業レベルを比較的、早期に向上させることができる。

【0065】

次に、図３のＳ１－１１からＳ１－１３までの処理に関して、説明を補足する。即ち、評価モデルにおける機械学習の実行から、プロトコールを再構成するまでの処理について、順に説明を補足する。上述のように、評価モデルにおいて、作業者の作業内容、及び管理者が評価した評価結果を教師データとして入力することで、機械学習が実行される。そして、機械学習が実行されると、その教師データに応じて、評価モデルが再構成される。

【0066】

例えば、決定木では、機械学習が実行されると、各種パラメータがチューニングされ、決定木が再構成される。また、このように、決定木が再構成されると、本実施形態に係るバイオマイスターシステムでは、同じ作業手順であっても、異なる評価レベルとして判定されるケースが生じることになる（即ち、例えば、機械学習実行前では高い評価レベルと判定されていた作業手順であっても、機械学習実行後では低い評価レベルと判定されるケースが生じることになる）。

【0067】

そして、機械学習が実行され、評価モデルが再構成されると、その再構成された評価モデルの下位ノード（評価レベル）に対して、その評価モデルに対応する作業規定を設定する。補足として、ここでの設定の様子を図６に示す。図６に示されるように、各々の評価レベルに対応する作業規定が事前に設定されており、それらの作業規定が評価モデルの下位ノード（評価レベル）に関連付けられる。

【0068】

具体的には、図６は、試薬を１０μＬ、移す場合の作業工程に関する決定木の下位ノードの各々に（即ち、評価レベル１－評価レベル４の各々に）、その評価レベルに対応する作業規定を関連付ける（即ち、評価レベル１に対しては「ＮＵＬＬ」、評価レベル２に対しては「試薬１をチューブに移す」、評価レベル３に対しては「１００μＬのピペットを３０μＬにセット」及び「試薬１をチューブに移す」、評価レベル４に対しては「手袋をはめ、机を拭く」、「１００μＬのピペットを３０μＬにセット」及び「試薬１をチューブに移す」を関連付ける）。

【0069】

なお、評価レベルに関して、図６にも示したように、評価レベルの高い方から順に、評価レベル１、評価レベル２、評価レベル３、評価レベル４というように定義され、さらに、関連付けられる作業規定の数も少なく設定される（即ち、評価レベル１に対しては０項目（「ＮＵＬＬ」）、評価レベル２に対しては１項目、評価レベル３に対しては２項目、評価レベル４に対しては３項目の作業規定が関連付けられる）。

【0070】

下位ノード（評価レベル）に対して、その評価モデルに対応する作業規定が設定されると、プロトコール構成部２２２は、トレーニング対象となる作業の名称から、その作業に含まれる１又は複数の作業工程を取得する。ここでは、その取得した作業工程が３つの作業工程として、その取得した３つの作業工程の各々に対応する評価モデルを評価モデル記憶部２１８から読み込むものとする。

【0071】

図７は、３つの作業工程（即ち、作業工程１、作業工程２、作業工程３）の各々に対応する評価モデルを読み込んだ場合を示している。次に、前回、実施した作業の作業内容、及び、その作業工程に対応する評価モデルにおいて、その作業者が実施した作業を評価する。図７に示す例では、作業工程１に対応する評価モデルにおいて「評価レベル３」、作業工程２に対応する評価モデルにおいて「評価レベル１」、作業工程３に対応する評価モデルにおいて「評価レベル２」と判定している。

【0072】

プロトコール構成部２２２は、その作業者が実施した作業を評価すると、その評価した評価レベルに関連付けられた作業規定を抽出する。図７に示す例では、作業工程１の「評価レベル３」に関連付けられた「Ｂ、Ｃ」、作業工程２の「評価レベル１」に関連付けれられた「NULL」、作業工程３の「評価レベル２」に関連付けられた「Ｃ」を抽出する。

【0073】

そして、評価レベルに関連付けられた作業規定を抽出すると、プロトコール構成部２２２は、その抽出した作業規定に基づいて、プロトコールを構成させる。図７に示す例では、作業の名称に関する作業の手順と抽出した作業工程１の「評価レベル３」に関連付けられた「Ｂ、Ｃ」、作業工程２の「評価レベル１」に関連付けれられた「NULL」、作業工程３の「評価レベル２」に関連付けられた「Ｃ」に基づいて、プロトコールを、「作業工程１のＢ、Ｃ ＋ 作業工程２のNULL（提示対象とする作業規定なし） ＋ 作業工程３のＣ」として構成させる。なお、この場合、作業者側の情報処理装置１０に接続される表示装置には、「作業工程１のＢ、作業工程１のＣ、作業工程３のＣ」がプロトコールとして表示される。

【0074】

以上のように、プロトコール構成部２２２は、作業の名称の作業に含まれる１又は複数の作業工程に対応する評価モデルにおける評価結果（評価レベル）に応じて、作業工程毎に、（１）作業者により入力された作業者のレベルよりも低い評価レベルに対応する作業規定、（２）作業者により入力された作業者のレベルと同じ評価レベルに対応する作業規定、（３）作業者により入力された作業者のレベルよりも高い評価レベルに対応する作業規定のいずれかを抽出し、それらをマージ（統合）することでプロトコールを構成させる。したがって、作業の名称が同じ作業であっても、作業工程の評価レベルが異なれば、異なるプロトコールが作業者側の情報処理装置１０に接続される表示装置に表示されることになる。

【0075】

具体的には、例えば、当該作業において十分な作業経験のある作業者が、トレーニングを実施し、予定通り、評価レベルとして高い評価レベルが得られた場合には、次回の作業において、当該作業における基本的な作業の手順のみが設定された簡易的なプロトコールが生成され、提示されることになる。

【0076】

作業者が（自身の作業レベルがわからず）作業レベルを入力しなかった場合や、詳細なプロトコールを提示された作業者がトレーニングを実施し、作業時間を短縮させることができた場合、作業の間違いを減らすことができた場合等には、次回の作業において、当該作業における作業の手順がやや詳細に設定された標準的なプロトコールが生成され、提示されることになる。

【0077】

また、標準的なプロトコールを提示され、トレーニングを実施した作業の評価レベルが低かった場合等には、次回の作業において、当該作業における作業の手順がかなり詳細に設定された詳細なプロトコール（即ち、具体的には、標準的なプロトコールで設定される作業工程数（指示工程数）より多くの作業工程数が設定されたプロトコール）が生成され、提示されることになる。以上のプロトコールの内容を踏まえ、参考までに、試薬を１０μL、移す場合の作業手順（プロトコール）に関する簡易的なプロトコール、標準的なプロトコール、詳細なプロトコールを下表１に示す。

【0078】

【表1】

【0079】

以上、説明したように、管理者が、所定のタイミングで、作業者が実施した作業の作業内容、及び作業者の作業内容に関するデータを解析した結果を確認し、その作業を評価した評価結果を作業内容と併せて教師データとして評価モデルに入力し、評価モデルに機械学習を実行させることで、評価モデルを再生成する（評価モデルを再構成させる）。また、管理者は、その教師データとして評価モデルに入力する際に、作業者の作業内容に関するデータを解析した結果を踏まえ、トレーニングを実施する対象者（即ち、個人、所定のグループ、クラス単位、不特定多数等）にとって、どのような作業手順が良い作業手順なのかを検討し、評価結果を検討した上で（例えば、評価レベルを調整した上で）、評価モデルに入力する。

【0080】

そして、このように、評価結果を検討して入力することで（評価レベルを調整して入力することで）、評価モデルにおける各種パラメータがチューニングされ、同じ作業手順であっても、チューニング前後で異なる下位ノードに分岐される場合が生じる（即ち、評価モデルが再構成されることになり、同じ作業手順であっても、異なる評価レベルとして判定されるケースが生じることになる）。

【0081】

加えて、この下位ノードの各々には、作業規定が関連付けられており、その評価モデルにおいて、下位ノードに関連付けられ、作業者の評価レベルに対応する作業規定を抽出し、さらに、それらを評価モデルの数に応じてマージすることで、プロトコールとして生成し、作業者に提示する。これにより、作業者が継続してトレーニングを実施する場合等に、管理者の意向（目的）に適うプロトコールを提示することができ、延いては、作業者の作業レベルを早期に向上させることができる。なお、評価モデルに評価レベルを調整して入力する際に、どのような作業手順が良い作業手順（プロトコール）なのかを管理者だけではなく、作業者と管理者が一緒に検討してもよく、また、作業者が自身の作業結果を踏まえて、作業者自身が検討するようにしてもよい。

【0082】

また、作業者側の情報処理装置１０、管理者側の情報処理装置２０の各々は、そのハードウエア構成として、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、操作装置インタフェース、ネットワークインタフェース等を備えるものとする。

【0083】

ＣＰＵ（Central Processing Unit）は、情報処理装置の各ブロックを統括的に制御する演算処理装置である。ＲＡＭ（Random Access Memory）は、ＣＰＵの演算処理結果等を一時的に記憶する記憶領域、各種制御プログラムのロード領域を備える。ＲＯＭ（Read Only Memory）は、各種プログラム（例えば、ブートプログラム等）を記憶する。ＨＤＤ（Hard Disk Drive）は、評価モデル、プロトコール等を記憶する。操作装置インタフェースは、操作装置との間でデータを入力（取得）するためのインタフェースである。ネットワークインタフェースは、有線又は無線によりＬＡＮ（Local Area Network）と接続され、外部機器との間で情報の入出力を可能にする。

【0084】

加えて、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介して装置に供給し、その装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し、実行する処理でも実現可能である。

【符号の説明】

【0085】

１０ 作業者側の情報処理装置
２０ 管理者側の情報処理装置
３０ アプリケーションサーバ
１０２ 制御部
１０４ 操作情報取得部
１０６ 表示制御部
１０８ 操作データ記憶部
１１０ 作業手順（プロトコール）解析部
１１２ 送信部
１１４ 受信部
１１６ 評価モデル取得部
１１８ 評価部
２０２ 制御部
２０４ 受信部
２０６ プロトコール選択部
２０８ 表示制御部
２１０ 入力情報取得部
２１２ 評価モデル生成部
２１４ 作業規定記憶部
２１６ 作業規定設定部
２１８ 評価モデル記憶部
２２０ 評価モデル選択部
２２２ プロトコール構成部
２２４ プロコール記憶部
２２６ 送信部
３０２ アプリケーションデータ処理部
３０４ アプリケーションデータ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】