ホーム > 特許ランキング > 日本光電工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2022-134429学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、推論システム、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022134429
(43)【公開日】2022-09-15
(54)【発明の名称】学習済みモデルの生成方法、学習済みモデルの生成システム、推論装置、推論システム、およびコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220908BHJP
G06T 7/20 20170101ALI20220908BHJP
A61B 10/00 20060101ALI20220908BHJP
G06N 3/08 20060101ALI20220908BHJP
G06N 20/00 20190101ALI20220908BHJP
【ＦＩ】
G06T7/00 350C
G06T7/20 300Z
A61B10/00 H
G06N3/08
G06N20/00
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021033548
(22)【出願日】2021-03-03
(71)【出願人】
【識別番号】000230962
【氏名又は名称】日本光電工業株式会社
(74)【代理人】
【識別番号】110001416
【氏名又は名称】特許業務法人 信栄特許事務所
(72)【発明者】
【氏名】佐野 宙人
(72)【発明者】
【氏名】松沢 航
(72)【発明者】
【氏名】川島 拓也
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096CA04
5L096FA09
5L096FA69
5L096GA30
5L096HA02
5L096HA11
5L096KA04
(57)【要約】
【課題】被検者がせん妄を発症しているかの評価を、個人の主観の寄与度を低下させつつ自動化する。
【解決手段】被検者４１が映り込んだ動画像に対応する第一データＤ１が取得される。第一データＤ１に基づいて、前記動画像に写り込んだ被検者４１の身体における複数の特徴点の相対位置の経時変化に対応する第二データが生成される。前記動画像に基づいてなされた被検者４１がせん妄を発症しているかの判断結果を示す第三データＤ３が生成される。第二データＤ２と第三データＤ３とを用いてニューラルネットワークに学習させることにより、被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルＭが生成される。
【選択図】図２
【解決手段】被検者４１が映り込んだ動画像に対応する第一データＤ１が取得される。第一データＤ１に基づいて、前記動画像に写り込んだ被検者４１の身体における複数の特徴点の相対位置の経時変化に対応する第二データが生成される。前記動画像に基づいてなされた被検者４１がせん妄を発症しているかの判断結果を示す第三データＤ３が生成される。第二データＤ２と第三データＤ３とを用いてニューラルネットワークに学習させることにより、被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルＭが生成される。
【選択図】図２
【特許請求の範囲】
【請求項1】
被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルの生成方法であって、
被検者が映り込んだ動画像に対応する第一データを取得するステップと、
前記第一データに基づいて、前記動画像に写り込んだ前記被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成するステップと、
前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データを生成するステップと、
前記第二データと前記第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するステップと、
を含んでいる、
学習済みモデルの生成方法。
被検者が映り込んだ動画像に対応する第一データを取得するステップと、
前記第一データに基づいて、前記動画像に写り込んだ前記被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成するステップと、
前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データを生成するステップと、
前記第二データと前記第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するステップと、
を含んでいる、
学習済みモデルの生成方法。
【請求項2】
少なくとも人体の四肢について設定された前記複数の特徴点同士が所定の関係に基づいて接続された骨格モデルを前記第一データに適用することにより、前記第二データが生成される、
請求項１に記載の学習済みモデルの生成方法。
請求項１に記載の学習済みモデルの生成方法。
【請求項3】
前記複数の特徴点が顔面に設定された表情検出モデルを前記第一データに適用することにより、前記第二データが生成される、
請求項１または２に記載の学習済みモデルの生成方法。
請求項１または２に記載の学習済みモデルの生成方法。
【請求項4】
前記被検者から取得された生体情報、前記被検者の体動情報、および前記被検者の音声情報の少なくとも一つに対応する第四データを取得するステップを含んでおり、
前記第四データも用いて前記ニューラルネットワークに学習させることにより、前記学習済みモデルを生成する、
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法。
前記第四データも用いて前記ニューラルネットワークに学習させることにより、前記学習済みモデルを生成する、
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法。
【請求項5】
前記被検者の背景情報の少なくとも一つに対応する第五データを取得するステップを含んでおり、
前記第五データも用いて前記ニューラルネットワークに学習させることにより、前記学習済みモデルを生成する、
請求項１から４のいずれか一項に記載の学習済みモデルの生成方法。
前記第五データも用いて前記ニューラルネットワークに学習させることにより、前記学習済みモデルを生成する、
請求項１から４のいずれか一項に記載の学習済みモデルの生成方法。
【請求項6】
被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルを生成するシステムであって、
被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成する画像処理装置と、
前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するモデル生成装置と、
を備えている、
学習済みモデルの生成システム。
被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成する画像処理装置と、
前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するモデル生成装置と、
を備えている、
学習済みモデルの生成システム。
【請求項7】
被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルを生成するシステムにおいて実行可能なコンピュータプログラムであって、
実行されることにより、
前記システムに含まれる画像処理装置が、被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成し、
前記システムに含まれるモデル生成装置が、前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成する、
コンピュータプログラム。
実行されることにより、
前記システムに含まれる画像処理装置が、被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成し、
前記システムに含まれるモデル生成装置が、前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成する、
コンピュータプログラム。
【請求項8】
被検者が映り込んだ動画像に対応する画像データに基づいて生成された当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを受け付ける入力インターフェースと、
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得するプロセッサと、
前記推論データを出力する出力インターフェースと、
を備えている、
推論装置。
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得するプロセッサと、
前記推論データを出力する出力インターフェースと、
を備えている、
推論装置。
【請求項9】
前記入力インターフェースは、前記被検者から取得された生体情報、前記被検者の体動情報、および前記被検者の音声情報の少なくとも一つを含む補足データを受け付け、
前記プロセッサは、前記挙動データに加えて前記補足データを請求項４に記載の学習済みモデルの生成方法により生成された学習済みモデルに入力することにより、前記推論データを取得する、
請求項８に記載の推論装置。
前記プロセッサは、前記挙動データに加えて前記補足データを請求項４に記載の学習済みモデルの生成方法により生成された学習済みモデルに入力することにより、前記推論データを取得する、
請求項８に記載の推論装置。
【請求項10】
前記入力インターフェースは、前記被検者の背景情報を含む背景データを受け付け、
前記プロセッサは、前記挙動データに加えて前記背景データを請求項５に記載の学習済みモデルの生成方法により生成された学習済みモデルに入力することにより、前記推論データを取得する、
請求項８または９に記載の推論装置。
前記プロセッサは、前記挙動データに加えて前記背景データを請求項５に記載の学習済みモデルの生成方法により生成された学習済みモデルに入力することにより、前記推論データを取得する、
請求項８または９に記載の推論装置。
【請求項11】
推論装置のプロセッサにより実行可能なコンピュータプログラムであって、
実行されることにより、前記推論装置は、
被検者が映り込んだ動画像に対応する画像データに基づいて生成された当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを受け付け、
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、
前記推論データを出力する、
コンピュータプログラム。
実行されることにより、前記推論装置は、
被検者が映り込んだ動画像に対応する画像データに基づいて生成された当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを受け付け、
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、
前記推論データを出力する、
コンピュータプログラム。
【請求項12】
被検者が映り込んだ動画像に対応する画像データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを生成する画像処理装置と、
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、当該推論データを出力する推論装置と、
を備えている、
推論システム。
請求項１から３のいずれか一項に記載の学習済みモデルの生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、当該推論データを出力する推論装置と、
を備えている、
推論システム。
【請求項13】
前記画像データに対応する動画像に基づいて医療従事者によりなされる前記被検者がせん妄を発症しているかについての判断結果を入力するユーザインターフェースと、
前記判断結果に基づいて前記第三データを生成する教師データ生成装置と、
を備えている、
請求項１２に記載の推論システム。
前記判断結果に基づいて前記第三データを生成する教師データ生成装置と、
を備えている、
請求項１２に記載の推論システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルを生成する方法、および当該学習済みモデルを生成するシステムに関連する。本発明は、当該システムにおいて実行可能なコンピュータプログラムにも関連する。本発明は、当該推論装置、および当該推論装置のプロセッサにより実行可能なコンピュータプログラムにも関連する。本発明は、前記動画像を処理する画像処理装置と当該推論装置とを含む推論システムにも関連する。
【背景技術】
【0002】
特許文献１は、被検者が映り込んだ画像に基づいて当該被検者がせん妄を発症しているかを検知する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１４－５２８３１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、被検者がせん妄を発症しているかの評価を、個人の主観の寄与度を低下させつつ自動化することである。
【課題を解決するための手段】
【0005】
上記の目的を達成するための第一態様は、被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルの生成方法であって、
被検者が映り込んだ動画像に対応する第一データを取得するステップと、
前記第一データに基づいて、前記動画像に写り込んだ前記被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成するステップと、
前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データを生成するステップと、
前記第二データと前記第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するステップと、
を含んでいる。
被検者が映り込んだ動画像に対応する第一データを取得するステップと、
前記第一データに基づいて、前記動画像に写り込んだ前記被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成するステップと、
前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データを生成するステップと、
前記第二データと前記第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するステップと、
を含んでいる。
【0006】
上記の目的を達成するための第二態様は、被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルを生成するシステムであって、
被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成する画像処理装置と、
前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するモデル生成装置と、
を備えている。
被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成する画像処理装置と、
前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成するモデル生成装置と、
を備えている。
【0007】
上記の目的を達成するための第三態様は、被検者が映り込んだ動画像に基づいて当該被検者がせん妄を発症している確率を推論する推論装置に適用される学習済みモデルを生成するシステムにおいて実行可能なコンピュータプログラムであって、
実行されることにより、
前記システムに含まれる画像処理装置が、被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成し、
前記システムに含まれるモデル生成装置が、前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成する。
実行されることにより、
前記システムに含まれる画像処理装置が、被検者が映り込んだ動画像に対応する第一データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データを生成し、
前記システムに含まれるモデル生成装置が、前記第二データと前記動画像に基づいてなされた前記被検者がせん妄を発症しているかの判断結果を示す第三データとを用いてニューラルネットワークに学習させることにより、学習済みモデルを生成する。
【0008】
せん妄は、集中治療室における患者の多くに認められ、死亡率の増加、入院の長期化、長期認知障害の増加に繋がる。しかしながら、発症の徴候は臨床において過小診断される傾向にある。ＣＡＭ－ＩＣＵ（Confusion Assessment Method for the Intensive Care Unit）などの標準的評価手法が用意されてはいるものの、依然として評価者個人の主観に頼らざるを得ない実情がある。
【0009】
第一態様から第三態様の各々に係る構成によれば、被検者の挙動とせん妄の発症に係る判断結果のセットを大量に用意してニューラルネットワークに学習させることにより、個人の主観の寄与度を低下させつつせん妄発症に係る判断を自動化可能なアルゴリズムとして学習済みモデルを生成できる。このような学習済みモデルを推論装置に実装することにより、被検者がせん妄を発症しているかの評価を、個人の主観の寄与度を低下させつつ自動化できる。
【0010】
また、教師データとしての第三データとともにニューラルネットワークに入力される第二データは、撮像装置により取得された動画像より抽出された被検者の身体における複数の特徴点の相対位置の経時変化に対応しているので、動画像に対応する第一データよりも情報量が大幅に低減されている。したがって、処理負荷の増大を抑制しつつ大量の被検者から得られたデータセットを用いた学習を効率化できる。
【0011】
上記の目的を達成するための第四態様は、推論装置であって、
被検者が映り込んだ動画像に対応する画像データに基づいて生成された当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを受け付ける入力インターフェースと、
第一態様に係る生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得するプロセッサと、
前記推論データを出力する出力インターフェースと、
を備えている。
被検者が映り込んだ動画像に対応する画像データに基づいて生成された当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを受け付ける入力インターフェースと、
第一態様に係る生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得するプロセッサと、
前記推論データを出力する出力インターフェースと、
を備えている。
【0012】
上記の目的を達成するための第五態様は、推論装置のプロセッサにより実行可能なコンピュータプログラムであって、
実行されることにより、前記推論装置は、
被検者が映り込んだ動画像に対応する画像データに基づいて生成された当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを受け付け、
第一態様に係る生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、
前記推論データを出力する。
実行されることにより、前記推論装置は、
被検者が映り込んだ動画像に対応する画像データに基づいて生成された当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを受け付け、
第一態様に係る生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、
前記推論データを出力する。
【0013】
上記の目的を達成するための第六態様は、推論システムであって、
被検者が映り込んだ動画像に対応する画像データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを生成する画像処理装置と、
第一態様に係る生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、当該推論データを出力する推論装置と、
を備えている。
被検者が映り込んだ動画像に対応する画像データに基づいて、当該動画像に写り込んだ当該被検者の身体における複数の特徴点の相対位置の経時変化に対応する挙動データを生成する画像処理装置と、
第一態様に係る生成方法により生成された学習済みモデルに前記挙動データを入力することにより、当該被検者がせん妄を発症している確率に対応する推論データを取得し、当該推論データを出力する推論装置と、
を備えている。
【0014】
第四態様から第六態様の各々に係る構成によれば、学習済みモデルが実装された推論装置には、撮像装置により取得された動画像に映り込んだ被検者の身体における複数の特徴点の相対位置の経時変化を示す挙動データが入力される。挙動データは、動画像に対応する画像データよりも情報量が大幅に低減されている。したがって、被検者がせん妄を発症している確率を推論する処理負荷の増大を抑制できる。
【0015】
第一態様から第六態様の各々に係る構成によれば、被検者が映り込んだ動画像自体ではなく、当該動画像より抽出された被検者の身体における複数の特徴点の相対位置の経時変化に係る情報が学習および推論に用いられるので、被検者のプライバシーに配慮できる。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
添付の図面を参照しつつ、実施形態の例を以下詳細に説明する。
【0018】
図１は、一実施形態に係る推論システム１０の構成を例示している。推論システム１０は、被検者２０が映り込んだ動画像に基づいて被検者２０がせん妄を発症している確率を推論するように構成されている。
【0019】
推論システム１０は、撮像装置１１を含んでいる。撮像装置１１は、被検者２０が映り込んだ動画像を取得し、当該動画像に対応する画像データＩＭを出力する装置である。撮像装置１１の例としては、少なくとも可視波長域に感度を有するビデオカメラが挙げられる。近赤外波長域に感度を有するビデオカメラを用いれば、夜間であっても被検者２０の動画像を取得できる。距離画像カメラや熱画像カメラなども用いられうる。
【0020】
推論システム１０は、画像処理装置１２を含んでいる。画像処理装置１２は、画像データＩＭに基づいて、撮像装置１１により取得された動画像に映り込んだ被検者２０の身体における複数の特徴点の相対位置の経時変化に対応する挙動データＢＨを生成するように構成されている。
【0021】
具体的には、画像処理装置１２は、動画像を構成している複数のフレーム画像の各々に映り込んでいる被検者２０の身体における所定の特徴点を検出する処理を、画像データＩＭに対して行なう。図１に示される例においては、複数の特徴点として、被検者２０の両手と頭部が検出されている。複数の特徴点の位置を複数のフレーム画像について取得することにより、特徴点同士の相対位置の経時変化を示す情報が得られる。挙動データＢＨは、当該情報を示している。
【0022】
推論システム１０は、推論装置１３を含んでいる。推論装置１３は、入力インターフェース１３１、プロセッサ１３２、および出力インターフェース１３３を備えている。
【0023】
入力インターフェース１３１は、画像処理装置１２により生成された挙動データＢＨを受け付けるように構成されている。挙動データＢＨの受け付けは、有線通信または無線通信を通じて画像処理装置１２からリアルタイムに行なわれてもよいし、挙動データＢＨが保存された記憶媒体を介して非リアルタイムに行なわれてもよい。
【0024】
プロセッサ１３２は、学習済みモデルＭに挙動データＢＨを入力することにより、被検者２０がせん妄を発症している確率を取得する処理を行なうように構成されている。学習済みモデルＭは、後述するニューラルネットワークを用いた機械学習を通じて生成された推論アルゴリズムである。学習済みモデルＭは、被検者２０の挙動に対応する挙動データＢＨを入力として、被検者２０がせん妄を発症している確率を推論結果として出力するように構成されている。推論結果は、推論された確率に対応するスコア（例えば１から５までの値のいずれか）などに対応付けられてもよい。
【0025】
プロセッサ１３２は、学習済みモデルＭにより推論された確率に対応する推論データＩＦを出力インターフェース１３３から出力するように構成されている。
【0026】
推論システム１０は、通知装置１４を備えている。通知装置１４は、推論装置１３から受け付けた推論データＩＦに基づいて、学習済みモデルＭにより推論された結果をユーザに通知するように構成されている。通知は、視覚的通知、聴覚的通知、および触覚的通知の少なくとも一つを用いて行なわれる。
【0027】
上記の学習済みモデルＭは、図２に例示されるモデル生成システム３０により生成される。すなわち、モデル生成システム３０は、上記の推論装置１３に適用される学習済みモデルＭを生成するように構成される。
【0028】
モデル生成システム３０は、撮像装置３１を含んでいる。撮像装置３１は、被検者が映り込んだ動画像を取得し、当該動画像に対応する第一データＤ１を出力する装置である。撮像装置３１の例としては、少なくとも可視波長域に感度を有するビデオカメラが挙げられる。近赤外波長域に感度を有するビデオカメラを用いれば、夜間であっても被検者の動画像を取得できる。距離画像カメラや熱画像カメラなども用いられうる。
【0029】
モデル生成システム３０は、画像処理装置３２を含んでいる。画像処理装置３２は、第一データＤ１に基づいて、撮像装置３１により取得された動画像に映り込んだ被検者の身体における複数の特徴点の相対位置の経時変化に対応する第二データＤ２を生成するように構成されている。
【0030】
具体的には、画像処理装置３２は、動画像を構成している複数のフレーム画像の各々に映り込んでいる被検者の身体における所定の特徴点を検出する処理を、第一データＤ１に対して行なう。図２に示される例においては、複数の特徴点として、被検者４１の両手と頭部が検出されている。複数の特徴点の位置を複数のフレーム画像について取得することにより、特徴点同士の相対位置の経時変化を示す情報が得られる。第二データＤ２は、当該情報を示している。
【0031】
第一データＤ１の取得と第二データＤ２の生成は、複数の被検者４１～４ｎについて行なわれる。なお、異なる時点で取得された同一被検者についての第一データＤ１は、別の被検者から取得されたものとして扱う。結果として、ｎ人分の第一データＤ１が取得され、ｎ人分の第二データＤ２が生成される。ｎ人分の第一データＤ１は、同じ撮像装置３１により取得されてもよいし、相違する複数の撮像装置３１により取得されてもよい。
【0032】
なお、本来は三次元空間内で定義される複数の特徴点同士の位置関係に係る情報を二次元画像内の相対位置に係る情報に変換するために、適宜の正規化処理が用いられうる。また、複数の撮像装置３１によりｎ人分の第一データＤ１が取得される場合、装置間で異なる撮像環境を正規化するための処理も適宜になされうる。
【0033】
複数の被検者４１～４ｎの各々について生成された第二データＤ２は、いずれの被検者から取得された第一データＤ１に基づいて生成されたのかを示す情報を含むように構成される。
【0034】
モデル生成システム３０は、教師データ生成装置３３を含んでいる。教師データ生成装置３３は、撮像装置３１により取得された動画像に基づいてなされた複数の被検者４１～４ｎの各々がせん妄を発症しているかの判断結果を示す第三データＤ３を生成するように構成されている。
【0035】
図３に例示されるように、教師データ生成装置３３は、入力インターフェース３３１、ユーザインターフェース３３２、プロセッサ３３３、および出力インターフェース３３４を備えている。
【0036】
入力インターフェース３３１は、撮像装置３１から出力された第一データＤ１を受け付けるように構成されている。
【0037】
ユーザインターフェース３３２は、第一データＤ１に対応する動画像に基づいて医療従事者５０によりなされる当該動画像に映り込んだ被検者がせん妄を発症しているかの判断ＪＧを受け付けるように構成されている。判断ＪＧは、発症しているか否かの二択として提供されてもよいし、所定の規格に準拠したせん妄評価スコアとして提供されてもよい。当該規格の例としては、ＣＡＭ－ＩＣＵ（Confusion Assessment Method for the Intensive Care Unit）、ＩＣＤＳＣ（Intensive Care Delirium Screening Checklist）などが挙げられる。判断ＪＧの入力は、キーボードやマウスなどの入力装置を介して行なわれてもよいし、音声認識技術やジェスチャ認識技術を通じて行なわれてもよい。
【0038】
せん妄患者に詳しい医療従事者であれば、動画像のみを参照して被検者がせん妄を発症しているかの判断ＪＧを入力すればよい。しかしながら、動画像を参照するだけではせん妄を発症しているかの判断が難しいケースが多い。したがって、医療従事者は、被検者の動画像に加えて当該被検者の背景情報（投薬情報、性別、年齢等）も参照してせん妄を発症しているかの判断ＪＧを入力することが好ましい。
【0039】
プロセッサ３３３は、ユーザインターフェース３３２を通じて入力された判断ＪＧを第一データＤ１に関連付けて第三データＤ３を生成するように構成されている。結果として、ｎ人分の第一データＤ１に基づいて、ｎ人分の第三データＤ３が生成される。すなわち、第三データＤ３は、いずれの被検者から取得された第一データＤ１に基づいて当該被検者がせん妄を発症しているかの判断がなされたかを示す情報を含むように構成される。
【0040】
出力インターフェース３３４は、プロセッサ３３３により生成された第三データＤ３を出力するように構成されている。
【0041】
図２と図３に例示されるように、モデル生成システム３０は、モデル生成装置３４を含んでいる。モデル生成装置３４は、入力インターフェース３４１とプロセッサ３４２、および出力インターフェース３４３を備えている。
【0042】
入力インターフェース３４１は、画像処理装置３２から第二データＤ２を受け付け、教師データ生成装置３３から第三データＤ３を受け付けるように構成されている。
【0043】
プロセッサ３４２は、第二データＤ２と第三データＤ３を用いてニューラルネットワークに学習させることにより、学習済みモデルＭを生成するように構成されている。学習済みモデルＭは、撮像装置により取得された動画像に映り込んだ被検者の身体における複数の特徴点の相対位置の経時変化に対応するデータを入力とし、当該被検者がせん妄を発症している確率に対応するデータを出力とする処理アルゴリズムとして生成される。
【0044】
ニューラルネットワークに学習させる処理としては、周知の教師あり学習に係る手法が適宜に使用される。すなわち、学習済みモデルＭの生成にあたっては、第三データＤ３が教師データとして用いられる。第三データＤ３は、被検者の身体における複数の特徴点の相対位置がどのような経時変化をした場合に当該被検者がせん妄を発症している（あるいは発症していない）と判断されうるのかを教示している。同じ第一データＤ１に係る情報を有する第二データＤ２と第三データＤ３を特定することにより、共通の動画像に由来する第二データＤ２と第三データＤ３とが関連付けられる。
【0045】
出力インターフェース３４３は、プロセッサ３４２により生成された学習済みモデルＭを、推論装置１３に実装可能な形態で出力するように構成されている。
【0046】
せん妄は、集中治療室における患者の多くに認められ、死亡率の増加、入院の長期化、長期認知障害の増加に繋がる。しかしながら、発症の徴候は臨床において過小診断される傾向にある。ＣＡＭ－ＩＣＵなどの標準的評価手法が用意されてはいるものの、依然として評価者個人の主観に頼らざるを得ない実情がある。
【0047】
上記のような構成によれば、被検者の挙動とせん妄の発症に係る判断結果のセットを大量に用意してニューラルネットワークに学習させることにより、個人の主観の寄与度を低下させつつせん妄発症に係る判断を自動化可能なアルゴリズムとして学習済みモデルＭを生成できる。このような学習済みモデルＭを推論装置１３に実装することにより、被検者がせん妄を発症しているかの評価を、個人の主観の寄与度を低下させつつ自動化できる。
【0048】
また、教師データとともにニューラルネットワークに入力される第二データＤ２は、撮像装置３１により取得された動画像より抽出された被検者の身体における複数の特徴点の相対位置の経時変化に対応しているので、動画像に対応する第一データＤ１よりも情報量が大幅に低減されている。したがって、処理負荷の増大を抑制しつつ大量の被検者から得られたデータセットを用いた学習を効率化できる。
【0049】
図１を参照して説明したように、学習済みモデルＭが実装された推論装置１３には、撮像装置１１により取得された動画像に映り込んだ被検者２０の身体における複数の特徴点の相対位置の経時変化を示す挙動データＢＨが入力される。挙動データＢＨは、動画像に対応する画像データＩＭよりも情報量が大幅に低減されている。したがって、被検者２０がせん妄を発症している確率を推論する処理負荷の増大を抑制できる。
【0050】
さらに、被検者が映り込んだ動画像自体ではなく、当該動画像より抽出された被検者の身体における複数の特徴点の相対位置の経時変化に係る情報が学習および推論に用いられるので、被検者のプライバシーに配慮できる。
【0051】
モデル生成システム３０の画像処理装置３２は、図４に例示される骨格モデルＳＭを第一データＤ１に適用することにより第二データＤ２を生成するように構成されうる。本明細書において用いられる「骨格モデルを適用する」という表現は、撮像装置３１により取得された動画像に映り込んだ被検者の身体から当該骨格モデルにおいて規定された複数の特徴点を検出し、当該複数の特徴点同士を当該骨格モデルにおいて規定された複数の骨格接続線で接続することを意味する。
【0052】
骨格モデルＳＭは、左肩特徴点ＬＵ１、左肘特徴点ＬＵ２、および左手首特徴点ＬＵ３を含んでいる。左肩特徴点ＬＵ１は、モデル人体の左肩に対応する点である。左肘特徴点ＬＵ２は、モデル人体の左肘に対応する点である。左手首特徴点ＬＵ３は、モデル人体の左手首に対応する点である。左肩特徴点ＬＵ１と左肘特徴点ＬＵ２は、骨格接続線により接続されている。左肘特徴点ＬＵ２と左手首特徴点ＬＵ３は、骨格接続線により接続されている。
【0053】
骨格モデルＳＭは、右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、および右手首特徴点ＲＵ３を含んでいる。右肩特徴点ＲＵ１は、モデル人体の右肩に対応する点である。右肘特徴点ＲＵ２は、モデル人体の右肘に対応する点である。右手首特徴点ＲＵ３は、モデル人体の右手首に対応する点である。右肩特徴点ＲＵ１と右肘特徴点ＲＵ２は、骨格接続線により接続されている。右肘特徴点ＲＵ２と右手首特徴点ＲＵ３は、骨格接続線により接続されている。
【0054】
骨格モデルＳＭは、左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、および左足首特徴点ＬＬ３を含んでいる。左腰特徴点ＬＬ１は、モデル人体の腰の左部に対応する点である。左膝特徴点ＬＬ２は、モデル人体の左膝に対応する点である。左足首特徴点ＬＬ３は、モデル人体の左足首に対応する点である。左腰特徴点ＬＬ１と左膝特徴点ＬＬ２は、骨格接続線により接続されている。左膝特徴点ＬＬ２と左足首特徴点ＬＬ３は、骨格接続線により接続されている。
【0055】
骨格モデルＳＭは、右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３を含んでいる。右腰特徴点ＲＬ１は、モデル人体の腰の右部に対応する点である。右膝特徴点ＲＬ２は、モデル人体の右膝に対応する点である。右足首特徴点ＲＬ３は、モデル人体の右足首に対応する点である。右腰特徴点ＲＬ１と右膝特徴点ＲＬ２は、骨格接続線により接続されている。右膝特徴点ＲＬ２と右足首特徴点ＲＬ３は、骨格接続線により接続されている。
【0056】
骨格モデルＳＭは、顔特徴点Ｆと首特徴点Ｎを含んでいる。顔特徴点Ｆは、モデル人体の顔に対応する点である。首特徴点Ｎは、モデル人体の首に対応する点である。首特徴点Ｎは、顔特徴点Ｆ、左肩特徴点ＬＵ１、右肩特徴点ＲＵ１、左腰特徴点ＬＬ１、および右腰特徴点ＲＬ１の各々と骨格接続線により接続されている。
【0057】
このような骨格モデルＳＭを第一データＤ１に適用することにより、被検者の挙動をより正確に描写する第二データＤ２を生成できる。このような第二データＤ２が用いられる結果として、被検者がせん妄を発症している確率の推論が高められた学習済みモデルＭを生成できる。
【0058】
図４に例示された骨格モデルＳＭは、例示に過ぎない。検出に供される被験者の挙動に応じて、特徴点および骨格接続線の数や位置が適宜に定められた周知の骨格モデルが用いられうる。但し、モデル生成システム３０の画像処理装置３２において第二データＤ２を生成するために用いられる骨格モデルと、推論システム１０の画像処理装置１２において挙動データＢＨを生成するために用いられる骨格モデルとは、同じであることを要する。すなわち、画像処理装置３２において図４の骨格モデルＳＭが用いられる場合、画像処理装置１２は、画像データＩＭに骨格モデルＳＭを適用することによって挙動データＢＨを生成する。これにより、骨格モデルＳＭを用いた学習内容が反映された推論結果を、学習済みモデルＭに提供させることができる。
【0059】
上記の骨格モデルＳＭに加えてあるいは代えて、図５に例示される表情検出モデルＥＭが使用されうる。表情検出モデルＥＭは、モデル顔面上に設定された複数の特徴点の相対位置の経時変化に応じて表情を検出する周知の画像認識技術において用いられる。すなわち、第二データＤ２を生成するための複数の特徴点は、被検者の顔面に設定されうる。図５においては、黒丸が各特徴点を表している。
【0060】
せん妄の評価において被検者の表情は重要な要素であることが知られている。上記のような構成によれば、被検者の表情に係る情報を含む第二データＤ２を用いて学習済みモデルＭを生成することにより、撮像装置１１により取得される被検者２０の表情の動画像に基づくせん妄の評価を自動化できる。
【0061】
図２に例示されるように、モデル生成システム３０は、センサ３５を含みうる。センサ３５は、被検者の生体情報、被検者の体動、および被検者の音声の少なくとも一つに対応する第四データＤ４を出力するように構成されている。生体情報の例としては、体温、血圧、心拍数、経皮的動脈血酸素飽和度（ＳｐＯ２）などが挙げられる。被検者の体動は、被検者あるいは被検者が使用するベッドなどに装着された加速度センサや振動センサなどにより実現されうる。被検者の音声は、撮像装置３１により取得されてもよいし、被検者あるいは被検者が使用するベッドなどに装着された集音マイクなどにより取得されてもよい。
【0062】
センサ３５による各種情報の検出は、撮像装置３１による当該被検者の動画像の取得と並行して行なわれる。結果として、ｎ人分の第一データＤ１の取得と並行して、ｎ人分の第四データＤ４が生成される。第四データＤ４は、いずれの被検者から取得された第一データＤ１とともに生成されたのかを示す情報を含むように構成される。
【0063】
第四データＤ４は、モデル生成装置３４に入力される。すなわち、モデル生成装置３４の入力インターフェース３４１は、第四データＤ４も受け付けるように構成されうる。
【0064】
モデル生成装置３４のプロセッサ３４２は、第二データＤ２と第三データＤ３に加えて第四データＤ４も用いてニューラルネットワークに学習をさせるように構成されうる。同じ第一データＤ１に係る情報を有する第二データＤ２、第三データＤ３、および第四データＤ４を特定することにより、共通の動画像に由来する第二データＤ２、第三データＤ３、および第四データＤ４が相互に関連付けられる。
【0065】
このような構成によれば、学習時における被検者の挙動とせん妄評価の関連付けを強めることができる。特に動画像から被検者の身体における複数の特徴点を正確に検出できない場合において、センサ３５を通じて取得された情報が補足的役割を果たしうる。
【0066】
この場合、推論システム１０は、上記のセンサ３５と同じ構成を有するセンサ１５を含むように構成される。センサ１５は、第四データＤ４に対応する補足データＳＰを出力するように構成される。補足データＳＰは、推論装置１３の入力インターフェース１３１により受け付けられる。推論装置１３のプロセッサ１３２は、挙動データＢＨに加えて補足データＳＰを学習済みモデルＭに入力することにより、推論データＩＦを取得するように構成される。
【0067】
このような構成によれば、第四データＤ４も用いた学習内容が反映された推論結果を、学習済みモデルＭに提供させることができる。
【0068】
上記のセンサ３５に加えてあるいは代えて、モデル生成システム３０は、背景情報入力装置３６を含みうる。背景情報入力装置３６は、医療従事者から被検者の背景情報の入力を受け付けるユーザインターフェースとして提供される。背景情報の例としては、被検者の性別、年齢、身長、体重、既往歴、投薬情報などが挙げられる。背景情報入力装置３６は、背景情報を含む第五データＤ５を生成するように構成される。
【0069】
背景情報入力装置３６による第五データＤ５の生成は、撮像装置３１による当該被検者の動画像の取得に先立ち、あるいは並行して行なわれる。結果として、ｎ人分の第一データＤ１の取得に伴い、ｎ人分の第五データＤ５が生成される。第五データＤ５は、いずれの被検者から取得された第一データＤ１とともに生成されたのかを示す情報を含むように構成される。
【0070】
第五データＤ５は、モデル生成装置３４に入力される。すなわち、モデル生成装置３４の入力インターフェース３４１は、第五データＤ５も受け付けるように構成されうる。
【0071】
モデル生成装置３４のプロセッサ３４２は、第二データＤ２と第三データＤ３に加えて第五データＤ５も用いてニューラルネットワークに学習をさせるように構成されうる。同じ第一データＤ１に係る情報を有する第二データＤ２、第三データＤ３、および第五データＤ５を特定することにより、共通の動画像に由来する第二データＤ２、第三データＤ３、および第五データＤ５が相互に関連付けられる。
【0072】
このような構成によれば、被検者の挙動に直接的に現れない情報を、ニューラルネットワークによる学習に反映させることができる。
【0073】
この場合、推論システム１０は、上記の背景情報入力装置３６と同じ構成を有する背景情報入力装置１６を含むように構成される。背景情報入力装置１６は、第五データＤ５に対応する背景データＢＧを出力するように構成される。背景データＢＧは、推論装置１３の入力インターフェース１３１により受け付けられる。推論装置１３のプロセッサ１３２は、挙動データＢＨに加えて背景データＢＧを学習済みモデルＭに入力することにより、推論データＩＦを取得するように構成される。
【0074】
このような構成によれば、第五データＤ５も用いた学習内容が反映された推論結果を、学習済みモデルＭに提供させることができる。
【0075】
【0076】
例えば、推論システム１０の撮像装置１１から出力される画像データＩＭは、モデル生成システム３０の教師データ生成装置３３によって受け付けられうる。この場合、医療従事者５０は、画像データＩＭに対応する動画像に映り込んだ被検者２０がせん妄を発症しているかの判断ＪＧを、ユーザインターフェース３３２に入力しうる。判断ＪＧの入力に際しては、推論装置１３による推論結果を参照することの要否は問われない。すなわち、教師データ生成装置３３は、画像データＩＭに基づいて第三データＤ３を生成する。
【0077】
画像データＩＭに基づいて生成された第三データＤ３は、モデル生成装置３４の入力インターフェース３４１に受け付けられる。他方、推論システム１０の画像処理装置１２により生成された挙動データＢＨもまた、入力インターフェース３４１に受け付けられる。
【0078】
このような構成によれば、モデル生成装置３４のプロセッサ３４２は、推論システム１０の撮像装置１１により取得された動画像に基づいて生成された挙動データＢＨと第三データＤ３の組合せを用いてせん妄評価に係る新たな学習をニューラルネットワークにさせることができる。挙動データＢＨは推論装置１３による推論に供されているので、新たな学習を通じて、推論装置１３による推論アルゴリズムの強化あるいは修正がなされうる。
【0079】
なお、推論システム１０の画像処理装置１２から出力された挙動データＢＨがモデル生成装置３４に入力される構成に代えて、推論システム１０の撮像装置１１から出力された画像データＩＭがモデル生成システム３０の画像処理装置３２に入力される構成も採用されうる。この場合、画像データＩＭに基づいて生成された第二データＤ２と第三データＤ３がニューラルネットワークによる学習に供される。
【0080】
上記のような機能を有する教師データ生成装置３３のプロセッサ３３３、モデル生成装置３４のプロセッサ３４２、および推論装置１３のプロセッサ１３２の各々は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している非一時的なコンピュータ可読媒体の一例である。汎用マイクロプロセッサは、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。当該コンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされてから汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している非一時的なコンピュータ可読媒体の一例である。
【0081】
上記のような機能を有する教師データ生成装置３３のプロセッサ３３３、モデル生成装置３４のプロセッサ３４２、および推論装置１３のプロセッサ１３２の各々は、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶しているコンピュータ可読媒体の一例である。上記のような機能を有する教師データ生成装置３３のプロセッサ３３３、モデル生成装置３４のプロセッサ３４２、および推論装置１３のプロセッサ１３２の各々は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。
【0082】
教師データ生成装置３３とモデル生成装置３４が相互に独立した装置として提供される場合、教師データ生成装置３３の出力インターフェース３３４とモデル生成装置３４の入力インターフェース３４１は、有線通信または無線通信を許容するように接続されうる。すなわち、出力インターフェース３３４と入力インターフェース３４１は、物理的な通信インターフェースでありうる。
【0083】
教師データ生成装置３３とモデル生成装置３４は、同一の装置内において実現される機能的実体であってもよい。この場合、教師データ生成装置３３のプロセッサ３３３の機能の少なくとも一部は、モデル生成装置３４のプロセッサ３４２によって実現されうる。また、出力インターフェース３３４と入力インターフェース３４１は、論理的なインターフェースでありうる。
【0084】
推論装置１３と通知装置１４が相互に独立した装置として提供される場合、出力インターフェース１３３は、両者の間のデータ通信を仲介する物理的なインターフェースでありうる。プロセッサ１３２と通知装置１４は、同一の制御装置内において実現される機能的実体であってもよい。この場合、出力インターフェース１３３は、論理的なインターフェースでありうる。
【0085】
上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。
【0086】
図１に例示される推論システム１０において取り扱われる画像データＩＭ、挙動データＢＨ、補足データＳＰ、および背景データＢＧの各々は、不図示の記憶装置に格納されうる。当該記憶装置は、半導体メモリ装置、ハードディスクドライブ装置、磁気テープ装置などにより実現されうる。当該記憶装置は、推論装置１３内に設けられてもよいし、推論装置１３が通信ネットワークを介してデータ通信が可能であるクラウドサーバ装置内に設けられてもよい。記憶装置がクラウドサーバ装置内に設けられる場合、当該通信ネットワークに接続可能な複数の撮像装置１１、複数の画像処理装置１２、複数のセンサ１５、および複数の背景情報入力装置１６の各々からデータのアップロードや編集が可能とされうる。
【0087】
図２に例示されるモデル生成システム３０において取り扱われる第一データＤ１、第二データＤ２、第三データＤ３、第四データＤ４、および第五データＤ５の各々は、不図示の記憶装置に格納されうる。当該記憶装置は、半導体メモリ装置、ハードディスクドライブ装置、磁気テープ装置などにより実現されうる。当該記憶装置は、推論装置１３内に設けられてもよいし、モデル生成装置３４が通信ネットワークを介してデータ通信が可能であるクラウドサーバ装置内に設けられてもよい。記憶装置がクラウドサーバ装置内に設けられる場合、当該通信ネットワークに接続可能な複数の撮像装置３１、複数の画像処理装置３２、複数の教師データ生成装置３３、複数のセンサ３５、および複数の背景情報入力装置３６の各々からデータのアップロードや編集が可能とされうる。
【符号の説明】
【0088】
１０：推論システム、１２：画像処理装置、１３：推論装置、１３１：入力インターフェース、１３２：プロセッサ、１３３：出力インターフェース、３０：モデル生成システム、３２：画像処理装置、３３：教師データ生成装置、３４：モデル生成装置、４１～４ｎ：被検者、Ｄ１：第一データ、Ｄ２：第二データ、Ｄ３：第三データ、Ｄ４：第四データ、Ｄ５：第五データ、ＢＧ：背景データ、ＢＨ、挙動データ、ＥＭ：表情検出モデル、ＩＦ：推論データ、ＩＭ：画像データ、Ｍ：学習済みモデル、ＳＭ：骨格モデル、ＳＰ：補足データ
【図1】
【図2】
【図3】
【図4】
【図5】