特開 2024-115374 評価方法、評価装置、および、コンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024115374

(43)【公開日】2024-08-26

(54)【発明の名称】評価方法、評価装置、および、コンピュータープログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240819BHJP

   G06V 10/82 20220101ALI20240819BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023021039

(22)【出願日】2023-02-14

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】漆畑 祐輝

(72)【発明者】

【氏名】渡邊 亮基

(72)【発明者】

【氏名】倉沢 光

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA05

5L096BA17

5L096CA04

5L096DA02

5L096GA51

5L096HA11

5L096JA03

5L096KA04

(57)【要約】

【課題】機械学習モデルを用いる個別の目的に応じた学習セットを準備する必要が生じ得る。
【解決手段】対象データの評価を行う評価方法は、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、対象データとは異なる種類の汎用学習データと、汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する工程と、基準特徴スペクトルを取得する工程と、対象特徴スペクトルを取得する工程と、基準特徴スペクトルと対象特徴スペクトルとの類似度であるスペクトル類似度を算出する工程と、スペクトル類似度を用いて対象データの評価を行う工程と、を備える。
【選択図】図８

【特許請求の範囲】

【請求項1】

対象データの評価を行う評価方法であって、
（ａ）複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する工程と、
（ｂ）前記工程（ａ）の後に、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が予め定めた基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとしての基準特徴スペクトルを取得する工程と、
（ｃ）前記工程（ａ）の後に、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する工程と、
（ｄ）前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出する工程と、
（ｅ）前記スペクトル類似度を用いて前記対象データの評価を行う工程と、を備える、評価方法。

【請求項2】

請求項１に記載の評価方法であって、
前記工程（ｅ）は、２以上のクラスに関するクラス分類によって前記対象データの評価を行い、
前記基準評価は、基準クラスに分類された評価であり、
前記工程（ｅ）は、
前記スペクトル類似度が予め定めた閾値以上である場合には、前記対象データを前記基準クラスに分類し、
前記スペクトル類似度が前記閾値未満である場合には、前記対象データを前記基準クラスとは異なるクラスに分類する、評価方法。

【請求項3】

請求項１に記載の評価方法であって、
複数のベクトルニューロン層は、入力されるデータである前記対象データの側から順に、中間層である畳み込みベクトルニューロン層と、出力層である分類ベクトルニューロン層とを有し、
前記特定層は、前記中間層である、評価方法。

【請求項4】

請求項１に記載の評価方法であって、
前記汎用学習データと前記基準データと前記対象データとはそれぞれ、時系列に並んだ複数のフレーム画像によって構成された動画像であり、
前記評価方法は、さらに、
（ｆ）基準対象物の動きを撮像して取得された原基準動画像を構成する複数の基準フレーム画像を用いて、前記基準対象物を抽出した処理後基準フレーム画像を複数生成することで、時系列に並んだ複数の前記処理後基準フレーム画像を前記基準データとして生成する工程を有する、評価方法。

【請求項5】

請求項１に記載の評価方法であって、
前記汎用学習データと前記基準データと前記対象データとはそれぞれ、時系列に並んだ複数のフレーム画像によって構成された動画像であり、
前記評価方法は、さらに、
（ｇ）評価対象物の動きを撮像して取得された原対象動画像を構成する複数の対象フレーム画像を用いて、前記評価対象物を抽出した処理後対象フレーム画像を複数生成することで、時系列に並んだ複数の前記処理後対象フレーム画像を前記対象データとして生成する工程を有する、評価方法。

【請求項6】

対象データの評価を行う評価装置であって、
複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する学習実行部と、
学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとして基準特徴スペクトルを取得する第１取得部と、
前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する第２取得部と、
前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出部と、
前記スペクトル類似度を用いて前記対象データの評価を行う評価部と、を備える、評価装置。

【請求項7】

対象データの評価を行うコンピューターに実行させるコンピュータープログラムであって、
（ａ）複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する機能と、
（ｂ）前記機能（ａ）を実行した後に、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとしての基準特徴スペクトルを取得する機能と、
（ｃ）前記機能（ａ）を実行した後に、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する機能と、
（ｄ）前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出する機能と、
（ｅ）前記スペクトル類似度を用いて前記対象データの評価を行う機能と、を備える、コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、対象データを評価する技術に関する。

【背景技術】

【0002】

従来、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルが知られている（特許文献１）。学習済み機械学習モデルでは、評価基準となる既知特徴スペクトルと、対象データの対象特徴スペクトルと、を比較したスペクトル類似度が算出される。既知特徴スペクトルや対象特徴スペクトルは、機械学習モデルのベクトルニューロン層の出力から取得される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－５６６１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、機械学習モデルの学習に用いる学習セットのデータは、スペクトル類似度を算出するための既知特徴スペクトルの元となるデータと同じである。よって、従来の技術では、機械学習モデルの学習のために、既知特徴スペクトルの元となるデータ、すなわち機械学習モデルを用いる個別の目的に応じた学習セットを準備する必要が生じ得る。

【課題を解決するための手段】

【0005】

本開示の第１の形態によれば、対象データの評価を行う評価方法が提供される。この評価方法は、（ａ）複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する工程と、（ｂ）前記工程（ａ）の後に、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が予め定めた基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとしての基準特徴スペクトルを取得する工程と、（ｃ）前記工程（ａ）の後に、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する工程と、（ｄ）前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出する工程と、（ｅ）前記スペクトル類似度を用いて前記対象データの評価を行う工程と、を備える。

【0006】

本開示の第２の形態によれば、対象データの評価を行う評価装置が提供される。この評価装置は、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する学習実行部と、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとして基準特徴スペクトルを取得する第１取得部と、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する第２取得部と、前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出部と、前記スペクトル類似度を用いて前記対象データの評価を行う評価部と、を備える。

【0007】

本開示の第３の形態によれば、対象データの評価を行うコンピューターに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する機能と、（ｂ）前記機能（ａ）を実行した後に、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとしての基準特徴スペクトルを取得する機能と、（ｃ）前記機能（ａ）を実行した後に、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する機能と、（ｄ）前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出する機能と、（ｅ）前記スペクトル類似度を用いて前記対象データの評価を行う機能と、を備える。

【図面の簡単な説明】

【0008】

【図1】実施形態における評価システムを示す図。

【図2】機械学習モデルの構成を示す説明図。

【図3】機械学習モデルの学習工程を示すフローチャート。

【図4】学習セット群を説明するための図。

【図5】基準データを説明するための図。

【図6】特徴スペクトルを示す説明図。

【図7】基準特徴スペクトル群の構成を示す説明図。

【図8】評価装置が実行する評価工程のフローチャート。

【図9】ステップＳ１３０の詳細を示すフローチャート。

【図10】スペクトル類似度の第１の算出方法を示す説明図。

【図11】算出式（ｃ１）の概念図。

【図12】スペクトル類似度の第２の算出方法を示す説明図。

【図13】第３の算出方法を示す説明図。

【図14】本実施形態の評価装置の評価結果を示す図。

【発明を実施するための形態】

【0009】

Ａ．実施形態：
図１は、実施形態における評価システム５を示す図である。この評価システム５は様々な対象データＩＤＥを評価する装置であり、例えば、機器や部品などの製品が正常かどうかを評価したり、人の対象部位の疲労度を評価したりする。本実施形態では、対象データＩＤＥは、動作中のロボットを撮像した動画像である。評価システム５は、動画像の評価を行うことで対象であるロボットの動作が正常であるかどうかを評価する。

【0010】

評価システム５は、評価装置１００と、センサー装置４００と、学習セット群ＬＳＧとを備える。センサー装置４００は、評価対象となる対象データＩＤＥや対象データＩＤＥの元となる原評価データを取得するための装置である。センサー装置４００は、例えば、撮像装置であったり、超音波を発信して反射した反射波を受信する超音波装置であったりする。本実施形態では、センサー装置４００は、動画像や静止画像を撮像できるカメラである。センサー装置４００は、有線や無線によって評価装置１００とデータ通信可能である。学習セット群ＬＳＧは、後述する機械学習モデル２００の学習に用いられる。学習セット群ＬＳＧは、例えば、評価装置１００とは異なる外部記憶装置に記憶されていてもよいし、評価装置１００の記憶装置１２０に記憶されていてもよい。外部記憶装置は、有線や無線によって評価装置１００とデータ通信可能である。学習セット群ＬＳＧの詳細は後述する。

【0011】

評価装置１００は、プロセッサー１１０と、記憶装置１２０と、インターフェイス回路１３０と、インターフェイス回路１３０に接続された入力デバイス１４０及び表示部１５０と、を備える。評価装置１００は、例えば、パーソナルコンピューターである。評価装置１００は、記憶装置１２０に記憶された学習済み機械学習モデル２００を用いて、対象データＩＤＥの評価を行う。

【0012】

プロセッサー１１０は、記憶装置１２０に記憶された各種プログラムを実行することで、学習実行部１１２と、データ処理部１１３と、スペクトル取得部１１４と、評価処理部１１８とを有する。

【0013】

学習実行部１１２は、学習セット群ＬＳＧを構成する複数の学習セットＬＳを機械学習モデル２００に入力して、機械学習モデル２００の学習処理を実行する。機械学習モデル２００の詳細については後述する。

【0014】

データ処理部１１３は、センサー装置４００などによって撮像され取得されたデータに対して画像処理などのデータ処理を実行する。データ処理１１３は、例えば、センサー装置４００によって取得された動画像の各フレーム画像に対して、エッジ抽出処理や二値化処理や対象物を抽出する処理などを実行できる。

【0015】

スペクトル取得部１１４は、学習済み機械学習モデル２００に対して入力データＩＤを入力することで、学習済み機械学習モデル２００の特定層の出力から特徴スペクトルＳｐを取得する。スペクトル取得部１１４は、第１取得部１１５と、第２取得部１１６とを有する。特徴スペクトルＳｐの詳細は後述する。

【0016】

第１取得部１１５は、入力データＩＤの一例である基準データＩＤＳを学習済み機械学習モデル２００に対して入力して、学習済み機械学習モデル２００の特定層の出力から特徴スペクトルＳｐとしての基準特徴スペクトルＫＳｐを取得する。第１取得部１１５は、取得した基準特徴スペクトルＫＳｐを、記憶装置１２０に記憶する。本実施形態では、複数の基準特徴スペクトルＫＳｐが、基準特徴スペクトル群ＫＳｐＧとして記憶装置１２０に記憶されている。基準データＩＤＳは、入力データＩＤの他の一例である対象データＩＤＥと同じ種類である。つまり、基準データＩＤＳと対象データＩＤＥとは、データの生成元となる対象の種類が同じである。本実施形態では、対象データＩＤＥがロボットの動作を撮像した動画像であるので、基準データＩＤＳも同種のロボットの動作を撮像した動画像である。つまり、本実施形態において、基準データＩＤＳおよび対象データＩＤＥは、時系列に並んだ複数のフレーム画像によって構成された動画像である。また基準特徴スペクトルＫＳｐの生成元となる基準データＩＤＳは、予め定めた基準評価を示すデータである。予め定めた基準評価は、対象データＩＤＥの評価を行うための基準となる指標であればよく、本実施形態では基準クラスの一例である「正常」を示すラベルＬＢによって表されている。つまり、本実施形態における基準評価は、ロボットの動作が正常であるという評価を示し、基準クラスに分類された評価である。

【0017】

第２取得部１１６は、学習済み機械学習モデル２００に対して、評価対象の対象データＩＤＥを入力して、特定層の出力から特徴スペクトルＳｐとしての対象特徴スペクトルＥＳｐを取得する。第２取得部１１６は、取得した対象特徴スペクトルＥＳｐを記憶装置１２０に記憶する。

【0018】

評価処理部１１８は、対象データＩＤＥの評価を行う。評価処理部１１８は、評価結果を表示部１５０に表示する。評価処理部１１８は、算出部１１７と、評価部１１９とを有する。

【0019】

算出部１１７は、基準特徴スペクトルＫＳｐと対象特徴スペクトルＥＳｐとの類似度であるスペクトル類似度ＲＳｐを算出する。スペクトル類似度ＲＳｐの算出方法については後述する。

【0020】

評価部１１９は、算出されたスペクトル類似度ＲＳｐを用いて対象データＩＤＥの評価を行う。例えば、評価部１１９は、２以上のクラスに関するクラス分類によって対象データＩＤＥの評価を行う。本実施形態では、評価部１１９は、スペクトル類似度ＲＳｐが予め定めた閾値以上である場合には、対象データＩＤＥを基準クラスである「正常」に分類する。一方で、評価部１１９は、スペクトル類似度ＲＳｐが閾値未満である場合には、対象データＩＤＥを基準クラスとは異なるクラスに分類する。異なるクラスは、例えば「異常」のラベルが付されたクラスである。

【0021】

図２は、機械学習モデル２００の構成を示す説明図である。この機械学習モデル２００は、入力データＩＤの側から順に、畳み込み層２２０と、中間層の一つであるプライマリーベクトルニューロン層２３０と、中間層の一つである第１畳み込みベクトルニューロン層２４０と、中間層の一つである第２畳み込みベクトルニューロン層２５０と、出力層である分類ベクトルニューロン層２６０とを備える。これらの層２２０～２６０のうち、畳み込み層２２０が最も下位の層であり、分類ベクトルニューロン層２６０が最も上位の層である。以上のように、機械学習モデル２００は、複数のベクトルニューロン層２３０，２４０，２５０，２６０を有するベクトルニューラルネットワーク型の機械学習モデルである。以下の説明では、層２２０，２３０，２４０，２５０，２６０をそれぞれ、「Conv層２２０」、「PrimeVN層２３０」、「ConvVN1層２４０」、「ConvVN2層２５０」、「ClassVN層２６０」とも呼ぶ。

【0022】

図２の例では２つの畳み込みベクトルニューロン層２４０，２５０を用いているが、畳み込みベクトルニューロン層の数は任意であり、畳み込みベクトルニューロン層を省略してもよい。但し、１つ以上の畳み込みベクトルニューロン層を用いることが好ましい。

【0023】

各層２２０～２６０の構成は、以下のように記述できる。
・Conv層２２０：Conv[32,5,2]
・PrimeVN層２３０：PrimeVN[16,1,1]
・ConvVN1層２４０：ConvVN1[12,3,2]
・ConvVN2層２５０：ConvVN2[6,3,1]
・ClassVN層２６０：ClassVN[M,4,1]
・ベクトル次元ＶＤ：VD=16
これらの各層の記述において、括弧前の文字列はレイヤー名であり、括弧内の数字は、順に、チャンネル数、カーネルの表面サイズ、及び、ストライドである。例えば、Conv層２２０のレイヤー名は「Conv」であり、チャンネル数は３２、カーネルの表面サイズは５×５、ストライドは２である。図２では、各層の下にこれらの記述が示されている。各層の中に描かれているハッチングを付した矩形は、隣接する上位層の出力ベクトルを算出する際に使用されるカーネルの表面サイズを表している。本実施形態では、入力データＩＤは、例えば動画像を構成する単位期間ｔｍにおけるフレーム画像の集合なので、カーネルの表面サイズも２次元である。なお、各層の記述で用いたパラメーターの値は例示であり、任意に変更可能である。入力データＩＤが、２９×２９ピクセルの３０枚のフレーム画像で構成されている場合には、入力データＩＤのチャンネル数は２９×２９×３０となる。また、入力データＩＤのチャンネル数に関わらずConv層２２０による畳み込み処理によって、一定サイズの出力がなされる。

【0024】

Conv層２２０は、スカラーニューロンで構成された層である。他の層２３０～２６０は、ベクトルニューロンで構成された層である。ベクトルニューロンは、ベクトルを入出力とするニューロンである。上記の記述では、個々のベクトルニューロンの出力ベクトルの次元は１６で一定である。以下では、スカラーニューロン及びベクトルニューロンの上位概念として「ノード」という語句を使用する。

【0025】

図２では、Conv層２２０について、ノード配列の平面座標を規定する第１軸ｘ及び第２軸ｙと、奥行きを表す第３軸ｚとが示されている。また、Conv層２２０のｘ，ｙ，ｚ方向のサイズが１３，１３，３２であることが示されている。ｘ方向のサイズとｙ方向のサイズを「解像度」と呼ぶ。ｚ方向のサイズは、チャンネル数である。これらの３つの軸ｘ，ｙ，ｚは、他の層においても各ノードの位置を示す座標軸として使用する。但し、図２では、Conv層２２０以外の層では、これらの軸ｘ，ｙ，ｚの図示が省略されている。

【0026】

よく知られているように、畳み込み後の解像度Ｗ１は、次式で与えられる。
W1=Ceil{(W0-Wk+1)/S} （Ａ１）
ここで、Ｗ０は畳み込み前の解像度、Ｗｋはカーネルの表面サイズ、Ｓはストライド、Ceil｛Ｘ｝はＸの小数点以下を切り上げる演算を行う関数である。
図２に示した各層の解像度は、入力データＩＤの解像度を２９とした場合の例であり、実際の各層の解像度は入力データＩＤのサイズに応じて適宜変更される。

【0027】

ClassVN層２６０は、Ｍ個のチャンネルを有している。Ｍは、機械学習モデル２００で判別されるクラスの数である。本実施形態において、Ｍは１０であり、２つのクラス判定値Class_1～Class_10が出力される。なお、ClassVN層２６０のチャンネル数Ｍは、２以上の任意の整数に設定可能である。

【0028】

図２では、更に、各層２２０，２３０，２４０，２５０，２６０における部分領域Ｒｎが描かれている。部分領域Ｒｎの添え字「ｎ」は、各層の符号である。例えば、部分領域Ｒ２２０は、Conv層２２０における部分領域を示す。「部分領域Ｒｎ」とは、各層において、第１軸ｘの位置と第２軸ｙとの位置で規定される平面位置（ｘ，ｙ）で特定され、第３軸ｚに沿った複数のチャンネルを含む領域である。部分領域Ｒｎは、第１軸ｘ、第２軸ｙ、および第３軸ｚに対応する「Ｗｉｄｔｈ」×「Ｈｅｉｇｈｔ」×「Ｄｅｐｔｈ」の次元を有する。本実施形態では、１つの「部分領域Ｒｎ」に含まれるノードの数は「１×１×デプス数」、すなわち「１×１×チャンネル数」である。

【0029】

図２に示すように、例えば、ConvVN2層２５０の出力から特徴スペクトルＳｐが取得される。本開示において、スペクトル類似度ＲＳｐの算出に使用されるベクトルニューロン層を、「特定層」とも呼ぶ。特定層としては、ConvVN2層２５０以外の中間層でもよく、また出力層であるClassVN層２６０であってもよく、各ベクトルニューロン層２３０，２４０，２５０，２６０の２以上の層であってもよい。

【0030】

図３は、機械学習モデル２００の学習工程を示すフローチャートである。学習工程では、ステップＳ１０において、複数の学習セットＬＳが準備される。図４は、学習セット群ＬＳＧを説明するための図である。学習セット群ＬＳＧは、複数の学習セットＬＳによって構成されている。各学習セットＬＳは、汎用学習データＬＤと、汎用学習データＬＤに対応するラベルＬＢとを有する。

【0031】

汎用学習データＬＤは、評価対象である対象データＩＤＥとは異なる種類のデータである。汎用学習データＬＤは、機械学習モデル２００の学習データとして汎用されている一般的なデータであり、本実施形態では手書きの数字を表す画像であるＭＮＩＳＴデータを元に生成される。具体的には、汎用学習データＬＤは、ＭＮＩＳＴデータである画像を予め定めた回転方向Ｒに予め定めた時間ｔｐだけ回転させた動画像である。汎用学習データＬＤは、一定時間間隔ｔｖごとのＭ枚のフレーム画像ＦＭＬの集合である。「Ｍ」は、２以上の整数である。つまり、汎用学習データＬＤは、時系列に並んだ複数のフレーム画像によって構成された動画像である。図４では、各汎用学習データＬＤについて、便宜上、１枚のフレーム画像ＦＭＬのみを示しているが、実際にはＭ枚のフレーム画像ＦＭＬから構成される。ＭＮＩＳＴデータである画像は、本実施形態では「０」～「９」の手書き数字であり、数字ごとに数字の外形が異なる複数のデータが準備される。汎用学習データＬＤの画像回転速度は、汎用学習データＬＤごとに異なっていてもよいし同じであってもよい。また、汎用学習データＬＤの回転方向Ｒは、汎用学習データＬＤごとに異なっていても同じであってもよい。

【0032】

ラベルＬＢは、汎用学習データＬＤが表す数字を示し、数字ごとに異なるラベルが割り当てられている。本実施形態では、数字「０」～「９」を表す汎用学習データＬＤごとに、ラベル「０」～「９」のラベルが関連付けられている。

【0033】

図３に示すように、ステップＳ２０において、学習実行部１１２は、学習セット群ＬＳＧの各学習セットＬＳを機械学習モデル２００に入力して、機械学習モデル２００の学習を実行する。具体的には、学習実行部１１２は、各汎用学習データＬＤと、各汎用学習データＬＤに関連付けられたラベルＬＢとの対応を再現するように、機械学習モデル２００の学習を実行する。なお、学習セット群ＬＳＧの汎用学習データＬＤは、機械学習モデル２００に適した形式であるＮｕｍｐｙ形式にデータ変換されている。なお、機械学習モデル２００に入力される他の入力データＩＤも汎用学習データＬＤと同様に、Ｎｕｍｐｙ形式にデータ変換されている。

【0034】

次に、ステップＳ３０において、第１取得部１１５は、基準データＩＤＳを学習済み機械学習モデル２００に入力して、機械学習モデル２００の特定層の出力から基準特徴スペクトルＫＳｐを取得する。取得された基準特徴スペクトルＫＳｐは記憶装置１２０に記憶される。本実施形態において、特定層は、ConvVN2層２５０である。

【0035】

図５は、基準データＩＤＳを説明するための図である。本実施形態における基準データＩＤＳは、正常に動作している基準対象物としてのロボット９００の動きを撮像した原基準動画像ＲＤを元に生成した動画像である。ロボット９００は、基台９０１と、基台９０１に接続されたアーム９０２とを有する。正常に動作しているロボット９００では、アーム９０２が一定速度で始点と終点とを往復移動している。原基準動画像ＲＤは、予め定めた基準時間ｔｓ、ロボット９００が正常に動作している様子を撮像した基準フレーム画像ＦＭＫ１～ＦＭＫＮの集合である。予め定めた基準時間ｔｓは、動画像である汎用学習データＬＤの動画の時間ｔｐと同じであってもよいし、異なっていてもよい。また、基準フレーム画像ＦＭＫ１～ＦＭＫＮの数は、汎用学習データＬＤのフレーム画像ＦＭＬの数と同じであってもよいし異なっていてもよい。本実施形態では、原基準動画像ＲＤは、Ｎ枚の基準フレーム画像ＦＭＫ１～ＦＭＫＮによって構成されている。「Ｎ」は２以上の整数である。Ｎ枚の基準フレーム画像ＦＭＫ１～ＦＭＫＮを区別することなく用いる場合には、基準フレーム画像ＦＭＫを用いる。

【0036】

データ処理部１１３は、原基準動画像ＲＤを構成する複数の基準フレーム画像ＦＭＫ１～ＦＭＫＮを用いて、基準フレーム画像ＦＭＫから動いている基準対象物であるロボット９００、詳細にはアーム９０２を抽出する画像処理を実行することで、処理後基準フレーム画像ＦＭＳを複数生成する。つまり、データ処理部１１３は、時系列に並んだ複数、本実施形態ではＮ枚の処理後基準フレーム画像ＦＭＳを基準データＩＤＳとして生成する。データ処理部１１３は、複数の基準フレーム画像ＦＭＳ１～ＦＭＳＮの画素ごとに、画素値の平均値を算出する。そしてデータ処理部１１３は、複数の基準フレーム画像ＦＭＫ１～ＦＭＫＮごとに、基準フレーム画像ＦＭＫの各画素と、対応する画素の平均値との差分の絶対値を算出し、各画素における差分の絶対値の集合を処理後基準フレーム画像ＦＭＳとして生成する。これにより、処理後基準フレーム画像ＦＭＳからは静止している基台９０１や物体９２３，９２４や背景は取り除かれ、動いている基準対象物であるロボット９００、詳細にはアーム９０２が抽出される。なお、基準フレーム画像ＦＭＫ中から動いている基準対象物を抽出するデータ処理は、上記に限定されるものではない。例えば、データ処理部１１３は、パターン認識処理やエッジ抽出処理などのデータ処理を基準フレーム画像ＦＭＫに対して実行することで、基準対象物を抽出した処理後基準フレーム画像ＦＭＳを生成してもよい。

【0037】

また、基準データＩＤＳは、複数準備されてもよい。本実施形態では、基準データＩＤＳは複数準備される。複数の基準データＩＤＳは、正常に動作しているロボット９００の動画像を複数期間に分割した分割データのそれぞれを元に生成されてもよいし、正常に動作しているロボット９００の動画像を個別に取得し、取得した動画像を元に生成してもよい。分割データを元に複数の基準データＩＤＳが生成される場合には、一の基準データＩＤＳの生成期間と他の基準データとの生成期間とが、一部重複していてもよいし重複していなくてもよい。

【0038】

図６は、学習済みの機械学習モデル２００に任意の入力データＩＤを入力することによって得られる特徴スペクトルＳｐを示す説明図である。図６では、具体例として１つの基準データＩＤＳに応じた基準特徴スペクトルＫＳｐを示す説明図である。

【0039】

図６の横軸は、ConvVN2層２５０の１つの部分領域Ｒ２５０に含まれる複数のノードの出力ベクトルに関するベクトル要素の位置である。このベクトル要素の位置は、各ノードにおける出力ベクトルの要素番号ＮＤと、チャンネル番号ＮＣとの組み合わせで表される。本実施形態では、ベクトル次元が１６、つまり各ノードが出力する出力ベクトルの要素の数なので、出力ベクトルの要素番号ＮＤは０から１５までの１６個である。また、ConvVN2層２５０のチャンネル数は６なので、チャンネル番号ＮＣは０から５までの６個である。よって、特徴スペクトルＳｐの要素数は、１６×６の９６となる。この９６の要素数から構成される特徴スペクトルＳｐによって、Ｎ枚の基準フレーム画像ＦＭＳ１～ＦＭＳＮによって構成された基準データＩＤＳの特徴スペクトルＳｐが表される。特徴スペクトルＳｐは、１つの部分領域Ｒ２５０に含まれる各ベクトルニューロンの出力ベクトルの複数の要素値を、第３軸ｚに沿った複数のチャンネルにわたって配列したものである。

【0040】

図６の縦軸は、各スペクトル位置での特徴値ＣＶを示す。この例では、特徴値ＣＶは、出力ベクトルの各要素の値Ｖ_ＮＤである。特徴値ＣＶについては、平均値０へセンタリングするなどの統計処理を行ってもよい。なお、特徴値ＣＶとしては、出力ベクトルの各要素の値Ｖ_ＮＤと、後述する正規化係数とを乗算した値を使用してもよく、或いは、正規化係数をそのまま使用してもよい。後者の場合には、特徴スペクトルＳｐに含まれる特徴値ＣＶの数はチャンネル数に等しく、６個である。なお、正規化係数は、そのノードの出力ベクトルのベクトル長さに相当する値である。

【0041】

１つの入力データＩＤに対してConvVN2層２５０の出力から得られる特徴スペクトルＳｐの数は、ConvVN2層２５０の平面位置（ｘ，ｙ）の数、すなわち、部分領域Ｒ２５０の数に等しいので、９個である。

【0042】

図７は、基準特徴スペクトル群ＫＳｐＧの構成を示す説明図である。この例では、ConvVN2層２５０の出力から取得された既知特徴スペクトルとしての基準特徴スペクトルＫＳｐの集合である基準特徴スペクトル群ＫＳｐＧが示されている。なお、基準特徴スペクトル群ＫＳｐＧとしては、少なくとも１つのベクトルニューロン層の出力から得られたものが登録されていればよく、ConvVN1層２４０やClassVN層２６０の出力から得られた基準特徴スペクトル群が登録されるようにしてもよい。

【0043】

基準特徴スペクトル群ＫＳｐＧの個々のレコードは、層内の部分領域Ｒｎの順序を示すパラメーターｋと、データ番号を示すパラメーターｑと、動画像における一定間隔ごとに区切られた単位期間を示すパラメーターｔｍと、基準特徴スペクトルＫＳｐとを含んでいる。単位期間ｔｍに含まれる時系列のフレーム画像の集合が、基準データＩＤＳを構成する。例えば、同じデータ番号ｑの動画像を、単位期間ｔｍごとに分割することで、複数の基準データＩＤＳが生成される。基準特徴スペクトルＫＳｐは、図６の特徴スペクトルＳｐと同じものである。

【0044】

部分領域Ｒｎのパラメーターｋは、特定層に含まれる複数の部分領域Ｒｎのいずれであるか、すなわち、平面位置（ｘ，ｙ）のいずれであるかを示す値を取る。ConvVN2層２５０については部分領域Ｒ２５０の数が１６個なので、ｋ＝１～１６である。データ番号のパラメーターｑは、基準データＩＤＳの元となる動画像を識別するための番号である。

【0045】

図８は、評価装置１００が実行する評価工程のフローチャートである。まずステップＳ１００において、対象データＩＤＥが準備される。本実施形態では、原対象動画像を構成する複数の対象フレーム画像を用いて、評価対象物であるロボット９００、詳細にはロボット９００のアーム９０２を抽出した処理後対象フレーム画像を複数生成する。複数の評価フレーム画像は、センサー装置４００によって取得された時系列に並んだ原対象動画像を構成する。この原対象動画像は、予め定めた予め定めた基準時間ｔｓだけロボット９００の動きを撮像したデータである。予め定めた基準時間ｔｓは、基準データＩＤＳの元データとなる原基準動画像ＲＤの撮像時間である基準時間ｔｓと同じであってもよいし異なっていてもよい。データ処理部１１３は、原基準動画像ＲＤから基準データＩＤＳを生成する画像処理と同じ方法で、原対象動画像から評価対象物である動いているロボット９００のアーム９０２を抽出する画像処理を実行する。データ処理部１１３は、画像処理後の動画像から複数の単位期間ｔｍごとのデータを抽出することで、複数の処理後対象フレーム画像から構成される対象データＩＤＥが複数生成される。以上のように、データ処理部１１３は、ロボット９００の動きを撮像して取得された原対象動画像を構成する複数の対象フレーム画像を用いて、ロボット９００を抽出した処理後対象フレーム画像を複数生成する。これにより、データ処理部１１３は、時系列に並んだ複数の処理後対象フレーム画像を対象データＩＤＥとして生成する。

【0046】

次に、ステップＳ１１０において、第２取得部１１６は、学習済み機械学習モデル２００に対して、評価対象の対象データＩＤＥを入力して、特定層であるConvVN2層２５０の出力から対象特徴スペクトルＥＳｐを取得する。対象特徴スペクトルＥＳｐのデータ構成は、図６および図７に示す基準特徴スペクトルＫＳｐと同じである。

【0047】

次に、ステップＳ１２０において、算出部１１７は、基準特徴スペクトルＫＳｐと対象特徴スペクトルＥＳｐとのスペクトル類似度ＲＳｐを算出する。対象特徴スペクトルＥＳｐは、図６に示す特徴スペクトルＳｐと同じ構成であるスペクトル類似度ＲＳｐの算出方法の詳細は後述する。

【0048】

次に、ステップＳ１３０において、評価部１１９は、スペクトル類似度ＲＳｐを用いて対象データＩＤＥの評価処理を実行する。

【0049】

図９は、ステップＳ１３０の詳細を示すフローチャートである。ステップＳ１３２において、評価部１１９は、スペクトル類似度ＲＳｐが閾値以上かどうかを判定する。評価部１１９は、スペクトル類似度ＲＳｐが閾値以上である場合には、ステップＳ１３４において対象データＩＤＥを基準クラスに分類する。本実施形態では、上述のごとく、基準クラスはロボット９００の動きが正常であることを示す「正常」のラベルである。一方で、評価部１１９は、スペクトル類似度ＲＳｐが閾値未満である場合には、ステップＳ１３６において、対象データＩＤＥを基準クラスとは異なるクラスに分類する。本実施形態では、異なるクラスとは、ロボット９００の動きに異常があることを示す「異常」のラベルである。また、本実施形態では、対象データＩＤＥを構成する時系列に並んだ複数の処理後対象フレーム画像について、時系列に並ぶ複数の処理後対象フレーム画像に応じた個別対象特徴スペクトルＩＥＳｐの集合ごと、すなわち単位期間ｔｍごとにステップＳ１３０の評価処理が順次実行される。評価部１１９は、評価処理の結果を示す評価情報を表示部１５０に表示する。評価情報は、例えば、「異常」のラベル判定が成された時に、「異常」であることを示す情報と、「異常」のラベル分類が成された処理後対象フレーム画像の元となる対象フレーム画像が取得された時刻ｔ、すなわち異常が発生した時刻情報と、を含む評価情報を表示部１５０に表示する。また評価情報は、スペクトル類似度ＲＳｐの大きさに応じた色情報であってもよい。例えば、評価部１１９は、スペクトル類似度ＲＳｐが高くなるに従い、赤色に近づく色を表示部に出力する。このように、評価部１１９は、スペクトル類似度ＲＳｐが閾値以上であるかどうかを判定することで、対象データＩＤＥの単位期間ｔｍごとのクラス分類を容易にできる。

【0050】

次にスペクトル類似度ＲＳｐの算出方法の一例について説明する。図１０は、スペクトル類似度ＲＳｐの第１の算出方法Ｍ１を示す説明図である。第１の算出方法Ｍ１では、まず、特定層であるConvVN2層２５０の出力から、部分領域Ｒｎ毎に局所スペクトル類似度S(j,k,tm)が算出される。また、本実施形態では、スペクトル類似度ＲＳｐの算出元が、複数のフレーム画像で構成された動画像である。よって、算出部１１７は、フレーム画像番号ＮＦＭが連続する時系列に並んだ一定数ごとのフレーム画像の集合である入力データＩＤを元に生成された特徴スペクトルＳｐ同士のスペクトル類似度ＲＳｐを算出する。一定数は、図９に示すステップＳ１３０の評価処理を実行する時間間隔Δｔに応じた数である。動画像のフレームレートが６０ｆｐｓである場合に、時間間隔Δｔが０．５秒である場合には、一定数は３０である。つまり、対象データＩＤＥと基準データＩＤＳのそれぞれは、フレーム画像番号ＮＦＭが連続する３０個のフレーム画像の集合である。この対象データＩＤＥと基準データＩＤＳのそれぞれを入力データＩＤとして機械学習モデル２００に入力することで生成された特徴スペクトルＳｐ同士のスペクトル類似度ＲＳｐが算出される。スペクトル類似度ＲＳｐの算出元となる対象データＩＤＥと基準データＩＤＳのそれぞれについて、連続するフレーム画像番号ＮＦＭの数は同じであることが好ましい。またスペクトル類似度ＲＳｐの算出元となる対象データＩＤＥと基準データＩＤＳのそれぞれについて、対象データＩＤＥを構成するフレーム画像のフレーム画像番号ＮＦＭと、基準データＩＤＳを構成するフレーム画像のフレーム画像番号ＮＦＭとは一致していてもよいし、異なっていてもよい。以下では、スペクトル類似度ＲＳｐの算出方法の一例を説明する。

【0051】

第１の算出方法Ｍ１において、局所スペクトル類似度S(j,k,tm)は次式を用いて算出される。
S(j,k,tm)=max[G{ESp(j,k,tm), KSp(j,k=all,q=all,tm=all)}] （ｃ１）
ｊは、特定層を示すパラメーターである。
ｋは、部分領域Rnを示すパラメーターである。
ｑは、データ番号を示すパラメーターである。
ｔｍは、動画像における、一定間隔ごとに区切られた単位期間を示すパラメーターである。各単位期間の時間は同じである。図１０では、単位期間ｔｍが「１」のときの図である。
G{a,b}は、ａとｂのスペクトル類似度を求める関数である。
ESp(j,k,tm)は、特定層ｊの特定の部分領域Ｒｎの出力から得られる対象特徴スペクトルＥＳｐのうち、動画像である対象データＩＤＥのパラメーターｔｍが示す単位期間に取得された複数のフレーム画像の集合に応じた対象特徴スペクトルＥＳｐである。
max[X]は、Ｘの値のうちの最大値を取る論理演算である。
KSp(j,k,q=all,tm=all)は、特定層ｊの特定の部分領域Ｒｎの出力から得られる全てのデータ番号ｑの基準特徴スペクトルＫＳｐのうち、全ての単位期間ごとに取得された複数のフレーム画像の集合に応じた基準特徴スペクトルＫＳｐである。
なお、局所スペクトル類似度を求める関数G{a,b}としては、例えば、コサイン類似度を求める式や、距離に応じた類似度を求める式を使用できる。

【0052】

図１１は、上記算出式（ｃ１）の概念図である。上記式（ｃ１）の算出方法において、対象データＩＤＥの単位期間ｔｍ、例えば単位期間ｔｍ１に応じた特徴スペクトルＳｐに対するスペクトル類似度ＲＳｐの比較対象として、基準データＩＤＳの全ての単位期間ｔｍ０～ｔｍ（Ｎ－１）のそれぞれに応じた特徴スペクトルＳｐが用いられる。また、対象データＩＤＥの単位期間ｔｍ、例えば単位期間ｔｍ１に応じた特徴スペクトルＳｐに対するスペクトル類似度ＲＳｐの比較対象として、全てのデータ番号ｑの基準データＩＤＳが用いられる。

【0053】

図１２は、スペクトル類似度ＲＳｐの第２の算出方法Ｍ２を示す説明図である。第２の算出方法Ｍ２において、局所スペクトル類似度S(j,k nf,ff)は次式を用いて算出される。
S(j,k,tm)=max[G{ESp(j,k,tm), KSp(j,k,q=all,tm=all)}] （ｃ２）

【0054】

上述した第１の算出方法Ｍ１では、特定層ｊのすべての部分領域ｋにおける基準特徴スペクトルKSp(j,k=all,q=all,tm=all)を用いていたのに対して、第２の算出方法Ｍ２では、個別対象特徴スペクトルＩＥＳｐの部分領域ｋと同じ部分領域ｋに対する基準特徴スペクトルＫＳｐのみを用いている。第２の算出方法Ｍ２における他の方法は、第１の算出方法Ｍ１と同じである。

【0055】

図１３は、第３の算出方法Ｍ３を示す説明図である。第３の算出方法Ｍ３では、次式を用いてスペクトル類似度ＲＳｐが算出される。
RSp(j,k,tm)=max[G{ESp(j,k=all,tm), KSp(j,k=all,q=all,tm=all)}] （ｃ２）
すなわち、ある単位期間ｔｍの対象データＩＤＥにおいて特定層ｊから生成された全ての部分領域Ｒｎの出力から得られた複数の対象特徴スペクトルＥＳｐのそれぞれと、全ての基準データＩＤＳのそれぞれについて、全ての部分領域Ｒｎの出力から得られた基準特徴スペクトルＫＳｐのそれぞれとを比較して、複数の個別スペクトル類似度Ｓを算出する。そして算出された個別スペクトル類似度Ｓのうちの最大値がスペクトル類似度ＲＳｐとして算出される。

【0056】

なお、上記の第１の算出方法Ｍ１～第３の算出方法Ｍ３に関し、同じ単位期間ｔｍの対象データＩＤＥと基準データＩＤＳのそれぞれを比較して個別スペクトル類似度Ｓを算出することで、スペクトル類似度ＲＳｐを算出してもよい。

【0057】

図１４は、本実施形態の評価装置１００の評価結果を示す図である。ＭＮＩＳＴデータの画像を汎用学習データＬＤとする学習セットＬＳを１００００セット準備して、機械学習モデル２００の学習が行われた。基準データＩＤＳは、正常に動作するロボット９００の動画像である。一方で、対象データＩＤＥは、時刻ｔ１２までの一定期間が正常に動作し、時刻ｔ１２以降の残りの他期間が異常動作しているロボット９００の動画像である。図１４に示す時刻ｔ１２以降のシングルハッチングで示した期間が、ロボット９００が異常動作している期間である。スペクトル類似度ＲＳｐは、各単位期間の終了時点ごとに算出される。本実施形態では、例えば、時間ｔ０～時間ｔ１の単位期間におけるスペクトル類似度ＲＳｐは、時間ｔ１の直後に算出される。また、図９に示すステップＳ１３２の閾値ｔｈは、対象データＩＤＥが示すロボット９００が正常に動作している一定期間の単位期間ごとのスペクトル類似度ＲＳｐである正常時スペクトル類似度を元に設定している。具体的には、閾値ｔｈは、各正常時スペクトル類似度の平均値から、各正常時スペクトル類似度の分布の３σを差し引いた値に設定した。

【0058】

評価装置１００が対象データＩＤＥを評価した結果について、ロボット９００が正常に動作している時刻ｔ１２までの期間において、スペクトル類似度ＲＳｐは閾値ｔｈ以上であり、対象データＩＤＥは正常を示す基準クラスに分類判定される。また、ロボット９００が異常動作している時刻ｔ１２以降の期間において、スペクトル類似度ＲＳｐが閾値ｔｈ未満である割合は９０％を超えていた。よって、時刻ｔ１２以降の期間において、対象データＩＤＥが異常を示すクラスに正しく分類判定される確率は高い。よって、汎用学習データＬＤを用いて学習を行った機械学習モデル２００を用いた対象データＩＤＥの評価結果の精度は高い。

【0059】

上記実施形態によれば、評価対象である対象データＩＤＥとは異なる種類の汎用学習データＬＤを用いて機械学習モデル２００を学習することで、対象データＩＤＥの種類が異なり機械学習モデル２００を用いる目的が異なった場合でも、目的ごとに機械学習モデル２００に対する学習セットを準備する必要がない。またこの形態によれば、対象データＩＤＥの評価は、出力層から出力される各クラスに応じた判定値を用いた評価ではなく、特定層の出力から取得された特徴スペクトルＳｐを用いて対象データＩＤＥの評価を行っている。これにより、汎用学習データＬＤを用いて機械学習モデル２００の学習を行った場合でも、対象データＩＤＥの評価を精度良く行うことができる。

【0060】

また上記実施形態によれば、原基準動画像ＲＤから基準対象物であるロボット９００のアーム９０２を抽出した基準データＩＤＳから基準特徴スペクトルＫＳｐを取得している。これにより、スペクトル類似度ＲＳｐを算出するための比較元となるロボット９００、特にロボット９００の正常動作についての特徴をより表した特徴スペクトルＳｐを取得できる。よって、対象データＩＤＥの評価精度をより向上できる。また上記実施形態によれば、原対象物動画像から評価対象物であるロボット９００を抽出した対象データＩＤＥから対象特徴スペクトルＥＳｐを取得していることから、ロボット９００、特にロボット９００の動きについての特徴をより表した特徴スペクトルＳｐを取得できる。これにより、対象データＩＤＥの評価精度をより向上できる。

【0061】

Ｂ．他の実施形態：
Ｂ－１．他の実施形態１：
上記実施形態では、汎用学習データＬＤ、基準データＩＤＳ、対象データＩＤＥが動画像であったが、各データは、静止画像であってもよく、第１軸に物理量、第２軸に時間を規定した二次元データであってもよい。二次元データは、例えば、電圧の時間変化を示すデータである。また、上記実施形態では、対象データＩＤＥが示すロボット９００の動作が正常かどうかの判定を行うことを目的として、学習済みの機械学習モデル２００が用いられたが、この目的以外にも学習済み機械学習モデル２００が用いられてもよい。以下に具体例を説明する。

【0062】

本開示の評価装置１００は、運動機器を用いた評価に適用できる。運動機器は、評価装置１００と有線や無線によってデータ通信できる。運動機器は、例えば、トレッドミルやエアロバイク（登録商標）や筋力トレーニングマシンである。トレッドミルは、使用者の設定に基づきモーターによるベルトが移動し、使用者がベルト上を歩いたり走ったりする運動を行うことができる機器である。トレッドミルは、モーターおよびベルトを有するトレッドミル本体と、使用者の筋肉の状態を計測可能なセンサー装置４００の一例である超音波装置と、トレッドミル本体および超音波装置を制御するためのコントローラーとを備える。筋力トレーニングマシンは、ウェイトトレーニングにおいて使用者のトレーニング対象となる対象部位に掛ける負荷を電気的に変更可能である。

【0063】

機械学習モデル２００は、静止画像であるＭＮＩＳＴデータである汎用学習データＬＤと、汎用学習データＬＤに関連付けられたラベルＬＢとを一つのセットする複数の学習セットを用いて学習される。

【0064】

基準データＩＤＳは、例えば、使用者以外の被験者における対象部位の筋肉の状態を示すデータであり、超音波装置によって取得された筋肉の超音波画像である。また、基準データＩＤＳに関連付けられた基準評価は、被験者の対象部位における筋肉の状態が良好な状態、すなわち対象部位における筋肉に疲労を感じていない状態であることを示す。

【0065】

対象データＩＤＥは、使用者が運動機器を用いて運動している時の対象部位における筋肉の超音波画像である。対象データＩＤＥは、一定時間ごとに取得され評価される。評価装置１００は、基準データＩＤＳの基準特徴スペクトルＫＳｐと、対象データＩＤＥの対象特徴スペクトルＥＳｐとのスペクトル類似度ＲＳｐを算出する。評価部１１９は、算出されたスペクトル類似度ＲＳｐが閾値以上である場合には、使用者の対象部位が疲労していないことを示すクラス分類を行う。一方で、評価部１１９は、算出されたスペクトル類似度ＲＳｐが閾値未満である場合には、使用者の対象部位が疲労していることを示すクラス分類を行い、所定の後処理を行う。後処理としては、運動機器の負荷を下げたり運動機器による運動を停止したりすることを促す警告情報を表示部１５０によって表示させたり、運動機器に対して負荷を下げる指令や動作を停止する指令である負荷低減指令を送信したりする。トレッドミルにおいて負荷を下げる場合には、トレッドミルのコントローラーは、モーターの回転速度を減速させる。

【0066】

また、複数段階の基準評価ごとに基準データＩＤＳが準備されてもよい。例えば、被験者の対象部位の疲労度を、複数段階に分類し、基準評価である疲労度ごとに対象データＩＤＥを取得する。例えば、基準評価について、疲労度を「低」、「中」、「高」の三段階で表し、基準評価ごとに応じた基準データＩＤＳからそれぞれ基準特徴スペクトルＫＳｐが取得されてもよい。算出部１１７は、疲労度ごとに応じた基準特徴スペクトルＫＳｐと、対象データＩＤＥの対象特徴スペクトルＥＳｐとのスペクトル類似度ＲＳｐを基準評価ごと、すなわち疲労度ごとに算出する。評価部１１９は、基準評価ごとに算出された複数のスペクトル類似度ＲＳｐのうちで最も大きい値を示すスペクトル類似度ＲＳｐの算出元となった基準特徴スペクトルＫＳｐを特定する。評価部１１９は、特定した基準特徴スペクトルＫＳｐに関連付けられた基準評価、すなわち疲労度を使用者の対象部位の疲労度として評価する。評価部１１９は、評価した疲労度に応じた負荷設定指令を運動機器に指令を送信する。

【0067】

なお、対象データＩＤＥや基準データＩＤＳが動画像ではなく、時刻ごとに取得された静止画像や、一定時間の間、センサー装置４００によって検出した電圧や電流などの物理量を示すデータである場合、上記第１の算出方法から第３の算出方法において、パラメーターｔｍは省略される。

【0068】

Ｃ．他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0069】

（１）本開示の第１の形態によれば、対象データの評価を行う評価方法が提供される。この評価方法は、（ａ）複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する工程と、（ｂ）前記工程（ａ）の後に、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が予め定めた基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとしての基準特徴スペクトルを取得する工程と、（ｃ）前記工程（ａ）の後に、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する工程と、（ｄ）前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出する工程と、（ｅ）前記スペクトル類似度を用いて前記対象データの評価を行う工程と、を備える。この形態によれば、評価対象である対象データとは異なる種類の汎用学習データを用いて機械学習モデルを学習することで、対象データの種類が異なり機械学習モデルを用いる目的が異なった場合でも、目的ごとに機械学習モデルに対する学習セットを準備する必要がない。またこの形態によれば、対象データの評価は、出力層から出力される各クラスに応じた判定値を用いた評価ではなく、特定層の出力から取得された特徴スペクトルを用いて対象データの評価を行っている。これにより、汎用学習データを用いて機械学習モデルの学習を行った場合でも、対象データの評価を精度良く行うことができる。

【0070】

（２）上記形態において、前記工程（ｅ）は、２以上のクラスに関するクラス分類によって前記対象データの評価を行い、前記基準評価は、基準クラスに分類された評価であり、前記工程（ｅ）は、前記スペクトル類似度が予め定めた閾値以上である場合には、前記対象データを前記基準クラスに分類し、前記スペクトル類似度が前記閾値未満である場合には、前記対象データを前記基準クラスとは異なるクラスに分類してもよい。この形態によれば、スペクトル類似度が閾値以上であるかどうかを判定することで、対象データのクラス分類を容易にできる。

【0071】

（３）上記形態において、複数のベクトルニューロン層は、入力されるデータである前記対象データの側から順に、中間層である畳み込みベクトルニューロン層と、出力層である分類ベクトルニューロン層とを有し、前記特定層は、前記中間層であってもよい。この形態によれば、中間層の出力から取得した特徴スペクトルを用いた対象データの評価を行うことができる。

【0072】

（４）上記形態において、前記汎用学習データと前記基準データと前記対象データとはそれぞれ、時系列に並んだ複数のフレーム画像によって構成された動画像であり、前記評価方法は、さらに、（ｆ）基準対象物の動きを撮像して取得された原基準動画像を構成する複数の基準フレーム画像を用いて、前記基準対象物を抽出した処理後基準フレーム画像を複数生成することで、時系列に並んだ複数の前記処理後基準フレーム画像を前記基準データとして生成する工程を有していてもよい。この形態によれば、原基準動画像から基準対象物を抽出した基準データから基準特徴スペクトルを取得していることから、基準対象物の特徴をより表した特徴スペクトルを取得できる。これにより、対象データの評価精度をより向上できる。

【0073】

（５）上記形態において、前記汎用学習データと前記基準データと前記対象データとはそれぞれ、時系列に並んだ複数のフレーム画像によって構成された動画像であり、前記評価方法は、さらに、（ｇ）評価対象物の動きを撮像して取得された原対象動画像を構成する複数の対象フレーム画像を用いて、前記評価対象物を抽出した処理後対象フレーム画像を複数生成することで、時系列に並んだ複数の前記処理後対象フレーム画像を前記対象データとして生成する工程を有していてもよい。

【0074】

（６）本開示の第２の形態によれば、対象データの評価を行う評価装置が提供される。この評価装置は、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する学習実行部と、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとして基準特徴スペクトルを取得する第１取得部と、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する第２取得部と、前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出部と、前記スペクトル類似度を用いて前記対象データの評価を行う評価部と、を備える。この形態によれば、評価対象である対象データとは異なる種類の汎用学習データを用いて機械学習モデルを学習することで、対象データの種類が異なり機械学習モデルを用いる目的が異なった場合でも、目的ごとに機械学習モデルに対する学習セットを準備する必要がない。またこの形態によれば、対象データの評価は、出力層から出力される各クラスに応じた判定値を用いた評価ではなく、特定層の出力から取得された特徴スペクトルを用いて対象データの評価を行っている。これにより、汎用学習データを用いて機械学習モデルの学習を行った場合でも、対象データの評価を精度良く行うことができる。

【0075】

（７）本開示の第３の形態によれば、対象データの評価を行うコンピューターに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルに、前記対象データとは異なる種類の汎用学習データと、前記汎用学習データに対応するラベルとの学習セットを複数入力して、前記機械学習モデルを学習する機能と、（ｂ）前記機能（ａ）を実行した後に、学習済み機械学習モデルに対して、前記対象データと同じ種類の基準データであって前記評価が基準評価を示す基準データを入力して、前記学習済み機械学習モデルの特定層の出力から特徴スペクトルとしての基準特徴スペクトルを取得する機能と、（ｃ）前記機能（ａ）を実行した後に、前記学習済み機械学習モデルに対して、評価対象の前記対象データを入力して、前記特定層の出力から前記特徴スペクトルとしての対象特徴スペクトルを取得する機能と、（ｄ）前記基準特徴スペクトルと前記対象特徴スペクトルとの類似度であるスペクトル類似度を算出する機能と、（ｅ）前記スペクトル類似度を用いて前記対象データの評価を行う機能と、を備える。この形態によれば、評価対象である対象データとは異なる種類の汎用学習データを用いて機械学習モデルを学習することで、対象データの種類が異なり機械学習モデルを用いる目的が異なった場合でも、目的ごとに機械学習モデルに対する学習セットを準備する必要がない。またこの形態によれば、対象データの評価は、出力層から出力される各クラスに応じた判定値を用いた評価ではなく、特定層の出力から取得された特徴スペクトルを用いて対象データの評価を行っている。これにより、汎用学習データを用いて機械学習モデルの学習を行った場合でも、対象データの評価を精度良く行うことができる。

【0076】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、コンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

【符号の説明】

【0077】

ＥＳｐ…対象特徴スペクトル、ＦＭＫ…基準フレーム画像、ＦＭＬ…フレーム画像、ＦＭＳ…処理後基準フレーム画像、ＩＤ…データ、ＩＤＥ…対象データ、ＩＤＳ…基準データ、ＫＳｐ…基準特徴スペクトル、ＫＳｐＧ…基準特徴スペクトル群、ＬＢ…ラベル、ＬＤ…汎用学習データ、ＬＳ…学習セット、ＬＳＧ…学習セット群、Ｒｎ…部分領域、Ｒ…回転方向、ＲＤ…原基準動画像、Ｓｐ…特徴スペクトル、ｘ…第１軸、ｙ…第２軸、ｚ…第３軸、５…評価システム、１００…評価装置、１１０…プロセッサー、１１２…学習実行部、１１３…データ処理部、１１４…スペクトル取得部、１１５…第１取得部、１１６…第２取得部、１１７…算出部、１１８…評価処理部、１１９…評価部、１２０…記憶装置、１３０…インターフェイス回路、１４０…入力デバイス、１５０…表示部、２００…機械学習モデル、２２０…畳み込み層、２３０…プライマリーベクトルニューロン層、２４０…第１畳み込みベクトルニューロン層、２５０…第２畳み込みベクトルニューロン層、２６０…分類ベクトルニューロン層、４００…センサー装置、９００…ロボット、９０１…基台、９０２…アーム、９２３，９２４…物体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】