特許 7531766 検査装置、検査方法、検査プログラム、学習装置、学習方法、及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-08-01

(45)【発行日】2024-08-09

(54)【発明の名称】検査装置、検査方法、検査プログラム、学習装置、学習方法、及び学習プログラム

(51)【国際特許分類】

   G01M 99/00 20110101AFI20240802BHJP

【ＦＩ】

G01M99/00 Z

【請求項の数】 18

(21)【出願番号】P 2024533902

(86)(22)【出願日】2023-02-22

(86)【国際出願番号】 JP2023006521

【審査請求日】2024-06-05

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】000236056

【氏名又は名称】三菱電機ビルソリューションズ株式会社

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100203677

【弁理士】

【氏名又は名称】山口 力

(72)【発明者】

【氏名】西川 敬士

(72)【発明者】

【氏名】福井 孝太郎

(72)【発明者】

【氏名】小林 翔一

(72)【発明者】

【氏名】関 哲朗

(72)【発明者】

【氏名】長徳 典宏

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２００８－２２６５０６（ＪＰ，Ａ）

【文献】特開２０２２－１１２１４３（ＪＰ，Ａ）

【文献】特開２０２２－１７５９４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｍ ９９／００

Ｇ０１Ｍ １３／００－１３／０４５

(57)【特許請求の範囲】

【請求項1】

対象物の状態を検査する検査装置であって、
ユーザの手の指に取り付けられている力センサで検出される前記対象物を把持する力を示す第１の入力を取得する力取得部と、
前記手に取り付けられている加速度センサで検出される加速度を示す第２の入力を取得する加速度取得部と、
前記ユーザにより行われる前記対象物の加振動作の期間中に取得される前記第１の入力と前記第２の入力とから、前記ユーザに関するユーザ情報を用いて生成された、前記対象物の状態を判定するための学習済モデルを用いて、前記期間中に取得される前記第１の入力と前記第２の入力とから前記対象物の状態を判定する判定部と、
を有することを特徴とする検査装置。

【請求項2】

前記対象物の状態は、支持部材に対する前記対象物の固定状態であり、
前記判定部は、前記対象物の前記固定状態の良否を判定する
ことを特徴とする請求項１に記載の検査装置。

【請求項3】

前記第１の入力及び前記第２の入力の少なくとも一方に基づいて前記加振動作の前記期間を抽出する加振期間抽出部を更に有する
ことを特徴とする請求項１又は２に記載の検査装置。

【請求項4】

予め保存されている複数の学習済モデルから、前記ユーザの特定情報及び前記ユーザの属性の少なくとも一方を含む前記ユーザ情報に応じて前記判定部によって使用される前記学習済モデルを選択するユーザ適合処理部を更に有する
ことを特徴とする請求項１又は２のいずれか１項に記載の検査装置。

【請求項5】

前記ユーザの属性は、検査作業についての前記ユーザの経験年数を含むことを特徴とする請求項４に記載の検査装置。

【請求項6】

前記ユーザの属性は、前記ユーザの身体情報を含むことを特徴とする請求項４に記載の検査装置。

【請求項7】

前記第１の入力から第１の特徴量を抽出する力特徴量抽出部と、
前記第２の入力から第２の特徴量を抽出する加速度特徴量抽出部と、
を更に有し、
前記ユーザ適合処理部は、前記第１の特徴量と前記第２の特徴量と前記ユーザ情報とに基づいて前記学習済モデルを選択する
ことを特徴とする請求項４に記載の検査装置。

【請求項8】

対象物の状態を検査する検査装置によって実行される検査方法であって、
ユーザの手の指に取り付けられている力センサで検出される前記対象物を把持する力を示す第１の入力を取得するステップと、
前記手に取り付けられている加速度センサで検出される加速度を示す第２の入力を取得するステップと、
前記ユーザにより行われる前記対象物の加振動作の期間中に取得される前記第１の入力と前記第２の入力とから、前記ユーザに関するユーザ情報を用いて生成された、前記対象物の状態を判定するための学習済モデルを用いて、前記期間中に取得される前記第１の入力と前記第２の入力とから前記対象物の状態を判定するステップと、
を有することを特徴とする検査方法。

【請求項9】

コンピュータに請求項８に記載の検査方法を実行させることを特徴とする検査プログラム。

【請求項10】

対象物の状態を判定するための学習済モデルを生成する学習装置であって、
ユーザの手の指に取り付けられている力センサで検出される前記対象物を把持する力を示す第１のデータと、前記手に取り付けられている加速度センサで検出される加速度を示す第２のデータと、前記ユーザにより行われる前記対象物の加振動作の期間中における前記第１のデータと前記第２のデータとの組み合わせに対する前記対象物の状態を示す第３のデータと、前記ユーザに関するユーザ情報と、を含む学習用データを取得するデータ取得部と、
前記学習用データを用いて前記対象物の状態を判定するための前記学習済モデルを生成するモデル生成部と、
を有することを特徴とする学習装置。

【請求項11】

前記対象物の状態は、支持部材に対する前記対象物の固定状態であり、
前記モデル生成部は、前記対象物の固定状態の良否を判定するための前記学習済モデルを生成する
ことを特徴とする請求項１０に記載の学習装置。

【請求項12】

前記第１のデータ及び前記第２のデータの少なくとも一方に基づいて前記加振動作の前記期間を抽出する加振期間抽出部を更に有する
ことを特徴とする請求項１０又は１１に記載の学習装置。

【請求項13】

前記モデル生成部は、前記ユーザの特定情報及び前記ユーザの属性の少なくとも一方を含む前記ユーザ情報に対応する複数の前記学習済モデルを生成し、記憶部に保存する
ことを特徴とする請求項１０又は１１のいずれか１項に記載の学習装置。

【請求項14】

前記ユーザの属性は、検査作業についての前記ユーザの経験年数を含むことを特徴とする請求項１３に記載の学習装置。

【請求項15】

前記ユーザの属性は、前記ユーザの身体情報を含むことを特徴とする請求項１３に記載の学習装置。

【請求項16】

前記ユーザの属性は、前記ユーザの身体能力情報を含むことを特徴とする請求項１３に記載の学習装置。

【請求項17】

対象物の状態を判定するための学習済モデルを生成する学習装置によって実行される学習方法であって、
ユーザの手の指に取り付けられている力センサで検出される前記対象物を把持する力を示す第１のデータと、前記手に取り付けられている加速度センサで検出される加速度を示す第２のデータと、前記ユーザにより行われる前記対象物の加振動作の期間中における前記第１のデータと前記第２のデータとの組み合わせに対する前記対象物の状態を示す第３のデータと、前記ユーザに関するユーザ情報と、を含む学習用データを取得するステップと、
前記学習用データを用いて前記対象物の状態を判定するための前記学習済モデルを生成するステップと、
を有することを特徴とする学習方法。

【請求項18】

コンピュータに請求項１７に記載の学習方法を実行させることを特徴とする学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、対象物の状態を検査するための検査装置、検査方法、及び検査プログラム、並びに対象物の状態の検査に使用される学習済モデルを生成するための学習装置、学習方法、及び学習プログラムに関する。

【背景技術】

【0002】

従来、機械設備の点検作業では、作業者が手で対象物（例えば、機器）を加振することで、対象物の状態（例えば、固定状態の良否）を判定する検査方法が用いられている。このような検査方法では、作業者は、自身の身体動作を通じて対象物の状態が正常であるか否かを感覚的に判定する。したがって、作業者の主観による判定結果のばらつきが生じやすい。

【0003】

また、人の手の指の振戦（すなわち、震え）を加速度センサによって客観的に評価する装置の提案がある（例えば、特許文献１参照）。しかし、この装置は、指の振戦を検出することで疾患の有無を評価する装置であり、対象物の状態の判定には適していない。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－２４５９１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記したように、従来の方法及び装置には、対象物の状態を精度よく判定することが難しいという問題がある。

【0006】

本開示の目的は、対象物の状態を精度よく判定することを可能にする検査装置、検査方法、及び検査プログラム、並びに対象物の状態を精度よく判定する学習済モデルを生成する学習装置、学習方法、及び学習プログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示の検査装置は、対象物の状態を検査する装置であって、ユーザの手の指に取り付けられている力センサで検出される前記対象物を把持する力を示す第１の入力を取得する力取得部と、前記手に取り付けられている加速度センサで検出される加速度を示す第２の入力を取得する加速度取得部と、前記ユーザにより行われる前記対象物の加振動作の期間中に取得される前記第１の入力と前記第２の入力とから、前記ユーザに関するユーザ情報を用いて生成された、前記対象物の状態を判定するための学習済モデルを用いて、前記期間中に取得される前記第１の入力と前記第２の入力とから前記対象物の状態を判定する判定部と、を有することを特徴とする。

【0008】

本開示の学習装置は、対象物の状態を判定するための学習済モデルを生成する装置であって、ユーザの手の指に取り付けられている力センサで検出される前記対象物を把持する力を示す第１のデータと、前記手に取り付けられている加速度センサで検出される加速度を示す第２のデータと、前記ユーザにより行われる前記対象物の加振動作の期間中における前記第１のデータと前記第２のデータとの組み合わせに対する前記対象物の状態を示す第３のデータと、前記ユーザに関するユーザ情報と、を含む学習用データを取得するデータ取得部と、前記学習用データを用いて前記対象物の状態を判定するための前記学習済モデルを生成するモデル生成部と、を有することを特徴とする。

【発明の効果】

【0009】

本開示の装置、方法、又はプログラムを用いることによって、対象物の状態を精度よく判定することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る学習装置の構成を概略的に示す機能ブロック図である。

【図2】図１の学習装置のハードウェア構成の例を概略的に示す図である。

【図3】図１の学習装置の動作を示すフローチャートである。

【図4】実施の形態１の変形例に係る学習装置の構成を概略的に示す機能ブロック図である。

【図5】（Ａ）から（Ｃ）は、力検出値特徴量と加速度検出値特徴量から抽出した特徴量と固定状態との関係を示す図である。

【図6】図４の学習装置の動作を示すフローチャートである。

【図7】実施の形態２に係る検査装置の構成を概略的に示す機能ブロック図である。

【図8】図７の検査装置のハードウェア構成の例を概略的に示す図である。

【図9】図７の検査装置の動作を示すフローチャートである。

【図10】実施の形態２の変形例に係る検査装置の構成を概略的に示す機能ブロック図である。

【図11】図１０の検査装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に、実施の形態に係る検査装置、検査方法、検査プログラム、学習装置、学習方法、及び学習プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

【0012】

《１》実施の形態１．
図１は、実施の形態１に係る学習装置１０の構成を概略的に示す機能ブロック図である。学習装置１０は、検査の対象物である機器３０ａの状態を判定するための学習済モデルを生成する装置である。学習装置１０は、実施の形態１に係る学習方法を実施することができる装置である。学習装置１０は、例えば、実施の形態１に係る学習プログラムを実行することができるコンピュータである。

【0013】

図１に示されるように、学習装置１０は、データ取得部１３と、モデル生成部１４とを有している。データ取得部１３は、記憶装置としての学習用データ記憶部１２に保存されている学習用データを取得する。学習用データは、作業者としてのユーザの手４０ａの指に取り付けられている力センサ５１ａで検出される機器３０ａを把持する力を示す第１のデータ（センサ値）である力検出値Ｄ１ａと、同じ手４０ａに取り付けられている加速度センサ５２ａで検出される加速度を示す第２のデータ（センサ値）である加速度検出値Ｄ２ａと、同じ手４０ａにより行われる機器３０ａの加振動作の期間中における力検出値Ｄ１ａと加速度検出値Ｄ２ａとの組み合わせに対する機器３０ａの状態を示す第３のデータである状態情報Ｄ３ａ（正解）とを含む。学習用データは、ユーザに関するユーザ情報Ｕを含んでもよい。ユーザ情報Ｕについては、後述される。力センサ５１ａ及び加速度センサ５２ａは、センサを指先又は手に貼り付ける構成のものであってもよく、或いは、指に巻き付ける部材によってセンサを指先又は手に固定する構成のものであってもよい。また、手４０ａには、複数の加速度センサ、又は複数の力センサ、又は複数の加速度センサと複数の力センサを備えてもよい。また、複数の加速度センサ又は複数の力センサは、手４０ａへの装着性又は手４０ａによる作業性を損なわないような個数、大きさ、取り付け位置であることが望ましい。

【0014】

モデル生成部１４は、データ取得部１３によって取得された学習用データを用いて検査の対象物である機器３０ａの状態を判定するために使用される学習済モデルを生成する。生成された学習済モデルは、記憶装置としての学習済モデル記憶部１５に保存される。学習用データ記憶部１２と学習済モデル記憶部１５とは、同じ記憶装置であってもよい。生成された学習済モデルは、後述の実施の形態２（図７）で説明される推論装置である検査装置２０による検査の対象物である機器３０ｂの状態の判定に使用される。機器３０ｂの状態の判定は、例えば、支持部材３１ｂに対する機器３０ｂの固定状態の良否の判定である。図１の機器３０ａと後述の図７の機器３０ｂとは、同じ機器であってもよいが、同様のタイプ（例えば、支持部材３１ａ、３１ｂに対する機器３０ａ、３０ｂの締結状態が同様であるタイプ）の異なる機器であってもよい。

【0015】

学習装置１０に入力される学習用データは、学習用データ生成装置１１によって作成され、学習用データ記憶部１２に予め保存されている。学習用データ生成装置１１は、例えば、コンピュータである。学習用データ生成装置１１と学習装置１０とは、同じコンピュータであってもよい。

【0016】

学習用データは、ユーザの手４０ａの指（図１では、親指）で機器３０ａを把持する力を示す第１のデータである力検出値Ｄ１ａと、同じ手４０ａの指（図１では、人差し指）に取り付けられている加速度センサ５２ａで検出される加速度を示す第２のデータである加速度検出値Ｄ２ａと、同じ手４０ａにより行われる機器３０ａの加振動作（すなわち、手４０ａで機器を揺らす動作）の期間中における力検出値Ｄ１ａと加速度検出値Ｄ２ａとの組み合わせに対する機器３０ａの状態（例えば、固定状態）を示す第３のデータである状態情報Ｄ３ａ（例えば、固定状態の良否）とを含む。状態情報Ｄ３ａは、例えば、支持部材３１ａに対する機器３０ａの固定状態の良否を示す情報である。学習用データは、複数のユーザについて収集することが望ましい。この場合、学習用データは、ユーザに関するユーザ情報Ｕを含む。

【0017】

力センサ５１ａは、例えば、手４０ａの指の腹（すなわち、指の内側）であって、指との機器３０ａとの間に介在するように配置される。力センサ５１ａは、手４０ａの親指以外の指に取り付けられてもよい。力センサ５１ａは、圧力センサであってもよい。力センサ５１ａとして、複数台の力センサが備えられてもよい。例えば、力センサ５１ａとして、２台の力センサを、機器３０ａを把持する２本の指にそれぞれ備えてもよい。

【0018】

加速度センサ５２ａは、力センサ５１ａが取り付けられている手と同じ手に取り付けられる。加速度センサ５２ａは、手４０ａの人差し指以外の指に取り付けられてもよい。また、加速度センサ５２ａは、手４０ａの指以外の位置（例えば、手の平又は手の甲）に取り付けられてもよい。加速度センサ５２ａとしては、１軸、２軸、又は３軸の加速度センサを用いることができる。加速度センサ５２ａとして、加振動作を行う手４０ａに複数台の加速度センサが備えられてもよい。

【0019】

図２は、図１の学習装置１０のハードウェア構成の例を概略的に示す図である。図２に示されるように、学習装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ１０１と、揮発性の記憶装置であるメモリ１０２と、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶装置１０３と、インタフェース１０４とを有している。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体メモリである。

【0020】

学習装置１０の各機能は、例えば、処理回路により実現される。処理回路は、専用のハードウェアであってもよく、又はメモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。

【0021】

処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。

【0022】

処理回路がプロセッサ１０１である場合、実行される学習プログラムは、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。学習プログラムは、ネットワークを経由して又は記録媒体から学習装置１０にインストールされる。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶された学習プログラムを読み出して実行することにより、図１に示される各部の機能を実現することができる。

【0023】

なお、学習装置１０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。

【0024】

図３は、図１の学習装置１０の動作を示すフローチャートである。図３に示されるように、学習フェーズでは、ステップＳ１１において、データ取得部１３は、第１のデータである力検出値Ｄ１ａと、第２のデータである加速度検出値Ｄ２ａと、力検出値Ｄ１ａと加速度検出値Ｄ２ａとの組み合わせに対する機器３０ａの状態を示す第３のデータである状態情報Ｄ３ａ（すなわち、正解）と、ユーザ情報Ｕとを含む学習用データを取得する。

【0025】

ステップＳ１２において、モデル生成部１４は、取得された学習用データに基づいて作成される学習用データに従って学習済モデルを生成する。

【0026】

ステップＳ１３において、学習済モデル記憶部１５は、モデル生成部１４が生成した学習済モデルを記憶する。

【0027】

実施の形態１に係る学習装置、学習方法、及び学習プログラムを使用して生成された学習済モデルを用いれば、作業者の主観が判定に影響しないので、対象物の状態を精度よく判定することができる。

【0028】

《２》実施の形態１の変形例．
図４は、実施の形態１の変形例に係る学習装置１０ａの構成を概略的に示す機能ブロック図である。学習装置１０ａは、検査の対象物である機器の状態を判定するための学習済モデルを生成する装置である。学習装置１０ａは、実施の形態１の変形例に係る学習方法を実施することができる装置であり、例えば、コンピュータである。

【0029】

学習装置１０ａは、図１の学習装置１０と同様に、データ取得部１３と、モデル生成部１４とを有している。また、学習装置１０ａは、加振期間抽出部１６と、特徴量抽出部１７と、ユーザ適合処理部１８と、記録部１９とを有している。

【0030】

加振期間抽出部１６は、第１のデータ（センサ値）である力検出値Ｄ１ａ及び第２のデータ（センサ値）である加速度検出値Ｄ２ａの少なくとも一方に基づいて加振動作の期間である加振期間を抽出する。例えば、加振期間抽出部１６は、力検出値Ｄ１ａが予め決められた第１の設定値を超えている期間を加振期間と判定することができる。また、加振期間抽出部１６は、加速度検出値Ｄ２ａが予め決められた第２の設定値を超えている期間を加振期間と判定することができる。また、加振期間抽出部１６は、力検出値Ｄ１ａが予め決められた第１の設定値を超えており且つ加速度検出値Ｄ２ａが予め決められた第２の設定値を超えている期間を加振期間と判定してもよい。また、加振期間抽出部１６は、ユーザ操作によって指定された期間を加振期間と判定してもよい。加振期間の抽出には、公知の他の方法を用いてもよい。

【0031】

特徴量抽出部１７は、第１のデータである力検出値Ｄ１ａから第１の特徴量である力検出値特徴量を抽出し、第２のデータである加速度検出値Ｄ２ａから第２の特徴量である力検出値特徴量を抽出する。力検出値特徴量は、例えば、分散値、ピークツーピーク値、平均値などである。加速度検出値特徴量は、例えば、分散値、ピークツーピーク値、平均値などであり、３軸の加速度についての値を用いてもよい。

【0032】

ユーザ適合処理部１８は、第１の特徴量である力検出値特徴量と第２の特徴量である力検出値特徴量とユーザ情報Ｕとに基づいて、特徴量を重み付けする。重み付けされた特徴量ｘは、例えば、以下の式（１）により計算される。

【0033】

【数1】

【0034】

式（１）において、β_ａは加速度全体傾向を表すパラメータ、Ａｃｃは加速度検出値特徴量、β_ｐは力全体傾向を表すパラメータ、Ｐｒｓは力検出値特徴量、β_ｓｂｊは検査を行う作業者であるユーザごとに設定される個人差を表すパラメータである。

【0035】

モデル生成部１４は、ユーザの特定情報及びユーザの属性の少なくとも一方を含むユーザ情報Ｕに対応する複数の学習済モデルを生成し、記憶部としての学習済モデル記憶部１５に保存する。ユーザの属性は、検査作業についてのユーザの経験年数（すなわち、作業経験回数を示す情報）などを含む。また、ユーザの属性は、ユーザの身体情報を含む。身体情報は、例えば、ユーザの身長、体重、筋肉量、性別、年齢などうちの１つ以上の情報を含む。ここでは、ユーザの属性でグルーピングしてから、各々のグループでモデルを構築する。このようにすれば、モデルの構築に利用する学習データ及び推論に利用する推論対象データのばらつきを低減できるため、機器の状態を高精度に推定することができる。

【0036】

図５（Ａ）から（Ｃ）は、力検出値特徴量と加速度検出値特徴量から得られた特徴量と固定状態との関係を示す図である。図５（Ａ）から（Ｃ）は、入力（横軸）をユーザによる加振動作計測センサである加速度センサ及び力センサ（例えば、圧力センサ）に基づく特徴量とし、出力（縦軸）を機器の固定状態を表す指標値とし、これらの関係を、階層ベイズモデルによって表現した図である。図５（Ａ）は、複数のユーザの全体傾向を示し、図５（Ｂ）は、１人のユーザ（作業者＃１）の傾向を示し、図５（Ｃ）は、１人のユーザ（作業者＃２）の傾向を示す。図５（Ａ）から（Ｃ）において、横軸は、力検出値特徴量と加速度検出値特徴量から得られた特徴量であり、例えば、検出された加速度の分散と検出された力（圧力）の最大値との和である。図５（Ａ）から（Ｃ）において、縦軸は、機器締結部のゆるみ度合いを示す。

【0037】

図６は、図４の学習装置１０ａの動作を示すフローチャートである。図６に示されるように、ステップＳ１０１において、特徴量抽出部１７は、加振期間中の第１のデータである力検出値Ｄ１ａから力検出値特徴量を抽出し、加振期間中の第２のデータである加速度検出値Ｄ２ａから加速度検出値特徴量を抽出する。

【0038】

ステップＳ１０２において、ユーザ適合処理部１８は、ユーザ情報Ｕに基づいて力検出値特徴量と加速度検出値特徴量の各々の重み付けを行う。

【0039】

ステップＳ１０３において、ユーザ適合処理部１８は、重み付けされた力検出値特徴量及び重み付けされた加速度検出値特徴量の組み合わせと、このときの機器の固定状態に関する状態情報（第３のデータ）Ｄ３ａ（すなわち、正解）とを関連付ける。

【0040】

ステップＳ１０４において、モデル生成部１４は、加速度全体傾向パラメータβ_ａと、力全体傾向パラメータβ_ｐと、個人別パラメータβ_ｓｂｊと、をマルコフ連鎖モンテカルロ法で学習して学習済モデルを生成する。

【0041】

ステップＳ１０５において、記録部１９は、加速度全体傾向パラメータβ_ａと、力全体傾向パラメータβ_ｐと、個人別パラメータβ_ｓｂｊと、を学習済モデル記憶部１５に保存する。記録部１９は、対象物の状態を推定した結果である指標値（例えば、ガタツキの程度を示す数値）を、加振動作期間の時刻、対象物としての機器の名称などと紐づけて記録することができる。

【0042】

実施の形態１の変形例に係る学習装置１０ａ、学習方法、及び学習プログラムを使用して生成された学習済モデルを用いれば、作業者の主観が判定に影響しないので、対象物の状態を精度よく判定することができる。

【0043】

また、加速度情報に加えて力情報を追加的に利用することで、加振力を入力とした際に機器を伝達系とし、固定状態をその出力とみなせるので、より高精度に機器の状態を推定することができる。

【0044】

また、ユーザごとのばらつきをパラメトリックに考慮することで、ばらつきに頑健且つ統一された指標で、機器の固定状態を推定することができる。

【0045】

また、新たに参入した作業者としての新たなユーザの学習データを取得する際に、すべての機器をゆるみ状態にしたうえで観測データを取得しなくとも、その他のユーザのデータを利用して新たなユーザによる固定状態の推定のための学習モデルを構築できるため、データ収集の負担を減らすことができる。

【0046】

《３》実施の形態２．
図７は、実施の形態２に係る検査装置２０の構成を概略的に示す機能ブロック図である。検査装置２０は、学習装置１０又は１０ａで生成され記憶装置としての学習済モデル記憶部２４に予め保存されている学習済モデルを使用して検査の対象物である機器３０ｂの状態を検査するための推論装置である。検査装置２０は、実施の形態２に係る検査方法を実施することができる装置である。検査装置２０は、例えば、実施の形態２に係る検査プログラムを実行することができるコンピュータである。

【0047】

図７に示されるように、検査装置２０は、力取得部２１と、加速度取得部２２と、判定部２３（すなわち、推論部）とを有している。力取得部２１は、ユーザの手４０ｂの指に取り付けられている力センサ５１ｂで検出される対象物である機器３０ｂを把持する力を示す第１の入力としての力検出値Ｄ１ｂを取得する。加速度取得部２２は、ユーザの手４０ｂに取り付けられている加速度センサ５２ｂで検出される加速度を示す第２の入力である加速度検出値Ｄ２ｂを取得する。判定部２３は、ユーザにより行われる機器３０ｂの加振動作の期間である加振期間中に取得される力検出値Ｄ１ｂと加速度検出値Ｄ２ｂとから機器３０ｂの状態を判定するための学習済モデルを用いて、加振期間中に取得される力検出値Ｄ１ｂと加速度検出値Ｄ２ｂとから機器３０ｂの状態を判定（すなわち、推論）する推論部である。機器３０ｂの状態は、例えば、支持部材３１ｂに対する機器３０ｂの固定状態である。

【0048】

力センサ５１ｂは、例えば、手４０ｂの指の腹であって、指との機器３０ｂとの間に介在するように配置される。力センサ５１ｂは、手４０ｂの親指以外の指に取り付けられてもよい。力センサ５１ｂは、圧力センサであってもよい。力センサ５１ｂとして、複数台の力センサが備えられてもよい。例えば、力センサ５１ｂとして、２台の力センサを、機器３０ａを把持する２本の指に備えられもよい。力センサ５１ｂは、作業者としてのユーザの手４０ｂの指に取り付けられており、機器３０ｂを把持する力を示す第１の入力（センサ値）である力検出値Ｄ１ｂを出力する。

【0049】

加速度センサ５２ｂは、力センサ５１ｂが取り付けられている手と同じ手に取り付けられる。加速度センサ５２ｂは、手４０ｂの人差し指以外の指に取り付けられてもよい。また、加速度センサ５２ｂは、手４０ｂの指以外の位置（例えば、手の平又は手の甲）に取り付けられてもよい。加速度センサ５２ｂとしては、１軸、２軸、又は３軸の加速度センサを用いることができる。加速度センサ５２ｂとして、加振動作を行う手４０ｂに複数台の加速度センサが備えられてもよい。加速度センサ５２ｂは、力センサ５１ｂが取り付けられている手と同じ手４０ｂに取り付けられており、加速度を示す第２の入力（センサ値）である加速度検出値Ｄ２ｂを出力する。力センサ５１ｂ及び加速度センサ５２ｂは、センサを指先又は手に貼り付ける構成のものであってもよく、或いは、指に巻き付ける部材によってセンサを指先又は手に固定する構成のものであってもよい。また、手４０ｂには、複数の加速度センサ、又は複数の力センサ、又は複数の加速度センサと複数の力センサを備えてもよい。また、複数の加速度センサ又は複数の力センサは、手４０ｂへの装着性又は手４０ｂによる作業性を損なわないような個数、大きさ、取り付け位置であることが望ましい。

【0050】

図８は、図７の検査装置２０のハードウェア構成の例を概略的に示す図である。図８に示されるように、検査装置２０は、ＣＰＵなどのプロセッサ２０１と、揮発性の記憶装置であるメモリ２０２と、ＨＤＤ又はＳＳＤなどの不揮発性の記憶装置２０３と、インタフェース２０４とを有している。メモリ２０２は、例えば、ＲＡＭなどの半導体メモリである。

【0051】

検査装置２０の各機能は、例えば、処理回路により実現される。処理回路は、専用のハードウェアであってもよく、又はメモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。

【0052】

処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又はこれらのうちのいずれかを組み合わせたものである。

【0053】

処理回路がプロセッサ２０１である場合、実行される検査プログラムは、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。検査プログラムは、ネットワークを経由して又は記録媒体から検査装置２０にインストールされる。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ２０２に格納される。プロセッサ２０１は、メモリ２０２に記憶された学習プログラムを読み出して実行することにより、図７に示される各部の機能を実現することができる。

【0054】

なお、検査装置２０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。

【0055】

図９は、図７の検査装置２０の動作を示すフローチャートである。図９に示されるように、推論フェーズでは、ステップＳ２１において、力取得部２１は、第１の入力である力検出値Ｄ１ｂを取得し、加速度取得部２２は、第２の入力である加速度検出値Ｄ２ｂを取得する。

【0056】

ステップＳ２２、Ｓ２３において、判定部２３は、使用する学習用データに力検出値Ｄ１ｂと加速度検出値Ｄ２とを入力して、判定結果（すなわち、推論結果）を出力する。

【0057】

実施の形態２に係る検査装置２０、検査方法、及び検査プログラムを用いれば、作業者の主観が判定に影響しないので、対象物の状態を精度よく判定することができる。

【0058】

《４》実施の形態２の変形例．
図１０は、実施の形態２の変形例に係る検査装置２０ａの構成を概略的に示す機能ブロック図である。検査装置２０ａは、学習装置１０又は１０ａで生成され記憶装置としての学習済モデル記憶部２４に予め保存されている学習済モデルを使用して検査の対象物である機器３０ｂの状態を検査するための推論装置である。検査装置２０ａは、実施の形態２の変形例に係る検査方法を実施することができる装置であり、例えば、コンピュータである。

【0059】

検査装置２０ａは、図７の検査装置２０と同様に、力取得部２１と、加速度取得部２２と、推論部としての判定部２３とを有している。また、検査装置２０ａは、力特徴量抽出部２５と、加振期間抽出部２６と、加速度特徴量抽出部２７と、ユーザ適合処理部２８と、判定結果記録部２９とを有している。

【0060】

加振期間抽出部２６は、第１の入力である力検出値Ｄ１ｂ及び第２の入力である加速度検出値Ｄ２ｂの少なくとも一方に基づいて加振動作の期間である加振期間を抽出する。加振期間の抽出方法としては、実施の形態１の変形例で説明した方法を用いることができる。

【0061】

力特徴量抽出部２５は、第１の入力である力検出値Ｄ１ｂから第１の特徴量である力検出値特徴量を抽出する。力検出値特徴量は、例えば、分散値、ピークツーピーク値、平均値などである。加速度特徴量抽出部２７は、第２の入力である加速度検出値Ｄ２ｂから第２の特徴量である加速度検出値特徴量を抽出する。加速度検出値特徴量は、例えば、分散値、ピークツーピーク値、平均値などである。

【0062】

ユーザ適合処理部２８は、第１の特徴量である力検出値特徴量と第２の特徴量である力検出値特徴量とユーザ情報Ｕとに基づいて、特徴量を重み付けする。重み付けされた特徴量ｘは、例えば、上記の式（１）により計算される。ユーザ適合処理部２８は、ユーザ情報Ｕに基づいて、学習済モデル記憶部２４から、使用する学習済モデルを選択する。具体的には、ユーザ適合処理部１８は、学習済モデル記憶部１５から加速度全体傾向パラメータと力全体傾向パラメータと個人別パラメータとを読み込み、入力された特徴量の重み付け処理を行う。ユーザの属性は、検査作業についてのユーザの経験年数（すなわち、作業経験回数を示す情報）などを含む。また、ユーザの属性は、ユーザの身体情報を含む。身体情報は、例えば、ユーザの身長、体重、筋肉量、性別、年齢、手の形状（掌の大きさ、指の長さ）、事前に測定した握力・筋持久力・瞬発力、などうちの１つ以上の情報を含む。ここでは、ユーザの属性でグルーピングされた学習済モデルから対応する学習済モデルを選択するようにすれば、学習済モデルの構築に利用する学習データ及び推論に利用する推論対象データのばらつきを低減できるため、機器の状態を高精度に推定することができる。手には、複数の加速度センサ、又は複数の力センサ、又は複数の加速度センサと複数の力センサを備えてもよい。この場合、それらの観測情報から手の状態（例えば、関節位置、関節角度）を推定し、その情報を新たなユーザの属性情報として利用し、新たな入力及び学習モデルの選択に利用してもよい。

【0063】

判定部２３は、重み付けされた力検出値特徴量及び重み付けされた加速度検出値特徴量を入力とし、機器３０ｂの状態のスコアｇを計算し、そのスコアｇに基づいて機器３０ｂの固定状態を判定する。スコア計算では、学習済みのパラメータを用いたユーザ適合処理部２８の処理結果を用いて非線形関数ｆを通じて、指標値を推定する。グループ分けした場合は、対応する学習済モデルを選択し、指標値を推定する。スコア計算は、例えば、階層ベイズモデルと回帰分析とを用いた、以下の式（２）を用いて行われる。

【0064】

【数2】

【0065】

式（２）において、ｇは固定状態を示す指標値（例えば、ねじの回転量）、ｘは重み付けられた特徴量、β_ａは加速度全体傾向を表すパラメータ、Ａｃｃは加速度検出値特徴量、β_ｐは力全体傾向を表すパラメータ、Ｐｒｓは力検出値特徴量、β_ｓｂｊは検査を行う作業者であるユーザごとに設定される個人差を表すパラメータ、σ_ｓｂｊは確率モデルのもつばらつきを表すパラメータである。

【0066】

判定結果記録部２９は、判定結果（すなわち、推論結果）を出力、又は、記憶装置に記録する。判定結果記録部２９は、対象物としての機器３０ｂの状態を推定した結果である指標値（例えば、ガタツキの程度を示す数値）を、加振動作期間の時刻、対象物としての機器の名称などと紐づけて記録することができる。

【0067】

図１１は、図１０の検査装置２０ａの動作を示すフローチャートである。図１１に示されるように、ステップＳ２０１において、力取得部２１は、加振期間中に、第１の入力である力検出値Ｄ１ｂを取得し、加速度取得部２２は、第２の入力である加速度検出値Ｄ２ｂを取得する。

【0068】

ステップＳ２０２において、力特徴量抽出部２５は、加振期間中の第１の入力である力検出値Ｄ１ｂから力検出値特徴量を計算し、加速度特徴量抽出部２７は、加振期間中の第２の入力である加速度検出値（第２の入力）から加速度検出値特徴量を計算する。

【0069】

ステップＳ２０３において、ユーザ適合処理部１８は、学習済モデル記憶部１５から加速度全体傾向パラメータと力全体傾向パラメータと個人別パラメータとを読み込み、入力された特徴量の重み付け処理を行う。

【0070】

ステップＳ２０４において、判定部２３は、重み付けされた特徴量ｘを入力とし、機器の状態のスコアｇを計算し、そのスコアｇに基づいて機器の固定状態を判定する。スコア計算は、例えば、階層ベイズモデルと回帰分析とを用いた、上記式（２）を用いて行われる。

【0071】

実施の形態２の変形例に係る検査装置２０ａ、検査方法、及び検査プログラムを用いれば、作業者の主観が判定に影響しないので、対象物の状態を精度よく判定することができる。

【符号の説明】

【0072】

１０、１０ａ 学習装置、 １１ 学習用データ生成装置、 １２ 学習用データ記憶部、 １３ データ取得部、 １４ モデル生成部、 １５ 学習済モデル記憶部、 １６ 加振期間抽出部、 １７ 特徴量抽出部、 １８ ユーザ適合処理部、 １９ 記録部、 Ｄ１ａ 力検出値（第１のデータ）、 Ｄ２ａ 加速度検出値（第２のデータ）、 Ｄ３ａ 状態情報（第３のデータ）、 Ｕ ユーザ情報、 ２０、２０ａ 検査装置、 ２１ 力取得部、 ２２ 加速度取得部、 ２３ 判定部、 ２４ 学習済モデル記憶部、 ２５ 力特徴量抽出部、 ２６ 加振期間抽出部、 ２７ 加速度特徴量抽出部、 ２８ ユーザ適合処理部、 ２９ 判定結果記録部、 ３０ａ、３０ｂ 機器（対象物）、 ３１ａ、３１ｂ 支持部材、 ４０ａ、４０ｂ 手、 ５１ａ、５１ｂ 力センサ、 ５２ａ、５２ｂ 加速度センサ、 Ｄ１ｂ 力検出値（第１の入力）、 Ｄ２ｂ 加速度検出値（第２の入力）。

【要約】

検査装置（２０）は、対象物（３０ｂ）を把持する力を示す第１の入力（Ｄ１ｂ）を取得する力取得部（２１）と、加速度を示す第２の入力（Ｄ２ｂ）を取得する加速度取得部（２２）と、第１の入力（Ｄ１ｂ）と第２の入力（Ｄ２ｂ）とから、ユーザ情報（Ｕ）を用いて生成された、対象物（３０ｂ）の状態を判定するための学習済モデルを用いて、第１の入力（Ｄ１ｂ）と第２の入力（Ｄ２ｂ）とから対象物（３０ｂ）の状態を判定する判定部（２３）とを有する。学習装置（１０）は、対象物（３０ａ）を把持する力を示す第１のデータ（Ｄ１ａ）と、加速度を示す第２のデータ（Ｄ２ａ）と、第１のデータ（Ｄ１ａ）と第２のデータ（Ｄ２ａ）との組み合わせに対する対象物（３０ａ）の状態を示す第３のデータ（Ｄ３ａ）とを含む学習用データを取得するデータ取得部（１３）と、対象物の状態を判定するための学習済モデルを生成するモデル生成部（１４）とを有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】