特開 2024-72168 関節角度推定プログラム、情報処理装置、関節角度推定方法及び関節角度推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072168

(43)【公開日】2024-05-27

(54)【発明の名称】関節角度推定プログラム、情報処理装置、関節角度推定方法及び関節角度推定システム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20240520BHJP

【ＦＩ】

A61B5/11 230

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022182875

(22)【出願日】2022-11-15

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人新エネルギー・産業技術総合開発機構「官民による若手研究者発掘支援事業／マッチングサポートフェーズ／安価かつ高性能な自己完結型データグローブの研究開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(74)【代理人】

【識別番号】110003421

【氏名又は名称】弁理士法人フィールズ国際特許事務所

(72)【発明者】

【氏名】荊 雷

(72)【発明者】

【氏名】宮田 大輔

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038VA04

4C038VB12

4C038VC09

(57)【要約】

【課題】作業者が行っている作業の内容に依らず、作業者の手の姿勢を推定することを可能とする関節角度推定プログラム、情報処理装置、関節角度推定方法及び関節角度推定システムを提供する。
【解決手段】推定対象の作業者が手に装着した導電性の布グローブに取り付けられたセンサから、推定対象の作業者の関節位置における圧力に対応する第１のセンサ値を受信し、学習対象の作業者の関節位置における圧力に対応するセンサ値と、学習対象の作業者の関節角度とをそれぞれ含む複数の教師データを学習した機械学習モデルに対して第１のセンサ値を入力し、第１のセンサ値の入力に伴って機械学習モデルから出力される第１の関節角度を取得し、取得した第１の関節角度を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

推定対象の作業者が手に装着した導電性の布グローブに取り付けられたセンサから、前記推定対象の作業者の関節位置における圧力に対応する第１のセンサ値を受信し、
学習対象の作業者の関節位置における圧力に対応するセンサ値と、前記学習対象の作業者の関節角度とをそれぞれ含む複数の教師データを学習した機械学習モデルに対して、受信した前記第１のセンサ値を入力し、前記第１のセンサ値の入力に伴って前記機械学習モデルから出力される第１の関節角度を取得し、
取得した前記第１の関節角度を出力する、
処理をコンピュータに実行させることを特徴とする関節角度推定プログラム。

【請求項2】

請求項１において、
さらに、前記複数の教師データを学習することによって前記機械学習モデルを生成し、
生成した前記機械学習モデルを記憶部に記憶する、
処理をコンピュータに実行させ、
前記取得する処理では、前記記憶部に記憶された前記機械学習モデルに対して前記第１のセンサ値を入力する、
ことを特徴とする関節角度推定プログラム。

【請求項3】

請求項１において、
前記出力する処理では、
前記第１の関節角度から前記推定対象の作業者の手の姿勢を推定し、
推定した前記姿勢を出力する、
ことを特徴とする関節角度推定プログラム。

【請求項4】

請求項１において、
さらに、前記第１の関節角度を取得する処理の後、前記布グローブを装着した場合における前記推定対象の作業者の第２の関節角度を取得し、
取得した前記第１の関節角度と、取得した前記第２の関節角度とから、前記第１の関節角度と前記第２の関節角度との誤差値を算出し、
前記算出する処理の後、前記センサから、前記推定対象の作業者の関節位置における圧力に対応する第２のセンサ値を受信し、
前記機械学習モデルに対して前記第２のセンサ値を入力し、前記第２のセンサ値の入力に伴って前記機械学習モデルから出力される第３の関節角度を取得し、
算出した前記誤差値を用いて、取得した前記第３の関節角度を補正し、
補正した前記第３の関節角度を出力する、
処理をコンピュータに実行させることを特徴とする関節角度推定プログラム。

【請求項5】

推定対象の作業者が手に装着した導電性の布グローブに取り付けられたセンサから、前記推定対象の作業者の関節位置における圧力に対応する第１のセンサ値を受信し、
学習対象の作業者の関節位置における圧力に対応するセンサ値と、前記学習対象の作業者の関節角度とをそれぞれ含む複数の教師データを学習した機械学習モデルに対して、受信した前記第１のセンサ値を入力し、前記第１のセンサ値の入力に伴って前記機械学習モデルから出力される第１の関節角度を取得し、
取得した前記第１の関節角度を出力する、
ことを特徴とする情報処理装置。

【請求項6】

推定対象の作業者が手に装着した導電性の布グローブに取り付けられたセンサから、前記推定対象の作業者の関節位置における圧力に対応する第１のセンサ値を受信し、
学習対象の作業者の関節位置における圧力に対応するセンサ値と、前記学習対象の作業者の関節角度とをそれぞれ含む複数の教師データを学習した機械学習モデルに対して、受信した前記第１のセンサ値を入力し、前記第１のセンサ値の入力に伴って前記機械学習モデルから出力される第１の関節角度を取得し、
取得した前記第１の関節角度を出力する、
処理をコンピュータが実行することを特徴とする関節角度推定方法。

【請求項7】

センサが取り付けられた導電性の布グローブと、前記センサから受信したセンサ値を用いて処理を行う情報処理装置とを有し、
前記情報処理装置は、
推定対象の作業者が手に装着した前記布グローブに取り付けられた前記センサから、前記推定対象の作業者の関節位置における圧力に対応する第１のセンサ値を受信し、
学習対象の作業者の関節位置における圧力に対応するセンサ値と、前記学習対象の作業者の関節角度とをそれぞれ含む複数の教師データを学習した機械学習モデルに対して、受信した前記第１のセンサ値を入力し、前記第１のセンサ値の入力に伴って前記機械学習モデルから出力される第１の関節角度を取得し、
取得した前記第１の関節角度を出力する、
ことを特徴とする関節角度推定システム。

【請求項8】

請求項７において、
前記センサは、前記布グローブを装着した場合における前記推定対象の作業者の関節位置に取り付けられたセンサを含む、
ことを特徴とする関節角度推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、関節角度推定プログラム、情報処理装置、関節角度推定方法及び関節角度推定システムに関する。

【背景技術】

【0002】

近年、人間と外部環境との間の相互作用を触覚によって検出する際に、導電性布が用いられる場合がある。このような導電性布は、例えば、厚み方向の抵抗値（以下、単に抵抗値とも呼ぶ）が厚み方向に印加される圧力によって変化する性質を有している。そのため、例えば、導電性布によって生成されたグローブを作業者の手に装着することにより、作業中において測定された抵抗値から作業者の手の姿勢を推定することが可能になる（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０２１／０３１５４８５

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、上記のような姿勢の推定に用いられる学習モデル（以下、単に学習モデルとも呼ぶ）は、例えば、予め定められた特定の作業（以下、単に特定の作業とも呼ぶ）が行われている際の姿勢を推定することを想定して学習されたものであり、特定の作業以外の作業が行われている際の姿勢については十分な判定精度を確保することができない。そのため、上記のような分野では、例えば、作業者が行っている作業の内容に依らず、作業者の手の姿勢を高精度に推定することが可能な方法が求められている。

【0005】

そこで、本発明の目的は、作業者が行っている作業の内容に依らず、作業者の手の姿勢を推定することを可能とする関節角度推定プログラム、情報処理装置、関節角度推定方法及び関節角度推定システムを提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するための本発明における関節角度推定プログラムは、推定対象の作業者が手に装着した導電性の布グローブに取り付けられたセンサから、前記推定対象の作業者の関節位置における圧力に対応する第１のセンサ値を受信し、学習対象の作業者の関節位置における圧力に対応するセンサ値と、前記学習対象の作業者の関節角度とをそれぞれ含む複数の教師データを学習した機械学習モデルに対して、受信した前記第１のセンサ値を入力し、前記第１のセンサ値の入力に伴って前記機械学習モデルから出力される第１の関節角度を取得し、取得した前記第１の関節角度を出力する、処理をコンピュータに実行させる。

【発明の効果】

【0007】

本発明における関節角度推定プログラム、情報処理装置、関節角度推定方法及び関節角度推定システムによれば、作業者が行っている作業の内容に依らず、作業者の手の姿勢を推定することが可能になる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施の形態における情報処理装置１の構成例を示す図である。

【図2】図２は、第１の実施の形態におけるグローブ２の構成例を示す図である。

【図3】図３は、第１の実施の形態の概略を説明する図である。

【図4】図４は、第１の実施の形態の概略を説明する図である。

【図5】図５は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。

【図6】図６は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。

【図7】図７は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。

【図8】図８は、第１の実施の形態における学習処理の詳細を説明する図である。

【図9】図９は、第１の実施の形態における学習処理の詳細を説明する図である。

【図10】図１０は、第１の実施の形態における姿勢推定処理の詳細を説明するフローチャート図である。

【図11】図１１は、第１の実施の形態における姿勢推定処理の詳細を説明する図である。

【図12】図１２は、第１の変形例における姿勢推定処理を説明するフローチャート図である。

【図13】図１３は、第２の変形例における姿勢推定処理を説明するフローチャート図である。

【図14】図１４は、第２の変形例における姿勢推定処理を説明する図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

【0010】

［第１の実施の形態における情報処理装置１の構成例］
初めに、第１の実施の形態における情報処理装置１の構成例について説明を行う。図１は、第１の実施の形態における情報処理装置１の構成例を示す図である。

【0011】

情報処理装置１は、情報処理システム１０に含まれるコンピュータ装置であって、例えば、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。そして、情報処理装置１は、例えば、グローブ２を装着した作業者の手の姿勢を推定する処理（以下、姿勢推定処理とも呼ぶ）を行う。

【0012】

情報処理装置１は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図１に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、通信インタフェース１０３と、記憶媒体１０４（以下、記憶部１０４とも呼ぶ）とを有する。各部は、バス１０５を介して互いに接続される。

【0013】

記憶媒体１０４は、例えば、姿勢推定処理を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。

【0014】

また、記憶媒体１０４は、例えば、姿勢推定処理を行う際に用いられる情報を記憶する記憶領域（図示せず）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0015】

ＣＰＵ１０１は、例えば、記憶媒体１０４からメモリ１０２にロードされたプログラム（図示せず）を実行することによって姿勢推定処理を行う。

【0016】

通信インタフェース１０３は、例えば、有線通信または無線通信によってグローブ２と通信を行う。

【0017】

［第１の実施の形態におけるグローブ２の構成例］
次に、第１の実施の形態におけるグローブ２の構成例について説明を行う。図２は、第１の実施の形態におけるグローブ２の構成例を示す図である。なお、図２に示すグローブ２に取り付けられる（縫い付けられる）センサの位置や数等は、一例であり、これに限られるものではない。

【0018】

グローブ２は、例えば、情報処理システム１０に含まれるグローブである。そして、グローブ２は、例えば、導電性布によって生成されたグローブ本体２１と、グローブ本体２１に取り付けられた１以上のセンサ２２、１以上のセンサ２３、１以上のセンサ２４及び１以上のセンサ２５を有する。

【0019】

具体的に、１以上のセンサ２２は、例えば、グローブ本体２１を作業者が装着した場合における作業者の小指の平坦位置に対応する位置に取り付けられたセンサ２２ａ、センサ２２ｂ及びセンサ２２ｃを含む。また、１以上のセンサ２２は、例えば、グローブ本体２１を作業者が装着した場合における作業者の薬指の平坦位置に対応する位置に取り付けられたセンサ２２ｄ、センサ２２ｅ及びセンサ２２ｆを含む。また、１以上のセンサ２２は、例えば、グローブ本体２１を作業者が装着した場合における作業者の中指の平坦位置に対応する位置に取り付けられたセンサ２２ｇ、センサ２２ｈ及びセンサ２２ｉを含む。また、１以上のセンサ２２は、例えば、グローブ本体２１を作業者が装着した場合における作業者の人差し指の平坦位置に対応する位置に取り付けられたセンサ２２ｊ、センサ２２ｋ及びセンサ２２ｌを含む。さらに、１以上のセンサ２２は、例えば、グローブ本体２１を作業者が装着した場合における作業者の親指の平坦位置に対応する位置に取り付けられたセンサ２２ｍ及びセンサ２２ｎを含む。

【0020】

すなわち、１以上のセンサ２２は、例えば、作業者の指の平坦位置における圧力を測定するセンサとして機能する。具体的に、１以上のセンサ２２は、例えば、作業者の指の姿勢に応じて作業者の指の平坦位置において発生するグローブ本体２１（導電性布）の厚み方向の抵抗値（以下、センサ値とも呼ぶ）を測定する。そして、１以上のセンサ２２は、例えば、測定したセンサ値を情報処理装置１に送信する。

【0021】

また、１以上のセンサ２３は、例えば、グローブ本体２１を作業者が装着した場合における作業者の小指の関節位置に対応する位置に取り付けられたセンサ２３ａ、センサ２３ｂ及びセンサ２３ｃを含む。また、１以上のセンサ２３は、例えば、グローブ本体２１を作業者が装着した場合における作業者の薬指の関節位置に対応する位置に取り付けられたセンサ２３ｄ、センサ２３ｅ及びセンサ２３ｆを含む。また、１以上のセンサ２３は、例えば、グローブ本体２１を作業者が装着した場合における作業者の中指の関節位置に対応する位置に取り付けられたセンサ２３ｇ、センサ２３ｈ及びセンサ２３ｉを含む。また、１以上のセンサ２３は、例えば、グローブ本体２１を作業者が装着した場合における作業者の人差し指の関節位置に対応する位置に取り付けられたセンサ２３ｊ、センサ２３ｋ及びセンサ２３ｌを含む。さらに、１以上のセンサ２３は、例えば、グローブ本体２１を作業者が装着した場合における作業者の親指の関節位置に対応する位置に取り付けられたセンサ２３ｍ及びセンサ２３ｎを含む。

【0022】

すなわち、１以上のセンサ２３は、例えば、作業者の指の関節位置における圧力を測定するセンサとして機能する。具体的に、１以上のセンサ２３は、例えば、作業者の指の姿勢に応じて作業者の指の関節位置において発生するグローブ本体２１（導電性布）の厚み方向の抵抗値（センサ値）を測定する。そして、１以上のセンサ２３は、例えば、測定したセンサ値を情報処理装置１に送信する。

【0023】

また、１以上のセンサ２４は、例えば、グローブ本体２１を作業者が装着した場合における作業者の掌の平坦位置に対応する位置のうち、指側の位置に取り付けられたセンサ２４ａ、センサ２４ｂ、センサ２４ｃ、センサ２４ｄ、センサ２４ｅ、センサ２４ｆ、センサ２４ｇ及びセンサ２４ｈを含む。また、１以上のセンサ２４は、例えば、グローブ本体２１を作業者が装着した場合における作業者の掌の平坦位置に対応する位置のうち、手首側の位置に取り付けられたセンサ２４ｉ、センサ２４ｊ、センサ２４ｋ、センサ２４ｌ、センサ２４ｍ、センサ２４ｎ、センサ２４о及びセンサ２４ｐを含む。

【0024】

すなわち、１以上のセンサ２４は、例えば、作業者の掌の平坦位置における圧力を測定するセンサとして機能する。具体的に、１以上のセンサ２４は、例えば、作業者の掌の姿勢に応じて作業者の掌の平坦位置において発生するグローブ本体２１（導電性布）の厚み方向の抵抗値（センサ値）を測定する。そして、１以上のセンサ２４は、例えば、測定したセンサ値を情報処理装置１に送信する。

【0025】

また、１以上のセンサ２５は、例えば、グローブ本体２１を作業者が装着した場合における作業者の掌の関節位置に対応する位置（例えば、センサ２４ａ等が取り付けられた位置とセンサ２４ｉ等が取り付けられた位置との間の位置）に取り付けられたセンサ２５ａを含む。

【0026】

すなわち、１以上のセンサ２５は、例えば、作業者の掌の関節位置における圧力を測定するセンサとして機能する。具体的に、１以上のセンサ２５は、例えば、作業者の掌の姿勢に応じて作業者の掌の関節位置において発生するグローブ本体２１（導電性布）の厚み方向の抵抗値（センサ値）を測定する。そして、１以上のセンサ２５は、例えば、測定したセンサ値を情報処理装置１に送信する。

【0027】

このように、本実施の形態におけるグローブ２には、例えば、グローブ本体２１を作業者が装着した場合における手の平坦位置に加え、グローブ本体２１を作業者が装着した場合における手の関節位置においても各センサが取り付けられている。そして、グローブ２は、例えば、各センサによって測定されたセンサ値を情報処理装置１に対して随時送信する。

【0028】

これにより、本実施の形態における情報処理装置１は、後述するように、例えば、各センサから送信されたセンサ値を入力することによって作業者の手の関節角度を推定する学習モデルを生成することが可能になる。

【0029】

なお、以下、１以上のセンサ２２と１以上のセンサ２４とを総称して平坦位置センサＦＳとも呼び、１以上のセンサ２３と１以上のセンサ２５とを総称して関節位置センサＪＳとも呼ぶ。

【0030】

［第１の実施の形態の概略］
次に、第１の実施の形態の概略について説明を行う。図３及び図４は、第１の実施の形態の概略を説明する図である。具体的に、図３は、情報処理装置１の機能について説明するブロック図である。また、図４は、記憶媒体１０４に記憶される情報について説明する図である。

【0031】

情報処理装置１は、図３に示すように、例えば、センサ値受信部１１１、データ生成部１１２、モデル生成部１１３、関節角度取得部１１４、姿勢推定部１１５及び結果出力部１１６を含む各機能を実現する。なお、センサ値受信部１１１、データ生成部１１２及びモデル生成部１１３は、学習モデルＭＤの生成を行う処理（以下、学習処理とも呼ぶ）を実現する機能である。また、センサ値受信部１１１、関節角度取得部１１４、姿勢推定部１１５及び結果出力部１１６は、姿勢推定処理を実現する機能である。

【0032】

また、記憶媒体１０４は、図４に示すように、例えば、センサ値１３１と、関節角度１３２と、教師データ１３３と、補正値１３４と、学習モデルＭＤを記憶する。なお、補正値１３４の説明については後述する。

【0033】

初めに、学習処理を実現する機能について説明を行う。

【0034】

情報処理装置１のセンサ値受信部１１１は、例えば、作業者（以下、学習対象の作業者とも呼ぶ）が手に装着したグローブ２に取り付けられた各センサから、学習対象の作業者の平坦位置及び関節位置における圧力に対応するセンサ値１３１（以下、学習対象のセンサ値１３１とも呼ぶ）を受信する。そして、センサ値受信部１１１は、例えば、受信したセンサ値１３１を記憶媒体１０４に記憶する。

【0035】

具体的に、センサ値受信部１１１は、例えば、平坦位置センサＦＳのそれぞれから、学習対象の作業者の手の各平坦位置における圧力に対応するセンサ値１３１を受信する。また、センサ値受信部１１１は、例えば、関節位置センサＪＳのそれぞれから、学習対象の作業者の手の各関節位置における圧力に対応するセンサ値１３１を受信する。

【0036】

なお、平坦位置センサＦＳ及び関節位置センサＪＳのそれぞれは、例えば、定期的なタイミング（例えば、数ｍｓごとのタイミング）においてセンサ値１３１を測定して情報処理装置１に送信するものであってよい。

【0037】

情報処理装置１のデータ生成部１１２は、例えば、センサ値受信部１１１が関節位置センサＪＳから受信したセンサ値１３１（記憶媒体１０４に記憶されたセンサ値１３１）と、学習対象の作業者の関節角度１３２（記憶媒体１０４に記憶された関節角度１３２）とをそれぞれ含む複数の教師データ１３３を生成する。学習対象の作業者の関節角度１３２は、例えば、撮影装置（図示しない）によって予め撮影された画像データ（学習対象の作業者の手が映る画像データ）から特定された各関節の関節角度（学習対象の作業者の各関節における関節角度）であり、記憶媒体１０４に予め記憶された情報である。そして、データ生成部１１２は、例えば、生成した複数の教師データ１３３を記憶媒体１０４に記憶する。

【0038】

具体的に、データ生成部１１２は、例えば、関節位置センサＪＳにおいて測定されたセンサ値１３１（以下、特定のセンサ値１３１とも呼ぶ）を含む教師データ１３３を生成する場合、特定のセンサ値１３１が測定されたタイミング（以下、第１タイミングとも呼ぶ）に対応するタイミング（以下、第２タイミングとも呼ぶ）において撮影された画像データから特定された関節角度１３２のうち、特定のセンサ値１３１を測定したセンサが取り付けられた位置に対応する関節の関節角度１３２（以下、特定の関節角度１３２とも呼ぶ）を特定する。第２タイミングは、例えば、第１タイミングと同一のタイミング、または、第１タイミングとの差が予め定められた閾値以下であるタイミングである。そして、データ生成部１１２は、例えば、特定のセンサ値１３１と特定の関節角度１３２とを含む教師データ１３３を生成する。

【0039】

情報処理装置１のモデル生成部１１３は、例えば、データ生成部１１２が生成した複数の教師データ（記憶媒体１０４に記憶された複数の教師データ）を学習することによって機械学習モデルＭＤ（以下、単に学習モデルＭＤとも呼ぶ）を生成する。そして、モデル生成部１１３は、例えば、生成した学習モデルＭＤを記憶媒体１０４に記憶する。なお、学習モデルＭＤは、例えば、回帰型のＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルであってよい。

【0040】

次に、姿勢推定処理を実現する機能について説明を行う。

【0041】

情報処理装置１のセンサ値受信部１１１は、例えば、作業者（以下、推定対象の作業者とも呼ぶ）が手に装着したグローブ２に取り付けられた関節位置センサＪＳから、推定対象の作業者の関節位置における圧力に対応する新たなセンサ値１３１（以下、センサ値１３１ａまたは推定対象のセンサ値１３１ａとも呼ぶ）を受信する。そして、センサ値受信部１１１は、例えば、受信したセンサ値１３１ａを記憶媒体１０４に記憶する。

【0042】

具体的に、センサ値受信部１１１は、例えば、平坦位置センサＦＳのそれぞれから、推定対象の作業者の手の各平坦位置における圧力に対応するセンサ値１３１ａを受信する。また、センサ値受信部１１１は、例えば、関節位置センサＪＳのそれぞれから、学習対象の作業者の手の各関節位置における圧力に対応するセンサ値１３１ａを受信する。

【0043】

情報処理装置１の関節角度取得部１１４は、例えば、モデル生成部１１３が生成した学習モデルＭＤ（記憶媒体１０４に記憶された学習モデルＭＤ）に対して、センサ値受信部１１１が受信したセンサ値１３１ａ（記憶媒体１０４に記憶されたセンサ値１３１ａ）を入力する。そして、関節角度取得部１１４は、例えば、センサ値１３１ａの入力に伴って学習モデルＭＤから出力される関節角度１３２の推定値（以下、関節角度１３２ａとも呼ぶ）を取得する。そして、関節角度取得部１１４は、例えば、取得した関節角度１３２ａを記憶媒体１０４に記憶する。

【0044】

具体的に、関節角度取得部１１４は、例えば、関節位置センサＪＳのそれぞれによって測定されたセンサ値１３１ａを学習モデルＭＤにそれぞれ入力する。そして、関節角度取得部１１４は、例えば、学習モデルＭＤから出力される関節角度１３２ａのそれぞれを取得する。

【0045】

情報処理装置１の姿勢推定部１１５は、例えば、関節角度取得部１１４が取得した関節角度１３２ａ（記憶媒体１０４に記憶された関節角度１３２ａ）のそれぞれから、推定対象の作業者の手の姿勢を推定する。

【0046】

具体的に、姿勢推定部１１５は、例えば、推定対象の作業者の手における各関節についての全ての関節角度１３２ａを用いることによって、推定対象の作業者の手の姿勢を推定する。

【0047】

情報処理装置１の結果出力部１１６は、例えば、姿勢推定部１１５によって推定された手の姿勢を出力装置（図示せず）に出力する。

【0048】

すなわち、結果出力部１１６は、例えば、関節位置センサＪＳのそれぞれがセンサ値１３１ａを測定したタイミングにおける推定対象の作業者の手の姿勢を出力する。

【0049】

なお、結果出力部１１６は、例えば、センサ値受信部１１１が受信したセンサ値１３１ａ（記憶媒体１０４に記憶されたセンサ値１３１ａ）から、推定対象の作業者の手における圧力分布を生成して出力装置に出力するものであってもよい。具体的に、結果出力部１１６は、例えば、平坦位置センサＦＳのそれぞれが測定したセンサ値１３１ａを用いることによって、推定対象の作業者の手における圧力分布を生成するものであってもよい。

【0050】

すなわち、本実施の形態における情報処理装置１は、姿勢推定処理において、例えば、グローブ２に取り付けられた関節位置センサＪＳのそれぞれから送信されたセンサ値１３１ａの入力に応じてグローブ２を装着した作業者（推定対象の作業者）の関節角度１３２ａを出力する学習モデルＭＤを用いる。そして、本実施の形態における情報処理装置１では、学習モデルＭＤから出力された関節角度１３２ａを用いることによって、関節位置センサＪＳのそれぞれがセンサ値１３１を測定したタイミングにおける作業者の手の姿勢の推定を行う。

【0051】

この点、例えば、グローブに取り付けられた各センサから送信されたセンサ値の入力に応じてグローブを装着した作業者の手の姿勢を直接出力する分類型のＤＮＮ等（以下、他の学習モデルとも呼ぶ）を用いる場合、作業者が把持している物体の種類によってセンサ値が変わる可能性があるため、他の学習モデルを作業者が把持する可能性がある物体の種類ごとに用意する必要がある。

【0052】

これに対し、本実施の形態における情報処理装置１では、例えば、他の学習モデルに代えて、関節位置センサＪＳのそれぞれから送信されたセンサ値１３１ａの入力に応じて関節角度１３２ａを出力する学習モデルＭＤを用い、さらに、学習モデルＭＤから出力された関節角度１３２ａから作業者の手の姿勢の推定を行う。そのため、情報処理装置１では、例えば、作業者が物体を把持しているか否かによらず、また、作業者が把持している物体の種類によらず、単一の学習モデル（学習モデルＭＤ）によって作業者の手の姿勢の推定を行うことが可能になる。言い換えれば、本実施の形態における情報処理装置１では、例えば、他の学習モデルを用いる場合と比較して、手の姿勢の推定についての汎用性を高めることが可能になる。

【0053】

ここで、学習処理及び姿勢推定処理は、例えば、複数の情報処理装置１のそれぞれが各処理を連携して行うものであってもよい。

【0054】

具体的に、学習処理については、例えば、スペックの高い情報処理装置１が実行し、姿勢推定処理（すなわち、学習処理よりも処理負荷が低い処理）については、例えば、スペックの低い情報処理装置１が実行するものであってよい。さらに具体的に、学習処理については、例えば、ＰＣ等のコンピュータが実行するものであってよい。また、姿勢推定処理については、例えば、スマートフォンやＲａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等の小型のコンピュータが実行するものであってよい。なお、姿勢推定処理を実行する情報処理装置１は、この場合、例えば、図４で説明したセンサ値１３１、関節角度１３２及び教師データ１３３を有しない（記憶媒体１０４に記憶しない）ものであってよい。

【0055】

また、情報処理装置１（データ生成部１１２）は、学習処理において、例えば、複数人の学習用の作業者についてのセンサ値１３１のそれぞれを含む複数の教師データ１３３を生成するものであってもよい。そして、情報処理装置１（モデル生成部１１３）は、例えば、複数人の学習用の作業者についてのセンサ値１３１のそれぞれを含む複数の教師データ１３３を学習することによって学習モデルＭＤを生成するものであってもよい。

【0056】

［第１の実施の形態の詳細］
次に、第１の実施の形態における学習処理の詳細について説明を行う。図５から図７は、第１の実施の形態における学習処理の詳細を説明するフローチャート図である。また、図８及び図９は、第１の実施の形態における学習処理の詳細を説明する図である。また、図１０は、第１の実施の形態における姿勢推定処理の詳細を説明するフローチャート図である。また、図１１は、第１の実施の形態における姿勢推定処理の詳細を説明する図である。

【0057】

［センサ値記憶処理］
初めに、第１の実施の形態における学習処理のうち、平坦位置センサＦＳ及び関節位置センサＪＳのそれぞれから送信されたセンサ値１３１を記憶媒体１０４に蓄積する処理（以下、センサ値記憶処理をも呼ぶ）について説明を行う。図５は、第１の実施の形態におけるセンサ値記憶処理について説明する図である。

【0058】

センサ値受信部１１１は、図５に示すように、例えば、平坦位置センサＦＳ及び関節位置センサＪＳのいずれかからセンサ値１３１を受信するまで待機する（Ｓ１１のＮＯ）。

【0059】

そして、センサ値１３１を受信した場合、（Ｓ１１のＹＥＳ）、センサ値受信部１１１は、例えば、受信したセンサ値１３１を記憶媒体１０４に記憶する（Ｓ１２）。

【0060】

［関節角度記憶処理］
次に、第１の実施の形態における学習処理のうち、撮影装置（図示せず）によって撮影された画像データから特定した作業者（学習対象の作業者）の各関節の関節角度１３２を記憶媒体１０４に蓄積する処理（以下、関節角度記憶処理とも呼ぶ）について説明を行う。図６は、第１の実施の形態における関節角度記憶処理について説明する図である。

【0061】

データ生成部１１２は、図６に示すように、例えば、撮影装置によって撮影された画像データから作業者の関節角度１３２を特定する（Ｓ２１）。画像データは、例えば、Ｓ１１の処理で受信した各センサ値１３１（記憶媒体１０４に記憶された各センサ値１３１）の測定タイミングと同じタイミングにおいて撮影された各画像データ（作業者の手が映る画像データ）であり、予め記憶媒体１０４に記憶されているものであってよい。

【0062】

具体的に、データ生成部１１２は、例えば、各画像データから作業者の手の姿勢についての各スケルトンデータを生成するものであってよい。そして、データ生成部１１２は、例えば、生成したスケルトンデータごとに、各スケルトンデータから作業者の手における各関節の関節角度１３２を特定するものであってよい。

【0063】

そして、データ生成部１１２は、例えば、Ｓ２１の処理で特定した関節角度１３２を記憶媒体１０４に記憶する（Ｓ２２）。

【0064】

［学習処理のメイン処理］
次に、第１の実施の形態における学習処理のメイン処理について説明を行う。図７は、第１の実施の形態における学習処理のメイン処理について説明する図である。

【0065】

データ生成部１１２は、図７及び図８（Ａ）に示すように、例えば、記憶媒体１０４に記憶されたセンサ値１３１と関節角度１３２とをそれぞれ含む複数の教師データ１３３を生成する（Ｓ３１）。

【0066】

具体的に、データ生成部１１２は、例えば、記憶媒体１０４に記憶されたセンサ値１３１ごとに、各センサ値１３１の計測タイミングと同じタイミングにおいて撮影された画像データから特定された関節角度１３２（以下、特定の関節角度１３２とも呼ぶ）を特定する。そして、データ生成部１１２は、例えば、各センサ値１３１と、各センサ値１３１に対応する特定の関節角度１３２とが同一の教師データ１３３に含まれるように、複数の教師データ１３３を生成する。以下、複数の教師データ１３３の具体例について説明を行う。

【0067】

［複数の教師データ１３３の具体例］
図９は、複数の教師データ１３３の具体例について説明を行う。

【0068】

図９に示す複数の教師データ１３３のそれぞれは、例えば、グローブ２に取り付けられた各センサ（関節位置センサＪＳのそれぞれ）から受信した各センサ値１３１が設定される「センサ２３ａ」、「センサ２３ｂ」、・・・、「センサ２３ｎ」及び「センサ２５ａ」を項目として有する。また、図９に示す複数の教師データ１３３のそれぞれは、例えば、グローブ２を装着した作業者（学習対象の作業者）に対応する各関節角度１３２が設定される「関節１」、「関節２」、・・・、「関節Ｎ－１」及び「関節Ｎ」を項目として有する。

【0069】

具体的に、図９に示す複数の教師データ１３３における１行目のデータは、例えば、「センサ２３ａ」として「０．５３２（Ｐａ）」が設定され、「センサ２３ｂ」として「１．２４１（Ｐａ）」が設定され、「センサ２５ａ」として「０．５６５（Ｐａ）」が設定され、「関節１」として「１７７（度）」が設定され、「関節２」として「１７７（度）」が設定され、「関節Ｎ」として「１７６（度）」が設定されている。

【0070】

また、図９に示す複数の教師データ１３３における２行目のデータは、例えば、「センサ２３ａ」として「０．５３２（Ｐａ）」が設定され、「センサ２３ｂ」として「１．２４１（Ｐａ）」が設定され、「センサ２５ａ」として「０．５６５（Ｐａ）」が設定され、「関節１」として「１７７（度）」が設定され、「関節２」として「１７６（度）」が設定され、「関節Ｎ」として「１７６（度）」が設定されている。図９に含まれる他のデータについての説明は省略する。

【0071】

そして、モデル生成部１１３は、図７及び図８（Ｂ）に示すように、例えば、Ｓ３１の処理で生成した複数の教師データ１３３を用いた機械学習を行うことによって学習モデルＭＤを生成する（Ｓ３２）。

【0072】

その後、モデル生成部１１３は、例えば、Ｓ３２の処理で生成した学習モデルＭＤを記憶媒体１０４に記憶する（Ｓ３３）。

【0073】

［姿勢推定処理］
次に、第１の実施の形態における姿勢推定処理について説明を行う。図１０は、第１の実施の形態における姿勢推定処理について説明する図である。

【0074】

センサ値受信部１１１は、図１０に示すように、例えば、平坦位置センサＦＳ及び関節位置センサＪＳのいずれかからセンサ値１３１ａを受信するまで待機する（Ｓ４１のＮＯ）。

【0075】

そして、センサ値１３１ａを受信した場合、（Ｓ４１のＹＥＳ）、関節角度取得部１１４は、図１１に示すように、例えば、受信したセンサ値１３１ａを学習モデルＭＤに入力する（Ｓ４２）。

【0076】

具体的に、関節角度取得部１１４は、例えば、Ｓ４１の処理で受信したセンサ値１３１ａが関節センサ２３等のいずれかによって測定（送信）されたものであるか否かを判定するものであってよい。そして、関節角度取得部１１４は、例えば、Ｓ４１の処理で受信したセンサ値１３１ａが関節センサ２３等のいずれかによって測定されたものであると判定した場合に、Ｓ４２の処理を行うものであってよい。

【0077】

続いて、関節角度取得部１１４は、例えば、学習モデルＭＤから出力された関節角度１３２ａを取得する（Ｓ４３）。

【0078】

そして、姿勢推定部１１５は、例えば、Ｓ４３の処理で取得した関節角度１３２ａから作業者（推定対象の作業者）の手の姿勢を推定する（Ｓ４４）。

【0079】

具体的に、姿勢推定部１１５は、例えば、Ｓ４３の処理において作業者の手における全ての関節の関節角度１３２ａ（すなわち、グローブ２に取り付けられた全ての関節センサ２３等から送信されたセンサ値１３１ａのそれぞれに対応する全ての関節角度１３２ａ）を取得したと判定した場合に、Ｓ４４の処理を行うものであってよい。

【0080】

その後、結果出力部１１６は、例えば、Ｓ４４の処理で推定した姿勢を示す情報を出力装置（図示せず）に出力する（Ｓ４５）。具体的に、結果出力部１１６は、例えば、Ｓ４４の処理で推定した姿勢を示す３次元画像データを出力するものであってよい。

【0081】

なお、結果出力部１１６は、Ｓ４５の処理において、例えば、Ｓ４１の処理で受信したセンサ値１３１ａのうち、平坦位置センサＦＳのそれぞれによって測定されたセンサ値１３１ａを用いることにより、作業者の手における圧力分布を生成して出力するものであってもよい。

【0082】

このように、本実施の形態における情報処理装置１は、例えば、推定対象の作業者が手に装着した導電性の布グローブ（グローブ２）に取り付けられた関節位置センサＪＳから、推定対象の作業者の関節位置における圧力に対応するセンサ値１３１ａ（以下、第１のセンサ値１３１ａとも呼ぶ）を受信する。

【0083】

そして、情報処理装置１は、例えば、学習対象の作業者の関節位置における圧力に対応するセンサ値１３１と、学習対象の作業者の関節角度１３２とをそれぞれ含む複数の教師データ１３３を学習した学習モデルＭＤに対して第１のセンサ値１３１ａを入力し、第１のセンサ値１３１ａの入力に伴って学習モデルＭＤから出力される関節角度１３２ａ（以下、第１の関節角度１３２ａとも呼ぶ）を取得する。その後、情報処理装置１は、例えば、取得した第１の関節角度１３２ａを出力する。

【0084】

これにより、本実施の形態における情報処理装置１では、例えば、作業者が物体を把持しているか否かによらず、また、作業者が把持している物体の種類によらず、単一の学習モデル（学習モデルＭＤ）によって作業者の手の姿勢を行うことが可能になる。そのため、情報処理装置１では、例えば、分類型のＤＮＮモデル等の他の学習モデルを用いる場合よりも、手の姿勢の推定についての汎用性を高めることが可能になる。

【0085】

［第１の実施の形態における変形例（１）］
次に、第１の実施の形態における第１の変形例について説明を行う。図１２は、第１の変形例における姿勢推定処理を説明するフローチャート図である。具体的に、図１２は、第１の実施の形態におけるＳ４１及びＳ４２の処理の変形例について説明する図である。

【0086】

センサ値受信部１１１は、図１２に示すように、例えば、平坦位置センサＦＳ及び関節位置センサＪＳのいずれかからセンサ値１３１ａを受信するまで待機する（Ｓ１１１のＮＯ）。

【0087】

そして、センサ値１３１ａを受信した場合（Ｓ１１１のＹＥＳ）、センサ値受信部１１１は、例えば、Ｓ１１１の処理で受信したセンサ値１３１ａが予め定められた所定の閾値（以下、単に所定の閾値とも呼ぶ）以下であるか否かを判定する（Ｓ１１２）。

【0088】

その結果、センサ値１３１ａが所定の閾値以下でないと判定した場合（Ｓ１１２のＮＯ）、センサ値受信部１１１は、例えば、Ｓ１１１以降の処理を再度行う。

【0089】

一方、センサ値１３１ａが所定の閾値以下であると判定した場合（Ｓ１１２のＹＥＳ）、関節角度取得部１１４は、例えば、受信したセンサ値１３１ａを学習モデルＭＤに入力する（Ｓ１１３）。

【0090】

すなわち、例えば、手話等が行われる際の手の姿勢を推定する場合、グローブ２を装着した作業者（推定対象の作業者）は、物を把持していない状態で姿勢推定処理を行うことが好ましい。

【0091】

そのため、本変形例における情報処理装置１は、例えば、センサ値１３１ａが所定の閾値以下でない場合、グローブ２を装着した作業者が物を把持していると判定し、グローブ２を装着した作業者が物を把持していない状態になるまで待機するものであってもよい。

【0092】

これにより、本変形例における情報処理装置１は、例えば、手話等が行われる場合における姿勢推定処理の判定精度を向上させることが可能になる。

【0093】

なお、情報処理装置１は、例えば、Ｓ１１２の処理において、センサ値１３１ａが所定の閾値以下でないと判定した場合、作業者に対して把持している物を手放すことを促す通知（例えば、音声による通知）を行うものであってもよい。

【0094】

［第１の実施の形態における変形例（２）］
次に、第１の実施の形態における第２の変形例について説明を行う。図１３は、第２の変形例における姿勢推定処理を説明するフローチャート図である。具体的に、図１３は、第１の実施の形態におけるＳ４３及びＳ４４の処理の変形例について説明する図である。また、図１４は、第２の変形例における姿勢推定処理を説明する図である。

【0095】

関節角度取得部１１４は、図１４に示すように、例えば、学習モデルＭＤから出力された関節角度１３２ａを取得する（Ｓ２１１）。

【0096】

そして、姿勢推定部１１５は、例えば、記憶媒体１０４に記憶された補正値１３４を用いることによって、Ｓ２１１の処理で取得した関節角度１３２ａの補正を行う（Ｓ２１２）。

【0097】

補正値１３４は、例えば、所定のタイミングにおいて関節位置センサＪＳから送信されたセンサ値１３１ａ（以下、特定のセンサ値１３１ａとも呼ぶ）を学習モデルＭＤに入力することによって取得された関節角度１３２ａ（以下、基準関節角度１３２ａとも呼ぶ）と、特定のセンサ値１３１ａの測定タイミングにおいて撮影された画像データに映る関節角度１３２（以下、関節角度１３２ｂまたは参照関節角度１３２ｂとも呼ぶ）との誤差値であり、情報処理装置１によって予め算出されて記憶媒体１０４に記憶される情報である。

【0098】

すなわち、基準関節角度１３２ａは、例えば、Ｓ４３の処理によって取得された関節角度１３２ａのいずれかであってよい。また、参照関節角度１３２ｂは、例えば、Ｓ２１の処理と同様の処理によって取得された関節角度１３２であってよい。

【0099】

その後、姿勢推定部１１５は、例えば、Ｓ２１２の処理で補正を行った関節角度１３２ａから作業者（推定対象の作業者）の手の姿勢を推定する（Ｓ２１３）。以下、補正値１３４の具体例について説明を行う。

【0100】

［補正値１３４の具体例］
図１４は、補正値１３４の具体例について説明する図である。以下、グローブ２に取り付けられた関節位置センサＪＳの数が９個であるものとして説明を行う。

【0101】

図１４に示す例において、基準関節角度１３２ａは、関節位置センサＪＳのそれぞれの位置に対応する関節の関節角度（学習モデルＭＤから出力された関節角度）が「０（１段目の左）」、「２（１段目の真中）」、「０（１段目の右）」、「１（２段目の左）」、「２（２段目の真中）」、「１（２段目の右）」、「４（３段目の左）」、「０（３段目の真中）」及び「０（３段目の右）」のそれぞれであることを示している。また、図１４に示す例において、参照関節角度１３２ｂは、関節位置センサＪＳのそれぞれの位置に対応する関節の関節角度（画像データから特定された関節の関節角度）が「０（１段目の左）」、「２（１段目の真中）」、「０（１段目の右）」、「０（２段目の左）」、「１（２段目の真中）」、「３（２段目の右）」、「１（３段目の左）」、「０（３段目の真中）」及び「０（３段目の右）」のそれぞれであることを示している。

【0102】

ここで、参照関節角度１３２ｂに含まれる各値から基準関節角度１３２ａに含まれる各値を減算した場合、各減算結果（すなわち、参照関節角度１３２ｂと基準関節角度１３２ａとの間における誤差値）は、図１４に示すように、「０（１段目の左）」、「０（１段目の真中）」、「０（１段目の右）」、「－１（２段目の左）」、「－１（２段目の真中）」、「２（２段目の右）」、「－３（３段目の左）」、「０（３段目の真中）」及び「０（３段目の右）」のそれぞれになる。

【0103】

そのため、姿勢推定部１１５は、図１４に示すように、例えば、「０（１段目の左）」、「０（１段目の真中）」、「０（１段目の右）」、「－１（２段目の左）」、「－１（２段目の真中）」、「２（２段目の右）」、「－３（３段目の左）」、「０（３段目の真中）」及び「０（３段目の右）」のそれぞれを補正値１３４として予め算出する。

【0104】

そして、姿勢推定部１１５は、Ｓ２１２の処理において、例えば、Ｓ２１１の処理で取得した関節角度１３２ａのそれぞれ（各センサの位置に対応する関節の関節角度１３２ａのそれぞれ）に対して、補正値１３４のうちの各センサの位置に対応する関節の値のそれぞれを加算することによって、Ｓ２１１の処理で取得した関節角度１３２ａのそれぞれの補正を行う。

【0105】

このように、本変形例における情報処理装置１は、例えば、学習モデルＭＤから出力された第１の関節角度１３２ａを取得した後、グローブ２を装着した場合における作業者（推定対象の作業者）の関節角度１３２ｂ（以下、第２の関節角度１３２ｂとも呼ぶ）を取得する。そして、情報処理装置１は、例えば、取得した第１の関節角度１３２ａと、取得した第２の関節角度１３２ｂとから、第１の関節角度１３２ａと第２の関節角度１３２ｂとの誤差値（補正値１３４）を算出する。

【0106】

続いて、情報処理装置１は、例えば、関節位置センサＪＳから、作業者の関節位置における圧力に対応するセンサ値１３１ａ（以下、第２のセンサ値１３１ａとも呼ぶ）を受信する。そして、情報処理装置１は、例えば、学習モデルＭＤに対して第２のセンサ値１３１ａを入力し、第２のセンサ値１３１ａの入力に伴って学習モデルＭＤから出力される関節角度１３２ａ（以下、第３の関節角度１３２ａとも呼ぶ）を取得する。

【0107】

その後、情報処理装置１は、例えば、算出した誤差値を用いて、取得した第３の関節角度１３２ａを補正する。そして、情報処理装置１は、例えば、補正した第３の関節角度１３２ａを出力する。

【0108】

これにより、本変形例における情報処理装置１は、例えば、作業者（推定対象の作業者）の手の姿勢をより精度良く推定することが可能になる。また、情報処理装置１は、補正値１３４を定期的（例えば、１週間１回等の頻度）に更新することによって、例えば、グローブ２の継続的な使用に伴ってグローブ２の形状が変化する場合であっても、判定精度の低下を抑制することが可能になる。

【符号の説明】

【0109】

１：情報処理装置
２：グローブ
１０１：ＣＰＵ
１０２：メモリ
１０３：通信インタフェース
１０４：記憶媒体
１０５：バス
１１１：センサ値受信部
１１２：データ生成部
１１３：モデル生成部
１１４：関節角度取得部
１１５：姿勢推定部
１１６：結果出力部
ＦＳ：平坦位置センサ
ＪＳ：関節位置センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】