(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024157447
(43)【公開日】2024-11-07
(54)【発明の名称】情報処理方法及び情報処理装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20241030BHJP
【FI】
G06T7/00 660B
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023071823
(22)【出願日】2023-04-25
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】110000486
【氏名又は名称】弁理士法人とこしえ特許事務所
(72)【発明者】
【氏名】岡本 雅己
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA02
5L096DA02
5L096EA35
5L096FA55
5L096FA60
5L096FA69
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】対象者が物体を保持している場合に、当該物体に起因して所定の身体部位にかかる身体負荷を推定できる情報処理方法及び情報処理装置を提供する。
【解決手段】情報処理装置100は、プロセッサ10を用いて、対象者Pの所定の身体部位にかかる身体負荷を推定し、プロセッサ10は、対象者Pが所定の物体Xを保持しているか否かを判定し、対象者Pが物体Xを保持している場合は、対象者Pの推定姿勢を取得し、画像入力部1に入力された対象者Pの画像Vに基づいて、物体Xの物体情報を取得し、推定姿勢及び物体情報に基づいて、身体部位にかかる身体負荷の推定値である身体負荷推定値Fを算出し、身体負荷推定値Fを示す身体負荷情報を情報表示部2に出力する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
プロセッサを用いて、対象者の所定の身体部位にかかる身体負荷を推定する情報処理方法であって、
前記プロセッサは、
前記対象者が所定の物体を保持しているか否かを判定し、
前記対象者が前記物体を保持している場合は、
前記対象者の推定姿勢を取得し、
画像入力部に入力された前記対象者の画像に基づいて、前記物体の物体情報を取得し、
前記推定姿勢及び前記物体情報に基づいて、前記身体部位にかかる身体負荷の推定値である身体負荷推定値を算出し、
前記身体負荷推定値を示す身体負荷情報を情報表示部に出力する、情報処理方法。
【請求項2】
前記プロセッサは、第1の機械学習モデルが前記画像に基づいて出力した前記推定姿勢を取得する、請求項1に記載の情報処理方法。
【請求項3】
前記プロセッサは、前記対象者の体に取り付けられた1つ又は複数のセンサの検出信号に基づいて、前記推定姿勢を取得する、請求項1に記載の情報処理方法。
【請求項4】
前記物体情報は、前記物体の質量、重心位置及び慣性モーメントのうち少なくとも1つを含む、請求項1に記載の情報処理方法。
【請求項5】
前記身体負荷推定値は、前記身体部位の筋肉にかかる力の大きさ、又は、前記身体部位の関節にかかるモーメントの大きさを示す値である、請求項1に記載の情報処理方法。
【請求項6】
前記プロセッサは、
前記画像から前記物体を含む特定領域画像を抽出し、
第2の機械学習モデルを用いて、前記特定領域画像に基づいて前記物体情報を取得する、請求項1に記載の情報処理方法。
【請求項7】
前記プロセッサは、
前記第2の機械学習モデルが前記特定領域画像に基づいて出力した前記物体の種別候補を取得し、
前記種別候補に関連付けられた前記物体情報を取得する、請求項6に記載の情報処理方法。
【請求項8】
前記プロセッサは、
複数の前記種別候補を取得した場合は、
前記複数の種別候補の各々の確度を取得し、
前記確度が所定の閾値以上である前記種別候補に関連付けられた前記物体情報を取得する、請求項7に記載の情報処理方法。
【請求項9】
前記プロセッサは、
前記第2の機械学習モデルが前記特定領域画像に基づいて出力した前記物体情報を取得する、請求項6に記載の情報処理方法。
【請求項10】
前記身体負荷情報は前記身体負荷推定値の推定値範囲を示す情報を含む、請求項1に記載の情報処理方法。
【請求項11】
前記プロセッサは、前記身体負荷推定値の確度である推定値確度を算出し、
前記身体負荷情報は、前記推定値範囲における、前記推定値確度の分布を色又はグラフで表示する情報を含む、請求項10に記載の情報処理方法。
【請求項12】
前記プロセッサは、前記身体負荷推定値の推定値範囲が所定範囲よりも広い場合は、前記物体情報の手動入力を促す情報を前記情報表示部に出力する、請求項1に記載の情報処理方法。
【請求項13】
前記プロセッサは、
前記物体の他に前記物体と同一目的で使用可能な他物体があるか否かを判定し、
前記他物体がある場合は、前記対象者が前記物体を前記他物体に持ち替えることで、前記身体負荷推定値が低くなるか否かを判定し、
記対象者が前記物体を前記他物体に持ち替えることで前記身体負荷推定値が低くなる場合は、前記物体を前記他物体に持ち替えることを推奨する情報を前記情報表示部に出力する、請求項1に記載の情報処理方法。
【請求項14】
前記プロセッサは、
前記他物体が複数ある場合であって、前記対象者が前記物体を複数の前記他物体のいずれか1つに持ち替えることで前記身体負荷推定値が低くなる場合は、
前記身体負荷推定値が最も低い前記他物体を保持推奨物体として選択し、
前記物体を前記保持推奨物体に持ち替えることを推奨する情報を前記情報表示部に出力する、請求項13に記載の情報処理方法。
【請求項15】
前記プロセッサは、
前記身体負荷推定値を現在の値よりも低くするための前記物体の推奨保持方法があるか否かを判定し、
前記推奨保持方法がある場合は、前記推奨保持方法を推薦する情報を前記情報表示部に出力する、請求項1に記載の情報処理方法。
【請求項16】
対象者の所定の身体部位にかかる身体負荷を推定する情報処理装置であって、
前記対象者が所定の物体を保持しているか否かを判定する物体保持判定部と、
前記対象者の推定姿勢を取得する推定姿勢取得部と、
画像入力部に入力された前記対象者の画像に基づいて、前記物体の物体情報を取得する物体情報取得部と、
前記推定姿勢及び前記物体情報に基づいて、前記身体部位にかかる身体負荷の推定値である身体負荷推定値を算出する身体負荷推定値算出部と、
前記身体負荷推定値を示す身体負荷情報を情報表示部に出力する出力部とを備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法及び情報処理装置に関するものである。
【背景技術】
【0002】
特許文献1には、対象者の姿勢を推定し、推定した姿勢及び姿勢の継続時間に基づいて、対象者の疲労度を推定することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された方法では、対象者が物体を保持していた場合に当該物体が対象者の身体部位に与える負荷を推定できない。
【0005】
本発明が解決しようとする課題は、対象者が物体を保持している場合に、当該物体に起因して所定の身体部位にかかる身体負荷を推定できる情報処理方法及び情報処理装置を提供することである。
【課題を解決するための手段】
【0006】
本発明は、対象者が所定の物体を保持している場合は、対象者の画像に基づいて、物体の物体情報を取得し、物体情報及び対象者の推定姿勢に基づいて、所定の身体部位にかかる身体負荷の推定値である身体負荷推定値を算出し、身体負荷推定値を示す身体負荷情報を情報表示部に出力することによって上記課題を解決する。
【発明の効果】
【0007】
本発明によれば、物体情報及び推定姿勢から身体負荷推定値を算出するので、対象者が物体を保持している場合に、当該物体に起因して所定の身体部位にかかる身体負荷を推定できる。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態に係る情報処理装置の構成を示すブロック図である。
【
図2】
図1に示す情報処理装置の画像入力部に入力される対象者の画像の例を示す図である。
【
図3】
図1に示す情報処理装置が出力する身体負荷情報の表示例であり、身体負荷情報に含まれる身体負荷推定値の推定値確度の分布をグラフで表示した例を示す図である。
【
図4】
図1に示す情報処理装置が出力する身体負荷情報の表示例であり、身体負荷情報に含まれる身体負荷推定値の推定値確度の分布を色の濃淡で表示した例を示す図である。
【
図5】第1実施形態に係る情報処理方法の手順を示すフローチャートである。
【
図6】第2実施形態に係る情報処理方法の手順を示すフローチャートである。
【
図7】第3実施形態に係る情報処理方法の手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
《第1実施形態》
本発明の第1実施形態を
図1~5に基づいて説明する。
図1に示す情報処理装置100は、対象者Pの所定の身体部位にかかる身体負荷を推定する。なお、対象者Pとは、情報処理装置100が身体負荷を推定する対象となる者である(
図2参照)。
図1に示すように、情報処理装置100は、画像入力部1に入力された画像を取得する。また、情報処理装置100は、対象者の身体負荷に関する身体負荷情報を情報表示部2に出力する。また、情報処理装置100は、プロセッサ10を有する。
【0010】
画像入力部1は、例えば、カメラである。すなわち、画像入力部1に入力された画像とは、画像入力部1としてのカメラが撮像した画像である。画像入力部1は、対象者Pの近傍又は周囲の設備に既に設置されているカメラであってもよく、携帯端末に内蔵されているカメラであってもよい。
【0011】
情報表示部2は、例えば、文字情報等を視覚的に表示するディスプレイである。また、情報表示部2は、ユーザ(対象者P及び/又は対象者Pの身体負荷の評価者)が情報を手動入力可能なタッチパネルディスプレイであってもよい。また、情報表示部2は、情報を音声で出力するスピーカであってもよい。
【0012】
プロセッサ10は、プログラムが格納されたROM(Read Only Memory)と、ROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)とを備える。プロセッサ10は、物体保持判定部11、推定姿勢取得部12、物体情報取得部13、身体負荷推定値算出部14、情報生成部15及び出力部16を有する。プロセッサ10は、ROMに格納されたプログラムをCPUにより実行することにより、物体保持判定部11、推定姿勢取得部12、物体情報取得部13、身体負荷推定値算出部14、情報生成部15及び出力部16の各機能を実行する。
【0013】
以下、プロセッサ10の構成について詳細に説明する。
物体保持判定部11は、画像入力部1に入力された画像Vに基づき、対象者Pが所定の物体Xを保持しているか否かを判定する(
図2参照)。すなわち、物体保持判定部11は、対象者Pの画像Vに基づき、対象者Pの特定身体部位(
図2では、右手B1)に物体Xが握られているか否かを判定する。なお、特定身体部位とは、物体Xを保持するための身体の部位である。また、物体保持判定部11は、対象者Pの手(右手B1又は左手)に限らず、対象者Pの特定身体部位としての腕、脚、頭等に物体Xが装着されているか否かを判定してもよい。また、物体保持判定部11は、所定の保管設備から物体Xが取り外されたことを示す信号を当該保管設備から受信することにより「対象者Pが物体Xを保持している」と判定してもよい。また、物体保持判定部11は、物体Xが対象者Pの手に握られた、又は、物体Xが対象者Pの身体に装着されたことを示す信号を物体Xから受信することにより「対象者Pが物体Xを保持している」と判定してもよい。
なお、物体Xは、例えば、対象者Pが工場内で作業をしているときに使用する工具であるが、これに限定されず、対象者Pがスポーツをしているときに使用するバットやラケットであってもよい。
【0014】
推定姿勢取得部12は、物体保持判定部11が「対象者Pは物体Xを保持している」と判定した場合に、学習済みの第1の機械学習モデルA1を用いて対象者Pの推定姿勢を取得する。第1の機械学習モデルA1は、例えば、Openpose等の姿勢検出モデルである。第1の機械学習モデルA1は、画像入力部1に入力された画像Vに基づいて、対象者Pの推定姿勢(対象者Pの関節の位置情報及び骨格情報を含む姿勢情報)を出力する。
【0015】
また、推定姿勢取得部12は、第1の機械学習モデルA1を用いずに、対象者Pの身体に取り付けられた1つ又は複数のセンサの検出信号に基づいて、対象者Pの推定姿勢を取得してもよい。また、推定姿勢取得部12は、第1の機械学習モデルA1を用いずに、画像入力部1に入力された画像Vに基づいて、対象者Pの身体に取り付けられた複数のマーカの位置を検出することにより対象者Pの推定姿勢を取得してもよい。
【0016】
物体情報取得部13は、物体保持判定部11が「対象者Pは物体Xを保持している」と判定した場合に、画像Vに基づき、学習済みの第2の機械学習モデルA2を用いて物体Xの物体情報を取得する。具体的には、
図2に示すように、物体情報取得部13は、まず、推定姿勢取得部12が取得した推定姿勢に基づき、物体Xを保持するための特定身体部位(
図2では、右手B2)の位置を取得し、画像Vにおける特定身体部位(右手B2)の座標位置を含む領域を特定領域画像Vxとして抽出する。特定領域画像Vxは、いわゆるバウンディングボックスにより画定された領域内の画像である。特定領域画像Vxには、対象者Pの特定身体部位(右手B2)に保持された物体Xが含まれる。すなわち、物体情報取得部13は、画像Vから物体Xを含む特定領域画像Vxを抽出する。なお、特定領域画像Vxの大きさは予め設定されていてもよく、物体Xの大きさに合わせて自動的に決定されてもよい。なお、物体情報取得部13は、画像Vに含まれる全ての物体(物体X及び物体X以外の他物体を含む)に係る領域画像(各々の物体に対応するバウンディングボックスに囲まれた領域の画像)を抽出し、抽出した領域画像から特定身体部位の座標位置を含むものを特定領域画像Vxとして抽出してもよい。
【0017】
そして、物体情報取得部13は、第2の機械学習モデルA2を用いて、特定領域画像Vxに基づき物体情報を取得する。具体的には、物体情報取得部13は、第2の機械学習モデルA2がクラス分類処理によって特定領域画像Vxに基づき出力した物体Xの種別候補を取得する。例えば、第2の機械学習モデルA2は、特定領域画像Vxに基づいて物体XがA社製の工具であることを推定する。なお、第2の機械学習モデルA2は、物体Xの種別候補とともに、種別候補の確度(予測信頼度)も算出する。そして、物体情報取得部13は、データベース(図示せず)を参照して、種別候補に関連付けられた物体情報を取得する。ここで、物体情報取得部13は、複数の種別候補を取得した場合は、複数の種別候補の各々について第2の機械学習モデルA2が出力した確度を取得する。そして、物体情報取得部13は、確度が所定の閾値以上である種別候補に関連付けられた物体情報のみを取得する。例えば、第2の機械学習モデルA2は、物体Xの種別候補として、A社製の工具、B社製の工具及びC社製の工具を出力し、各々の種別候補について、90%、8%、2%等の確度を算出する。そして、所定の閾値が10%である場合は、物体情報取得部13は、確度が90%であるA社製の工具の物体情報のみを取得する。
なお、第2の機械学習モデルA2は、特定領域画像Vxを抽出せずにセグメンテーションによって物体Xの種別候補を出力してもよい。
なお、物体情報は、物体Xの質量、重心位置及び慣性モーメントのうち少なくとも1つを含む。
【0018】
また、物体情報取得部13は、第2の機械学習モデルA2が回帰処理によって特定領域画像Vxに基づき出力した物体情報を取得してもよい。すなわち、第2の機械学習モデルA2は、特定領域画像Vxに基づいて、物体Xの種別候補をせずに、直接、物体情報を算出してもよい。
【0019】
身体負荷推定値算出部14は、推定姿勢取得部12が取得した推定姿勢及び物体情報取得部13が取得した物体情報に基づいて、所定の身体部位(
図2では、右腕B0)にかかる身体負荷推定値Fを算出する。身体負荷推定値Fは、身体部位の筋肉にかかる力(引っ張り力又は圧縮力)の大きさ、又は、身体部位の関節にかかるモーメントの大きさを示す値である。具体的には、
図2に示すように、身体負荷推定値Fの算出対象である身体部位が右腕B0である場合は、身体負荷推定値Fは、右腕B0の前腕筋若しくは上腕二頭筋にかかる力の大きさ、又は、肘関節にかかるモーメントの大きさである。なお、身体負荷推定値算出部14は、1つの身体部位について複数の身体負荷推定値Fを算出してもよい。すなわち、例えば、身体負荷推定値算出部14は、右腕B0について、前腕筋にかかる力の大きさ、上腕二頭筋にかかる力の大きさ、及び、肘関節のかかるモーメントの大きさを全て算出してもよい。また、身体負荷推定値算出部14は、複数の身体部位について身体負荷推定値Fを算出してもよい。
【0020】
また、身体負荷推定値算出部14は、身体負荷推定値Fを所定の幅を持つ値として算出する。すなわち、身体負荷推定値算出部14は、身体負荷推定値Fを下記の式(1)で算出する。換言すれば、身体負荷推定値Fは、F0-dF~F0+dFの範囲の値を取ると推定される。なお、身体負荷推定値Fの取り得る範囲(F0-dF~F0+dF)を、以下の説明において推定値範囲Qとする。
F=F0±dF …(1)
【0021】
また、身体負荷推定値算出部14は、物体Xの種別候補が複数あるときは、各々の種別候補の物体情報に基づいて算出された身体負荷推定値Fを全て含むように、推定値範囲Qを算出する。
【0022】
また、身体負荷推定値算出部14は、推定値範囲Qにおける身体負荷推定値Fの確度である推定値確度Cを算出する。物体Xの種別候補が複数あるときは、身体負荷推定値算出部14は、種別候補の各々の確度に基づいて、推定値範囲Qにおける身体負荷推定値Fの推定値確度Cを算出する。また、身体負荷推定値算出部14は、推定値範囲Qにおける中央値F0の推定値確度Cを最も高く算出し、中央値F0から離れるにつれ低くなるように推定値確度Cを算出してもよい。
【0023】
情報生成部15は、身体負荷推定値Fを示す身体負荷情報を生成する。身体負荷情報には、身体負荷推定値Fの推定値範囲Qを示す情報が含まれる。また、身体負荷情報は、推定値範囲Qにおける、身体負荷推定値Fの推定値確度Cの分布を色又はグラフで視覚的に表示する情報も含む。
【0024】
例えば、
図3は、身体負荷推定値Fの推定値確度Cの分布をグラフで表した身体負荷情報の表示例である。
図3では、身体負荷推定値F=F1~F2(F1=F0-dF,F2=F0+dF)の範囲を推定値範囲Qとする。また、推定値範囲Qにおける中央値F0の推定値確度Cは、最も高い値C0を取る。また、身体負荷推定値Fが中央値F0から離れ、最小値F1又は最大値F2に近づくにつれ推定値確度Cは低くなり0に近づく。
【0025】
また、
図4は、身体負荷推定値Fの推定値確度Cの分布を色の濃淡で表した身体負荷情報の表示例である。すなわち、
図4では、身体負荷推定値Fを表す目盛Mに沿って色の濃淡によって推定値確度Cの分布が表されている。なお、
図4では、推定値確度Cの分布は白色、灰色及び黒色のみで表示されているが、例えば、赤色系の色の濃淡で表示されていてもよい。また、
図4に示す例では、身体負荷推定値F=5.0±2.7[N]である。すなわち、
図4に示す例では、身体負荷推定値F=2.3~7.7の範囲を推定値範囲Qとし、身体負荷推定値Fの中央値F0=5.0[N]であり、最小値F1=2.3[N]であり、最大値F2=7.7[N]である。ここで、身体負荷推定値Fの中央値F0=5.0[N]において推定値確度Cは最も高い値を取るため、中央値F0=5.0[N]の近傍の範囲Q0(4.6~5.4[N])において表示される色は最も濃い。例えば、推定値確度Cの分布が赤色系の色の濃淡で表示される場合は、4.6~5.4[N]の範囲Q0は濃い赤色で表示される。また、身体負荷推定値Fが中央値F0=5.0[N]から離れるにつれ、色は薄くなり、例えば、身体負荷推定値F=3.7~4.6[N]の範囲Q1及び身体負荷推定値F=5.4~6.3[N]の範囲Q2は橙色で表示される。さらに、身体負荷推定値F=2.3~3.7[N]の範囲Q3及び身体負荷推定値F=6.3~7.7[N]の範囲Q4は薄い黄色で表示される。すなわち、推定値確度Cの分布は、推定値確度Cが高い程濃い色で表示され、低い程薄い色で表示される。なお、推定値確度Cの分布は色の濃淡のみならず、色相の変化によって表現されてもよい。例えば、推定値確度Cの分布は、推定値確度Cが高い程暖色系の色で表示され、低い程寒色系の色で表示されてもよい。
【0026】
また、情報生成部15は、推定値範囲Qが所定範囲よりも広いか否かを判定し、推定値範囲Qが所定範囲よりも広い場合は、対象者Pに物体情報の手動入力を促す情報を生成する。なお、所定範囲とは、身体負荷推定値Fの算出結果に対して所定以上の信頼性があるか否かを判断するための閾値である。
また、情報生成部15は、第2の機械学習モデルA2が出力した種別候補が複数ある場合は、出力された種別候補を提示してユーザに物体Xの種別を選択するように促す情報を生成してもよい。
【0027】
さらに、
図1に示す出力部16は、情報生成部15が生成した身体負荷情報を含む情報を情報表示部2に出力する。
【0028】
次に、
図5のフローチャートを用いて、情報処理装置100のプロセッサ10が実行する情報処理方法の手順について説明する。
まず、ステップS1において、プロセッサ10は、画像入力部1に入力された画像Vを取得する。
そして、ステップS2において、物体保持判定部11は、対象者Pが物体Xを保持しているか否かを判定する。対象者Pが物体Xを保持していない場合は、処理は終了する。
【0029】
一方、ステップS2において「対象者Pが物体Xを保持している」と判定された場合は、ステップS3において、推定姿勢取得部12は、対象者Pの推定姿勢を取得する。
そして、ステップS4において、物体情報取得部13は、物体Xを含む特定領域画像Vxを抽出する。
次に、ステップS5において、物体情報取得部13は、第2の機械学習モデルA2を用いて、特定領域画像Vxに基づいて物体情報を取得する。
さらに次に、ステップS6において、身体負荷推定値算出部14は、対象者Pの推定姿勢及び物体Xの物体情報に基づいて、所定の身体部位にかかる身体負荷の推定値である身体負荷推定値Fを算出する。
さらに、ステップS7において、身体負荷推定値算出部14は、身体負荷推定値Fの推定値範囲Qを算出する。
【0030】
次に、ステップS8において、情報生成部15は、身体負荷推定値Fの推定値範囲Qが所定範囲よりも広いか否かを判定する。
【0031】
ステップS8において「身体負荷推定値Fの推定値範囲Qは所定範囲よりも広い」と判定された場合は、ステップS9において、情報生成部15は、対象者Pに物体Xの物体情報の手動入力を促す情報を生成し、出力部16が当該情報を情報表示部2に出力する。そして、物体Xの物体情報が手動入力された場合は、処理は、ステップS5に戻り、プロセッサ10は物体情報を取得する。
【0032】
一方、ステップS8において「身体負荷推定値Fの推定値範囲Qは所定範囲以下である」と判定された場合は、ステップS10において、出力部16は、身体負荷推定値Fを示す身体負荷情報を情報表示部2に出力する。
【0033】
以上より、本実施形態に係る情報処理装置100は、対象者Pが物体Xを保持している場合は、対象者Pの推定姿勢を取得し、画像入力部1に入力された対象者Pの画像Vに基づいて、物体Xの物体情報を取得し、推定姿勢及び物体情報に基づいて、身体部位にかかる身体負荷の推定値である身体負荷推定値Fを算出し、身体負荷推定値Fを示す身体負荷情報を情報表示部2に出力する。これにより、情報処理装置100は、物体情報及び推定姿勢から身体負荷推定値Fを算出するので、対象者Pが物体Xを保持している場合に、物体Xに起因して所定の身体部位にかかる身体負荷を推定できる。また、情報処理装置100は、画像Vに基づいて物体Xの物体情報を取得するため、ユーザが手動で物体Xの物体情報を入力する必要がない。
【0034】
また、情報処理装置100は、第1の機械学習モデルA1が画像Vに基づいて出力した推定姿勢を取得する。これにより、推定姿勢を取得するために対象者Pの身体にセンサ等を装着する必要なく、情報処理装置100は、画像Vのみに基づいて推定姿勢を取得することができる。
【0035】
なお、情報処理装置100は、対象者Pの体に取り付けられた1つ又は複数のセンサの検出信号に基づいて、推定姿勢を取得してもよい。これにより、情報処理装置100は、センサの検出信号に基づいて、推定姿勢を精度良く取得することができる。
【0036】
また、情報処理装置100が取得する物体情報は、物体Xの質量、重心位置及び慣性モーメントのうち少なくとも1つを含む。これにより、情報処理装置100は、物体情報に基づいて、具体的な身体負荷推定値を算出することができる。
【0037】
また、情報処理装置100が算出する身体負荷推定値Fは、身体部位の筋肉にかかる力の大きさ、又は、身体部位の関節にかかるモーメントの大きさを示す値である。これにより、対象者Pを含むユーザは、対象者Pの身体部位にかかる身体負荷を具体的に把握し、評価することができる。
【0038】
また、情報処理装置100は、画像Vから物体Xを含む特定領域画像Vxを抽出し、第2の機械学習モデルA2を用いて、特定領域画像Vxに基づいて物体情報を取得する。これにより、情報処理装置100は、第2の機械学習モデルA2を用いて、精度良く物体Xの物体情報を取得できる。
【0039】
また、情報処理装置100は、第2の機械学習モデルA2が特定領域画像Vxに基づいて出力した物体Xの種別候補を取得し、種別候補に関連付けられた物体情報を取得する。これにより、情報処理装置100は、第2の機械学習モデルA2のクラス分類処理を利用して、物体Xの物体情報を取得できる。
【0040】
また、情報処理装置100は、複数の種別候補を取得した場合は、複数の種別候補の各々の確度を取得し、確度が所定の閾値以上である種別候補に関連付けられた物体情報を取得する。これにより、情報処理装置100は、確度が所定の閾値未満である種別候補の物体情報を取得しないため、信頼性の高い物体情報を取得することができる。
【0041】
また、情報処理装置100は、第2の機械学習モデルA2が特定領域画像Vxに基づいて出力した物体情報を取得してもよい。これにより、情報処理装置100は、第2の機械学習モデルA2の回帰処理を利用して、物体Xの物体情報を取得できる。
【0042】
また、情報処理装置100が出力する身体負荷情報は身体負荷推定値Fの推定値範囲Qを示す情報を含む。これにより、ユーザは、ある程度の幅を持った値として身体負荷推定値Fを確認することができる。
【0043】
また、情報処理装置100は、身体負荷推定値Fの確度である推定値確度Cを算出し、身体負荷情報は、推定値範囲Qにおける、推定値確度Cの分布を色又はグラフで表示する情報を含む。これにより、ユーザは、身体負荷推定値F及び推定値確度Cの分布を直感的に認識することができる。
【0044】
また、情報処理装置100は、身体負荷推定値Fの推定値範囲Qが所定範囲よりも広い場合は、物体情報の手動入力を促す情報を情報表示部2に出力する。これにより、情報処理装置100は、身体負荷推定値Fの推定値範囲Qが所定範囲よりも広い場合は、身体負荷推定値Fの算出結果の信頼性が所定よりも低いと判断し、ユーザの手動入力により物体情報を取得できる。
【0045】
《第2実施形態》
次に、本発明の第2実施形態について
図6に基づいて説明する。なお、第2実施形態に係る情報処理装置100の構成は
図1に示すものと同様の構成である。また、以下の説明において、フローチャートにおける同一の符号は同一又は同様の処理を示すものであるため、詳細な説明は省略する。なお、
図6に示すフローチャートは、
図5に示す第1実施形態のフローチャートにステップS21~S24の処理を追加し、ステップS7~S9の処理を省いたものである。
【0046】
図6に示すように、プロセッサ10は、ステップS6において物体Xについての身体負荷推定値Fを算出した後、ステップS21において、物体Xの他に物体Xと同一目的で使用可能な他物体があるか否かを判定する。具体的には、物体XがA社製の工具であった場合、プロセッサ10は、画像Vに他社製の工具が含まれているか否かを判定する。なお、画像Vに他社製の工具が含まれている場合とは、物体Xを持って作業中の対象者Pの傍らに他社製の工具(B社製の工具、C社製の工具等)が置かれている場合である。また、プロセッサ10は、データベース(図示せず)から、対象者Pの近くに他物体(例えば、他社製の工具)が保管されていることを示す情報を取得した場合に「物体Xの他に物体Xと同一目的で使用可能な他物体がある」と判定してもよい。
【0047】
ステップS21において、プロセッサ10が「物体Xの他に物体Xと同一目的で使用可能な他物体はない」と判定した場合は、処理はステップS10に移り、出力部16は物体Xについての身体負荷情報を出力する。
一方、ステップS21において「物体Xの他に物体Xと同一目的で使用可能な他物体がある」と判定された場合は、ステップS22において、プロセッサ10は、他物体についての身体負荷推定値F’を算出する。具体的には、プロセッサ10は、他物体の物体情報を取得し、対象者Pの推定姿勢及び他物体の物体情報に基づいて、対象者Pが他物体を保持していると仮定した場合の身体負荷推定値F’を算出する。なお、プロセッサ10は、第2の機械学習モデルA2を用いて、画像Vに含まれる他物体の物体情報を取得してもよく、データベース(図示せず)から他物体の物体情報を取得してもよい。
【0048】
次に、ステップS24において、プロセッサ10は、他物体についての身体負荷推定値F’は物体Xについての身体負荷推定値Fよりも低いか否かを推定する。他物体についての身体負荷推定値F’が物体Xについての身体負荷推定値F以上の値であるときは、処理はステップS10に移り、出力部16は物体Xについての身体負荷情報を出力する。
【0049】
一方、ステップS24において、「他物体についての身体負荷推定値F’は物体Xについての身体負荷推定値Fよりも低い」と判定された場合は、情報生成部15は、物体Xを他物体に持ち替えることを推奨する情報を生成する。
そして、ステップS10において、出力部16は、物体Xについての身体負荷情報とともに、ステップS24で生成した情報を情報表示部2に出力する。
【0050】
なお、物体Xと同一目的で使用可能な他物体が複数ある場合におけるステップS21~S24の処理の詳細については、以下に説明する。
まず、ステップS21において「物体Xと同一目的で使用可能な他物体が複数ある」と判定された場合は、ステップS22において、プロセッサ10は、各々の他物体について物体情報を取得し、対象者Pの推定姿勢及び物体情報に基づいて、各々の他物体についての身体負荷推定値F’を算出する。
そして、ステップS23において、プロセッサ10は、物体Xについての身体負荷推定値Fと各々の他物体についての身体負荷推定値F’とを比較し、複数の他物体のうちのいずれかの他物体の身体負荷推定値F’は物体Xの身体負荷推定値Fよりも低いか否かを判定する。すなわち、ステップS23において、プロセッサ10は、対象者Pが物体Xを複数の他物体のいずれか1つに持ち替えることで身体負荷推定値Fが低くなるか否かを判定する。
【0051】
そして、ステップS23において、「複数の他物体のうちのいずれの他物体の身体負荷推定値F‘も物体Xの身体負荷推定値F以上である」と判定された場合は、ステップS10において、プロセッサ10は、物体Xについての身体負荷情報を出力する。
【0052】
一方、ステップS23において、「複数の他物体のうちの少なくともいずれか1つの他物体の身体負荷推定値F‘が物体Xの身体負荷推定値Fよりも低い」と判定された場合、すなわち、対象者Pが物体Xを複数の他物体のいずれか1つに持ち替えることで身体負荷推定値Fが低くなる場合は、ステップS24において、情報生成部15は、身体負荷推定値F’が最も低い他物体を保持推奨物体として選択する。そして、情報生成部15は、物体Xを保持推奨物体に持ち替えることを推奨する情報を生成する。
そして、ステップS10において、出力部16は、物体Xについての身体負荷情報とともに、ステップS24で生成した情報を情報表示部2に出力する。
【0053】
なお、
図6に示すフローチャートにおいて、
図5に示す第1実施形態に係るフローチャートと同様に、プロセッサ10は、ステップS7~S9の処理を実行してもよい。
【0054】
以上より、本実施形態に係る情報処理装置100は、物体Xの他に物体Xと同一目的で使用可能な他物体がある場合は、対象者Pが物体Xを他物体に持ち替えることで、身体負荷推定値Fが低くなるか否かを判定する。そして、情報処理装置100は、対象者Pが物体Xを他物体に持ち替えることで身体負荷推定値Fが低くなる場合は、物体Xを他物体に持ち替えることを推奨する情報を情報表示部2に出力する。これにより、対象者Pは、情報処理装置100が出力した情報に基づいて物体Xを他物体に持ち替えることで、物体Xの使用目的を達成しつつ身体負荷を軽減させることができる。
【0055】
また、情報処理装置100は、他物体が複数ある場合であって、対象者Pが物体Xを複数の他物体のいずれか1つに持ち替えることで身体負荷推定値Fが低くなる場合は、身体負荷推定値Fが最も低い他物体を保持推奨物体として選択し、物体Xを保持推奨物体に持ち替えることを推奨する情報を情報表示部2に出力する。これにより、他物体が複数ある場合であっても、対象者Pは、情報処理装置100が出力した情報に基づいて物体Xを保持推奨物体に持ち替えることで、物体Xの使用目的を達成しつつ身体負荷を軽減させることができる。
【0056】
《第3実施形態》
次に、本発明の第3実施形態について
図7に基づいて説明する。なお、第3実施形態に係る情報処理装置100の構成は
図1に示すものと同様の構成である。なお、
図7に示すフローチャートは、
図5に示す第1実施形態のフローチャートにステップS31,S32の処理を追加し、ステップS7~S9の処理を省いたものである。
【0057】
図7に示すように、プロセッサ10は、ステップS6において物体Xについての身体負荷推定値Fを算出した後、ステップS31において、身体負荷推定値Fを低くできる推奨保持方法があるか否かを判定する。具体的には、プロセッサ10は、対象者Pが推定姿勢以外の姿勢を取った場合の身体負荷推定値Fを算出する。または、プロセッサ10は、対象者Pが現在の特定身体部位(例えば、右手B1)以外の身体部位で物体Xを保持した場合の身体負荷推定値Fを算出する。すなわち、プロセッサ10は、対象者Pが物体Xを保持するための保持方法を複数パターン分シミュレーションし、各々のパターンについて身体負荷推定値Fを算出し、ステップS6で算出された現在の身体負荷推定値Fと比較する。
【0058】
ステップS31において、プロセッサ10が「身体負荷推定値Fを低くできる推奨保持方法がない」と判定した場合は、処理はステップS10に移り、出力部16は現在の身体負荷推定値Fを示す身体負荷情報を出力する。
【0059】
一方、ステップS31において、「身体負荷推定値Fを低くできる推奨保持方法がある」と判定された場合は、ステップS32において、情報生成部15は、推奨保持方法を推薦する情報を生成する。なお、身体負荷推定値Fを低くできる保持方法が複数ある場合は、情報生成部15は、身体負荷推定値Fが最も低くなる保持方法を推奨保持方法として推薦する情報を生成する。
そして、ステップS10において、出力部16は、身体負荷情報とともに、推奨保持方法を推薦する情報を情報表示部2に出力する。
【0060】
なお、
図7に示すフローチャートにおいて、
図5に示す第1実施形態に係るフローチャート及び
図6に示す第2実施形態に係るフローチャートと同様に、プロセッサ10は、ステップS7~S9及び/又はステップS21~S24の処理を実行してもよい。
【0061】
以上より、本実施形態に係る情報処理装置100は、身体負荷推定値Fを現在の値よりも低くするための物体Xの推奨保持方法があるか否かを判定し、推奨保持方法がある場合は、推奨保持方法を推薦する情報を情報表示部2に出力する。これにより、対象者Pは、情報処理装置100が出力した情報に基づいて物体Xの保持方法を変えることで、身体負荷を軽減させることができる。
【0062】
100…情報処理装置
1…画像入力部
2…情報表示部
10…プロセッサ
11…物体保持判定部
12…推定姿勢取得部
13…物体情報取得部
14…身体負荷推定値算出部
16…出力部
A1…第1の機械学習モデル
A2…第2の機械学習モデル
C…推定値確度
F…身体負荷推定値
Q…推定値範囲
V…画像
Vx…特定画像領域
X…物体