2026-48487 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2026048487

(43)【公開日】2026-03-17

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20260310BHJP

   G06T 7/60 20170101ALI20260310BHJP

   G06T 7/246 20170101ALI20260310BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/60 150D

G06T7/246

G06T7/60 180B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2024153405

(22)【出願日】2024-09-05

(71)【出願人】

【識別番号】000000044

【氏名又は名称】ＡＧＣ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】小山 哲哉

(72)【発明者】

【氏名】前川 政晴

(72)【発明者】

【氏名】南 匠弥

(72)【発明者】

【氏名】山本 一輝

(72)【発明者】

【氏名】増田 勝久

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA13

5L096BA18

5L096DA05

5L096FA09

5L096FA66

5L096HA03

(57)【要約】

【課題】作業者が安心して作業習得に取り組むことができる
【解決手段】作業者２０の動作をカメラ５０で撮像した動画を受付ける受付部と、前記動画中の前記作業者２０の人体の関節を認識して、前記動作に応じた各前記関節の時系列の座標である時系列座標データを生成する生成部と、前記作業者２０の動作に係る前記時系列座標データと、前記作業者２０のうち手本となる熟練者の動作に係る前記時系列座標データとの差分に基づいて集計されたスコアで評価する評価部と、前記スコアに対応した前記作業者２０の動作に対するアドバイスを前記スコアと共に出力する出力部と、を含む情報処理装置１０。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業者の動作を撮像装置で撮像した動画を受付ける受付部と、
前記動画中の前記作業者の人体の関節を認識して、前記動作に応じた各前記関節の時系列の座標である時系列座標データを生成する生成部と、
前記作業者の動作に係る前記時系列座標データと、前記作業者のうち手本となる熟練者の動作に係る前記時系列座標データとの差分に基づいて集計されたスコアで評価する評価部と、
前記スコアに対応した前記作業者の動作に対するアドバイスを前記スコアと共に出力する出力部と、
を含む情報処理装置。

【請求項2】

前記評価部は、前記熟練者の前記時系列座標データと、前記作業者の前記時系列座標データとの相違度を、両者の前記時系列座標データ間の距離に基づいて算出し、前記相違度を集計した値である前記スコアで評価する、
請求項１に記載の情報処理装置。

【請求項3】

前記出力部は、前記熟練者の動作に係る前記動画に対して、前記熟練者及び前記熟練者の前記動作に係る物を含む各物体の輪郭を単一色で表現した手本動画と、前記作業者の動作に係る前記動画に対して、前記作業者及び前記作業者の前記動作に係る物を含む各物体の輪郭を前記単一色とは異なる他の単一色で表現した現状動画とを、重ねた動画を出力する、
請求項１に記載の情報処理装置。

【請求項4】

前記作業者の動作が所定の位置に侵入した場合に、前記撮像装置は撮像を開始し、
前記作業者の動作が他の所定の位置に侵入した場合に、前記出力部は、前記スコア及び前記アドバイス、並びに前記重ねた動画の少なくとも何れかを出力する、
請求項３に記載の情報処理装置。

【請求項5】

前記受付部は、複数人の前記作業者の動作を撮像装置で同時に撮像した動画を受付け、
前記評価部は、前記複数人毎に各前記スコアを評価し、
前記出力部は、前記複数人の前記スコアを相対評価させた結果を前記アドバイスに反映させて出力する、
請求項１に記載の情報処理装置。

【請求項6】

作業者の動作を撮像装置で撮像した動画を受付け、
前記動画中の前記作業者の人体の関節を認識して、前記動作に応じた各前記関節の時系列の座標である時系列座標データを生成し、
前記作業者の動作に係る前記時系列座標データと、前記作業者のうち手本となる熟練者の動作に係る前記時系列座標データとの差分に基づいて集計されたスコアで評価し、
前記スコアに対応した前記作業者の動作に対するアドバイスを前記スコアと共に出力する、
処理をコンピュータが実行する情報処理方法。

【請求項7】

作業者の動作を撮像装置で撮像した動画を受付け、
前記動画中の前記作業者の人体の関節を認識して、前記動作に応じた各前記関節の時系列の座標である時系列座標データを生成し、
前記作業者の動作に係る前記時系列座標データと、前記作業者のうち手本となる熟練者の動作に係る前記時系列座標データとの差分に基づいて集計されたスコアで評価し、
前記スコアに対応した前記作業者の動作に対するアドバイスを前記スコアと共に出力する、
処理をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、工場などの作業現場において、作業者の作業の習熟度を定量的に評価する技術がある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１６８５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術は、管理技術又は監視技術に相当する側面があり、作業者は監視されているということの緊張感で作業に集中できず、習得のしやすさ、及び作業安全面で課題があった。

【0005】

本開示は、上記の点に鑑みてなされたものであり、作業者が安心して作業習得に取り組むことができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の第１態様は、情報処理装置であって、作業者の動作を撮像装置で撮像した動画を受付ける受付部と、前記動画中の前記作業者の人体の関節を認識して、前記動作に応じた各前記関節の時系列の座標である時系列座標データを生成する生成部と、前記作業者の動作に係る前記時系列座標データと、前記作業者のうち手本となる熟練者の動作に係る前記時系列座標データとの差分に基づいて集計されたスコアで評価する評価部と、前記スコアに対応した前記作業者の動作に対するアドバイスを前記スコアと共に出力する出力部と、を含む。

【0007】

第１態様の情報処理装置によれば、作業者が安心して作業習得に取り組むことができる。

【0008】

本開示の第２態様は、第１態様の情報処理装置であって、前記評価部は、前記熟練者の前記時系列座標データと、前記作業者の前記時系列座標データとの相違度を、両者の前記時系列座標データ間の距離に基づいて算出し、前記相違度を集計した値である前記スコアで評価する。

【0009】

第２態様の情報処理装置によれば、精度の高いスコアで評価できる。

【0010】

本開示の第３態様は、第１態様の情報処理装置であって、前記出力部は、前記熟練者の動作に係る前記動画に対して各物体の輪郭を単一色で表現した手本動画と、前記作業者の動作に係る前記動画に対して各物体の輪郭を前記単一色とは異なる他の単一色で表現した現状動画とを、重ねた動画を出力する。

【0011】

第３態様の情報処理装置によれば、手本動画と現状動画を視覚的に比較できる。

【0012】

本開示の第４態様は、第３態様の情報処理装置であって、前記作業者の動作が所定の位置に侵入した場合に、前記撮像装置は撮像を開始し、前記作業者の動作が他の所定の位置に侵入した場合に、前記出力部は、前記スコア及び前記アドバイス、並びに前記重ねた動画の少なくとも何れかを出力する。

【0013】

第４態様の情報処理装置によれば、作業の撮像開始から評価終了までを自動化できる。

【0014】

本開示の第５態様は、第１態様の情報処理装置であって、前記受付部は、複数人の前記作業者の動作を撮像装置で同時に撮像した動画を受付け、前記評価部は、前記複数人毎に各前記スコアを評価し、前記出力部は、前記複数人の前記スコアを相対評価させた結果を前記アドバイスに反映させて出力する。

【0015】

第５態様の情報処理装置によれば、複数人の間で作業のスコアを競争できる。

【0016】

本開示の第６態様は、情報処理方法であって、作業者の動作を撮像装置で撮像した動画を受付け、前記動画中の前記作業者の人体の関節を認識して、前記動作に応じた各前記関節の時系列の座標である時系列座標データを生成し、前記作業者の動作に係る前記時系列座標データと、前記作業者のうち手本となる熟練者の動作に係る前記時系列座標データとの差分に基づいて集計されたスコアで評価し、前記スコアに対応した前記作業者の動作に対するアドバイスを前記スコアと共に出力する、処理をコンピュータが実行する。

【0017】

第６態様の情報処理方法によれば、作業者が安心して作業習得に取り組むことができる。

【0018】

本開示の第７態様は、情報処理プログラムであって、作業者の動作を撮像装置で撮像した動画を受付け、前記動画中の前記作業者の人体の関節を認識して、前記動作に応じた各前記関節の時系列の座標である時系列座標データを生成し、前記作業者の動作に係る前記時系列座標データと、前記作業者のうち手本となる熟練者の動作に係る前記時系列座標データとの差分に基づいて集計されたスコアで評価し、前記スコアに対応した前記作業者の動作に対するアドバイスを前記スコアと共に出力する、処理をコンピュータに実行させる。

【0019】

第７態様の情報処理プログラムによれば、作業者が安心して作業習得に取り組むことができる。

【発明の効果】

【0020】

開示の技術によれば、作業者が安心して作業習得に取り組むことができる。

【図面の簡単な説明】

【0021】

【図1】本実施形態に係る情報処理装置１０と周辺装置の全体構成を示す図である。

【図2】本実施形態に係る情報処理装置１０のハードウェア構成を示すブロック図である。

【図3】本実施形態に係る情報処理装置１０の機能構成を示すブロック図である。

【図4】本実施形態に係る情報処理装置１０の受付部が受付ける動画の開始点を示す説明図である。

【図5】本実施形態に係る情報処理装置１０による各関節等の認識を示す説明図である。

【図6】本実施形態に係る情報処理装置１０による各関節等の認識を示す説明図である。

【図7】本実施形態に係る情報処理装置１０による各関節等の認識を示す説明図である。

【図8】本実施形態に係る情報処理装置１０による各関節等の認識を示す説明図である。

【図9】本実施形態に係る情報処理装置１０による各関節等の認識を示す説明図である。

【図10】本実施形態に係る情報処理装置１０による各関節等の認識を動画のフレーム毎に示す説明図である。

【図11】本実施形態に係る情報処理装置１０の受付部が受付ける動画の終了点を示す説明図である。

【図12】本実施形態に係る情報処理装置１０による手本動画と現状動画の比較を示す説明図である。

【図13】本実施形態に係る情報処理装置１０による手本動画と現状動画の比較を示す説明図である。

【図14】本実施形態に係る情報処理装置１０による手本動画と現状動画の比較を示す説明図である。

【図15】本実施形態に係る情報処理装置１０による出力画面イメージを示す説明図である。

【図16】本実施形態に係る情報処理装置１０のスコア評価処理を示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0023】

本実施形態に係る情報処理装置１０は、カメラ５０で作業者２０の作業を撮像した動画を受信するために、カメラ５０と接続されている。また、情報処理装置１０は、後述する出力部１０４の出力結果を表示するために、表示装置４０と接続されている（図１参照）。なお、図１では、情報処理装置１０とカメラ５０が別の装置として記載されているが、これに限定されず、情報処理装置１０の内部にカメラ５０が備えられていてもよい。例えば、情報処理装置１０はノートパソコンで構成され、ノートパソコンに内蔵又は付随しているＷｅｂカメラがカメラ５０でもよい。また、図１では、情報処理装置１０と表示装置４０が別の装置として記載されているが、これに限定されず、例えば、情報処理装置１０がノートパソコンで構成されている場合、当該ノートパソコンの液晶ディスプレイ部分を表示装置４０としてもよい。

【0024】

図１に示されるように、カメラ５０は、作業者２０が素材３０を用いて加工等の作業をしている動作を撮像し、撮像した動画をカメラ５０から情報処理装置１０に送信している。情報処理装置１０は、カメラ５０から受信した動画中の作業者２０の作業中の動作における作業者２０の人体の関節、目、口、鼻、及び耳を認識する。なお、図１において、作業前の素材を符号３０で示し、作業中の素材は符号３３で示し、成果物は符号３５で示している。

【0025】

情報処理装置１０は、コンピュータで構成される。例えば、情報処理装置１０は、エッジコンピュータ、デスクトップパソコン、ノートパソコン、及びサーバなどである。なお、情報処理装置１０は、インターネットなどのネットワークに繋がれずに、情報処理装置１０内で本実施形態に係るスコア評価処理（詳細は後述）の実行を完結させてもよい。

【0026】

カメラ５０は、動画を撮像するビデオカメラで構成される。例えば、カメラ５０は、三脚等で固定されて作業者２０の動作を撮像可能な位置に配置される。また例えば、カメラ５０が情報処理装置１０に内蔵されているＷｅｂカメラである場合に、作業者２０の動作を撮像可能な位置に情報処理装置１０自体が配置される。図１の例では、作業者２０の正面天井側から作業者２０の動作の手元を撮像できるように、カメラ５０が配置されている。

【0027】

表示装置４０は、情報処理装置１０による出力結果を表示する装置であり、例えば液晶ディスプレイである。なお、表示装置４０は、音声出力手段としてのスピーカ等を備えてもよい。

【0028】

図２は、本実施形態の情報処理装置１０のハードウェア構成を示すブロック図である。図２に示されるように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１Ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１Ｂ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入出力Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）１５、及び通信Ｉ／Ｆ１６を含んで構成されている。各構成は、バス１７を介して相互に通信可能に接続されている。

【0029】

ＣＰＵ１１Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ１１Ａは、ＲＯＭ１２からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１Ａは、ＲＯＭ１２に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0030】

ＧＰＵ１１Ｂは、主に画像を描写するために必要な計算を処理する。ＧＰＵ１１Ｂは、膨大な計算を高速に処理する。本実施形態では、動画処理を高速で実行する必要があることから、ＧＰＵ１１Ｂを情報処理装置１０は備える。なお、ＧＰＵ１１Ｂは、情報処理装置１０の内部に必ずしも備えなくてもよく、例えば、クラウドサーバにＧＰＵ１１Ｂがあり、情報処理装置１０が当該クラウドサーバにアクセスしてＧＰＵ１１Ｂを利用してもよい（図示省略）。

【0031】

ＲＯＭ１２により構成される記憶装置は、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。ＲＯＭ１２には、後述するスコア評価処理を実行するための処理プログラムが格納されている。

【0032】

ＲＡＭ１３により構成されるメモリは、作業領域として一時的にプログラム及びデータを記憶する。

【0033】

ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、各種データを格納する。

【0034】

入出力Ｉ／Ｆ１５は、情報処理装置１０の外部にある入力装置及び出力装置の一例である表示装置４０と通信するためのインタフェースである。入力装置は、カメラ５０、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。出力装置は、例えば、液晶ディスプレイであり、各種の情報を出力するための装置である。出力装置は、タッチパネル方式を採用して、入力装置として機能してもよい。また、出力装置は、音声出力手段としてのスピーカ等も備えてよい。

【0035】

通信Ｉ／Ｆ１６は、情報処理装置１０の外部にあるクラウドサーバ等の他の機器と通信するためのインタフェースである。当該通信には、たとえば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。なお、情報処理装置１０は、インターネットなどのネットワーク通信をしない場合、通信Ｉ／Ｆ１６を備えずに、情報処理装置１０内でスコア評価処理の実行を完結させてもよい。

【0036】

次に、図３を参照して、本実施形態に係る情報処理装置１０の機能的な構成を説明する。図３に示されるように、本実施形態の情報処理装置１０は、受付部１０１、生成部１０２、評価部１０３、及び出力部１０４を含む。また、ＲＯＭ１２又はストレージ１４の所定の記憶領域にデータ記憶部１０５が設けられる。ＣＰＵ１１ＡがＲＯＭ１２に記憶されている処理プログラムを実行することで、受付部１０１、生成部１０２、評価部１０３、及び出力部１０４として機能する。なお、当該各機能部の処理をＣＰＵ１１ＡではなくＧＰＵ１１Ｂが実行してもよい。また、データ記憶部１０５には、後述する評価されたスコア等が記憶される。また、データ記憶部１０５には、受付部１０１で受付けた撮像動画が格納される。なお、情報処理装置１０が通信Ｉ／Ｆ１６を有している場合に、情報処理装置１０の外部にあるクラウドサーバ等に、後述する評価されたスコア及び受付部１０１で受付けた撮像動画を格納してもよい。

【0037】

受付部１０１は、作業者２０の動作を撮像装置であるカメラ５０で撮像した動画を受付ける。具体的には、カメラ５０で撮像した作業者２０の動作の動画をカメラ５０が情報処理装置１０に向けて送信し、情報処理装置１０の受付部１０１は当該動画を受信して入力として受付ける。

【0038】

受付部１０１は、作業者２０の動作が所定の位置に侵入した場合に、撮像装置であるカメラ５０が撮像を開始する。図４は、表示装置４０に表示された動画の画像に係るイメージ図である。一例として、図４で示されるように、予め開始位置を矩形ブロック４１で囲まれた範囲として設定しておき、例えば、当該矩形ブロック４１内に作業者の両手首６１が侵入した場合に、カメラ５０が撮像を開始する。なお、当該矩形ブロック４１の位置は柔軟に設定可能である。受付部１０１は、カメラ５０が撮像を開始及び終了した動画を受付ける。

【0039】

また、受付部１０１は、複数人の作業者２０の動作を撮像装置であるカメラ５０で同時に撮像した動画も受付ける。具体的には、受付部１０１は、複数人の作業者２０が同時に作業している様子を動作のレベルで撮像された動画を受付ける。

【0040】

なお、受付部１０１で受付けた動画は、一例として、情報処理装置１０のデータ記憶部１０５に保存される。後述する出力部１０４で作業者２０の動画と熟練者の動画を重ねた動画として出力する場合に、一例として、データ記憶部１０５に格納されている動画を出力する。すなわち、出力部１０４で出力される動画は録画動画であり、リアルタイムの動画出力は基本的には実行しない。これにより、作業者２０は作業中にアラート等の通知をリアルタイムで受けないため、作業者２０は作業に集中でき、作業の安全性を担保できる。なお、技術的には情報処理装置１０の受付部１０１が受け付けた動画を出力部１０４でリアルタイムに出力することは可能である。作業の安全性向上の観点で、本実施形態では情報処理装置１０によるリアルタイムの動画等の出力を基本的には実行しない想定としている。

【0041】

生成部１０２は、動画中の作業者２０の人体の関節を認識して、動作に応じた各関節の時系列の座標である時系列座標データを生成する。具体的には、生成部１０２は、既存のオープンソースであるＯｐｅｎｐｏｓｅ（https：//github.com/CMU-Perceptual-Computing-Lab/openpose）や、Ｐｏｓｅｎｅｔ（https：//www.tensorflow.org/lite/examples/pose＿estimation/overview？hl=ja）などの骨格検知技術を用いて、動画中の作業者２０の人体の関節、目、口、鼻、及び耳（これらを以下、「関節等」という）を認識する。具体的には、図５～図９に示されるように、生成部１０２は、動画中の作業者２０の人体の各関節等を認識する。補足すると、生成部１０２は、各関節等を点で示し、各点を線で繋いで全体としての動作を示している。

【0042】

なお、図１０に示されるように、生成部１０２による各関節等の認識は、当該動画のフレーム毎に実行される。図１０では、動画のフレーム毎の各関節等の認識を、フレーム単位で実行し、動画中の全フレームのうち一部を抜粋して示している。また、生成部１０２は、フレーム毎に映っている作業者２０の各関節等の位置座標を、ＸＹ座標で認識する。

【0043】

生成部１０２は、認識した各関節等の位置座標であるＸＹ座標を、時系列に沿ってグラフにプロットし、熟練者の当該グラフと比較する。生成部１０２は、作業者２０のグラフと熟練者のグラフを比較する際に、ＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）という動的時間伸縮法を用いる。ＤＴＷは、時系列座標データ同士の類似度を測る際に用いられる手法であり、波形の類似度を求められる。具体的には、ＤＴＷは、２つの時系列座標データの各点の距離を総当たりで算出し、２つの時系列座標データの各点の距離が最短となるパスを抽出する。なお、対応する点を選ぶ際に重複を許すため、時系列座標データ同士の長さや周期が異なっても類似度を求めることができる。また、ＤＴＷでは、抽出した最短パスが０の値に近いほど類似度が高くなる。本実施形態では、当該時系列座標データ同士の距離を相違度として表し、相違度を集計した値が評価指標となるスコアとしている。例えば、スコアが１００点になる場合とは、生成部１０２が、ＤＴＷの手法を用いて作業者２０のグラフと熟練者のグラフを比較して、抽出した各点の距離が最短となるパスが０の値（すなわち、相違度が０の値）であった場合であり、すなわち２つの時系列座標データが完全一致している場合である。

【0044】

評価部１０３は、作業者２０の動作に係る時系列座標データと、作業者２０のうち手本となる熟練者の動作に係る時系列座標データとの差分に基づいて集計されたスコアで評価する。ここで、差分とは、双方の時系列座標データの距離のことである。この距離の値を集計するとは、具体的には、生成部１０２が各点の距離を総当たりで算出し、２つの時系列座標データの各点の距離が最短となるパスを抽出し、評価部１０３がパスに基づいてスコアを算出することを示している。評価部１０３は、算出したスコアで作業者２０の動作を評価する。具体的なスコアの算出式を次に示す。標準作業にあたる熟練者のグラフと完全一致する場合をスコア１００点としたとき、スコアを算出する式は、一例として、ｘ＝１÷（ｄ÷１２＋１）×１００で表される。例えば、パスであるｄが３の値の場合にはスコアｘは８０点となる。なお、評価部１０３による評価においてはスコアの基準値があり、作業者２０が作業を習得できたと認められるスコアを基準値として評価部１０３で設定される。例えば、基準値をスコア８０点と設定されたとき、８０点以上のスコアを算出された作業者２０は当該作業をクリアしたと評価部１０３が評価し、一方、８０点未満のスコアを算出された作業者２０は当該作業の再トライを促すように評価部１０３は評価する。なお、基準値が厳しすぎると、作業者２０の作業の動機を損ないうるため、基準値の設定は標準的なスコアで設定される。

【0045】

評価部１０３は、熟練者の時系列座標データと、作業者２０の時系列座標データとの相違度を、両者の時系列座標データ間の距離に基づいて算出し、相違度を集計した値であるスコアで評価する。具体的には、一例として、評価部１０３は、スコアの満点を１００点として、時系列座標データの相違度に基づいて、例えば、前述した式によって算出したスコアで作業者２０の動作を評価する。

【0046】

また、評価部１０３は、複数人毎に各スコアを評価する。具体的には、評価部１０３は、同時に複数人の各スコアを評価する。なお、基準スコアは熟練者の作業になるため、複数人の各スコアは絶対評価で算出されたスコア同士を比較することで基準が同じであるため、精度高く相対評価できる。

【0047】

出力部１０４は、スコアに対応した作業者２０の動作に対するアドバイスをスコアと共に出力する。具体的には、出力部１０４は、図１１に示されるように、スコアを１００点満点中何点に該当するかを出力し、さらに課題点や改善策をアドバイスとして出力する。例えば、図１１に示されるように、出力部１０４は、表示装置４０に対し、現状動画と手本動画を重ねた動画のスコア表示部分７１にスコアを表示させる。また例えば、出力部１０４は、表示装置４０に対し、当該重ねた動画のアドバイス表示部分７２にアドバイスに係るテキストを表示させる。なお、図１１におけるスコアの表示内容やアドバイス内容、レイアウト等は一例であってこれに限定されない。

【0048】

また、出力部１０４は、熟練者の動作に係る動画に対して各物体の輪郭を単一色で表現した手本動画と、作業者２０の動作に係る動画に対して各物体の輪郭を前述の単一色とは異なる他の単一色で表現した現状動画とを、重ねた動画を出力する。ここで、物体とは、熟練者の動作に係る動画であれば、当該動画に映っている熟練者及び熟練者の動作に係る物を少なくとも示している。同様に、作業者の動作に係る動画であれば、物体とは、当該動画に映っている作業者及び作業者の動作に係る物を少なくとも示している。なお、単一色は視認しやすい色であれば何色でもよい。また当該重ねた動画は、作業者２０の作業の開始から終了までを熟練者の手本動画と重ねて出力するだけでなく、作業者２０の現状動画において特に手本動画と相違度の高い時点、すなわち特に動作がズレている時点を切り出して出力することも可能である。作業者２０は、動作の一連の流れを重ねた動画で確認できるだけでなく、特に改善すべき動作をフォーカスした要約も確認できる。

【0049】

出力部１０４は、作業者２０の動作が他の所定の位置に侵入した場合に、出力部１０４は、スコア及びアドバイス、並びに重ねた動画の少なくとも何れかを出力する。一例として、図１２のように、右手６２が矩形ブロック４２に侵入した場合に、出力部はスコア及びアドバイス、並びに重ねた動画の少なくとも何れかを出力する。なお、当該矩形ブロッ４２の位置は柔軟に設定できる。

【0050】

具体的には、図１３～図１５に示されるように、出力部１０４は、一例として、スコア、アドバイス、及び重ねた動画を出力する。なお、図１３～図１５において、点線は、熟練者のお手本の動作を示し、実線は、作業者２０の現状の動作を示している。なお、実際の重ねた動画では、これらは異なる単一色で各物体の輪郭を示す。図１３では、作業者２０は動作として素材３０を台に乗せるまでに時間がかかっていることを示している。図１３の例では、アドバイスとして、出力部１０４は、表示装置４０に対し、「素早く素材３０を取り出しましょう」と、アドバイス表示部分７２に、アドバイスに係るテキストを表示させる。図１４では、作業者２０は動作として作業中の素材３３を仕上げるまでに時間がかかっていることを示している。図１４の例では、アドバイスとして、出力部１０４は、表示装置４０に対し、「仕上げの作業を見返して覚えることでスムーズに作業できます」と、アドバイス表示部分７２に、アドバイスに係るテキストを表示させる。図１５では、作業者２０の動作は熟練者の動作とほぼ一致していることを示している。図１５の例では、アドバイスとして、出力部１０４は、表示装置４０に対し、「この調子です。作業を覚えられてきましたね！」と、アドバイス表示部分７２に、アドバイスに係るテキストを表示させる。なお、出力部１０４による上記アドバイスの出力例として、当該重ねた動画のアドバイス表示部分７２にアドバイスを表示する例で示したが、これに限定されず、当該重ねた動画の再生中に出力部１０４は音声でアドバイス等を出力してもよい。

【0051】

このように出力部１０４は、現状動画と手本動画を重ねた動画をオーバーレイで表示して出力することで、作業者２０は視覚的に自身の作業を振り返ることができる。また、出力部１０４は、重ねた動画を出力しながら作業者２０への改善点を的確に示し習得を促す。作業者２０は、高いスコアへの願望を持つようになり、またアドバイスにより課題が提示されることから向上意欲や改善意欲を喚起されるため、作業の継続を促進される。また、出力部１０４はスコアを出力するため、作業者２０に対してゲーミフィケーションによる動機付けを作用させる。

【0052】

また、出力部１０４は、複数人のスコアを相対評価させた結果をアドバイスに反映させて出力する（図示省略）。例えば、作業者２０の各人のスコアを競わせるように、出力部１０４は、ランキングを表示する。

【0053】

次に、図１６を参照して、本実施形態に係る情報処理装置１０の作用について説明する。図１６は作業者２０のスコア評価処理の流れを示すフローチャートである。情報処理装置１０のＣＰＵ１１Ａでは、図１６に示すスコア評価処理が実行される。情報処理装置１０における各処理は、ＣＰＵ１１Ａが受付部１０１、生成部１０２、評価部１０３、及び出力部１０４として機能することにより実行される。なお、前述したように、ＧＰＵ１１Ｂが各処理を実行してもよい。

【0054】

図１６のステップＳ１００で、ＣＰＵ１１Ａが、カメラ５０で撮像した動画を受付ける。

【0055】

ステップＳ１０２で、ＣＰＵ１１Ａが、動画のフレーム毎に画像中の人体の関節を認識する。

【0056】

ステップＳ１０４で、ＣＰＵ１１Ａが、各関節のＸＹ座標を取得する。

【0057】

ステップＳ１０６で、ＣＰＵ１１Ａが、各ＸＹ座標を時系列座標データ化する。

【0058】

ステップＳ１０８で、ＣＰＵ１１Ａが、ＤＴＷの手法を用いて、熟練者の時系列座標データと作業者２０の時系列座標データとを比較する。具体的には、２つの時系列座標データの各点の距離を算出し、距離が最短となるパスを算出する。

【0059】

ステップＳ１１０で、ＣＰＵ１１Ａが、算出したパスの距離で作業者２０の時系列座標データの相違度を定量化する。

【0060】

ステップＳ１１２で、ＣＰＵ１１Ａが、相違度を集計した値に基づいてスコアで評価する。

【0061】

ステップＳ１１４で、ＣＰＵ１１Ａが、評価した作業者２０の動作のスコアを出力する。具体的には、図１１に示されるように、ＣＰＵ１１Ａは、表示装置４０に対し、現状動画と手本動画を重ねた動画のスコア表示部分７１にスコアを表示させる。なお、ＣＰＵ１１Ａによるスコアの出力は、画面表示に限定されず、音声で出力してもよい。

【0062】

ステップＳ１１６で、ＣＰＵ１１Ａが、アドバイスを生成する。

【0063】

ステップＳ１１８で、ＣＰＵ１１Ａが、生成したアドバイスを出力する。具体的には、図１１に示されるように、ＣＰＵ１１Ａは、表示装置４０に対し、アドバイス表示部分７２にアドバイスに係るテキストを表示させる。また、同時に、熟練者の動作と作業者２０の動作を重ねた動画を出力してよい。

【0064】

ステップＳ１２０で、ＣＰＵ１１Ａが、評価スコアが基準値以上か否かを判定する。ＣＰＵ１１Ａが、評価スコアが基準値以上であると判定した場合（ステップＳ１２０：ＹＥＳ）、処理を終了する。一方、ＣＰＵ１１Ａが、評価スコアが基準値以上でない、すなわち基準値未満であると判定した場合（ステップＳ１２０：ＮＯ）、ステップＳ１００に戻る。一例として、基準値を９０点とした場合、評価されたスコアが９０点以上であったら、この作業のステージはクリアであると出力部１０４が表示装置４０に対して表示させる。また、評価されたスコアが９０点未満であった場合に、もう一度作業を行ってくださいと、作業の練習を促すように出力部１０４が表示装置４０に対して表示させる。このように、作業者２０の評価スコアが基準値を超えるまで作業を繰り返すようにすることで、作業を習得しやすくしている。

【0065】

（備考）
なお、上記実施形態でＣＰＵ１１Ａ又はＧＰＵ１１Ｂがソフトウェア（プログラム）を読み込んで実行したスコア評価処理を、ＣＰＵ及びＧＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、スコア評価処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0066】

また、上記実施形態では、情報処理装置１０の入出力Ｉ／Ｆの接続先の１つである出力装置として、表示装置４０（具体的には液晶ディスプレイ等）を想定して動画をオーバーレイで視認可能としていたが、これに限定されない。例えば、出力装置として、ＶＲヘッドセットを作業者２０が装着して、仮想世界内で視覚的に周囲を３６０度見渡せる状態で、出力部１０４が出力する現状動画及び手本動画を重ねた動画を作業後に視聴してもよい。これにより、作業者２０は作業後に習得訓練として没入感を得ながら動画を確認し振り返りを行うことができる。また例えば、出力装置として、ＡＲヘッドセットを作業者２０が装着して、実世界の視界をそのまま保ちつつその上にデジタル情報を重ねられるため、熟練者の動作の動画を再生しながら作業者２０は実世界で作業をすることも可能である。この場合、熟練者の動画再生を見ながら実際の作業をすることは危険を伴う可能性があるため、情報処理装置１０の当該出力装置としてのＡＲヘッドセットは、最初の練習用動画、動作のシミュレーション用途として、インプットに用いる程度を想定される。情報処理装置１０によるスコア評価の対象となる作業においては、リアルタイムで現状及び手本動画を視認可能なＡＲヘッドセットは装着しない方が安全性が高いため、評価部１０３が評価する作業時にはＡＲヘッドセットは装着しないことが好ましい。これらのように、情報処理装置１０に係る出力装置は液晶ディスプレイに限定されず、本実施形態の情報処理装置１０を用いれば様々な出力に対応可能である。

【0067】

（まとめ）
以上説明したように、本実施形態に係る情報処理装置１０は、作業者２０の動作をカメラ５０で撮像した動画を受付ける受付部１０１と、動画中の作業者２０の人体の関節を認識して、動作に応じた各前記関節の時系列の座標である時系列座標データを生成する生成部１０２と、作業者２０の動作に係る時系列座標データと、作業者２０のうち手本となる熟練者の動作に係る時系列座標データとの差分に基づいて集計されたスコアで評価する評価部１０３と、スコアに対応した作業者２０の動作に対するアドバイスをスコアと共に出力する出力部１０４と、を含んで構成されている。よって、本実施形態に係る情報処理装置１０によれば、作業者２０が安心して作業習得に取り組むことができる。

【0068】

補足すると、情報処理装置１０によれば、作業者２０は作業の手順の正誤、所要時間の長短などを客観的に視認しながら比較でき、またスコア及びアドバイスが表示されるためゲーム感覚で作業習得に取り組むことができる。また、情報処理装置１０によれば、複数人の作業者２０で、スコアを競争できるため、習得の向上心に働きかけることが可能である。このように情報処理装置１０によれば、作業者２０自身が作業を積極的に改善することを促せるだけでなく、作業の最中にアドバイスが出力されないことで、作業に集中でき、安全な環境で安心して作業習得に取り組むことができる。また、安全に再現性のある作業習得に取り組めるだけでなく、情報処理装置１０によるゲーミフィケーションによれば作業者２０の作業習得に対する負担感を軽減できる。

【符号の説明】

【0069】

１０ 情報処理装置
１１Ａ ＣＰＵ
１１Ｂ ＧＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ストレージ
１５ 入出力Ｉ／Ｆ
１６ 通信Ｉ／Ｆ
１７ バス
２０ 作業者
３０ 素材
３３ 素材（作業中）
３５ 素材（成果物）
４０ 表示装置
５０ カメラ
７１ スコア表示部分
７２ アドバイス表示部分
１０１ 受付部
１０２ 生成部
１０３ 評価部
１０４ 出力部
１０５ データ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】