特開 2024-80479 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080479

(43)【公開日】2024-06-13

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06V 40/20 20220101AFI20240606BHJP

   G06T 7/20 20170101ALI20240606BHJP

【ＦＩ】

G06V40/20

G06T7/20 300Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022193712

(22)【出願日】2022-12-02

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】上野 鷹幸

(72)【発明者】

【氏名】山本 一真

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096BA18

5L096FA09

5L096FA69

5L096FA79

5L096HA02

(57)【要約】

【課題】作業物体を用いる作業に対する行動認識の精度をより高める。
【解決手段】作業体の撮像画像から、前記作業体の骨格情報を抽出する抽出部と、前記骨格情報から１以上の関節点を特定し、特定した１以上の前記関節点の前記撮像画像における位置関係に基づいて、作業に用いられる作業物体の作業重要点を推定する推定部と、前記骨格情報と前記作業重要点から、前記作業体の行動を認識する行動認識部と、を備える、情報処理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業体の撮像画像から、前記作業体の骨格情報を抽出する抽出部と、
前記骨格情報から１以上の関節点を特定し、特定した１以上の前記関節点の前記撮像画像における位置関係に基づいて、作業に用いられる作業物体の作業重要点を推定する推定部と、
前記骨格情報と前記作業重要点から、前記作業体の行動を認識する行動認識部と、
を備える、情報処理装置。

【請求項2】

前記骨格情報は、前記作業体の関節点である、請求項１に記載の情報処理装置。

【請求項3】

前記作業体は、作業者である、請求項１に記載の情報処理装置。

【請求項4】

前記推定部は、前記作業物体と相関骨格とが対応付けられた情報を参照し、前記作業者が用いる前記作業物体に応じて、前記１以上の関節点として１以上の相関骨格を特定する、請求項３に記載の情報処理装置。

【請求項5】

前記推定部は、特定した前記１以上の相関骨格の座標と、前記作業物体の持ち手と作業重要点までの長さの情報に基づいて、前記作業重要点の座標を算出する、請求項４に記載の情報処理装置。

【請求項6】

前記推定部は、前記骨格情報に基づいて、各作業者に関する情報を含む人物情報データベースから、前記作業者の情報である人物情報を取得する、請求項５に記載の情報処理装置。

【請求項7】

前記人物情報には、前記作業者の人物ＩＤおよび体格に関する情報が含まれ、
前記推定部は、前記骨格情報に基づいて前記作業者の体格を推定し、推定した体格から、前記人物情報データベースを参照して人物を推定する、請求項６に記載の情報処理装置。

【請求項8】

前記人物情報には、前記作業者の利き手の情報が含まれ、
前記推定部は、前記作業者の利き手側の相関骨格の座標から、前記作業重要点の座標を算出する、請求項６に記載の情報処理装置。

【請求項9】

前記人物情報には、前記作業者の前記作業物体の持ち方に関する情報がさらに含まれ、
前記推定部は、前記作業物体の持ち方に関する情報を参照した上で、前記作業者の利き手側の相関骨格の座標から、前記作業重要点の座標を算出する、請求項８に記載の情報処理装置。

【請求項10】

前記推定部は、外部から取得した情報に基づいて、前記作業者が用いる前記作業物体を推定する、請求項５に記載の情報処理装置。

【請求項11】

前記作業体は、関節として機能する可動部を有する作業用機械である、請求項１～１０のいずれか１項に記載の情報処理装置。

【請求項12】

プロセッサが、
作業体の撮像画像から、前記作業体の骨格情報を抽出することと、
前記骨格情報から１以上の関節点を特定し、特定した１以上の前記関節点の前記撮像画像における位置関係に基づいて、作業に用いられる作業物体の作業重要点を推定することと、
前記骨格情報と前記作業重要点から、前記作業体の行動を認識することと、
を含む、情報処理方法。

【請求項13】

コンピュータを、
作業体の撮像画像から、前記作業体の骨格情報を抽出する抽出部と、
前記骨格情報から１以上の関節点を特定し、特定した１以上の前記関節点の前記撮像画像における位置関係に基づいて、作業に用いられる作業物体の作業重要点を推定する推定部と、
前記骨格情報と前記作業重要点から、前記作業体の行動を認識する行動認識部と、
として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

近年、製造現場におけるライン作業、修理工場における修理作業、または点検作業など、各種の作業が行われる現場で、各作業工程における作業者による作業の質を担保するために、様々な技術が検討されている。例えば、作業者を撮像した撮像画像に対して機械学習を利用した行動認識を行い、作業内容の成否を判断する取り組みが行われている。

【0003】

例えば、下記特許文献１では、撮像画像から推定した作業者の全身骨格情報と、センシングデータから推定した作業者の手先の動作とに基づいて、予め学習された機械学習モデルで行動認識を行い、行動認識結果が予め登録された動作と一致するか否かを判断する技術が開示されている。

【0004】

また、下記非特許文献１では、人物の骨格情報と物体の位置情報を合わせることで、精度の高い行動認識を行う技術が開示されている。また、下記非特許文献２では、作業道具のような物体の位置情報を得るために、骨格抽出とは別の物体検出用のモデルが用いられている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－５６９２２号公報

【非特許文献】

【0006】

【非特許文献1】Sunoh Kim, Kimin Yun, Jongyoul Park, and Jin Young Choi “Skeleton-Based Action Recognition of People Handling Objects” In Proceedings IEEE Conference on Winter Conference on Applications of Computer Vision. WACV 2019, 2019.

【非特許文献2】Georgia Gkioxari, Ross Girshick, Piotr Dollar, and Kaiming He “Detecting and Recognizing Human-Object Interactions” In Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2018, 2018.

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記非特許文献１では、時系列的に前後の撮像画像から物体の移動領域を算出した上で物体の領域を算出しているが、各種作業に対する行動認識においては、ドライバーのような作業物体を用いる作業など、作業物体の動きが少ない作業もあり、移動領域の算出に基づいて作業物体を検出することが困難である。また、上記非特許文献２のように、骨格抽出とは別の物体検出用のモデルを用いて骨格抽出と同時に物体検出を行う場合、骨格抽出用のモデルのみを用いる場合と比べて処理負荷が増加し、処理速度の低下を招く。

【0008】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、作業物体を用いる作業に対する行動認識の精度をより高めることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある観点によれば、作業体の撮像画像から、前記作業体の骨格情報を抽出する抽出部と、前記骨格情報から１以上の関節点を特定し、特定した１以上の前記関節点の前記撮像画像における位置関係に基づいて、作業に用いられる作業物体の作業重要点を推定する推定部と、前記骨格情報と前記作業重要点から、前記作業体の行動を認識する行動認識部と、を備える、情報処理装置が提供される。

【0010】

前記骨格情報は、前記作業体の関節点であってもよい。

【0011】

前記作業体は、作業者であってもよい。

【0012】

前記推定部は、前記作業物体と相関骨格とが対応付けられた情報を参照し、前記作業者が用いる前記作業物体に応じて、前記１以上の関節点として１以上の相関骨格を特定してもよい。

【0013】

前記推定部は、特定した前記１以上の相関骨格の座標と、前記作業物体の持ち手と作業重要点までの長さの情報に基づいて、前記作業重要点の座標を算出してもよい。

【0014】

前記推定部は、前記骨格情報に基づいて、各作業者に関する情報を含む人物情報データベースから、前記作業者の情報である人物情報を取得してもよい。

【0015】

前記人物情報には、前記作業者の人物ＩＤおよび体格に関する情報が含まれ、前記推定部は、前記骨格情報に基づいて前記作業者の体格を推定し、推定した体格から、前記人物情報データベースを参照して人物を推定してもよい。

【0016】

前記人物情報には、前記作業者の利き手の情報が含まれ、前記推定部は、前記作業者の利き手側の相関骨格の座標から、前記作業重要点の座標を算出してもよい。

【0017】

前記人物情報には、前記作業者の前記作業物体の持ち方に関する情報がさらに含まれ、前記推定部は、前記作業物体の持ち方に関する情報を参照した上で、前記作業者の利き手側の相関骨格の座標から、前記作業重要点の座標を算出してもよい。

【0018】

前記推定部は、外部から取得した情報に基づいて、前記作業者が用いる前記作業物体を推定してもよい。

【0019】

前記作業体は、関節として機能する可動部を有する作業用機械であってもよい。

【0020】

また、上記課題を解決するために本発明の別の観点によれば、プロセッサが、作業体の撮像画像から、前記作業体の骨格情報を抽出することと、前記骨格情報から１以上の関節点を特定し、特定した１以上の前記関節点の前記撮像画像における位置関係に基づいて、作業に用いられる作業物体の作業重要点を推定することと、前記骨格情報と前記作業重要点から、前記作業体の行動を認識することと、を含む、情報処理方法が提供される。

【0021】

また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、作業体の撮像画像から、前記作業体の骨格情報を抽出する抽出部と、前記骨格情報から１以上の関節点を特定し、特定した１以上の前記関節点の前記撮像画像における位置関係に基づいて、作業に用いられる作業物体の作業重要点を推定する推定部と、前記骨格情報と前記作業重要点から、前記作業体の行動を認識する行動認識部と、として機能させる、プログラムが提供される。

【発明の効果】

【0022】

以上説明したように本発明によれば、作業物体を用いる作業に対する行動認識の精度をより高めることを可能とする。

【図面の簡単な説明】

【0023】

【図1】本実施形態による情報処理システムの概要を説明するための説明図である。

【図2】本実施形態による情報処理装置２０の機能構成例を示す図である。

【図3】本実施形態による入力画像（撮像画像）の一例を示す図である。

【図4】本実施形態による入力画像（撮像画像）から骨格情報の抽出した結果の一例を示す図である。

【図5】本実施形態による情報処理システムの行動認識処理の流れの一例を示すフローチャートである。

【図6】本実施形態に係る情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0024】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0025】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

【0026】

＜１．本発明の一実施形態による情報処理システムの概要＞
本発明の一実施形態は、作業物体を用いる作業の行動認識を高精度に行う情報処理システムに関する。本実施形態は、例えば、製造業の工場等の現場で、作業者を撮像した撮像画像を用いて作業者の行動認識を行う際に適用される。

【0027】

図１は、本実施形態による情報処理システムの概要を説明するための説明図である。図１に示したように、本実施形態による情報処理システムは、撮像装置１０および情報処理装置２０を含む。

【0028】

撮像装置１０は、作業者３０を撮像して撮像画像を取得する装置である。撮像装置１０は、作業者３０（作業体の一例）および作業物体５０（作業道具）が存在する空間の任意の場所に設置される。作業者３０は、ドライバーまたはスパナ等の作業物体５０を用いて、作業対象物４０に対して作業を行う。作業者３０は、製造業においてライン作業を行う作業者である。作業対象物４０は、作業者３０が作業を行う対象物である。作業者３０は、人に限られず、例えばロボットであってもよい。作業物体５０はドライバーまたはスパナに限られない。作業物体５０は、電動工具であってもよい。作業物体５０は、図示しない電源装置と有線で接続されていてもよい。

【0029】

撮像装置１０の設置位置としては、例えば、作業者３０と作業物体５０と作業対象物４０を撮像範囲に含む位置が挙げられる。一例として、撮像装置１０は、図１に示すように、作業空間の上方に設置され、上方から作業者３０による作業の様子を撮像してもよい。撮像装置１０は、単数であってもよいし、複数であってもよい。撮像装置１０は、継続的に撮像を行い、動画像を情報処理装置２０に送信する。

【0030】

情報処理装置２０は、撮像画像に基づいて、機械学習等を用いて作業者３０の行動認識を行う装置である。図１に示した例では、情報処理装置２０は撮像装置１０と別の構成として示したが、情報処理装置２０と撮像装置１０は一の装置により実現されてもよい。また、情報処理装置２０が、複数の撮像装置１０と通信接続し、各撮像装置１０がそれぞれ撮像する作業者３０の行動認識を行ってもよい。

【0031】

（課題の整理）
ここで、例えばライン作業を行うような工場では、各工程の作業者の作業の質によって、最終的に出来上がる製品の品質に影響が出る。例えば、ある部品のネジを決まった順序で４つ締めるという作業を担当する作業者が、ネジを締める順番を間違えてしまった場合、部品は固定されるがネジのゆるみが早くなってしまう場合がある。このような場合、部品は固定されているので、検査工程で製品の異常を発見することが難しい。しかし、製品の出荷後に、正しい順序でネジ締めが行われた製品と比べてネジのゆるみが早くなってしまい、重大な事故を起こす恐れがある。また、作業者の注意力または集中力の低下から、既定の作業内容と違う行動を無意識のうちに取ってしまい、作業者自身がそれに気づかない場合も考えられる。

【0032】

このような状況を防ぐ為に、作業者の行動認識を行い、行動認識結果に基づいて作業内容の成否を判定することが考え得る。

【0033】

作業者を撮像した撮像画像から骨格情報を抽出して行動認識を行う際、骨格情報だけで正しく行動認識を行うことは難しいため、近年では、例えば上述した非特許文献１のように、骨格情報と作業道具の位置情報を合わせることによって、精度の高い行動認識が行われている。また、作業道具のような物体の位置情報を得るために、上述した非特許文献２では、骨格抽出とは別の物体検出用のモデルが用いられている。

【0034】

しかしながら、各種作業に対する行動認識においては、ドライバーのような作業物体を用いる作業など、作業物体の動きが少ない作業もあり、移動領域の算出に基づいて作業物体を検出することが困難である。これに対し、作業道具のような物体の位置情報を得るために、上記非特許文献２のように、骨格抽出とは別の物体検出用のモデルを用いることが考えられるが、骨格抽出用のモデルのみを用いる場合と比べて処理負荷が増加し、処理速度の低下を招く。したがって、物体の位置情報を作業者の骨格情報から推定することが望ましい。

【0035】

なお、作業者が手に持った物体の位置を得る方法として、作業者の手のひらの座標を検出することも考えられる。しかし、手のひらの座標は、作業道具の持ち手の座標を示すことになり、作業の行動認識において必要な位置とは異なる。作業の行動認識では、ドライバーの先端の座標など、実際に作業で重要になる点（以下、作業重要点、と称する。）の座標が必要となる。

【0036】

そこで、本件発明者は、上記事情を一着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態によれば、骨格情報から作業物体の作業重要点を推定し、作業物体を用いる作業に対する行動認識の精度をより高めることが可能である。以下、このような本発明の実施形態による情報処理装置２０の構成および動作を、順次詳細に説明する。

【0037】

＜２．情報処理装置２０の構成＞
図２は、本実施形態による情報処理装置２０の機能構成例を示す図である。情報処理装置２０は、骨格情報抽出部２１０、推定部２２０、人物情報ＤＢ２３０、作業物体情報ＤＢ２４０、行動認識部２５０、および出力部２６０を有する。

【0038】

（骨格情報抽出部２１０）
骨格情報抽出部２１０は、撮像装置１０で撮像され、情報処理装置２０に入力された入力画像（撮像画像）から、作業者の骨格情報を抽出する機能を有する。図３に、本実施形態による入力画像（撮像画像）の一例を示す。図３に示すように、入力画像６０（撮像画像）には、作業者３０、作業物体５０、および作業対象物４０が写っている。骨格情報抽出部２１０は、撮像装置１０により継続的に撮像された複数の画像（動画像の各フレーム）から、複数の画像各々について、作業者の骨格情報を抽出する処理を行う。

【0039】

骨格情報抽出部２１０は、骨格情報の抽出として、入力画像に映る作業者３０の頭、肩、および手首などの関節点を推定してもよい。図４は、本実施形態による入力画像から骨格情報の抽出した結果の一例を示す図である。図４に示すように、作業者の７つの関節点（頭、両肩、両ひじ、および両手首）が抽出される。各関節点の座標の一例を、下記表１に示す。

【0040】

【表1】

【0041】

骨格情報抽出部２１０による骨格情報抽出の方法は特に限定しない。骨格情報抽出部２１０が実施する骨格情報抽出には、種々な方法が用いられる。例えば、骨格情報抽出部２１０は、機械学習を用いて骨格情報を抽出してもよい。機械学習を用いた骨格情報抽出方法として、例えば、「S Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh “Realtime multi-person 2d pose estimation using part affinity fields” In Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2017, 2017.」が挙げられる。

【0042】

（推定部２２０）
推定部２２０は、骨格情報抽出部２１０が抽出した骨格情報を用いて、作業者３０が作業対象物４０に対して作業物体５０で作業している点である作業重要点を推定する。より具体的には、作業重要点は、作業物体５０が例えばドライバーの場合はドライバーの先端の座標など、実際に作業で重要になる点（位置）である。

【0043】

推定部２２０は、図２に示すように、人物情報取得部２２１、相関骨格特定部２２２、および作業重要点算出部２２３を有する。

【0044】

人物情報取得部２２１は、骨格情報から人物（作業者３０）を推定する。人物情報取得部２２１は、骨格情報から、人物情報ＤＢ２３０に格納された人物情報を参照し、作業者３０を推定する。人物情報とは、例えば、身長、肩幅、腕の長さ（手首からひじの長さ、ひじから肩までの長さ等）等の人物の体格に関する情報、利き手、および作業物体の持ち方等の情報である。

【0045】

人物情報取得部２２１による人物推定の方法は特に限定しない。人物情報取得部２２１が実施する人物推定には、種々な方法が用いられる。例えば、人物情報取得部２２１は、作業台の一辺の長さと、撮像画像内での長さを参照して長さの相対関係を予め校正しておき、その後、骨格情報から、「手首からひじの長さ」および「ひじから肩までの長さ」を算出し、撮像装置１０と作業台との位置関係から、人物の身長を推定する。そして、人物情報取得部２２１は、人物情報ＤＢ２３０に格納されている人物情報を参照し、推定した身長から人物を推定する。人物情報ＤＢ２３０に格納される人物情報の一例を下記表２に示す。

【0046】

【表2】

【0047】

人物情報取得部２２１は、撮像画像から抽出された骨格情報に基づいて、作業者の身長を例えば１７０ｃｍと推定した場合、人物情報ＤＢ２３０に格納される上記表２に示すような人物情報を参照し、身長が１７０ｃｍに該当する人物を検索する。これにより、人物情報取得部２２１は、撮像画像に映る作業者が、人物ＩＤ：Ｂの人物であると推定し、人物ＩＤ：Ｂの人物情報を人物情報ＤＢ２３０から取得する。

【0048】

なお、作業者が属性ごとに複数のグループに予め分けられ、人物情報ＤＢ２３０には、人物情報として各作業者の所属グループの情報が格納されていてもよい。この場合、人物情報取得部２２１は、人物情報ＤＢ２３０に格納された所属グループの情報を参照し、作業者がどのグループに属する人物かを推定することもできる。また、人物情報取得部２２１は、骨格情報に基づく人物の推定は行わず、作業者の人物ＩＤを他の手段で取得し、人物ＩＤに対応する人物情報を人物情報ＤＢ２３０から取得してもよい。例えば、人物情報取得部２２１は、予め用意された作業予定者の情報から人物ＩＤを取得してもよいし、作業者が所有するＩＤカード等から読み取られた人物ＩＤが情報処理装置２０に入力されてもよい。

【0049】

相関骨格特定部２２２は、撮像画像から抽出された骨格情報に基づいて、作業重要点の凡その座標を推定する際に用いる骨格情報（以下、相関骨格、とも称する）を特定する機能を有する。例えば、相関骨格特定部２２２は、作業者３０がドライバー（作業物体５０の一例）を用いて作業を行った場合、相関骨格として「ひじ」と「手首」を特定する（すなわち、関節点の特定）。これにより、「ひじ」と「手首」の延長線上にドライバーの先端があると推定され得る。

【0050】

相関骨格特定部２２２は、作業者３０がどの作業物体５０を用いているかの情報を、外部から取得してもよいし、骨格情報または作業予定情報を参照して推定してもよい。作業物体５０として、例えば、ドライバー、スパナ、レンチ、または布巾等が挙げられる。例えば、作業物体５０に設けられるセンサ、または作業物体５０と接続する電源装置から、作業物体５０の情報が出力され、情報処理装置２０に入力されてもよい。また、相関骨格特定部２２２は、予め用意された作業予定情報から、作業者３０が用いる作業物体５０を推定してもよい。また、相関骨格特定部２２２は、骨格情報から得られる作業者の動きまたは姿勢から、作業物体５０を推定してもよい。作業者毎に、作業物体５０を用いる際の動きまたは姿勢が異なる場合もあるため、相関骨格特定部２２２は、各作業者の作業物体５０毎の動作または姿勢に関する情報が格納される人物情報ＤＢ２３０を参照してもよい。

【0051】

相関骨格特定部２２２は、作業物体と相関骨格とが対応付けられた情報が格納された作業物体情報ＤＢ２４０を参照し、作業物体に応じた相関骨格を特定してもよい。作業物体情報ＤＢ２４０に格納される情報の一例を下記表３に示す。

【0052】

【表3】

【0053】

相関骨格特定部２２２による相関骨格特定の手法については特に限定しない。相関骨格特定部２２２が実施する相関骨格の特定には、種々な方法が用いられる。例えば、相関骨格特定部２２２は、機械学習を用いて、骨格情報から得られる作業者の動きや姿勢から相関骨格を特定してもよい。

【0054】

作業重要点算出部２２３は、人物情報取得部２２１により取得された人物情報、および相関骨格特定部２２２により特定された相関骨格に基づいて、行動認識に有用な作業重要点を算出する機能を有する。作業重要点算出部２２３は、図４に示すように、特定した相関骨格（関節点Ｃ１および関節点Ｃ２）の位置に基づいて、作業重要点Ｐの座標を算出する。作業重要点算出部２２３による作業重要点算出の手法については特に限定しない。作業重要点算出部２２３が実施する作業重要点の算出には、種々な方法が用いられる。

【0055】

例えば、まず、作業重要点算出部２２３は、作業物体５０毎に作業物体５０の形状に応じた作業重要点の情報が格納された作業物体情報ＤＢ２４０を参照し、作業物体５０に応じた作業重要点の情報を取得する。作業物体情報ＤＢ２４０に格納される情報の一例を下記表４に示す。

【0056】

【表4】

【0057】

上記表４に示すように、ドライバー、スパナ、または布巾など、作業物体の違いによって、持ち手と作業重要点との距離が異なる。例えば、作業物体５０がドライバーの場合、作業物体５０の持ち手から作業重要点までの長さは１３ｃｍである。なお、複数種類のドライバー等がある場合も想定され、作業物体情報ＤＢ２４０には、ドライバーＡ、ドライバーＢ、およびドライバーＣのように、種類毎に作業重要点の情報が格納されていてもよい。

【0058】

作業重要点算出部２２３は、例えば、人物ＩＤがＢ、作業物体５０がドライバー、相関骨格が「ひじ」および「手首」の場合、人物ＩＤ：Ｂの人物の利き手が右手のため（上記表２参照）、作業物体５０は、右ひじと右手首との線分上に存在すると推定できる。より具体的には、作業重要点算出部２２３は、人物ＩＤ：Ｂのひじから手首までの長さが３０ｃｍ（上記表２参照）、作業物体５０であるドライバーの持ち手から作業重要点までの長さが１３ｃｍ（上記表４参照）、右手首が右ひじと作業重要点の内分点であることに着目し、作業台の一辺の長さと画像内での長さを予め参照して長さの相対関係を校正し、抽出された右ひじおよび右手首の座標から、作業重要点の座標を算出し得る。

【0059】

また、作業重要点算出部２２３は、作業者のドライバー等の持ち方を考慮した上で、作業重要点の座標を算出してもよい。作業者のドライバー等の持ち方の情報は、人物情報ＤＢ２３０に予め格納される。例えば、ドライバーを持つ際に、柄の先端の方を持つ人と、後端の方を持つ人がいる。また、持ち方によって、ドライバーの先端が、ひじと手首との線分に対して所定の角度で交わる線分上に存在する場合も想定され得る。作業重要点算出部２２３は、作業者のドライバー等の持ち方を考慮し、持ち手から作業重要点までの長さや、持ち手に対する角度を調整した上で、作業重要点の位置を算出し得る。

【0060】

なお、作業重要点算出部２２３は、人物情報を用いずに作業重要点を算出してもよい。例えば、作業重要点算出部２２３は、骨格情報から得られる作業者の動きに基づいて作業者の利き手を推定し、利き手側のひじと手首との線分上に作業重要点が存在するとして、作業重要点を算出してもよい。

【0061】

（人物情報ＤＢ２３０および作業物体情報ＤＢ２４０）
人物情報ＤＢ２３０は、上記表２に示すような人物情報を記憶する記憶部である。作業物体情報ＤＢ２４０は、上記表３および上記表４に示すような作業物体の情報を記憶する記憶部である。

【0062】

（行動認識部２５０）
行動認識部２５０は、骨格情報抽出部２１０から出力される骨格情報と、推定部２２０から出力される作業重要点と、に基づいて、作業者の行動を認識する機能を有する。行動認識部２５０による行動認識の手法については特に限定しない。行動認識部２５０が実施する行動認識には、種々な方法が用いられる。例えば、行動認識部２５０は、機械学習を用いて、作業者がどのような作業を行っているかを認識してもよい。行動認識部２５０により認識される行動としては、例えば、ドライバーまたはスパナを用いてどの位置でネジ締めを行ったか、どの位置にどのような順番でネジ締めを行ったか、布巾を用いてどこをどの方向に拭いたか等が挙げられる。

【0063】

（出力部２６０）
出力部２６０は、行動認識部２５０により行われた行動認識の結果を出力する。出力先は特に限定しないが、例えば、出力部２６０は、行動認識結果に基づいて作業者の行動（作業内容）の成否を判定する判定機能を有する装置に行動認識結果を出力してもよい。判定機能は、情報処理装置２０に設けられていてもよいし、作業者の行動を管理する管理者が利用する管理者ＰＣに設けられていてもよい。

【0064】

以上説明した情報処理装置２０による制御は、情報処理装置２０に設けられるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のハードウェアを用いて行われ得る。また、以上説明した情報処理装置２０による制御は、情報処理装置２０にインストールされたアプリケーションの機能として提供されてもよい。

【0065】

また、情報処理装置２０は、外部装置と情報を送受信する通信部（不図示）を有する。情報処理装置２０は、通信部を介して撮像装置１０から撮像画像を受信し得る。

【0066】

＜３．動作処理＞
次に、図５を参照して本実施形態による情報処理システムの行動認識処理について具体的に説明する。図５は、本実施形態による情報処理システムの行動認識処理の流れの一例を示すフローチャートである。

【0067】

図５に示すように、まず、撮像装置１０が、作業物体５０を用いて作業対象物４０に対して作業を行っている作業者３０を撮像する（ステップＳ１０３）。

【0068】

次に、情報処理装置２０の骨格情報抽出部２１０は、撮像装置１０から取得した撮像画像から、人物（作業者３０）の骨格情報を抽出する（ステップＳ１０６）。

【0069】

次いで、推定部２２０は、人物情報取得部２２１により、骨格情報に基づいて作業者３０の人物情報を取得し、また、相関骨格特定部２２２により、骨格情報に基づいて相関骨格を特定する（ステップＳ１０９）。

【0070】

次に、推定部２２０は、作業重要点算出部２２３により、人物情報、相関骨格、および作業物体情報に基づいて、作業者３０が用いる作業物体５０の作業重要点を算出する（ステップＳ１１２）。

【0071】

続いて、行動認識部２５０は、骨格情報と作業重要点から機械学習によって作業者３０の行動（作業内容）を認識する（ステップＳ１１５）。

【0072】

そして、出力部２６０は、行動認識の結果を出力する（ステップＳ１１８）。

【0073】

以上、行動認識処理について図５を参照して具体的に説明した。なお、図５を参照して説明した行動認識処理の流れは一例であって、本実施形態に係る行動認識処理の流れは図５に示す順に限らない。

【0074】

＜４．効果＞
上述した実施形態による情報処理システムでは、撮像画像から抽出した作業者の骨格情報から、作業者が用いる作業物体の作業重要点を推定し、作業者による作業物体を用いる作業に対する行動認識の精度をより高めることが可能となる。本実施形態による情報処理システムは、撮像画像から抽出した作業者の骨格情報を用いるため、撮像画像から作業物体を検出する処理は不要となり、骨格抽出とは別の物体検出用のモデルを用いる場合と比べて処理負荷が低減され、処理速度の低下が回避される。

【0075】

＜５．変形例＞
作業者３０は、作業体の一例であって、本実施形態による行動認識は、作業者３０による作業の認識に限定されない。例えば、作業体の一例として、関節点（関節として機能する可動部）を有する作業用機械が挙げられる。作業用機械とは、例えば、ショベルカーまたはクレーン車のような重機であってもよい。情報処理装置２０は、作業用機械を撮像した撮像画像に対して、骨格推定を行い、作業用機械の関節点（可動部）を骨格情報として抽出し得る。この場合、作業物体には、ショベルカーのアーム先端に設けられるバケット、またはクレーン車のアーム先端に設けられるフック等が相当する。

【0076】

＜６．ハードウェア構成例＞
続いて、本実施形態に係る情報処理装置２０のハードウェア構成について説明する。上記の動作は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

【0077】

図６は、本実施形態に係る情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、本実施形態による情報処理装置２０に適用されるハードウェア構成の一例である。

【0078】

情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力機器９０８と、出力機器９０９と、ストレージ機器９１０と、ドライブ９１１と、通信機器９１３と、を備える。

【0079】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、情報処理装置２０の各機能（骨格情報抽出部２１０、推定部２２０、人物情報取得部２２１、相関骨格特定部２２２、作業重要点算出部２２３、人物情報ＤＢ２３０、作業物体情報ＤＢ２４０、行動認識部２５０、および出力部２６０）が実現される。

【0080】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0081】

入力機器９０８は、マウス、キーボード、タッチパネル、ボタン、スイッチまたはマイクロフォン等、操作者が情報を入力するための入力手段と、操作者による入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作する操作者は、この入力機器９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0082】

出力機器９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

【0083】

ストレージ機器９１０は、データ格納用の機器である。ストレージ機器９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ機器９１０により、人物情報ＤＢ２３０および作業物体情報ＤＢ２４０を含む記憶部が実現される。

【0084】

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に外付けされる。ドライブ９１１は、装着される磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１２に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１２に情報を書き込むこともできる。

【0085】

通信機器９１３は、通信を行うための通信デバイス等で構成された通信インタフェースである。当該通信機器９１３により、情報処理装置２０の通信部（不図示）が実現される。

【0086】

なお、情報処理装置９００のハードウェア構成は、図６に示す構成に限られない。例えば、情報処理装置９００は、接続されている外部の通信デバイスを介して通信を行う場合には、通信機器９１３を備えていなくてもよい。また、情報処理装置９００は、例えば、入力機器９０８または出力機器９０９等を備えなくてもよい。また、例えば、図６に示す構成の一部または全部は、１または２以上のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で実現されてもよい。

【0087】

＜７．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0088】

また、情報処理装置２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置２０の機能を発揮させるための１以上のコンピュータプログラムも作成可能である。また、当該１以上のコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体も提供される。

【符号の説明】

【0089】

１０ 撮像装置
２０ 情報処理装置
２１０ 骨格情報抽出部
２２０ 推定部
２２１ 人物情報取得部
２２２ 相関骨格特定部
２２３ 作業重要点算出部
２３０ 人物情報ＤＢ
２４０ 作業物体情報ＤＢ
２５０ 行動認識部
２６０ 出力部
３０ 作業者
４０ 作業対象物
５０ 作業物体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】