特許第6444573号(P6444573)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機株式会社の特許一覧
<>
  • 特許6444573-作業認識装置および作業認識方法 図000002
  • 特許6444573-作業認識装置および作業認識方法 図000003
  • 特許6444573-作業認識装置および作業認識方法 図000004
  • 特許6444573-作業認識装置および作業認識方法 図000005
  • 特許6444573-作業認識装置および作業認識方法 図000006
  • 特許6444573-作業認識装置および作業認識方法 図000007
  • 特許6444573-作業認識装置および作業認識方法 図000008
  • 特許6444573-作業認識装置および作業認識方法 図000009
  • 特許6444573-作業認識装置および作業認識方法 図000010
  • 特許6444573-作業認識装置および作業認識方法 図000011
  • 特許6444573-作業認識装置および作業認識方法 図000012
  • 特許6444573-作業認識装置および作業認識方法 図000013
  • 特許6444573-作業認識装置および作業認識方法 図000014
  • 特許6444573-作業認識装置および作業認識方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6444573
(24)【登録日】2018年12月7日
(45)【発行日】2018年12月26日
(54)【発明の名称】作業認識装置および作業認識方法
(51)【国際特許分類】
   G06Q 10/06 20120101AFI20181217BHJP
【FI】
   G06Q10/06 332
【請求項の数】17
【全頁数】31
(21)【出願番号】特願2018-546920(P2018-546920)
(86)(22)【出願日】2016年11月9日
(86)【国際出願番号】JP2016083243
(87)【国際公開番号】WO2018087844
(87)【国際公開日】20180517
【審査請求日】2018年9月6日
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100123434
【弁理士】
【氏名又は名称】田澤 英昭
(74)【代理人】
【識別番号】100101133
【弁理士】
【氏名又は名称】濱田 初音
(74)【代理人】
【識別番号】100199749
【弁理士】
【氏名又は名称】中島 成
(74)【代理人】
【識別番号】100188880
【弁理士】
【氏名又は名称】坂元 辰哉
(74)【代理人】
【識別番号】100197767
【弁理士】
【氏名又は名称】辻岡 将昭
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】吉村 玄太
【審査官】 青柳 光代
(56)【参考文献】
【文献】 特開2005−250990(JP,A)
【文献】 特開2013−145419(JP,A)
【文献】 特開2006−252036(JP,A)
【文献】 特開2013−25478(JP,A)
【文献】 特開2009−123181(JP,A)
【文献】 特開2007−34738(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 − 99/00
G16H 10/00 − 80/00
(57)【特許請求の範囲】
【請求項1】
センサデータを取得するセンサデータ取得部と、
前記センサデータ取得部が取得したセンサデータに基づき、作業者の体の部位を検出して、当該作業者の体の部位に関する体部位情報を取得する体部位情報取得部と、
前記センサデータ取得部が取得したセンサデータに基づき、物体を検出して、当該物体に関する物体情報を取得する物体情報取得部と、
前記体部位情報取得部が取得した体部位情報と、前記物体情報取得部が取得した物体情報とに基づき、前記物体と、当該物体を用いた作業を行った、前記作業者の体の部位との関連付けを行う関連付け部と、
前記関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、前記作業者によって実施された作業を認識する認識結果分析部
とを備えた作業認識装置。
【請求項2】
前記認識結果分析部が認識した、前記関連付け情報に基づく情報を出力する出力制御部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項3】
前記体部位情報取得部は、
前記作業者の体の部位を検出して、当該作業者の体の部位の位置座標を取得する体部位検出部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項4】
前記体部位情報取得部は、
前記体部位検出部が検出した前記作業者の体の部位を追跡して、移動後の、当該作業者の体の部位の位置座標を取得する体部位追跡部を備えた
ことを特徴とする請求項3記載の作業認識装置。
【請求項5】
前記体部位情報取得部は、
前記体部位検出部が検出した前記作業者の体の部位の種類、形状、または、状態を認識する体部位認識部を備えた
ことを特徴とする請求項3記載の作業認識装置。
【請求項6】
前記物体情報取得部は、
前記物体を検出して、当該物体の位置座標を取得する物体検出部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項7】
前記物体情報取得部は、
前記物体検出部が検出した前記物体を追跡して、移動後の、当該物体の位置座標を取得する物体追跡部を備えた
ことを特徴とする請求項6記載の作業認識装置。
【請求項8】
前記物体情報取得部は、
前記物体検出部が検出した前記物体の種類、形状、または、状態を認識する物体認識部を備えた
ことを特徴とする請求項6記載の作業認識装置。
【請求項9】
前記関連付け部は、
前記体部位情報取得部が取得した体部位情報と、前記物体情報取得部が取得した物体情報とを用いて、前記作業者の体の部位と前記物体との関連度を表す関連付けスコアを算出するスコア算出部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項10】
前記関連付け部は、
前記スコア算出部が算出した関連付けスコアを用いて、作業の整合に応じた、前記作業者の体の部位と前記物体との組み合わせを決定する整合部を備えた
ことを特徴とする請求項9記載の作業認識装置。
【請求項11】
前記関連付け部は、
前記整合部が決定した前記作業者の体の部位と前記物体との組み合わせに基づき、前記作業者の体の部位、または、前記物体の位置を補正する位置補正部を備えた
ことを特徴とする請求項10記載の作業認識装置。
【請求項12】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、規定の作業が成されたか否かを判定する成否判定部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項13】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、規定の作業種別のいずれに該当するかを識別する種別識別部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項14】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、前記作業者が実施した作業とは別の作業者による作業との比較によって、前記作業者が実施した作業内容を分析する内容比較部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項15】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、前記作業者が実施した作業内容が、規定の条件を満たすか否かを判定する条件判定部を備えた
ことを特徴とする請求項1記載の作業認識装置。
【請求項16】
前記出力制御部は、
前記認識結果分析部が認識した認識結果に基づく情報を、映像として表示させる
ことを特徴とする請求項2記載の作業認識装置。
【請求項17】
センサデータ取得部が、センサデータを取得するステップと、
体部位情報取得部が、前記センサデータ取得部が取得したセンサデータに基づき、作業者の体の部位を検出して、当該作業者の体の部位に関する体部位情報を取得するステップと、
物体情報取得部が、前記センサデータ取得部が取得したセンサデータに基づき、物体を検出して、当該物体に関する物体情報を取得するステップと、
関連付け部が、前記体部位情報取得部が取得した体部位情報と、前記物体情報取得部が取得した物体情報とに基づき、前記物体と、当該物体を用いた作業を行った、前記作業者の体の部位との関連付けを行うステップと、
認識結果分析部が、前記関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、前記作業者によって実施された作業を認識するステップ
とを備えた作業認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、作業者による作業内容を認識する作業認識装置および作業認識方法に関するものである。
【背景技術】
【0002】
従来より、カメラ映像等を用いて人の体の部位、あるいは、物体の位置に関する情報を取得して、人の動作を認識し、分析する技術が知られている。
例えば、特許文献1には、被写体として両手で作業を行う作業者の動作を撮影し、その中で特に作業者の両手の動作を、基準被写体である、基準となる作業者の動作に基づいて分析する動作分析装置が開示されている。
特許文献1に開示されている動作分析装置では、両手の座標を映像のフレーム毎に取得し、座標を追跡することで、両手の軌跡を取得しており、カメラ位置の問題で左手、右手の座標がとれない場合は、当該座標がとれない左手、または、右手の座標を、座標が消失した場所の座標から推定するようにしている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011−34234号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されているような動作分析装置では、例えば、作業に物体の移動が含まれる場合であって、手や物体の位置の座標を取得することができない場合には、単に座標が消失した場所の座標から、手あるいは物体の座標を推定するのみであるため、作業内容を表わす軌跡を高精度に取得することができないという課題があった。
【0005】
この発明は上記のような課題を解決するためになされたもので、作業者による作業内容を高精度に認識する作業認識装置および作業認識方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る作業認識装置は、センサデータを取得するセンサデータ取得部と、センサデータ取得部が取得したセンサデータに基づき、作業者の体の部位を検出して、当該作業者の体の部位に関する体部位情報を取得する体部位情報取得部と、センサデータ取得部が取得したセンサデータに基づき、物体を検出して、当該物体に関する物体情報を取得する物体情報取得部と、体部位情報取得部が取得した体部位情報と、物体情報取得部が取得した物体情報とに基づき、物体と、当該物体を用いた作業を行った、作業者の体の部位との関連付けを行う関連付け部と、関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、作業者によって実施された作業を認識する認識結果分析部とを備えたものである。
【発明の効果】
【0007】
この発明によれば、物体と当該物体を用いた作業を行った作業者の体の部位との関連付けを行って作業者によって実施された作業を認識するようにしたので、作業者による作業内容を高精度に認識することができる。
【図面の簡単な説明】
【0008】
図1】この発明の実施の形態1に係る作業認識装置を備えた作業認識システムの全体構成の一例を説明する図である。
図2】この発明の実施の形態1に係る作業認識装置の構成図である。
図3】この実施の形態1における、スコア算出部による関連付けスコアの算出方法の一例を説明する図である。
図4】この実施の形態1における、スコア算出部による位置座標の軌跡の補間および補間後の関連付けスコア算出動作の一例を説明する図である。
図5】この実施の形態1における、位置補正部による位置座標の補正動作の一例を説明する図である。
図6図6A図6Bは、この発明の実施の形態1に係る作業認識装置のハードウェア構成の一例を示す図である。
図7】実施の形態1における制御装置のハードウェア構成の一例を示す図である。
図8】この発明の実施の形態1に係る作業認識装置の動作を説明するフローチャートである。
図9図8のステップST802における、体部位情報取得部の動作の詳細を説明するフローチャートである。
図10図8のステップST803における、物体情報取得部の動作の詳細を説明するフローチャートである。
図11図8のステップST805における、関連付け部の動作の詳細を説明するフローチャートである。
図12】この実施の形態1において、出力制御部による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。
図13】この実施の形態1において、出力制御部による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。
図14】この実施の形態1において、出力制御部による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。
【発明を実施するための形態】
【0009】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る作業認識装置100を備えた作業認識システムの全体構成の一例を説明する図である。
この作業認識システムでは、作業認識装置100が、例えば、可視光カメラ111等から受信した映像情報、あるいは、加速度センサ114等から受信したセンシング情報に基づき、作業者120が手などの体の部位121および物体131を用いて行う作業を認識し、作業認識結果、および、当該作業認識結果に基づく作業分析結果を、外部の装置等に出力する。
作業者120が作業を行う際に用いる体の部位121は、1つに限らない。作業者120は、例えば、右手と左手のように、複数の体の部位121を用いて作業を行ってもよい。また、作業者120が作業を行う際に用いる物体131も、1つに限らず、作業者120は、複数の物体131を用いて作業を行ってもよい。
すなわち、この実施の形態1において、作業者120は、1つ以上の体の部位121、および、1つ以上の物体131を用いて作業を行うものである。
【0010】
作業認識システムは、図1に示すように、作業認識装置100と、可視光カメラ111と、赤外線カメラ112と、深度センサ113と、加速度センサ114と、ジャイロセンサ115と、ディスプレイ151と、スピーカ152と、記憶装置153と、制御装置154とを備える。
【0011】
可視光カメラ111、赤外線カメラ112、および、深度センサ113は、作業者120周辺を撮影する撮像装置であり、それぞれ、可視光映像、赤外線映像、および、深度映像を、作業認識装置100に送信する。
この実施の形態1において、作業者120周辺とは、予め設定された範囲であり、少なくとも、作業者120が作業する際に用いる体の部位121、および、物体131が作業中に移動する主要な範囲が含まれる。
【0012】
なお、この実施の形態1では、図1に示すように、作業認識システムは、撮像装置として、可視光カメラ111、赤外線カメラ112、および、深度センサ113を備えるものとしたが、これに限らず、作業認識システムは、これらの少なくとも1つを備えるものであればよい。
また、この実施の形態1の作業認識システムでは、可視光カメラ111、赤外線カメラ112、および、深度センサ113のうちの2つ以上が一体となったセンサを用いるようにしてもよい。
また、可視光カメラ111、赤外線カメラ112、および、深度センサ113以外に、作業者120周辺の映像を撮影できる撮像装置を備えるようにしてもよい。
また、可視光カメラ111、赤外線カメラ112、および、深度センサ113それぞれの設置数に制限はなく、例えば、異なる視点から作業者120周辺を撮影するために、可視光カメラ111、赤外線カメラ112、あるいは、深度センサ113をそれぞれ複数設置するようにしてもよい。
【0013】
また、この実施の形態1の作業認識システムでは、作業者120の体の部位121、または、物体131に、マーカを付してもよい。マーカとしては、バーコード、もしくは、特徴的な図形を印刷したマーカ、可視光もしくは赤外線に反射して光る反射マーカ、特徴的な色を用いたカラーマーカ、または、赤外線を発する赤外線マーカなどを用いることができる。作業認識装置100は、当該マーカを検出、追跡、あるいは、認識することで、作業者120の体の部位121、または、物体131を精度よく検出、追跡、あるいは、認識できる。作業認識装置100の詳細については後述する。
マーカを利用する際は、利用するマーカ全てを同一のマーカとしてもよいし、作業者120の体の部位121、または、物体131毎に異なるマーカとしてもよい。
【0014】
加速度センサ114は、作業者120の体の部位121または物体131のいずれか一方、あるいは、両方に装着され、加速度の時系列の情報を作業認識装置100に送信する。
ジャイロセンサ115は、作業者120の体の部位121または物体131のいずれか一方、あるいは、両方に装着され、角加速度の時系列の情報を作業認識装置100に送信する。
なお、この実施の形態1の作業認識システムは、図1に示すように、作業者120の体の部位121または物体131の動きをセンシングできるセンサとして、加速度センサ114およびジャイロセンサ115を備えるものとしたが、これに限らず、作業認識システムは、これらの少なくとも1つを備えていればよい。
また、作業認識システムは、加速度センサ114またはジャイロセンサ115以外に、作業者120の体の部位121および物体131の動きをセンシングできるセンサを備えるようにしてもよい。
【0015】
以下、可視光カメラ111と、赤外線カメラ112と、深度センサ113と、加速度センサ114と、ジャイロセンサ115とをまとめてセンサといい、これらのセンサから得られるデータをまとめてセンサデータというものとする。すなわち、可視光カメラ111で得られる可視光映像、赤外線カメラ112で得られる赤外線映像、および、深度センサ113で得られる深度映像等の映像データも、センサデータに含まれるものとする。
【0016】
作業認識装置100は、センサから受信したセンサデータのうち少なくとも1つに基づき、作業者120の体の部位121および物体131の動きを捉えて作業を認識し、作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、ディスプレイ151、スピーカ152、記憶装置153、または、制御装置154の少なくとも1つに対して出力する。
【0017】
ディスプレイ151は、作業認識装置100から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、映像等により出力する。
スピーカ152は、作業認識装置100から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、音声等により出力する。
また、記憶装置153は、作業認識装置100から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を記憶する。
例えば、作業認識装置100は、記憶装置153に、作業認識結果を長時間記憶させるようにする。作業認識装置100は、記憶装置153に、作業認識結果を複数人分記憶させるようにしてもよい。作業者120の作業の管理を行う管理者等は、当該記憶装置153に記憶された作業認識結果を参照し、作業分析を行ったり、作業分析レポートを作成したりする。このように、記憶装置153に作業認識結果等を記憶させておくことで、リアルタイムの作業認識ではなく、管理者等が、後から作業分析を行うことができる。なお、これは一例に過ぎず、記憶装置153に記憶させた作業認識結果は、その他の方法で利用されるものとしてもよい。
【0018】
また、制御装置154は、作業認識装置100から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果に応じた制御信号に基づき、各種制御を行う。
具体的には、例えば、制御装置154は、作業認識結果等に基づき、ロボットに対して、作業者120の作業を補佐させる制御を行う。これにより、作業状況にあわせて、必要な部品または工具等を作業者120に供給したり、作業者120の作業が遅い場合に作業の遅れを取り戻せるよう、作業を助けたりすることができる。なお、これは一例に過ぎず、制御装置154は、その他の制御を行うようにしてもよい。
以下、ディスプレイ151と、スピーカ152と、記憶装置153と、制御装置154とをまとめて出力装置ともいうものとする。
なお、この実施の形態1の作業認識システムは、図1に示すように、ディスプレイ151と、スピーカ152と、記憶装置153と、制御装置154とを備えているが、これに限らず、作業認識システムは、これらの少なくとも1つを備えていればよい。
【0019】
図2は、この発明の実施の形態1に係る作業認識装置100の構成図である。
図2に示すように、作業認識装置100は、センサデータ取得部210と、体部位情報取得部220と、物体情報取得部230と、関連付け部240と、認識結果分析部250と、出力制御部260とを備える。
【0020】
センサデータ取得部210は、可視光カメラ111、赤外線カメラ112、深度センサ113、加速度センサ114、または、ジャイロセンサ115の少なくとも1つのセンサからセンサデータを取得する。
センサデータ取得部210は、取得したセンサデータを、体部位情報取得部220および物体情報取得部230に出力する。
【0021】
体部位情報取得部220は、センサデータ取得部210が出力したセンサデータに基づき、作業者120の体の部位121を検出して、作業者120の体の部位121に関する体部位情報を取得する。体部位情報取得部220は、取得した、作業者120の体の部位121に関する体部位情報を体部位情報記憶部270に記憶させる。
【0022】
図2に示すように、体部位情報取得部220は、体部位検出部221と、体部位追跡部222と、体部位認識部223とを備える。
体部位検出部221は、センサデータ取得部210が出力したセンサデータに基づき、作業者120の体の部位121を検出して、当該部位121の位置座標を取得する。部位121の位置座標とは、例えば、検出された体の部位121の任意の一点の座標としてもよいし、体の部位121を含むように囲った矩形の右上および左下の座標としてもよく、作業者120の体の部位121の位置座標を、どの点の座標とするかは適宜設定可能とする。
また、体部位検出部221は、作業者120の体の部位121の位置座標を、取得した映像上の2次元座標としてもよいし、深度情報を用いて推定した3次元座標としてもよい。
体部位検出部221が検出する部位121の位置座標の原点および座標系は任意とする。例えば、体部位検出部221は、取得した映像の左上を原点、右方向をX軸、下方向をY軸とする2次元座標系としてもよいし、作業領域の特定の点を原点とし、鉛直上方向をZ軸とした3次元座標系としてもよい。
【0023】
また、体部位検出部221は、任意の方法で作業者120の体の部位121の位置座標を取得するものとする。体部位検出部221は、例えば、SURF(Speed Up Robust Features)、あるいは、HOG(Histgrams of Oriented Gradients)などの、既存の特徴点ベースの検出法で作業者120の体の部位121の位置座標を取得してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で作業者120の体の部位121の位置座標を取得してもよい。また、体部位検出部221は、センサデータ取得部210から取得する単一フレームの画像のみを用いた検出手法を採用してもよいし、複数フレームの映像を用いた検出手法を採用してもよい。また、体部位検出部221は、光学映像、赤外線映像、または、深度映像等のいずれを用いた検出手法で作業者120の体の部位121の位置座標を取得してもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で作業者120の体の部位121の位置座標を取得してもよい。
体部位検出部221は、作業者120の体の部位121を複数検出した場合は、検出した部位121ごとに、位置座標を取得する。
【0024】
体部位検出部221は、取得した、作業者120の体の部位121の位置座標を、取得日時の情報と対応付けて、体部位情報記憶部270に記憶させる。取得日時の情報は、センサデータ取得部210から取得した映像フレームに付随した取得日時の情報とすればよい。なお、体部位検出部221は、作業者120の体の部位121を複数検出した場合は、部位121ごとに、位置座標と取得日時の情報とを対応付けて、体部位情報記憶部270に記憶させる。
【0025】
体部位追跡部222は、体部位検出部221が検出した作業者120の体の部位121の軌跡を取得する。具体的には、体部位追跡部222は、体部位検出部221が位置座標を取得した作業者120の体の部位121を、センサから取得したセンサデータに基づいて追跡し、当該部位121の移動後の位置座標を取得する。
体部位追跡部222は、体部位検出部221が体部位情報記憶部270に記憶させた部位121に関する情報に基づき、作業者120の体の部位121の位置座標の追跡を行う。体部位検出部221が検出した部位121が複数存在した場合は、体部位追跡部222は、当該複数の部位121ごとに、移動後の位置座標を取得する。
【0026】
体部位追跡部222は、任意の追跡手法で、部位121の追跡を行えばよい。例えば、体部位追跡部222は、更新テンプレートマッチング、アクティブ探索、Mean−shift法、または、粒子フィルタなどを用いた既存の領域ベース追跡手法を用いて部位121の追跡を行うものとしてもよいし、KLT法(Kanade−Lucas−Tomasi Feature Tracker)、または、SURF Trackingなどの特徴点ベースの追跡手法を用いて部位121の追跡を行うものとしてもよい。
また、体部位追跡部222は、光学映像、赤外線映像、または、深度映像等のいずれを用いた追跡手法で部位121の追跡を行ってもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で部位121の追跡を行ってもよい。
体部位追跡部222は、取得した、作業者120の体の部位121の移動後の位置座標、すなわち、作業者120の体の部位121の軌跡の情報を、位置座標の取得日時の情報とともに、体部位情報記憶部270に記憶させている部位121の情報に対応付けて記憶させる。
【0027】
体部位認識部223は、体部位検出部221が位置座標を取得し、体部位情報記憶部270に記憶させた作業者120の体の部位121の種類、形状、または、状態を認識する。この実施の形態1において、作業者120の体の部位121の種類とは、例えば、右手、左手、肘、顔等をいう。なお、これは一例に過ぎず、作業者120の体の部位121を特定するものであればよい。また、作業者120の体の部位121の形状または状態とは、例えば、作業者120が右手の手のひらで物体131を掴んでいる場合、当該物体131を掴んでいる右手の形状、または、作業者120が当該物体131を掴んでいるという状態等をいう。なお、これは一例に過ぎず、例えば、作業者120が指先で物体131をつまんでいる、作業者120が拳を握りしめている、作業者120が右手を開いている等の場合も同様である。
体部位認識部223は、任意の認識手法で、部位121の種類、形状、または、状態を認識すればよい。例えば、SURF、あるいは、HOGなどの、既存の特徴点ベースの検出法で部位121の種類、形状、または、状態を認識してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で部位121の種類、形状、または、状態を認識してもよい。
また、体部位認識部223は、光学映像、赤外線映像、または、深度映像のいずれを用いた認識手法で部位121の種類、形状、または、状態の認識を行ってもよいし、光学映像、赤外線映像、および、深度映像を複合して用いた認識手法で部位121の種類、形状、または、状態の認識を行ってもよい。
体部位認識部223は、部位121の認識結果の情報を、部位121の情報と対応付けて、体部位情報記憶部270に記憶させる。
体部位検出部221、体部位追跡部222、および、体部位認識部223によって、体部位情報記憶部270に記憶させた部位121に関する情報が、体部位情報となる。
なお、体部位検出部221、体部位追跡部222、および、体部位認識部223による体部位情報は、一連の作業ごとに記憶されることになる。
【0028】
物体情報取得部230は、センサデータ取得部210が出力したセンサデータに基づき、物体131を検出して、物体131に関する物体情報を取得する。物体情報取得部230は、取得した、物体131に関する物体情報を物体情報記憶部280に記憶させる。
【0029】
物体情報取得部230は、図2に示すように、物体検出部231と、物体追跡部232と、物体認識部233とを備える。
物体検出部231は、センサデータ取得部210が出力したセンサデータに基づき、物体131を検出して、当該物体131の位置座標を取得する。物体131の位置座標とは、例えば、検出された物体131の任意の一点の座標としてもよいし、物体131を含むように囲った矩形の右上および左下の座標としてもよく、物体131の位置座標を、どの点の座標とするかは適宜設定可能とする。
物体検出部231は、物体131の位置座標を、取得した映像上の2次元座標としてもよいし、深度情報を用いて推定した3次元座標としてもよい。
物体検出部231が検出する物体131の位置座標の原点および座標系は任意とする。例えば、物体検出部231は、取得した映像の左上を原点、右方向をX軸、下方向をY軸とする2次元座標系としてもよいし、作業領域の特定の点を原点とし、鉛直上方向をZ軸とした3次元座標系としてもよい。
【0030】
また、物体検出部231は、任意の方法で物体131の位置座標を取得するものとする。物体検出部231は、例えば、SURF(Speed Up Robust Features)、あるいは、HOG(Histgrams of Oriented Gradients)などの、既存の特徴点ベースの検出法で物体131の位置座標を取得してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で物体131の位置座標を取得してもよい。また、物体検出部231は、センサデータ取得部210から取得する単一フレームの画像のみを用いた検出手法を採用してもよいし、複数フレームの映像を用いた検出手法を採用してもよい。また、物体検出部231は、光学映像、赤外線映像、または、深度映像等のいずれを用いた検出手法で物体131の位置座標を取得してもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で物体131の位置座標を取得してもよい。
物体検出部231は、物体131を複数検出した場合は、検出した物体131ごとに、位置座標を取得する。
【0031】
物体検出部231は、取得した物体131の位置座標を、取得日時の情報と対応付けて、物体情報記憶部280に記憶させる。取得日時の情報は、センサデータ取得部210から取得した映像フレームに付随した取得日時の情報とすればよい。なお、物体検出部231は、物体131を複数検出した場合は、物体131ごとに、位置座標と取得日時の情報とを対応付けて、物体情報記憶部280に記憶させる。
【0032】
物体追跡部232は、物体検出部231が検出した物体131の軌跡を取得する。具体的には、物体追跡部232は、物体検出部231が位置座標を取得した物体131を、センサから取得したセンサデータに基づいて追跡し、当該物体131の移動後の位置座標を取得する。
物体追跡部232は、物体検出部231が物体情報記憶部280に記憶させた物体131に関する情報に基づき、物体131の位置座標の追跡を行う。物体検出部231が検出した物体131が複数存在した場合は、物体追跡部232は、当該複数の物体131ごとに、移動後の位置座標を取得する。
【0033】
物体追跡部232は、任意の追跡手法で、物体131の追跡を行えばよい。例えば、物体追跡部232は、更新テンプレートマッチング、アクティブ探索、Mean−shift法、または、粒子フィルタなどを用いた既存の領域ベース追跡手法を用いて物体131の追跡を行うものとしてもよいし、KLT法(Kanade−Lucas−Tomasi Feature Tracker)、または、SURF Trackingなどの特徴点ベースの追跡手法を用いて物体131の追跡を行うものとしてもよい。
また、物体追跡部232は、光学映像、赤外線映像、または、深度映像等のいずれを用いた追跡手法で物体131の追跡を行ってもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で物体131の追跡を行ってもよい。
物体追跡部232は、取得した、物体131の移動後の位置座標、すなわち、物体131の軌跡の情報を、位置座標の取得日時の情報とともに、物体情報記憶部280に記憶させている物体131の情報に対応付けて記憶させる。
【0034】
物体認識部233は、物体検出部231が位置座標を取得し、物体情報記憶部280に記憶させた、物体131の種類、形状、または、状態を認識する。この実施の形態1において、物体131の種類とは、例えば、作業者120が組み立て作業を行う場合に用いられる物体131を特定する情報であり、組み立て対象の各部品または組み立て工具等をいう。また、物体131の形状または状態とは、例えば、作業者120が、ある部品を用いて組み立て作業を行う場合、当該部品の向き、または、基板に当該部品が組み込まれた状態等をいう。なお、これは一例に過ぎず、例えば、作業者120が工具を用いて作業を行う場合も同様である。
物体認識部233は、任意の認識手法で、物体131の種類、形状、または、状態を認識すればよい。例えば、SURF、あるいは、HOGなどの、既存の特徴点ベースの検出法で物体131の種類、形状、または、状態を認識してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で物体131の種類、形状、または、状態を認識してもよい。
また、物体認識部233は、光学映像、赤外線映像、または、深度映像のいずれを用いた認識手法で物体131の種類、形状、または、状態の認識を行ってもよいし、光学映像、赤外線映像、または、深度映像を複合して用いた認識手法で物体131の種類、形状、または、状態の認識を行ってもよい。
物体認識部233は、物体131の認識結果の情報を、物体131の情報と対応付けて、物体情報記憶部280に記憶させる。
物体検出部231、物体追跡部232、および、物体認識部233によって、物体情報記憶部280に記憶させた物体131に関する情報が、物体情報となる。
なお、物体検出部231、物体追跡部232、および、物体認識部233による物体情報は、一連の作業ごとに記憶されることになる。
【0035】
関連付け部240は、体部位情報取得部220が体部位情報記憶部270に記憶させた、作業者120の体の部位121に関する体部位情報と、物体情報取得部230が物体情報記憶部280に記憶させた、物体131に関する物体情報とに基づき、物体131と、当該物体131を用いた作業を行った作業者120の体の部位121との関連付けを行う。関連付け部240は、関連付け結果を認識結果分析部250に出力する。
【0036】
関連付け部240は、スコア算出部241と、整合部242と、位置補正部243とを備える。
スコア算出部241は、体部位情報取得部220が体部位情報記憶部270に記憶させた、作業者120の体の部位121に関する体部位情報と、物体情報取得部230が物体情報記憶部280に記憶させた、物体131に関する物体情報とを用いて、作業者120の体の部位121と物体131との関連度を表す関連付けスコアを算出する。作業者120の体の部位121と物体131との関連度は、物体131の動きにどの作業者120の体の部位121が関連した可能性が高いかを表し、関連付けスコアが高いほど、作業者120の体の部位121と物体131とが関連した可能性が高いと判断したものとする。
スコア算出部241は、任意の手法で関連付けスコアを算出するようにすればよい。例えば、スコア算出部241は、作業者120の体の部位121と物体131との位置座標が近ければ関連付けスコアを高くするようにしてもよいし、作業者120の体の部位121の動く方向と物体131の動く方向とが近ければ関連付けスコアを高くするようにしてもよい。また、例えば、スコア算出部241は、作業者120の体の部位121が物体131を把持している形状であれば関連付けスコアを高くするようにしてもよい。
【0037】
ここで、図3は、この実施の形態1における、スコア算出部241による関連付けスコアの算出方法の一例を説明する図である。
図3では、体部位情報取得部220によって、体の部位121として、部位Xと部位Yが検出されて体部位情報が取得され、物体情報取得部230によって、物体131として、物体A〜Dが検出されて物体情報が取得されたものとしている。また、図3では、部位X,Y、および、物体A〜Dの10秒間の位置座標の軌跡の情報を得たものとし、図3上、当該10秒間の位置を、0〜10の数字で示している。
【0038】
例えば、0〜2秒後までの2秒間の物体Aについて、当該物体Aの周囲には、部位Xと部位Yが存在するが、物体Aと部位Xの位置座標の方が、物体Aと部位Yの位置座標よりも近い。すなわち、物体Aと部位Xとの距離の方が、物体Aと部位Yとの距離よりも近い。
よって、スコア算出部241によって、物体Aは、当該物体Aとの距離がより近い部位Xとの関連付けスコアのほうが、部位Yとの関連付けスコアよりも高く設定される。
同様に、8〜10秒後までの2秒間についても、スコア算出部241によって、物体Aと、当該物体Aとの距離がより近い部位Xとの関連付けスコアのほうが、部位Yとの関連付けスコアよりも高く設定される。
【0039】
また、例えば、3秒後の部位Yについて、物体Bを握持している形状であったとすると、スコア算出部241は、物体Bと部位Yとの関連付けスコアを高く設定する。
このように、スコア算出部241は、任意の手法で、作業者120の体の部位121と物体131との組み合わせに関して、物体131の動きにどの体の部位121が関連した可能性が高いかを表す関連付けスコアを算出する。
なお、上述のように、図3を用いて説明した、スコア算出部241による関連付けスコアの算出方法は一例に過ぎず、スコア算出部241は、その他の方法で関連付けスコアを算出するようにしてもよく、予め設定された基準に則り、作業中の物体131と作業者120の体の部位121との組み合わせに対する関連の強さが設定されるようになっていればよい。
【0040】
また、スコア算出部241は、物体情報取得部230が、物体131の検出、あるいは、追跡を失敗し、物体131の位置座標の軌跡が途切れたと判断した場合には、当該物体131の位置座標の消失点と検出点とを結合して位置座標の軌跡を補間して、関連付けスコアを算出するようにしてもよい。
【0041】
ここで、図4は、この実施の形態1における、スコア算出部241による位置座標の軌跡の補間および補間後の関連付けスコア算出動作の一例を説明する図である。
図3では、物体Aについて、2秒後に位置座標が検出された後、8秒後まで位置座標の軌跡が途切れている。そこで、図4を用いて、図3に示した軌跡が途切れた物体Aについて、スコア算出部241が位置座標の軌跡を補間し、当該軌跡を補間した物体Aについて部位X,Yとの関連付けスコアを算出する動作の一例を説明する。
まず、スコア算出部241は、図4の点線で示すように、物体Aの消失点と検出点とを結合して、物体Aの位置座標の軌跡を補間する。
次に、スコア算出部241は、補間した位置座標の軌跡において、物体Aと部位X,Yとの関連付けスコアを算出する。
【0042】
例えば、補間した3秒後の物体Aの位置座標について、部位Xよりも、部位Yの方が近い。しかしながら、位置座標消失点および位置座標検出点、すなわち、2秒後および8秒後に、物体Aと、より高い関連付けスコアが算出されているのは部位Xである。そこで、例えば、スコア算出部241は、位置座標の軌跡が途切れていた間も、物体Aの移動に伴う作業には、部位Xが用いられていた可能性の方が高いと判断し、物体Aについて、部位Xとの関連付けスコアを、部位Yとの関連付けスコアよりも高く設定する。
スコア算出部241は、物体131の位置座標が途切れた間の、補間された位置座標と周囲に存在する部位121との位置関係だけではなく、当該物体131の消失点と検出点、すなわち、位置座標が途切れた前後の、作業者120の体の部位121との関連付けとを考慮した、関連付けスコアの算出を行うことができる。
【0043】
なお、上述のように、図4を用いて説明した、スコア算出部241による位置座標の軌跡の補間および補間後の関連付けスコア算出方法は一例に過ぎず、スコア算出部241は、その他の方法で位置座標の軌跡の補間および補間後の関連付けスコアの算出を行うようにしてもよい。
【0044】
例えば、スコア算出部241は、同じ方向に作業者120の体の部位121が動いていれば、関連付けスコアを高くするようにしてもよい。
具体的には、例えば、作業者120が、右手で、ある部品Vを、地点a→地点b→地点c→地点dと、地点aから地点dまで移動させたとする。その際、地点bにおいて、物体検出部231が部品Vを検出できなかったため、物体追跡部232は途中で当該部品Vの追跡ができなくなり、地点cにおいて、再び物体検出部231が部品Vを検出でき、物体追跡部232は当該部品Vの追跡を再開できたとする。なお、この場合、地点bが消失点であり、地点cが検出点である。物体追跡部232が、地点a→地点bの位置座標の軌跡と、地点c→地点dまでの位置座標の軌跡は取得することができるものの、地点b→地点cまでの位置座標の軌跡は取得できない、という状態となっているものとする。また、物体認識部233は、地点a→地点bの物体131と、地点c→地点dの物体131が、同一の物体131か異なる物体131か、認識できなかったものとする。
このような場合、スコア算出部241は、地点b→地点cの物体131の軌跡を、例えば直線補間等により試しに補間してみて、地点a→地点b→地点c→地点dという物体131の移動方向と、右手の移動方向が一致していれば、右手で部品Vが地点a→地点b→地点c→地点dまで移動させられたと判断し、部品Vと右手との関連付けスコアを高くする。関連付けスコアが高くなることで、この後、整合部242が作業者120の体の部位121と物体131との組み合わせを決定する際に、当該関連付けが選ばれやすくなり、結果的に、地点b→地点cの軌跡の途切れをうまく補間することができる。整合部242については後述する。
【0045】
また、スコア算出部241は、消失点と検出点の物体131が同一であると判断すれば、当該消失点と検出点において物体131と関連付けられた部位121との関連付けスコアを高くするようにしてもよい。
例えば、上述した例で、物体認識部233は、地点a→地点bの物体131と、地点c→地点dの物体131が、いずれも部品Vであると認識したものとする。この場合、スコア算出部241は、地点b→地点cの位置座標の軌跡を補間し、部品Vと右手との関連付けスコアを高くする。
【0046】
また、スコア算出部241は、消失点と検出点の位置座標の差が一定値以下であれば作業者120の体の部位121では、当該物体131は動かされていないと関連付けるスコアを高くするようにしてもよい。
例えば、静止している部品Wの上を左手が一瞬通過したことにより、物体検出部231が、部品Wを一瞬検出できなくなったとする。スコア算出部241は、物体検出部231が部品Wを検出できなくなった前後で、当該部品Wの位置に変更がなければ、当該部品Wは左手で移動されたものではないと判断し、部品Wが左手で動かされていないと関連付けるスコアを高くする。スコア算出部241は、部品Wと左手との関連付けスコアを低くするようにしてもよい。
【0047】
スコア算出部241は、予め設定された基準に則り物体131の位置座標の軌跡の補間および、補間後の関連付けスコアの設定が行われるようになっていればよい。
スコア算出部241は、算出した関連付けスコアの情報を、整合部242に出力する。
【0048】
整合部242は、スコア算出部241で算出した関連付けスコアを用いて、作業としての整合が取れる範囲で、関連付けスコアを最大化するような、作業者120の体の部位121と物体131との組み合わせを決定する。すなわち、作業者120の体の部位121と物体131とが関連付けられた関連付け結果に基づき、物体131は、当該物体131と一番関連があると判断された作業者120の体の部位121と組み合わされることになる。
作業としての整合が取れるための条件は任意である。例えば、整合部242は、同じ体の部位121が同じ時刻に一定値以上離れた位置座標に存在しないようにする、あるいは、同じ物体131が同じ時刻に複数の矛盾する動作と関連付けられないようにすること等を整合が取れるための条件とする。整合部242は、当該条件を満たし、かつ、関連付けスコアの総和を最大化する、作業者120の体の部位121と物体131との組み合わせを決定する。
【0049】
ここで、整合部242が、図3図4で示したような、0〜10秒後の10秒間に検出された物体A〜Dについて、部位X,Yとの組み合わせを決定する動作の一例を説明する。
まず、物体Aについて、図3,4を用いて、上述したように、0〜10秒後までの間、スコア算出部241によって、部位Xとの関連付けスコアが高く設定されている。よって、整合部242は、物体Aは、部位Xによって、移動を伴う作業が行われたものと判断し、物体Aと部位Xとを組み合わせる。
また、物体Bについて、0〜3秒後までの位置座標は変わらず、3〜10秒後までの間、スコア算出部241によって、部位Yとの関連付けスコアが高く設定されている。よって、整合部242は、物体Bは、部位Yによって、3秒後に移動が開始され、10秒後に検出された位置座標まで移動されたものとして、物体Bと部位Yとを組み合わせる。
【0050】
なお、仮に、図4を用いて説明したスコア算出部241による位置座標の軌跡の補間および関連付けスコア算出動作において、スコア算出部241が、3秒後の物体Aについて、位置座標の近さを優先し、部位Yとの関連付けスコアを、部位Xとの関連付けスコアよりも高く算出していたとする。物体Aのみのデータに基づく、3秒後の物体Aの補間位置は、図4に示すように、部位Xよりも部位Yに近いため、位置座標の近さのみに基づけば、このような関連付けスコアの計算は起こり得る。この場合、部位Yは、3秒後において、物体Aとも物体Bとも、高い関連付けスコアが設定されていることになる。
そこで、整合部242は、作業としての整合が取れる範囲で、部位Yは、物体A、Bどちらと組み合わせるべきかを決定する。
具体的には、例えば、3秒後において、部位Yが物体Bを握持している形状であれば、物体Bは部位Yを用いて作業されている可能性が高いので、整合部242は、部位Yは物体Bと組み合わせた方が作業としての整合が取れると判断し、物体Bと部位Yとを組み合わせる。
あるいは、例えば、整合部242は、前後の物体Bと部位X,Yとの組み合わせから、物体Bと部位X,Yのどちらを組み合わせた方が、整合が取れるかを判断してもよい。ここでは、0〜2秒、および、8〜10秒の間においては、部位Xは物体Aとの関連付けスコアが高く設定されている。すなわち、物体Aは、部位Xを用いて一連の動作として作業が行われたとする方が、作業としての整合が取れるといえる。そこで、整合部242は、3秒後において、物体Bと部位Yとを組み合わせる。
【0051】
また、物体C,Dについては、10秒間、位置座標に動きがない。また、8〜10秒後の間で、周囲に部位X,Yが検出されているが、部位X,Yは、それぞれ、関連付けスコアが物体Cよりも高く設定され、移動を伴う作業を行ったと判断できる物体A,Bが存在する。8〜10秒後の間で、移動のない物体C,Dを部位X,Yと組み合わせると、作業として矛盾が生じる。そこで、整合部242は、物体C,Dについては、部位X,Yを用いた作業は行われなかったと判断し、部位X,Yとの組み合わせを行わないようにする。
【0052】
なお、上述した方法は一例に過ぎず、整合部242は、予め設定された適宜の方法で、作業としての整合が取れる範囲を判断し、作業者120の体の部位121と物体131との組み合わせを決定するようになっていればよい。
整合部242は、決定した、作業者120の体の部位121と物体131との組み合わせを位置補正部243に出力する。
【0053】
位置補正部243は、整合部242で決定した、作業者120の体の部位121と物体131との組み合わせを用いて、作業者120の体の部位121または物体131、あるいはその両方の位置座標を補正する。
位置補正部243は、任意の補正手法を用いて作業者120の体の部位121または物体131、あるいはその両方の位置座標を補正するようにすればよい。例えば、位置補正部243は、物体131の位置座標が途切れている場合に、当該物体131に組み合わせられた部位121の軌跡と付き合わせて、当該物体131の位置座標を補間するようにしてもよいし、逆に、部位121の位置座標の軌跡が途切れている場合に、当該部位121に組み合わせられた物体131の軌跡と付き合わせて、当該部位121の位置座標を補間するようにしてもよい。
【0054】
ここで、図5は、この実施の形態1における、位置補正部243による位置座標の補正動作の一例を説明する図である。
図5では、一例として、位置補正部243が、図4で示したように、スコア算出部241によって位置座標が補間され、整合部242によって部位Xと組み合わされた、物体Aの2〜8秒後までの間の位置座標を補正する動作を説明する。
図4において、点線で示したように位置座標が補間された物体Aの軌跡について、位置補正部243は、当該物体Aと組み合わされた部位Xの位置座標の軌跡と付き合わせて、位置座標を補正する。
その結果、図5に示すように、2〜8秒後までの間において、物体Aの位置座標が、部位Xと同様の軌跡となる。
【0055】
なお、上述したように、図5を用いて説明した位置補正部243の動作は一例に過ぎず、位置補正部243は、その他の方法で位置座標の補正を行ってもよい。
例えば、位置補正部243は、補間する際、位置補正部243は、軌跡をそのままコピーするようにし、軌跡の始点と終点が不連続にならないように始点と終点の位置にあわせて、関連付けられた部位121あるいは物体131の位置座標を補正するようにしてもよい。
具体的には、例えば、右手で部品Zを地点e→地点f→地点g→地点hまで移動させ、地点f→地点gで部品Zの軌跡が途切れ、当該途切れた間の位置座標を補間する際、位置補正部243は、例えば、地点f地点gでの部品Zの位置座標の軌跡を、同時刻の右手の位置座標の軌跡で補間する。この場合、部品Zの位置座標と右手の位置座標とは一致しないことがあり得るので、地点f→地点gにおいて、部品Zの位置座標の軌跡が不自然に不連続になることが想定される。そこで、位置補正部243は、軌跡の始点と終点が不連続にならないように始点と終点の位置にあわせて、部品Zが自然な、すなわち、連続的な、軌跡を描くように、当該部品Zの位置座標を補正するようにしてもよい。
【0056】
このように、例えば、物体131の位置座標の軌跡が途切れてしまった場合でも、作業者120の体の部位121と物体131との関連付けを考慮して、作業者120の体の部位、あるいは、物体131の軌跡の補間を行うことができる。これにより、例えば、座標がとれない左手、または、右手の座標を、座標が消失した場所の座標から推定する等、物体と作業者の体の部位との対応関係を考慮せず、作業者の体の部位あるいは物体単独で軌跡の補間を行う従来の技術と比べ、より高精度に軌跡の補間を行うことができる。
【0057】
位置補正部243は、補正後の、作業者120の体の部位121、および、物体131の位置座標と、組み合せ結果の情報を、関連付け情報として、認識結果分析部250に出力する。なお、位置補正部243は、補正を行わなかった場合は、補正前の位置座標を認識結果分析部250に出力する。
【0058】
認識結果分析部250は、関連付け部240が出力した関連付け情報に基づき、一連の作業を通した、作業全体の認識結果を認識する。また、認識結果分析部250は、作業全体の認識結果に基づき、作業を分析する。作業全体の認識結果とは、ここでは、物体131と当該物体131を用いた作業を行った部位121とが関連付けられた関連付け情報のことをいい、作業の一連の流れを示す情報である。
そして、認識結果分析部250は、作業全体の認識結果、あるいは、当該認識結果を分析した分析結果に関する情報を出力制御部260に出力する。
【0059】
認識結果分析部250は、成否判定部251と、種別識別部252と、内容比較部253と、条件判定部254とを備える。
成否判定部251は、関連付け部240が決定した、作業者120の体の部位121と物体131との関連付け情報を用いて、規定の作業が成されたか否かを判定する。具体的には、例えば、予め、物体131ごとに、当該物体131を用いて作業者120が行うべき作業が登録された作業一覧を記憶しておき、当該記憶された作業一覧と関連付け情報とに基づいて、成否判定部251は、作業者120が、行うべき作業が成されたか否かを判定する。なお、これは一例に過ぎず、成否判定部251は、その他の方法で、規定の作業が成されたか否かを判定してもよい。
成否判定部251は、規定の作業が成されたか否かの判定結果を出力制御部260に出力する。
【0060】
種別識別部252は、関連付け部240が決定した、作業者120の体の部位121と物体131との関連付け情報を用いて、規定の作業種別のいずれに該当するかを識別する。具体的には、例えば、予め、作業ごとに、どの物体131を用いてどのような動作を行うかの手順が紐付けられ種別分けされた作業種別情報を記憶させておき、当該記憶された作業種別情報と、関連付け情報とに基づいて、種別識別部252は、作業者120が行った作業が、規定の作業種別のいずれに該当するかを識別する。なお、これは一例に過ぎず、種別識別部252は、その他の方法で、規定の作業種別のいずれに該当するかを識別するようにしてもよい。
種別識別部252は、規定の作業種別のいずれに該当するかの識別結果を出力制御部260に出力する。
【0061】
内容比較部253は、関連付け部240が決定した、作業者120の体の部位121と物体131との関連付け情報を用いて、作業者120が実施した作業とは別の作業との比較によって、作業者120が実施した作業内容を分析する。具体的には、例えば、予め、手本となる他の作業者による作業を作業履歴として記憶させておき、当該記憶された作業履歴と、関連付け情報とに基づいて、内容比較部253は、作業内容を比較し、他の作業者の作業と比べて、例えば、不足している作業がある、無駄な作業がある、作業時間が遅い、速い等を判断する。なお、これは一例に過ぎず、内容比較部253は、その他の方法で、作業内容を比較するようにしてもよい。
内容比較部253は、作業内容の比較結果を出力制御部260に出力する。
【0062】
条件判定部254は、関連付け部240が決定した、作業者120の体の部位121と物体131との関連付け情報を用いて、作業内容が規定の条件を満たすか否かを判定する。具体的には、予め記憶されている、上述したような作業種別情報と、関連付け情報とに基づいて、条件判定部254は、作業者120が作業に要した時間が長すぎないか等の条件を判定する。なお、条件は適宜設定可能であり、条件判定部254はその他の条件を満たすか否かを判定するようにしてもよい。
【0063】
なお、この実施の形態1の認識結果分析部250は、図2に示すように、成否判定部251と、種別識別部252と、内容比較部253と、条件判定部254とを備えているが、これに限らず、認識結果分析部250は、成否判定部251と、種別識別部252と、内容比較部253と、条件判定部254のうち、少なくとも1つを備えていればよい。
【0064】
また、認識結果分析部250は、成否判定部251、種別識別部252、内容比較部253、または、条件判定部254による作業全体の認識結果を用いた作業分析結果とともに、関連付け部240が出力した関連付け情報、すなわち、作業全体の認識結果の情報もあわせて出力制御部260に出力する。
【0065】
出力制御部260は、認識結果分析部250が出力した作業全体の認識結果を、出力装置の少なくとも1つに出力する。
また、出力制御部260は、分析結果出力指示を受け付けた場合は、認識結果分析部250が出力した作業全体の認識結果を用いた作業分析結果を、出力装置の少なくとも1つに、出力する。
【0066】
ユーザは、入力装置(図示省略)を用いて、出力させたい分析結果を指定することができ、指示受付部(図示省略)が、当該ユーザからの指定を分析結果出力指示として受け付け、認識結果分析部250に出力指示を行う。
そして、出力制御部260は、認識結果分析部250から出力された作業分析結果を、出力装置の少なくとも1つに、出力する。
具体的には、例えば、認識結果分析部250の成否判定部251から、規定の作業が成されたか否かの判定結果の情報が出力されると、出力制御部260は、ディスプレイ151に、判定結果を○、×で表示させる。あるいは、出力制御部260は、スピーカ152に、判定結果に応じた音を出力させてもよいし、記憶装置153に判定結果を記憶させるようにしてもよい。出力制御部260は、制御装置154に判定結果に応じて異なる制御信号を送信するようにしてもよい。
【0067】
また、例えば、認識結果分析部250の種別識別部252から、作業種別の情報が出力されると、出力制御部260は、ディスプレイ151に作業種別を示す映像を表示させる。あるいは、出力制御部260は、スピーカ152で作業種別に応じた音を出力させてもよいし、記憶装置153に作業種別を記憶させるようにしてもよい。出力制御部260は、制御装置154に作業種別に応じて異なる制御信号を送信するようにしてもよい。
【0068】
また、例えば、認識結果分析部250の内容比較部253から、作業の比較結果の情報が出力されると、出力制御部260は、ディスプレイ151に作業の比較結果の情報を示す映像を表示させる。あるいは、出力制御部260は、スピーカ152で不足している作業を音または音声を出力させてもよいし、記憶装置153に比較結果を記憶させるようにしてもよい。出力制御部260は、制御装置154に比較結果に応じて異なる制御信号を送信するようにしてもよい。
【0069】
また、例えば、認識結果分析部250の条件判定部254から、作業内容が規定の条件を満たすか否かの判定結果の情報が出力されると、出力制御部260は、ディスプレイ151に作業が遅すぎる旨の表示を表示させる。あるいは、出力制御部260は、スピーカ152で作業が遅すぎる旨の音または音声を出力させてもよいし、記憶装置153に判定結果を記憶させるようにしてもよい。出力制御部260は、制御装置154に比較結果に応じて異なる制御信号を送信するようにしてもよい。
【0070】
体部位情報記憶部270は、体部位情報取得部220が取得した作業者120の体の部位121に関する体部位情報を記憶する。
物体情報記憶部280は、物体情報取得部230が取得した物体131に関する物体情報を記憶する。
なお、ここでは、図2に示すように、体部位情報記憶部270と、物体情報記憶部280は、作業認識装置100が備えるようにしたが、これに限らず、体部位情報記憶部270と物体情報記憶部280は、作業認識装置100の外部の、作業認識装置100が参照可能な場所に備えるものとしてもよい。
また、体部位情報記憶部270と物体情報記憶部280とを1つの記憶媒体としてもよい。
【0071】
図6A図6Bは、この発明の実施の形態1に係る作業認識装置100のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、体部位情報取得部220と、物体情報取得部230と、関連付け部240と、認識結果分析部250と、出力制御部260の各機能は、処理回路601により実現される。すなわち、作業認識装置100は、取得したセンサデータに作業者120による作業を認識する処理を行い、認識結果等を出力する制御を行うための処理回路601を備える。
処理回路601は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリ607に格納されるプログラムを実行するCPU(Central Processing Unit)606であってもよい。
【0072】
処理回路601が専用のハードウェアである場合、処理回路601は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
【0073】
処理回路601がCPU606の場合、体部位情報取得部220と、物体情報取得部230と、関連付け部240と、認識結果分析部250と、出力制御部260の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、体部位情報取得部220と、物体情報取得部230と、関連付け部240と、認識結果分析部250と、出力制御部260は、HDD(Hard Disk Drive)602、メモリ607等に記憶されたプログラムを実行するCPU606、システムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD602、メモリ607等に記憶されたプログラムは、体部位情報取得部220と、物体情報取得部230と、関連付け部240と、認識結果分析部250と、出力制御部260の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ607とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
【0074】
なお、体部位情報取得部220と、物体情報取得部230と、関連付け部240と、認識結果分析部250と、出力制御部260の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、体部位情報取得部220については専用のハードウェアとしての処理回路601でその機能を実現し、物体情報取得部230と、関連付け部240と、認識結果分析部250と、出力制御部260については処理回路がメモリ607に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、作業認識装置100は、可視光カメラ111、赤外線カメラ112、深度センサ113、加速度センサ114、ジャイロセンサ115、ディスプレイ151、スピーカ152等の外部機器との通信を行う通信装置605を有する。
センサデータ取得部210は、通信装置605を利用して、可視光カメラ111、赤外線カメラ112、深度センサ113、加速度センサ114、ジャイロセンサ115等からセンサデータを取得する入力インタフェース装置603を構成する。
また、作業認識装置100は、作業認識結果等を出力するための出力インタフェース装置604を有する。出力制御部260は、通信装置605を利用してディスプレイ151、スピーカ152等と通信を行い、出力インタフェース装置604を利用して、ディスプレイ151、スピーカ152等に対して作業認識結果等を出力する。
体部位情報記憶部270と、物体情報記憶部280は、例えば、HDD602を使用する。なお、これは一例に過ぎず、体部位情報記憶部270と、物体情報記憶部280は、DVD、メモリ607等によって構成されるものであってもよい。
また、作業認識装置100は、作業認識結果等を記憶しておくための補助記憶装置(図示省略)を有するように構成してもよい。
【0075】
図7は、実施の形態1における制御装置154のハードウェア構成の一例を示す図である。
制御装置154は、作業認識装置100と通信を行う通信装置703を有し、当該通信装置703を利用して、作業認識装置100が通信装置605を経由して送信した作業認識結果等を受信する。
また、制御装置154は、例えば、サーボ等の駆動装置(図示省略)を動作させるための指令信号を生成するCPU701を有する。
また、制御装置154は、通信装置703を利用して受信した作業認識結果等と、例えば、サーボ等の駆動装置を動作させるための指令信号を一時的に格納するメモリ702を有する。
通信装置703は、作業認識装置100からの作業認識結果等の受信、および、サーボ等の駆動装置を動作させるための指令信号の送信を行う。
【0076】
この実施の形態1に係る作業認識装置100の動作について説明する。
図8は、この発明の実施の形態1に係る作業認識装置100の動作を説明するフローチャートである。
センサデータ取得部210は、可視光カメラ111、赤外線カメラ112、深度センサ113、加速度センサ114、または、ジャイロセンサ115の少なくとも1つのセンサからセンサデータを取得する(ステップST801)。
センサデータ取得部210は、取得したセンサデータを、体部位情報取得部220および物体情報取得部230に出力する。
体部位情報取得部220は、センサデータ取得部210が出力したセンサデータに基づき、作業者120の体の部位121に関する体部位情報を取得する(ステップST802)。
【0077】
図9は、図8のステップST802における、体部位情報取得部220の動作の詳細を説明するフローチャートである。
体部位情報取得部220の体部位検出部221は、既に取得済みの体部位情報を体部位情報記憶部270から取得する(ステップST901)。
【0078】
体部位検出部221は、体部位情報記憶部270から取得した体部位情報に基づき、センサデータ取得部210が出力したセンサデータに含まれる光学映像、赤外線映像、あるいは、深度映像の前フレームにおいて、作業者120の体の各部位121が検出済かどうかを判定する(ステップST902)。なお、体部位検出部221は、前フレームを、体部位情報に含まれる位置情報取得日時の情報と、現在の日時情報とから判断すればよい。
【0079】
ステップST902において、前フレームで部位121が検出されていなかった場合(ステップST902の“NO”の場合)、体部位検出部221は、センサデータ取得部210が出力したセンサデータに基づき、作業者120の体の部位121を検出し(ステップST903)、作業者120の体の部位121が検出できた場合(ステップST904の“YES”の場合)、当該部位121の位置座標を取得する(ステップST907)。
そして、体部位検出部221は、取得した作業者120の体の部位121の位置座標の情報を、取得日時の情報と対応付けて、体部位情報記憶部270に記憶させる。
作業者120の体の部位121が検出できなかった場合(ステップST904の“NO”の場合)、図8のステップST803へ進む。
【0080】
ステップST902において、前フレームで部位121が検出済みであった場合(ステップST902の“YES”の場合)、体部位情報取得部220の体部位追跡部222は、体部位検出部221が前フレームにおいて位置座標を取得した、作業者120の体の部位121を追跡し(ステップST905)、作業者120の体の部位121が追跡できた場合(ステップST906の“YES”の場合)、当該部位121の移動後の位置座標を取得する(ステップST907)。
そして、体部位追跡部222は、取得した位置座標の情報を、取得日時の情報と対応付けて、体部位情報記憶部270に記憶させる。
作業者120の体の部位121が追跡できなかった場合(ステップST906の“NO”の場合)、図8のステップST803へ進む。
【0081】
体部位認識部223は、体部位検出部221が位置座標を取得し、体部位情報記憶部270に記憶させた、作業者120の体の部位121の種類、形状、または、状態を認識する(ステップST908)。
【0082】
このように、図9で示す、ステップST901〜ステップST908までの一連の処理が、体部位情報取得部220による、センサデータ取得部210が出力したセンサデータに含まれる光学映像、赤外線映像、あるいは、深度映像の1フレーム分の体部位情報取得の処理である。
【0083】
図8のフローチャートに戻る。
物体情報取得部230は、センサデータ取得部210が出力したセンサデータに基づき、作業者120が作業に用いる物体131に関する物体情報を取得する(ステップST803)。
【0084】
図10は、図8のステップST803における、物体情報取得部230の動作の詳細を説明するフローチャートである。
物体情報取得部230の物体検出部231は、既に取得済みの物体情報を物体情報記憶部280から取得する(ステップST1001)。
【0085】
物体検出部231は、物体情報記憶部280から取得した物体情報に基づき、各物体131について、センサデータ取得部210が出力したセンサデータの光学映像、赤外線映像、あるいは、深度映像の前フレームにおいて、検出済みであるかどうかを判定する(ステップST1002)。なお、物体検出部231は、前フレームを、物体情報に含まれる位置情報取得日時の情報と、現在の日時情報とから判断すればよい。
【0086】
ステップST1002において、前フレームで物体131が検出されていなかった場合(ステップST1002の“NO”の場合)、物体検出部231は、センサデータ取得部210が出力したセンサデータに基づき、物体131を検出し(ステップST1003)、物体131が検出できた場合(ステップST1004の“YES”の場合)、当該物体131の位置座標を取得する(ステップST1007)。
そして、物体検出部231は、取得した物体131の位置座標の情報を、取得日時の情報と対応付けて、物体情報記憶部280に記憶させる。
物体131が検出できなかった場合(ステップST1004の“NO”の場合)、図8のステップST804へ進む。
【0087】
ステップST1002において、前フレームで物体131が検出済みであった場合(ステップST1002の“YES”の場合)、物体情報取得部230の物体追跡部232は、物体検出部231が前フレームにおいて位置座標を取得した物体131を追跡し(ステップST1005)、物体131が追跡できた場合(ステップST1006の“YES”の場合)、当該物体131の移動後の位置座標を取得する(ステップST1007)。
そして、物体追跡部232は、取得した位置座標の情報を、取得日時の情報と対応付けて、物体情報記憶部280に記憶させる。
物体131が追跡できなかった場合(ステップST1006の“NO”の場合)、図8のステップST804へ進む。
【0088】
物体認識部233は、物体検出部231が位置座標を取得し、物体情報記憶部280に記憶させた物体131の種類、形状、または、状態を認識する(ステップST1008)。
このように、図10で示す、ステップST1001〜ステップST1008までの一連の処理が、物体情報取得部230による、センサデータ取得部210が出力したセンサデータに含まれる光学映像、赤外線映像、あるいは、深度映像の1フレーム分の物体情報取得の処理である。
【0089】
図8のフローチャートに戻る。
作業認識装置100の制御部(図示省略)は、作業者120による作業が終了したかどうかを判定する(ステップST804)。作業が終了したかどうかは、例えば、制御部は、センサから取得した映像から、作業者120を検知できなくなったことによって判定し、作業者120を検知できなくなれば作業終了と判断するようにしてもよい。あるいは、制御部は、作業者120が入力装置(図示省略)から入力した作業終了通知を受け付けたことによって、作業終了と判断するようにしてもよい。なお、これは一例に過ぎず、制御部が、作業者120の作業が終了したかどうかを何等かの手段によって判定できるようになっていればよい。
【0090】
ステップST804において、作業が終了していないと判定した場合(ステップST804の“NO”の場合)、ステップST801に戻り、ステップST801〜ステップST803の処理を繰り返す。
【0091】
ステップST804において、作業が終了したと判定した場合(ステップST804の“YES”の場合)、関連付け部240は、作業が終了するまでステップST801において取得したセンサデータの光学映像、赤外線映像、あるいは、深度映像の全フレームについて、物体131と、当該物体131を用いた作業を行った作業者120の体の部位121との関連付けを行う(ステップST805)。具体的には、関連付け部240は、ステップST802において体部位情報取得部220が体部位情報記憶部270に記憶させた、作業者120の体の部位121に関する体部位情報と、ステップST803において物体情報取得部230が物体情報記憶部280に記憶させた物体131に関する物体情報とに基づき、作業者120の体の部位121との関連付けを行う。
関連付け部240は、物体131と、当該物体131を用いた作業を行った作業者120の体の部位121との関連付け結果を、認識結果分析部250に出力する。
【0092】
図11は、図8のステップST805における、関連付け部240の動作の詳細を説明するフローチャートである。
関連付け部240のスコア算出部241は、作業者120の体の部位121と物体131との組み合わせに関して、物体131の動きにどの体の部位121が関連した可能性が高いかを表す関連付けスコアを算出する(ステップST1101)。具体的には、スコア算出部241は、体部位情報取得部220が体部位情報記憶部270に記憶させた、作業者120の体の部位121に関する体部位情報と、物体情報取得部230が物体情報記憶部280に記憶させた物体131に関する物体情報とを用いて、関連付けスコアを算出する。すなわち、スコア算出部241は、作業者120の体の部位121と物体131との組み合わせに関し、作業者120の体の部位121と物体131との関連度を表す関連付けスコアを算出する。
スコア算出部241は、算出した関連付けスコアの情報を、関連付け部240の整合部242に出力する。
【0093】
整合部242は、スコア算出部241で算出した関連付けスコアを用いて、作業としての整合が取れる範囲で、関連付けスコアを最大化するような、作業者120の体の部位121と物体131との組み合わせを決定する(ステップST1102)。
整合部242は、決定した、作業者120の体の部位121と物体との組み合わせを関連付け部240の位置補正部243に出力する。
位置補正部243は、整合部242で決定した、作業者120の体の部位121と物体131との組み合わせを用いて、作業者120の体の部位121または物体131、あるいはその両方の位置座標を補正する(ステップST1103)。
【0094】
図8のフローチャートに戻る。
認識結果分析部250は、関連付け部240が出力した関連付け結果に基づき、作業全体の認識結果を分析する(ステップST806)。
認識結果分析部250は、関連付け部240から出力された関連付け情報である作業全体の認識結果、あるいは、当該認識結果を分析した分析結果に関する情報を出力制御部260に出力する。
【0095】
出力制御部260は、認識結果分析部250が出力した作業全体の認識結果を、出力装置の少なくとも1つに出力する。
また、出力制御部260は、分析結果出力指示を受け付けた場合は、認識結果分析部250が出力した作業全体の認識結果を用いて作業分析結果を、出力装置の少なくとも1つに出力する(ステップST807)。
【0096】
図12〜14は、この実施の形態1において、出力制御部260による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。なお、図12〜14では、出力制御部260が、ディスプレイ151に対して、作業全体の認識結果、または、作業分析結果を、映像として出力させた例を示している。
【0097】
図12は、実施の形態1において、認識結果分析部250が物体131を左右の手で移動させて組み立てる作業を認識した結果に基づき、出力制御部260が、物体131と左右の手の位置座標、および、物体を移動させたタイミングをディスプレイ151に表示させた出力例である。
図12の図面上左側には、作業認識結果として、あるフレームにおける各物体131の3次元位置座標を、鉛直上方向から見た2次元位置座標に変換して、各物体131のアイコンを表示している。あるフレームとは、任意のフレームであり、図12では、一例として、物体131を左手で移動させた作業終了時点のフレームを示している。
【0098】
図12の図面上右側には、左右の手に対して、どのタイミングで物体131を関連付けしたか、すなわち、どのタイミングで移動させたかを表示させるようにしている。
なお、図12では、一例として、0を作業開始時点として、図面上下方向に時間軸を取っている。このように、出力制御部260は、例えば、作業者120が行った作業に関し、ある時点での認識結果(図12の図面上左側参照)と、時間経過にあわせた作業全体の流れの認識結果(図12の図面上右側参照)とを、表示させるようにすることができる。
出力制御部260は、認識結果分析部250から作業者120の作業の認識結果に関する情報を受け、物体131を移動させた時間区間を、その物体131を示す色の矩形とともに表示させる。なお、図12では、物体131は、色分けではなく、ドットの濃さの違いで表現している。
【0099】
図12の図面上左側は、あるフレームにおける作業認識結果を表示させたものであるが、出力制御部260は、当該作業認識結果の表示を、図12の図面上右側に表示された時間経過にあわせた作業全体の流れの表示と同期させて表示させるようにすることができる。
具体的には、例えば、ユーザが、図12の図面上右側に表示させた作業分析結果の時間軸方向のある時間を指定すると、出力制御部260は、指定された時間のフレームにおける作業認識結果を表示させるように、図12の図面上左側の表示を更新することができる。これにより、作業内容をより高精度に可視化できる。なお、図12においては、作業開始から約12秒後の作業認識結果を表示させるように指定されたものとしている。
また、このとき、出力制御部260は、対応する、図12の図面上左側に表示させている物体131のアイコンと、図12の図面上右側に表示させている、物体131を示す矩形とを、線で結んで関係性を示すようにしてもよい。
【0100】
図12に示す作業認識結果について、詳細に説明する。
当該図12は、机上に、物体mが2つ(図12のm,m)、物体nが2つ(図12のn,n)、物体oが1つ、物体pが1つの計6つの物体131がある状況を示している。
軌跡xは、作業者120が、物体mを、左手(図12のL)で掴んで画面右方向に移動させていることを示している。物体mが移動させられる途中の物体oは、作業者120の作業とは関係なく、偶然、物体mの軌跡x上に置かれていただけ、という状況である。図面上右側に表示された表示に当該物体oが示されていないのは、当該物体oが作業者120の作業と関係ないものであり、作業者120は、当該物体oを右手(図12のR)でも左手でも移動させていないからである。
図12上、軌跡yは、図面上左側に示された時間よりも少し前に作業者120が物体mを移動させた軌跡である。図面上右側をみると、作業開始後10秒までに、右手で物体mを移動させていることがわかる。
図12において、軌跡x,yは、物体mの移動完了後も数秒は表示され、数秒後に消えるという仕様が適用されているものとしている。なお、軌跡x,yを表示させたままとする時間は、適宜設定可能とする。
【0101】
このように、認識結果分析部250による作業認識の結果、そのフレームにおいて、ある物体131と左手を関連付けた場合、すなわち、ある物体131を左手で移動したと認識した場合、出力制御部260は、当該認識結果を受けて、物体のアイコンに重ねて左手のアイコンを表示させる。なお、これは一例であり、ある物体131と右手を関連付けた場合も同様である。また、左右の手以外の体の部位を用いる場合も同様である。
また、物体131が移動した場合、出力制御部260は、その物体131の位置座標の軌跡を線で表示させる。出力制御部260は、表示させる軌跡の線は、表示させ続けるようにしてもよいし、一定時間経過後に消去させる、すなわち、表示させないようにしてもよい。
また、出力制御部260は、物体131や作業者120の体の部位121の3次元位置座標をそのまま用いて立体的に表示させるようにしてもよい。
【0102】
なお、図12では、左右の手に対して、どのタイミングで物体131を関連付けしたか(図12の図面上左側)と、左右の手に対して、どのタイミングで物体131を関連付けしたか(図12の図面上右側)とをあわせて表示する例を示したが、これに限らず、左右の手に対して、どのタイミングで物体131を関連付けしたか(図12の図面上左側)と、左右の手に対して、どのタイミングで物体131を関連付けしたか(図12の図面上右側)のいずれか一方のみを表示させるようにしてもよい。
【0103】
図13は、実施の形態1において、認識結果分析部250が物体131を左右の手で移動させて組み立てる作業を認識した結果に基づき作業内容を分析し、出力制御部260が、当該分析結果をディスプレイ151に表示させた出力例である。
図13では、図12の図面上右側に示したような、物体移動タイミングの表示に加え、出力制御部260は、認識結果分析部250が、作業の認識結果の情報を用いて行った分析結果に関する情報を表示させるようにしている。なお、図12の図面上右側に示したような物体移動タイミングの表示に代えて、図13に示すような、分析結果に関する情報を表示させるようにしてもよい。
【0104】
図13では、一例として、作業者120が、土台に、2つの物体n,nを、それぞれ、右手(図13のR)または左手(図13のL)を使って載せ、さらに、物体n,n上に、それぞれ、右手または左手を使って、物体m,mを載せた後、右手を使って、当該物体mとmとを橋渡しするように物体qを、物体m,m上に載せる作業を行ったものとしている。
また、図13において、認識結果分析部250が、上述したような作業において、左右の手で物体n,n,m,m,qを移動させた総時間を計算して8.0秒と算出し、作業の開始から終了までの時間を17.3秒と算出し、出力制御部260が、当該算出結果を表示させたものとしている。
なお、物体131を左右の手で移動させた総時間、および、作業の開始から終了までの時間の算出は、認識結果分析部250の、成否判定部251、種別識別部252、内容比較部253、条件判定部254のいずれが行うようにしてもよく、認識結果分析部250は、映像のフレームに対応付けられた時刻から、総時間、物体131を左右の手で移動させた総時間、および、作業の開始から終了までの時間を算出すればよい。
【0105】
また、図13では、一例として、認識結果分析部250が、物体n,n,m,m,qを左右の手で移動させた距離の和を計算して254cmと算出し、当該算出結果を受けて、出力制御部260が、当該認識結果分析部250によって算出された総距離を表示させたものとしている。
当該総距離についても、認識結果分析部250の成否判定部251、種別識別部252、内容比較部253、条件判定部254のいずれが行うようにしてもよく、認識結果分析部250は、物体131の位置座標から、当該総距離を算出すればよい。
【0106】
また、図13では、一例として、成否判定部251が、規定の順序通りに、規定の作業が成されたと判定し、内容比較部253が、間違った物体131を用いることなく、不要な作業が含まれてもいないと判定し、条件判定部254が、作業が規定の時間より遅くないと判定した結果を受けて、出力制御部260が、「◎よくできました!」と表示させるようにしている。
これは一例に過ぎず、認識結果分析部250が備える成否判定部251、種別識別部252、内容比較部253、条件判定部254の各判定結果に応じて、どのような表示をさせるかを適宜設定しておき、出力制御部260は、当該適宜設定された条件に応じて、分析結果を表示させるようにすればよい。
【0107】
また、成否判定部251、種別識別部252、内容比較部253、条件判定部254の判定結果を個別にそれぞれ表示させるようにしてもよい。
例えば、種別識別部252が、作業認識結果から、規定の作業種別のうちの「組み立て作業W1」に該当する作業であると判定した場合、当該分析結果を受けて、出力制御部260は、「組み立て作業W1」という見出しを表示させるようにしてもよい。
また、例えば、成否判定部251が、規定の作業が成されたと判定すると、当該分析結果を受けて、出力制御部260は、「○(成功)」と表示させるようにしてもよい。
また、例えば、内容比較部253が、他の作業内容と比較し、ある部品の組み立てが未実施であると判定すると、当該分析結果を受けて、出力制御部260は、「部品Z組み立て未実施」と表示させるようにしてもよい。

【0108】
このように、作業分析結果を表示させるようにすることで、作業者120等は、作業内容について、作業が正確に行われたか、作業が正確に行われていない場合は、どの点がいけなかったか等を、表示を確認することで、簡単に把握することができる。
【0109】
図14も、図13同様、実施の形態1において、認識結果分析部250が物体131を左右の手で移動させて組み立てる作業を認識した結果に基づき作業内容を分析し、出力制御部260が、当該分析結果をディスプレイ151に表示させた出力例である。
図13では、認識結果分析部250が、作業が規定どおり行われたと判断した場合の一例を示したが、図14は、認識結果分析部250が、作業内容を分析した結果、作業が規定どおり行われなかったと判断した場合の一例を示している。具体的には、認識結果分析部250の内容比較部253が、他の基準となる作業と比較し、間違った、色の違う物体131を用いて作業を行ったと判定した場合の一例を示している。
また、認識結果分析部250の条件判定部254が、ある物体131を用いた作業について、作業が遅すぎると判定した場合の一例を示している。
【0110】
具体的には、図14では、一例として、作業者120が、右手(図14のR)で物体nを移動→左手(図14のL)で物体rを移動→右手で物体mを移動→左手で物体mを移動の順で、作業を行ったものとしている。当該作業において、左手で物体rを移動させる作業は、本来であれば、左手で物体nを移動させるべきだったところ、作業者120は、間違って、色の違う物体rを移動させてしまったものとする。
そして、認識結果分析部250の内容比較部253は、他の基準となる作業と比較し、間違った、色の違う物体rを用いて作業を行ったと判定したものとしている。
また、認識結果分析部250の条件判定部254が、物体mを用いた作業について、作業が遅すぎると判定したものとしている。
【0111】
出力制御部260は、内容比較部253による、色の違う物体rを用いて作業を行ったとの分析結果を受けて、該当の作業を示す箇所に、当該間違った作業がわかるように、「×色が違う」と表示させるようにしている。
また、出力制御部260は、条件判定部254による、物体m5を用いた作業が遅すぎるとの分析結果を受けて、該当の作業を示す箇所に、当該遅すぎると判定された作業がわかるように、「△作業が遅い」と表示させるようにしている。
なお、図14に示すような表示例は一例に過ぎず、出力制御部260は、予め設定された方法に基づき、間違った作業および間違いの内容、あるいは、作業時間が基準時間よりも多くかかっていることがわかるようにディスプレイ151に表示させるようになっていればよい。
【0112】
このように、出力制御部260は、認識結果分析部250から出力される作業認識結果、あるいは、作業認識結果を分析した分析結果の情報に基づき、作業認識結果、あるいは、分析結果を、ディスプレイ151に適宜表示させるようにする。
これにより、作業者120等は、ディスプレイ151の表示内容を確認することで、作業内容について、詳細に把握することができる。
【0113】
上記では、出力制御部260が、認識結果分析部250から出力される作業認識結果、あるいは、分析結果の情報を、ディスプレイ151に表示させる例をあげて説明したが、出力制御部260による作業認識結果、あるいは、分析結果に関する情報の出力はこれに限らない。
例えば、出力制御部260は、認識結果分析部250の成否判定部251が、規定の作業が成されていないと判定した場合に、規定の作業が成されていない旨を示す、予め設定された音をスピーカ152から出力させる等、認識結果分析部250から出力される作業認識結果、あるいは、分析結果の情報を、スピーカ152から音、あるいは、音声等によって出力させることができる。
【0114】
また、出力制御部260は、規定の作業が成されていないと判断した作業に関する情報を、判定結果とともに、記憶装置153に記憶させておくことができる。
記憶装置153に作業結果の情報を記憶させておくことで、作業者120等は、記憶させたデータから、規定の作業が成されていないと判断された原因について、分析することができる。
また、出力制御部260は、規定の作業が成されていないと判断した旨の制御信号を制御装置154に送信するようにしてもよい。
制御装置154では、当該制御信号を受信し、例えば、マニュアルをダウンロードして作業認識装置100に提供する等、規定の作業を行う一助となる制御を行う。
このように、出力制御部260は、認識結果分析部250の分析結果に応じた制御信号を制御装置154に送信し、制御装置154において、分析結果に応じた制御を行うようにさせることができる。
【0115】
以上のように、この実施の形態1によれば、センサデータを取得するセンサデータ取得部210と、センサデータ取得部210が取得したセンサデータに基づき、作業者120の体の部位121を検出して、当該作業者120の体の部位121に関する体部位情報を取得する体部位情報取得部220と、センサデータ取得部210が取得したセンサデータに基づき、物体131を検出して、当該物体131に関する物体情報を取得する物体情報取得部230と、体部位情報取得部220が取得した体部位情報と、物体情報取得部230が取得した物体情報とに基づき、物体131と、当該物体131を用いた作業を行った、作業者120の体の部位121との関連付けを行う関連付け部240と、関連付け部240で関連付けられた関連付け結果に関する関連付け情報に基づき、作業者120によって実施された作業を認識する認識結果分析部250とを備えるように構成したので、物体131と作業者120の体の部位121との対応関係を考慮せず、作業者120の体の部位121あるいは物体131単独で移動軌跡を求める従来の技術と比べ、作業者120の体の部位121あるいは物体131の位置を一部推定できない場合、または、推定した部位121あるいは物体131の移動軌跡と実際の部位121あるいは物体131の移動軌跡との推定誤差が大きい場合であっても、高精度に作業者120の作業を認識することができる。
【0116】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【0117】
この発明に係る作業認識装置は、作業者の体の部位と物体とにかかわる一連の流れの中での作業者による作業内容を高精度に認識することができるように構成したため、作業者による作業内容を認識する作業認識装置等に適用することができる。
【符号の説明】
【0118】
100 作業認識装置、111 可視光カメラ、112 赤外線カメラ、113 深度センサ、114 加速度センサ、115 ジャイロセンサ、120 作業者、121 部位、131 物体、151 ディスプレイ、152 スピーカ、153 記憶装置、154 制御装置、210 センサデータ取得部、220 体部位情報取得部、221 体部位検出部、222 体部位追跡部、223 体部位認識部、230 物体情報取得部、231 物体検出部、232 物体追跡部、233 物体認識部、240 関連付け部、241 スコア算出部、242 整合部、243 位置補正部、250 認識結果分析部、251 成否判定部、252 種別識別部、253 内容比較部、254 条件判定部、260 出力制御部、270 体部位情報記憶部、280 物体情報記憶部、601 処理回路、602 HDD、603 入力インタフェース装置、604 出力インタフェース装置、605,703 通信装置、606,701 CPU、607,702 メモリ。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14