特許 5984181 モーションキャプチャ装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5984181

(24)【登録日】2016年8月12日

(45)【発行日】2016年9月6日

(54)【発明の名称】モーションキャプチャ装置及びそのプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160823BHJP

   G06T 13/40 20110101ALI20160823BHJP

   G01B 11/00 20060101ALI20160823BHJP

【ＦＩ】

   G06T1/00 340B

   G06T13/40

   G01B11/00 H

【請求項の数】2

【全頁数】10

(21)【出願番号】特願2012-199175(P2012-199175)

(22)【出願日】2012年9月11日

(65)【公開番号】特開2014-56289(P2014-56289A)

(43)【公開日】2014年3月27日

【審査請求日】2015年9月8日

(73)【特許権者】

【識別番号】511172014

【氏名又は名称】ポールトゥウィン・ピットクルーホールディングス株式会社

(73)【特許権者】

【識別番号】512236010

【氏名又は名称】エヴォーブテクノロジー株式会社

(74)【代理人】

【識別番号】100091719

【弁理士】

【氏名又は名称】忰熊 嗣久

(72)【発明者】

【氏名】石岡 聖悟

(72)【発明者】

【氏名】西山 佳孝

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開平１０−２２２６６８（ＪＰ，Ａ）

【文献】 特開２００２−２５９９８４（ＪＰ，Ａ）

【文献】 特開２００８− ６４７３５（ＪＰ，Ａ）

【文献】 特開２０１０− ９３７１３（ＪＰ，Ａ）

【文献】 特開２００３−３０８５３２（ＪＰ，Ａ）

【文献】 特開平４−２５９８０３（ＪＰ，Ａ）

【文献】 小路 裕史，モーションキャプチャデータによる複数人物の動作解析とデータ補完法に関する検討，映像情報メディア学会技術報告 Ｖｏｌ．２９ Ｎｏ．４６，日本，（社）映像情報メディア学会，２００５年 ８月２９日，ME2005-115 (Aug.2005)，P.37-40，ISSN 1342-6893

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １３／４０

Ｇ０６Ｔ ７／００ − ７／６０

Ｇ０１Ｂ １１／００ − １１／３０

(57)【特許請求の範囲】

【請求項1】

シート状の標点或いは着色マークによる標点が取り付けられた作業者の動作を２次元的に撮像するイメージセンサと、
前記イメージセンサからの２次元画像を、時系列にフレーム画像として記憶するファイルと、
前記ファイルに格納された各フレーム画像の夫々に対して、標点をあらわす画像を取得できるかどうかが判定され、取得できたときは当該標点をあらわす画像の２次元座標が記録され、取得できないときは特異データが記録されるテーブルと、
前記時系列フレーム画像のうち、オペレータにより指定されたフレーム画像を表示する第１領域と、前記テーブルに記録された２次元座標或いは特異データであって、オペレータにより指定されたフレーム画像に対応する２次元座標或いは特異データを表示する第２領域とを有する表示装置とを有し、
前記第２領域に表示された特異データに対する入力状態が許可状態のとき、当該表示された特異データに対応するフレーム画像が表示された第１領域の範囲内において、オペレータの指定する画素点の座標を当該フレーム画像内における前記標点の座標に変換して、前記第２領域に表示された特異データを置き換え、かつ前記テーブルに記録し、
前記第１領域に表示されているフレーム画像以前のフレーム画像について前記テーブルに記録された２次元座標或いは特異データを読み出し、連続するフレーム画像において２次元座標が記録されているときには当該２次元座標の間を第１の線分で結んで前記第１の領域に表示し、特異データがはさまるときには、その前後のフレーム画像に対応する２次元座標の間を第２の線分で前記第１の領域に表示し、かつ前記第１の線分と第２の線分は可視化表現の異なる表示を行わせることを特徴とするモーションキャプチャ装置。

【請求項2】

表示装置と、前記表示装置の画面中を指示するポインティングデバイスと、イメージセンサにより撮像されたシート状或いは着色マークの標点が取り付けられた作業者の動作を時系列に配列されたフレーム画像として取得する計算機により実行されるプログラムであって、
前記ファイルに格納された各フレーム画像の夫々に対して、標点をあらわす画像を取得できるかどうかを判定し、取得できたときは当該標点をあらわす画像の２次元座標を、取得できないときは特異データをテーブルに記録し、
前記表示画面上に前記時系列にフレーム画像のうち、オペレータにより指定されたフレーム画像を表示する第１領域と、前記テーブルに記録された２次元座標或いは特異データであって、オペレータにより指定されたフレーム画像に対応する２次元座標或いは特異データを表示する第２領域とを表示し、
前記第２領域に表示された特異データに対する入力状態が許可状態のとき、当該表示された特異データに対応するフレーム画像が表示された第１領域の範囲内において、オペレータの指定する画素点の座標を当該フレーム画像内における前記標点の座標に変換して、前記第２領域に表示された特異データを置き換え、かつ前記テーブルに記録し、
前記第１領域に表示されているフレーム画像以前のフレーム画像について前記テーブルに記録された２次元座標或いは特異データを読み出し、連続するフレーム画像において２次元座標が記録されているときには当該２次元座標の間を第１の線分で結んで前記第１の領域に表示し、特異データが挟まるときには、その前後のフレーム画像に対応する２次元座標の間を第２の線分で前記第１の領域に表示し、かつ前記第１の線分と第２の線分は可視化表現の異なる表示を行わせることを特徴とするモーションキャプチャプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者工程データを分析し、作業者の教育支援をするモーションキャプチャ装置及びそのプログラムに関する。

【背景技術】

【0002】

人間の運動を記録するために、モーションキャプチャ装置が使用されている。例えば、特許文献１においては、ピンポン玉よりもやや小さい球形の反射マーカを利用し、当該反射マーカを、関節近くの体表面に取り付けて、作業者を中心にしてライト付きの複数のカメラを配置する。ライトからの発光により反射マーカが明るく受動反射してカメラで撮像する。

【0003】

また、特許文献２においては、作業者の作業動作をイメージセンサで撮影し、これを分析して作業動作の無駄を分析する手法が知られている。作業者の動作測定部位に標点を取り付け、この標点を異なる位置からイメージセンサで撮像して、これら複数のイメージセンサからの２次元座標データを３次元座標データに合成し、作業者の動作測定部位の移動量をサンプリングして評価する。

【0004】

特許文献２の技術によれば、動作測定部位の移動軌跡について標準の軌跡と、被験者となる作業者の軌跡と比較することにより、どの程度ずれて、どこにどのような無理や無駄があるかの判断資料として利用する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−３０８５３２号公報

【特許文献2】特開平４−２５９８０３号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

従来の技術によれば、動作測定部位に取り付けられるマーカ或いは標点は、ピンポン玉よりもやや小さい球形の反射マーカや、色の異なる発熱体が利用されている。体表面にこのようなものを付けると、動作を行ううえで障害になるが、マーカ或いは標点の座標を取得するには、他の画像情報と区別でき、かつ撮影する角度によっても普遍的な形状に撮像できるマーカとして必要である。

【0007】

そのようなマーカであっても、カメラの死角に入ってしまうと、座標情報が得られずに軌跡が途切れてしまう。特許文献１においては、消失する前のマーカ位置に最も近いものを同じマーカとしてラベリングしたり、典型的な動きから推定してラベリングしたり、関節角情報からラベリングしたりしている。また、特許文献２においては標点の色相によってどの標点がどの標点に対応するかを決めている。

【0008】

しかしながら、いずれの技術にいても、消失した間のマーカ或いは標点の軌跡を回復することはできない。測定データが取れなければ、作業者に何度も作業を繰り返させたり、作業者の癖である場合にはカメラの位置をずらしたりしなければならず、多大な労力と時間を要する。
本発明は、マーカ或いは標点の貼り付けによる作業者の負荷を減らしつつ、かつ画像上でマーカ或いは標点の消失の事態が起きても回復可能にしたモーションキャプチャ装置に関する。

【課題を解決するための手段】

【0009】

本発明のモーションキャプチャ装置は、シート状の標点或いは着色マークによる標点が取り付けられた作業者の動作を２次元的に撮像するイメージセンサと、前記イメージセンサからの２次元画像を、時系列にフレーム画像として記憶するファイルと、前記ファイルに格納された各フレーム画像の夫々に対して、標点をあらわす画像を取得できるかどうかが判定され、取得できたときは当該標点をあらわす画像の２次元座標が記録され、取得できないときは特異データが記録されるテーブルと、前記時系列フレーム画像のうち、オペレータにより指定されたフレーム画像を表示する第１領域と、前記テーブルに記録された２次元座標或いは特異データであって、オペレータにより指定されたフレーム画像に対応する２次元座標或いは特異データを表示する第２領域とを有する表示装置とを有し、前記第２領域に表示された特異データに対する入力状態が許可状態のとき、当該表示された特異データに対応するフレーム画像が表示された第１領域の範囲内において、オペレータの指定する画素点の座標を当該フレーム画像内における前記標点の座標に変換して、前記第２領域に表示された特異データを置き換え、かつ前記テーブルに記録し、前記第１領域に表示されているフレーム画像以前のフレーム画像について前記テーブルに記録された２次元座標或いは特異データを読み出し、連続するフレーム画像において２次元座標が記録されているときには当該２次元座標の間を第１の線分で結んで前記第１の領域に表示し、特異データがはさまるときには、その前後のフレーム画像に対応する２次元座標の間を第２の線分で前記第１の領域に表示し、かつ前記第１の線分と第２の線分は可視化表現の異なる表示を行わせることを特徴とする。

【発明の効果】

【0010】

本発明によれば、作業者の動作により見失いやすいシール状或いは着色マークの標点であっても、取得した画像を参照しながら、検出できない標点の位置座標が回復できる。シール或いは着色マークで良いため、作業者の作業を妨げたりする恐れが少ない。

【図面の簡単な説明】

【0011】

【図1】モーションキャプチャ装置の全体図である。

【図2】作業状況のフレーム画像である。

【図3】表示装置における解析画面である。

【図4】座標取得プログラム及び軌跡追跡プログラムのフローを示す図である。

【図5】軌跡追跡プログラムにより追跡した軌跡を示す図である。

【図6】座標回復処理を示す図である。

【図7】座標回復プログラムのフローを示す図である。

【図8】軌跡例を示す図である。

【発明を実施するための最良の形態】

【0012】

図１において、モーションキャプチャ装置１は、ＣＣＤカメラ等のイメージセンサ２と、計算機３、表示装置４、キーボード５及びポインティングデバイス６を有している。計算機３は、メモリ３２、ＣＰＵ３５、ファイル３６及びチップセット３１を有する通常のパーソナルコンピュータである。メモリ３２には、各種プログラム記憶領域３４、表示装置４の画面に表示する情報を記憶している表示メモリ領域３３、テーブル３７を有している。表示装置４の画面４０は、表示メモリ領域３３に記述された情報が表示されたものであり、表示メモリ領域３３に情報を書き込むことにより、表示装置４への所望の表示が行われる。チップセット３１は、メモリ３２、ＣＰＵ３５、ファイル３６等の間のバス接続を制御する。ファイル３６は、イメージセンサ２により撮像された２次元画像を、毎秒６０枚の時系列なフレーム画像として順次蓄積して記憶する。ポインティングデバイス６は、表示装置４の表示画面中に表示されるポインタ４７（図３）の画面上の位置を制御するものであり、マウス等が使用される。イメージセンサ２は、作業台ｄ上で作業者ｗが作業を行う手元を撮像できるように、作業者の正面に設置される。

【0013】

図２は、作業者の作業の様子をイメージセンサ２により撮像されたフレーム画像である。図中、６２６、６３９、６５３等々の数値は、イメージセンサ２が撮像を開始してから取得したフレーム画像の順番を示している。この画像は、多数の線材ｐに対してテープｔを螺旋状に巻きつける作業のうち、テープｔを手に取る動作を撮像したものである。

【0014】

作業者ｗの右手の親指と人差し指の間には、標点ｍとなるシート状のシールが標点として付着されている。この付着位置が作業者の動作を観察する上で、動きを着目する部位である。シールは、作業環境において比較的に存在する確立が低い色が選択される。本例においては、直径２ｃｍの赤色の円形である。このシールは、能動的に光や熱を発したりするものでもなく、かつ平面的であり、作業者ｗの作業の障害を出来るだけ抑止している。円形にしているのは、標点の座標の特定を行うために、標点ｍの色相を有する画像が所定の面積で集まっていることを検知することにより行っているためである。標点ｍとして、シールの代わりに、作業者に対して円形状に着色することにより描いた着色マークによる標点を用いても良い。

【0015】

フレーム画像番号６２６では、標点ｍは円形に撮像されているが、フレーム画像番号６３９では、フレーム画像から消えている。フレーム画像から消えていなくても、影に入り彩度が落ちる或いは、光が反射する等して彩度が変わり座標を特定できない場合もある。
フレーム画像番号６５３では、座標を特定するに十分な面積だけ、標点ｍは撮像されている。フレーム画像番号６６７では、作業者ｗの手の動きが早すぎて、ぶれており、標点ｍの座標が特定できない。一方、フレーム画像番号６７３では、標点ｍが撮像されており座標が特定できる状態となっている。

【0016】

図３は、フレーム画像を座標取得プログラムで処理した結果を表示装置４の画面４０に表示した様子を示している。画面４０中の領域４１（第１領域）はフレーム画像を表示する領域であり、領域４２（第２領域）は各フレーム画像の取得時間、標点ｍの座標（Ｘ、Ｙ）をフレーム画像番号に対応させてテーブル形式に示している。領域４２に表示されていないテーブル部分を表示させるには、オペレータは領域４２の右のスクロールバー４３のタブ４４をポインタ４７で掴んで動かせば、所望のテーブル部分を表示装置４に表示させることができる。この例においては、フレーム画像は全部で１６８３枚ある。オペレータがスクロールバー４５上でポインタ４７によりタブ４６を掴んで移動させて所望のフレーム画像を指定すると、表示装置４はタブ４６が位置する場所のフレーム画像を領域４１に表示する。図では、６２６番目のフレーム画像を表示している。

【0017】

図４は、座標取得プログラムＳ１０及び軌跡追跡プログラムＳ２０を示している。図４Ａの座標取得プログラムＳ１０は、ファイル３６に記憶されたフレーム画像を１つずつ呼び出して標点ｍを撮像した画像が取得できるかどうかを判別する（Ｓ１１）。この判別は、予め指定された範囲の色相であって、かつ彩度が許容できる範囲の画素が予め指定された面積以上ある範囲を検出できるかにより行われる。

【0018】

取得できる場合には、当該面積を検出した中心座標（Ｘ、Ｙ）を取得してテーブル３７に記録する（Ｓ１２）。取得できない場合は、特異データとしてＸ＝−１、Ｙ＝−１を割り当てて記録する（Ｓ１３）。尚、座標（Ｘ、Ｙ）は、フレーム画像の左下端を原点とした２次元座標である（図３参照）。

【0019】

全フレーム画像に対して処理を行ったかを判別し（Ｓ１４）、全フレーム画像の標点ｍの座標を決定する。テーブル３７には、標点ｍの座標、フレーム画像番号、取得時間はメモリが記録される。図３に戻り、領域４２に表示されるテーブル３７の内容のうち、正の整数が座標データとして示されているフレーム画像は、座標が取得できたフレーム画像であり、（−１，−１）となっているのは、座標が取得できない状態を示している。本実施例においては、特異データをありえない座標値すなわち負値としたが、文字或いは記号でも良い。

【0020】

図４Ｂは、軌跡追跡プログラムＳ２０である。このプログラムＳ２０は、過去のフレーム画像における標点ｍの座標位置を、現在領域４１に表示されているフレーム画像における標点ｍの位置まで連続的に結ぶプログラムである。
このプログラムが起動されると、テーブル３７から過去のフレーム画像の座標データを取得し、特異データであるかどうかを判定する（Ｓ２１）。特異データであれば、フラグを「１」にセットする（Ｓ２４）。このフラグは、標点ｍの座標が判定できない状態であることを示す。
座標が正の整数であれば、今回の座標を終点データとし、前回の座標を始点データとして設定する（Ｓ２２）。

【0021】

フラグの状態を判別し（Ｓ２３）、フラグが「０」でなければ、始点と終点の間を結ぶ黄色で着色された第２の線分を領域４１に描画する。そして、標点ｍの座標が判定できたために、フラグを「０」の状態に設定する（Ｓ２７）。一方、フラグの状態を判別した結果（Ｓ２３）、フラグが「０」であれば、始点と終点の間を結ぶ赤色で着色された第１の線分を領域４１に描画する（Ｓ２６）。特異データがはさまるフレーム画像があるときには、その前後のフレーム画像に対応する標点の２次元座標の間を第２の線分で結ぶのである。尚、フラグの初期値は「０」である。
現在、領域４１に表示されているフレーム画像までの処理が終わったかどうかを判定し（Ｓ２８）、標点ｍの軌跡を描画する。

【0022】

図５は、このようにして領域４１に描画された軌跡ｓを示している。軌跡ｓの内、実線の部分ｓ１は図４Ｂの処理により赤で線分が描画されている部分であり、点線の部分ｓ２は図４Ｂの処理により黄色で線分が描画されている部分である。図４Ｂの軌跡追跡プログラムＳ２０で明らかなように、黄色の線分ｓ２は座標が検出できた前後のフレーム画像の標点を結ぶ直線であるのに対して、赤の線分ｓ１はフレーム画像の標点毎に結ばれた線分である。このように、第１、第２の線分の色相を異ならしめて表示することにより、軌跡追跡プログラムＳ２０により、実際に取得された標点ｍの座標と、取得できなかった座標が区別して表示される。可視化表現のを相違させて第１、第２の線分の区別を表示するには、上記のように色相だけではなく点滅／非点滅によっても区別することができる。

【0023】

図６は、特異データとなったフレーム画像について、座標を回復する処理を示す図である。スクロールバー４５を使用して、対象のフレーム画像を領域４１に表示させる。スクロールバー４３を用いて、テーブル３７の当該フレーム画像の座標データを領域４２に表示させておく。

【0024】

次に、ポインタ４７を用いて、図中のポインタ４７ａの位置に移動してテーブル３７の該当する行４２ａを選択して、入力可能状態に遷移させる。ポインタ４７を動かして図中のポインタ４７ｂの位置に移動させ、領域４１に表示されているフレーム画像のうち、標点ｍが位置しているであろう位置に指定する。指定された画素点の表示メモリ領域３３における座標が、フレーム画像の中の２次元座標に返還され、入力可能状態に遷移した行４２ａに記述される。

【0025】

図７は、上記した処理を実行する座標回復プログラムＳ３０を示している。このプログラムが起動されると、スクロールバー４３と４５を使用して、対象のフレーム画像及びテーブル３７の該当部分が表示されている状態で、ポインタ４７によりテーブル３７の行が指定されているかを判定する（Ｓ３１）。行の指定があった場合、当該行の色を変化させて入力状態であることを表示する（Ｓ３２）。

【0026】

ポインタ４７により領域４１の範囲内におけるいずれかの画素点が指定されたとき、その画素点が入力状態である行に対応するフレーム画像の画素点であるときにはステップＳ３４に移り、そうで無いときにはステップＳ３１に戻る。ステップＳ３４においては、指定された画素点の座標（Ｘ、Ｙ）を取得してテーブル３７の該当位置に書き込む。オペレータから終了の指示がなければステップＳ３１へ戻る（Ｓ３５）。

【0027】

図８は、作業者ｗがテープｔを取り上げた後、多数の線材ｐに対してテープｔを螺旋状に巻きつける作業を行った際の標点ｍの軌跡である。作業者番号３０５の正面から右手を撮像し、かつ座標回復プログラムＳ３０により修正をして得られたテーブル３７の情報を元に軌跡を描画している。図８では、図４Ｂの軌跡追跡プログラムＳ２０における描画する対象を領域４１ではなく、縦軸、横軸を夫々Ｙ軸、Ｘ軸に設定して表したグラフに変更してテーブル３７のデータをプロットしている。図８Ａは、標準的な作業者による軌跡であり、軌跡が規則的な螺旋を描くように推移しており、線材ｐに対する巻きつけが均等にかつ同じ調子である様子がわかる。この結果、テープｔが均一に引き出され等間隔に重なり合って巻きつけられている様子が観察できる。一方、図８Ｂは被験者による作業の軌跡である。螺旋が不揃いでありかつ、等間隔にない状態が評価できる。

【0028】

図８においては、座標回復プログラムＳ３０による修正をすべての軌跡において行ったが、黄色の線分による軌跡が短く、または重要でない工程であるときには、一部の特異データを座標回復せずに黄色い線分のまま表示させておいて、作業の評価を行っても良い。軌跡追跡プログラムＳ２０及び座標回復プログラムＳ３０を適宜起動することにより、より適切な軌跡を求めて評価することができる。

【0029】

以上のように本実施例によれば、作業者正面に配置したイメージセンサで撮像した２次元的な標点の動きであっても、取得した画像を参照しながら、検出できない標点の位置座標が回復できる。作業者に付けられる標点は平面的なシール或いは着色マークで良いため、作業者の作業を妨げたりする恐れが少ない。

【0030】

また、領域４１のフレーム画像を観察することにより、手の形、腕の動きにより、ほぼ正確に標点ｍのあるべき位置が推測でき、またポインタ４７で位置を指示すれば簡単に座標を入力できるので、取り扱いが容易である。

【0031】

上記した実施例においては、イメージセンサ２が計算機３に接続されている例を示したが、工場の作業現場に配置されたイメージセンサ２により時系列なフレーム画像を取得して媒体に記憶し、本社の生産技術部門に配置された計算機３により前記媒体に取得されたフレーム画像を解析しても良い。イメージセンサ２を海外生産拠点に配置し、計算機３を本部に配置し、イメージセンサ２で取得したフレーム画像をネットで本社に繋げることも可能である。

【0032】

また、色相の異なる多数の標点ｍを作業者に付着して、夫々の標点ｍに対して、軌跡を求めても良い。この場合、座標取得プログラムＳ１０を複数の色相に対応する判定のステップＳ１１を設けて、夫々の色相に対して、テーブル３７を用意しておけば良い。

【符号の説明】

【0033】

１ モーションキャプチャ装置
２ イメージセンサ
３ 計算機
４ 表示装置
５ ポジショニングデバイス
３２ 表示メモリ領域
３６ ファイル
３７ テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】