特許 7490600 情報処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】情報処理装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240520BHJP

【ＦＩ】

G06T7/20 300Z

【請求項の数】 8

(21)【出願番号】P 2021037437

(22)【出願日】2021-03-09

(65)【公開番号】P2022137771

(43)【公開日】2022-09-22

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】登内 洋次郎

(72)【発明者】

【氏名】山内 康晋

(72)【発明者】

【氏名】池 司

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０２１－０３３４３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

所定領域を撮影した画像データを取得する第１の取得部と、
前記画像データに基づいて、前記画像データに含まれる対象物の複数の部位の動作に関する部位動作情報を生成する第１の処理部と、
前記対象物からのセンサデータを取得する第２の取得部と、
前記センサデータに基づいて、センサの動作に関するセンサ動作情報を生成する第２の処理部と、
前記部位動作情報および前記センサ動作情報に基づいて、前記画像データに含まれる対象物と前記センサとの関係を特定する特定部と
を具備し、
前記部位動作情報は、対象物の複数の部位の移動軌跡の情報を含み、
前記センサ動作情報は、センサデータに含まれる計測データの時系列の情報を含み、
前記部位動作情報および前記センサ動作情報に基づいて、前記移動軌跡の情報と前記時系列の情報との相関値を計算する計算部
を更に具備し、
前記特定部は、前記相関値の計算結果に基づいて、相関値が高い順に対象物の部位の移動軌跡の情報と前記時系列の情報との組み合わせを決定し、前記関係を特定する、情報処理装置。

【請求項2】

前記計算部は、前記移動軌跡の情報と前記時系列の情報との時間軸上での類似度が高い組み合わせについて前記相関値を計算する、
請求項１に記載の情報処理装置。

【請求項3】

前記第１の処理部は、前記画像データに含まれる対象物を検出し、前記検出した対象物の姿勢を推定し、前記検出した対象物を追跡することによって、前記部位動作情報を生成する、
請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記第１の処理部は、前記検出した対象物に人体骨格モデルを当てはめることによって姿勢を推定する、
請求項３に記載の情報処理装置。

【請求項5】

前記複数の部位は、センサが内蔵されるデバイスに基づいて決定される、
請求項１から請求項４までのいずれか一項に記載の情報処理装置。

【請求項6】

前記デバイスは、ウェアラブルデバイスまたは携帯端末である、
請求項５に記載の情報処理装置。

【請求項7】

所定領域を撮影した画像データを取得する第１のステップと、
前記画像データに基づいて、前記画像データに含まれる対象物の複数の部位の動作に関する部位動作情報を生成する第２のステップと、
前記対象物からのセンサデータを取得する第３のステップと、
前記センサデータに基づいて、センサの動作に関するセンサ動作情報を生成する第４のステップと、
前記部位動作情報および前記センサ動作情報に基づいて、前記画像データに含まれる対象物と前記センサとの関係を特定する第５のステップと
を具備し、
前記部位動作情報は、対象物の複数の部位の移動軌跡の情報を含み、
前記センサ動作情報は、センサデータに含まれる計測データの時系列の情報を含み、
前記部位動作情報および前記センサ動作情報に基づいて、前記移動軌跡の情報と前記時系列の情報との相関値を計算する第６のステップ
を更に具備し、
前記第５のステップは、前記相関値の計算結果に基づいて、相関値が高い順に対象物の部位の移動軌跡の情報と前記時系列の情報との組み合わせを決定し、前記関係を特定する、情報処理方法。

【請求項8】

コンピュータを
所定領域を撮影した画像データを取得する第１の手段と、
前記画像データに基づいて、前記画像データに含まれる対象物の複数の部位の動作に関する部位動作情報を生成する第２の手段と、
前記対象物からのセンサデータを取得する第３の手段と、
前記センサデータに基づいて、センサの動作に関するセンサ動作情報を生成する第４の手段と、
前記部位動作情報および前記センサ動作情報に基づいて、前記画像データに含まれる対象物と前記センサとの関係を特定する第５の手段
として機能させ、
前記部位動作情報は、対象物の複数の部位の移動軌跡の情報を含み、
前記センサ動作情報は、センサデータに含まれる計測データの時系列の情報を含み、
前記部位動作情報および前記センサ動作情報に基づいて、前記移動軌跡の情報と前記時系列の情報との相関値を計算する第６の手段
として更に機能させ、
前記第５の手段は、前記相関値の計算結果に基づいて、相関値が高い順に対象物の部位の移動軌跡の情報と前記時系列の情報との組み合わせを決定し、前記関係を特定する、情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、方法およびプログラムに関する。

【背景技術】

【0002】

製造現場において、カメラなどの撮影装置によって作業者の行動を動画で記録し、記録した動画を用いて作業効率の改善に利用する事例が増えてきている。このとき、動画に写っている作業者を特定することが求められ、例えば、作業者の服装および顔に着目して解析することによって、作業者を特定する技術が知られている。しかし、製造現場では、複数の作業者がみな同じ作業着を着用している場合が多く、またヘルメットを被っていて顔がはっきりと写らない場合が多いため、上記技術では作業者を特定することが困難である。

【0003】

また別の例では、撮影装置によって記録した動画と、動画に写っている人物が所持している携帯端末の加速度センサによって計測されたデータ（センサデータ）とに基づいて上記人物を特定する技術が知られている。この技術では、動画データから解析される人物の歩行ピッチおよび位相と、センサデータから取得される人物の歩行ピッチおよび位相とをそれぞれマッチングさせることによって人物を特定している。しかし、この技術では、携帯端末の装着位置によってセンサの位置が変わるためマッチングの精度が低下する可能性がある。よって、センサの装着位置によらず、動画データの人物とセンサデータの人物とを精度良くマッチングさせる技術が求められている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－２５１８００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、センサの装着位置によらず、動画データの人物とセンサデータの人物とを精度良くマッチングさせることができる情報処理装置、方法およびプログラムを提供することである。

【課題を解決するための手段】

【0006】

一実施形態に係る情報処理装置は、第１の取得部と、第１の処理部と、第２の取得部と、第２の処理部と、特定部とを備える。第１の取得部は、所定領域を撮影した画像データを取得する。第１の処理部は、画像データに基づいて、画像データに含まれる対象物の複数の部位の動作に関する部位動作情報を生成する。第２の取得部は、対象物からのセンサデータを取得する。第２の処理部は、センサデータに基づいて、センサの動作に関するセンサ動作情報を生成する。特定部は、部位動作情報およびセンサ動作情報に基づいて、画像データに含まれる対象物とセンサとの関係を特定する。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る情報処理装置を含む情報処理システムの構成を例示するブロック図。

【図2】第１の実施形態に係る情報処理装置の構成を例示するブロック図。

【図3】第１の実施形態に係る情報処理装置の運用例を示す説明図。

【図4】第１の実施形態に係る情報処理装置の動作例を示すフローチャート。

【図5】第１の実施形態における画像データを例示する図。

【図6】第１の実施形態における二次元人体骨格モデルを例示する図。

【図7】第１の実施形態における、身体各部の移動軌跡が重畳された画像データを例示する図。

【図8】第１の実施形態における、移動軌跡の座標データを例示する図。

【図9】第１の実施形態における、追跡ＩＤと移動軌跡ＩＤとの対応付けを例示するテーブル。

【図10】第１の実施形態における、センサＩＤとユーザＩＤとの対応付けを例示するテーブル。

【図11】第１の実施形態における、センサを内蔵した携帯端末の座標軸を例示する図。

【図12】第１の実施形態における、センサデータの波形を例示する図。

【図13】第１の実施形態における、移動軌跡ＩＤと、センサＩＤと、センサ軸と、相関値との対応付けを例示するテーブル。

【図14】第２の実施形態に係る情報処理装置を含む情報処理システムの構成を例示するブロック図。

【図15】第２の実施形態に係る情報処理装置の運用例を示す説明図。

【図16】一実施形態に係るコンピュータのハードウェア構成を例示するブロック図。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、情報処理装置の実施形態について詳細に説明する。

【0009】

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置１００を含む情報処理システム１の構成を例示するブロック図である。情報処理システム１は、情報処理装置１００と、出力装置１１０と、複数のセンサと、撮影装置１３０とを備える。図１では、複数のセンサとして、第１のセンサ１２１および第２のセンサ１２２を例示する。複数のセンサのそれぞれは、例えば、複数の計測対象それぞれに関するセンサデータを生成する。計測対象は、例えば、製造現場で作業をする作業者である。例えば、第１のセンサ１２１および第２のセンサ１２２は、それぞれ異なる作業者に割り当てられる。撮影装置１３０は、例えば、上記製造現場を撮影する。情報処理装置１００は、複数の作業者それぞれについて取得された複数のセンサデータと、複数の作業者が写っている画像データとに基づいて、画像データに写っている複数の作業者を特定する。出力装置１１０は、特定した複数の作業者に関する情報を含む表示データを表示する。

【0010】

なお、以降では、第１のセンサ１２１および第２のセンサ１２２を区別しない場合、単に「センサ」と記載する。

【0011】

出力装置１１０は、例えば、モニタである。出力装置１１０は、情報処理装置１００から表示データを受け取る。出力装置１１０は、表示データを表示する。尚、出力装置１１０は、表示データを表示可能であればモニタに限らない。例えば、出力装置１１０は、プロジェクタでもよい。また、出力装置１１０は、スピーカを備えてもよい。

【0012】

センサは、例えば、計測対象の身体部位に装着されたウェアラブルデバイスに内蔵される。身体部位は、例えば、手首、上腕、足首、上腿、腰、背中、および頭である。また例えば、センサは、計測対象の所持する携帯端末に内蔵されていてもよい。この場合、携帯端末は、例えば、計測対象の手のひら、上着の胸ポケット、およびズボンのポケットに所持されることがある。以降では、ウェアラブルデバイスまたは携帯端末と、センサとは同様の意味で用いることとする。

【0013】

なお、衣服に設けられたポケットなどは、計測対象の身体部位と対応付けられているものとする。例えば、上着の胸ポケットであれば、身体部位の「胸」に相当し、ズボンのポケットであれば、身体部位の「上腿」に相当するものとする。また、身体部位は、単に「部位」と呼ばれてもよい。

【0014】

センサは、少なくとも一種類の物理状態を計測し、計測されたデータ（計測データ）を含むセンサデータを生成する。計測データは、例えば、加速度データ、角速度データ、地磁気データ、気圧データ、温湿度データ、筋電位データ、および脈波データである。具体的には、センサは、少なくとも加速度データを含むセンサデータを生成する。尚、気圧データを用いることによって、センサの高度を推定することができる。

【0015】

計測データは、複数のチャネルを含んでもよい。例えば、計測データが加速度データである場合、センサデータは、加速度の各方向（例えば、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向）成分に対応する３チャネル分（３軸分）の計測データを含む。本実施形態では、複数のセンサとして、第１のセンサ１２１および第２のセンサ１２２を利用する場合について説明される。

【0016】

第１のセンサ１２１は、例えば、携帯端末に内蔵されており、計測対象の胸ポケットに所持されている。第１のセンサ１２１は、計測対象の移動に関する動作を計測し、計測データを含む第１のセンサデータを生成する。第１のセンサ１２１は、第１のセンサデータを情報処理装置１００へと出力する。尚、第１のセンサデータは、第１のセンサ１２１を識別するためのセンサＩＤが対応付けられている。

【0017】

第２のセンサ１２２は、例えば、携帯端末に内蔵されており、計測対象のズボンのポケット（ズボンポケット）に所持されている。第２のセンサ１２２は、他の計測対象の移動に関する動作を計測し、計測データを含む第２のセンサデータを生成する。第２のセンサ１２２は、第２のセンサデータを情報処理装置１００へと出力する。尚、第２のセンサデータは、第２のセンサ１２２を識別するためのセンサＩＤが対応付けられている。

【0018】

なお、以降では、第１のセンサデータおよび第２のセンサデータを区別しない場合、単に「センサデータ」と記載する。

【0019】

撮影装置１３０は、例えば、画像センサである。撮影装置１３０は、所定領域（例えば、製造現場）を撮影し、動画像を取得する。本実施形態では、撮影装置１３０で取得された動画像のデータを画像データと称する。撮影装置１３０は、取得した画像データを情報処理装置１００へと出力する。尚、撮影装置１３０は、ビデオカメラでもよい。

【0020】

図２は、第１の実施形態に係る情報処理装置１００の構成を例示するブロック図である。情報処理装置１００は、画像データ取得部２１０（第１の取得部）と、画像データ処理部２２０（第１の処理部）と、センサデータ取得部２３０（第２の取得部）と、センサデータ処理部２４０（第２の処理部）と、計算部２５０と、特定部２６０とを備える。

【0021】

なお、情報処理装置１００は、図示しないメモリおよびプロセッサを備えてもよい。メモリは、例えば、情報処理装置１００の動作に関する各種プログラム（例えば、作業者を特定する作業者特定プログラム）を記憶する。プロセッサは、メモリに保存された各種プログラムを実行することによって、画像データ取得部２１０、画像データ処理部２２０、センサデータ取得部２３０、センサデータ処理部２４０、計算部２５０、および特定部２６０の各機能を実現する。

【0022】

画像データ取得部２１０は、撮影装置１３０から画像データを取得する。画像データ取得部２１０は、取得した画像データを画像データ処理部２２０へと出力する。尚、画像データ取得部２１０は、取得した画像データと取得時刻とを対応付けてもよい。

【0023】

画像データ処理部２２０は、画像データ取得部２１０から画像データを受け取る。画像データ処理部２２０は、画像データに基づいて、画像データに含まれる対象物（例えば、作業者）の複数の部位の動作に関する部位動作情報を生成する。画像データ処理部２２０は、部位動作情報を計算部２５０へと出力する。

【0024】

部位動作情報は、作業者の複数の部位の移動軌跡の情報（移動軌跡情報）を含む。例えば、着目する作業者の部位を二つに設定し、画像データに二人の作業者が写っている場合、部位動作情報は、四つの移動軌跡情報を含む。移動軌跡情報は、例えば、画像データの取得時刻と、画像データにおける作業者の部位の位置を示す二次元座標とを対応付けたものである。また、移動軌跡情報には、複数の移動軌跡をそれぞれ識別するための移動軌跡ＩＤが割り当てられてもよい。

【0025】

具体的には、画像データ処理部２２０は、画像データに写っている人物を検出する人物検出処理を実行し、画像データから検出した全ての作業者に対して追跡ＩＤを割り当てる。次に、画像データ処理部２２０は、検出した人物の姿勢を推定する姿勢推定処理を実行し、追跡ＩＤを割り当てた全ての作業者それぞれについて二次元の人体骨格モデル（二次元人体骨格モデル）を当てはめる。次に、画像データ処理部２２０は、検出した人物を追跡する人物追跡処理を実行し、追跡している作業者の部位に対応する二次元人体骨格モデルの部位の移動軌跡情報を取得する。尚、画像データ処理部２２０は、移動軌跡情報に移動軌跡ＩＤを割り当て、割り当てた移動軌跡ＩＤを追跡ＩＤと対応付けてもよい。

【0026】

なお、作業者の複数の部位は、予め決められていてもよいし、センサが内蔵されるデバイスに基づいて決定されてもよいし、ユーザが指定することによって決められてもよい。例えば、センサがリストバンド式のウェアラブルデバイスに搭載されていれば、装着位置が限定されるため、画像データ処理部２２０は、複数の部位として「手首」または「腕」を設定するようにしてもよい。

【0027】

センサデータ取得部２３０は、作業者が装着、或いは所持しているセンサからセンサデータを取得する。具体的には、センサデータ取得部２３０は、第１のセンサ１２１から第１のセンサデータを取得し、第２のセンサ１２２から第２のセンサデータを取得する。センサデータ取得部２３０は、取得した第１のセンサデータおよび第２のセンサデータをセンサデータ処理部２４０へと出力する。尚、センサデータ取得部２３０は、取得したセンサデータと取得時刻とを対応付けてもよい。

【0028】

センサデータ処理部２４０は、センサデータ取得部２３０からセンサデータを受け取る。具体的には、センサデータ処理部２４０は、第１のセンサデータおよび第２のセンサデータを受け取る。センサデータ処理部２４０は、第１のセンサデータおよび第２のセンサデータに基づいて、センサの動作に関するセンサ動作情報を生成する。センサデータ処理部２４０は、センサ動作情報を計算部２５０へと出力する。

【0029】

センサ動作情報は、センサデータに含まれる計測データの各チャネルについての時系列の情報（センサ時系列情報）を含む。例えば、一つのセンサについて３チャネル分の計測データを含むセンサデータが取得され、二つのセンサからそれぞれセンサデータを取得する場合、センサ動作情報は、六つのセンサ時系列情報を含む。センサ時系列情報は、例えば、計測データの取得時刻と、計測データの計測値とを対応付けたものである。尚、センサ時系列情報は、センサＩＤが対応付けられていてもよい。

【0030】

なお、センサデータ処理部２４０は、センサデータに含まれる計測データに対して、高周波成分の除去および所定の演算を実行した後に、センサ動作情報を生成してもよい。ノイズ成分の除去は、例えばローパスフィルタを用いた処理である。所定の演算は、例えば積分演算である。計測データが加速度を表している場合、センサデータ処理部２４０は、計測データに積分演算を実行することによって、速度を表すセンサ時系列情報を生成してもよい。

【0031】

計算部２５０は、画像データ処理部２２０から部位動作情報を受け取り、センサデータ処理部２４０からセンサ動作情報を受け取る。計算部２５０は、部位動作情報およびセンサ動作情報に基づいて、移動軌跡情報とセンサ時系列情報との相関値を計算する。計算部２５０は、計算した相関値の計算結果を特定部２６０へと出力する。

【0032】

具体的には、計算部２５０は、複数の移動軌跡情報と複数のセンサ時系列情報との全ての組み合わせについて、それぞれ相互相関を算出することによって相関値を算出する。例えば、二つの一次元信号Ａ［ｔ］、Ｂ［ｔ］（ｔ＝０，・・・，Ｔ－１）の相互相関Ｃ（Ａ，Ｂ）は、以下の数式（１）を用いて算出することができる。

【0033】

【数1】

【0034】

数式（１）において、二つの一次元信号Ａ［ｔ］、Ｂ［ｔ］の相関が高い場合、相互相関Ｃ（Ａ，Ｂ）の絶対値は１に近くなる。他方、相関が低い場合、絶対値はゼロに近くなる。尚、移動軌跡情報は、時刻と、画像における二次元座標とを対応付けた二次元信号である。よって、相関値を計算する場合、計算部２５０は、二次元座標の各座標軸（例えば、Ｘ軸およびＹ軸）についてそれぞれセンサ時系列情報との相関値を算出し、相関値が大きい方を計算結果として出力するものとする。

【0035】

なお、計算部２５０は、複数の移動軌跡情報と複数のセンサ時系列情報との全ての組み合わせのうち、時間軸上での類似度が高い組み合わせについて相関値を計算してもよい。具体的には、計算部２５０は、ある時刻における移動軌跡情報およびセンサ時系列情報のそれぞれの値に変動がある場合に類似度が高いと判定する。例えば、一方の作業者が立ち止まっていて、他方の作業者が歩き続けている場合、センサデータの値に歩行を示す変動があれば、計算部２５０は、他方の作業者について相関値を計算する。これにより、計算部２５０は、相関値を計算する組み合わせを絞り込むことができるため、計算量を削減することができる。

【0036】

特定部２６０は、部位動作情報およびセンサ動作情報に基づいて、画像データに含まれる作業者とセンサとの関係を特定する。具体的には、特定部２６０は、計算部２５０から計算結果を受け取る。そして、特定部２６０は、計算結果に基づいて、相関値が高い順に移動軌跡ＩＤとセンサＩＤとの組み合わせを決定し、移動軌跡ＩＤとユーザＩＤとを対応付けることにより、画像データに含まれる作業者とセンサとの関係を特定する。

【0037】

以上、第１の実施形態に係る情報処理システム１および情報処理装置１００の構成について説明した。次に、情報処理装置１００の運用例および情報処理装置１００の動作例について説明する。

【0038】

図３は、第１の実施形態に係る情報処理装置１００の運用例を示す説明図である。図３には、情報処理装置１００と、製造現場である作業領域３００と、作業領域３００で作業をする二人の作業者Ｐ１，Ｐ２と、作業領域３００を撮影する撮影装置１３０とが示されている。

【0039】

撮影装置１３０は、作業領域３００を略内包する撮影領域３１０についての画像データを情報処理装置１００へと出力する。また、二人の作業者Ｐ１，Ｐ２がそれぞれ装着している、或いは携帯しているセンサは、計測したセンサデータを情報処理装置１００へと出力する。

【0040】

以降の具体例では、図３に示すように、一つの撮影装置１３０から取得された画像データに含まれる二人の作業者Ｐ１，Ｐ２を特定することについて述べる。尚、説明の便宜上、二人の作業者にはそれぞれ符号Ｐ１，Ｐ２を付けているが、画像データ中の作業者を特定するものではない。

【0041】

図４は、第１の実施形態における情報処理装置１００の動作例を示すフローチャートである。図４のフローチャートの処理は、ユーザによって作業者特定プログラムが実行されることで開始する。

【0042】

（ステップＳＴ４１０）
作業者特定プログラムが実行されると、画像データ取得部２１０は、撮影装置１３０から画像データを取得する。

【0043】

（ステップＳＴ４２０）
画像データが取得された後、画像データ処理部２２０は、画像データに基づいて部位動作情報を生成する。以下では、部位動作情報の生成に関して図５から図９までを参照して説明する。

【0044】

図５は、第１の実施形態における画像データ５００を例示する図である。画像データ５００には、二人の作業者Ｐ１，Ｐ２が写っている様子が示されている。

【0045】

画像データ処理部２２０は、画像データ５００に対して人物検出処理を実行し、作業者Ｐ１を含む検出領域５１０および作業者Ｐ２を含む検出領域５２０を設定する。画像データ処理部２２０は、検出領域５１０の作業者Ｐ１について追跡ＩＤ「ｃ１００１」を割り当て、検出領域５２０の作業者Ｐ２について追跡ＩＤ「ｃ１００２」を割り当てる。このとき、画像データ処理部２２０は、例えば作業者を検出した順に、作業者について追跡ＩＤを割り当てる。

【0046】

次に、画像データ処理部２２０は、検出領域内の作業者について姿勢推定処理を実行し、検出した作業者に二次元人体骨格モデルを当てはめる。二次元人体骨格モデルは、例えば、人体の複数のキーポイントと画像データ内の二次元座標とを対応付けている。

【0047】

図６は、第１の実施形態における二次元人体骨格モデル６００を例示する図である。二次元人体骨格モデル６００は、例えば、二次元座標上の人体の１８個のキーポイントＫＰ１からＫＰ１８までで表される。二次元人体骨格モデル６００が正面を向いている場合、キーポイントＫＰ１からＫＰ１８までは、それぞれ「右目」、「左目」、「右耳」、「左耳」、「鼻」、「首」、「右手」、「左手」、「右肘」、「左肘」、「右肩」、「左肩」、「右腰」、「左腰」、「右膝」、「左膝」、「右足」、および「左足」に対応している。画像データ処理部２２０は、例えばこれらのキーポイントと作業者の部位とを対応付けることにより、センサが装着、或いは所持される部位に着目することができる。

【0048】

次に、画像データ処理部２２０は、検出した作業者について人物追跡処理を実行し、作業者の部位に対応する二次元人体骨格モデルの部位の移動軌跡情報を取得する。例えば、作業者の左胸ポケットに着目する場合、画像データ処理部２２０は、キーポイントＫＰ１２を基準とした移動軌跡を取得する。また例えば、作業者のズボンの右に位置するポケット（以降、ズボンポケット）に着目する場合、画像データ処理部２２０は、キーポイントＫＰ１３を基準とした移動軌跡を取得する。着目する部位は、任意に決められてよい。

【0049】

図７は、第１の実施形態における、身体各部の移動軌跡が重畳された画像データ７００を例示する図である。ここで、画像データ７００の取得時間は、画像データ５００の取得時間よりも進んでいる。よって、画像データ７００に重畳された移動軌跡は、画像データ５００の取得時間から画像データ７００の取得時間までの間に移動した作業者Ｐ１，Ｐ２に設定された部位の軌跡を示している。

【0050】

画像データ７００において、移動軌跡７０１は、作業者Ｐ１の左胸ポケットに着目した移動軌跡を示し、移動軌跡７０２は、作業者Ｐ１のズボンポケットに着目した移動軌跡を示し、移動軌跡７０３は、作業者Ｐ２の左胸ポケットに着目した移動軌跡を示し、移動軌跡７０４は、作業者Ｐ２のズボンポケットに着目した移動軌跡を示す。

【0051】

図８は、第１の実施形態における、移動軌跡の座標データ８００を例示する図である。座標データ８００は、画像データ７００に重畳された四つの移動軌跡７０１から７０４までをＸＹ座標上にプロットしたものである。Ｘ軸およびＹ軸は、それぞれ画像データの水平方向および垂直方向に対応する。よって、移動軌跡は、二次元座標（Ｘ［Ｉ］［ｋ］［ｔ］，Ｙ［Ｉ］［ｋ］［ｔ］）で表すことができる。ここで、Ｉは追跡ＩＤを示し、ｋは部位の位置（キーポイント）を示し、ｔは画像データの取得時刻を示す。例えば、二次元座標（Ｘ［ｃ１００１］［ＫＰ１２］［ｔ］，Ｙ［ｃ１００１］［ＫＰ１２］［ｔ］）は、取得時刻ｔにおける追跡ＩＤ「ｃ１００１」のキーポイントＫＰ１２の座標位置を表す。

【0052】

以上のように、画像データ処理部２２０は、所定時間の間の移動軌跡を取得し、部位動作情報を生成する。この時、画像データ処理部２２０は、移動軌跡７０１から移動軌跡７０４までのそれぞれに対応する、移動軌跡ＩＤ「ｌｏ１」から「ｌｏ４」までを割り当てる。以下では、追跡ＩＤに対応付けられた移動軌跡ＩＤに関して図９を参照して説明する。

【0053】

図９は、第１の実施形態における、追跡ＩＤと移動軌跡ＩＤとの対応付けを例示するテーブル９００である。テーブル９００は、追跡ＩＤと移動軌跡ＩＤとを対応付けている。例えば、追跡ＩＤ「ｃ１００１」には移動軌跡ＩＤ「ｌｏ１」および移動軌跡ＩＤ「ｌｏ２」が対応付けられ、追跡ＩＤ「ｃ１００２」には移動軌跡ＩＤ「ｌｏ３」および移動軌跡ＩＤ「ｌｏ４」が対応付けられている。

【0054】

（ステップＳＴ４３０）
部位動作情報が生成された後、センサデータ取得部２３０は、作業者が装着、或いは所持しているセンサからセンサデータを取得する。具体的には、図３に示すように、センサデータ取得部２３０は、作業者Ｐ１が装着、或いは所持しているセンサ（作業者Ｐ１のセンサ）、および作業者Ｐ２が装着、或いは所持しているセンサ（作業者Ｐ２のセンサ）からそれぞれセンサデータを取得する。以下では、センサデータに対応付けられたセンサＩＤおよびユーザＩＤに関して図１０を参照して説明する。

【0055】

図１０は、第１の実施形態における、センサＩＤとユーザＩＤとの対応付けを例示するテーブル１０００である。テーブル１０００は、センサＩＤとユーザＩＤとを対応付けている。例えば、センサＩＤ「ｓ１００１」にはユーザＩＤ「ｕ１００１」が対応付けられ、センサＩＤ「ｓ１００２」にはユーザＩＤ「ｕ１００２」が対応付けられている。

【0056】

ここで、センサが携帯端末に内蔵されている場合について具体的に説明する。携帯端末に内蔵されたセンサは、例えば携帯端末の中心を基準とした座標系に従って、それぞれの座標軸についての計測値をセンサデータとして出力する。以下では、携帯端末の座標軸とセンサデータの波形とについて図１１および図１２を用いて説明する。

【0057】

図１１は、第１の実施形態における、センサを内蔵した携帯端末１１００の座標軸を例示する図である。携帯端末１１００では、例えば、ディスプレイの水平方向に対してＸ軸およびＹ軸が設定され、ディスプレイの垂直方向に対してＺ軸が設定される。携帯端末１１００に加速度センサが内蔵されている場合、センサは、Ｘ軸、Ｙ軸、およびＺ軸の方向の加速度をそれぞれ検出する。

【0058】

図１２は、第１の実施形態における、センサデータの波形を例示する図である。図１２では、Ｘ軸、Ｙ軸、およびＺ軸について、それぞれ波形１２１０、波形１２２０、および波形１２３０が示されている。また、図１２のセンサデータは、図１１の携帯端末１１００に内蔵されたセンサによって検出されたものとする。

【0059】

図１２のセンサデータが加速度データである場合、センサ自体の移動方向が波形に現れる。例えば、波形１２２０は、時間方向に対する加速度が略ゼロを示し、波形１２２０は時間方向に対する加速度が周期的に変化し、波形１２３０も同様に時間方向に対する加速度が周期的に変化している。よって、センサは、Ｙ軸方向またはＺ軸方向へ移動していることがわかる。更に、センサの移動方向を携帯端末１１００に置き換えると、携帯端末１１００は、Ｙ軸方向またはＺ軸方向に移動していることがわかる。

【0060】

（ステップＳＴ４４０）
センサデータが取得された後、センサデータ処理部２４０は、センサデータに基づいてセンサ動作情報を生成する。具体的には、センサデータ処理部２４０は、作業者Ｐ１のセンサおよび作業者Ｐ２のセンサからそれぞれ出力されたセンサデータに基づいて、センサ動作情報を生成する。センサ動作情報は、例えば、作業者Ｐ１のセンサについて３軸それぞれの時系列情報と、作業者Ｐ２のセンサについて３軸それぞれの時系列情報とを含む六つの時系列情報である。

【0061】

なお、ステップＳＴ４３０の処理およびステップＳＴ４４０の処理は、ステップＳＴ４１０の処理の前に行われてもよいし、ステップＳＴ４１０の処理およびステップＳＴ４２０の処理と共に行われてもよい。

【0062】

（ステップＳＴ４５０）
センサ動作情報が生成された後、計算部２５０は、部位動作情報およびセンサ動作情報に基づいて相関値を計算する。具体的には、計算部２５０は、移動軌跡ＩＤが対応付けられた移動軌跡情報と、センサＩＤが対応付けられたセンサ時系列情報との全ての組み合わせについて相関値を計算する。以下では、移動軌跡ＩＤとセンサＩＤとの組み合わせについて図１３を参照して説明する。

【0063】

図１３は、第１の実施形態における、移動軌跡ＩＤと、センサＩＤと、センサ軸と、相関値との対応付けを例示するテーブル１３００である。テーブル１３００は、移動軌跡ＩＤと、センサＩＤと、センサ軸と、相関値とを対応付けている。センサＩＤとセンサ軸との組み合わせにより、センサ時系列情報が一意に決定する。テーブル１３００は、例えば、四つの移動軌跡、二つのセンサ、および三つのセンサ軸の組み合わせのため、合計２４通りの組み合わせ（行数）を有する。尚、センサ軸の列を設けず、移動軌跡ＩＤとセンサＩＤと相関値とを対応付けたテーブルでもよい。この場合、相関値の項目には、各センサ軸のうち、最も相関値が大きい値が入るものとする。

【0064】

例えば、テーブル１３００の行１３１０に着目すると、移動軌跡ＩＤ「ｌｏ１」と、センサＩＤ「ｓ１００１」と、センサ軸「Ｘ軸」と、相関値「０」とが対応付けられている。行１３１０の組み合わせは、相関値「０」となっているため、移動軌跡ＩＤ「ｌｏ１」が対応付けられた移動軌跡情報は、センサＩＤ「ｓ１００１」のセンサ軸「Ｘ軸」についてのセンサ時系列情報と相関が低いことがわかる。

【0065】

また例えば、テーブル１３００の行１３２０に着目すると、移動軌跡ＩＤ「ｌｏ１」と、センサＩＤ「ｓ１００１」と、センサ軸「Ｚ軸」と、相関値「０．９」とが対応付けられている。行１３２０の組み合わせは、相関値「０．９」となっているため、移動軌跡ＩＤ「ｌｏ１」が対応付けられた移動軌跡情報は、センサＩＤ「ｓ１００１」のセンサ軸「Ｚ軸」についてのセンサ時系列情報と相関が高いことがわかる。

【0066】

（ステップＳＴ４６０）
相関値が算出された後、特定部２６０は、計算結果に基づいて画像データに含まれる作業者とセンサとの関係を特定する。具体的には、特定部２６０は、移動軌跡情報とセンサ時系列情報との組み合わせのうち、相関値が高い順に移動軌跡ＩＤとセンサＩＤとの組み合わせを決定する。例えば、図１３のテーブル１３００の例では、行１３２０の移動軌跡ＩＤ「ｌｏ１」およびセンサＩＤ「ｓ１００１」の組み合わせと、行１３３０の移動軌跡ＩＤ「ｌｏ３」およびセンサＩＤ「ｓ１００２」の組み合わせとが相関値が高い。センサＩＤとユーザＩＤとは既に対応付けられているため（例えば、図１０を参照）、特定部２６０は、移動軌跡ＩＤ「ｌｏ１」およびユーザＩＤ「ｕ１００１」を対応付け、移動軌跡ＩＤ「ｌｏ３」およびユーザＩＤ「ｕ１００２」を対応付けることにより、画像データに含まれる作業者とセンサとの関係を特定することができる。

【0067】

以上説明したように、第１の実施形態に係る情報処理装置は、所定領域を撮影した画像データを取得し、画像データに基づいて、画像データに含まれる対象物の複数の部位の動作に関する部位動作情報を生成し、対象物からのセンサデータを取得し、センサデータに基づいて、センサの動作に関するセンサ動作情報を生成し、部位動作情報およびセンサ動作情報に基づいて、画像データに含まれる対象物とセンサとの関係を特定する。

【0068】

従って、第１の実施形態に係る情報処理装置は、対象物の複数の部位に関してセンサデータとのマッチングを取ることにより、センサの装着位置によらず、動画データの人物とセンサデータの人物とを精度良くマッチングさせることができる。

【0069】

（第２の実施形態）
第１の実施形態では、一つの撮影装置を用いた場合について説明した。他方、第２の実施形態では、二つの撮影装置を用いる場合について説明する。

【0070】

図１４は、第２の実施形態に係る情報処理装置１００Ａを含む情報処理システム１Ａの構成を例示するブロック図である。情報処理システム１Ａは、情報処理装置１００Ａと、出力装置１１０と、複数のセンサと、複数の撮影装置とを備える。図１４では、複数のセンサとして、第１のセンサ１２１Ａ、第２のセンサ１２２Ａ、および第３のセンサ１２３Ａを例示する。これらのセンサは、それぞれ異なる作業者に割り当てられる。また、図１４では、複数の撮影装置として、第１の撮影装置１３１Ａおよび第２の撮影装置１３２Ａを例示する。本実施形態では、第１の撮影装置１３１Ａの撮影領域と、第２の撮影装置１３２Ａの撮影領域とは重複しないものとする。尚、複数のセンサおよび複数の撮影装置は、第１の実施形態のセンサおよび撮影装置と同様のため、説明を省略する。

【0071】

情報処理装置１００Ａは、第１のセンサ１２１Ａ、第２のセンサ１２２Ａ、および第３のセンサ１２３Ａからそれぞれセンサデータを取得し、第１の撮影装置１３１Ａおよび第２の撮影装置１３２Ａからそれぞれ画像データを取得する。情報処理装置１００Ａは、それぞれの画像データについて部位動作情報を生成し、生成した複数の部位動作情報それぞれとセンサ動作情報との相関値を計算することによって、それぞれの画像データに含まれる作業者とセンサとの関係を特定する。

【0072】

図１５は、第２の実施形態に係る情報処理装置１００Ａの運用例を示す説明図である。図１５には、情報処理装置１００Ａと、製造現場である作業領域１５００と、作業領域１５００で作業をする三人の作業者Ｐ１１，Ｐ１２，Ｐ１３と、作業領域１５００を重複せずに撮影する第１の撮影装置１３１Ａおよび第２の撮影装置１３２Ａとが示されている。

【0073】

第１の撮影装置１３１Ａは、作業領域１５００の左半分を略内包する撮影領域１５１０についての第１の画像データを情報処理装置１００Ａへと出力する。また、第２の撮影装置１３２Ａは、作業領域１５００の右半分を略内包する撮影領域１５２０についての第２の画像データを情報処理装置１００Ａへと出力する。また、三人の作業者Ｐ１１，Ｐ１２，Ｐ１３がそれぞれ装着している、或いは携帯しているセンサは、計測したセンサデータを情報処理装置１００Ａへと出力する。

【0074】

図１５では、撮影領域１５１０において二人の作業者Ｐ１１，Ｐ１２が作業を行い、撮影領域１５２０において一人の作業者Ｐ１３が作業を行っている。よって、第１の画像データには、二人の作業者Ｐ１１，Ｐ１２が写っており、第２の画像データには一人の作業者Ｐ１３が写っている。情報処理装置１００Ａは、第１の画像データおよび第２の画像データのそれぞれについて第１の実施形態で説明した処理を行い、それぞれの画像データに含まれる作業者とセンサとの関係を特定する。

【0075】

以上説明したように、第２の実施形態に係る情報処理装置は、第１の実施形態に係る情報処理装置と同様に、センサの装着位置によらず、動画データの人物とセンサデータの人物とを精度良くマッチングさせることができる。

【0076】

第２の実施形態に係る情報処理装置は、上述のように複数の画像データ毎に作業者とセンサとの関係を特定する。これにより、本情報処理装置は、例えば、第１の画像データで検出された人物が移動をし、第２の画像データで検出された場合であっても、第１の画像データと第２の画像データとの間の比較をする必要がなく、マッチング精度を維持したまま処理量を削減することができる。

【0077】

（他の実施形態）
第１の実施形態および第２の実施形態に係る情報処理装置は、いずれも二次元の姿勢推定を行っていた。しかし、情報処理装置は、二次元の姿勢推定に限らず、三次元の姿勢推定（三次元姿勢推定）を行ってもよい。三次元姿勢推定を行う場合、移動軌跡情報は、時刻と、三次元空間における三次元座標とを対応付けた三次元信号である。よって、相関値を計算する場合、計算部２５０は、三次元座標の各座標軸（例えば、Ｘ軸、Ｙ軸、およびＺ軸）についてそれぞれセンサ時系列情報との相関値を算出し、相関値が大きい方を計算結果として出力するものとする。

【0078】

第１の実施形態および第２の実施形態に係る情報処理装置は、部位動作情報に含まれる移動軌跡情報およびセンサ動作情報に含まれるセンサ時系列情報をそれぞれ生データに近い状態で用いて相関値を計算していた。しかし、情報処理装置は、移動軌跡情報およびセンサ時系列情報に関して更なる処理を行ってもよい。

【0079】

例えば、画像データ処理部２２０は、移動軌跡情報を時系列データとみなして、時系列データに対して正規化、或いは特徴抽出の処理を行う。また、センサデータ処理部２４０は、センサ時系列情報に対して正規化、或いは特徴抽出の処理を行う。そして、計算部２５０は、正規化、或いは特徴抽出の処理が行われた移動軌跡情報およびセンサ時系列情報を用いて相関値を計算する。以上のように、移動軌跡情報およびセンサ時系列情報に関して更なる処理が行われることにより、情報処理装置は、処理が行われる前に比べて精度の高い相関値を計算することができる。よって、後段の特定部２６０による対応付けの精度を向上させることができる。

【0080】

図１６は、一実施形態に係るコンピュータのハードウェア構成を例示するブロック図である。コンピュータ１６００は、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６２０、プログラムメモリ１６３０、補助記憶装置１６４０、入出力インタフェース１６５０を備える。ＣＰＵ１６１０は、バス１６６０を介して、ＲＡＭ１６２０、プログラムメモリ１６３０、補助記憶装置１６４０、および入出力インタフェース１６５０と通信する。

【0081】

ＣＰＵ１６１０は、汎用プロセッサの一例である。ＲＡＭ１６２０は、ワーキングメモリとしてＣＰＵ１６１０に使用される。ＲＡＭ１６２０は、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリを含む。プログラムメモリ１６３０は、作業者特定プログラムを含む種々のプログラムを記憶する。プログラムメモリ１６３０として、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、補助記憶装置１６４０の一部、またはその組み合わせが使用される。補助記憶装置１６４０は、データを非一時的に記憶する。補助記憶装置１６４０は、ＨＤＤまたはＳＳＤなどの不揮発性メモリを含む。

【0082】

入出力インタフェース１６５０は、他のデバイスと接続、或いは通信するためのインタフェースである。入出力インタフェース１６５０は、例えば、図１に示される出力装置１１０、第１のセンサ１２１、第２のセンサ１２２、および撮影装置１３０、並びに図１４に示される出力装置１１０、第１のセンサ１２１Ａ、第２のセンサ１２２Ａ、第３のセンサ１２３Ａ、第１の撮影装置１３１Ａ、および第２の撮影装置１３２Ａとの接続、或いは通信に使用される。また例えば、入出力インタフェース１６５０は、図１および図１４に図示していない記憶装置および外部装置との接続、或いは通信に使用されてもよい。

【0083】

プログラムメモリ１６３０に記憶されている各プログラムはコンピュータ実行可能命令を含む。プログラム（コンピュータ実行可能命令）は、ＣＰＵ１６１０により実行されると、ＣＰＵ１６１０に所定の処理を実行させる。例えば、作業者特定プログラムは、ＣＰＵ１６１０により実行されると、ＣＰＵ１６１０に図４の各ステップに関して説明された一連の処理を実行させる。

【0084】

プログラムは、コンピュータで読み取り可能な記憶媒体に記憶された状態でコンピュータ１６００に提供されてよい。この場合、例えば、コンピュータ１６００は、記憶媒体からデータを読み出すドライブ（図示せず）をさらに備え、記憶媒体からプログラムを取得する。記憶媒体の例は、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒなど）、光磁気ディスク（ＭＯなど）、半導体メモリを含む。また、プログラムを通信ネットワーク上のサーバに格納し、コンピュータ１６００が入出力インタフェース１６５０を使用してサーバからプログラムをダウンロードするようにしてもよい。

【0085】

実施形態において説明される処理は、ＣＰＵ１６１０などの汎用ハードウェアプロセッサがプログラムを実行することにより行われることに限らず、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの専用ハードウェアプロセッサにより行われてもよい。処理回路（処理部）という語は、少なくとも１つの汎用ハードウェアプロセッサ、少なくとも１つの専用ハードウェアプロセッサ、または少なくとも１つの汎用ハードウェアプロセッサと少なくとも１つの専用ハードウェアプロセッサとの組み合わせを含む。図１６に示す例では、ＣＰＵ１６１０、ＲＡＭ１６２０、およびプログラムメモリ１６３０が処理回路に相当する。

【0086】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0087】

１，１Ａ…情報処理システム、１００，１００Ａ…情報処理装置、１１０…出力装置、１２１，１２１Ａ…第１のセンサ、１２２，１２２Ａ…第２のセンサ、１２３Ａ…第３のセンサ、１３０…撮影装置、１３１Ａ…第１の撮影装置、１３２Ａ…第２の撮影装置、２１０…画像データ取得部、２２０…画像データ処理部、２３０…センサデータ取得部、２４０…センサデータ処理部、２５０…計算部、２６０…特定部、３００…作業領域、３１０…撮影領域、５００…画像データ、５１０，５２０…検出領域、６００…二次元人体骨格モデル、７００…画像データ、７０１，７０２，７０３，７０４…移動軌跡、８００…座標データ、９００…テーブル、１０００…テーブル、１１００…携帯端末、１２１０，１２２０，１２３０…波形、１３００…テーブル、１３１０，１３２０，１３３０…行、１５００…作業領域、１５１０，１５２０…撮影領域、１６００…コンピュータ、１６３０…プログラムメモリ、１６４０…補助記憶装置、１６５０…入出力インタフェース、１６６０…バス、ＫＰ１～ＫＰ１８…キーポイント、Ｐ１，Ｐ２，Ｐ１１，Ｐ１２，１３…作業者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】