特許 7647088 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-10

(45)【発行日】2025-03-18

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20250311BHJP

   G06F 3/0346 20130101ALI20250311BHJP

   A61B 3/113 20060101ALI20250311BHJP

   G06T 7/20 20170101ALI20250311BHJP

【ＦＩ】

G06Q50/04

G06F3/0346 423

A61B3/113

G06T7/20 100

【請求項の数】 10

(21)【出願番号】P 2020208707

(22)【出願日】2020-12-16

(65)【公開番号】P2022095402

(43)【公開日】2022-06-28

【審査請求日】2023-11-20

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】鈴木 賢司

【審査官】松浦 かおり

(56)【参考文献】

【文献】国際公開第２０１７／１１９１２７（ＷＯ，Ａ１）

【文献】特開２０１９－０２５０７０（ＪＰ，Ａ）

【文献】特開２０１６－０８１２４１（ＪＰ，Ａ）

【文献】特開２０２０－０８７０９１（ＪＰ，Ａ）

【文献】特表２０１５－５１４２５１（ＪＰ，Ａ）

【文献】小泉 敬寛 他，捜し物検索のための個人視点映像からの手掛かり発見，電子情報通信学会技術研究報告 IEICE Technical Report，Vol.34，No.25，日本，社団法人電子情報通信学会，2010年06月29日，p.105～109

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ －９９／００

Ａ６１Ｂ ３／００ － ３／１８

Ｇ０６Ｆ ３／０３３－ ３／０３９

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、前記プロセッサは、
作業者が装着した撮像装置が撮影した動画像を取得し、
前記作業者が装着した撮像装置とは別の撮像装置で撮影した作業領域の画像を予め取得し、
前記作業領域と前記作業者の動作の種類とを対応付け、
前記作業者が装着したセンサにより当該作業者の眼球運動を検知し、
取得された前記動画像のうち、検知された前記眼球運動の速度が決められた条件を満たしたときに撮影された箇所を前記作業者の動作の切れ目として特定し、
検知した前記眼球運動が示す注視点の前記画像における位置と前記作業領域との位置関係に基づき前記作業者の前記作業領域に対応付けられた動作の種類を判別する
ことを特徴とする情報処理装置。

【請求項2】

瞬きを検出する手段を有し、前記条件に加え瞬きが検知されたときに撮影された箇所を前記作業者の動作の切れ目として特定する
請求項１に記載の情報処理装置。

【請求項3】

前記条件は前記作業者の固視状態を表す眼球運動の速度が測定された場合に満たされ、当該条件が満たされて検知された固視状態の開始時刻又は終了時刻を前記作業者の動作の切れ目として特定する
請求項１又は２に記載の情報処理装置。

【請求項4】

前記作業領域の周辺の決められた範囲に前記注視点の位置が含まれるか否かに基づき前記作業者の動作の切れ目又は当該動作の種類を判別する
請求項１に記載の情報処理装置。

【請求項5】

前記作業領域における代表位置を定め、当該代表位置と前記注視点の位置との距離に基づき前記作業者の動作の切れ目又は当該動作の種類を判別する
請求項１に記載の情報処理装置。

【請求項6】

前記注視点の位置の移動方向に応じて前記距離を補正する
請求項５に記載の情報処理装置。

【請求項7】

取得された前記動画像から作業対象の位置を認識し、検知した前記眼球運動が示す注視点の位置と前記作業対象の位置との位置関係に基づき前記作業者の動作の切れ目又は当該動作の種類を判別する
請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記作業対象の位置の周辺の決められた範囲に前記注視点の位置が含まれるか否かに基づいて前記作業者の動作の切れ目又は当該動作の種類を判別する
請求項７に記載の情報処理装置。

【請求項9】

前記作業対象の位置を代表する座標を定め、当該座標と前記注視点の位置との距離に基づいて前記作業者の動作の切れ目又は当該動作の種類を判別する
請求項７に記載の情報処理装置。

【請求項10】

前記注視点の位置の移動方向に応じて前記距離を補正する
請求項９に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、画像にうつる作業者に装着された識別マーカの絶対座標から動作開始と終了を判別し、移動に際しては距離に対応した標準時間設定をするための標準時間マスタデータを用いて演算する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－３１０６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業を撮影するには固定された撮像装置で撮影する方法以外に、作業者に撮像装置を装着させて撮影する方法がある。後者の場合、上記技術だと撮像装置の撮影範囲に識別マーカが常に入っているとは限らないので、動作の判別ができないことが起こり得る。
そこで、本発明は、作業者に装着された撮像装置の向きに寄らず動作を判別することを目的とする。

【課題を解決するための手段】

【0005】

本発明の請求項１に係る情報処理装置は、
プロセッサを備え、前記プロセッサは、作業者が装着した撮像装置が撮影した動画像を取得し、前記作業者が装着した撮像装置とは別の撮像装置で撮影した作業領域の画像を予め取得し、前記作業領域と前記作業者の動作の種類とを対応付け、前記作業者が装着したセンサにより当該作業者の眼球運動を検知し、取得された前記動画像のうち、検知された前記眼球運動の速度が決められた条件を満たしたときに撮影された箇所を前記作業者の動作の切れ目として特定し、検知した前記眼球運動が示す注視点の前記画像における位置と前記作業領域との位置関係に基づき前記作業者の前記作業領域に対応付けられた動作の種類を判別することを特徴とする。

【0006】

本発明の請求項２に係る情報処理装置は、請求項１に記載の態様において、瞬きを検出する手段を有し、前記条件に加え瞬きが検知されたときに撮影された箇所を前記作業者の動作の切れ目として特定することを特徴とする。

【0007】

本発明の請求項３に係る情報処理装置は、請求項１又は２に記載の態様において、前記条件は前記作業者の固視状態を表す眼球運動の速度が測定された場合に満たされ、当該条件が満たされて検知された固視状態の開始時刻又は終了時刻を前記作業者の動作の切れ目として特定することを特徴とする。

【0009】

本発明の請求項４に係る情報処理装置は、請求項１に記載の態様において、前記作業領域の周辺の決められた範囲に前記注視点の位置が含まれるか否かに基づき前記作業者の動作の切れ目又は当該動作の種類を判別することを特徴とする。

【0010】

本発明の請求項５に係る情報処理装置は、請求項１に記載の態様において、前記作業領域における代表位置を定め、当該代表位置と前記注視点の位置との距離に基づき前記作業者の動作の切れ目又は当該動作の種類を判別することを特徴とする。

【0011】

本発明の請求項６に係る情報処理装置は、請求項５に記載の態様において、前記注視点の位置の移動方向に応じて前記距離を補正することを特徴とする。

【0012】

本発明の請求項７に係る情報処理装置は、請求項１から６のいずれか１項に記載の態様において、取得された前記動画像から作業対象の位置を認識し、検知した前記眼球運動が示す注視点の位置と前記作業対象の位置との位置関係に基づき前記作業者の動作の切れ目又は当該動作の種類を判別することを特徴とする。

【0013】

本発明の請求項８に係る情報処理装置は、請求項７に記載の態様において、前記作業対象の位置の周辺の決められた範囲に前記注視点の位置が含まれるか否かに基づいて前記作業者の動作の切れ目又は当該動作の種類を判別することを特徴とする。

【0014】

本発明の請求項９に係る情報処理装置は、請求項７に記載の態様において、前記作業対象の位置を代表する座標を定め、当該座標と前記注視点の位置との距離に基づいて前記作業者の動作の切れ目又は当該動作の種類を判別することを特徴とする。

【0015】

本発明の請求項１０に係る情報処理装置は、請求項９に記載の態様において、前記注視点の位置の移動方向に応じて前記距離を補正することを特徴とする。

【発明の効果】

【0016】

請求項１に係る発明によれば、作業者に装着された撮像装置の向きに寄らず動作を判別することができる。また、請求項１に係る発明によれば、本発明の位置関係を考慮しない場合に比べて、作業領域が含まれている画像から、より適切な動作の種類を判別することができる。
請求項２に係る発明によれば、瞬きを考慮しない場合に比べて、動作の切れ目をより確実に特定することができる。
請求項３に係る発明によれば、動画像から特定の箇所を注視して行う作業の部分を切り取ることができる。
請求項４に係る発明によれば、どのような形状の作業領域であっても、より適切な処理結果を得ることができる。
請求項５に係る発明によれば、作業に必要な領域の形状が不明瞭であっても、より適切な処理結果を得ることができる。
請求項６に係る発明によれば、距離を補正しない場合に比べて、作業者が作業に慣れてきたときに誤った処理結果になることを抑制することができる。
請求項７に係るによれば、固定された撮像装置を設けなくても、本発明の位置関係を考慮しない場合に比べて、より適切な処理結果を得ることができる。
請求項８に係る発明によれば、作業に必要な領域がどのような形状のあっても、より適切な処理結果を得ることができる。
請求項９に係る発明によれば、作業に必要な領域の形状が不明瞭であっても、より適切な処理結果を得ることができる。
請求項１０に係る発明によれば、距離を補正しない場合に比べて、作業者が作業に慣れてきたときに誤った処理結果になることを抑制することができる。

【図面の簡単な説明】

【0017】

【図1】実施例に係る作業管理システムの全体構成を表す図

【図2】サーバ装置のハードウェア構成を表す図

【図3】ウェアラブルデバイスのハードウェア構成を表す図

【図4】実施例で実現される機能構成を表す図

【図5】瞬きを表す眼球運動の速度について説明するための図

【図6】固視状態を表す眼球運動の速度について説明するための図

【図7】出力された切れ目データの一例を表す図

【図8】特定処理における動作手順の一例を表す図

【図9】変形例で実現される機能構成を表す図

【図10】作業領域の一例を表す図

【図11】作業者の注視点の遷移の一例を表す図

【図12】動作テーブルの一例を表す図

【図13】判別された動作の種類の一例を表す図

【図14】記憶された注視点の情報及び代表位置までの距離の一例を表す図

【図15】変形例に係る作業管理システムの全体構成を表す図

【図16】注視点が作業領域の手前で停止する例を表す図

【図17】注視点の周辺を拡大して表す図

【図18】角度θと係数αの関係の一例を表す図

【図19】変形例の動作テーブルの一例を表す図

【発明を実施するための形態】

【0018】

［１］実施例
図１は実施例に係る作業管理システム１の全体構成を表す。作業管理システム１は、作業者が行う作業を管理するためのシステムである。作業管理システム１は、具体的には、作業を動画像で撮影し、撮影した動画像を個々の作業が行われている部分に分解して、作業毎の評価及び改善に役立てられるようにする。作業管理システム１は、通信回線２と、サーバ装置１０と、ウェアラブルデバイス２０とを備える。

【0019】

通信回線２は、移動体通信網及びインターネット等を含む通信システムであり、自システムと通信する装置等（＝装置、端末及びシステム等）同士のデータのやり取りを中継する。通信回線２には、サーバ装置１０が有線通信で接続しており、ウェアラブルデバイス２０が無線通信で接続している。なお、各装置と通信回線２との通信は、図１に例に限定されず、有線通信及び無線通信のどちらでもよい。

【0020】

ウェアラブルデバイス２０は、作業者が装着して使用するデバイスであり、本実施例では、メガネ型のデバイスである。ウェアラブルデバイス２０は、作業者の作業の撮影と、作業者の眼の動き（＝眼球運動）を検知するためのセンサでの測定を行う。サーバ装置１０は、ウェアラブルデバイス２０による測定結果に基づいて動画像において作業者の動作の切れ目になっている箇所を特定し、特定した切れ目により作業を分解して作業毎の評価及び改善に役立てられるようにする。

【0021】

図２はサーバ装置１０のハードウェア構成を表す。サーバ装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信装置１４とを備えるコンピュータである。プロセッサ１１は、例えば、ＣＰＵ（＝Central Processing Unit）等の演算装置、レジスタ及び周辺回路等を有する。メモリ１２は、プロセッサ１１が読み取り可能な記録媒体であり、ＲＡＭ（＝Random Access Memory）及びＲＯＭ（＝Read Only Memory）等を有する。

【0022】

ストレージ１３は、プロセッサ１１が読み取り可能な記録媒体であり、例えば、ハードディスクドライブ又はフラッシュメモリ等を有する。プロセッサ１１は、ＲＡＭをワークエリアとして用いてＲＯＭやストレージ１３に記憶されているプログラムを実行することで各ハードウェアの動作を制御する。通信装置１４は、アンテナ及び通信回路等を有し、通信回線２を介した通信を行う通信手段である。

【0023】

図３はウェアラブルデバイス２０のハードウェア構成を表す。ウェアラブルデバイス２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信装置２４と、ＵＩ（＝User Interface）装置２５と、撮像装置２６と、センサ装置２７とを備えるコンピュータである。プロセッサ２１から通信装置２４までは、図２に表すプロセッサ１１から通信装置２４までと同種のハードウェアである。

【0024】

ＵＩ装置２５は、自装置を利用するユーザに対して提供されるインターフェースである。ＵＩ装置２５は、本実施例では、メガネ型である自デバイスのレンズの部分を含み、そのレンズに画像を表示する。また、ＵＩ装置２５は、自デバイスのリム、ブリッジ又はテンプルに設けられたタッチパネル又はボタンを有し、ユーザからの操作を受け付ける。

【0025】

撮像装置２６は、光学系及びイメージセンサ等を有し、光学系を透過してイメージセンサに入射する光に基づき画像を撮影する。センサ装置２７は、自デバイスを装着した状態の作業者の眼球運動を検知するためのセンサを有する装置である。センサとしては、例えば、ＣＭＯＳセンサ（Complementary Metal Oxide Semiconductor）や眼電計（electrooculography：ＥＯＧ）と呼ばれる眼球運動の測定の手法用のものが用いられる。

【0026】

具体的には，センサ装置２７がＣＭＯＳセンサを有する場合、自デバイスであるウェアラブルデバイス２０のフレームに搭載されたＣＭＯＳセンサで撮影された画像を解析することで眼球運動が測定される。測定された眼球運動は周知の方法で処理され、作業者が注視する方向を撮像装置で撮影した映像（一人称視点映像）上の座標によって表される眼球運動が測定される。

【0027】

また、センサ装置２７は、眼電計を有する場合は、作業者の眼の左右の外側に設けられた２つの電極及び増幅器等を有し、各電極の電位を測定する。眼球には角膜側がプラスで網膜側がマイナスという角膜網膜電位と呼ばれる一定の電位差がある。各電極の電位は眼球の回転角にほぼ比例するので、各電極の電位と眼球の回転角とを対応付けた回転角テーブルを用いることで、眼球の回転角によって表される眼球運動が測定される。

【0028】

作業管理システム１においては、上記の各装置のプロセッサがプログラムを実行して各部を制御することで、以下に述べる各機能が実現される。各機能が行う動作は、その機能を実現する装置のプロセッサが行う動作としても表される。
図４は本実施例で実現される機能構成を表す。サーバ装置１０は、動画像取得部１０１と、動画像記憶部１０２と、運動検知部１０３と、切れ目特定部１０４と、切れ目出力部１０５とを備える。ウェアラブルデバイス２０は、撮像部２０１と、センサ測定部２０２とを備える。

【0029】

ウェアラブルデバイス２０の撮像部２０１は、撮像装置２６を制御して、作業中の動画像を撮影する。撮像装置２６は、例えば、作業者の顔の正面にレンズを向けて設けられており、作業者の視界を多く含む動画像を撮影する。撮像部２０１は、撮影した動画像及びその動画像のフレーム毎の撮影時刻を示す動画像データをサーバ装置１０に送信する。

【0030】

サーバ装置１０の動画像取得部１０１は、送信されてきた動画像データが示す動画像、すなわち、作業者が装着した撮像装置２６が撮影した動画像及び撮影時刻を取得する。動画像取得部１０１は、取得した動画像及びフレーム毎の撮影時刻を動画像記憶部１０２に供給する。動画像記憶部１０２は、供給された動画像を、同じく供給されたフレーム毎の撮影時刻に対応付けて記憶する。

【0031】

ウェアラブルデバイス２０のセンサ測定部２０２は、センサ装置２７を制御して、眼球運動の検知に用いられる値を測定する。センサ測定部２０２は、本実施例では、上述した眼球の運動を測定し、測定結果を示す測定データをサーバ装置１０に送信する。サーバ装置１０の運動検知部１０３は、送信されてきた測定データが示す測定結果に基づいて、すなわち、作業者が装着したセンサにより、その作業者の眼球運動を検知する。

【0032】

運動検知部１０３は、例えば、前述したとおり、自デバイスのフレームに搭載されたＣＭＯＳセンサで撮影された画像を解析することで眼球運動を測定する。運動検知部１０３は、測定した眼球運動を周知の方法で処理し、撮像装置で撮影した映像（一人称視点映像）上の座標によって作業者の注視方向が表された眼球運動を測定する。運動検知部１０３は、測定した座標とその座標の測定時刻を示す運動データを切れ目特定部１０４に供給する。

【0033】

また、運動検知部１０３は、上述した各電極の電位と左右の眼球の回転角とを対応付けた回転角テーブルを記憶しておき、回転角テーブルにおいて測定結果に対応付けられている眼球の回転角によって表される眼球運動を左右の眼球についてそれぞれ検知するように構成してもよい。運動検知部１０３は、眼球運動の検知結果である左右の眼球の回転角とその回転角の検知時刻とを示す運動データを切れ目特定部１０４に供給する。

【0034】

切れ目特定部１０４は、動画像取得部１０１により取得された動画像のうち、運動検知部１０３により検知された眼球運動の速度が決められた条件を満たしたときに撮影された箇所を作業者の動作の切れ目として特定する。切れ目特定部１０４は、例えば、供給される運動データが示す回転角の変化量を検知時刻の差分で除算することで眼球運動の速度を測定する。

【0035】

切れ目特定部１０４は、本実施例では、次の２通りの条件を用いる。１つ目の条件（以下「第１条件」と言う）は、瞬きが検知された場合に満たされる。瞬きの検知方法について、図５を参照して説明する。
図５は瞬きを表す眼球運動の速度について説明するための図である。図５では、横軸が時刻を示し、縦軸が眼球運動の速度を示すグラフが表されている。

【0036】

グラフには、眼球運動の速度の閾値Ｄ１が表されている。眼球運動の速度変化を示す折れ線Ｇ１は、時刻ｔ１に閾値Ｄ１を超えて（立ち上がり）時刻ｔ２に閾値Ｄ１を下回っている（立ち下がり）。同様に、時刻ｔ３に立ち上がりが、時刻ｔ４に立ち下がりが測定されている。切れ目特定部１０４は、立ち上がりから立ち下がりまでの期間に瞬きがされたと検知する。

【0037】

切れ目特定部１０４は本発明の「瞬きを検知する手段」の一例である。切れ目特定部１０４は、瞬きを検知した場合に第１条件が満たされたと判断し、第１条件が満たされたときに撮影された箇所を、作業者の動作の切れ目として特定する。切れ目特定部１０４は、例えば、立ち上がり又は立ち下がりが測定された時刻を撮影時刻とする箇所を、第１条件が満たされたときに撮影された箇所、すなわち作業者の動作の切れ目として特定する。

【0038】

２つ目の条件（以下「第２条件」と言う）は、固視状態を表す眼球運動の速度が測定された場合に満たされる。固視状態とは、視線を一点に固定した状態のことである。固視状態を表す眼球運動の速度について、図６を参照して説明する。
図６は固視状態を表す眼球運動の速度について説明するための図である。図６では、横軸が時刻を示し、縦軸が眼球運動の速度を示すグラフが表されている。

【0039】

グラフには、眼球運動の速度変化を示す折れ線Ｇ２が表わされている。固視状態を表す眼球運動の速度は、例えば、閾値Ｄ２以下となる速度である。折れ線Ｇ２が示す速度は、時刻ｔ１１に閾値Ｄ２以下になり、時刻ｔ１２に閾値Ｄ２よりも大きくなっている。切れ目特定部１０４は、速度が閾値Ｄ２以下となる時刻ｔ１１からｔ１２までの期間を固視状態の期間とし、固視状態の開始時刻ｔ１１を撮影時刻とする箇所を、作業者の動作の切れ目として特定する。

【0040】

このように、切れ目特定部１０４は、第２条件が満たされて検知された固視状態の開始時刻を作業者の動作の切れ目として特定する。なお、切れ目特定部１０４は、第２条件が満たされて検知された固視状態の終了時刻を作業者の動作の切れ目として特定してもよい。切れ目特定部１０４は、特定した切れ目を示す切れ目データを切れ目出力部１０５に供給する。

【0041】

切れ目出力部１０５は、供給された切れ目データ、すなわち、切れ目特定部１０４により特定された作業者の動作の切れ目を示すデータを出力する。切れ目出力部１０５は、例えば、作業管理者が利用する図示せぬユーザ端末に切れ目データを出力する。

【0042】

図７は出力された切れ目データの一例を表す。図７の例では、ユーザ端末が、作業管理システムの画面に、「分解された作業の動画像を選択してください。」という文字列と、動画像の撮影の作業時刻及び動画像のサムネイル画像と、再生ボタンＢ１１とを表示している。いずれかのサムネイル画像が選択された状態で再生ボタンＢ１１を押す操作が行われると、ユーザ端末は、動画像のうち該当する作業の部分を再生する。作業管理者は、再生された動画像を見て、作業単位で生産性及び安全性等を確認することになる。

【0043】

作業管理システム１が備える各装置は、上記の構成により、作業の切れ目を特定する特定処理を行う。
図８は特定処理における動作手順の一例を表す。まず、ウェアラブルデバイス２０（撮像部２０１）は、作業中の動画像を撮影し（ステップＳ１１）、撮影した動画像を示す動画像データをサーバ装置１０に送信する（ステップＳ１２）。

【0044】

サーバ装置１０（動画像取得部１０１）は、送信されてきた動画像データが示す動画像を取得する（ステップＳ１３）。次に、サーバ装置１０（動画像記憶部１０２）は、取得された動画像を撮影時刻に対応付けて記憶する（ステップＳ１４）。続いて、ウェアラブルデバイス２０（センサ測定部２０２）は、眼球運動の検知に用いられる値を測定し（ステップＳ２１）、測定結果を示す測定データをサーバ装置１０に送信する（ステップＳ２２）。

【0045】

サーバ装置１０（運動検知部１０３）は、送信されてきた測定データが示す測定結果に基づいて作業者の眼球運動を検知する（ステップＳ２３）。次に、サーバ装置１０（切れ目特定部１０４）は、取得された動画像のうち、検知された眼球運動の速度が決められた条件を満たしたときに撮影された箇所を作業者の動作の切れ目として特定する（ステップＳ２４）。そして、サーバ装置１０（切れ目出力部１０５）は、特定された作業者の動作の切れ目を示すデータを出力する（ステップＳ２５）。

【0046】

本実施例では、上記のとおり、作業者が装着した撮像装置が撮影した動画像における動作の切れ目が、作業者が装着したセンサにより検知された眼球運動に基づいて特定される。このため、作業者に装着された撮像装置の向きに寄らず動作が判別されることになる。

【0047】

作業者は、作業を円滑に行うため、作業中はなるべく瞬きをせず、作業と作業の間に瞬きをすることになりやすい。本実施例では、上記のとおり、瞬きが検知されたときに撮影された箇所を作業者の動作の切れ目として特定することで、瞬きを考慮しない場合に比べて、動作の切れ目がより確実に特定されることになる。

【0048】

また、作業には、特定の箇所を注視しながら行われるものがある。例えば、目視で検品する作業は、目の前に届けられた製品を注視しながら行われる。本実施例では、上記のとおり、固視状態を表す眼球運動が検知されたときに撮影された箇所を作業者の動作の切れ目として特定することで、動画像から特定の箇所を注視して行う作業の部分が切り取られることになる。

【0049】

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。

【0050】

［２－１］動作の種別
実施例では、動作の切れ目が特定されたが、さらに、動作の種別が判別されてもよい。
図９は本変形例で実現される機能構成を表す。図９では、図４に表す各部に加えて動作種別判別部１０６と、領域画像記憶部１０７とを備えるサーバ装置１０ａと、ウェアラブルデバイス２０とが表されている。

【0051】

撮像部２０１は、作業者の作業領域の動画像を撮影する。撮像部２０１は、撮影した動画像及びその動画像のフレーム毎の撮影時刻を示す動画像データをサーバ装置１０ａに送信する。サーバ装置１０ａの動画像取得部１０１は、送信されてきた動画像データが示す動画像、すなわち、作業者に装着されたウェアラブルデバイス２０が撮影した作業領域の動画像及び撮影時刻を取得する。

【0052】

領域画像記憶部１０７は、予めウェアラブルデバイス２０とは別のカメラで作業台Ａ１の真上から撮影した作業領域の静止画像（以下「作業領域画像」と言う）を記憶しておく。ここで言うウェアラブルデバイス２０は本発明の「作業者が装着した撮像装置」の一例であり、ウェアラブルデバイス２０とは別のカメラは本発明の「別の撮像装置」の一例である。

【0053】

なお、領域画像記憶部１０７は、ウェアラブルデバイス２０の撮像部２０１で撮影した静止画像を、作業台の端部や頂点を識別して作業領域を長方形の形に変換した画像を作業領域画像として記憶してもよい。また、領域画像記憶部１０７は、作業領域の所定の位置に位置補正のためのマーカーを付しておき、撮像した画像からこのマーカーに基づき長方形の作業領域画像に変換した画像を作業領域画像として記憶してもよい。

【0054】

サーバ装置１０ａの動作種別判別部１０６は、切れ目特定部１０４により検知された眼球運動が示す注視点の画像における位置と、領域画像記憶部１０７に記憶されている作業領域画像が示す作業領域との位置関係に基づき作業者の動作の種類を判別する。動作種別判別部１０６は、例えば、作業領域の周辺の決められた範囲に注視点の位置が含まれるか否かに基づき作業者の動作の種類を判別する。この判別方法について図１０から図１３までを参照して説明する。

【0055】

図１０は作業領域の一例を表す。図１０では作業台Ａ１の作業領域画像が示されている。作業台Ａ１には、作業領域Ｃ１、Ｃ２、Ｃ３及び作業領域Ｗ１、Ｗ２、Ｗ３が設けられている。各作業領域には、空間内の位置を特定しやすくするためのマーカーＢ１、Ｂ２、Ｂ３及びＢ４が設けられている。各マーカーは、例えばＱＲコード（登録商標）である。

【0056】

作業領域Ｃ１、Ｃ２、Ｃ３は、部品が配置される領域であり、部品を取る動作が行われる。作業領域Ｗ１、Ｗ２、Ｗ３は、部品を本体に取り付ける動作が行われる領域である。作業者が作業台Ａ１で作業を行うと、作業者の注視点が小刻みに、高速で移動する。

【0057】

動作種別判別部１０６は、ウェアラブルデバイス２０で撮影した動画像のフレーム毎に、マーカーの位置を元にして、その動画像から静止画像への射影変換行列を算出する。そして、動作種別判別部１０６は、動画像上の注視点位置を静止画像に写像して、静止画上の注視点位置の座標を算出する。

【0058】

図１１は作業者の注視点の遷移の一例を表す。図１１の例では、まず、作業領域Ｃ１に注視点１が現れ、作業領域Ｗ１に注視点２及び注視点３が現れている。次に、作業領域Ｃ２に注視点４が現れ、作業領域Ｗ２に注視点５及び注視点６が現れている。そして、作業領域Ｃ３に注視点７が現れ、作業領域Ｗ３に注視点８が現れている。動作種別判別部１０６は、算出した注視点を含む作業領域がある場合に、その作業領域に対応付けられた動作の種類を判別する。動作種別判別部１０６は、作業領域と動作の種類とを対応付けた動作テーブルを用いる。

【0059】

図１２は動作テーブルの一例を表す。図１２の例では、「Ｃ１」、「Ｃ２」、「Ｃ３」、「Ｗ１」、「Ｗ２」、「Ｗ３」という作業領域が、「部品Ｅ１を手に取る動作（Ｒｅａｃｈ１）」、「部品Ｅ２を手に取る動作（Ｒｅａｃｈ２）」、「部品Ｅ３を手に取る動作（Ｒｅａｃｈ３）」、「部品Ｅ１を取り付ける動作（Ａｔｔａｃｈ１）」、「部品Ｅ２を取り付ける動作（Ａｔｔａｃｈ２）」、「部品Ｅ３を取り付ける動作（Ａｔｔａｃｈ３）」という動作の種類にそれぞれ対応付けられている。

【0060】

動作種別判別部１０６は、例えば、作業領域Ｃ１に含まれる注視点１が算出された場合、作業領域Ｃ１に対応付けられた「部品Ｅ１を手に取る動作」を動作の種類として判別する。また、動作種別判別部１０６は、例えば、作業領域Ｗ２に含まれる注視点５又は注視点６が算出された場合、作業領域Ｗ２に対応付けられた「部品Ｅ２を取り付ける動作」を動作の種類として判別する。

【0061】

図１３は判別された動作の種類の一例を表す。図１３では、眼球運動の速度の変遷と、注視点１から注視点８までの８つの注視点が現れるタイミングと、判別された動作の種類とが時系列に沿って表されている。例えば注視点４が現れたタイミングにはＲｅａｃｈ２（＝部品Ｅ２を手に取る動作）が判別されている。また、注視点８が現れたタイミングにはＡｔｔａｃｈ３（＝部品Ｅ３を取り付ける動作）が判別されている。

【0062】

このように、動作種別判別部１０６は、注視点の画像における位置と作業領域との位置関係に基づき作業者の動作の種類を判別する。これにより、その位置関係を考慮しない場合に比べて、作業領域が含まれている画像から、より適切な処理結果が得られること、すなわち、より適切な動作の種類が判別されることになる。また、動作種別判別部１０６は、作業領域の周辺の決められた範囲に注視点の位置が含まれるか否かに基づき作業者の動作の種類を判別する。この範囲を作業領域の形状に応じて決めることで、どのような形状の作業領域であっても、より適切な処理結果が得られること、すなわち、より適切な動作の種類が判別されることになる。

【0063】

なお、動作種別判別部１０６は、作業領域における代表位置を定め、その代表位置と注視点の位置との距離に基づき作業者の動作の種類を判別してもよい。動作種別判別部１０６は、注視点が移動する度に、注視点の情報と代表位置までの距離とを対応付けて記憶する。

【0064】

図１４は記憶された注視点の情報及び代表位置までの距離の一例を表す。例えば注視点１は、０．０秒に開始して１．２秒に終了し、注視点の座標が（ｘ、ｙ）＝（２３０、４００）であり、注視点と作業領域Ｃ１、Ｗ１、Ｃ２、Ｗ２、Ｃ３、Ｗ３の代表位置との距離が１００、８００、１６００、１３００、１１００、１０００であることが記憶されている。

【0065】

動作種別判別部１０６は、注視点の位置との距離が閾値未満である代表位置が決められた作業領域に対応付けられている動作の種類を判別する。この閾値のことを以下では「判別閾値」と言う。動作種別判別部１０６は、例えば図１２の動作テーブルを用いて且つ判別閾値が２００であれば、注視点１については代表位置との距離が判別閾値未満になる作業領域がＣ１なので、作業領域Ｃ１に動作テーブルにおいて対応付けられた「部品Ｅ１を手に取る動作（Ｒｅａｃｈ１）」を動作の種類として判別する。この場合、作業領域の形状が不明瞭であっても、より適切な処理結果が得られること、すなわち、より適切な動作の種類が判別されることになる。

【0066】

なお、作業領域を撮影するための固定カメラが設けられていてもよい。
図１５は本変形例に係る作業管理システム１ａの全体構成を表す。作業管理システム１ａは、図１に表す各装置に加えて固定カメラ３０を備える。固定カメラ３０は、作業者の作業領域を撮影可能な位置に固定された撮像装置である。固定カメラ３０は、例えば、作業領域の中心の鉛直上方に設けられ、鉛直下方を撮影する。

【0067】

固定カメラ３０は、通信回線２に有線通信で（無線通信でもよい）接続されており、各装置とデータをやり取りする。固定カメラ３０は、ウェアラブルデバイス２０の撮像部２０１と同等の機能を有し、作業領域を撮影した動画像データをサーバ装置１０ａに送信する。このように作業領域が長方形に映るようにカメラを固定することで、作業領域の動画像を写像変換する処理の負荷がなくなる。

【0068】

［２－２］注視点の停止
作業者が作業に慣れてくると次の作業領域の位置を覚えるので、作業領域まで視線を動かさないで注視点が作業領域の手前で停止する場合がある。その場合、次の作業領域の代表位置だと距離が判別閾値以上になるが他の作業領域の代表位置だと距離が判別閾値未満になり、誤った動作の種類が判別されることがある。

【0069】

図１６は注視点が作業領域の手前で停止する例を表す。図１６の例では、注視点４が次の作業領域Ｃ２の代表位置よりも手前で停止している。
図１７は注視点４の周辺を拡大して表す。注視点４は、作業領域Ｃ２の代表位置との距離Ｌ１が判別閾値以上であり、作業領域Ｃ３の代表位置との距離Ｌ２が判別閾値未満になる位置に停止している。

【0070】

この状態で誤った動作の種類を判別しないように、動作種別判別部１０６は、注視点の位置の移動方向に応じて代表位置と注視点の位置との距離を補正する。図１７では、注視点３から注視点４に向かう矢印が注視点の移動方向Ｆ１を表している。動作種別判別部１０６は、前の注視点から作業領域の代表位置に向かう方向と移動方向Ｆ１との成す角度θを算出する。

【0071】

動作種別判別部１０６は、図１７の例では、注視点３から作業領域Ｃ２の代表位置に向かう方向と移動方向Ｆ１との成す角度θ１と、注視点３から作業領域Ｃ３代表位置に向かう方向と移動方向Ｆ１との成す角度θ２とを算出する。動作種別判別部１０６は、角度θに応じた係数αを用いて距離の補正を行う。

【0072】

図１８は角度θと係数αの関係の一例を表す。図１８の例では、角度θが０度だと係数αも１で、４５度になるまでは角度θに比例して係数αが増加し、角度θが４５度で係数αが１０になる。角度θが４５度を超えると係数αは１０で固定される。例えば角度θ１が４．５度、角度θ２が１８度、距離Ｌ１が０．２、距離Ｌ２が０．１である場合、動作種別判別部１０６は、補正後の距離Ｌ１＝（４．５度÷４５×９＋１）×距離Ｌ１＝１．９×０．２＝０．３８と、補正後の距離Ｌ２（１８度÷４５×９＋１）×距離Ｌ２＝４．６×０．１＝０．４６とを算出する。ここで距離Ｌ１、Ｌ２は静止画の画面横幅を１として正規化した距離とする。

【0073】

動作種別判別部１０６は、算出した補正後の距離Ｌ１及び補正後の距離Ｌ２とが判別閾値以上であるか否かを判断する。この例の場合、距離Ｌ１と距離Ｌ２を比較すると距離Ｌ２のほうが小さいが、補正後の距離Ｌ１と補正後の距離Ｌ２を比較すると補正後の距離Ｌ１のほうが小さい値となり、Ｌ１に視線が向かったと判定することができる。本変形例によれば、距離を補正しない場合に比べて、作業者が作業に慣れてきたときに誤った処理結果になること、すなわち、誤った動作の種類が判定されることが抑制される。

【0074】

［２－３］作業対象との位置関係
動作の種別を判別する際に、動作種別判別部１０６は、まず、動画像取得部１０１により取得された動画像から作業対象の位置を認識する。動作種別判別部１０６は、例えば、部品等の作業対象のサンプル画像を記憶しておき、画像認識で用いられる特徴量が類似するサンプル画像が表す作業対象を特定する。

【0075】

動作種別判別部１０６は、作業対象の画像特徴を予め記憶しておき、特定した作業対象の動画像における画像特徴と位置とに基づいて、作業対象までの距離及び方向を算出する。そして、動作種別判別部１０６は、算出した距離及び方向に基づいて作業対象の３次元空間における座標を算出し、算出した座標によって作業対象の位置を認識する。動作種別判別部１０６は、切れ目特定部１０４により検知された眼球運動が示す注視点の動画像における位置と認識した作業対象の位置との位置関係に基づき動作の種類を判別する。

【0076】

動作種別判別部１０６は、例えば、算出した作業対象までの距離が注視点までの距離であるものとして、運動検知部１０３により検知された眼球運動を表す眼球の回転角に応じて注視点の動画像における位置を特定する。動作種別判別部１０６は、例えば、認識した作業対象の位置の周辺の決められた範囲に特定した注視点の位置が含まれるか否かに基づき作業者の動作の種類を判別する。

【0077】

動作種別判別部１０６は、例えば、作業対象毎に作業に必要な領域の形状及び画像特徴を記憶しておき、認識した作業対象の位置を含むその領域を上記の範囲として決定する。動作種別判別部１０６は、決定した範囲に特定した注視点の位置が含まれる場合に、その範囲に対応付けられた動作の種類を判別する。動作種別判別部１０６は、作業対象と動作の種類とを対応付けた動作テーブルを用いる。

【0078】

図１９は本変形例の動作テーブルの一例を表す。図１９の例では、「部品Ｅ１」、「部品Ｅ２」、「部品Ｅ３」という作業対象が、「部品Ｅ１を手に取って本体に取り付ける動作」、「部品Ｅ２を手に取って本体に取り付ける動作」、「部品Ｅ３を手に取って本体に取り付ける動作」という動作の種類にそれぞれ対応付けられている。

【0079】

動作種別判別部１０６は、例えば、作業対象である部品Ｅ１の周辺の決められた範囲に含まれる注視点１が算出された場合、部品Ｅ１に対応付けられた「部品Ｅ１を手に取って本体に取り付ける動作」を動作の種類として判別する。また、動作種別判別部１０６は、作業対象である部品Ｅ２の周辺の決められた範囲に含まれる注視点２が算出された場合、部品Ｅ２に対応付けられた「部品Ｅ２を手に取って本体に取り付ける動作」を動作の種類として判別する。

【0080】

このように、本変形例では、動作種別判別部１０６は、注視点の動画像における位置と作業対象の位置との位置関係に基づき作業者の動作の種類を判別する。作業対象の位置は動画像から認識されるので、本変形例によれば、固定された撮像装置を設けなくても、その位置関係を考慮しない場合に比べて、より適切な処理結果が得られること、すなわち、より適切な動作の種類が判別されることになる。

【0081】

また、動作種別判別部１０６は、作業対象の位置の周辺の決められた範囲に注視点の位置が含まれるか否かに基づき作業者の動作の種類を判別する。この範囲を作業対象に対する作業のために必要な領域の形状及び大きさに応じて決めることで、作業のために必要な領域がどのような形状であっても、より適切な処理結果が得られること、すなわち、より適切な動作の種類が判別されることになる。

【0082】

なお、動作種別判別部１０６は、作業対象の位置を代表する座標を定め、その座標と注視点の位置との距離に基づき作業者の動作の種類を判別してもよい。作業対象の位置を代表する座標は、認識された作業対象の位置がひとつならその位置の座標であってもよいし、その位置から決められた方向及び距離にずれた位置であってもよい。また、作業対象の位置を代表する座標は、認識された作業対象の位置が複数ならそれらの位置の中心の座標であってもよい。

【0083】

また、作業対象の位置を代表する座標は、認識された複数の作業対象の位置の中心から決められた方向及び距離にずれた位置であってもよい。動作種別判別部１０６は、注視点が移動する度に、注視点の情報と代表する座標までの距離とを対応付けて記憶する。動作種別判別部１０６は、注視点の位置との距離が判別閾値未満である座標が定められた作業対象に対応付けられている動作の種類を判別する。

【0084】

動作種別判別部１０６は、例えば注視点の位置から代表する座標までの距離が判別閾値未満となる作業対象が部品Ｅ１である場合、図１９の動作テーブルにおいて部品Ｅ１に対応付けられた「部品Ｅ１を手に取って本体に取り付ける動作」を動作の種類として判別する。この場合、作業領域の形状が不明瞭であっても、より適切な処理結果が得られること、すなわち、より適切な動作の種類が判別されることになる。

【0085】

なお、本変形例においても、注視点が作業に必要な領域の手前で停止する場合に備え、動作種別判別部１０６が、注視点の位置の移動方向に応じて代表する座標と注視点の位置との距離を補正してもよい。この補正は、図１６から図１８までで説明した方法で行われればよい。これにより、距離を補正しない場合に比べて、作業者が作業に慣れてきたときに誤った処理結果になること、すなわち、誤った動作の種類が判定されることが抑制される。

【0086】

［２－４］動作の切れ目の特定方法
切れ目特定部１０４は、実施例は異なる方法で動作の切れ目を特定してもよい。切れ目特定部１０４は、例えば、ウェアラブルデバイス２０で作業者の作業領域の動画像を撮影する場合に、検知した眼球運動が示す注視点の画像における位置と作業領域との位置関係に基づき動作の切れ目を特定する。

【0087】

切れ目特定部１０４は、例えば、作業領域の周辺の決められた範囲に注視点の位置が含まれるか否かに基づき動作の切れ目を特定する。具体的には、切れ目特定部１０４は、決められた範囲に注視点の位置が含まれていない状態から含まれる状態になったときに、決められた条件が満たされたと判断する。これにより、注視点の画像における位置と作業領域との位置関係を考慮しない場合に比べて、作業領域が含まれている画像から、より適切な処理結果が得られること、すなわち、より適切な動作の切れ目が特定されることになる。

【0088】

また、切れ目特定部１０４は、作業領域における代表位置と注視点の位置との距離に基づき動作の切れ目を特定してもよい。具体的には、切れ目特定部１０４は、代表位置と注視点の位置との距離が判別閾値以上である状態からその距離が判別閾値未満である状態になったときに、決められた条件が満たされたと判断し、動作の切れ目を特定する。これにより、作業に必要な領域の形状が不明瞭であっても、より適切な処理結果が得られること、すなわち、より適切な動作の切れ目が特定されることになる。

【0089】

また、切れ目特定部１０４は、注視点の位置の移動方向に応じて代表位置と注視点の位置との距離を補正してもよい。距離の補正は、上記の変形例と同様に行えばよい。これにより、距離を補正しない場合に比べて、作業者が作業に慣れてきたときに誤った処理結果になること、すなわち、誤った動作の切れ目が特定されることが抑制される。

【0090】

また、切れ目特定部１０４は、動画像取得部１０１により取得された動画像から作業対象の位置を認識し、切れ目特定部１０４により検知された眼球運動が示す注視点の動画像における位置と認識した作業対象の位置との位置関係に基づき動作の切れ目を特定してもよい。切れ目特定部１０４は、例えば、認識した作業対象の位置の周辺の決められた範囲に注視点の位置が含まれるか否かに基づき動作の切れ目を特定する。

【0091】

切れ目特定部１０４は、上記変形例と同様に、作業対象毎に作業に必要な領域の形状及び大きさを記憶しておき、認識した作業対象の位置を含むその領域を上記の範囲として決定する。そして、切れ目特定部１０４は、決定した範囲に特定した注視点の位置が含まれていない状態から含まれる状態になったときに、決められた条件が満たされたと判断し、動作の切れ目を特定する。

【0092】

これにより、上記の変形例と同様に、固定された撮像装置を設けなくても、注視点の動画像における位置と作業対象の位置との位置関係を考慮しない場合に比べて、より適切な処理結果が得られること、すなわち、より適切な動作の切れ目が特定されることになる。また、作業対象の位置の周辺の決められた範囲に注視点の位置が含まれるか否かに基づき切れ目が特定されることで、作業のために必要な領域がどのような形状であっても、より適切な処理結果が得られること、すなわち、より適切な動作の切れ目が特定されることになる。

【0093】

また、切れ目特定部１０４は、作業対象の位置を代表する座標を定め、その座標と注視点の位置との距離に基づき動作の切れ目を特定してもよい。切れ目特定部１０４は、注視点の位置との距離が判別閾値以上である状態からその距離が判別閾値未満である状態になったときに、決められた条件が満たされたと判断し、動作の切れ目を特定する。これにより、作業領域の形状が不明瞭であっても、より適切な処理結果が得られること、すなわち、より適切な動作の切れ目が特定されることになる。

【0094】

また、本変形例においても、注視点が作業に必要な領域の手前で停止する場合に備え、切れ目特定部１０４が、注視点の位置の移動方向に応じて代表する座標と注視点の位置との距離を補正してもよい。この補正は、図１６から図１８までで説明した方法で行われればよい。これにより、距離を補正しない場合に比べて、作業者が作業に慣れてきたときに誤った処理結果になること、すなわち、誤った動作の切れ目が特定されることが抑制される。

【0095】

［２－５］機能構成
サーバ装置１０、ウェアラブルデバイス２０及び固定カメラ３０が実現する機能の構成は、図４等に表すものに限らない。例えば、実施例では切れ目特定部１０４が、第１条件を用いた切れ目の特定及び第２条件を用いた切れ目の特定を行ったが、これらの動作を別々の機能が行ってもよい。

【0096】

また、例えば動画像取得部１０１及び動画像記憶部１０２が行う動作や切れ目特定部１０４及び切れ目出力部１０５が行う動作を、それぞれ１つの機能が行ってもよい。また、サーバ装置１０が実現する機能を２以上の情報処理装置又はクラウドサービスで提供されるコンピュータリソースが実現してもよい。要するに、全体として図４等に表された機能が実現されていれば、各機能が行う動作の範囲及び各機能を実現する装置は自由に定められてよい。

【0097】

［２－６］プロセッサ
上記各実施例において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU：Central Processing Unit、等）や、専用のプロセッサ（例えばGPU：Graphics Processing Unit、ASIC：Application Specific Integrated Circuit、FPGA：Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

【0098】

また上記各実施例におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施例において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0099】

［２－７］発明のカテゴリ
本発明は、サーバ装置及びウェアラブルデバイスという情報処理装置の他に、情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるし、情報処理装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等の通信回線を介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

【符号の説明】

【0100】

１…作業管理システム、１０…サーバ装置、２０…ウェアラブルデバイス、３０…固定カメラ、１０１…動画像取得部、１０２…動画像記憶部、１０３…運動検知部、１０４…切れ目特定部、１０５…切れ目出力部、１０６…動作種別判別部、１０７…領域画像記憶部、２０１…撮像部、２０２…センサ測定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】