(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024133672
(43)【公開日】2024-10-02
(54)【発明の名称】情報処理装置、方法及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240925BHJP
G06Q 50/04 20120101ALI20240925BHJP
【ＦＩ】
G06T7/20 300Z
G06Q50/04
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2024110146
(22)【出願日】2024-07-09
(62)【分割の表示】P 2023546549の分割
【原出願日】2022-08-08
(31)【優先権主張番号】10202109093T
(32)【優先日】2021-08-19
(33)【優先権主張国・地域又は機関】SG
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ペック アイザック
(72)【発明者】
【氏名】森本 昌治
(72)【発明者】
【氏名】樗木 勇人
(57)【要約】 （修正有）
【課題】工場の組み立てラインのための、手の位置を用いたサイクルタイムの推定方法、サイクルタイムの推定装置及びサイクルタイムの推定プログラムを提供する。
【解決手段】本開示に係るコンピュータは、映像を取得し、人物の手の数に関する設定を受け付け、映像に写る人物の手の数を取得し、設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する。
【選択図】なし
【解決手段】本開示に係るコンピュータは、映像を取得し、人物の手の数に関する設定を受け付け、映像に写る人物の手の数を取得し、設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する。
【選択図】なし
【特許請求の範囲】
【請求項1】
映像を取得する手段と、
人物の手の数に関する設定を受け付ける手段と、
前記映像に写る人物の手の数を取得する手段と、
設定された手の数と、前記映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する手段と、
を備える情報処理装置。
人物の手の数に関する設定を受け付ける手段と、
前記映像に写る人物の手の数を取得する手段と、
設定された手の数と、前記映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する手段と、
を備える情報処理装置。
【請求項2】
前記履歴を取得する手段は、前記設定された手の数に対して、前記映像に写る人物の手の数が不足する場合、前記手に関する履歴を取得する、請求項１に記載の情報処理装置。
【請求項3】
前記手に関する履歴を取得したことに応じて、生産性の指標の算出する手段をさらに備える、請求項１又は２に記載の情報処理装置。
【請求項4】
前記生産性の指標を算出する手段は、作業に関する所定の動作が右手または左手のいずれかによって行われたかを特定する処理を含む、請求項３に記載の情報処理装置。
【請求項5】
前記所定の動作は、作業の開始動作に対応する動作を含む、請求項４に記載の情報処理装置。
【請求項6】
前記所定の動作は、作業の終了動作に対応する動作を含む、請求項４に記載の情報処理装置。
【請求項7】
コンピュータが、
映像を取得し、
人物の手の数に関する設定を受け付け、
前記映像に写る人物の手の数を取得し、
設定された手の数と、前記映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する、
方法。
映像を取得し、
人物の手の数に関する設定を受け付け、
前記映像に写る人物の手の数を取得し、
設定された手の数と、前記映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する、
方法。
【請求項8】
コンピュータに対し、
映像を取得するステップと、
人物の手の数に関する設定を受け付けるステップと、
前記映像に写る人物の手の数を取得するステップと、
設定された手の数と、前記映像に写る人物の手の数との関係に応じて、手に関する履歴を取得するステップと、
を実行させるプログラム。
映像を取得するステップと、
人物の手の数に関する設定を受け付けるステップと、
前記映像に写る人物の手の数を取得するステップと、
設定された手の数と、前記映像に写る人物の手の数との関係に応じて、手に関する履歴を取得するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生産性を測定するための方法、装置及びプログラムに関するが、これらに限定されるものではない。
【背景技術】
【0002】
製造業者にとって、サイクルタイムは、組み立てラインの生産性を測る重要な指標である。
【0003】
各作業台における１サイクルは、通常、一連の動作、例えば、台への部品の取り付け、ネジの締め付け、梱包用のカバーの取り付け等で構成される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１８／１９１５５５号
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来、サイクルタイムは、ラインの管理者が、ストップウォッチを用いて手動で測定する。このような場合、測定がサンプリングによって行われるため、長期的かつ継続的な監視結果に基づく統計を得ることは困難である。
【0006】
映像解析は、手作業のみに頼るのではなく、サイクルタイムを推定するのに役立つ。特に、動きの分析は、組み立てラインの作業工程に関連する一連の動作を検出する可能性を有する。
【0007】
本開示は、工場の組み立てラインのための、手の位置を用いたサイクルタイムの推定方法、サイクルタイムの推定装置、及びサイクルタイムの推定プログラムに関するが、その応用は、例えば、台所での食事の準備等、他の場面にも広げることができる。
【0008】
ここでは、上記問題の１以上を解決する生産性を測定する装置、方法及びプログラムの例示的な実施形態について開示される。
【0009】
さらに、その他の所望の特徴及び特性は、添付の図面及び本開示の背景と併せて、後述する詳細な説明及び添付の請求項から明らかになるであろう。
【課題を解決するための手段】
【0010】
本開示に係る情報処理装置は、
映像を取得する手段と、
人物の手の数に関する設定を受け付ける手段と、
映像に写る人物の手の数を取得する手段と、
設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する手段とを備える。
映像を取得する手段と、
人物の手の数に関する設定を受け付ける手段と、
映像に写る人物の手の数を取得する手段と、
設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する手段とを備える。
【0011】
本開示に係る方法は、コンピュータが、
映像を取得し、
人物の手の数に関する設定を受け付け、
映像に写る人物の手の数を取得し、
設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する。
映像を取得し、
人物の手の数に関する設定を受け付け、
映像に写る人物の手の数を取得し、
設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得する。
【0012】
本開示に係るプログラムは、コンピュータに対し、
映像を取得するステップと、
人物の手の数に関する設定を受け付けるステップと、
映像に写る人物の手の数を取得するステップと、
設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得するステップとを実行させる。
映像を取得するステップと、
人物の手の数に関する設定を受け付けるステップと、
映像に写る人物の手の数を取得するステップと、
設定された手の数と、映像に写る人物の手の数との関係に応じて、手に関する履歴を取得するステップとを実行させる。
【図面の簡単な説明】
【0013】
添付された図１～図８では、同様の参照番号は、別個の図全体において、同一の構成要素又は機能的に類似した構成要素を指し、これらの図は、以下の詳細な説明と共に明細書に組み込まれ、又は、明細書の一部を形成し、様々な例示的な実施形態を例示し、また、例示的な本実施形態に基づく様々な原理及び利点を、非限定的な例示として説明するのに有用である。
【0014】
例示的な実施形態は、当業者であれば、以下の例示としての説明及び図面から、一層理解され、また、容易に明らかになるであろう。
【発明を実施するための形態】
【0015】
用語の説明
対象者－対象者は、例えば、人、作業者、及びユーザを含む任意の適切な種類のエンティティを示し得る。
対象者－対象者は、例えば、人、作業者、及びユーザを含む任意の適切な種類のエンティティを示し得る。
【0016】
ターゲット又は対象人物の語は、ここでは、対象の人、ユーザ、又は作業者を特定するために用いられる。対象人物は、ユーザの入力によって選択された人物、又は対象として特定された人物とし得る。
【0017】
ここでの対象者又は特定された対象者は、対象人物に関連する人物（例えば、パートナー又は同様のスキルを有する人物）に関連するために用いられる。例えば、生産性を測定するという文脈では、対象者は、ターゲットと同様のスキル又は経験を有すると思われる人物である。
【0018】
生産性測定サーバに登録されているユーザは、登録ユーザと称される。生産性測定サーバに登録されていないユーザは、非登録ユーザと称される。ユーザは、任意の対象者の生産性の測定値を取得することができる。
【0019】
生産性測定サーバ－生産性測定サーバは、入力を受信し、データを処理し、グラフィカルな表示を客観的に提供するのソフトウェアアプリケーションプログラムを有するするサーバである。生産性測定サーバは、他のサーバ（例えば、遠隔支援サーバ）と通信して、要求を管理する。生産性測定サーバは、遠隔支援サーバと通信して、グラウンドトゥルース（ground truth）又は既定の動きを受信する。生産性測定サーバは、様々なプロトコル及び手順を用いて、データを管理し、グラフィカルな表示を提供し得る。
【0020】
生産性測定サーバは通常、要求を処理し、データを管理し、状況に有用なグラフィカルな表示を受信／表示するエンティティ（例えば、会社や組織）であるプロバイダによって管理される。サーバは、グラフィカルな表示の要求を処理し、かつ、状況に応じてカスタマイズ可能なサービスを提供するために用いられる１以上のコンピュータ装置を含み得る。
【0021】
生産性測定アカウント－生産性測定アカウントは、生産性測定サーバに登録されているユーザのアカウントである。特定の状況では、生産性測定アカウントは、遠隔支援サーバを使用するために必要とされない。生産性測定アカウントは、ユーザの詳細（例えば、氏名、住所、車両等）を含む。生産性の指標は、サイクルタイムであり、特定された一対の第１の動きと第２の動きの間の期間である。
【0022】
生産性の測定は、ユーザの生産性測定アカウントを管理し、また、ユーザと他の外部サーバとの間の相互作用を、交換されるデータと共に管理する。
【0023】
詳細な説明
添付の図面のいずれか１つ以上において、同じ参照番号を有するステップ及び／又は機能が参照される場合、これらのステップ及び／又は機能は、この説明の目的のため、反対の意味が示されていない限り、同じ機能又は処理を有する。
添付の図面のいずれか１つ以上において、同じ参照番号を有するステップ及び／又は機能が参照される場合、これらのステップ及び／又は機能は、この説明の目的のため、反対の意味が示されていない限り、同じ機能又は処理を有する。
【0024】
「背景技術」の節に含まれる説明及び先行技術の構成に関する上記説明は、これらを用いて公の知識を形成する装置の説明に関するものであることに留意すべきである。そのようなものは、本発明者又は特許出願人が、そのような装置が、いかなる形式においても、当該技術分野における一般的な知識の一部を形成することを表明すると解釈すべきではない。
【0025】
システム１００
図１は、ターゲットの生産性を測定するためのシステム１００のブロック図を示す。システム１００は、要求者装置１０２と、生産性測定サーバ１０８と、遠隔支援サーバ１４０と、遠隔支援ホスト１５０Ａ～１５０Ｎと、センサ１４２Ａ～１４２Ｎとを備える。
図１は、ターゲットの生産性を測定するためのシステム１００のブロック図を示す。システム１００は、要求者装置１０２と、生産性測定サーバ１０８と、遠隔支援サーバ１４０と、遠隔支援ホスト１５０Ａ～１５０Ｎと、センサ１４２Ａ～１４２Ｎとを備える。
【0026】
要求者装置１０２は、それぞれ接続１１６及び１２１を介して、生産性測定サーバ１０８及び／又は遠隔支援サーバ１４０と通信する。接続１１６及び１２１は、無線（例えば、ＮＦＣ通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を介する）でもよく、又は、ネットワーク（例えば、インターネット等）を介してもよい。また、接続１１６及び１２１は、ネットワーク（例えば、インターネット等）でもよい。
【0027】
生産性測定サーバ１０８はさらに、接続１２０を介して、遠隔支援サーバ１４０と通信する。接続１２０は、ネットワーク（例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット等）を介してもよい。或る構成では、生産性測定サーバ１０８及び遠隔支援サーバ１４０が組み合わされ、接続１２０は、相互に接続されたバスでもよい。生産性測定サーバ１０８は、接続１１８を介して、データベース１０９にアクセスできる。データベース１０９は、生産性測定サーバ１０８によって処理された様々なデータを格納することができる。
【0028】
次に、遠隔支援サーバ１４０は、個別の接続部１２２Ａ～１２２Ｎを介して、遠隔支援ホスト１５０Ａ～１５０Ｎと通信する。接続部１２２Ａ～１２２Ｎは、ネットワーク（例えば、インターネット等）とし得る。
【0029】
遠隔支援ホスト１５０Ａ～１５０Ｎは、サーバである。ここで、ホストの語は、遠隔支援ホスト１５０Ａ～１５０Ｎと遠隔支援サーバ１４０を区別するために用いられる。ここでは、遠隔支援ホスト１５０Ａ～１５０Ｎは、纏めて遠隔支援ホスト１５０と称され、遠隔支援ホスト１５０は、遠隔支援ホスト１５０のうちの１つを示す。遠隔支援ホスト１５０は、遠隔支援サーバ１４０と組み合わせることができる。
【0030】
一例では、遠隔支援ホスト１５０は、工場で管理されるものであり、遠隔支援サーバ１４０は、中央サーバであり、１つの組織レベルで生産性を管理し、また、データを転送し、又は、画像入力のようなデータを取得する遠隔支援ホスト１５０を決定する。遠隔支援ホスト１５０は、接続１１９を介して、データベース１０９にアクセスできる。データベース１０９は、遠隔支援ホスト１５０によって処理された様々なデータを格納することができる。
【0031】
センサ１４２Ａ～１４２Ｎは、個別の接続部１４４Ａ～１４４Ｎ又は１４６Ａ～１４６Ｎを介して、遠隔支援サーバ１４０又は生産性測定サーバ１０８に接続される。センサ１４２Ａ～１４２Ｎは、ここでは纏めてセンサ１４６Ａ～１４６Ｎと称される。接続部１４４Ａ～１４４Ｎは、ここでは纏めて接続部１４４と称され、一方、接続部１４４は、接続部１４４のうちの１つを示す。同様に、接続部１４６Ａ～１４６Ｎは、ここでは纏めて接続部１４６と称され、一方、接続部１４６は、接続部１４６のうちの１つを示す。接続部１４４及び１４６は、無線（例えば、ＮＦＣ通信やＢｌｕｅｔｏｏｔｈ等を介する）でもよく、又は、ネットワーク（例えば、インターネット等）を介してもよい。センサ１４２は、撮像装置、映像取得装置、モーションセンサのいずれかとすることができ、また、その種類に応じて、生産性測定サーバ１０８の少なくとも１つに入力を送信するように構成できる。
【0032】
例示的な実施形態では、各装置１０２及び１４２と、サーバ１０８、１４０及び１５０は、他の接続された装置１０２及び１４２並びに／又はサーバ１０８，１４０及び１５０との通信を可能にするインタフェースを提供する。このような通信は、アプリケーションプログラミングインタフェース（「ＡＰＩ」）によって容易にされる。このようなＡＰＩは、ユーザインタフェースの一部とすることができ、ユーザインタフェースは、グラフィカルユーザインタフェース（ＧＵＩ）、ウェブベースのインタフェース、インタフェースの構成要素に対応するアプリケーションプログラミングインタフェース（ＡＰＩ）及び／若しくは一組のリモートプロシージャコール（ＲＰＣ）等のプログラムインタフェース、インタフェースの構成要素が通信プロトコルのメッセージに対応するメッセージングインタフェース、並びに／又は、これらの適切な組み合わせを含み得る。
【0033】
ここでは、「サーバ」の語の使用は、単一のコンピュータ装置を意味し、又は、特定の機能を実行するために協働する複数の相互接続されたコンピュータ装置を意味することがある。すなわち、サーバは、単一のハードウェアユニット内に含まれることがあり、又は、複数又は多数の異なるハードウェアユニットに分散されることもある。
【0034】
遠隔支援サーバ１４０
遠隔支援サーバ１４０は、エンティティ（例えば、工場、会社、組織、サービスのモデレータ）に関連付けられる。或る構成では、遠隔支援サーバ１４０は、サーバ１０８を管理するエンティティによって所有及び管理される。このような構成では、遠隔支援サーバ１４０は、サーバ１０８の一部（例えば、コンピュータプログラムモジュール、演算装置等）として実装され得る。
遠隔支援サーバ１４０は、エンティティ（例えば、工場、会社、組織、サービスのモデレータ）に関連付けられる。或る構成では、遠隔支援サーバ１４０は、サーバ１０８を管理するエンティティによって所有及び管理される。このような構成では、遠隔支援サーバ１４０は、サーバ１０８の一部（例えば、コンピュータプログラムモジュール、演算装置等）として実装され得る。
【0035】
また、遠隔支援サーバ１４０は、ユーザの登録を管理するように構成され得る。登録されたユーザは、ユーザの詳細を含む接触追跡アカウント（上記説明を参照）を有する。登録の処理は、オンボーディングと称される。ユーザは、要求者装置１０２を用いて、遠隔支援サーバ１４０へのオンボーディングを実行することもできる。
【0036】
遠隔支援サーバ１４０の機能にアクセスするために、遠隔支援サーバ１４０に生産性測定アカウントを有する必要はない。しかしながら、登録ユーザが利用できる機能がある。例えば、他の管轄区域内の対象人物及び潜在的な対象者をグラフィカルに表示してもよい。これらの追加の機能については、後述する。
【0037】
ユーザのオンボーディング処理は、ユーザが要求者装置１０２のいずれかを用いて実行する。或る構成では、ユーザが、アプリ（遠隔支援サーバ１４０と通信するＡＰＩを含む）を、センサ１４２にダウンロードする。別の構成では、ユーザが、要求者装置１０２のＷｅｂサイト（遠隔支援サーバ１４０と通信するＡＰＩを含む）にアクセスする。
【0038】
登録の詳細には、例えば、ユーザの名前、ユーザの住所、緊急連絡先、又は、その他の重要な情報、遠隔支援アカウントの更新を許可されたセンサ１４２等が含まれる。
【0039】
一旦、オンボードされると、ユーザは、全ての詳細を保存する接触追跡アカウントを有することになる。
【0040】
要求者装置１０２
要求者装置１０２は、要求者装置１０２で開始される接触追跡要求の当事者である対象者（又は要求者）に関連付けられる。要求者は、ネットワークグラフのグラフィカルな表示を取得するために必要なデータの取得を支援する、対象の一般市民とし得る。要求者装置１０２は、デスクトップコンピュータ、対話型音声応答（ＩＶＲ：Interactive Voice Response）システム、スマートフォン、ラップトップコンピュータ、パーソナルデジタルアシスタントコンピュータ（ＰＤＡ）、モバイルコンピュータ、タブレット型コンピュータ等のコンピュータ装置とし得る。
要求者装置１０２は、要求者装置１０２で開始される接触追跡要求の当事者である対象者（又は要求者）に関連付けられる。要求者は、ネットワークグラフのグラフィカルな表示を取得するために必要なデータの取得を支援する、対象の一般市民とし得る。要求者装置１０２は、デスクトップコンピュータ、対話型音声応答（ＩＶＲ：Interactive Voice Response）システム、スマートフォン、ラップトップコンピュータ、パーソナルデジタルアシスタントコンピュータ（ＰＤＡ）、モバイルコンピュータ、タブレット型コンピュータ等のコンピュータ装置とし得る。
【0041】
或る構成では、要求者装置１０２は、時計又は同様の装着可能な装置内のコンピュータ装置であり、無線通信インタフェースを備える。
【0042】
生産性測定サーバ１０８
生産性測定サーバ１０８は、用語の説明の節で記載した通りである。
生産性測定サーバ１０８は、用語の説明の節で記載した通りである。
【0043】
生産性測定サーバ１０８は、特定された第１の動きから特定された第２の動きまでの期間の決定に関するプロセスを処理し、生産性を測定するように構成される。
【0044】
遠隔支援ホスト１５０
遠隔支援ホスト１５０は、対象者又は組織の構成員に関する情報に関連する生産性の情報を管理（例えば、生成又は管理する）するエンティティ（例えば、会社又は組織）に関連付けられたサーバである。
遠隔支援ホスト１５０は、対象者又は組織の構成員に関する情報に関連する生産性の情報を管理（例えば、生成又は管理する）するエンティティ（例えば、会社又は組織）に関連付けられたサーバである。
【0045】
或る構成では、エンティティは組織である。したがって、各エンティティは、そのエンティティによってリソースを管理するために、遠隔支援ホスト１５０を管理する。或る構成では、遠隔支援ホスト１５０は、対象人物が動いている旨を示すアラート信号を受信する。そして、リモートアクセスホスト１５０は、アラート信号に含まれる位置情報によって特定される場所へリソースを送るように構成することができる。例えば、ホストは、処理のために関連する映像又は画像の入力を取得するように構成されたものとすることができる。
【0046】
このような情報は、工場の組み立てラインにおけるサイクルタイムを推定するための正確な開始タイミング及び終了タイミングを検出するために有益である。本開示は、手の位置とサイクルの開始タイミング／終了タイミングとの相関関係を利用する。そのため、より正確に推定されたサイクルタイミングを得ることができる。
【0047】
組み立てラインのベルトコンベアでは、物体が左から右又はその逆に移動するため、手の位置は、工場におけるサイクルの開始タイミング／終了タイミングを特定するのに一層適している。したがって、実際の位置は、これらの状況に関する一層優れた特徴を生成することができる。
【0048】
しかしながら、実際の時系列の位置は、位置の代わりに距離を利用する従来技術とは異なるため、パターンマッチング（クエリシーケンスが所定の場合、対象のデータセットの中の類似するシーケンスを検索する）によって、誤ったマッチングが多く生成され得る。また、手の検出は、手の位置を誤って検出することがあるため、同様に、誤ったマッチングの数が増える可能性がある。
【0049】
したがって、パターンマッチングをより正確にするために、本開示では、いずれの手が既に検出されたかを特定し、次いで、検出の失敗又はオクルージョンに起因する欠損データを補完（インピュテーション）する（欠損位置を、代わりの値に置き換える）。代替的に又は加えて、本開示では、サンプルデータセットにおけるグランドトゥルースに対応するシーケンスを収集する。グランドトゥルースに関し、作業サイクルを規定する開始動作及び終了動作が、予め定義される。
【0050】
例えば、ユーザは、対象のカメラから取得したビデオクリップにおいて、これらの動作が生じるタイムスタンプを提供することにより、作業サイクルの開始動作及び終了動作（各動作は、一連の手の動き又は既定の動きを含む）を定義することができる。例示的な一実施形態では、サイクルの開始及び終了を網羅するために、既定の２組の動きが定義される。
【0051】
同時に、カメラビュー内の予想される手の数も指定される。この値は、カメラビューにおいて見えるように作業すると予想される作業者／オペレータの数に直接関係する（例えば、２人のオペレータがいる場合には、４本の手が予想され、１人のオペレータがいる場合には、２本の手が予想される）。
【0052】
代替的に又は加えて、本開示は、収集されたシーケンスから平均化されたクエリシーケンスを生成し、クエリシーケンスを入力クエリとして用いて、ターゲットデータセット内の開始タイミング及び終了タイミングを示す類似のシーケンスの検索を可能にする。
【0053】
センサ１４２
センサ１４２は、要求者装置１０２に関連付けられたユーザに関連付けられる。センサの利用方法の詳細については、後述する。
センサ１４２は、要求者装置１０２に関連付けられたユーザに関連付けられる。センサの利用方法の詳細については、後述する。
【0054】
図２は、本開示の例示的な一実施形態に係る生産性を測定する方法２００を示す。２０２に示すように、手の検出は、所定の画像フレームにおける手を検出するために実行され、２０６において、対応するフレーム番号を有する時系列の手の位置を生成する。
【0055】
最初のプロセス２０２で検出された手の位置を取得することにより、補完２１４が実行される。具体的には、この方法は、フレーム内の手の数を検出することと、検出された手の数とフレーム内の予想される手の数を比較して、フレーム内の未検出の手を検出することを含む。フレーム内において未検出の手が検出された場合、フレーム内の未検出の手を補完するために補完２１４が実行され、２２０に示すように、手の識別情報（ターゲットを識別し得る）及び対応するフレーム番号を有する時系列の手の位置が生成される。
【0056】
例えば、補完は、カメラビュー（グラウンドトゥルースで指定される）において予想される手の数を調べ、それを、各映像フレームの手の検出数と比較する。例えば、４つの手が予想されるが、所定のフレームに３つの手しか存在しない場合、補完が実行され、欠損データ、すなわち、未検出の手の未検出期間における未検出の手の少なくも１つの欠損位置を補い、未検出の手に対応する手の履歴位置の平均を調べることにより、このデータを「完全」なものにする。
【0057】
シーケンスマッチング２２４は、第２の出力、すなわち、時系列の手の位置２２０のいずれが、２１８の所定のクエリシーケンスと一致するかを調べて、開始タイミング及び終了タイミングを検出し、そして、一致したシーケンス２０８を、フレーム番号と共に出力する。
【0058】
第３の出力において、サイクルタイムの推定２１６は、組み立てラインの各サイクルを推定し、２２２に示すように、推定されたサイクルタイムを出力する。様々な例示的な実施形態では、サイクルタイムは、特定された一対の第１の動きと第２の動きの間の期間である。第１の動きは、サイクルの開始に対応する。一方、第２の動きは、サイクルの終了に対応する。
【0059】
３番目のプロセス２２４の入力であるクエリシーケンスを提供するために、クエリシーケンス生成２１０は、サンプルデータセット２０４で指定された開始タイミング及び終了タイミングの所定のグランドトゥルース（又は既定の動き）に基づき、所定の入力データの開始タイミング及び終了タイミングを検出するためのクエリ２１８を生成する。開始タイミングの所定のグランドトゥルースに基づくクエリシーケンスは、作業者の作業又はオペレータの操作における開始動作である第１の一連の手の位置に対応する。一方、終了タイミングの所定のグランドトゥルースに基づくクエリシーケンスは、作業又は操作における終了動作である第２の一連の手の位置に対応する。
【0060】
図３に、グランドトゥルースの平均化における既定の動きを使用する方法を示す。作業サイクルを構成する開始動作及び終了動作は、予め定義される。
【0061】
様々な例示的な実施形態では、ユーザは、対象のカメラから取得したビデオクリップにおいて開始動作及び終了動作が生じるタイムスタンプを提供することにより、作業サイクルの開始動作及び終了動作を定義する。各動作は、連続した一連の手の動き又は既定の動きを含む。サイクルの開始及び終了を網羅するために、２組の既定の動きが定義される。
【0062】
例示的な一実施形態では、カメラビューにおいて予想される手の数もまた指定される。この値は、カメラビューにおいて見えるように作業すると予想される作業者又はオペレータの数に直接関連する。例えば、２人のオペレータがいる場合、４本の手が予想され得る。１人のオペレータがいる場合、２本の手が予想され得る。
【0063】
各映像フレームについて、補完は、カメラビュー（グラウンドトゥルースで指定される）において予想される手の数を調べ、それを、各映像フレームの手の検出数と比較する。例えば、４つの手が予想されるが、所定のフレームに手が３つしかない場合、補完が実行され、欠損データ、すなわち、未検出の手の未検出期間における未検出の手の少なくとも１つの欠損位置を補い、未検出の手に対応する手の履歴位置の平均を調べることにより、このデータを「完全」にする。
【0064】
３０１及び３０２のそれぞれは、想定される既定の動き又は１組のグラウンドトゥルースを示す。３０３では、或る動きが検出され、未検出の手の動き３１０がある。３０４、３０５及び３０６で示すように、補完が実行され、欠損データであったであろう欠損部（例えば、ｉｄｘ：１，ｘ：４８８，ｙ：３２３、ｉｄｘ：１，ｘ：４８９，ｙ：３２４、ｉｄｘ：１，ｘ：４９１，ｙ：３２２）を補う。欠損データは、誤ったマッチングを増加させるため、時系列のシーケンスマッチングに悪影響を及ぼす。
【0065】
グランドトゥルースの平均化の出力は、動作を代表する一組の平均化された既定の動きであるため、同様に、動的時間伸縮法（Dynamic Time Warping）と呼ばれる既知の技術と組み合わせて、同じカメラビューから取得された複数の動き（時系列データに変換された検出された手の位置）のうちの類似する第１の動き及び第２の動きを照合する。これは、検出された手の位置データが補完によって「前処理」された後に取得されるものであってもよい。
【0066】
このように組み合わせることにより、作業サイクルの開始動作又は終了動作を構成する一連の動きのバリエーションが可能になる。例えば、第１の平均化された既定の動きは、上向きの動きと、その直後の下向きの動きで構成される場合があるが、実際の第１の動きは、上向きの動きと、右向きの動きと、その後の下向きの動きで構成されることがある。この場合、実際の第１の動きは、明らかな違いがあるにもかかわらず、第１の平均化された既定の動きと一致する。同様に、動きが省略された場合でも、一致する可能性がある。
【0067】
図４は、本開示の例示的な実施形態に係る様々なグランドトゥルースを受信する方法を示す。図４では、４００に示す各時系列パターン４０２、４０４、４０６、４０８及び４１０は、ユーザが定義したグランドトゥルース又は既定の動きから得られ、これらは、サイクルの開始に対応するシーケンスの例である。ターゲットの生産性を測定するため、同じような経験を有する複数の対象者に関する時系列パターンが取得される。
【0068】
図５は、受信した様々なグランドトゥルース５００を平均化することにより、グランドトゥルース５０２が得られる方法を示す。シーケンス４０２、４０４、４０６及び４０８を平均化することにより、最終的なクエリシーケンスが得られ、これは、シーケンスマッチングの入力として用いられ、ターゲットデータセット内の類似するシーケンスが特定される。
【0069】
図６は、生産性を測定する方法の主要な構成要素を示す。様々な例示的な実施形態では、生産性を測定する方法が提供される。この方法は、少なくとも１つの画像フレームに基づき、第１の動きを特定することと、第１の動きは、動きのサイクルを定義する開始動作と一致し（Ｓ１）、少なくとも１つの画像フレームに基づき、第２の動きを特定することと、第２の動きは、サイクルを定義する終了動作と一致し（Ｓ２）、特定された第１の動きと特定された第２の動きの間の期間を決定して、生産性を測定すること（Ｓ３）とを含む。
【0070】
この方法はさらに、画像フレーム内の手の数を検出することと、検出された手の数を、フレーム内の予想される手の数と比較して、フレーム内の少なくとも１つの未検出の手を検出することと、フレーム内の未検出の手を検出した場合に、フレーム内の未検出の手の動きの補完を行うこととを含む。そのため、フレーム内の手が取得されていない場合でも、未検出の手の動きを補完することができる。その結果、そのような場合において、第１の動き及び／又は第２の動きを特定することができる。
【0071】
さらに、未検出の手の未検出の期間における未検出の手に対応する手の履歴位置の平均を用いて補完することにより、未検出の手の欠損した位置を補う。
【0072】
さらに、この方法は、開始動作に対応する第１の一連の手の位置（第１の手の位置のシーケンス）を生成することと、終了動作に対応する第２の一連の手の位置（第２の手の位置のシーケンス）を生成することとを含み、第１の動きを特定することは、第１の一連の手の位置に一致する第１の動きを特定することを含み、第２の動きを特定することは、第２の一連の手の位置に一致する第２の動きを特定することを含む。
【0073】
さらに、第１の一連の手の位置を生成することは、動きのサイクルの開始動作に対応する複数の一連の手の位置を平均化して、第１の一連の手の位置を生成することを含み得る。第２の一連の手の位置を生成することは、動きのサイクルの終了動作に対応する複数の一連の手の位置を平均化して、第２の一連の手の位置を生成することを含み得る。
【0074】
上述した方法では、第１の動きを特定することは、第１の動きが、右手又は左手によって行われたかを特定することを含む。
【0075】
また、第１の動きが右手によって行われたことが特定された場合、第２の動きを特定することが行われる。この場合、右手は、作業者／オペレータの利き手である可能性がある。
【0076】
代替的に、第１の動きが左手で行われたことが特定された場合、第２の動きを特定することが行われる。この場合、左手が、作業者／操作者の利き手である可能性がある。
【0077】
図７は、例示的な一実施形態に係る生産性を測定する装置の主要な構成要素を示す。この装置７０は、少なくとも１つのプロセッサ７１と、コンピュータプログラムコードを含む少なくとも１つのメモリ７２とを含む。少なくとも１つのメモリ７２及びコンピュータプログラムコードは、少なくとも１つのプロセッサ７１を用いて、この装置に対し、上述した方法を実行させるように構成される。
【0078】
図８は、例示的なコンピュータ装置１３００を示しており、これは、以下、コンピュータシステム１３００としても参照され、そのような１以上のコンピュータ装置１３００は、上述した方法の実行に用いることができる。例示的なコンピュータ装置１３００は、図１に示すシステム１００を実現するために用いることができる。コンピュータ装置１３００の以下の説明は、例示であり、限定するものではない。
【0079】
図８に示すように、例示的なコンピュータ装置１３００は、ソフトウェアルーチンを実行するプロセッサ１３０７を含む。明確にするために、単一のプロセッサが示されているが、コンピュータ装置１３００は、マルチプロセッサシステムも含み得る。プロセッサ１３０７は、コンピュータ装置１３００の他のコンポーネントと通信するために、通信インフラストラクチャ１３０６に接続される。通信インフラストラクチャ１３０６は、例えば、通信バス、クロスバー又はネットワークを含み得る。
【0080】
コンピュータ装置１３００はさらに、ランダムアクセスメモリ（ＲＡＭ）等のメインメモリ１３０８と、二次メモリ１３１０を含む。二次メモリ１３１０は、例えば、ハードディスクドライブ、ソリッドステートドライブ又はハイブリッドドライブであるストレージドライブ１３１２、及び／又は、磁気テープドライブ、光ディスクドライブ、ソリッドステートストレージドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカード等）等を含むリムーバブルストレージドライブ１３１７を含み得る。リムーバブルストレージドライブ１３１７は、周知の方法で、リムーバブル記憶媒体１３７７から読み取り、及び／又は、当該リムーバブル記憶媒体へ書き込む。リムーバブル記憶媒体１３７７は、磁気テープ、光ディスク、不揮発性メモリ記憶媒体等を含み、これは、リムーバブルストレージドライブ１３１７によって読み取られ、また、書き込まれる。当業者であれば理解できるように、リムーバブル記憶媒体１３７７は、コンピュータが実行可能なプログラムコードの命令及び／又はデータが格納されたコンピュータ可読記憶媒体を含む。
【0081】
代替的な実施形態では、二次メモリ１３１０は、加えて又は代わりに、コンピュータプログラム又は他の命令をコンピュータ装置１３００にロードできるようにする他の類似の手段を含み得る。このような手段には、例えば、リムーバブルストレージユニット１３２２及びインタフェース１３１４を含めることができる。リムーバブルストレージユニット１３２２及びインタフェース１３１４の例には、プログラムカートリッジ及びカートリッジインタフェース（ビデオゲームコンソールデバイスに見られるもの等）、リムーバブルメモリチップ（ＥＰＲＯＭ又はＰＲＯＭ等）及び関連ソケット、リムーバブルソリッドステート記憶装置（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカード等）、並びに、ソフトウェア及びデータをリムーバブルストレージユニット１３２２からコンピュータシステム１３００に転送することを可能にするその他のリムーバブルストレージユニット１３２２及びインタフェース１３１４が含まれる。
【0082】
また、コンピュータ装置１３００は、少なくとも１つの通信インタフェース１３２７を含む。通信インタフェース１３２７は、通信パス１３２６を介して、コンピュータ装置１３００と外部装置の間で、ソフトウェア及びデータを転送することを可能にする。様々な例示的な実施形態では、通信インタフェース１３２７は、コンピュータ装置１３００と、公衆データ通信ネットワーク又はプライベートデータ通信ネットワーク等のデータ通信ネットワークとの間で、データを転送することを可能にする。通信インタフェース１３２７は、複数の異なるコンピュータ装置１３００の間でデータを交換するために使用され、そのようなコンピュータ装置１３００は、相互接続されたコンピュータネットワークの一部を形成する。通信インタフェース１３２７の例には、モデム、ネットワークインタフェース（イーサネットカード等）、通信ポート（シリアル、パラレル、プリンタ、ＧＰＩＢ、ＩＥＥＥ１３９４、ＲＪ４５、ＵＳＢ等）、関連する回路を備えたアンテナ等が含まれる。通信インタフェース１３２７は、有線又は無線とし得る。通信インタフェース１３２７を介して転送されるソフトウェア及びデータは、電子信号、電磁信号、光学信号、又は、通信インタフェース１３２７が受信可能な他の信号の形式である。これらの信号は、通信パス１３２６を介して、通信インタフェースに提供される。
【0083】
図８に示すように、コンピュータ装置１３００はさらに、関連するディスプレイ１３５０に画像をレンダリングする処理を実行するディスプレイインタフェース１３０２と、関連するスピーカー１３５７を介してオーディオコンテンツを再生する処理を実行するオーディオインタフェース１３５２とを含む。
【0084】
ここで使用するように、「コンピュータプログラム製品」の語は、部分的に、リムーバブル記憶媒体１３７７、リムーバブルストレージユニット１３２２、ストレージドライブ１３１２に設置されたハードディスク、又は、通信パス１３２６（無線リンク又はケーブル）を介して通信インタフェース１３２７にソフトウェアを運ぶ搬送波を意味し得る。コンピュータ可読記憶媒体は、記録された命令及び／又はデータを実行及び／又は処理のためにコンピュータ装置１３００に提供する、任意の非一時的で不揮発性の有形の記憶媒体を意味する。このような記憶媒体の例には、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ハードディスクドライブ、ＲＯＭ若しくは集積回路、ソリッドステートストレージドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリ装置、ソリッドステートドライブ、メモリカード等）、ハイブリッドドライブ、光磁気ディスク、又は、ＰＣＭＣＩＡカード等のコンピュータ可読カードが挙げられ、このような装置は、コンピュータ装置１３００の内部又は外部であるかに関わらない。ソフトウェア、アプリケーションプログラム、命令及び／又はデータのコンピュータ装置１３００への提供にも関連し得る一時的又は非有形のコンピュータ可読の伝送媒体の例には、無線又は赤外線伝送チャネルと共に、別のコンピュータ又はネットワーク化された装置へのネットワーク接続、電子メールの伝送及びウェブサイト等に記録された情報を含むインターネット又はイントラネットが含まれる。
【0085】
コンピュータプログラム（コンピュータプログラムコードとも呼ばれる）は、メインメモリ１３０８及び／又は二次メモリ１３１０に格納される。コンピュータプログラムは、通信インタフェース１３２７を介して受信することもできる。このようなコンピュータプログラムは、実行されると、コンピュータ装置１３００が、ここで説明した例示的な実施形態の１以上の機能を実行することを可能にする。様々な例示的な実施形態において、コンピュータプログラムが実行されると、プロセッサ１３０７が、上述した例示的な実施形態の機能を実行することを可能にする。したがって、そのようなコンピュータプログラムは、コンピュータシステム１３００のコントローラとして機能する。
【0086】
ソフトウェアは、コンピュータプログラム製品に格納され、また、リムーバブルストレージドライブ１３１７、ストレージドライブ１３１２、又はインタフェース１３１４を用いて、コンピュータ装置１３００にロードされる。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体とし得る。代替的に、コンピュータプログラム製品は、通信パス１３２６を介して、コンピュータシステム１３００にダウンロードすることもできる。ソフトウェアは、プロセッサ１３０７によって実行されると、コンピュータ装置１３００に対し、上述した方法を実行するために必要な処理を実行させる。
【0087】
図８の例示的な実施形態は、システム１００の処理及び構造を説明するための単なる例示であることに留意すべきである。したがって、いくつかの実施形態では、コンピュータ装置１３００の１以上の特徴を省略することができる。また、いくつかの実施形態では、コンピュータ装置１３００の１以上の特徴を組み合わせることができる。さらに、いくつかの実施形態では、コンピュータ装置１３００の１以上の特徴を１以上の構成部品に分割することができる。
【0088】
広く説明されているように、本発明の精神又は範囲から逸脱することなく、特定の実施形態で示された本発明に対し、多くの変形例及び／又は修正例を加え得ることは、当業者であれば理解されるであろう。したがって、本実施形態は、全ての点において例示的であり、限定するものではないとみなすべきである。
【0089】
本出願は、２０２１年８月１９日に出願されたシンガポール特許出願Ｎｏ.１０２０２１０９０９３Ｔに基づき、優先権の利益を主張しており、その開示は、参照により、その全体が本出願に組み込まれる。
【0090】
付記
上記で開示した実施形態の全部又は一部は、以下の補足事項として説明することができる。
（付記１）
コンピュータによって実行される生産性を測定する方法であって、
少なくとも１つの画像フレームに基づき、第１の動きを特定することと、前記第１の動きは、動きのサイクルを定義する開始動作と一致し、
少なくとも１つの画像フレームに基づき、第２の動きを特定することと、前記第２の動きは、前記動きのサイクルを定義する終了動作と一致し、
特定された第１の動きと特定された第２の動きの間の期間を決定して、生産性を測定することと
を含む方法。
（付記２）
前記画像フレーム内の手の数を検出することと、
検出された手の数と前記画像フレーム内の予想される手の数とを比較して、前記画像フレーム内の少なくとも１つの未検出の手を検出することと、
前記画像フレーム内の前記未検出の手を検出した場合、前記画像フレーム内の前記未検出の手の動きの補完を行うことと
をさらに含む、付記１に記載の方法。
（付記３）
前記補完は、前記未検出の手の未検出期間における前記未検出の手に対応する手の履歴位置の平均を用いて、前記未検出の手の欠損位置を補う、付記２に記載の方法。
（付記４）
前記開始動作に対応する第１の一連の手の位置を生成することと、
前記終了動作に対応する第２の一連の手の位置の生成することと
をさらに含み、
前記第１の動きを特定することは、前記第１の一連の手の位置に一致する前記第１の動きを特定することを含み、
前記第２の動きを特定することは、前記第２の一連の手の位置に一致する前記第２の動きを特定することを含む、付記１に記載の方法。
（付記５）
前記第１の一連の手の位置を生成することは、前記動きのサイクルの開始動作に対応する複数の手の一連の手の位置を平均化して、前記第１の一連の手の位置を生成することを含み、
前記第２の一連の手の位置を生成することは、前記動きのサイクルの終了動作に対応する複数の手の一連の手の位置を平均化して、前記第２の一連の手の位置を生成することを含む、付記４に記載の方法。
（付記６）
生産性を測定する装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリとを備えており、
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、前記装置に対し、
少なくとも１つの画像フレームに基づき、第１の動きを特定させ、前記第１の動きは、動きのサイクルを定義する開始動作と一致し、
少なくとも１つの画像フレームに基づき、第２の動きを特定させ、前記第２の動きは、前記動きのサイクルを定義する終了動作と一致し、
特定された第１の動きと特定された第２の動きの間の期間を決定させ、生産性を測定させるように構成された装置。
（付記７）
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に対し、
前記画像フレーム内の手の数を検出させ、
検出された手の数と前記画像フレーム内の予想される手の数を比較して、前記画像フレーム内の少なくとも１つの未検出の手を検出させ、
前記画像フレーム内の前記未検出の手を検出した場合、前記画像フレーム内の前記未検出の手の動きの補完を行わせるように構成された、付記６に記載の装置。
（付記８）
前記補完は、前記未検出の手の未検出期間における前記未検出の手に対応する手の履歴位置の平均を用いて、前記未検出の手の欠損位置を補うことによって行われる、付記７に記載の装置。
（付記９）
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に対し、
前記開始動作に対応する第１の一連の手の位置を生成させ、
前記終了動作に対応する第２の一連の手の位置を生成させ、
前記第１の一連の手の位置に一致する第１の動きを特定させ、
前記第２の一連の手の位置に一致する第２の動きを特定させるように構成された、付記６に記載の装置。
（付記１０）
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に対し、
前記動きのサイクルの開始動作に対応する複数の手の一連の手の位置を平均化させて、前記第１の一連の手の位置を生成させ、
前記動きのサイクルの終了動作に対応する複数の手の一連の手の位置を平均化させて、前記第２の一連の手の位置を生成させるように構成された、付記９に記載の装置。
（付記１１）
生産性を測定するためのプログラムを格納する非一時的なコンピュータ可読媒体であって、前記プログラムは、コンピュータに対し、少なくとも、
少なくとも１つの画像フレームに基づき、第１の動きを特定させ、前記第１の動きは、動きのサイクルを定義する開始動作と一致し、
少なくとも１つの画像フレームに基づき、第２の動きを特定させ、前記第２の動きは、前記動きのサイクルを定義する終了動作と一致し、
特定された第１の動きと特定された第２の動きの間の期間を決定させて、生産性を測定させる、コンピュータ可読媒体。
上記で開示した実施形態の全部又は一部は、以下の補足事項として説明することができる。
（付記１）
コンピュータによって実行される生産性を測定する方法であって、
少なくとも１つの画像フレームに基づき、第１の動きを特定することと、前記第１の動きは、動きのサイクルを定義する開始動作と一致し、
少なくとも１つの画像フレームに基づき、第２の動きを特定することと、前記第２の動きは、前記動きのサイクルを定義する終了動作と一致し、
特定された第１の動きと特定された第２の動きの間の期間を決定して、生産性を測定することと
を含む方法。
（付記２）
前記画像フレーム内の手の数を検出することと、
検出された手の数と前記画像フレーム内の予想される手の数とを比較して、前記画像フレーム内の少なくとも１つの未検出の手を検出することと、
前記画像フレーム内の前記未検出の手を検出した場合、前記画像フレーム内の前記未検出の手の動きの補完を行うことと
をさらに含む、付記１に記載の方法。
（付記３）
前記補完は、前記未検出の手の未検出期間における前記未検出の手に対応する手の履歴位置の平均を用いて、前記未検出の手の欠損位置を補う、付記２に記載の方法。
（付記４）
前記開始動作に対応する第１の一連の手の位置を生成することと、
前記終了動作に対応する第２の一連の手の位置の生成することと
をさらに含み、
前記第１の動きを特定することは、前記第１の一連の手の位置に一致する前記第１の動きを特定することを含み、
前記第２の動きを特定することは、前記第２の一連の手の位置に一致する前記第２の動きを特定することを含む、付記１に記載の方法。
（付記５）
前記第１の一連の手の位置を生成することは、前記動きのサイクルの開始動作に対応する複数の手の一連の手の位置を平均化して、前記第１の一連の手の位置を生成することを含み、
前記第２の一連の手の位置を生成することは、前記動きのサイクルの終了動作に対応する複数の手の一連の手の位置を平均化して、前記第２の一連の手の位置を生成することを含む、付記４に記載の方法。
（付記６）
生産性を測定する装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリとを備えており、
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、前記装置に対し、
少なくとも１つの画像フレームに基づき、第１の動きを特定させ、前記第１の動きは、動きのサイクルを定義する開始動作と一致し、
少なくとも１つの画像フレームに基づき、第２の動きを特定させ、前記第２の動きは、前記動きのサイクルを定義する終了動作と一致し、
特定された第１の動きと特定された第２の動きの間の期間を決定させ、生産性を測定させるように構成された装置。
（付記７）
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に対し、
前記画像フレーム内の手の数を検出させ、
検出された手の数と前記画像フレーム内の予想される手の数を比較して、前記画像フレーム内の少なくとも１つの未検出の手を検出させ、
前記画像フレーム内の前記未検出の手を検出した場合、前記画像フレーム内の前記未検出の手の動きの補完を行わせるように構成された、付記６に記載の装置。
（付記８）
前記補完は、前記未検出の手の未検出期間における前記未検出の手に対応する手の履歴位置の平均を用いて、前記未検出の手の欠損位置を補うことによって行われる、付記７に記載の装置。
（付記９）
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に対し、
前記開始動作に対応する第１の一連の手の位置を生成させ、
前記終了動作に対応する第２の一連の手の位置を生成させ、
前記第１の一連の手の位置に一致する第１の動きを特定させ、
前記第２の一連の手の位置に一致する第２の動きを特定させるように構成された、付記６に記載の装置。
（付記１０）
前記少なくとも１つのメモリ及び前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に対し、
前記動きのサイクルの開始動作に対応する複数の手の一連の手の位置を平均化させて、前記第１の一連の手の位置を生成させ、
前記動きのサイクルの終了動作に対応する複数の手の一連の手の位置を平均化させて、前記第２の一連の手の位置を生成させるように構成された、付記９に記載の装置。
（付記１１）
生産性を測定するためのプログラムを格納する非一時的なコンピュータ可読媒体であって、前記プログラムは、コンピュータに対し、少なくとも、
少なくとも１つの画像フレームに基づき、第１の動きを特定させ、前記第１の動きは、動きのサイクルを定義する開始動作と一致し、
少なくとも１つの画像フレームに基づき、第２の動きを特定させ、前記第２の動きは、前記動きのサイクルを定義する終了動作と一致し、
特定された第１の動きと特定された第２の動きの間の期間を決定させて、生産性を測定させる、コンピュータ可読媒体。
【符号の説明】
【0091】
７０ 装置
７１ プロセッサ
７２ メモリ
１００ システム
１０２ 要求者装置
１０８ 生産性測定サーバ
１０９ データベース
１４０ 遠隔支援サーバ
１４２Ａ～１４２Ｎ センサ
１５０Ａ～１５０Ｎ 遠隔支援ホスト
７１ プロセッサ
７２ メモリ
１００ システム
１０２ 要求者装置
１０８ 生産性測定サーバ
１０９ データベース
１４０ 遠隔支援サーバ
１４２Ａ～１４２Ｎ センサ
１５０Ａ～１５０Ｎ 遠隔支援ホスト
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】