(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-21
(45)【発行日】2022-11-30
(54)【発明の名称】作業稼働率測定装置及び作業稼働率測定方法
(51)【国際特許分類】
G06Q 50/04 20120101AFI20221122BHJP
【ＦＩ】
G06Q50/04
【請求項の数】
6
(21)【出願番号】P 2020025497
(22)【出願日】2020-02-18
(65)【公開番号】P2021131626
(43)【公開日】2021-09-09
【審査請求日】2020-02-18
【審判番号】
【審判請求日】2021-12-27
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】松林 豊
【合議体】
【審判長】溝本 安展
【審判官】渡邊 聡
【審判官】相崎 裕恒
(56)【参考文献】
【文献】特開２０００－１８０１６２（ＪＰ，Ａ）
【文献】特開２０１９－８６８２７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G06Q50/04
(57)【特許請求の範囲】
【請求項1】
複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置であって、生産ラインに沿って配置された複数の前記工程のそれぞれに設置されたカメラで作業台上を撮影するとともに、撮影エリア内に手の大きさの枠に相当するように設定された、複数の第一作業枠内における前記手の表、裏、回転を含む各種動作の予め撮影された画像データを入力データとして、手の位置の画像のカメラ毎の機械学習モデルを作成するモデル作成手段と、
前記機械学習モデルの作成後、実際の作業を行っている画像に対して、前記モデル作成手段で作成された機械学習モデルを使って作業者の手の位置の画像が、前記第一作業枠と同様に撮影エリア内に設定された複数の第二作業枠内に含まれるか否かを判断するとともに、該判断により得た解析データを時系列に保存するデータ解析保存手段と、
該データ解析保存手段で保存された解析データを用いることにより、前記第二作業枠内におけるそれぞれの稼働率を求める稼働率演算手段と、を有し、
前記モデル作成手段は、明るさ、画角、種別、映り込みを含むカメラ毎の背景作業環境に応じて前記機械学習モデルを作成する機械学習を行わせることを特徴とする作業稼働率測定装置。
【請求項2】
前記モデル作成手段では、作業工程の作業エリアに設置された１つのカメラの撮影エリアに対して複数の前記第一作業枠を設定することを特徴とする請求項１に記載の作業稼働率測定装置。
【請求項3】
前記データ解析保存手段では、作業者の手と前記第二作業枠とを重ねることによってその位置関係を表すとともに、前記手が前記第二作業枠に入っているか否かを異なる線種で表した画像をログデータであって時刻毎の前記解析データとしてサーバに保存することを特徴とする請求項１または２のいずれか１項に記載の作業稼働率測定装置。
【請求項4】
前記稼働率演算手段では、前記第二作業枠内に作業者の手が存在するか否かを示すＯＮおよびまたはＯＦＦデータに基づき当該第二作業枠内の稼働率を演算することを特徴とする請求項１～３のいずれか１項に記載の作業稼働率測定装置。
【請求項5】
前記稼働率演算手段では、演算した前記第二作業枠内の稼働率を時間毎にグラフ表示することを特徴とする請求項１～４のいずれか１項に記載の作業稼働率測定装置。
【請求項6】
複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定方法であって、モデル作成手段が、生産ラインに沿って配置された複数の前記工程に設置されたカメラで作業台上を撮影するとともに、撮影エリア内に手の大きさの枠に相当するように設定された、複数の第一作業枠内における前記手の表、裏、回転を含む各種動作の予め撮影された画像データを入力データとして、手の位置の画像のカメラ毎の機械学習モデルを作成するモデル作成工程と、
データ解析保存手段が、前記機械学習モデルの作成後、実際の作業を行っている画像に対して、前記モデル作成工程で作成された機械学習モデルを使って作業者の手の位置の画像が、前記第一作業枠と同様に撮影エリア内に設定された複数の第二作業枠内に含まれるか判断するとともに、該判断により得た解析データを時系列に保存するデータ解析保存工程と、
稼働率演算手段が、該データ解析保存工程で保存された解析データを用いることにより、前記第二作業枠内におけるそれぞれの稼働率を求める稼働率演算工程と、を有し、
前記モデル作成手段は、明るさ、画角、種別、映り込みを含むカメラ毎の背景作業環境に応じて前記機械学習モデルを作成する機械学習を行わせることを特徴とする作業稼働率測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、工場等の生産ラインの作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置及び作業稼働率測定方法に関する。
【背景技術】
【0002】
工場など製造業界では、ＩｏＴ（Internet of Things）の活用が進み始めており、カメラなどで動画を撮影し、それを分析することにより、物のトレーサビリティの管理などに活用している場面が増加してきている。
そして、工場などでは、このような画像を利用した分析のために、工場向けにＶＭＳ（Video Management System）の活用が近年増えており、工場内にカメラが設置され、画像データを様々な形で人工知能（ＡＩ：Artificial Intelligence)）や機械学習などを使って分析して、全体をスマートファクトリ化しようとする流れがある。
そして、工場などでは、このような画像を利用した分析のために、工場向けにＶＭＳ（Video Management System）の活用が近年増えており、工場内にカメラが設置され、画像データを様々な形で人工知能（ＡＩ：Artificial Intelligence)）や機械学習などを使って分析して、全体をスマートファクトリ化しようとする流れがある。
【0003】
しかしながら、現状における工場内のライン管理者は、作業者に対して作業確認のためのヒアリングを実施する程度であり、実際に作業者が稼働していない状況、例えば、単に作業場所に立っているだけで手が動いていない等の状況を把握することが難しい。
このときの作業確認のためのヒアリングでは、複数の工程の実際の作業を目視により確認しつつ、当該作業の時間をストップウォッチにより計測するという手間を必要としていた。
このときの作業確認のためのヒアリングでは、複数の工程の実際の作業を目視により確認しつつ、当該作業の時間をストップウォッチにより計測するという手間を必要としていた。
【0004】
そして、このような問題を軽減するために以下の特許文献１～３が提案されている。
特許文献１に示される技術では、動作が開始されてから終了するまでの実測値を求め、求めた実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築する動作特定部を有する。
この動作特定部では、第１の位置情報としてデプスセンサから深度付の画像データを取得し、第２の位置情報としてデジタルカメラから画像データを取得する位置情報取得部の実測値に基づき、作業者の手の位置を特定する。
さらに、この動作特定部では、特定した作業者の手の位置に基づき、作業者が行なった動作内容を特定するとともに、特定された動作内容と、取得された実測値とを用いてモデルの構築又は更新を実行する。
特許文献１に示される技術では、動作が開始されてから終了するまでの実測値を求め、求めた実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築する動作特定部を有する。
この動作特定部では、第１の位置情報としてデプスセンサから深度付の画像データを取得し、第２の位置情報としてデジタルカメラから画像データを取得する位置情報取得部の実測値に基づき、作業者の手の位置を特定する。
さらに、この動作特定部では、特定した作業者の手の位置に基づき、作業者が行なった動作内容を特定するとともに、特定された動作内容と、取得された実測値とを用いてモデルの構築又は更新を実行する。
【0005】
特許文献２に示される技術では、カラーまたはモノクロ画像を生成できるカメラ等からなる距離センサと、作業台上で一連の作業を作業者が実行する間に撮影された時系列の複数の距離画像のそれぞれから、作業者の手を検出するプロセッサとを有する。
プロセッサの手領域検出部では、画像上の手を検出するように予め学習された識別器を用いて手領域を検出することができ、また、画像の着目領域から抽出されたＨＯＧ特徴量（Histograms of Oriented Gradients）を識別器に入力することで、その着目領域に手領域が含まれるか否かを判定できる。
プロセッサの手領域検出部では、画像上の手を検出するように予め学習された識別器を用いて手領域を検出することができ、また、画像の着目領域から抽出されたＨＯＧ特徴量（Histograms of Oriented Gradients）を識別器に入力することで、その着目領域に手領域が含まれるか否かを判定できる。
【0006】
特許文献３に示される技術では、サーバを制御する制御部内の分析部に、作業時間計測部と滞留時間計測部とを備える。
作業時間計測部では持ち場で作業者が実際に作業している時間を計測し、滞留時間計測部では持ち場に作業者がいる時間を計測する。その後、分析結果表示画面では、分析用の映像が表示され、この映像上に分析情報、すなわち、これら計測結果に基づく作業時間及び滞留時間が重畳表示される。
作業時間計測部では持ち場で作業者が実際に作業している時間を計測し、滞留時間計測部では持ち場に作業者がいる時間を計測する。その後、分析結果表示画面では、分析用の映像が表示され、この映像上に分析情報、すなわち、これら計測結果に基づく作業時間及び滞留時間が重畳表示される。
【先行技術文献】
【特許文献】
【0007】
【文献】国際公開第２０１７／２２２０７０号公報
【文献】特開２０１９－１２０５７７号公報
【文献】特開２０１９－２００５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
上述した特許文献１～３には、動作内容と時間との関係を規定してモデル化するための技術、作業者が実行した作業量を計測しかつ計測後のデータを表示するための技術が示されている。
しかしながら、これら特許文献１～３には、これら各技術が個別に示されるだけであり、これら技術を如何にして関連付けるかについての具体策が示されていない。
しかしながら、これら特許文献１～３には、これら各技術が個別に示されるだけであり、これら技術を如何にして関連付けるかについての具体策が示されていない。
【0009】
この発明は、上述した事情に鑑みてなされたものであって、これまでにない新たな手法により、作業台上で実施されている作業の状況を効率良く分析して数値化することができる作業稼働率測定装置及び作業稼働率測定方法を提供する。
【課題を解決するための手段】
【0010】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第１態様は、複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置であって、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成手段と、実際の作業を行っている画像に対して、前記モデル作成手段で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析データを時系列に保存するデータ解析保存手段と、該データ解析保存手段で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算手段と、を有することを特徴とする。
本発明の第１態様は、複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置であって、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成手段と、実際の作業を行っている画像に対して、前記モデル作成手段で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析データを時系列に保存するデータ解析保存手段と、該データ解析保存手段で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算手段と、を有することを特徴とする。
【0011】
本発明の第２態様は、複数の工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定方法であって、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成するモデル作成工程と、実際の作業を行っている画像に対して、前記モデル作成工程で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか解析するとともに該解析データを時系列に保存するデータ解析保存工程と、該データ解析保存工程で保存された解析データを使って各作業枠内の稼働率を求める稼働率演算工程と、を有することを特徴とする。
【発明の効果】
【0012】
本発明では、複数の工程の作業枠のカメラ毎に機械学習モデルを設定し、事前学習までを含めることで、様々な環境における手を精度良く検出でき、複数の工程の稼働率を効率良く把握することができる。
【図面の簡単な説明】
【0013】
【図1】本発明に係る作業稼働率測定装置の最小構成を示す図である。
【図2】本発明の実施形態に係る作業稼働率測定装置の概略構成図である。
【図3】画像エリア内にて機械学習を実施するための手順を示す説明図である。
【図4】画像エリア内の作業枠のサイズを確定させるための手順を示す説明図である。
【図5】作業工程内において実際の手を検出するためのイメージ図である。
【図6】クライアント端末（ＰＣ）での稼働率の表示例を示す図である。
【図7】作業稼働率測定装置の具体的動作を示すフローチャートである。
【発明を実施するための形態】
【0014】
本発明に係る作業稼働率測定装置１０の最小構成について図１を参照して説明する。この作業稼働率測定装置１０は、モデル作成手段１、データ解析保存手段２及び稼働率演算手段３を有するものであって、これら手段１～３により、生産ラインの工程にそれぞれ設けられた所定の作業枠内で手作業を実施する際の稼働率を測定する。
【0015】
作業稼働率測定装置１０を構成する各手段１～３について説明する。
モデル作成手段１は、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、カメラ毎の機械学習モデルを作成する。
モデル作成手段１は、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、カメラ毎の機械学習モデルを作成する。
【0016】
データ解析保存手段２は、実際の作業を行っている画像に対して、モデル作成手段１で作成された機械学習モデルを使って、作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析データを時系列に保存する。
稼働率演算手段３は、データ解析保存手段２で保存された解析データを使って各作業枠内の稼働率を求める。
稼働率演算手段３は、データ解析保存手段２で保存された解析データを使って各作業枠内の稼働率を求める。
【0017】
そして、以上のように構成された本発明の作業稼働率測定装置１０によれば、複数の工程に設置されたカメラで作業枠内を撮影するとともに、その撮影データに基づき作業枠内にかざした作業者の手の位置を機械学習させ、該カメラ毎の機械学習モデルを作成する。
その後、実際の作業を行っている画像に対して、モデル作成手段１で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析データを時系列に保存した後、該保存された解析データを使って各作業枠内の稼働率を求めることができる。
その後、実際の作業を行っている画像に対して、モデル作成手段１で作成された機械学習モデルを使って作業者の手の位置が作業枠内に含まれるか否かを解析するとともに該解析データを時系列に保存した後、該保存された解析データを使って各作業枠内の稼働率を求めることができる。
【0018】
これにより本発明の作業稼働率測定装置１０では、作業者の手のみを検出対象として複数の工程の稼働率を求めることができるので、全体の制御動作が軽くなり、リアルタイムでの稼働率検出が可能となる。
また、本発明の作業稼働率測定装置１０では、複数の工程の作業枠のカメラ毎に機械学習モデルを設定し、事前学習までを含めることで、様々な環境における手を精度良く検出することができ、複数の工程の稼働率を効率良く把握することができる。
また、本発明の作業稼働率測定装置１０では、複数の工程の作業枠のカメラ毎に機械学習モデルを設定し、事前学習までを含めることで、様々な環境における手を精度良く検出することができ、複数の工程の稼働率を効率良く把握することができる。
【0019】
（実施形態）
本発明の実施形態について図２～図７を参照して説明する。
図２は実施形態に係る作業稼働率測定装置１００の全体構成図であって、ネットワークＮに直接接続された動作制御部１１、データ処理部１２及び撮影部１３を有する。
撮影部１３で撮影される撮影エリアは符号ＥＡで示されている。また、撮影部１３側のネットワークＮは、動作制御部１１及びデータ処理部１２側のネットワークＮに対してハブ１４を介して接続されている。
また、これらの構成要素は工場内に設置されている。
本発明の実施形態について図２～図７を参照して説明する。
図２は実施形態に係る作業稼働率測定装置１００の全体構成図であって、ネットワークＮに直接接続された動作制御部１１、データ処理部１２及び撮影部１３を有する。
撮影部１３で撮影される撮影エリアは符号ＥＡで示されている。また、撮影部１３側のネットワークＮは、動作制御部１１及びデータ処理部１２側のネットワークＮに対してハブ１４を介して接続されている。
また、これらの構成要素は工場内に設置されている。
【0020】
動作制御部１１は作業稼働率測定装置１００内のネットワークＮ全体の動作を制御するクライアント端末（ＰＣ）であって、モデル作成手段１１Ａと、データ解析保存手段１１Ｂ及び稼働率演算手段１１Ｃを有する。
【0021】
モデル作成手段１１Ａは、複数の工程に設置されたカメラ（符号ＣＡで示す）（後述する）で撮影エリアＥＡ内を撮影するとともに、その撮影データに基づき作業枠（符号ＦＬで示す）（後述する）内にかざした作業者の手の位置を機械学習させ、カメラＣＡ毎の機械学習モデルを作成する。
データ解析保存手段１１Ｂは、実際の作業を行っている画像に対して、モデル作成手段１１Ａで作成された機械学習モデルを使って、作業者の手の位置が作業枠ＦＬ内に含まれるか否かを解析するとともに該解析データを時系列に保存する。
稼働率演算手段１１Ｃは、データ解析保存手段１１Ｂで保存された解析データを使って各作業枠ＦＬ内の稼働率を求める。
なお、これらモデル作成手段１１Ａ、データ解析保存手段１１Ｂ、稼働率演算手段１１Ｃで実施される具体的な処理については後述する。
データ解析保存手段１１Ｂは、実際の作業を行っている画像に対して、モデル作成手段１１Ａで作成された機械学習モデルを使って、作業者の手の位置が作業枠ＦＬ内に含まれるか否かを解析するとともに該解析データを時系列に保存する。
稼働率演算手段１１Ｃは、データ解析保存手段１１Ｂで保存された解析データを使って各作業枠ＦＬ内の稼働率を求める。
なお、これらモデル作成手段１１Ａ、データ解析保存手段１１Ｂ、稼働率演算手段１１Ｃで実施される具体的な処理については後述する。
【0022】
また、動作制御部１１を構成するクライアント端末（ＰＣ）は、図２に示されるように、ＧＵＩ（Graphical User Interface）で表示できる画面を有するとともに、工場内において作業者の手の動きを機械学習させるサーバ２２（後述する）及びその機会学習のインプットとなる画像を撮影するカメラＣＡにネットワーク接続されている。
【0023】
データ処理部１２は、工場向けのＶＭＳ（Video Management System）サーバ２０、該ＶＭＳサーバ２０を通じて供給されるカメラＣＡの撮影データを記憶する録画ストレージ２１、及び録画ストレージ２１に記憶する撮影データのホルダーを指定し、随時ログ（ログデータ）として保存する画像解析／ＷＥＢ（World Wide Web）サーバ２２等からなる。
なお、データ処理部１２で保存されるカメラの撮影データ及び随時ログ（ログデータ）を解析データと定義する。
なお、データ処理部１２で保存されるカメラの撮影データ及び随時ログ（ログデータ）を解析データと定義する。
【0024】
撮影部１３は生産ライン３０を撮影する複数のカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）からなるものであって、これらカメラＣＡにより各作業者の作業台をそれぞれ撮影する。
なお、図２において、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）によりそれぞれ撮影される作業台上の撮影エリアＥＡには、図２に示されるように複数の作業枠ＦＬが設定される。
また、図２では、一例として各作業台上の撮影エリアＥＡ内に作業枠ＦＬが４つ設定された場合の例（設定Ａ～設定Ｄ）が示されている。
また、図２では、１つの生産ライン３０が示されているが、複数の生産ライン３０に同様の撮影エリアＥＡを設けて良い。
なお、図２において、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）によりそれぞれ撮影される作業台上の撮影エリアＥＡには、図２に示されるように複数の作業枠ＦＬが設定される。
また、図２では、一例として各作業台上の撮影エリアＥＡ内に作業枠ＦＬが４つ設定された場合の例（設定Ａ～設定Ｄ）が示されている。
また、図２では、１つの生産ライン３０が示されているが、複数の生産ライン３０に同様の撮影エリアＥＡを設けて良い。
【0025】
そして、以上のような作業稼働率測定装置１００のモデル作成手段１１Ａでは、実際に作業者の手を検出する前に、工場内のカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）毎に、作業者がクライアント端末（ＰＣ）からの指示に従って、手をカメラＣＡの前で動かすことにより、その環境に応じた最適な機械学習モデルを作成する（図３～図４により後述する）。
その後、作業稼働率測定装置１００のデータ解析保存手段１１Ｂでは、カメラＣＡ毎で最適化された機械学習モデルを使って手を検出し、予め設定したカメラＣＡのエリア内に検出した手が含まれるかを解析し、ログと検出した手を枠で表示した動画とをサーバ２２に時刻毎のデータとして保存する（図５により後述する）。
その後、作業稼働率測定装置１００の稼働率演算手段１１Ｃでは、ログデータと動画を活用することで、ライン管理者がクライアント端末（ＰＣ）上にて１日の稼働率の状況を確認することができる（図６により後述する）。
その後、作業稼働率測定装置１００のデータ解析保存手段１１Ｂでは、カメラＣＡ毎で最適化された機械学習モデルを使って手を検出し、予め設定したカメラＣＡのエリア内に検出した手が含まれるかを解析し、ログと検出した手を枠で表示した動画とをサーバ２２に時刻毎のデータとして保存する（図５により後述する）。
その後、作業稼働率測定装置１００の稼働率演算手段１１Ｃでは、ログデータと動画を活用することで、ライン管理者がクライアント端末（ＰＣ）上にて１日の稼働率の状況を確認することができる（図６により後述する）。
【0026】
次に、図７のフローチャートを参照して、作業稼働率測定装置１００の動作制御部１１、データ処理部１２及び撮影部１３の具体的動作についてステップ（Ｓ）毎に順次説明する。
なお、以下の「事前学習フェーズ」は動作制御部１１のモデル作成手段１１Ａで実行される処理である。また、「事前学習後の作業範囲枠設定フェーズ」及び「手の検出フェーズ」は動作制御部１１のデータ解析保存手段１１Ｂで実行される処理である。また、「クライアント端末（ＰＣ）による稼働率確認」は動作制御部１１の稼働率演算手段１１Ｃで実行される処理である。
なお、以下の「事前学習フェーズ」は動作制御部１１のモデル作成手段１１Ａで実行される処理である。また、「事前学習後の作業範囲枠設定フェーズ」及び「手の検出フェーズ」は動作制御部１１のデータ解析保存手段１１Ｂで実行される処理である。また、「クライアント端末（ＰＣ）による稼働率確認」は動作制御部１１の稼働率演算手段１１Ｃで実行される処理である。
【0027】
〔事前学習フェーズ〕
まず、動作制御部１１のモデル作成手段１１Ａで実行される「事前学習フェーズ」について、ステップＳ１～Ｓ７を参照して説明する。
まず、動作制御部１１のモデル作成手段１１Ａで実行される「事前学習フェーズ」について、ステップＳ１～Ｓ７を参照して説明する。
【0028】
〔ステップＳ１〕
ステップＳ１では、工場の複数の工程にカメラＣＡが設置された状態において、カメラＣＡ前の撮影エリアＥＡにて作業者に手をかざすように指示を出す（図３（Ａ）参照）。なお、ステップＳ１及び以下のステップでは、カメラＣＡを構成するカメラＣ１，Ｃ２，Ｃ３，Ｃ４・・のそれぞれについて処理を実行する。
ステップＳ１では、工場の複数の工程にカメラＣＡが設置された状態において、カメラＣＡ前の撮影エリアＥＡにて作業者に手をかざすように指示を出す（図３（Ａ）参照）。なお、ステップＳ１及び以下のステップでは、カメラＣＡを構成するカメラＣ１，Ｃ２，Ｃ３，Ｃ４・・のそれぞれについて処理を実行する。
【0029】
〔ステップＳ２〕
ステップＳ２では、汎用の手の機会学習モデルを使って、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）で撮影した手を認識し、その手の大きさの枠を作業枠ＦＬとしてクライアント端末（ＰＣ）に表示させる。
このとき、クライアント端末（ＰＣ）では、当該カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）において手を学習するための作業枠ＦＬのサイズを確定させる（図３（Ａ）参照）。
ステップＳ２では、汎用の手の機会学習モデルを使って、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）で撮影した手を認識し、その手の大きさの枠を作業枠ＦＬとしてクライアント端末（ＰＣ）に表示させる。
このとき、クライアント端末（ＰＣ）では、当該カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）において手を学習するための作業枠ＦＬのサイズを確定させる（図３（Ａ）参照）。
【0030】
〔ステップＳ３〕
ステップＳ３では、クライアント端末（ＰＣ）からの指示に基づき、作業者に対して作業枠ＦＬ内に手を置きかつその手をかざしてもらう（図３（Ａ）参照）。
ステップＳ３では、クライアント端末（ＰＣ）からの指示に基づき、作業者に対して作業枠ＦＬ内に手を置きかつその手をかざしてもらう（図３（Ａ）参照）。
【0031】
〔ステップＳ４〕
ステップＳ４では、クライアント端末（ＰＣ）からの指示に基づき、作業者に対して作業枠ＦＬ内にて手を表／裏／回転などの動作を指定時間実施する（図３（Ａ）参照）。
ステップＳ４では、クライアント端末（ＰＣ）からの指示に基づき、作業者に対して作業枠ＦＬ内にて手を表／裏／回転などの動作を指定時間実施する（図３（Ａ）参照）。
【0032】
〔ステップＳ５〕
ステップＳ５では、作業枠ＦＬ毎の画像データに対して、手の大きさで機械学習のためのラベリング処理を自動で実施することで、そのカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）毎の環境（明るさ／画角／手の種別／写りこむ背景など）に応じて、手について機械学習を行う（図３（Ａ）参照）。
ステップＳ５では、作業枠ＦＬ毎の画像データに対して、手の大きさで機械学習のためのラベリング処理を自動で実施することで、そのカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）毎の環境（明るさ／画角／手の種別／写りこむ背景など）に応じて、手について機械学習を行う（図３（Ａ）参照）。
【0033】
〔ステップＳ６〕
ステップＳ６では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・で撮影される撮影エリアＥＡにて、等分に区分けしたエリア、例えば図３（Ｂ）に示す９箇所（符号Ｍ１～Ｍ９で示す）に対して、順次先ほどの順序で手をかざして、指示通りに動作させながら機械学習を実施する（図３（Ｂ）参照）。
ステップＳ６では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・で撮影される撮影エリアＥＡにて、等分に区分けしたエリア、例えば図３（Ｂ）に示す９箇所（符号Ｍ１～Ｍ９で示す）に対して、順次先ほどの順序で手をかざして、指示通りに動作させながら機械学習を実施する（図３（Ｂ）参照）。
【0034】
〔ステップＳ７〕
ステップＳ７では、ステップＳ６で設定した９箇所を実施した時点で、学習モデルの更新を行なう。これにより、画像解析／ＷＥＢサーバ２２を経由して録画ストレージ２１に保存しているカメラＣＡ毎の機械学習モデルが、そのカメラ環境に応じた最適なものとなる（図３（Ｃ）参照）。
ステップＳ７では、ステップＳ６で設定した９箇所を実施した時点で、学習モデルの更新を行なう。これにより、画像解析／ＷＥＢサーバ２２を経由して録画ストレージ２１に保存しているカメラＣＡ毎の機械学習モデルが、そのカメラ環境に応じた最適なものとなる（図３（Ｃ）参照）。
【0035】
〔事前学習後の作業範囲枠設定フェーズ〕
次に、動作制御部１１のデータ解析保存手段１１Ｂで実行される「事前学習後の作業範囲枠設定フェーズ」について、ステップＳ８及びＳ９を参照して説明する。
次に、動作制御部１１のデータ解析保存手段１１Ｂで実行される「事前学習後の作業範囲枠設定フェーズ」について、ステップＳ８及びＳ９を参照して説明する。
【0036】
〔ステップＳ８〕
ステップＳ８では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・において、実際に作業工程として確認したい部分を、四角の作業枠ＦＬとしてクライアント端末（ＰＣ）上のＧＵＩにて設定する。
このとき、作業枠ＦＬは縦横の大きさとその座標位置を変更できるものとする（図４（Ａ）参照）。
ステップＳ８では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・において、実際に作業工程として確認したい部分を、四角の作業枠ＦＬとしてクライアント端末（ＰＣ）上のＧＵＩにて設定する。
このとき、作業枠ＦＬは縦横の大きさとその座標位置を変更できるものとする（図４（Ａ）参照）。
【0037】
〔ステップＳ９〕
ステップＳ９では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・に対して、それぞれ４箇所の作業枠ＦＬがあった場合には、これら各４箇所の作業枠ＦＬについて同様に大きさと座標位置を設定する（図４（Ｂ）及び（Ｃ）参照）。
ステップＳ９では、各カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・に対して、それぞれ４箇所の作業枠ＦＬがあった場合には、これら各４箇所の作業枠ＦＬについて同様に大きさと座標位置を設定する（図４（Ｂ）及び（Ｃ）参照）。
【0038】
〔手の検出フェーズ〕
次に、動作制御部１１のデータ解析保存手段１１Ｂで実行される「手の検出フェーズ」について、ステップＳ１０及びＳ１１を参照して説明する。
次に、動作制御部１１のデータ解析保存手段１１Ｂで実行される「手の検出フェーズ」について、ステップＳ１０及びＳ１１を参照して説明する。
【0039】
〔ステップＳ１０〕
ステップＳ１０では、先ほど学習したカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）毎の機械学習モデルを使って、実際の作業を行っているライン工程の画像に対して、作業者の手が作業枠ＦＬに入っているかどうかを判断し、画像解析／ＷＥＢサーバ２２上に時系列でＯＮ-ＯＦＦデータ（ＯＮ：１／ＯＦＦ：０）として保存する（図５（Ａ）及び（Ｂ）参照）。
なお、図５（Ａ）では、作業者の手が作業枠ＦＬに入っている状態（ＯＮ）を実線で示し、作業者の手が作業枠ＦＬに入っていない状態（ＯＦＦ）を破線で示している。
また、図５（Ｂ）はＶＭＳサーバ２０を通じて録画ストレージ２１に記憶されるＯＮ-ＯＦＦデータと、その画像データをイメージ化した図を示している。
ステップＳ１０では、先ほど学習したカメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）毎の機械学習モデルを使って、実際の作業を行っているライン工程の画像に対して、作業者の手が作業枠ＦＬに入っているかどうかを判断し、画像解析／ＷＥＢサーバ２２上に時系列でＯＮ-ＯＦＦデータ（ＯＮ：１／ＯＦＦ：０）として保存する（図５（Ａ）及び（Ｂ）参照）。
なお、図５（Ａ）では、作業者の手が作業枠ＦＬに入っている状態（ＯＮ）を実線で示し、作業者の手が作業枠ＦＬに入っていない状態（ＯＦＦ）を破線で示している。
また、図５（Ｂ）はＶＭＳサーバ２０を通じて録画ストレージ２１に記憶されるＯＮ-ＯＦＦデータと、その画像データをイメージ化した図を示している。
【0040】
〔ステップＳ１１〕
ステップＳ１１では、同時に分析した画像データに対して、手を検出した際の手の作業枠ＦＬを付加した画像データも保存しておく。これは、後ほど、手を検出した状態がどのようであったかを確認するために保存するものである（図５（Ｂ））。
ステップＳ１１では、同時に分析した画像データに対して、手を検出した際の手の作業枠ＦＬを付加した画像データも保存しておく。これは、後ほど、手を検出した状態がどのようであったかを確認するために保存するものである（図５（Ｂ））。
【0041】
〔クライアント端末（ＰＣ）による稼働率確認〕
次に、動作制御部１１の稼働率演算手段１１Ｃで実行される「クライアント端末（ＰＣ）による稼働率確認」について、ステップＳ１２～Ｓ１４を参照して説明する。
次に、動作制御部１１の稼働率演算手段１１Ｃで実行される「クライアント端末（ＰＣ）による稼働率確認」について、ステップＳ１２～Ｓ１４を参照して説明する。
【0042】
〔ステップＳ１２〕
ステップＳ１２では、先ほど保存したログデータと画像データを使って、クライアント端末（ＰＣ）にて複数の工程の稼働率を表示させる（図６（Ａ）参照）。
なお、図６（Ａ）では、複数の工程の作業枠ＦＬ毎の稼働率が棒グラフを使って表示された例が示されている。
ステップＳ１２では、先ほど保存したログデータと画像データを使って、クライアント端末（ＰＣ）にて複数の工程の稼働率を表示させる（図６（Ａ）参照）。
なお、図６（Ａ）では、複数の工程の作業枠ＦＬ毎の稼働率が棒グラフを使って表示された例が示されている。
【0043】
〔ステップＳ１３〕
ステップＳ１３では、図６（Ａ）で表示された棒グラフを選択した場合（クリック等の操作をした場合）に、図６（Ｂ）にて複数の工程の時刻毎の稼働率を表示させる。
なお、図６（Ｂ）では、図６（Ａ）において、一例として「カメラＣ１の撮影エリアＥＡ内にある設定Ｄ」が選択された場合の時刻毎の稼働率が示されている。
ステップＳ１３では、図６（Ａ）で表示された棒グラフを選択した場合（クリック等の操作をした場合）に、図６（Ｂ）にて複数の工程の時刻毎の稼働率を表示させる。
なお、図６（Ｂ）では、図６（Ａ）において、一例として「カメラＣ１の撮影エリアＥＡ内にある設定Ｄ」が選択された場合の時刻毎の稼働率が示されている。
【0044】
なお、このときの表示では、作業者が作業を全くしていない（手が作業枠ＦＬに入っていない、又はずっと手が検出され続けている）などの異常時に、例えば図６（Ｂ）に矢印ｅ１～ｅ３で示すような、予めアラームが出るように設定したイベントも併せて列記させる（図６（Ｂ）参照）。
【0045】
〔ステップＳ１４〕
ステップＳ１４では、イベントの矢印ｅ１～ｅ３を選択（クリック）した場合に、その際に何があったかの詳細がわかるようにその時刻の動画を表示させる。
ステップＳ１４では、イベントの矢印ｅ１～ｅ３を選択（クリック）した場合に、その際に何があったかの詳細がわかるようにその時刻の動画を表示させる。
【0046】
以上詳細に説明したように本実施形態に係る作業稼働率測定装置１００では、以下の効果が期待できる。
すなわち、本実施形態の作業稼働率測定装置１００では、作業者の手のみの検出とすることで制御が軽くなり、リアルタイムでの検出ができる。
すなわち、本実施形態の作業稼働率測定装置１００では、作業者の手のみの検出とすることで制御が軽くなり、リアルタイムでの検出ができる。
【0047】
また、本実施形態の作業稼働率測定装置１００では、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）毎に機械学習モデルを持ち、事前学習までを含めることで、様々な環境における手を精度良く検出することができ、実際の複数の工程の稼働率を効率良く把握することができる。
また、本実施形態の作業稼働率測定装置１００では、手の検出部分を違う物体（例えば、タイヤなど）にした場合に、事前学習から手を置き換えて実施すれば、手ではない物体が作業枠ＦＬ内にあった時間を把握することができ、ラインにおける製造物の停滞状況も確認することができるという拡張性も有する。
また、本実施形態の作業稼働率測定装置１００では、手の検出部分を違う物体（例えば、タイヤなど）にした場合に、事前学習から手を置き換えて実施すれば、手ではない物体が作業枠ＦＬ内にあった時間を把握することができ、ラインにおける製造物の停滞状況も確認することができるという拡張性も有する。
【0048】
（変形例１）
上記実施形態では、カメラＣＡにより得られた画像データを入力として、作業者の環境に応じた手を対話的な形により事前学習を行い、予め定点画像で設定した作業枠ＦＬ内に作業者の手があるかどうかのみを判定するため、工場以外でも利用可能である。
一例として、本発明を用いれば、教室や学習塾向けに、ノートを取っている時間に対して学習の習熟度が比例するかといったデータも収集可能であり、新たな学習の尺度とすることができる。さらに、本発明は、美容師や料理人といった屋内にてカメラ設置可能な場所で、実際に手作業を行う職人の分野にも適用可能である。
上記実施形態では、カメラＣＡにより得られた画像データを入力として、作業者の環境に応じた手を対話的な形により事前学習を行い、予め定点画像で設定した作業枠ＦＬ内に作業者の手があるかどうかのみを判定するため、工場以外でも利用可能である。
一例として、本発明を用いれば、教室や学習塾向けに、ノートを取っている時間に対して学習の習熟度が比例するかといったデータも収集可能であり、新たな学習の尺度とすることができる。さらに、本発明は、美容師や料理人といった屋内にてカメラ設置可能な場所で、実際に手作業を行う職人の分野にも適用可能である。
【0049】
（変形例２）
上記実施形態では、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）の撮影エリアＥＡにて、図２に示すような４つの作業枠ＦＬを設定し、図３に示すように９つのエリアにて機械学習を行うようにした。
これら作業枠ＫＬ及び機械学習のエリアの数は同数であっても良く、管理者が自由に設定することができる。
上記実施形態では、カメラＣＡ（カメラＣ１，Ｃ２，Ｃ３，Ｃ４・・）の撮影エリアＥＡにて、図２に示すような４つの作業枠ＦＬを設定し、図３に示すように９つのエリアにて機械学習を行うようにした。
これら作業枠ＫＬ及び機械学習のエリアの数は同数であっても良く、管理者が自由に設定することができる。
【0050】
なお実施形態で処理される画像データにおける作業者の手とは、作業者の手首より先の部分を意味するが、例えば、作業者が手袋を装着している場合、あるいは、撮影エリア内で作業者が何らかの工具、治具、文房具等を手に保持している場合には、手袋を装着した状態、あるいは、工具、治具、文房具等を保持した状態の画像を「手」として取り扱って、画像データを解析しても良い。
【0051】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【産業上の利用可能性】
【0052】
本発明は、工場等の生産ラインの作業枠内で手作業を実施する際の稼働率を測定する作業稼働率測定装置及び作業稼働率測定方法に関する。
【符号の説明】
【0053】
１ モデル作成手段
２ データ解析保存手段
３ 稼働率演算手段
１０ 作業稼働率測定装置
１１ 動作制御部
１１Ａ モデル作成手段
１１Ｂ データ解析保存手段
１１Ｃ 稼働率演算手段
１２ データ処理部
１３ 撮影部
１４ ハブ
２０ ＶＭＳサーバ
２１ 録画ストレージ
２２ 画像解析／ＷＥＢサーバ
３０ 生産ライン
１００ 作業稼働率測定装置
ＣＡ カメラ
Ｃ１ カメラ
Ｃ２ カメラ
Ｃ３ カメラ
Ｃ４ カメラ
ＥＡ 撮影エリア
ＦＬ 作業枠
Ｎ ネットワーク
２ データ解析保存手段
３ 稼働率演算手段
１０ 作業稼働率測定装置
１１ 動作制御部
１１Ａ モデル作成手段
１１Ｂ データ解析保存手段
１１Ｃ 稼働率演算手段
１２ データ処理部
１３ 撮影部
１４ ハブ
２０ ＶＭＳサーバ
２１ 録画ストレージ
２２ 画像解析／ＷＥＢサーバ
３０ 生産ライン
１００ 作業稼働率測定装置
ＣＡ カメラ
Ｃ１ カメラ
Ｃ２ カメラ
Ｃ３ カメラ
Ｃ４ カメラ
ＥＡ 撮影エリア
ＦＬ 作業枠
Ｎ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】