特許 6828093 操作検出装置、操作検出方法及び操作検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6828093

(24)【登録日】2021年1月22日

(45)【発行日】2021年2月10日

(54)【発明の名称】操作検出装置、操作検出方法及び操作検出システム

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20210128BHJP

   G06F 3/01 20060101ALI20210128BHJP

【ＦＩ】

   G06Q10/06 332

   G06F3/01 510

【請求項の数】9

【全頁数】19

(21)【出願番号】特願2019-118627(P2019-118627)

(22)【出願日】2019年6月26日

(65)【公開番号】特開2020-68009(P2020-68009A)

(43)【公開日】2020年4月30日

【審査請求日】2019年6月26日

(31)【優先権主張番号】201811249823.2

(32)【優先日】2018年10月25日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】398058588

【氏名又は名称】Ｄｙｎａｂｏｏｋ株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】特許業務法人スズエ国際特許事務所

(72)【発明者】

【氏名】ヨンミン・ウー

【審査官】 鈴木 和樹

(56)【参考文献】

【文献】 特開２０１４−２４０８００（ＪＰ，Ａ）

【文献】 特開２０１８−１６５８９３（ＪＰ，Ａ）

【文献】 特許第６３３００９３（ＪＰ，Ｂ１）

【文献】 特許第６４０３９２０（ＪＰ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する対象検出モデル取得部と、
前記複数枚のトレーニング画像と、前記対象検出モデル取得部により取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する対象情報取得部と、
前記オペレータの操作を撮像することにより得られた動画像を入力する動画像入力部と、
前記対象情報取得部により取得された前記対象タイプ及び前記対象関係と、前記動画像入力部により入力された前記動画像とに基づいて、前記オペレータの操作の種類を検出する操作検出部と、を備える操作検出装置。

【請求項2】

前記操作検出部は、
前記対象情報取得部により取得された前記対象タイプ及び対象関係に基づいて、１以上のイベントを生成するイベント生成手段と、
前記イベント生成手段により生成された前記１以上のイベントを用いて前記オペレータの操作を示す操作モードを生成する操作モード生成手段と、
前記動画像入力部により入力された前記動画像と、前記操作モード生成手段により生成された前記操作モードとに基づいて、前記動画像から前記操作モードに適合する操作を識別することにより前記オペレータの操作の種類を検出する操作検出手段と、を備える請求項１記載の操作検出装置。

【請求項3】

前記操作検出部は、
前記対象情報取得部により取得された前記対象タイプ及び前記対象関係に基づいて、１以上のイベントを生成するイベント生成手段と、
前記イベント生成手段により生成された前記１以上のイベントを用いて前記オペレータの動作を示す１以上の動作モードを生成する動作モード生成手段と、
前記動作モード生成手段により生成された前記１以上の動作モードに基づいて、前記オペレータの操作を示す操作モードを生成する操作モード生成手段と、
前記動画像入力部により入力された前記動画像と、前記操作モード生成手段により生成された前記操作モードとに基づいて、前記動画像から前記操作モードに適合する操作を識別することにより前記オペレータの操作の種類を検出する操作検出手段と、を備える請求項１記載の操作検出装置。

【請求項4】

前記操作モード生成手段は、
前記イベント生成手段により生成された前記イベントと、前記動作モード生成手段により生成された前記動作モードとに基づいて、前記操作モードを生成する請求項３に記載の操作検出装置。

【請求項5】

前記１以上のイベントは、
前記オペレータの操作に係る対象についての対象位置が変化することにより、前記対象関係が生じるか、もしくは、前記対象関係が変化する第１イベント、および、
前記オペレータの操作に係る対象が前記複数枚のトレーニング画像に現れるか、もしくは、前記オペレータの操作に係る対象が前記複数枚のトレーニング画像から消える第２イベント
の少なくともいずれか一方のイベントを含む請求項２乃至請求項４の何れか一項記載の操作検出装置。

【請求項6】

前記操作検出部により検出された前記種類の前記オペレータの操作の開始時間および終了時間を検出する操作時間検出部をさらに備える請求項１乃至請求項５の何れか一項記載の操作検出装置。

【請求項7】

前記対象情報は、少なくとも対象名称、対象種別、対象位置、及び対象位置の変化を含む請求項１乃至請求項６の何れか一項記載の操作検出装置。

【請求項8】

前記対象が撮像された前記複数枚のトレーニング画像を取得するトレーニング画像取得装置と、
前記トレーニング画像取得装置により取得された前記複数枚のトレーニング画像に基づいて、前記対象検出モデルを生成する対象検出モデル生成装置と、
請求項１乃至請求項７のいずれか一項記載の操作検出装置と、
を備える操作検出システム。

【請求項9】

それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する対象検出モデル取得ステップと、
前記複数枚のトレーニング画像と、前記対象検出モデル取得ステップにより取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する対象情報取得ステップと、
前記オペレータの操作を撮像することにより得られた動画像を入力する動画像入力ステップと、
前記対象情報取得ステップにより取得された前記対象タイプ及び前記対象関係と、前記動画像入力ステップにより入力された前記動画像とに基づいて、前記オペレータの操作の種類を検出する操作検出ステップと、を備える操作検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、操作検出装置、操作検出方法及び操作検出システムに関する。

【背景技術】

【0002】

現在、様々な業種において、様々な製品の製造生産又は組立生産の生産ラインが広く用いられている。稼働効率及び生産量を向上させるように、各生産ラインにおいて、各生産単位は、いずれかのセグメントの作業だけを集中的に処理する。通常、工場の需要、製品の複雑さ及び製造や組立の複雑さ等に応じて、生産ラインに複数のステーションを配置することができる。各ステーションでのオペレータは、何れも他のオペレータと異なる操作を手動で繰り返す。オペレータは、１つのステーションでの操作を完了した後に、次のステーションに流れて操作を行い、最後に製造/組立を完了する。

【0003】

従って、生産ライン全体の各ステーションでのオペレータの操作は、製品の品質及び生産ライン全体の効率に直接関係する。製品の品質及び生産ライン全体の効率を保証するために、通常は、様々な要因を総合的に考慮して生産ライン全体の各ステーションに、対応する作業工程を設定し、かつ対応する作業マニュアルを備える。作業マニュアルは、通常、作業工程に含まれる複数の動作及び基準時間を含む。しかしながら、実際には、オペレータによる操作は手動による操作であり、かつ操作環境に不安定要因が存在するため、各オペレータにとって、繰り返した複数回の操作が何れも同じであるのを保証することが困難である。さらに、繰り返した複数回の操作の毎回の操作が何れも厳密に作業マニュアルに適合することを確保することが困難である。そして、各オペレータ間にも技能の差が存在する。従って、このような再現性を保証できない。作業マニュアルに対するばらつき及び技能の差は、製品の欠陥等の品質問題を引き起こす可能性があるだけでなく、生産ライン全体の生産ラインバランスに影響を与える可能性もある。生産ラインバランスは、各ステーションの操作を平均化し、作業荷重を調整することにより各操作時間ができるだけ近くなるようにする技術的手段及び方法であり、その良否は生産ラインの生産効率及び製品品質に直接関係する。

【0004】

そのため、生産ライン上の各ステーションのオペレータの作業状態を把握することにより、生産ラインバランス情報を取得する必要がある。現在、生産ライン上の各ステーションの作業状態を把握することは、主に、ＩＥエンジニア(産業エンジニアとも呼ばれる)が、手動でストップウオッチによりステーション毎に工数を計測することにより行われている。このような方法では、ステーション上のオペレータによる操作の有無を人手により直観的に観察することができ、ステーション上のオペレータが、複数の動作を含む操作を行う開始時間、終了時間等の情報を記録することができる。

【0005】

しかしながら、ＩＥエンジニアが手動で記録して生産ラインでの作業状態を把握する方法には、以下の問題がある。人間の目による観察及び手動による操作に依存するため、記録されたデータの正確性が悪くなり、記録されたデータの量は限られる；ＩＥエンジニアは計測する時に、ステーション上のオペレータの心理に影響を与える可能性があり、このような時に行われた操作は通常時の操作を反映することができない；生産ラインのバランスは、ＩＥエンジニアが測定を完了した後に分析処理を行ってこそ得られるため、生産ラインをリアルタイムにモニタリングすることはできない；ＩＥエンジニアにより記録された時間は、有限であるため、生産ラインでの全ての異常操作又は誤操作は、必ずしも記録されるのではなく、それにより製品欠陥が発生した場合に、欠陥原因を確定することが困難であり、製品欠陥を引き起こす原因をタイムリーで効率的に修正することが困難である。

【0006】

従って、入手に頼らずに生産ライン上のオペレータの操作を検出して把握する操作検出装置、操作検出方法及び操作検出システムが切望されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】中国特許第１０３７４５２２８号明細書

【特許文献2】中国特許第１０３７９３０５４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、前記従来技術に存在する課題を解決するためになされたものであり、その目的は、人手に頼らずに生産ライン上の各オペレータの操作を正確、リアルタイムに検出することができる操作検出装置、操作検出方法及び操作検出システムを提供することにある。

【課題を解決するための手段】

【0009】

実施形態による操作検出装置は、対象検出モデル取得部と、対象情報取得部と、動画像入力部と、操作検出部を備える。前記対象検出モデル取得部は、それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する。前記対象情報取得部は、前記複数枚のトレーニング画像と、前記対象検出モデル取得部により取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する。前記動画像入力部は、前記オペレータの操作を撮像することにより得られた動画像を入力する。前記操作検出部は、前記対象情報取得部により取得された前記対象タイプ及び前記対象関係と、前記動画像入力部により入力された前記動画像とに基づいて、前記オペレータの操作の種類を検出する。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態の操作検出装置の構成を示す図である。

【図2】本発明の対象がマーキングされた１枚のトレーニング画像を示す図である。

【図3】第１の実施形態の操作検出装置の動作フローチャートである。

【図4】本発明の第１の実施形態の実施例１の操作検出部の構成を示す図である。

【図5】本発明のイベント生成方法の一例を示す図である。

【図6】本発明の対象タイプの詳細の一例を示す図である。

【図7】本発明の対象タイプの詳細の一例を示す図である。

【図8】本発明の対象タイプの詳細の一例を示す図である。

【図9】本発明の対象タイプの詳細の一例を示す図である。

【図10】本発明のイベントの一例を示す図である。

【図11】本発明のイベントに基づいて生成された操作モードの一例を示す図である。

【図12】本発明の第１の実施形態の実施例１の操作検出装置の動作フローチャートである。

【図13】本発明の第１の実施形態の実施例１の操作検出装置に係るイベントの一例を示す図である。

【図14】本発明の第１の実施形態の実施例2の操作検出部の構成を示す図である。

【図15】本発明のイベントに基づいて生成された動作モードの一例を示す図である。

【図16】本発明のイベントに基づいて生成された動作モードの一例を示す図である。

【図17】本発明のイベントに基づいて生成された動作モードシーケンスの一例を示す図である。

【図18】本発明の第１の実施形態の実施例2の操作検出装置の動作フローチヤートである。

【図19】本発明の第１の実施形態の実施例2の操作検出装置に係るイベントの一例を示す図である。

【図20】本発明の第１の実施形態の実施例2の操作検出装置が動作モードに基づいて生成された操作モードの一例を示す図である。

【図21】本発明の第１の実施形態の実施例3の操作検出装置がイベントと動作モードに基づいて生成された操作モードの一例を示す図である。

【図22】本発明の第１の実施形態の実施例3の操作検出装置の動作フローチャートである。

【図23】本発明の第2の実施形態の操作検出装置の構成を示す図である。

【図24】本発明の第2の実施形態の操作検出装置の動作フローチャートである。

【図25】本発明の操作検出システムの構成を示す図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、実施形態を説明する。以下の説明は、実施形態の技術的思想を具体化するための装置や方法を例示するものであって、実施形態の技術的思想は、以下に説明する構成要素の構造、形状、配置、材質等に限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各要素のサイズ、厚み、平面寸法又は形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、互いの寸法の関係や比率が異なる要素が含まれることもある。複数の図面において、対応する要素には同じ参照数字を付して重複する説明を省略する場合もある。いくつかの要素に複数の呼称を付す場合があるが、これら呼称の例はあくまで例示であり、これらの要素に他の呼称を付すことを否定するものではない。また、複数の呼称が付されていない要素についても、他の呼称を付すことを否定するものではない。なお、以下の説明において、「接続」は直接的な接続のみならず、他の要素を介して間接的に接続されることも意味する。

【0012】

以下、本発明の操作検出装置、操作検出方法及び操作検出システムについて、図面を参照しながら説明する。

【0013】

(第１の実施形態)
（操作検出装置１００の構成）
まず、第１の実施形態に係る操作検出装置１００の構成について、図１を参照しながら説明する。また、操作検出装置は各種の部品を含み、図１には、第１の実施形態の技術思想に関する部品のみが示されており、その他の部品は省略している。

【0014】

また、操作検出装置は種々の操作を検出するように構成可能であるが、本明細書においては、操作検出装置を電子製品の組立生産ラインに用いて生産ラインにおける各ステーションのオペレータの操業状態を検出することを例として説明する。第１の実施形態の操作検出装置は、生産ラインにおける各ステーションのオペレータの操作を撮像して得られた動画像に基づいて、当該操作を検出する。

【0015】

図１に示すように、操作検出装置１００は対象検出モデル取得部１０１、対象情報取得部１０２、検出画像入力部１０３及び操作検出部１０４を備える。

【0016】

対象検出モデル取得部１０１は、複数枚のトレーニング画像に基づいて得られた対象検出モデルを取得するためのものである。

【0017】

ここでは、対象検出モデル取得部１０１は、有線又は無線通信を介して当該操作検出装置１００の外部装置（図示せず）から対象検出モデルを取得する。

【0018】

当該外部装置は、例えば下記の方法を用いて対象検出モデルを生成することができる対象検出モデル生成部材である。外部装置は、生産ラインにおける各ステーションのオペレータの操作を撮像して得られたトレーニング画像群である動画像を処理し、複数枚のトレーニング画像を抽出し、複数枚のトレーニング画像の各トレーニング画像に１つ以上の対象をマーキングする。マーキングの例は例えば図２に示される。１枚のトレーニング画像に「機体」、「手」、「手」という対象がマーキングされる。外部装置は、１つ以上の対象がマーキングされるとともに、時系列情報が含まれた複数枚のトレーニング画像に基づいてディープラーニングを行い、対象検出モデルを生成（トレーニング）する。ここでは、対象検出モデルを生成する方法はディープラーニングを説明したが、これは一例であって、これに限定されるものではない。正確な対象検出モデルを得ることができれば、公知又は将来現れる可能性のある様々な方法を用いることができる。

【0019】

対象情報取得部１０２は、複数枚のトレーニング画像から対象検出モデル取得部１０１により取得された対象検出モデルに基づいて、対象情報を取得する。例えばディープラーニングによってトレーニングされた対象検出モデルを複数枚のトレーニング画像に用いることにより、複数枚のトレーニング画像に含まれる対象情報を取得できる。取得できる対象情報は対象検出モデルに関係し、必要な対象情報に基づいて、対象検出モデルを意図的に得ることができる。ここでは、対象情報は、少なくとも対象名称、対象種別、対象位置、及び対象位置等の変化（例えば、移動方向や姿勢）等を含む。

【0020】

検出画像入力部１０３の一例は、生産ラインにおける各ステーションのオペレータの操作を撮像することにより得られた動画像を、検出画像として入力し得るカメラであってもよい。さらに、検出画像入力部１０３の例は、生産ラインにおける各ステーションのオペレータの操作を撮像することにより得られた動画像を、有線又は無線通信を介して外部から検出画像として受信し得る、データ受信機能を有する有線又は無線通信モジュール／部品であってもよい。

【0021】

操作検出部１０４は、対象情報取得部１０２により取得された対象情報と、検出画像入力部１０３により入力された検出画像とに基づいて、操作を検出する。ここでは、操作検出部１０４は、例えば対象情報取得部１０２により取得された対象情報に基づいて、検出画像に対し例えば画像処理、モード識別等の処理を行うことにより、操作を検出することができる。ここでは、操作とは、生産ラインにおける各ステーションのオペレータが、手又は工具等により、電子製品組立生産ラインにおけるワークピース、部品、容器等に何かを出し入れ、取り付け、位置合わせ、固定等の各種の操作を行うことである。つまり、操作は、対象及びその位置の変化により現れることができる。

【0022】

また、前記対象検出モデル取得部１０１、対象情報取得部１０２、操作検出部１０４は異なる部品又はモジュールであるが、これらの一部又は全部をまとめて１つの部品又はモジュールにすることができる。

【0023】

（操作検出装置１００の動作）
以下、動作フローチャートに基づいて、本発明の第１の実施形態に係る操作検出装置１００及びそれが用いる操作検出方法について説明する。

【0024】

図３は本発明の第１の実施形態の操作検出装置１００の動作フローチャートである。

【0025】

図３に示すように、ステップＳ３００において，操作検出装置１００は対象検出モデル取得部１０１により、複数枚のトレーニング画像に基づく対象検出モデルを取得する。その後、操作検出装置１００の処理はステップＳ３０２に進む。

【0026】

ステップＳ３０２において、操作検出装置１００は、対象情報取得部１０２により、複数枚のトレーニング画像と、対象検出モデル取得部１０１により取得された対象検出モデルとに基づいて対象情報を取得する。その後、操作検出装置１００の処理はステップＳ３０４に進む。ここでは、対象名称、対象種別、対象位置、対象位置の変化、及び対象同士の相対位置の変化を含む対象情報を取得するとする。

【0027】

ステップＳ３０４において、操作検出装置１００は、検出画像入力部１０３により、生産ラインにおける各ステーションのオペレータの操作を撮像して得られた動画像を検出画像として入力する。その後、操作検出装置１００の処理はステップＳ３０６に進む。

【0028】

ステップＳ３０６において、操作検出装置１００は、操作検出部１０４により、対象情報取得部１０２により取得された対象情報と、検出画像入力部１０３により入力された検出画像とに基づいて、操作を検出する。その後、操作検出装置１００の処理は終了する。

【0029】

本実施形態に係る操作検出装置１００によれば、生産ラインにおける各ステーションのオペレータの操作を撮像して得られた動画像を用いて操作検出を人手に頼らずに行うことにより、従来技術のようにＩＥエンジニアが手動で操作観測を行うことにより生じる問題を避けることができる。また、ディープラーニング等の方法に基づく対象検出モデルを用いることにより、検出画像に反映された生産ライン上の各オペレータの操作にかかる対象を正確に検出し、位置決めし、追跡し、かつ当該対象の対象情報を取得することができる。これにより、操作を正確、かつタイムリーで効率的に検出することができ、製品欠陥を予測又は検出するように操作異常をもれなく検出することができ、オペレータを評価するように生産ライン上のオペレータの操作を追跡することができる。また、操作を正確に、タイムリーで検出することにより、当該操作を利用して動画像における特定の動作を検索しかつ位置決めすることができる。これにより、オペレータの操作を分析し評価して生産ラインを改善することに寄与することができる。

【0030】

以下、第１の実施形態の操作検出装置１００の各実施例について説明する。以下、対応する要素には同じ参照数字を付して重複する説明を省略する。

【0031】

（実施例１）
以下、本発明の第１の実施形態の操作検出装置１００の実施例１について説明する。

【0032】

実施例１において、操作検出装置１００の構造は図１に示した構造と同様に、対象検出モデル取得部１０１、対象情報取得部１０２、検出画像入力部１０３及び操作検出部１０４を含み、ここではそれらの詳細は繰り返し説明しない。

【0033】

また、実施例１における操作検出部１０４の構造は、図４に示すように、イベント生成手段１０４１、操作モード生成手段１０４３及び操作検出手段１０４５を含む。

【0034】

イベント生成手段１０４１は、対象情報取得部１０２により取得された対象情報に基づいてイベントを生成する。ここでは、イベントは、対象インタラクション即ち対象位置が変化することにより対象間に関係が生じる、又は対象間で関係が変化することにより発生するイベント、及び対象が画像（撮像視野）に現れる又は消えるというイベントを含む。

【0035】

以下、イベントの生成について、電子製品の組立生産ラインを例として説明する。図５には電子製品の組立生産ラインにおけるイベントが生成する方法例が示される。すなわち、総じて言えば、イベントは、対象、対象位置及び対象関係に基づいて生成するものである。

【0036】

また、対象について、図５に示すように、電子製品の組立生産ラインにおいて、対象タイプは「手」、「容器」、「ワークピース」、「部品」、「工具」であってもよい。ここでは、「手」、「容器」、「ワークピース」、「部品」、「工具」として分類される。対象タイプの分類方法は一例であって、これに限定されるものではなく、生産ラインに係る対象及び／又は実際の必要に応じて他の分類を行うことができる。図６は対象タイプ「容器」の詳細の一例を示す。図７は対象タイプ「ワークピース」の詳細の一例を示す。図８は対象タイプ「部品」の詳細の一例を示す。図９は対象タイプ「工具」の詳細の一例を示す。

【0037】

また、図５に示すように、対象関係は、例えば「上」、「下」、「左」、「右」、「中心」であってもよい。

【0038】

また、対象位置及び対象関係に基づいてイベントを生成し、例えば、上述のような対象、対象位置及び対象関係に基づいて、「前方から品物を取る」、「機体上に操作する」、「ねじ回しを用いる」、「走査ガンを用いる」、「主板上に操作する」等の対象インタラクションを認識し、認識された対象インストラクションから発生したイベントを生成することができる。また、「ＵｓｂＰＣＢが現れる」、「主板が現れる」、「主板が消える」、「機体が現れる」等の対象が画像（視野）に現れる又は消えるというイベントを生成することができる。図１０には「機体上に操作が取り付けられる−左上」というイベントが示される。図１０に示すように、当該イベントのイベントタイプは、「ワークピース上に操作する」ということであり、当該イベントを生成する対象は、「機体」というワークピースであり、「機体上に操作が取り付けられる−左上」というイベントに係る操作の位置は対象位置に相当し、「水平 左部 垂直 上部」であり、このイベントのＳＯＰ時間は「不確定」である。ここでは、ＳＯＰ時間は、「機体上に操作が取り付けられる−左上」というイベントの発生に要する基準時間であり、当該ＳＯＰ時間は、装置出荷前に予め設定されてもよく、出荷後にユーザによって設定又は調整を行ってもよい。また、図１０において、ＳＯＰ時間は「不確定」であるが、ＳＯＰ時間は、具体的な時間長さ、例えば１．０秒、２．０秒等であってもよい。

【0039】

また、操作モード生成手段１０４３は、イベント生成手段１０４１により生成されたイベントに基づいて、操作モードを生成する。ここでは、操作モードとは、どのようにイベントにより操作を構成するかということである。また、操作モードの数は１つ以上である。なお、１つのイベントに基づいて操作モードを生成してもよく、１つ以上のイベントに基づいて操作モードを生成してもよい。図１１にはイベントに基づいて生成した操作モードの一例が示される。図１１に示すように、操作名が「ＳＹＳ ＰＣＢをＣＯＶＥＲに取り付ける」という操作は、２つのイベントに基づいて生成され、番号が「０」のイベント後に、番号が「１」のイベントを行う。図１１は一例であって、これに限定されるものではない。

【0040】

また、操作検出手段１０４５は、検出画像入力部１０３により入力された検出画像と、操作モード生成手段１０４３により生成された操作モードとに基づいて、操作を検出する。例えば検出画像入力部１０３により入力された検出画像から、操作モード生成手段１０４３により生成された図１１に示すような操作モードに適合する操作が識別された場合、当該操作が検出される。操作モードに基づいて検出画像から操作モードに適合する操作を検出する方法は、例えば従来のモード識別等の技術を応用することができ、ここではその詳細は説明しない。

【0041】

（実施例１の動作）
以下、実施例１の操作検出装置１００が実行する動作である操作検出方法について、図１２を参照しながら説明する。また、図１２に示すステップＳ３０６０、Ｓ３０６２、Ｓ３０６４は操作検出部１０４の動作であるため、図１２に示す動作フローは、図３におけるステップＳ３０６の代わりに、ステップＳ３０６０、Ｓ３０６２、Ｓ３０６４を用いて得られるものである。

【0042】

図１２に示すように、動作が開始した後、操作検出装置１００はステップＳ３００、Ｓ３０２、Ｓ３０４を実行する。操作検出装置１００が実行するステップＳ３００、Ｓ３０２、Ｓ３０４の動作は、上述の第１の実施形態に係る図３のステップＳ３００、Ｓ３０２、Ｓ３０４の動作と同一であり、ここではその説明は繰り返えさない。ステップＳ３０４において検出画像が入力された後に、操作検出装置１００の処理はステップＳ３０６０に進む。

【0043】

ステップＳ３０６０において、操作検出装置１００は、イベント生成手段１０４１により、ステップＳ３０２において対象情報取得部１０２により取得された対象情報に基づいてイベントを生成する。その後、操作検出装置１００の処理はステップＳ３０６２に進む。ここでは、イベント生成手段１０４１は例えば図１３に示す２つのイベントを生成するとする。

【0044】

ステップＳ３０６２において、操作検出装置１００は、操作モード生成手段１０４３により、ステップＳ３０６０においてイベント生成手段１０４１により生成されたイベント（例えば図１３に示すように）に基づいて、操作モードを生成する。その後、操作検出装置１００の処理はステップＳ３０６４に進む。ここでは、操作モード生成手段１０４３は図１１に示す操作モードを生成するように設けられる。

【0045】

ステップＳ３０６４において、操作検出装置１００は操作検出手段１０４５により、ステップＳ３０４において検出画像入力部により入力された検出画像と、ステップＳ３０６２において操作モード生成手段１０４３により生成された操作モード（例えば図１１に示すように）とに基づいて、操作を検出する。

【0046】

本実施例に係る操作検出装置１００によれば、上述のような第１の実施形態の技術効果を備える。操作検出装置１００はディープラーニング等の方法に基づく対象検出モデルを利用し、検出画像に反映される生産ライン上の各オペレータの操作に係る対象を正確に検出し、位置決めして追跡し、当該対象の対象情報を取得することによりイベントを生成することができる。これによりイベントを検出して操作を正確に、タイムリーで効率的に検出することができる。生産ライン上のオペレータによる操作を複数回繰り返す検出に対して、検出効率を向上させることができ、操作を検出するリアルタイム性の向上に寄与することができるので、生産ラインのバランスをリアルタイムに把握して調整することに寄与し、生産率の向上に寄与し、より早く生産ライン上の異常操作を発見することができる。これにより、欠陥製品をタイムリーで効率的に発見し、かつより多くの欠陥製品が製造されるのを避けるようにできるだけ早く調整することができる。

【0047】

（実施例２）
以下、第１の実施形態の操作検出装置１００の実施例２について説明する。

【0048】

実施例２の操作検出装置１００の構造は、図１に示した構造と同様に、対象検出モデル取得部１０１、対象情報取得部１０２、検出画像入力部１０３及び操作検出部１０４を備え、ここではそれらの詳細は繰り返し説明しない。

【0049】

また、実施例２における操作検出部１０４の構成は、図１４に示すように、図４に示した実施例１との相違点は、動作モード生成手段１０４２をさらに備えることにある。

【0050】

動作モード生成手段１０４２は、イベント生成手段１０４１により生成されたイベントに基づいて、動作モードを生成する。ここでは、動作モードとは、どのようにイベントにより動作を構成するかということである。また、動作モードの数は、１つ以上であってもよく、複数の動作モードは動作モードシーケンスを構成する。なお、１つのイベントに基づいて動作モードを生成してもよく、１つ以上のイベントであるイベントシーケンスに基づいて動作モードを生成しでもよい。図１５及び図１６には、それぞれイベントに基づいて生成された動作モードの一例が示されている。図１５に示すように、動作名が「走査」の動作は、２つのイベントに基づいて生成され、番号が「０」のイベントの後に、番号が「１」のイベントが行われる。図１６に示すように、動作名が「ねじを打って固定する」の動作も同様に２つのイベントに基づいて生成され、番号が「０」のイベントの後に、番号が「１」のイベントが行われる。

【0051】

また、動作モード生成手段１０４２は、図１７に示すような動作モードシーケンスを生成しでもよい。

【0052】

また、実施例２において、操作モード生成手段１０４３は動作モード生成手段１０４２により生成された動作モードに基づいて、操作モードを生成する。操作検出手段１０４５は検出画像入力部１０３により入力された検出画像と、操作モード生成手段１０４３により生成された操作モードとに基づいて、操作を検出する。

【0053】

（実施例２の動作）
以下、実施例２の操作検出装置１００が実行する動作である操作検出方法について、図１８を参照しながら説明する。また、図１８に示すステップＳ３０６０、Ｓ３０６１、Ｓ３０６３、Ｓ３０６５は操作検出部１０４の動作であるため、図１８に示す動作フローは、図３におけるステップＳ３０６の代わりに、ステップＳ３０６０、Ｓ３０６１、Ｓ３０６３、Ｓ３０６５を用いて得られるものである。

【0054】

図１８に示すように、動作が開始した後、操作検出装置１００はステップＳ３００、Ｓ３０２、Ｓ３０４を実行する。操作検出装置１００が実行するステップＳ３００、Ｓ３０２、Ｓ３０４の動作は、上述の第１の実施形態に係る図３のステップＳ３００、Ｓ３０２、Ｓ３０４の動作と同じであり、ここではその説明は繰り返えさない。ステップＳ３０４に検出画像が入力された後に、操作検出装置１００の処理はステップＳ３０６０に進む。

【0055】

ステップＳ３０６０において、操作検出装置１００はイベント生成手段１０４１により、ステップＳ３０２において対象情報取得部１０２により取得された対象情報に基づいてイベントを生成する。その後、操作検出装置１００の処理はステップＳ３０６１に進む。ここでは、イベント生成手段１０４１は例えば図１９に示す４つのイベントを生成するとする。

【0056】

ステップＳ３０６１において、操作検出装置１００は動作モード生成手段１０４２により、ステップＳ３０６０においてイベント生成手段１０４１により生成されたイベント（例えば図１９に示す）に基づいて、動作モードを生成する。その後、操作検出装置１００の処理はステップＳ３０６３に進む。ここでは、動作モード生成手段１０４２は図１５及び図１６に示す２つの動作モードを生成するとする。

【0057】

ステップＳ３０６３において、操作検出装置１００は操作モード生成手段１０４３により、ステップＳ３０６１において動作モード生成手段１０４２により生成された動作モード（例えば図１５及び図１６に示す）に基づいて、操作モードを生成する。その後、操作検出装置１００の処理はステップＳ３０６５に進む。ここでは、操作モード生成手段１０４３は図２０に示す操作モードを生成するとする。

【0058】

ステップＳ３０６５において、操作検出装置１００は操作検出手段１０４５により、ステップＳ３０４において検出画像入力部により入力された検出画像と、ステップＳ３０６３において操作モード生成手段１０４３により生成された操作モード（例えば図２０に示す）とに基づいて、操作を検出する。

【0059】

本実施例に係る操作検出装置１００によれば、上述のような第１の実施形態及び実施例１の技術効果を備える。なお、ディープラーニング等の方法に基づく対象検出モデルを利用し、検出画像に反映される生産ライン上の各オペレータの操作に係る対象を正確に検出し、位置決めして追跡する。さらに、当該対象の対象情報を取得することによりイベントを生成し、それによりイベントに基づいて動作モードを生成することで、動作モードを検出して操作をタイムリーで、効率的に検出することができる。動作モードはイベントよりもより完全な行為である。このように、生産ライン上のオペレータによる操作を複数回繰り返す検出について、実施例１に比べて、対象を繰り返し検出してイベントを生成する必要がなく、生成された動作モードのみに基づいて、操作を迅速に検出することができる。さらに、検出効率をさらに向上させることができ、操作を検出するリアルタイム性に一層寄与するとともに、生産ラインバランスをよりリアルタイムに把握して調整するのに一層寄与し、生産性の向上に一層寄与し、生産ラインでの異常動作をより早く発見することもできる。これにより欠陥製品をよりタイムリーで効果的に発見し、かつより多くの欠陥製品が製造されるのを避けるようにできるだけ早く調整することができる。

【0060】

（実施例３）
以下、第１の実施形態の操作検出装置１００の実施例３について説明する。

【0061】

実施例３に係る操作検出装置１００の構造は実施例２と同一であり、ここではそれらの詳細は繰り返し説明せず、相違点のみについて説明する。

【0062】

実施例３において、実施例２との相違点は、図１４に示す操作モード生成手段１０４３がイベント生成手段１０４１により生成されたイベントと、動作モード生成手段１０４２により生成された動作モードとに基づいて、操作モードを生成するということにある。

【0063】

（実施例３の動作）
図２２は、操作検出装置１００が実行する実施例３の動作である操作検出方法のフローである。図２２において、実施例２の操作検出装置１００が実行する動作と同一の動作には同一符号を付け、重複する説明を省略する。

【0064】

図２２に示すように、実施例２の操作検出装置１００の動作フローチャートである図１８との相違点は、ステップＳ３０６３の代わりにステップＳ３０６６を用いることにある。

【0065】

ステップＳ３０６６において、操作検出装置１００は操作モード生成手段１０４３により、ステップＳ３０６０においてイベント生成手段１０４１により生成されたイベントと、ステップＳ３０６１において動作モード生成手段１０４２により生成された動作モードとに基づいて、操作モードを生成した後に、ステップＳ３０６５に進む。ここでは、図２１に示す操作モードを生成するとする。

【0066】

その後、ステップＳ３０６５において、操作検出装置１００は操作検出手段１０４５により、ステップＳ３０４において検出画像入力部１０３により入力された検出画像と、ステップＳ３０６３において操作モード生成手段１０４３により生成された操作モード（例えば図２１に示す）とに基づいて、操作を検出する。

【0067】

本実施例に係る操作検出装置１００によれば、上述のような第１の実施形態、実施例１及び実施例２の技術効果を備え、ここでは、重複する説明は省略する。

【0068】

（第２の実施形態）
以下、第２の実施形態に係る操作検出装置１００Ａについて説明する。

【0069】

（操作検出装置１００Ａの構成）
図２３は、第２の実施形態の操作検出装置１００Ａの構成を示す図である。図２３において、第１の実施形態の操作検出装置１００の構造を示す図である図１と同一の要素には同一の符号を付け、重複説明を省略する。

【0070】

第２の実施形態の操作検出装置１００Ａと、第１の実施形態の操作検出装置１００との相違点は、第２の実施形態に係る操作検出装置１００Ａが操作時間検出部１０５を備えることにある。

【0071】

操作時間検出部１０５は操作検出部１０４により検出された操作に基づいて、操作の開始時間と終了時間を検出する。

【0072】

例えば、操作時間検出部１０５は操作検出部１０４により検出された操作に基づいて、検出画像に含まれる時間情報により、操作の開始時間と終了時間を特定する。

【0073】

また、操作時間検出部１０５は、操作検出部１０４により検出された操作に基づいて、当該操作を生成する操作モードのイベント及び／又は動作モードに含まれる時間情報に応じて、操作の開始時間と終了時間を検出する。

【0074】

（操作検出装置１００Ａの動作）
図２４は第２の実施形態の操作検出装置１００Ａの動作フローチャートである。図２４において、第１の実施形態の操作検出装置１００が実行する動作である図３に示す動作と同一の動作には同一の符号を付け、重複する説明を省略する。

【0075】

図２４に示すように、第１の実施形態の操作検出装置１００が実行する動作である図３に示す動作との相違点は、ステップＳ３００〜ステップＳ３０６を実行した後、処理を終了しておらず、ステップＳ２４０に進むことである。

【0076】

ステップＳ２４０において、操作時間検出部１０５は、操作検出部１０４により検出された操作に基づいて、操作の開始時間と終了時間を検出した後に、処理を終了する。

【0077】

第２の実施形態に係る操作検出装置１００Ａによれば、第１の実施形態及び各実施例の技術効果を備えることができ、それに加え、操作を検出した上で、さらに、操作の開始時間と終了時間を検出することができる。従って、例えばＩＥエンジニアに頼らずに、生産ライン上の各ステーションのオペレータの操作時間の情報をリアルタイムで、正確に、効率的に取得することができ、さらに、生産ラインのバランスをリアルタイム、正確に分析することができ、それにより、生産率と生産ラインに製造される製品の品質とを保証するようにタイムリーで調整することができる。

【0078】

以上、操作検出装置及び操作検出方法の具体的な表現形態について詳述したが、具体的な表現形態はこれに限定されるものではなく、操作検出システム、集積回路、プログラム及びプログラムが記録された媒体等の種々の形態で表現されてもよい。

【0079】

図２５は操作検出システムの構成を示す図である。

【0080】

図２５に示すように、操作検出システム１０００はトレーニング画像取得装置２００、対象検出モデル生成装置３００及び操作検出装置１００を備える。

【0081】

ここでは、操作検出装置１００は上述した操作検出装置１００であるため、ここでは、詳細な説明は省略する。また、操作検出システムは、当然ながら操作検出装置１００Ａを備えることもできる。

【0082】

トレーニング画像取得装置２００は、対象が撮像された複数枚のトレーニング画像を取得するためのものである。トレーニング画像取得装置２００は、生産ラインにおける各ステーションのオペレータの操作を撮像することにより、動画像を、トレーニング画像として得るカメラであってもよい。さらに、トレーニング画像取得装置２００は、有線又は無線通信を介して外部から生産ラインにおける各ステーションのオペレータの操作を撮像することにより動画像をトレーニング画像として得る、データ受信機能を有する有線又は無線通信モジュール／部品であってもよい。

【0083】

対象検出モデル生成装置３００は、トレーニング画像取得装置２００により取得された複数枚のトレーニング画像に基づいて、対象検出モデルを生成する。対象検出モデル生成装置３００は、例えば下記の方法を用いて対象検出モデルを生成することができる。即ち、生産ラインにおける各ステーションのオペレータの操作を撮像して得られたトレーニング画像群である動画像を処理して複数枚のトレーニング画像を抽出し、抽出された複数枚のトレーニング画像をマーキングし、複数枚のトレーニング画像の各トレーニング画像に１つ以上の対象をマーキングした後、当該１つ以上の対象がマーキングされた複数枚の、時系列情報が含まれたトレーニング画像に基づいてディープラーニングを行い、対象検出モデルを生成する（トレーニングする）。ここでは、ディープラーニングにより、対象検出モデルを生成する方法は一例であって、これに限定されるものではなく，正確な対象検出モデルを得ることができれば、公知又は将来現れる可能性のある様々な方法を用いることができる。

【0084】

操作検出システムは、含まれた操作検出装置に応じて、対応する操作検出装置の技術的効果を備え、ここでは繰り返し説明しない。

【0085】

本発明が提供する操作検出装置、操作検出方法及び操作検出システムによれば、生産ライン上の各オペレータの操作を入手に頼らず、正確に、リアルタイムに検出することができ、生産ラインのバランスを調整するように生産ライン上の各オペレータの作業時間情報を正確に検出することができ、製品欠陥を予測又は検出するように操作異常を漏れなく検出することができ、生産ライン上のオペレータの操作に追従することができ、オペレータの操作を分析評価して生産ラインを改善することに寄与する。

【0086】

（変形例）
以上、各実施形態について説明したが、本発明は前記実施形態、実施例及び変形例に限定されるものではない。例えば、当業者が上述した各実施形態、実施例及び変形例に対して適宜構成要素の追加、削除、設計変更を行ったもの、各実施形態、実施例又は変形例の特徴を適宜組み合わせたものも、本発明の技術的思想に合致する限り本発明の範囲に含まれる。

【0087】

例えば第２の実施形態において、第１の実施形態の実施例１〜実施例３を適用して操作を検出してもよい。

【0088】

なお、本発明は上記の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0089】

１００…操作検出装置、１０１…対象検出モデル取得部、１０２…対象情報取得部、１０３…検出画像入力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】