特許 7436627 画像処理装置、作業指示作成システム、作業指示作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】画像処理装置、作業指示作成システム、作業指示作成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240214BHJP

   G06T 7/70 20170101ALI20240214BHJP

   G06Q 50/04 20120101ALI20240214BHJP

【ＦＩ】

G06T7/00 610Z

G06T7/70 A

G06T7/00 350B

G06Q50/04

【請求項の数】 7

(21)【出願番号】P 2022504359

(86)(22)【出願日】2021-03-01

(86)【国際出願番号】 JP2021007765

(87)【国際公開番号】W WO2021177245

(87)【国際公開日】2021-09-10

【審査請求日】2022-11-21

(31)【優先権主張番号】P 2020038065

(32)【優先日】2020-03-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】鴻巣 有史

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２００９－３７３９２（ＪＰ，Ａ）

【文献】特開２０１８－１４９６７７（ＪＰ，Ａ）

【文献】特開平７－１０８４２６（ＪＰ，Ａ）

【文献】特開２０１８－２０７３６０（ＪＰ，Ａ）

【文献】特開２０１９－１６１６０６（ＪＰ，Ａ）

【文献】特開２０１９－１０１５１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

作業対象物を含むように第１の画角で撮像された第１の画像を第１の機械学習により解析し、前記第１の画像内での前記作業対象物の位置を検出する作業対象物検出部と、
検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で撮像された第２の画像を第２の機械学習で解析し、前記作業対象物の作業状態を検出する作業状況検出部と、
検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成する作業指示作成部と、を備える画像処理装置。

【請求項2】

前記作業状況検出部は、前記第２の機械学習により前記第２の画像内における前記作業対象物上のボルト及びボルト締結用の孔の位置を検出することで、前記作業対象物に対する前記ボルトの締結状態を前記作業状態として検出する、請求項１に記載の画像処理装置。

【請求項3】

前記作業指示作成部は、前記孔にボルト締結を行うことを指示する情報を前記作業指示情報として生成する、請求項２に記載の画像処理装置。

【請求項4】

請求項１から３のいずれか一項に記載の画像処理装置と、
パン、チルト及びズーム機能を有する撮像装置と、
出力機器と、を備え、
前記作業対象物検出部は、前記撮像装置に前記作業対象物を前記第１の画角で撮像させることで前記第１の画像を取得し、
前記作業状況検出部は、前記作業対象物検出部により検出された前記作業対象物の位置に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで前記撮像装置に前記作業対象物を前記第２の画角で撮像させることで前記第２の画像を取得し、
前記作業指示作成部は、前記作業指示情報を前記出力機器に出力する、作業指示作成システム。

【請求項5】

作業空間内の複数の作業場にそれぞれ配置された複数の前記出力機器を備え、
複数の前記作業対象物が複数の前記作業場にそれぞれ配置され、
前記作業対象物検出部は、複数の前記作業対象物の各々の前記作業空間内での配置位置情報及び前記撮像装置の前記作業空間内での配置位置情報に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで、複数の前記作業対象物の各々について前記撮像装置に前記第１の画像を撮像させて複数の前記作業対象物の各々について前記第１の画像内での位置を検出し、
前記作業状況検出部は、複数の前記作業対象物の各々について検出された前記第１の画像内での位置に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで、複数の前記作業対象物の各々について前記撮像装置に前記第２の画像を撮像させて複数の前記作業対象物の各々について前記作業状態を検出し、
前記作業指示作成部は、検出された各々の前記作業対象物の作業状態に基づいて、各々の前記作業対象物に対する前記作業指示情報を生成して、前記出力機器の各々に出力する、請求項４に記載の作業指示作成システム。

【請求項6】

前記作業対象物検出部は、定期的に循環する形式で複数の前記作業対象物の各々について前記撮像装置に前記第１の画像を撮像させて複数の前記作業対象物の各々について前記第１の画像内での位置を検出する、請求項５に記載の作業指示作成システム。

【請求項7】

作業対象物が入る第１の画角で該作業対象物を撮像して第１の画像を取得し、
前記第１の画像を第１の機械学習により解析し、前記第１の画像内で前記作業対象物の位置を検出し、
検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で前記作業対象物を撮像して第２の画像を取得し、
前記第２の画像を第２の機械学習により解析し、前記作業対象物の作業状態を検出し、
検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成して出力機器に出力する、作業指示作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、作業指示作成システム及び作業指示作成方法に関する。

【背景技術】

【0002】

従来、撮像対象物を固定カメラで観察して撮像対象物の状態を確認することが行われている。例えば、特許文献１は、「ケーシングと、前記ケーシングの本体に着脱可能に設けられる構成部品と、前記ケーシングの内部の所定の撮像対象の画像データを取得する撮像装置とを備え、前記撮像装置は、前記撮像対象を撮像可能な位置となるように前記構成部品に支持されることを特徴とする空気処理装置」を記載する（請求項１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－３９６５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、人手作業の工程でカメラの画像を解析して作業状況を確認したり、作業状況から作業指示を作成するためには、作業対象物の厳密な位置決めが必要となる。しかしながら、作業対象物の厳密な位置決めは、作業者の作業の妨げとなったり、作業対象物の位置決めのための専用の固定器具が必要になるなど、カメラを用いた作業状況の解析のためのシステムを導入する障壁となっていた。また、作業対象物の厳密な位置決めをしても、作業対象物の個体差（例えば、プリント基板上の部品の実装位置の個体差）により画像解析が困難な場合もあった。また作業対象物によってはその外観の固定ができないものもあった（例えば、作業対象物としての産業用ロボットの各軸の位置姿勢）。

【課題を解決するための手段】

【0005】

本開示の一態様は、作業対象物を含むように第１の画角で撮像された第１の画像を第１の機械学習により解析し、前記第１の画像内での前記作業対象物の位置を検出する作業対象物検出部と、検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で撮像された第２の画像を第２の機械学習で解析し、前記作業対象物の作業状態を検出する作業状況検出部と、検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成する作業指示作成部と、を備える画像処理装置である。

【0006】

本開示の別の態様は、上記画像処理装置と、パン、チルト及びズーム機能を有する撮像装置と、出力機器と、を備え、前記作業対象物検出部は、前記撮像装置に前記作業対象物を前記第１の画角で撮像させることで前記第１の画像を取得し、前記作業状況検出部は、前記作業対象物検出部により検出された前記作業対象物の位置に基づいて、前記撮像装置のパン、チルト及びズーム機能を制御することで前記撮像装置に前記作業対象物を前記第２の画角で撮像させることで前記第２の画像を取得し、前記作業指示作成部は、前記作業指示情報を前記出力機器に出力する、作業指示作成システムである。

【0007】

本開示の更に別の態様は、作業対象物が入る第１の画角で該作業対象物を撮像して第１の画像を取得し、前記第１の画像を第１の機械学習により解析し、前記第１の画像内で前記作業対象物の位置を検出し、検出された前記作業対象物の位置に基づき、前記作業対象物を含むように前記第１の画角よりも狭い第２の画角で前記作業対象物を撮像して第２の画像を取得し、前記第２の画像を第２の機械学習により解析し、前記作業対象物の作業状態を検出し、検出された前記作業状態に基づいて前記作業対象物に対する作業指示内容を表す作業指示情報を生成して出力機器に出力する、作業指示作成方法である。

【発明の効果】

【0008】

上記構成によれば、作業対象物を厳密に位置決めできなかったり、作業対象物に個体差が有ったり、作業対象物の外観が固定されないような状況においても作業状態の確認及びそれに基づく作業指示の作成を確実に行うことができる。

【0009】

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る画像処理装置を含む作業指示作成システムのシステム構成図である。

【図2】画像処理装置の機能ブロック図である。

【図3A】ワークを広角で撮影した画像からワークを検出した例を示す図である。

【図3B】図３Ａのワークを望遠で撮影した画像からワークの作業状態を検出した例を示す図である。

【図4A】ワークを広角で撮影した画像からワークを検出した例を示す図である。

【図4B】図４Ａのワークを望遠で撮影した画像からワークに対する作業指示を作成して表示した例を示す図である。

【図5A】ワークを広角で撮影した画像からワークを検出した例を示す図である。

【図5B】図５Ａのワークを望遠で撮影した画像からワークに対する作業指示を作成して表示した例を示す図である。

【図6】畳み込みニューラルネットワークの構成例を表す図である。

【図7】作業指示作成処理を表すフローチャートである。

【図8】複数の作業場所にあるワークに対して作業指示を出すように構成された作業指示作成システムの構成を表す図である。

【発明を実施するための形態】

【0011】

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

【0012】

図１は本実施形態に係る画像処理装置１０を含む作業指示作成システム１のシステム構成図である。図１に示されるように、作業指示作成システム１は、画像処理装置１０と、出力機器２０と、パン、チルト、及びズーム機能を有する撮像装置３０とを備える。作業指示作成システム１は、作業対象物（以下、ワークと記す）Ｗの厳密な位置決めを要することなく、撮像装置３０により取得した作業対象物Ｗの画像を解析してワークＷに対する作業状態を確認し、作業者に対して出力機器２０を介して作業指示を出すように構成される。

【0013】

画像処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、操作部、入出力インタフェース、ネットワークインタフェース等を有する一般的なコンピュータとしての構成を有していても良い。出力機器２０は、作業者に対する作業指示を出力する機として、表示装置、音声出力装置、印刷装置等の様々な機器を用いることが可能である。本実施形態では出力機器２０として表示モニタを用いるものとする。出力機器２０は、作業台２６上に配置され、作業対象物Ｗに対し行うべき作業指示を表示する。撮像装置３０は、作業台２６が設置されている作業空間内において、ワークＷを撮像可能な位置に配置されていれば良い。

【0014】

図２は、画像処理装置１０の機能ブロック図を示す。図２に示されるように、画像処理装置１０は、画像取得部１１、作業対象物検出部１２、作業状況検出部１３、及び作業指示作成部１４を備える。画像取得部１１は、撮像装置３０が撮像した画像を取得する。作業対象物検出部１２は、ワークＷを含むように第１の画角（広角）で撮像された第１の画像を第１の機械学習により解析し、第１の画像内でのワークＷの位置を検出する。

【0015】

作業状況検出部１３は、作業対象物検出部１２により検出されたワークＷの位置に基づき、ワークＷを含むように（例えばワークＷが画像の中心付近に来るように）第１の画角よりも狭い（望遠側の）第２の画角で撮像された第２の画像を第２の機械学習で解析し、ワークＷの作業状態を検出する。作業指示作成部１４は、検出された作業状態に基づいてワークＷに対す作業指示内容を表す作業指示情報を生成し出力機器２０に出力させる。

【0016】

このように、本実施形態の画像処理装置１０は、まず作業空間を広角で撮影した画像を解析することにより画像内でのワークの位置を特定し、次に、特定されたワークＷの位置に基づいて、例えばワークが画像の中央に映るように望遠で撮影する。そして、画像処理装置１０は、望遠で大きく撮影されたワークの画像を解析することでワークに対する作業状況を確認し、作業指示情報を生成する。このような構成により、作業状況をカメラで確認するためにワークを厳密に位置決めする必要がなくなる。

【0017】

以下では、作業内容としてワークに対するネジ締め作業の場合を例として画像処理装置１０の動作の詳細について説明する。図３Ａは、撮像装置３０が、ワークＷ１を含む作業空間を広角で撮影した画像１０１である。ワークＷ１の広角画像を撮影するために、作業対象物検出部１２は、作業空間内でのワークＷ１の配置情報と撮像装置３０の作業空間内での配置情報とを用いて、撮像装置３０のパン、チルト、及びズーム機能を制御するようにしてもよい。作業対象物検出部１２は、画像取得部１１を介して画像１０１を取得する。

【0018】

作業対象物検出部１２は、機械学習を行う機能を有し、画像１０１を機械学習（第１の機械学習）により解析してワークＷ１の位置を検出する。図３Ａ中には、機械学習による物体検出結果として、ワークＷ１の領域を示す枠線（バウンディングボックス）２０１、物体検出結果を示すラベル３０１が表示されている。検出結果を示すラベル３０１は、カテゴリ分類の結果である部品（“ｐａｒｔｓ”）と、その確率“１．００”とを含む。作業対象物検出部１２は、このように画像１０１内に物体検出結果が重畳された画像を出力機器２０に表示するようにしても良い。

【0019】

次に、作業状況検出部１３は、作業対象物検出部１２により検出されたワークＷ１の位置に基づいて、撮像装置３０のパン、チルト、及びズーム機能を制御することで、例えば、ワークＷ１が画像の中心に写るように撮像装置３０に望遠でワークＷ１を撮影させる。図３Ｂは、撮像装置３０によりワークＷ１が画像の中心に写るように望遠で撮影されたワークＷ１の画像１０２である。そして、作業状況検出部１３は、画像１０２を機械学習（第２の機械学習）で解析することによりワークＷ１上のボルト及びボルト締結用の孔の位置を検出する。

【0020】

画像１０２内には、機械学習による物体検出結果として、ボルトの領域を示すバウンディングボックス２１１と、そのカテゴリ分類の結果のラベル３１１、及び孔の領域を示すバウンディングボックス２１２と、そのカテゴリ分類の結果であるラベル３１２とが示されている（一部にのみ符号を付す）。作業状況検出部１３は、このように画像１０２内に物体検出結果が重畳された画像を出力機器２０に表示するようにしても良い。

【0021】

本実施形態では、画像中の物体の検出に深層学習、具体的には、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）を用いた物体検出アルゴリズムを使用する。一般に、このような物体検出アルゴリズムは、
（１）物体を含む領域（バウンディングボックスと呼ばれる）の抽出
（２）領域のＣＮＮ特徴の演算
（３）領域のカテゴリ分類及び正確な位置の回帰
のタスクを含む。

【0022】

このような物体検出アルゴリズムで用いられるＣＮＮの基本的な構成を図６に示す。図６に示すように、ＣＮＮは、入力画像２５１にフィルタ（カーネル）を適用して畳み込み演算を行う畳み込み層２６１、２６２と、ダウンサンプリングを行うプーリング層２７１、２７２の組み合わせから構成される。図６に示した例では、畳み込み層とプーリング層を２つずつ積み重ねることで、特徴マップ２８１、２８２、２８３、２８４が段階的に生成される様子を図示した。このようにＣＮＮにより得られた特徴マップに出力層として全結合層２９１を適用してカテゴリ分類、或いはバウンディングボックスの位置の回帰を行う。

【0023】

畳み込み層２６１、２６１における畳み込みの演算は、以下の数式で表される順伝播をフィルタ（カーネル）のチャンネル数毎に行う処理に対応する。

【0024】

【数1】

ここで、ｚは畳み込み層ユニットの出力、ｗ_iはフィルタの重みパラメータ、ｘ_iは入力（局所領域）、ｈは活性化関数、ｂはバイアスである。活性化関数ｈとしては、例えば、ロジスティックシグモイド関数、ＲｅＬＵ（Rectified Linear Unit）等を用いることができる。

【0025】

プーリング層２７１、２７２における演算として、例えば、入力データ中の最大値を出力する最大値プーリング、或いは入力データの平均値を出力する平均値プーリングを用いることができる。

【0026】

これらのＣＮＮを用いた物体検出の機械学習の学習段階では、入力画像とそれに対する正解のバウンディングボックス及び物体カテゴリを与える。そして、入力画像から得られる出力と正解との間の、損失関数により定義される損失を最小化するパラメータを誤差逆伝搬法により学習する。

【0027】

上述のようなＣＮＮを用いた物体検出アルゴリズムとして、RCNN（Region with CNNfeatures）、YOLO（You Only Look Once）、SSD（Single Shot Multibox Detector）等が当分野において知られている。これらの中で、RCNNは、はじめに選択的探索法を用いて領域候補を抽出し、抽出した領域にＣＮＮを適用するアプローチに属し、YOLO,SSDは、ＣＮＮにより物体らしさとバウンディングボックスの位置の推定を一度に実行するアプローチに属する。

【0028】

なお、本実施形態では、上述した例に限らず、機械学習による各種物体検出手法を用いることができる。

【0029】

作業状況検出部１３における学習の段階では、図３Ａで例示したようなワークＷ１の画像と、正解としてワークＷ１の領域（バウンディングボックス）及び物体のカテゴリを与えて学習を実行しておく。作業状況検出部１３における学習の段階では、図３Ｂに例示したようなワークＷ１の画像と、正解としてのボルトの領域（バウンディングボックス）及び物体カテゴリ、及び、正解としての孔の領域（バウンディングボックス）及び物体カテゴリを与えて学習を行っておく。

【0030】

次に、作業指示作成部１４による作業指示作成の詳細について説明する。作業指示作成の第１の例について説明する。図４Ａに示すように撮像装置３０が広角で撮影したワークＷ１を含む画像４０１を作業対象物検出部１２が解析することによりワークＷ１の位置が検出されたとする。図４Ａには、作業対象物検出部１２によるワークＷ１の検出結果としてのバウンディングボックス４４１も示されている。次に、作業状況検出部１３は、ワークＷ１を含むように望遠で撮影された画像４０２（図４Ｂ）を解析してワークＷ１上のボルト及び孔の検出を行う。この場合、ワークＷ１にはまだボルトが締結されていない状態であるため、作業状況検出部１３は、ワークＷ１上で９個の孔ｈ（一部にのみ符号ｈを付す）及びその位置を検出する。

【0031】

次に、作業指示作成部１４は、作業状況検出部１３による検出結果（ボルトの締結状態）と、予め保持していた作業内容情報とを対比する。作業内容情報が、図４ＢのようにワークＷ１を見た場合に「左下の孔から順に時計回りに全ての孔にボルトを締結すること」であるとする。作業指示作成部１４は、作業状況検出部１３から取得した情報（９個の孔に未だボルトが締結されていない状態）と上記作業内容情報とを対比することで、左下の孔にボルトを締結する指示を作成する。図４Ｂには、このような指示の一例が表されている。図４Ｂに示されるように、作業指示作成部１４は、次にボルト締結をすべき左下の孔ｈを囲む四角の枠線４６１の表示色を、他の孔ｈを囲む四角の枠線４６２の表示色と変えることによって枠線４６１で囲まれた左下の孔ｈに対して締結指示が出ていることを視覚的に把握できるようにする。作業指示作成部１４は、このように作業指示を示す枠線４６１及び４６２が重畳された画像４０２を出力機器２０に表示させる。

【0032】

作業指示を作成するために、ワークＷ１を基準とした各孔ｈの位置を知る必要がある場合には、作業指示作成部１４は、次のような手法でワークＷ１を基準とした各孔ｈの位置を特定することができる。
（１）作業状況検出部１３が検出した画像４０２内での孔ｈの配列（この場合は逆Ｕの字状の配列）に基づいてワークＷ１の幾何学的中心を推定することにより、ワークＷ１を基準とした各孔ｈの位置を特定する。
（２）作業対象物検出部１２により検出された画像４０１内でのワークＷ１の位置と、作業状況検出部１３が検出した画像４０２内での孔ｈの位置と、画像４０２を取得するためにパン、チルト及びズーム機能がどのように制御されたかを表す情報とに基づいてワークＷ１を基準とした各孔ｈの位置を特定する。

【0033】

作業指示作成の第２の例について説明する。図５Ａに示すように撮像装置３０が広角で撮影したワークＷ１を含む画像５０１を作業対象物検出部１２が解析することによりワークＷ１の位置が検出されたとする。図５Ａには、作業対象物検出部１２によるワークＷ１の検出結果としてのバウンディングボックス５４１も示されている。次に、作業状況検出部１３は、ワークＷ１を含むように望遠で撮影された画像５０２（図５Ｂ）を解析してワークＷ１上のボルト及び孔の検出を行う。この場合、ワークＷ１の９つの孔のうち、左下の２つの孔にはボルトが締結されている状態であるため、作業状況検出部１３は、ワークＷ１の９つの孔の位置のうち左下の２箇所の位置にボルトｂを検出し、それ以外の７か所の位置に孔ｈを検出する。

【0034】

次に、作業指示作成部１４は、作業状況検出部１３による検出結果と、予め保持していて作業内容情報とを対比する。作業内容情報は、上述の図４Ｂの場合と同じであるものとする。作業指示作成部１４は、作業状況検出部１３から取得した情報（９個の孔のうち左下の２箇所にボルトが締結されている）と上記作業内容情報とを対比することで、左下から３番目の孔にボルトを締結する指示を作成する。図５Ｂには、このような指示の一例が表されている。図５Ｂに示されるように、作業指示作成部１４は、次にボルト締結をすべき左下から三番目の孔ｈを囲む四角の枠線５６１の表示色を、他の孔ｈを囲む四角の枠線５６２の表示色と変えることによって枠線５６１で囲まれた孔ｈに対して締結指示が出ていることを視覚的に把握できるようにする。さらに、作業指示作成部１４は、ボルトｂが締結済みの位置を囲む枠線５６０については枠線５６１及び５６２と異なる表示色を用いて締結済みであることを示すようにしても良い。作業指示作成部１４は、このように作業指示を示す枠線５６０－５６２が重畳された画像５０２を出力機器２０に表示させる。

【0035】

図７は、画像処理装置１０による作業指示作成処理（作業指示作成方法）をフローチャートとして表したものである。はじめに、画像処理装置１０（作業対象物検出部１２）は、撮像装置３０が広角（第１の画角）で撮影した第１の画像を取得する（ステップＳ１）。次に、作業対象物検出部１２は、第１の画像を機械学習（第１の機械学習）により解析し、作業対象物の位置を検出する（ステップＳ２）。次に、作業状況検出部１３は、作業対象物検出部１２により検出された作業対象物の位置に基づいて、例えば作業対象物が中心に写るように作業対象物を望遠（第２の画角）で撮影した第２の画像を取得する（ステップＳ３）。

【0036】

次に、作業状況検出部１３は、第２の画像を機械学習（第２の機械学習）により解析し、作業対象物の作業状態を確認する（ステップＳ４）。次に、作業指示作成部１４は、作業状況検出部１３により検出された作業状態に基づき、作業対象物に対する作業指示を作成し、出力機器２０に出力する（ステップＳ５）。

【0037】

実際の作業現場では、複数の作業者により作業工程が並行して行われる状況が想定される。図８に示すように、三人の作業者８１、８２、８３がそれぞれ作業を行う状況を想定する。この場合、図１に示した構成の作業指示作成システム１において画像処理装置１０に複数の出力機器２０を接続する構成とする。複数の出力機器２０を作業者８１－８３の位置にそれぞれ配置する。画像処理装置１０は、例えば、定期的に巡回する形で、或いは作業者側のイベント（例えば作業完了を示す信号）に応じて、それぞれの作業者８１－８３の作業状況を確認して作業指示を出す。

【0038】

具体的には、この場合、作業対象物検出部１２にワークＷ２１－Ｗ２３の作業空間内での配置位置情報（或いは作業者８１、８２、８３それぞれの作業場の配置位置情報）と、撮像装置３０の作業空間内での配置位置情報とを記憶させておく。作業者８１－８３の作業状況を循環して確認する動作を想定する。はじめに、作業対象物検出部１２は、ワークＷ２１の配置位置情報と、撮像装置３０の配置位置情報とに基づいて撮像装置３０をパン及びチルトさせて作業者８１の作業対象であるワークＷ２１を広角で撮影し、ワークＷ２１の画像内での位置を検出する。そして、作業状況検出部１３は作業者８１によるワークＷ２１に対する作業状況を確認する。そして、作業指示作成部１４は、ワークＷ２１の作業状況を、予め記憶しておいたワークＷ２１の作業内容情報と対比することで、作業者８１に対する作業指示を作成し作業者８１の位置の出力機器２０に出力する。作業者８２、８３に関しても同様の動作で順に作業指示の作成及び出力が行われる。

【0039】

ここでは、作業者８１－８３を定期的に循環する形式で作業状況を確認する動作例を説明したが、例えば、各作業者が自動締結機を用いている場合に自動締結機からネジ締め動作完了を示す信号を画像処理装置１０に送信する構成とすることで、作業者８１－８３側からのネジ締め完了を示す信号の到来に応じて作業状況を確認して次の作業指示を出す構成とすることができる。以上の構成によれば、従来構成であれば作業者三人に対して固定カメラが３台必要であったような状況に対しても、撮像装置３０一台で三人の作業者に対する作業指示を出すことができる。

【0040】

以上説明したように、本実施形態によれば、作業対象物を厳密に位置決めできなかったり、作業対象物に個体差が有ったり、作業対象物の外観が固定されないような状況においても作業状態の確認及びそれに基づく作業指示の作成を確実に行うことができる。

【0041】

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

【0042】

上述の実施形態では作業確認の内容としてワークのボルトの締結状態を確認する例を記載したが、作業確認の内容としては、プリント基板の部品の実装状態の確認、産業用ロボットについての組立状況の確認、バリ取り作業におけるバリ取り状態の確認、研磨作業における作業状態の確認など、画像解析により作業状態を確認し得る様々な作業が含まれ得る。

【0043】

図２に示した画像処理装置１０の機能ブロックは、画像処理装置１０のＣＰＵが、記憶装置に格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated IC）等のハードウェアを主体とした構成により実現されても良い。

【0044】

上述した実施形態における作業指示作成処理等の各種の処理を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

【符号の説明】

【0045】

１ 作業指示作成システム
１０ 画像処理装置
１１ 画像取得部
１２ 作業対象物検出部
１３ 作業状況検出部
１４ 作業指示作成部
２０ 出力機器
２６ 作業台
３０ 撮像装置

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】