特許 6207764 作業支援システム、作業支援装置及び作業支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6207764

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】作業支援システム、作業支援装置及び作業支援方法

(51)【国際特許分類】

   G05B 19/418 20060101AFI20170925BHJP

   G06T 7/00 20170101ALI20170925BHJP

   B23P 21/00 20060101ALI20170925BHJP

【ＦＩ】

   G05B19/418 Z

   G06T7/00 300E

   B23P21/00 307J

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2016-561131(P2016-561131)

(86)(22)【出願日】2014年11月26日

(86)【国際出願番号】JP2014081196

(87)【国際公開番号】WO2016084151

(87)【国際公開日】20160602

【審査請求日】2016年10月12日

(73)【特許権者】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】100123434

【弁理士】

【氏名又は名称】田澤 英昭

(74)【代理人】

【識別番号】100101133

【弁理士】

【氏名又は名称】濱田 初音

(74)【代理人】

【識別番号】100199749

【弁理士】

【氏名又は名称】中島 成

(74)【代理人】

【識別番号】100188880

【弁理士】

【氏名又は名称】坂元 辰哉

(74)【代理人】

【識別番号】100197767

【弁理士】

【氏名又は名称】辻岡 将昭

(74)【代理人】

【識別番号】100201743

【弁理士】

【氏名又は名称】井上 和真

(72)【発明者】

【氏名】林田 高志

(72)【発明者】

【氏名】松下 浩延

(72)【発明者】

【氏名】清水 隆紀

(72)【発明者】

【氏名】片山 篤

【審査官】 田村 耕作

(56)【参考文献】

【文献】 特開２０１１−１７５６００（ＪＰ，Ａ）

【文献】 特開２００４−１８４０９５（ＪＰ，Ａ）

【文献】 特開２００５−３２２０５５（ＪＰ，Ａ）

【文献】 特開２０１３−２５０４７９（ＪＰ，Ａ）

【文献】 特表２００６−５１３５０９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０５Ｂ １９／４１８

Ｂ２３Ｐ ２１／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

作業者が製品に対して作業を行う作業領域を撮影する撮影装置、前記作業を支援する作業支援情報が含まれた投影画像を入力して前記作業領域に投影する投影機、前記撮影装置により撮影された撮影画像に基づいて前記投影画像を生成し、当該投影画像を前記投影機に出力する作業支援装置を備えた作業支援システムにおいて、
前記作業支援装置は、
前記製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、
前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録部と、
前記撮影装置により撮影された撮影画像を取得する画像取得部と、
前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定部と、
前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、
前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成部と、
前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力部とを備えた
ことを特徴とする作業支援システム。

【請求項2】

前記作業支援情報は複数あり、
前記支援情報登録部は、前記作業支援情報に対応する情報を登録し、
前記作業支援情報に対応する表示画像を入力して表示する、前記作業者が操作するタブレット端末を備え、
前記作業支援装置は、
前記支援情報登録部の登録情報に基づいて、前記表示画像を生成する表示画像生成部と、
前記投影画像出力部と連動して、前記表示画像生成部により生成された表示画像を前記タブレット端末に出力する表示画像出力部と、
前記タブレット端末による前記表示画像の表示後、前記作業者によるタップ操作から当該作業支援情報に対応する作業の完了を検出する作業完了検出部とを備え、
前記投影位置算出部は、前記作業完了検出部により前記作業支援情報に対応する作業の完了が検出された場合に、次の前記作業支援情報の投影位置を算出する
ことを特徴とする請求項１記載の作業支援システム。

【請求項3】

前記支援情報登録部は、前記作業支援情報に対応する情報として、前記製品の全体画像、及び前記作業支援情報に対応する当該全体画像上の作業箇所を登録し、
前記表示画像生成部は、前記表示画像として、前記製品の全体画像、及び当該全体画像上の作業箇所へのマークを含む画像を生成し、
前記作業完了検出部は、前記作業者によるタップ位置と、前記支援情報登録部に登録された前記全体画像上の作業箇所とを照合することで、該当する前記作業支援情報に対する作業の完了を検出する
ことを特徴とする請求項２記載の作業支援システム。

【請求項4】

前記位置特定部は、前記撮影画像のうち予め指定された部分と前記特徴画像との照合を行う
ことを特徴とする請求項１記載の作業支援システム。

【請求項5】

前記投影位置算出部は、作業工程順に前記作業支援情報の投影位置を算出する
ことを特徴とする請求項２記載の作業支援システム。

【請求項6】

前記作業支援情報は、検査作業を支援する情報であり、
前記投影位置算出部は、作業工程順とは異なる順に前記作業支援情報の投影位置を算出する
ことを特徴とする請求項２記載の作業支援システム。

【請求項7】

作業者が製品に対して作業を行う作業領域を撮影する撮影装置により撮影された撮影画像に基づいて前記作業を支援する作業支援情報が含まれた投影画像を生成し、前記撮影画像を入力して前記作業領域に投影する投影機に当該投影画像を出力する作業支援装置において、
前記製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、
前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録部と、
前記撮影装置により撮影された撮影画像を取得する画像取得部と、
前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定部と、
前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、
前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成部と、
前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力部と
を備えたことを特徴とする作業支援装置。

【請求項8】

作業者が製品に対して作業を行う作業領域を撮影する撮影装置、前記作業を支援する作業支援情報が含まれた投影画像を入力して前記作業領域に投影する投影機、前記撮影装置により撮影された撮影画像に基づいて前記投影画像を生成し、当該投影画像を前記投影機に出力する作業支援装置を備えた作業支援システムの作業支援方法において、
前記作業支援装置は、
特徴画像登録部が、前記製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録ステップと、
支援情報登録部が、前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録ステップと、
画像取得部が、前記撮影装置により撮影された撮影画像を取得する画像取得ステップと、
位置特定部が、前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定ステップと、
投影位置算出部が、前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出ステップと、
投影画像生成部が、前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成ステップと、
投影画像出力部が、前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力ステップとを有する
ことを特徴とする作業支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、作業者が製品に対して行う作業を支援する作業支援システム、作業支援装置及び作業支援方法に関するものである。

【背景技術】

【0002】

従来、作業者が製品に対して組立作業等の作業を行う場合に、作業要領書やチェックリスト等の書類を用いて作業を行っていた。しかしながら、この場合、製品毎に書類を置く場所が必要であった。また、作業者が書類の該当するページをめくる必要があり、また、これにより書類が汚れてしまうという課題もあった。また、書類を紛失する恐れもあった。
また、製品に対して組立作業等の作業を行う作業者に対し、モニタに作業内容を表示する装置が知られている（例えば特許文献１参照）。そして、作業者は、モニタに表示された作業内容に沿って組立作業を行い、作業が完了した後に作業完了スイッチを押す。これにより、装置側では、作業内容に沿った組立作業が正常に完了したと判断し、次の作業内容の表示に移行する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−６１５６６号公報

【特許文献2】特開２０１３−２３０５４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された従来構成では、製品とは異なる場所（例えば背面）に設置されたモニタに作業内容が表示されるため、作業者が作業内容を見間違えたり、作業内容を忘れたりする可能性がある。また、作業に慣れた作業者が、モニタの作業内容を確認せずに組立作業を行って作業完了スイッチを押す可能性がある。その結果、作業ミスが発生する恐れがあるという課題がある。
なお、特許文献２には、製品にレーザを照射することで、部品の設置位置を直接示す装置が示されている。しかしながら、特許文献２に開示された装置では、製品の設置位置が固定であることが前提となっているため、作業を行う製品の設置位置がその都度違う場合には対応できない。

【0005】

この発明は、上記のような課題を解決するためになされたもので、作業者が作業を行う製品の設置位置が変わる場合であっても、従来構成に対して作業ミスを低減することができる作業支援装置及び作業支援方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

この発明に係る作業支援装置は、製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、製品に対する作業支援情報の表示位置を登録する支援情報登録部と、撮影装置により撮影された撮影画像を取得する画像取得部と、特徴画像登録部に登録された情報に基づいて、画像取得部により取得された撮影画像と特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における製品の位置を特定する位置特定部と、位置特定部により特定された製品の位置及び支援情報登録部に登録された作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、投影位置算出部により算出された投影位置に作業支援情報を配置した投影画像を生成する投影画像生成部と、投影画像生成部により生成された投影画像を投影機に出力する投影画像出力部とを備えたものである。

【0007】

また、この発明に係る作業支援方法は、特徴画像登録部が、製品を認識可能な当該製品のうちの３箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録ステップと、支援情報登録部が、製品に対する作業支援情報の表示位置を登録する支援情報登録ステップと、画像取得部が、撮影装置により撮影された撮影画像を取得する画像取得ステップと、位置特定部が、特徴画像登録部に登録された情報に基づいて、画像取得部により取得された撮影画像と特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における製品の位置を特定する位置特定ステップと、投影位置算出部が、位置特定部により特定された製品の位置及び支援情報登録部に登録された作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出ステップと、投影画像生成部が、投影位置算出部により算出された投影位置に作業支援情報を配置した投影画像を生成する投影画像生成ステップと、投影画像出力部が、投影画像生成部により生成された投影画像を投影機に出力する投影画像出力ステップとを有するものである。

【発明の効果】

【0008】

この発明によれば、上記のように構成したので、作業者が作業を行う製品の設置位置が変わる場合であっても、従来構成に対して作業ミスを低減することができる。

【図面の簡単な説明】

【0009】

【図1】この発明の実施の形態１に係る作業支援システムの構成を示す図である。

【図2】この発明の実施の形態１に係る作業支援装置の構成を示す図である。

【図3】この発明の実施の形態１に係る作業支援装置の動作をフローチャートである。

【図4】この発明の実施の形態１における特徴画像登録部に登録された特徴画像の一例を示す図である。

【図5】この発明の実施の形態１における支援情報登録部に登録されたテーブルの一例を示す図である。

【図6】この発明の実施の形態１に係る作業支援装置による作業支援情報の製品への投影例を示す図である。

【図7】この発明の実施の形態１に係る作業支援装置による作業支援情報の製品への投影例を示す図である。

【図8】この発明の実施の形態１に係る作業支援装置による作業支援情報の製品への投影例を示す図である。

【図9】この発明の実施の形態２に係る作業支援システムの構成を示す図である。

【図10】この発明の実施の形態２に係る作業支援装置の構成を示す図である。

【図11】この発明の実施の形態２における支援情報登録部に登録されたテーブルの一例を示す図である。

【図12】この発明の実施の形態２におけるタブレット端末の表示例を示す図である。

【発明を実施するための形態】

【0010】

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る作業支援システムの構成を示す図である。
作業支援システムは、図１に示すように、撮影装置１、投影機（プロジェクタ）２及び作業支援装置３から構成されている。

【0011】

撮影装置１は、作業者が製品に対して作業を行う作業領域を撮影するものであり、例えばＷｅｂカメラ等が用いられる。この撮影装置１は、製品との間に作業者が重ならないような位置に設置される。
なお、作業者が行う作業としては、例えば、製品にネジを締付けたりコネクタを挿入したりする組立作業、製品にステッカー等を貼り付ける貼付作業、製品にコーティング剤を塗布する塗布作業、製品に設けられた複数のスイッチのうち指定されたスイッチのみを切替える切替作業や、これらの作業が正しく行われたかを検査する検査作業等が挙げられる。

【0012】

投影機２は、作業支援装置３から作業者による作業を支援するための情報（作業支援情報）が含まれた投影画像を入力し、当該投影画像を作業領域に投影するものである。これにより、作業領域上に位置する製品に対して作業支援情報が直接投影される。この投影機２は、製品との間に作業者が重ならないような位置に設置される。
なお、撮影装置１及び投影機２は汎用品でよい。また、撮影装置１における撮影領域の座標と、投影機２における投影領域の座標は、作業支援装置３にてそれぞれ変換可能に構成されている。また、作業支援装置３にてキャリブレーション値を指定しておくことで、任意に撮影装置１及び投影機２を変更可能である。

【0013】

作業支援装置３は、撮影装置１により撮影された撮影画像に基づいて作業支援情報を含む投影画像を生成し、当該投影画像を投影機２に出力するものである。この作業支援装置３は、図２に示すように、特徴画像登録部３１、支援情報登録部３２、画像取得部３３、位置特定部３４、投影位置算出部３５、投影画像生成部３６及び投影画像出力部３７から構成されている。なお、作業支援装置３の機能部３３〜３７は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。また、登録部３１，３２は、ＨＤＤ、ＤＶＤ、メモリ等によって構成される。

【0014】

特徴画像登録部３１は、上記製品毎に、当該製品を認識可能な当該製品のうちの３箇所以上の画像を特徴画像とし、当該各箇所の位置関係とともに登録するものである。

【0015】

支援情報登録部３２は、上記製品毎に、作業支援情報と、当該製品に対する当該作業支援情報の表示位置を登録するものである。ここで、作業支援情報としては、例えば、作業箇所を指し示す矢印や○、作業工程順を示す数字、作業内容を示す文字列等が挙げられる。また、製品の取り付け位置に部品が取り付けられているかのように表示する部品画像を用いてもよいし、アニメーション等を用いてもよい。また、これらを組み合わせてもよい。

【0016】

画像取得部３３は、撮影装置１により撮影された撮影画像を取得するものである。
位置特定部３４は、特徴画像登録部３１に登録された情報に基づいて、画像取得部３３により取得された撮影画像と特徴画像とを照合して当該製品の検出を行い、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における当該製品の位置を特定するものである。

【0017】

投影位置算出部３５は、位置特定部３４により特定された撮影画像における製品の位置及び支援情報登録部３２に登録された当該製品に対する該当する作業支援情報の表示位置から、当該作業支援情報の投影位置を算出するものである。

【0018】

投影画像生成部３６は、投影位置算出部３５により算出された投影位置に支援情報登録部３２に登録された該当する作業支援情報を配置した投影画像を生成するものである。
投影画像出力部３７は、投影画像生成部３６により生成された投影画像を投影機２に出力するものである。

【0019】

次に、上記のように構成された作業支援装置３の動作について、図３〜８を参照しながら説明する。
なお、特徴画像登録部３１では、予め、上記製品毎に３箇所以上の特徴画像を、その位置関係とともに登録している（特徴画像登録ステップ）。この特徴画像としては、製品の全体画像のうち、一意となる形状で、光の反射の少ない画像を用いる。また、特徴画像の大きさは、位置特定部３４での照合処理速度を考慮して設定する。
また、位置特定部３４では、各特徴画像と撮影画像の照合を行い、各特徴画像の位置関係と、撮影画像上の照合された各箇所の位置関係とから、製品の位置（設置された角度）を特定する。そのため、特徴画像は少なくとも３箇所以上必要である。例えば図４では、製品自体を撮影した全体画像４０１のうち、四隅の画像４０２ａ〜４０２ｄを切出して特徴画像としている。

【0020】

また、支援情報登録部３２では、予め、上記製品毎に、作業支援情報、及び当該製品に対する当該作業支援情報の表示位置を示す情報を登録している（支援情報登録ステップ）。支援情報登録部３２では、例えば図５に示すようなテーブルが予め設定され、保持している。図５に示すテーブルでは、製品を基準位置に設置した場合に投影機２で作業支援情報を投影する位置を示す投影座標上のＸ座標及びＹ座標（ＰＲＪ．Ｘ，ＰＲＪ．Ｙ）と、作業支援情報の内容（ＰＲＪ．ＭＡＲＫ）が登録されている。なお図５において、「ａｒｒｏｗ」は矢印、「ｃｉｒｃｌｅ」は丸、「ＭＳＧ」は文字列を示している。

【0021】

そして、作業支援装置３の動作では、図３に示すように、まず、画像取得部３３は、撮影装置１により撮影された撮影画像を取得する（ステップＳＴ１、画像取得ステップ）。すなわち、作業者が製品に対して作業を行う作業領域を撮影した撮影画像を取得する。

【0022】

次いで、位置特定部３４は、特徴画像登録部３１に登録された情報に基づいて、画像取得部３３により取得された撮影画像と特徴画像を照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における当該製品の位置を特定する（ステップＳＴ２、位置特定ステップ）。この際、位置特定部３４は、撮影画像の特定箇所と特徴画像との照合率が予め設定された閾値を超えた場合に、当該特定箇所を照合された箇所として検出する。この照合には、例えばＯｐｅｎＣＶ（Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）等の技術を利用すればよい。また、上記閾値は設定変更可能である。

【0023】

次いで、投影位置算出部３５は、位置特定部３４により特定された撮影画像における製品の位置及び支援情報登録部３２に登録された当該製品に対する該当する作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する（ステップＳＴ３、投影位置算出ステップ）。

【0024】

次いで、投影画像生成部３６は、投影位置算出部３５により算出された投影位置に支援情報登録部３２に登録された該当する作業支援情報を配置した投影画像を生成する（ステップＳＴ４、投影画像生成ステップ）。

【0025】

次いで、投影画像出力部３７は、投影画像生成部３６により生成された投影画像を投影機２に出力する（ステップＳＴ５、投影画像出力ステップ）。

【0026】

そして、投影機２は、作業支援装置３からの投影画像を入力し、この投影画像を製品に投影する。これにより、製品に対して作業支援情報を直接投影することができる。図６〜８に投影イメージ図を示す。その後、作業者は、製品に投影された作業支援情報に従って作業を行えばよく、従来のような作業内容の見間違えや、作業内容を忘れてしまうこと、作業内容を確認せずに作業を行うことを抑制でき、作業ミスを低減することができる。また、本発明では、撮影装置１により撮影された撮影画像を用いて製品の位置を特定しているため、製品の設置位置がその都度違う場合であっても、作業支援情報を正しい位置に投影することができる。
なお図６の例では、コネクタを挿入する箇所を指し示すように矢印を製品に投影した場合を示している。図７の例では、コネクタを挿入する箇所を囲むように丸を製品に投影した場合を示している。図８の例では、複数の作業工程について、作業箇所を囲む丸と、作業工程順を示す数字と、その作業内容を示す文字列を製品に投影した場合を示している。

【0027】

以上のように、この実施の形態１によれば、撮影画像と予め登録した特徴画像とを照合してその位置関係から当該撮影画像における製品の位置を特定し、その位置と予め登録した作業支援情報の製品に対する表示位置から当該作業支援情報の投影位置を算出して投影画像を生成し、投影機２により当該作業支援情報を当該製品に直接投影させるように構成したので、作業者が作業を行う製品の位置が変わる場合であっても、従来構成に対して作業ミスを低減することができる。また、作業箇所が複数ある場合に、作業に不慣れな作業者であっても、作業ミスを低減することができる。

【0028】

また本発明では、撮影装置１により撮影された撮影画像を用いて、リアルタイムに製品の特定を行うことが可能である。そのため、作業の途中で製品の設置位置が変わったとしても追従して位置を特定することが可能である。

【0029】

また図１の構成では、撮影装置１及び投影機２を１台ずつ設けた場合を示している。しかしながら、作業者の移動等により、撮影装置１及び投影機２の前に作業者が位置してしまうと、製品の検出及び製品への作業支援情報の投影が行えなくなる場合がある。そこで、撮影装置１及び投影機２を複数台ずつ設け、例えば左右にそれぞれ設置してもよい。これにより、作業者の背後に位置してしまう撮影装置１及び投影機２があったとしても、他の撮影装置１及び投影機２で製品の検出及び製品への作業支援情報の投影を行うことができる。

【0030】

また、本発明では、撮影装置１による撮影領域内に製品が投入された時点で、位置特定部３４による製品の検出が行われ次の作業指示準備を行う。そのため、作業者による作業をスムーズに開始することができる。

【0031】

また上記の位置特定部３４では、撮影画像全体と特徴画像との照合を行う場合について示した。しかしながら、これに限るものではなく、撮影画像のうちの予め指定された一部分と特徴画像との照合を行い、製品の検出を行うようにしてもよい。すなわち、現場では、製品の設置位置は事前にある程度把握することができる。そのため、撮影画像全体を照合対象とはせずに、一部分のみを照合対象とする。これにより、位置特定部３４による照合処理速度を向上させることができる。

【0032】

実施の形態２．
実施の形態２では、タブレット端末４を用いて、作業者が作業支援情報に従って作業を完了したかを確認するとともに、この確認に応じて次の作業支援情報の投影に移行する構成について示す。
図９はこの発明の実施の形態２に係る作業支援システムの構成を示す図であり、図１０はこの発明の実施の形態２に係る作業支援装置３の構成を示す図である。図９に示す実施の形態２に係る作業支援システムは、図１に示す実施の形態１に係る作業支援システムにタブレット端末４を追加したものである。また、図１０に示す実施の形態２に係る作業支援装置３は、図２に示す実施の形態１に係る作業支援装置３に表示画像生成部３８、表示画像出力部３９及び作業完了検出部４０を追加したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。

【0033】

タブレット端末４は、作業者が操作を行う端末である。このタブレット端末４は、投影機２による作業支援情報の投影と連動して、作業支援装置３から当該作業支援情報に対応する表示画像を入力し、当該表示画像を表示する。そして、作業者はその作業支援情報に対応した作業が完了した際に、タブレット端末４の表示画像上の所定箇所をタップすることで、作業支援装置３に作業完了を通知する。このタブレット端末４は汎用品でよい。

【0034】

また、作業支援装置３の支援情報登録部３２では、実施の形態１での登録情報に加え、製品毎に、作業支援情報に対応する情報（例えば、当該製品の全体画像、作業支援情報に対応する当該全体画像上の作業箇所、その作業内容）を登録している。支援情報登録部３２では、例えば図１１に示すようなテーブルが予め設定され、保持している。図１１に示すテーブルでは、図５に示した登録情報に加え、タブレット端末４に表示される製品の全体画像上の作業箇所を示すタブレット座標上のＸ座標及びＹ座標（ＤＳＰ．Ｘ，ＤＳＰ．Ｙ）と、製品の全体画像（ＤＳＰ．ＩＭＡＧＥ）と、その作業内容（ＤＳＰ．ＭＳＧ）が登録されている。

【0035】

表示画像生成部３８は、支援情報登録部３２の登録情報に基づいて、作業支援情報に対応する表示画像を生成するものである。
表示画像出力部３９は、投影画像出力部３７と連動して、表示画像生成部３８により生成された表示画像をタブレット端末４に出力するものである。

【0036】

作業完了検出部４０は、タブレット端末４による上記表示画像の表示後、作業者によるタップ操作から作業支援情報に対応する作業の完了を検出するものである。この際、以下に示す図１２の例では、作業完了検出部４０は、作業者によるタップ位置と、支援情報登録部３２に登録された全体画像上の作業箇所とを照合することで、該当する作業支援情報に対する作業の完了を検出する。
なお、表示画像生成部３８、表示画像出力部３９及び作業完了検出部４０は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。

【0037】

また、投影位置算出部３５は、作業完了検出部３８により作業支援情報に対応する作業の完了が検出された場合に、次の作業支援情報の投影位置を算出する。

【0038】

実施の形態２では、作業者が製品に対して作業を行う際に、投影機２により製品に対して作業支援情報が直接投影されるのとともに、タブレット端末４にも当該作業支援情報に対応する表示画像が表示される。例えば図１２では、図１１に示す登録情報に基づき、タブレット端末４に、製品の全体画像１２０１、作業箇所を示すマーク１２０２、及びその作業内容を示す情報１２０３を含む表示画像が表示される。

【0039】

そして、作業者は、製品に直接投影された作業支援情報に従って作業を行った後、図１２（ａ）に示すタブレット端末４の表示画像上のマーク１２０２をタップする。これを作業完了検出部４０にて検出し、作業支援装置３では、作業支援情報に従った作業が完了したことを確認する。そして、投影機２は次の作業支援情報の投影を行い、また、タブレット端末４も次の画面に移行する（図１２（ｂ））。

【0040】

以上のように、この実施の形態２によれば、投影機２による作業支援情報の製品への投影と連動して、タブレット端末４に当該作業支援情報に対応する表示画像を表示し、その後、作業者によるタップ操作から作業完了を確認して、次の作業支援情報の投影に移行するように構成したので、実施の形態１における効果に加え、タブレット端末４を用いた確認機能を付加することができ、作業ミスをより低減することができる。

【0041】

なお上記では、投影位置算出部３５が作業工程順に沿って作業支援情報の投影位置を算出して、製品に直接投影させるとともにタブレット端末４に対応する表示をさせる場合を想定している。一方、作業支援情報が検査作業を支援する情報である場合には、投影位置算出部３５が、上記作業工程順とは異なる順に作業支援情報の投影位置を算出するようにしてもよい。これにより、組立作業等の作業工程順とは異なる順序で検査を行うことができ、検査に対する意識向上を図ることができ、作業ミスのさらなる低減が期待できる。

【0042】

また、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

【産業上の利用可能性】

【0043】

この発明に係る作業支援システムは、作業者が作業を行う製品の位置が変わる場合であっても、従来構成に対して作業ミスを低減することができ、作業者が製品に対して行う作業を支援する作業支援システム等に用いるのに適している。

【符号の説明】

【0044】

１ 撮影装置、２ 投影機、３ 作業支援装置、４ タブレット端末、３１ 特徴画像登録部、３２ 支援情報登録部、３３ 画像取得部、３４ 位置特定部、３５ 投影位置算出部、３６ 投影画像生成部、３７ 投影画像出力部、３８ 表示画像生成部、３９ 表示画像出力部、４０ 作業完了検出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】