特許 7507935 作業支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】作業支援方法

(51)【国際特許分類】

   G01J 5/48 20220101AFI20240621BHJP

   G01N 25/18 20060101ALI20240621BHJP

   G05B 23/02 20060101ALI20240621BHJP

【ＦＩ】

G01J5/48 C

G01J5/48 D

G01N25/18 Z

G05B23/02 X

【請求項の数】 4

(21)【出願番号】P 2023098475

(22)【出願日】2023-06-15

(62)【分割の表示】P 2021180144の分割

【原出願日】2016-04-19

(65)【公開番号】P2023107984

(43)【公開日】2023-08-03

【審査請求日】2023-06-15

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】吉田 大輔

(72)【発明者】

【氏名】伊藤 浩朗

【審査官】小澤 瞬

(56)【参考文献】

【文献】特開２０１０－１９７１５３（ＪＰ，Ａ）

【文献】再公表特許第２０１４／１３２５２１（ＪＰ，Ａ１）

【文献】特開２０００－２７４６９２（ＪＰ，Ａ）

【文献】特開２０１２－０２２６６８（ＪＰ，Ａ）

【文献】国際公開第２０１６／０１１５３４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｊ １／００ － Ｇ０１Ｊ １／６０

Ｇ０１Ｊ ５／００ － Ｇ０１Ｊ ５／９０

Ｇ０１Ｎ ２５／００ － Ｇ０１Ｎ ２５／７２

Ｇ０５Ｂ ２３／００ － Ｇ０５Ｂ ２３／０２

(57)【特許請求の範囲】

【請求項1】

頭部装着型の装置を用いた作業支援方法であって、
前記装置に含まれる可視光画像撮像部で、可視光画像を撮像する工程と、
前記装置に含まれる熱画像撮像部で、熱画像を撮像する工程と、
作業情報工程格納部が、作業毎の作業時間情報、作業温度情報を含む作業情報を格納する工程と、
作業進捗状況判定部が、前記可視光画像撮像部で撮像された前記可視光画像及び前記熱画像撮像部で撮像された前記熱画像から作業進捗状況を判定する工程と、
前記装置に含まれる表示部が、前記作業進捗状況判定部の判定結果を表示する工程と、
作業対象領域抽出部が、前記可視光画像から作業対象領域を抽出する工程と、
温度分布画像生成部が、前記熱画像から温度分布画像を生成する工程と、
作業対象領域温度算出部で、前記可視光画像及び前記温度分布画像に基づいて前記作業対象領域の対象温度を算出する工程と、
前記作業進捗状況判定部が、前記作業対象領域の前記対象温度及び前記作業対象領域に対する前記作業情報に基づいて前記作業進捗状況を判定する工程と、
前記作業進捗状況判定部が、前記判定結果から作業が終了したと判定した場合、作業の終了通知を前記表示部に表示させる工程と、を有する、
作業支援方法。

【請求項2】

請求項１記載の作業支援方法において、
前記作業情報工程格納部に複数の作業情報が登録されており、
前記作業進捗状況判定部が、前記判定結果から第一の作業が終了したと判定した場合、第二の作業の情報を前記表示部に表示させ、前記第二の作業についての作業進捗状況の判定を開始する工程を有する、
作業支援方法。

【請求項3】

請求項１記載の作業支援方法において、
前記装置が、前記作業対象領域温度算出部により算出された作業機器の作業温度と前記作業情報工程格納部に格納された前記作業情報の温度情報との差がある場合、前記作業機器の温度を制御する制御情報を、通信部により前記作業機器に対して出力する工程を有する、
作業支援方法。

【請求項4】

請求項３記載の作業支援方法において、
前記作業情報工程格納部に複数の作業情報が格納されており、
前記作業進捗状況判定部が、前記判定結果から第一の作業が終了したと判定した場合、第二の作業の情報に基づいて、前記作業機器の温度を制御する制御情報を、前記通信部により前記作業機器に対して出力する工程を有する、
作業支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業支援方法に関するものである。

【背景技術】

【0002】

近年、装置や設備の保守作業において携帯情報端末を用いた作業効率化が図られている。このような携帯情報端末によれば、作業員はあらかじめ作業情報を携帯情報端末に取り込んでおき、作業中は作業情報を画面に表示させることで必要な情報を得ることが可能である。

【0003】

しかしながら、携帯情報端末を手に持って画面を見ながら作業をする必要があり、このような状態では、作業が煩雑となり、却って作業効率が低下する場合があった。そこで、携帯情報端末を手に取ることなく作業者に情報を提供することができる作業支援装置が提案されている。

【0004】

例えば、特許文献１には、ヘッドマウントディスプレイと呼ばれる頭部搭載型の表示部を使用し、作業に関する情報を作業者に提示する作業支援装置が開示されている。このようなヘッドマウントディスプレイを用いることで、作業者は、携帯情報端末を手に持つ必要がなくなり、効率的に作業を実施することができる。

【0005】

また、特許文献１には、可視光撮像部及び赤外線撮像部が設けられ、可視光撮像部で撮像された可視光線像及び赤外線撮像部で撮像された赤外線像がヘッドマウントディスプレイに表示され、可視光線像から検出された部品と、赤外線像から取得された温度分布画像とから、温度が異常である部品を検知し、ヘッドマウントディスプレイを通じて作業者に異常が通知される作業支援装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１０－１９７１５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、特許文献１では、異常な温度となる部品を検知する方法については開示されているが、作業の進捗状況を作業者へ通知する方法については考慮されていなかった。このため、作業支援装置を使用していても、作業者は、作業の進捗状況を把握することが困難な場合があった。

【0008】

そこで、本発明の目的は、作業の進捗状況を作業者に知らせることができる作業支援装置及び作業支援システムを提供することにある。

【課題を解決するための手段】

【0009】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

【0010】

本発明の代表的な実施の形態による作業支援装置は、可視光画像を撮像する可視光画像撮像部と、熱画像を撮像する熱画像撮像部と、可視光画像撮像部で撮像された可視光画像及び熱画像撮像部で撮像された熱画像から作業進捗状況を判定する作業進捗状況判定部と、作業進捗状況の判定結果を表示する表示部と、を有する。

【発明の効果】

【0011】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

【0012】

すなわち、本発明の代表的な実施の形態によれば、作業の進捗状況を作業者に知らせることができる作業支援装置を提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態１に係る作業支援装置の構成の一例を示すブロック図である。

【図2】本発明の実施の形態１における作業進捗状況判定部の動作の一例を示すフローチャート図である。

【図3】作業進捗状況に応じて表示部に表示される画像の一例を示す図である。

【図4】本発明の実施の形態１に係る作業支援装置の形態の一例を示す図である。

【図5】本発明の実施の形態１に係るヘッドマウントディスプレイの形態の一例を示す図である。

【図6】本発明の実施の形態２における作業進捗状況判定部の動作の一例を示すフローチャート図である。

【図7】作業進捗状況に応じて表示部に表示される画像の一例を示す図である。

【図8】本発明の実施の形態３に係る作業支援システムの構成の一例を示すブロック図である。

【図9】本発明の実施の形態４に係る作業支援システムの構成の一例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全ての図において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。また、図面をわかりやすくするために平面図であってもハッチングを付す場合がある。

【0015】

さらに、以下の実施の形態では便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明などの関係にある。

【0016】

また、以下の実施の形態において、要素の数など（個数、数値、量、範囲などを含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合などを除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良いものとする。

【0017】

また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0018】

また、以下の実施の形態において、構成要素等について、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲等に
ついても同様である。

【0019】

（実施の形態１）
図１は、本発明の実施の形態１に係る作業支援装置の構成の一例を示すブロック図である。作業支援装置１５０は、図１に示すように、可視光撮像部としての可視光カメラ１０１、熱画像撮像部としての遠赤外カメラ１０３、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６、表示部１０７を備えている。

【0020】

可視光カメラ１０１は、作業領域抽出部１０２と接続されている。作業領域抽出部１０２は、可視光カメラ１０１及び作業対象領域温度算出部１０５と接続されている。遠赤外カメラ１０３は、温度分布画像生成部１０４と接続されている。温度分布画像生成部１０４は、遠赤外カメラ１０３及び作業対象領域温度算出部１０５と接続されている。作業対象領域温度算出部１０５は、作業対象領域抽出部１０２、温度分布画像生成部１０４及び作業進捗状況判定部１０６と接続されている。作業進捗状況判定部１０６は、作業対象領域温度算出部１０５及び表示部１０７と接続されている。

【0021】

可視光カメラ１０１は、例えば、作業対象領域やその周辺領域の可視光画像を撮像し、撮像した可視光画像を作業対象領域抽出部１０２に出力する。

【0022】

作業対象領域抽出部１０２は、可視光画像から作業対象領域を抽出する。例えば、作業対象領域抽出部１０２には、作業内容に関するデータが格納され、作業対象領域を特定するデータと可視光画像とを比較することにより、可視光画像から作業対象領域を抽出する。詳しくは、作業対象領域抽出部１０２は、可視光画像を画像処理することにより可視光画像中の物体の形状や大きさを特定し、事前に登録されている作業対象物の形状や大きさと参照する。このように、作業対象領域抽出部１０２は、撮像された可視光画像の中から温度測定を行う作業対象領域を抽出する。

【0023】

遠赤外カメラ１０３は、例えば、作業対象領域やその周辺の熱画像を撮像し、撮像した熱画像を温度分布画像生成部１０４に出力する。

【0024】

可視光カメラ１０１及び遠赤外カメラ１０３は、例えば、遠赤外カメラ１０３の撮像領域と可視光カメラ１０１の撮像領域とがほぼ同等となるように、調整されていることが好ましい。

【0025】

温度分布画像生成部１０４は、熱画像撮像部１０３で撮像された熱画像から温度分布画像を生成する。例えば、温度分布画像生成部１０４は、遠赤外カメラ１０３で撮像された熱画像を可視光画像に変換して温度分布画像を生成する。温度分布画像では、温度ごとに異なる色が表示されている。例えば、温度分布画像では、低温が青色で表示され、中温が黄色で表示され、高温が赤色で表示されている。

【0026】

作業対象領域温度算出部１０５は、可視光画像及び温度分布画像生成部１０４において生成された温度分布画像に基づいて作業対象領域抽出部１０２で抽出された作業対象領域の作業温度を算出する。例えば、作業対象領域温度算出部１０５は、作業対象領域抽出部１０２で抽出された温度測定の対象となる作業対象領域について、可視光画像と温度分布画像とを比較することにより温度分布画像における作業対象領域を特定し、作業対象領域の温度を算出する。

【0027】

作業進捗状況判定部１０６は、作業対象領域温度算出部１０５で算出された作業対象領域の作業温度に基づいて作業進捗状況を判定する。例えば、作業進捗状況判定部１０６は、作業対象領域の作業温度及び作業対象領域に対する作業時間に基づいて作業進捗状況を判定する。具体的には、作業進捗状況判定部１０６は、作業対象領域が予め設定された所定の作業温度以上に達したら作業時間の計測を開始し、作業時間及び予め設定された所定の作業時間に基づいて作業進捗状況を判定する。

【0028】

作業進捗状況判定部１０６には、例えば、図示しないデータ格納部が設けられ、データ格納部には、作業内容、作業対象領域ごとの所定の作業温度、所定の作業時間、表示部１０７に表示させる画像等に関する各種データや、作業進捗状況判定部１０６等、作業支援装置１５０を構成する各部の制御に係る制御プログラム等が格納されるようにしてもよい。また、データ格納部は、作業支援装置１５０を構成するその他の構成要素に設けられるようにしてもよいし、独立して設けられてもよい。

【0029】

ここで、作業進捗状況判定部１０６において作業進捗状況の判定に係る一連の動作について詳しく説明する。図２は、本発明の実施の形態１における作業進捗状況判定部の動作の一例を示すフローチャート図である。図３は、作業進捗状況に応じて表示部に表示される画像の一例を示す図である。

【0030】

以下では、作業対象領域に対して加熱する作業を例に挙げて、作業進捗状況判定部の動作を説明する。また、加熱作業は、例えば、図示しない作業機器により実施される。

【0031】

まず、工程Ｓ１１では、作業進捗状況判定部１０６は、作業時間を「０」にセットする（ｃｏｕｎｔｅｒ＝０）。このような工程を設けているのは、これ以前に実施した作業において計測した作業時間をリセットするためである。作業進捗状況判定部１０６は、作業時間をリセットすると、工程Ｓ１２に移行する。

【0032】

工程Ｓ１２では、作業進捗状況判定部１０６は、作業対象領域温度算出部１０５で算出された作業対象領域の作業温度（Ｔｅｍｐ＿ｔａｒｇｅｔ）と、予め設定された所定の作業温度（Ｔｅｍｐ＿ｓｅｔ）とを比較する。作業進捗状況判定部１０６は、作業内容に対応する所定の作業温度（Ｔｅｍｐ＿ｓｅｔ）を、例えば図示しないデータ格納部から読み出す。作業進捗状況判定部１０６は、これらの温度を比較した結果、作業対象領域の作業温度が所定の作業温度未満、すなわち、作業対象領域の作業温度が所定の作業温度に達していない場合（Ｔｅｍｐ＿ｔａｒｇｅｔ＜Ｔｅｍｐ＿ｓｅｔ）には、作業進捗状況が０％であると判定し、工程Ｓ１３に移行する（判定結果がＮｏ）。

【0033】

工程Ｓ１３では、作業進捗状況判定部１０６は、表示部１０７に進捗率が０％であることを示す画像に関するデータを、図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図３（ａ）に示すような判定結果に関する画像を表示する。また、表示部１０７は、これ以外にも、図３（ａ）に示すように、例えば作業対象領域の状況等について示す画像を判定結果と合わせて表示するようにしてもよい。表示部１０７にこのような画像が表示されると、作業進捗状況判定部１０６は再び工程Ｓ１２に移行する。したがって、作業進捗状況判定部１０６は、作業対象領域の作業温度が、所定の作業温度に達するまで、これらの工程Ｓ１２～Ｓ１３を繰り返し実行する。

【0034】

これに対して、工程Ｓ１２において、作業進捗状況判定部１０６は、作業対象領域の作業温度が所定の作業温度以上、すなわち、作業対象領域の作業温度が所定の作業温度に達した場合（Ｔｅｍｐ＿ｔａｒｇｅｔ≧Ｔｅｍｐ＿ｓｅｔ）には、工程Ｓ１４に移行する（判定結果がＹｅｓ）。

【0035】

工程Ｓ１４では、作業進捗状況判定部１０６は、作業時間（ｃｏｕｎｔｅｒ）の計測（ｃｏｕｎｔｅｒ＋＋）を開始する。作業時間の計測方法としては、例えば、所定の周期で作業時間をカウントアップし、そのカウント数を作業時間に置き換えることにより作業時間を計測するようにしてもよいし、時間を直接計ることにより作業時間を計測するようにしてもよい。なお、カウントにより作業時間を計測する場合には、後述する所定の作業時間もカウント数で表されることとなる。作業進捗状況判定部１０６は、作業時間の計測を開始すると、工程Ｓ１５に移行する。

【0036】

工程Ｓ１５では、作業進捗状況判定部１０６は、作業時間（ｃｏｕｎｔｅｒ）と作業に要する所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）とを比較する。作業進捗状況判定部１０６は、作業内容に対応する所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）を、例えば図示しないデータ格納部から読み出す。作業進捗状況判定部１０６は、これらの時間を比較した結果、作業時間が所定の作業時間未満である場合（ｃｏｕｎｔｅｒ＜ｃｏｕｎｔｅｒ＿ｓｅｔ）には、工程Ｓ１６に移行する（判定結果がＮｏ）。

【0037】

工程Ｓ１６では、作業進捗状況判定部１０６は、作業時間（ｃｏｕｎｔｅｒ）及び所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）に基づいて作業進捗状況を判定する。具体的には、作業進捗状況判定部１０６は、次の式「作業進捗＝ｃｏｕｎｔｅｒ／（ｃｏｕｎｔｅｒ＿ｓｅｔ）＊１００（％）」を用いて作業進捗状況を示す数値を具体的に算出する。また、作業進捗状況判定部１０６は、作業進捗状況を算出すると、作業中であることを示す画像に関するデータを図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図３（ｂ）に示すような判定結果に関する画像、例えば作業進捗状況の具体的な数値を表示する。また、表示部１０７は、これ以外にも、例えば図３（ｂ）に示すような、作業完了までの残り時間等の情報を示す画像を判定結果と合わせて表示するようにしてもよい。表示部１０７にこのような画像が表示されると、作業進捗状況判定部１０６は、再び工程Ｓ１４に移行し、工程Ｓ１４、Ｓ１５に係る動作を実行する。すなわち、ここでは作業進捗状況が１００％未満であるため、作業進捗状況判定部１０６は、再び工程Ｓ１４に戻る。したがって、作業進捗状況判定部１０６は、作業時間が所定の作業時間に達し作業進捗状況が１００％となるまで、これらの工程Ｓ１４～Ｓ１６を繰り返し実行する。

【0038】

これに対して、工程Ｓ１５において、作業進捗状況判定部１０６は、これらの時間を比較した結果、作業時間が所定の作業時間以上である場合（ｃｏｕｎｔｅｒ≧ｃｏｕｎｔｅｒ＿ｓｅｔ）には、作業対象領域に対する作業が完了したものと判定し、工程Ｓ１７に移行する（判定結果がＹｅｓ）。

【0039】

工程Ｓ１７では、作業進捗状況判定部１０６は、作業が完了したことを示す画像に関するデータを図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図３（ｃ）に示すような判定結果に関する画像、例えば作業進捗状況が１００％であることを示す画像を表示する。また、表示部１０７は、これ以外にも、例えば図３（ｃ）に示すような、作業が完了したことを示す画像を判定結果と合わせて表示するようにしてもよい。表示部１０７に、作業対象領域に対する作業が完了したことを示す画像が表示されると、作業進捗状況判定部１０６は、作業進捗状況の判定に係る一連の動作を終了する。

【0040】

表示部１０７は、上述したように、作業進捗状況判定部１０６から出力された作業進捗状況の判定結果等に関する画像に関するデータ等の入力を受け付け、入力されたデータに基づいて各種画像を表示する。表示部１０７には、例えば、液晶パネル、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、いわゆる電子ペーパー等の各種表示パネルが用いられる。

【0041】

作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６については、それぞれに異なるハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、これらの構成要素が、１つのハードウェアの中でまとめて実現されてもよいし、１つのソフトウェアの中でまとめて実現されてもよい。また、これらの構成要素が、その他の構成要素中で実現されてもよい。

【0042】

ここで、作業支援装置１５０の形態の一例について説明する。図４は、本発明の実施の形態１に係る作業支援装置の形態の一例を示す図である。図５は、本発明の実施の形態１に係るヘッドマウントディスプレイの形態の一例を示す図である。

【0043】

作業支援装置１５０の表示部１０７は、例えば図４、図５に示すように、ヘッドマウントディスプレイ１２０に設けられている。ヘッドマウントディスプレイ１２０には、例えば図４に示すように、可視光カメラ１０１、遠赤外カメラ１０３等が取り付けられている。可視光カメラ１０１、遠赤外カメラ１０３は、図４に示すように表示部１０７の近傍に取り付けられてもよいし、例えば、作業者１９０が装着する作業用ヘルメット等に取り付けられてもよい。なお、図４には、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６等が表示されていないが、例えば、これらの構成要素を含んだ制御ユニットが別体で設けられ、制御ユニットが可視光カメラ１０１、遠赤外カメラ１０３、表示部１０７等と接続されるようにしてもよい。

【0044】

ヘッドマウントディスプレイ１２０は、作業者１９０が頭部に装着する眼鏡タイプの表示装置である。ヘッドマウントディスプレイ１２０は、図４、図５に示すように、フレーム１２１、テンプル１２２、１２３、パッド１２４、表示部１０７等を備えている。

【0045】

フレーム１２１は、表示部１０７を支持する部材である。テンプル１２２は、装着された際に作業者１９０から見てフレーム１２１の右側の端部と接続され、作業者１９０の後方に向かって延在している。テンプル１２３は、装着された際に作業者１９０から見てフレーム１２１の左側の端部と接続され、作業者１９０の後方に向かって延在している。

【0046】

ヘッドマウントディスプレイ１２０の装着時には、図４に示すように、パッド１２４が作業者１９０の鼻１９１に載置され、テンプル１２２、１２３が作業者１９０の側頭部及び図示しない耳と当接することにより、ヘッドマウントディスプレイ１２０が作業者１９０の頭部に支持される。そうすると、表示部１０７は、作業者１９０の眼前に配置される。作業者１９０は、片手または両手を使うことなく、表示部１０７に表示された画像を見ることで作業に必要な情報を取得することができる。

【0047】

図４、図５には、ヘッドマウントディスプレイ１２０に２つの表示部１０７が実装された場合について示されているが、このような構成に限定されるものではない。例えば、表示部１０７が左右いずれか片方にのみ設けられてもよい。

【0048】

表示部１０７は、例えば、作業者１９０が使用するメガネ用レンズに取り付けることができるように構成されたものであってもよいし、例えば作業用ゴーグルやメガネ用レンズ等に貼り付けられるように構成されたものであってもよい。

【0049】

本実施の形態によれば、可視光カメラ１０１で撮像された可視光画像及び遠赤外カメラ１０３で撮像された熱画像に基づいて、作業進捗状況判定部１０６が、作業進捗状況を判定し、判定結果が表示部１０７に表示される。

【0050】

この構成によれば、作業者１９０が表示部１０７に表示された作業進捗状況の判定結果を見ることが可能となるので、作業の進捗状況を作業者に知らせることができる。

【0051】

また、本実施の形態によれば、作業対象領域抽出部１０２で抽出された作業対象領域と、温度分布画像生成部１０４で生成された温度分布画像とから、作業対象領域温度算出部１０５において作業対象領域の作業温度が算出され、作業進捗状況判定部１０６では、算出された作業温度及び作業対象領域に対する作業時間に基づいて作業進捗状況が判定され、作業進捗状況の判定結果が表示部１０７に表示される。

【0052】

この構成によれば、作業温度及び作業時間により作業進捗状況が判定されるので、作業の精度を向上させることができる。

【0053】

また、本実施の形態によれば、作業対象領域を加熱する作業を行う場合には、作業進捗状況判定部１０６は、作業対象領域が予め設定された所定の作業温度以上に達したら作業時間の計測を開始し、作業時間及び予め設定された、作業が完了するまでの所定の作業時間に基づいて作業進捗状況を判定する。

【0054】

この構成によれば、作業対象領域の温度が所定の作業温度よりも低い場合における作業については作業時間がカウントされなくなるので、作業の精度をより一層向上させることができる。

【0055】

また、本実施の形態によれば、表示部１０７には、作業進捗状況の判定結果とともに、図３（ａ）～（ｃ）に示すような、作業対象領域の状況等について画像、作業完了までの残り時間等の画像、作業が完了したことを示す画像などが、作業進捗状況の判定結果と合わせて表示される。この構成によれば、作業者１９０は、作業対象領域に関する付加的情報を取得することができるので、作業進捗状況をより詳細に把握することができる。

【0056】

また、本実施の形態によれば、作業対象領域抽出部１０２が、可視光カメラ１０１で撮像された可視光画像から作業対象領域を抽出し、温度分布画像生成部１０４が、遠赤外カメラ１０３で撮像された熱画像から温度分布画像を生成し、作業対象領域温度算出部１０５が、作業対象領域及び温度分布画像に基づいて作業対象領域の作業温度を算出する。この構成によれば、作業対象領域の温度が正確に算出されるので、作業の精度を向上させることができる。

【0057】

また、本実施の形態によれば、可視光カメラ１０１及び遠赤外カメラ１０３は、遠赤外カメラ１０３の撮像領域と可視光カメラ１０１の撮像領域とがほぼ同等となるように、調整されている。この構成によれば、可視光画像と温度分布画像との比較が容易となり、作業対象領域の作業温度をより正確に算出することができる。また、これにより、作業の精度を向上させることができる。

【0058】

また、本実施の形態によれば、表示部１０７は、ヘッドマウントディスプレイ１２０に設けられている。この構成によれば、ヘッドマウントディスプレイ１２０を頭部に装着することにより表示部１０７が作業者１９０の眼前に配置されるので、両手を使うことなく作業進捗状況の判定結果を取得することができる。

【0059】

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態に係る作業支援装置では、複数の作業を実施する場合には、作業進捗状況判定部１０６は、１つの作業が完了した後、次の作業についての作業進捗状況を判定する。例えば、１つの作業について作業進捗状況が１００％に達したら、表示部１０７には次のステップの作業内容が表示され、作業進捗状況判定部１０６は、次の作業についての作業進捗状況の判定を開始する。

【0060】

図６は、本発明の実施の形態２における作業進捗状況判定部の動作の一例を示すフローチャート図である。図７は、作業進捗状況に応じて表示部に表示される画像の一例を示す図である。

【0061】

このうち、工程Ｓ１１～Ｓ１７における作業進捗状況判定部１０６の動作については、実施の形態１における動作と同一であるため、詳細な説明を省略する。

【0062】

工程Ｓ１７において、表示部１０７に作業対象領域に対する作業が完了したことを示す画像、例えば図３（ｃ）に示すような、作業進捗状況が１００％に達したことを示す画像等が表示されると、作業進捗状況判定部１０６は、図６に示す工程Ｓ２８に移行する。工程Ｓ２８では、作業進捗状況判定部１０６は、次の作業の有無を判定する。作業進捗状況判定部１０６は、例えば、図示しないデータ格納部から作業内容に関するデータを読み出して、完了した作業内容と比較することにより、次の作業の有無を判定する。作業進捗状況判定部１０６は、次の作業があると判断した場合には、工程Ｓ２９に移行する（判定結果がＮｏ）。

【0063】

工程Ｓ２９では、作業進捗状況判定部１０６は、次の作業に移行することを示す画像に関するデータを、例えば図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図７（ａ）に示すような、次の作業に移行することを示す画像を表示する。また、表示部１０７は、これ以外にも、例えば図７（ａ）に示すような、次の作業の具体的内容を示す画像等を、次の作業に移行することを示す画像と合わせて表示するようにしてもよい。また、作業進捗状況判定部１０６は、次の作業内容に対応する所定の作業温度（Ｔｅｍｐ＿ｓｅｔ）、所定の作業時間（ｃｏｕｎｔｅｒ＿ｓｅｔ）を、例えば図示しないデータ格納部から読み出し、所定の作業温度、所定の作業時間に関するデータを更新する。これらの動作が実行されると、作業進捗状況判定部１０６は、工程Ｓ１１に移行し、次の作業内容に関する作業進捗状況の判定を行う。

【0064】

これに対して、工程Ｓ２８において、作業進捗状況判定部１０６は、次の作業がないと判断した場合には、工程Ｓ３０に移行する（判定結果がＹｅｓ）。工程Ｓ３０では、作業進捗状況判定部１０６は、すべての作業が完了したことを示す画像に関するデータを、例えば図示しないデータ格納部から読み出し、読み出したデータを表示部１０７に出力する。表示部１０７は、作業進捗状況判定部１０６から出力されたデータに基づいて、例えば図７（ｂ）に示すような、すべての作業が完了したことを示す画像を表示する。また、表
示部１０７は、これ以外にも、例えば図７（ｂ）に示すような、作業終了後における作業者１９０への具体的な指示内容を表示するようにしてもよい。表示部１０７に、すべての作業が完了したことを示す画像が表示されると、作業進捗状況判定部１０６は、作業進捗状況の判定に係る一連の動作を終了する。

【0065】

本実施の形態によれば、作業進捗状況判定部１０６では、１つの作業が完了した後、次の作業についての作業進捗状況の判定が自動的に実施され、次の作業についての作業進捗状況が表示部１０７に表示される。この構成によれば、複数の作業が連続して実施される場合でも、作業の進捗状況に関する判定結果が自動的に表示されるようになるので、作業ごとに作業進捗状況の判定を実施させるための動作を省略することができ、作業効率を大幅に向上させることができる。

【0066】

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態では、作業支援装置と、作業者が加熱等の作業を行っている作業機器とからなる作業支援システムについて説明する。

【0067】

図８は、本発明の実施の形態３に係る作業支援システムの構成の一例を示すブロック図である。作業支援システム２００は、図８に示すように、作業支援装置２５０、作業機器２６０を備えている。作業支援装置２５０は、可視光撮像部としての可視光カメラ１０１、熱画像撮像部としての遠赤外カメラ１０３、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、作業進捗状況判定部１０６、表示部１０７、適正温度データベース部２５１を備えている。作業機器２６０は、温度制御部２６１、温度発生部２６２を備えている。

【0068】

作業支援装置２５０の適正温度データベース部２５１は、作業進捗状況判定部１０６と接続されている。作業進捗状況判定部１０６は、適正温度データベース２５１及び作業機器２６０の温度制御部２６１と接続されている。作業進捗状況判定部１０６と温度制御部２６１とは、例えばケーブル等の配線で接続されている。これにより、作業支援装置２５０と作業機器２６０とが接続されている。温度制御部２６１は、作業進捗状況判定部１０６及び温度発生部２６２と接続されている。このうち、可視光カメラ１０１、熱画像撮像部としての遠赤外カメラ１０３、作業対象領域抽出部１０２、温度分布画像生成部１０４、作業対象領域温度算出部１０５、表示部１０７については、実施の形態１で説明しているので、詳細な説明を省略する。

【0069】

適正温度データベース部２５１は、作業時における作業対象領域の適正温度に関する情報を保持する。適正温度データベース部２５１は、例えば、複数の作業についての適正温度に関する情報を保持するようにしてもよいし、作業ごとに更新した適正温度に関する情報を保持するようにしてもよい。

【0070】

作業進捗状況判定部１０６は、上述したような、作業進捗状況を判定するとともに、作業対象領域の作業温度と適正温度データベース部２５１から読み出した適正温度との差分を算出し、差分を差分温度情報として作業機器２６０の温度制御部２６１に出力する。

【0071】

温度制御部２６１は、作業進捗状況判定部１０６から出力された差分温度情報に基づいて温度制御を行う。例えば、温度制御部２６１は、差分温度情報に基づいて作業対象領域の作業温度が適正温度よりも低いと判断した場合には、作業温度を上昇させる制御を実施する。詳しくは、温度制御部２６１は、温度発生部２６２に対して、温度発生部２６２の温度を上昇させる制御を実施する。具体的には、温度制御部２６１は、例えば、温度発生部２６２を構成する図示しないヒーター等の温度調節部材への電流供給量を増加させる。これにより、作業対象領域に対する作業温度が上昇する。その際、作業進捗状況判定部１０６は、作業機器２６０の温度を上昇させていることを示す画像を、表示部１０７に表示させるようにしてもよい。

【0072】

これに対して、温度制御部２６１は、差分温度情報に基づいて作業対象領域の作業温度が適正温度よりも高いと判断した場合には、作業温度の上昇を抑える制御を実施する。詳しくは、温度制御部２６１は、温度発生部２６２に対して、温度発生部２６２の温度上昇を抑える制御を実施する。具体的には、温度制御部２６１は、例えば、ヒーター等への電流供給量を減少させる。これにより、作業温度の上昇が抑えられる。その際、作業進捗状況判定部１０６は、作業機器２６０の温度を上昇が抑えられていることを示す画像を、表示部１０７に表示させるようにしてもよい。

【0073】

また、温度制御部２６１は、差分温度情報に基づいて作業対象領域の作業温度が適正温度よりも高すぎると判断した場合には、作業温度を低下させる制御を実施してもよい。詳しくは、温度制御部２６１は、温度発生部２６２に対して、温度発生部２６２の温度を低下させる制御を実施する。具体的には、温度制御部２６１は、例えば、ヒーター等への電流供給量をさらに減少させる。あるいは、温度制御部２６１は、ヒーター等への電流供給を一時的に停止させる。これにより、作業温度を低下させる。その際、作業進捗状況判定部１０６は、作業機器２６０の温度を低下させていることを示す画像を、表示部１０７に表示させるようにしてもよい。

【0074】

温度制御部２６１は、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよい。また、温度制御部２６１は、その他の構成要素のハードウェア、ソフトウェアの中で実現されてもよい。

【0075】

本実施の形態によれば、作業進捗状況判定部１０６で算出された差分温度情報に基づいて、温度制御部２６１は、例えば、温度発生部２６２への電流供給量を制御して温度発生部２６２の温度を制御している。この構成によれば、作業支援装置２５０と作業機器２６０とを連携させながら作業対象領域の作業温度を制御することができるので、より効率的に作業を行うことができる。また、この構成によれば、作業対象領域に対する作業が適正温度付近で実施されることとなるので、作業の精度を向上させることができる。

【0076】

また、本実施の形態によれば、作業進捗状況判定部１０６は、作業機器２６０への温度制御情報に関する画像が表示部１０７に表示される。この構成によれば、作業者１９０は、作業進捗状況以外にも、作業機器２６０の状況も知ることができるので、作業に関するより詳しい情報を取得することができる。

【0077】

（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態では、作業支援装置と、作業機器とが無線で接続された作業支援システムについて説明する。

【0078】

図９は、本発明の実施の形態４に係る作業支援システムの構成の一例を示すブロック図である。作業支援システム２００は、図９に示すように、作業支援装置３５０、作業機器３６０を備えている。作業支援装置３５０は、図８に示す作業支援装置２５０の構成要素と、第１の通信処理部３５２とを備えている。作業機器３６０は、図８に示す作業機器２６０の構成要素と、第２の通信処理部３６３とを備えている。

【0079】

本実施の形態では、作業進捗状況判定部１０６は、差分温度情報を第１の通信処理部３５２に出力する。

【0080】

第１の通信処理部３５２は、作業進捗状況判定部１０６と接続されている。また、第１の通信処理部３５２は、作業支援装置３５０と作業機器３６０とを接続する外部インターフェイスであり、無線のネットワークを介して作業機器３６０の第２の通信処理部３６３と接続されている。第１の通信処理部３５２及び第２の通信処理部３６３は、無線のネットワークを介して相互にデータの送受信が可能である。例えば、第１の通信処理部３５２は、作業進捗状況判定部１０６から出力された差分温度情報を、第２の通信処理部３６３に送信する。

【0081】

第２の通信処理部３６３は、温度制御部２６１と接続されている。また、第２の通信処理部３６３は、作業支援装置３５０と作業機器３６０とを接続する外部インターフェイスであり、無線のネットワークを介して作業支援装置３５０の第１の通信処理部３５２と接続されている。第２の通信処理部３６３は、第１の通信処理部３５２から受信した差分温度情報を温度制御部２６１に出力する。

【0082】

温度制御部２６１は、第２の通信処理部３６３から出力された差分温度情報に基づいて、例えば、上述したような温度制御を行う。

【0083】

本実施の形態によれば、第１の通信処理部３５２と第２の通信処理部３６３とが無線のネットワークを介して接続され、第１の通信処理部３５２及び第２の通信処理部３６３の間で差分温度情報等の各種データの送受信がなされる。この構成によれば、作業支援装置３５０と作業機器３６０とが配線で接続されていなくても、差分温度情報に基づいて作業機器３６０の温度制御を実施することができるので、作業支援装置３５０及び作業機器３６０の取り回しが容易になり作業を実施しやすくなる。

【0084】

（その他の実施の形態）
上記の実施の形態では、作業対象領域に対して加熱する作業を例に挙げて説明したが、このような場合に限定されるものではなく、例えば作業対象領域に対して冷却する作業にも適用することが可能である。この場合において、図２、図６に示す工程Ｓ１２では、作業対象領域の作業温度が所定の作業温度を超えている、すなわち、作業対象領域の作業温度が所定の作業温度に達していない場合（Ｔｅｍｐ＿ｔａｒｇｅｔ＞Ｔｅｍｐ＿ｓｅｔ）には、作業進捗状況判定部１０６は、作業進捗状況が０％であると判定し、工程Ｓ１３に移行する（判定結果がＮｏ）。これに対して、作業対象領域の作業温度が所定の作業温度以下、すなわち、作業対象領域の作業温度が所定の作業温度に達している場合（Ｔｅｍｐ＿ｔａｒｇｅｔ≦Ｔｅｍｐ＿ｓｅｔ）には、工
程Ｓ１４に移行する（判定結果がＹｅｓ）。

【0085】

また、図２、図６では、作業対象領域の作業温度が所定の作業温度に達し、作業時間の計測が開始されると、作業温度を判定する工程が設けられていないが、例えば、作業時間の計測中に作業温度を判定する工程を設けてもよい。この場合には、例えば、作業温度が低下した場合に、一時的に作業時間の計測を停止し、作業温度が回復してから残りの作業時間を計測するようにしてもよい。このような構成によれば、作業精度をさらに向上させることができる。

【0086】

以上、本発明者によってなされた発明を発明の実施の形態に基づき具体的に説明したが、本発明は前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

【0087】

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0088】

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。なお、図面に記載した各部材や相対的なサイズは、本発明を分かりやすく説明するため簡素化・理想化しており、実装上はより複雑な形状となる場合がある。

【符号の説明】

【0089】

１０１…可視光カメラ、１０２…作業対象領域抽出部、１０３…遠赤外カメラ、１０４…温度分布画像生成部、１０５…作業対象領域温度算出部、１０６…作業進捗状況判定部、１０７…表示部、１２０…ヘッドマウントディスプレイ、１５０…作業支援装置、２００作業支援システム、２５０…作業支援装置、２５１…適正温度データベース部、２６０…作業機器、２６１…温度制御部、２６２…温度発生部、３００…作業支援システム、３５０…作業支援装置、３５２…第１の通信処理部、３６０…作業機器、３６３…第２の通信処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】