(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052181
(43)【公開日】2024-04-11
(54)【発明の名称】締結作業支援プログラム及び締結作業支援方法
(51)【国際特許分類】
G06Q 50/04 20120101AFI20240404BHJP
【ＦＩ】
G06Q50/04
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022158730
(22)【出願日】2022-09-30
(11)【特許番号】
(45)【特許公報発行日】2023-05-12
(71)【出願人】
【識別番号】522049510
【氏名又は名称】ジーダブルテクノロジー株式会社
(74)【代理人】
【識別番号】110003096
【氏名又は名称】弁理士法人第一テクニカル国際特許事務所
(72)【発明者】
【氏名】西谷 浩
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC03
5L050CC03
(57)【要約】
【課題】締結位置及び締結順序のナビゲートを行うことにより、分かり易く、間違いのない締結手作業を可能とする。
【解決手段】締結作業支援プログラムは、締結ナビゲート装置１０の第１演算部１３及び端末装置２０の第２演算部２３に対し、ナビゲート情報ＮＤを生成して符号化した二次元バーコードＢ１を生成するステップ２１４と、二次元バーコードＢ１を印刷装置３０に送信して作業手順書ＷＳを生成させるステップ２１５と、作業手順書ＷＳの二次元バーコードＢ１を読み取りナビゲート情報ＮＤを復元するステップ１０１と、ナビゲート情報ＮＤに基づいて、作業者ＷＲが複数の要締結箇所ＢＰ１～ＢＰ５に対し１箇所ずつ締結手作業を行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークＮＭ１～ＮＭ５を含むナビゲート画像データを第１表示部１２に表示するステップ１０７，１１４，１２１，１２８，１３５を分担して実行させる。
【選択図】図１
【解決手段】締結作業支援プログラムは、締結ナビゲート装置１０の第１演算部１３及び端末装置２０の第２演算部２３に対し、ナビゲート情報ＮＤを生成して符号化した二次元バーコードＢ１を生成するステップ２１４と、二次元バーコードＢ１を印刷装置３０に送信して作業手順書ＷＳを生成させるステップ２１５と、作業手順書ＷＳの二次元バーコードＢ１を読み取りナビゲート情報ＮＤを復元するステップ１０１と、ナビゲート情報ＮＤに基づいて、作業者ＷＲが複数の要締結箇所ＢＰ１～ＢＰ５に対し１箇所ずつ締結手作業を行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークＮＭ１～ＮＭ５を含むナビゲート画像データを第１表示部１２に表示するステップ１０７，１１４，１２１，１２８，１３５を分担して実行させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
締結作業支援システムが有する、撮像部と第１表示部とを備えた締結ナビゲート装置、及び、操作部と第２表示部とを備えた端末装置、がそれぞれ備える演算部において実行され、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定のナビゲートマークを含むナビゲート画像データを用いてナビゲートするための、締結作業支援プログラムであって、
前記締結ナビゲート装置及び前記端末装置がそれぞれ備える前記演算部に対し、
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、
前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成するナビゲート情報生成手順と、
前記ナビゲート情報生成手順で生成された前記ナビゲート情報を符号化した二次元バーコードを生成する二次元バーコード生成手順と、
前記二次元バーコード生成手順で生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させる印刷媒体生成手順と、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示する、対象実静止画データ表示手順と、
前記印刷媒体生成手順で生成された前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元するナビゲート情報復元手順と、
前記ナビゲート情報復元手順で復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の前記手作業順序及び前記手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データ表示手順で表示された前記対象実静止画データに対し重畳するように前記第１表示部に表示するナビゲート画像データ表示手順と、
を分担して実行させることを特徴とする、締結作業支援プログラム。
前記締結ナビゲート装置及び前記端末装置がそれぞれ備える前記演算部に対し、
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、
前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成するナビゲート情報生成手順と、
前記ナビゲート情報生成手順で生成された前記ナビゲート情報を符号化した二次元バーコードを生成する二次元バーコード生成手順と、
前記二次元バーコード生成手順で生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させる印刷媒体生成手順と、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示する、対象実静止画データ表示手順と、
前記印刷媒体生成手順で生成された前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元するナビゲート情報復元手順と、
前記ナビゲート情報復元手順で復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の前記手作業順序及び前記手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データ表示手順で表示された前記対象実静止画データに対し重畳するように前記第１表示部に表示するナビゲート画像データ表示手順と、
を分担して実行させることを特徴とする、締結作業支援プログラム。
【請求項2】
請求項１記載の締結作業支援プログラムにおいて、
前記ナビゲート情報生成手順では、
前記順序情報及び前記位置情報に加えて、前記締結作業具の種類を表す作業具情報を含むナビゲート情報を生成し、
前記演算部に対し、さらに、
前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の種類を検知する作業具検知手順と、
前記ナビゲート情報に基づいて、前記作業具検知手順で検知されている前記締結作業具の種類が、前記ナビゲート画像データ表示手順で表示されている前記ナビゲート画像データ中の前記ナビゲートマークに対応する前記締結作業具の種類と整合するか否かを判定する作業具判定手順と、
を実行させることを特徴とする締結作業支援プログラム。
前記ナビゲート情報生成手順では、
前記順序情報及び前記位置情報に加えて、前記締結作業具の種類を表す作業具情報を含むナビゲート情報を生成し、
前記演算部に対し、さらに、
前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の種類を検知する作業具検知手順と、
前記ナビゲート情報に基づいて、前記作業具検知手順で検知されている前記締結作業具の種類が、前記ナビゲート画像データ表示手順で表示されている前記ナビゲート画像データ中の前記ナビゲートマークに対応する前記締結作業具の種類と整合するか否かを判定する作業具判定手順と、
を実行させることを特徴とする締結作業支援プログラム。
【請求項3】
請求項２記載の締結作業支援プログラムにおいて、
前記演算部に対し、さらに、
前記作業具判定手順において前記締結作業具の種類が前記ナビゲート画像データ中の前記ナビゲートマークに対応する前記締結作業具の種類と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順
を実行させることを特徴とする締結作業支援プログラム。
前記演算部に対し、さらに、
前記作業具判定手順において前記締結作業具の種類が前記ナビゲート画像データ中の前記ナビゲートマークに対応する前記締結作業具の種類と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順
を実行させることを特徴とする締結作業支援プログラム。
【請求項4】
請求項２又は３記載の締結作業支援プログラムにおいて、
前記ナビゲート画像データ表示手順では、
前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ前記締結作業具を用いて前記締結手作業を順次行う際に、前記ナビゲートマークと共に当該ナビゲートマークに対応する前記締結作業具の種類を含む前記ナビゲート画像データを前記対象実静止画データに対し重畳するように前記第１表示部に表示する
ことを特徴とする締結作業支援プログラム。
前記ナビゲート画像データ表示手順では、
前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ前記締結作業具を用いて前記締結手作業を順次行う際に、前記ナビゲートマークと共に当該ナビゲートマークに対応する前記締結作業具の種類を含む前記ナビゲート画像データを前記対象実静止画データに対し重畳するように前記第１表示部に表示する
ことを特徴とする締結作業支援プログラム。
【請求項5】
撮像部と第１表示部とを備えた締結ナビゲート装置、及び、操作部と第２表示部とを備えた端末装置、を用いて、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定の複数のナビゲートマークを含むナビゲート画像データを用いてナビゲートするための、締結作業支援方法であって、
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する前記基準実静止画データを生成することと、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付けることと、
前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成することと、
前記ナビゲート情報を符号化した二次元バーコードを生成することと、
生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させることと、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成することと、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示することと、
前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元することと、
復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データに対し重畳するように第１表示部に表示することと、
を有することを特徴とする締結作業支援方法。
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する前記基準実静止画データを生成することと、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付けることと、
前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成することと、
前記ナビゲート情報を符号化した二次元バーコードを生成することと、
生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させることと、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成することと、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示することと、
前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元することと、
復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データに対し重畳するように第１表示部に表示することと、
を有することを特徴とする締結作業支援方法。
【請求項6】
請求項５記載の締結作業支援方法において、
前記作業者による前記締結手作業の前に、復元された前記ナビゲート情報に基づいて、前記複数の要締結箇所に対応する複数の前記ナビゲートマークを前記第１表示部に表示することと、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部の位置を調整することと、
をさらに有することを特徴とする締結作業支援方法。
前記作業者による前記締結手作業の前に、復元された前記ナビゲート情報に基づいて、前記複数の要締結箇所に対応する複数の前記ナビゲートマークを前記第１表示部に表示することと、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部の位置を調整することと、
をさらに有することを特徴とする締結作業支援方法。
【請求項7】
請求項５又は６記載の締結作業支援方法において、
前記撮像部は、
前記対象被作業物を拡大又は縮小して撮像する機能を備えており、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部による拡大又は縮小を調整することと、
をさらに有することを特徴とする締結作業支援方法。
前記撮像部は、
前記対象被作業物を拡大又は縮小して撮像する機能を備えており、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部による拡大又は縮小を調整することと、
をさらに有することを特徴とする締結作業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業者による対象被作業物に対する締結作業具を用いた締結手作業を支援するための締結作業支援プログラム及び締結作業支援方法に関する。
【背景技術】
【0002】
従来、組立工場でのボルトやネジ等の締め付け作業を支援する、締め付け作業支援装置が知られている（例えば、特許文献１参照）。この従来技術の締め付け作業支援装置は、ボルトやネジ等の締め付け順序が、作業者に表示されるようになっている。具体的には、当該作業支援装置には、発光器、カメラ、及び、コンピュータが、備えられている。このカメラは、ワークを撮影するようになっている。このコンピュータのディスプレイにおいて、締め付けられたボルト等が正しい場合には、カメラが撮影しているワークの画像に、塗りつぶされたボルト画像が、重ねて表示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－４２４９１号公報（図１等）
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来技術の締め付け作業支援装置では、コンピュータで実行される支援プログラムにより、ディスプレイにおいて、ワーク画像の下に「ボルト１を締めて下さい」等のメッセージが表示される。しかしながら、この締め付け作業の支援は、メッセージ表示にとどまり、画面上において締め付け位置をナビゲートするものとはなっていない。分かり易く、間違いのない締結手作業を可能とする技術が、望まれている。
【0005】
本発明の目的は、実画像データ上に重畳表示する動画のマークで締結位置及び締結順序のナビゲートを行うことにより、分かり易く、間違いのない締結手作業を可能とするプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本願発明の締結作業支援プログラムは、締結作業支援システムが有する、撮像部と第１表示部とを備えた締結ナビゲート装置、及び、操作部と第２表示部とを備えた端末装置、がそれぞれ備える演算部において実行され、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定のナビゲートマークを含むナビゲート画像データを用いてナビゲートするための、締結作業支援プログラムであって、前記締結ナビゲート装置及び前記端末装置がそれぞれ備える前記演算部に対し、複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成するナビゲート情報生成手順と、前記ナビゲート情報生成手順で生成された前記ナビゲート情報を符号化した二次元バーコードを生成する二次元バーコード生成手順と、前記二次元バーコード生成手順で生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させる印刷媒体生成手順と、前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示する、対象実静止画データ表示手順と、前記印刷媒体生成手順で生成された前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元するナビゲート情報復元手順と、前記ナビゲート情報復元手順で復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の前記手作業順序及び前記手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データ表示手順で表示された前記対象実静止画データに対し重畳するように前記第１表示部に表示するナビゲート画像データ表示手順と、を分担して実行させることを特徴とする。
【0007】
また、本願発明の締結作業支援方法は、撮像部と第１表示部とを備えた締結ナビゲート装置、及び、操作部と第２表示部とを備えた端末装置、を用いて、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定の複数のナビゲートマークを含むナビゲート画像データを用いてナビゲートするための、締結作業支援方法であって、複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する前記基準実静止画データを生成することと、前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付けることと、前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成することと、前記ナビゲート情報を符号化した二次元バーコードを生成することと、生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させることと、前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成することと、生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示することと、前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元することと、復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データに対し重畳するように第１表示部に表示することと、を有することを特徴とする。
【0008】
本発明の締結作業支援システムにおいては、作業者は、対象被作業物の複数の要締結箇所に対し、１箇所ずつ締結作業具を用いて締結手作業を順次行う。その際、目の前の作業台に置かれた対象被作業物を撮像した対象実静止画データが締結ナビゲート装置の第１表示部に表示されるとともに、その静止画データ上に、ナビゲートマークを含むナビゲート画像データが重畳表示され、これによって上記締結手作業時において上記複数の要締結箇所に対して実行すべき、手作業順序及び手作業位置が動的にナビゲートされる。
【0009】
このとき、ナビゲート画像データは、締結ナビゲート装置においてナビゲート情報に基づいて生成され表示される。ナビゲート情報は、端末装置において、複数の要締結箇所を備えた基準被作業物を予め撮影した基準実静止画データを第２表示部に表示させた状態で、ナビゲートマークの生成指示を操作部を介して受け付けた場合に、生成される。ナビゲート情報は、手作業順序を表す順序情報、及び、手作業位置を表す位置情報、を含んでいる。端末装置で生成されたナビゲート情報は、符号化されて二次元バーコードが生成され、当該二次元バーコードが印刷装置に送信されて、当該二次元バーコードを含む印刷媒体が生成される。
【0010】
生成された印刷媒体の二次元バーコードは、締結ナビゲート装置の撮像部によって読み取られ、復号化されてナビゲート情報が復元される。また、締結ナビゲート装置では、作業台に配置された対象被作業物が撮像部により撮像され、対応する対象実静止画データが生成されて第１表示部に表示される。締結ナビゲート装置の第１表示部では、復元されたナビゲート情報に基づいて、作業者が複数の要締結箇所に対し１箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークを含むナビゲート画像データが、対象実静止画データに対し重畳するように表示される。
【0011】
以上のようにして、本願発明によれば、仮想動画中のナビゲートマークで動的に締結位置及び締結順序の表示を行うことができるので、作業者に対し分かり易くナビゲートを行うことができ、作業者は間違いのない締結手作業を行うことができる。また、例えば予めナビゲート画像データを端末装置で生成して締結ナビゲート装置に送信する場合には、各装置の処理性能の相違や、使用されるＯＳ、プログラム等の相違に起因して送信がうまくいかなかったり、データ容量が大きいために締結ナビゲート装置の処理負荷が大きくなる等、システムの運用負荷が大きくなるという課題がある。本発明では、締結ナビゲート装置側で二次元バーコードを読み取ることさえ可能であれば、各装置の処理性能やＯＳ等の相違に関わらずデータを受け渡すことが可能であり、且つ、締結ナビゲート装置側では二次元バーコードから復元された比較的データ容量の小さいナビゲート情報を処理すれば足りるため、処理負荷を軽減できる。したがって、システムの運用負荷を大幅に軽減できる。
【発明の効果】
【0012】
本発明によれば、分かり易く、間違いのない締結手作業が可能となる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係るナビゲートデータ生成プログラムが適用される端末装置において、基準被作業物を撮像した基準実静止画データを表示させた状態でナビゲート情報が生成され、符号化された二次元バーコードが印刷装置で印刷される様子を示す説明図である。
【図2】端末装置において、基準被作業物を撮像した基準実静止画データを表示させた状態でナビゲートマークの生成指示を受け付ける様子を示す説明図である。
【図3】本発明の実施形態に係る締結ナビゲートプログラムが適用される締結ナビゲート装置において、作業者が撮像部で二次元バーコードを読み取る様子を示す説明図である。
【図4】締結ナビゲート装置において、締結手作業を実施する前に作業者が撮像部の位置合わせを行う様子を示す説明図である。
【図5】締結ナビゲート装置を用いて締結手作業を実施する場合の全体構成と、当該締結ナビゲート装置に対象実静止画データを表示させた状態で、ナビゲート画像データを重畳表示させていく様子を示す図である。
【図6】締結ナビゲート装置に対象実静止画データを表示させた状態で、ナビゲート画像データを重畳表示させていく様子を示す図である。
【図7】締結ナビゲート装置に対象実静止画データを表示させた状態で、ナビゲート画像データを重畳表示させていく様子を示す図である。
【図8】締結ナビゲート装置が他の態様の第１表示部を備える場合の全体構成図である。
【図9】締結ナビゲート装置の機能ブロック図である。
【図10】締結ナビゲート装置を用いて締結手作業を実施する場合に使用される締結作業具の構成図である。
【図11】締結ナビゲート装置を用いて締結手作業を実施する場合に、締結作業具の位置がナビゲートマークの位置と整合しないと判定されたときに、対応する警告報知を実行している様子を示す図である。
【図12】締結ナビゲート装置を用いて締結手作業を実施する場合に、締結作業具の種類がナビゲートマークに対応する締結作業具の種類と整合しないと判定されたときに、対応する警告報知を実行している様子を示す図である。
【図13】締結ナビゲート装置が他の態様の警告報知部を備える場合の全体構成図である。
【図14】端末装置の機能ブロック図である。
【図15】締結ナビゲート装置の第１演算部が、締結ナビゲートプログラムにより実行する締結手作業のナビゲート処理を示す一連のフローチャートの一部である。
【図18】端末装置の第２演算部が、ナビゲートデータ生成プログラムにより実行するナビゲート情報の生成処理を示す一連のフローチャートである。
【図19】当該締結ナビゲート装置に対象実静止画データを表示させた状態で、締結作業具の種類を含む態様のナビゲート画像データを重畳表示させていく様子を示す図である。
【図20】締結ナビゲート装置において、締結手作業を実施する前に作業者が撮像部の位置合わせ及び倍率合わせを行う様子を示す説明図である。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態について図面を参照しつつ説明する。
【0015】
＜締結手作業におけるナビゲートの概要＞
本発明の実施形態に係る締結作業支援システム１は、締結作業支援プログラムを実行することにより、対象被作業物Ｗに締結手作業を行う作業者ＷＲに対して作業手順をナビゲートするシステムである。締結作業支援システム１は、締結ナビゲート装置１０と端末装置２０を有する。締結作業支援プログラムは、締結ナビゲートプログラム１００及びナビゲートデータ生成プログラム２００により構成されている。締結ナビゲートプログラム１００は、締結ナビゲート装置１０に適用されるプログラムである。締結ナビゲートプログラム１００及び締結ナビゲート装置１０は、複数の要締結箇所を有する対象被作業物Ｗ（例えば、タイヤホイール等）に対し、締結手作業を順次行う際の手作業順序、手作業位置、及び、締結作業具Ｔの種類をナビゲートするように構成されている。締結手作業は、例えば、作業者ＷＲの手により、締結作業具Ｔを用いてボルト又はナットを締結する作業である（後述の図５～図７を参照）。なお、いわゆるボルトだけでなく、ネジ、ビス等のその他の締結部材を用いてもよく、以下、本願明細書において「ボルト」というときは、それら他の締結部材も含まれるものである。当該ナビゲートは、後述するナビゲート画像データに基づいて実行される。
本発明の実施形態に係る締結作業支援システム１は、締結作業支援プログラムを実行することにより、対象被作業物Ｗに締結手作業を行う作業者ＷＲに対して作業手順をナビゲートするシステムである。締結作業支援システム１は、締結ナビゲート装置１０と端末装置２０を有する。締結作業支援プログラムは、締結ナビゲートプログラム１００及びナビゲートデータ生成プログラム２００により構成されている。締結ナビゲートプログラム１００は、締結ナビゲート装置１０に適用されるプログラムである。締結ナビゲートプログラム１００及び締結ナビゲート装置１０は、複数の要締結箇所を有する対象被作業物Ｗ（例えば、タイヤホイール等）に対し、締結手作業を順次行う際の手作業順序、手作業位置、及び、締結作業具Ｔの種類をナビゲートするように構成されている。締結手作業は、例えば、作業者ＷＲの手により、締結作業具Ｔを用いてボルト又はナットを締結する作業である（後述の図５～図７を参照）。なお、いわゆるボルトだけでなく、ネジ、ビス等のその他の締結部材を用いてもよく、以下、本願明細書において「ボルト」というときは、それら他の締結部材も含まれるものである。当該ナビゲートは、後述するナビゲート画像データに基づいて実行される。
【0016】
ナビゲートデータ生成プログラム２００は、ナビゲート画像データを生成するためのナビゲート情報を生成するように構成されている。ナビゲートデータ生成プログラム２００は、端末装置２０に適用される。図１に示すように、端末装置２０は、例えば、パーソナルコンピュータ等の固定式端末である。端末装置２０にて、ナビゲートデータ生成プログラム２００により、ナビゲート情報ＮＤが生成される。生成されたナビゲート情報ＮＤは、符号化されて二次元バーコードＢ１が生成され、例えば無線通信や有線通信、記憶媒体等を介して、端末装置２０から印刷装置３０へ送信される。二次元バーコードは例えばＱＲコード（登録商標）等である。印刷装置３０では、二次元バーコードＢ１及び締結手作業の手順等が印刷されて、作業手順書ＷＳ（印刷媒体の一例）が作成される。
【0017】
図１に示すように、基準実静止画データＳＤは、対象被作業物Ｗと同一種類、同一大きさ、同一形状である基準被作業物ＳＷを、撮像して得られる画像データである。基準被作業物ＳＷの撮像は、端末装置２０とは別体のカメラ、又は、端末装置２０に内蔵のカメラにて撮像され、端末装置２０に取り込まれて基準実静止画データＳＤが生成される。
【0018】
図１に示すように、基準実静止画データＳＤを第２表示部２１に表示させた状態で、操作部２２を介して管理者によりナビゲートマークＮＭの生成指示がなされる。例えば、第２表示部２１に表示された基準実静止画データＳＤ中の要締結箇所ＢＰ１～ＢＰ５の位置に対応するよう、ナビゲートマークＮＭが生成される。具体的には、例えば図２に示すように、まず基準実静止画データＳＤ中の要締結箇所ＢＰ１に対応する位置が例えばクリック等により指示され、ナビゲートマークＮＭ１の表示位置がＸＹ座標（Ｘ１，Ｙ１）として指定される。この際、表示位置の指定の前又は後に、要締結箇所ＢＰ１に対応する締結作業具Ｔの種類（例えば締結作業具ＴＡ）が入力される。締結作業具Ｔは、例えば締結するボルト又はナットの径や形状等に応じて複数種類が用意されており、要締結箇所ＢＰ１～ＢＰ５ごとに、使用する締結作業具Ｔの種類が入力される。
【0019】
次に、基準実静止画データＳＤ中の要締結箇所ＢＰ２に対応する位置が例えばクリック等により指示され、ナビゲートマークＮＭ２の表示位置がＸＹ座標（Ｘ２，Ｙ２）として指定される。この際、表示位置の指定の前又は後に、要締結箇所ＢＰ２に対応する締結作業具Ｔの種類（例えば締結作業具ＴＢ）が入力される。次に、基準実静止画データＳＤ中の要締結箇所ＢＰ３に対応する位置が例えばクリック等により指示され、ナビゲートマークＮＭ３の表示位置がＸＹ座標（Ｘ３，Ｙ３）として指定される。この際、表示位置の指定の前又は後に、要締結箇所ＢＰ３に対応する締結作業具Ｔの種類（例えば締結作業具ＴＢ）が入力される。次に、基準実静止画データＳＤ中の要締結箇所ＢＰ４に対応する位置が例えばクリック等により指示され、ナビゲートマークＮＭ４の表示位置がＸＹ座標（Ｘ４，Ｙ４）として指定される。この際、表示位置の指定の前又は後に、要締結箇所ＢＰ４に対応する締結作業具Ｔの種類（例えば締結作業具ＴＣ）が入力される。次に、基準実静止画データＳＤ中の要締結箇所ＢＰ５に対応する位置が例えばクリック等により指示され、ナビゲートマークＮＭ５の表示位置がＸＹ座標（Ｘ５，Ｙ５）として指定される。この際、表示位置の指定の前又は後に、要締結箇所ＢＰ５に対応する締結作業具Ｔの種類（例えば締結作業具ＴＣ）が入力される。
【0020】
なお、以上におけるＸＹ座標は、図２に示すように、第２表示部２１に表示された画像において、例えば横軸をＸ軸、縦軸をＹ軸とする座標系である。ＸＹ座標の数値は、例えば撮像するカメラの解像度により定まるピクセル値等としてもよい。この場合、基準被作業物ＳＷを撮像するカメラの解像度、及び、対象被作業物Ｗを撮像する撮像部１１の解像度が同じである必要がある。各ナビゲートマークＮＭ１～ＮＭ５の位置情報は、特定のナビゲートマークＮＭ（例えばナビゲートマークＮＭ１等）を基準点Ｏとした相対位置座標として規定されてもよい。また、第２表示部２１に表示された画像の端部（例えば左上端等）を基準点Ｏとした位置座標として規定されてもよい。
【0021】
以上のようにして、図１に示すように、端末装置２０において手作業順序を表す順序情報（＃１～＃５）、締結作業具Ｔの種類を表す作業具情報（作業具ＴＡ～ＴＣ）、手作業位置を表す位置情報（Ｘ１，Ｙ１～Ｘ５，Ｙ５）を含む、ナビゲート情報ＮＤが生成される。当該ナビゲート情報ＮＤは、締結ナビゲート装置１０にて、対象実静止画データＲＤに対し重畳表示されるナビゲートマークＮＭの表示色が、要締結箇所ＢＰ１～ＢＰ５の順に対応して変更されていくナビゲート画像として表示される。
【0022】
図２に示すように、ナビゲートマークＮＭ１～ＮＭ５の生成指示の際には、ナビゲートマークＮＭ１～ＮＭ５が、基準実静止画データＳＤ中の各要締結箇所ＢＰ１～ＢＰ５に重畳されて表示される。本実施形態では、重畳表示されるナビゲートマークＮＭの形状を、要締結箇所ＢＰを囲う円形の図形としているが、作業対象となる要締結箇所ＢＰを特定可能であれば、その他形状の図形としてもよい。また、本実施形態では、一例として対象被作業物Ｗ（基準被作業物ＳＷ）が５箇所の要締結箇所ＢＰ１～ＢＰ５を有する場合について説明するが、要締結箇所の数、位置、順番等は本実施形態の内容に限定されるものではなく、多種多様なものに適用可能である。
【0023】
図３（ａ）に示すように、締結ナビゲート装置１０は作業台ＷＴ上にスタンドＳＴを介して設置されている。スタンドＳＴは、締結ナビゲート装置１０を自由に移動可能に支持している。締結ナビゲート装置１０は、例えば、スマートフォン、タブレット等の移動式端末であり、撮像部１１と、第１表示部１２とを有する。作業者ＷＲは、撮像部１１の下方に作業手順書ＷＳをかざすことにより、作業手順書ＷＳの二次元バーコードＢ１を読み取らせる。図３（ｂ）にこのときの第１表示部１２の表示の一例を示す。これにより、締結ナビゲート装置１０の第１演算部１３（後述の図９参照）は、二次元バーコードＢ１を復号化してナビゲート情報ＮＤを復元する。
【0024】
図４（ａ）に示すように、締結手作業は、対象被作業物Ｗが作業台ＷＴに配置された状態にて実行される。本実施形態においては、対象被作業物Ｗは、基準被作業物ＳＷと同一種類・同一の大きさ・同一形状のものである。即ち、対象被作業物Ｗは、基準被作業物ＳＷと同じ５箇所の位置に、要締結箇所ＢＰ１～ＢＰ５を有する。対象被作業物Ｗは撮像部１１により撮像され、対応する対象実静止画データＲＤが生成される。生成された対象実静止画データＲＤは、第１表示部１２に表示される。一方、作業者ＷＲは、締結手作業の前に、締結ナビゲート装置１０に対して所定の操作を行うことにより、復元されたナビゲート情報ＮＤに基づいて、複数の要締結箇所ＢＰ１～ＢＰ５に対応する複数のナビゲートマークＮＭ１～ＮＭ５を第１表示部１２に第１の表示色で表示させる。第１の表示色については後述する。図４（ｂ）にこのときの第１表示部１２の表示の一例を示す。
【0025】
図４（ｂ）に示す例では、第１表示部１２において、ナビゲートマークＮＭ１～ＮＭ５の位置と、要締結箇所ＢＰ１～ＢＰ５の位置とがずれている。作業者ＷＲは、第１表示部１２に表示されたナビゲートマークＮＭ１～ＮＭ５と、第１表示部１２に表示された対象実静止画データＲＤに含まれる複数の要締結箇所ＢＰ１～ＢＰ５とが一致するように、撮像部１１の位置を調整する。図４（ｃ）に位置調整後の第１表示部１２の表示の一例を示す。
【0026】
以上の準備作業が終わった後、作業者ＷＲは、対象被作業物Ｗの複数の要締結箇所ＢＰ１～ＢＰ５に対し、１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う。この際、作業者ＷＲは、例えば締結ナビゲート装置１０に対して所定の開始操作を行うことにより、第１表示部１２において対象実静止画データＲＤに重畳させてナビゲート画像データの表示を開始させる。ナビゲート画像データにおいては、複数の要締結箇所ＢＰ１～ＢＰ５に対し、１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするよう、ナビゲートマークＮＭ１～ＮＭ５の表示色が順次変更される。例えば、対象被作業物Ｗが５箇所の異なる位置に要締結箇所ＢＰ１～ＢＰ５を有しており、手作業順序及び手作業位置として、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５の順で締結が必要となる場合には、これに対応するように、まず要締結箇所ＢＰ１～ＢＰ５に対応する各位置に第１の表示色でナビゲートマークＮＭ１～ＮＭ５が表示される。第１の表示色は、事前に締結手作業を行う場所を全部把握するための表示色であり、例えば緑色である。次に、ナビゲートマークＮＭ１が第２の表示色に変更される。第２の表示色は、次に締結手作業を行う場所を指示するための表示色であり、例えば青色である。次に、ナビゲートマークＮＭ２が第２の表示色に変更されると共に、ナビゲートマークＮＭ１が第３の表示色に変更される。第３の表示色は、締結手作業が完了したことを示すための表示色であり、締結完了場所の２度締めを防止するために表示される。第３の表示色は、例えば灰色である。次に、ナビゲートマークＮＭ３が第２の表示色に変更されると共に、ナビゲートマークＮＭ２が第３の表示色に変更される。次に、ナビゲートマークＮＭ４が第２の表示色に変更されると共に、ナビゲートマークＮＭ３が第３の表示色に変更される。次に、ナビゲートマークＮＭ５が第２の表示色に変更されると共に、ナビゲートマークＮＭ４が第３の表示色に変更される。最後に、ナビゲートマークＮＭ５が第３の表示色に変更される。このように、本実施形態においては、ナビゲート画像データは、ナビゲートマークＮＭの表示色が、要締結箇所ＢＰ１～ＢＰ５に対応して順番に変更されていく動画となる。従って、ナビゲート画像データのナビゲートマークＮＭにナビゲートされて、締結手作業の作業者ＷＲは、手作業順序及び手作業位置を認識できる。即ち、ナビゲート画像データは、デジタル手順書として機能する。
【0027】
なお、上記第１の表示色、第２の表示色、第３の表示色は、作業者ＷＲが自由に設定することができる。例えば対象被作業物Ｗの色に応じて見やすい色に変更されてもよい。
【0028】
図５（ａ）に示すように、作業者ＷＲは、対象被作業物Ｗが作業台ＷＴに配置された状態にて、締結作業具Ｔを用いて締結手作業を行う。締結作業具Ｔは、例えば、レンチ、ドライバ等であり、その先端が、対象被作業物Ｗの要締結箇所ＢＰに締結されるボルト又はナットが装着される装着部Ｔ１となっている（後述の図１０も参照）。
【0029】
図５（ｂ）に示すように、前述の準備作業により要締結箇所ＢＰ１～ＢＰ５に対応する各位置に第１の表示色でナビゲートマークＮＭ１～ＮＭ５が表示された状態において、先ず、対象実静止画データＲＤ中の要締結箇所ＢＰ１の位置のナビゲートマークＮＭ１が第２の表示色に変更される。ナビゲートマークＮＭ１の第２の表示色による表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ１に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、要締結箇所ＢＰ１に対応する締結作業具ＴＡの装着部Ｔ１にて、要締結箇所ＢＰ１のボルト又はナットを締結する。
【0030】
次いで、図６（ａ）に示すように、上記ナビゲートマークＮＭ１が第３の表示色に変更されて、対象実静止画データＲＤ中の要締結箇所ＢＰ２の位置のナビゲートマークＮＭ２が第２の表示色に変更される。ナビゲートマークＮＭ２の第２の表示色による表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ２に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、要締結箇所ＢＰ２に対応する締結作業具ＴＢの装着部Ｔ１にて要締結箇所ＢＰ２のボルト又はナットを締結する。
【0031】
次いで、図６（ｂ）に示すように、上記ナビゲートマークＮＭ２が第３の表示色に変更されて、対象実静止画データＲＤ中の要締結箇所ＢＰ３の位置のナビゲートマークＮＭ３が第２の表示色に変更される。ナビゲートマークＮＭ３の第２の表示色による表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ３に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、要締結箇所ＢＰ３に対応する締結作業具ＴＢの装着部Ｔ１にて要締結箇所ＢＰ３のボルト又はナットを締結する。
【0032】
次いで、図７（ａ）に示すように、上記ナビゲートマークＮＭ３が第３の表示色に変更されて、対象実静止画データＲＤ中の要締結箇所ＢＰ４の位置のナビゲートマークＮＭ４が第２の表示色に変更される。ナビゲートマークＮＭ４の第２の表示色による表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ４に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、要締結箇所ＢＰ４に対応する締結作業具ＴＣの装着部Ｔ１にて要締結箇所ＢＰ４のボルト又はナットを締結する。
【0033】
そして、図７（ｂ）に示すように、上記ナビゲートマークＮＭ４が第３の表示色に変更されて、対象実静止画データＲＤ中の要締結箇所ＢＰ５の位置のナビゲートマークＮＭ５が第２の表示色に変更される。ナビゲートマークＮＭ５の第２の表示色による表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ５に対し締結手作業を実行するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、要締結箇所ＢＰ５に対応する締結作業具ＴＣの装着部Ｔ１にて要締結箇所ＢＰ５のボルト又はナットを締結する。その後、上記ナビゲートマークＮＭ５が第３の表示色に変更される。
【0034】
以上のように、ナビゲートマークＮＭ１～ＮＭ５は、ナビゲート画像データとして、対象実静止画データＲＤ中の要締結箇所ＢＰ１～ＢＰ５の位置にそれぞれ対応するよう、対象実静止画データＲＤに重畳表示される。ナビゲートマークＮＭ１，ＮＭ２，ＮＭ３，ＮＭ４，ＮＭ５がこの順に表示色を変更されることで、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５に対し、この順で締結手作業がナビゲートされる。
【0035】
本実施形態においては、ナビゲートマークＮＭは、所定期間だけ第２の表示色による表示が継続された後に第３の表示色に変更され、同時に、次のナビゲートマークＮＭが第１の表示色から第２の表示色に変更される。すなわち、第２の表示色のナビゲートマークＮＭが、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５の各位置に所定期間だけ表示されつつ、この順番に移動していく。この所定期間は、例えば、締結手作業の目標完了時間等に基づいて、決定されてもよい。また、締結作業具Ｔが締め付け圧が一定の圧力に達すると信号を送信する機能等の締結完了を伝える機能を有する場合、所定期間は締結作業具Ｔから締結完了の信号を受信するまでの期間としてもよい。
【0036】
また、所定期間の経過後に第２の表示色のナビゲートマークＮＭを次の位置に移動させるのではなく、作業者ＷＲによる所定の操作に基づいて第２の表示色のナビゲートマークＮＭを次の位置に移動させてもよい。例えば第１表示部１２の表示画面に、「作業開始」、「手順戻る」、「手順進む」、「最初から」、「最後へ」、「停止」、「一時停止」等の操作マークを表示させておき、作業者ＷＲがこれらの操作マークを使用してナビゲート画像データの表示を操作できるようにしてもよい。
【0037】
本実施形態においては、図３（ａ）に示すように、締結ナビゲート装置１０は、移動式端末であり、撮像部１１及び第１表示部１２が、移動式端末に一体的に内蔵されるよう構成されている。これに代えて、図８（ａ）に示すように、例えば、締結ナビゲート装置１０は、撮像部１１としてのカメラユニット、及び、第１表示部１２としてのモニタ装置を備え、これらが別体となるよう構成されてもよい。この場合、撮像部１１は、作業台ＷＴのスタンドＳＴの上端部に固定され、第１表示部１２は、作業台ＷＴから離間させて作業者ＷＲが視認可能な位置に固定されてもよい。また、図８（ｂ）に示すように、例えば、締結ナビゲート装置１０は、撮像部１１としてのカメラユニット、及び、第１表示部１２としてのスマートグラスを備え、これらが別体となるよう構成されてもよい。この場合、撮像部１１は、作業台ＷＴのスタンドＳＴの上端部に固定され、第１表示部１２は、作業者ＷＲの目元に装着されてもよい。これらの場合、例えば、第１表示部１２にて表示される映像データは、無線形式、有線形式の何れかにより、移動式端末から第１表示部１２に転送されてもよい。
【0038】
＜締結ナビゲート装置の構成＞
図９に示すように、締結ナビゲート装置１０は、撮像部１１と、第１表示部１２と、第１演算部１３と、第１記憶部１４と、警告報知部１５とを有する。撮像部１１、第１表示部１２、第１記憶部１４、及び、警告報知部１５は、インターフェイス、バス等を介して、第１演算部１３と電気的に接続されている。撮像部１１は、例えば、移動式端末に内蔵されているカメラ等であり、作業台ＷＴに載置された対象被作業物Ｗ、及び、締結手作業中の締結作業具Ｔを含む画角を、真上から撮像可能なように、締結ナビゲート装置１０の下側に設けられてもよい。第１表示部１２は、例えば、移動式端末に内蔵されているモニタ等であり、作業者ＷＲにより、作業台ＷＴに載置された対象被作業物Ｗと同時に視認可能なように、締結ナビゲート装置１０の上側に設けられてもよい。第１演算部１３は、ＣＰＵ、電気回路等にて構成されており、撮像部１１の撮像、第１表示部１２の映像表示、二次元バーコードＢ１の復号化、ナビゲート情報に基づくナビゲート画像データの生成・表示等を含む、各種プログラムの処理を実行する。第１記憶部１４は、メモリ、電気回路等にて構成されており、締結ナビゲートプログラム１００等の各種プログラムが予め格納される。また、第１記憶部１４は、端末装置２０にて生成されたナビゲート情報等を、記録可能となっている。第１記憶部１４に格納されたプログラム、データは、第１演算部１３のＣＰＵにより読み出されるようになっている。なお、警告報知部１５については、後に詳述する。
図９に示すように、締結ナビゲート装置１０は、撮像部１１と、第１表示部１２と、第１演算部１３と、第１記憶部１４と、警告報知部１５とを有する。撮像部１１、第１表示部１２、第１記憶部１４、及び、警告報知部１５は、インターフェイス、バス等を介して、第１演算部１３と電気的に接続されている。撮像部１１は、例えば、移動式端末に内蔵されているカメラ等であり、作業台ＷＴに載置された対象被作業物Ｗ、及び、締結手作業中の締結作業具Ｔを含む画角を、真上から撮像可能なように、締結ナビゲート装置１０の下側に設けられてもよい。第１表示部１２は、例えば、移動式端末に内蔵されているモニタ等であり、作業者ＷＲにより、作業台ＷＴに載置された対象被作業物Ｗと同時に視認可能なように、締結ナビゲート装置１０の上側に設けられてもよい。第１演算部１３は、ＣＰＵ、電気回路等にて構成されており、撮像部１１の撮像、第１表示部１２の映像表示、二次元バーコードＢ１の復号化、ナビゲート情報に基づくナビゲート画像データの生成・表示等を含む、各種プログラムの処理を実行する。第１記憶部１４は、メモリ、電気回路等にて構成されており、締結ナビゲートプログラム１００等の各種プログラムが予め格納される。また、第１記憶部１４は、端末装置２０にて生成されたナビゲート情報等を、記録可能となっている。第１記憶部１４に格納されたプログラム、データは、第１演算部１３のＣＰＵにより読み出されるようになっている。なお、警告報知部１５については、後に詳述する。
【0039】
＜締結作業具の位置検知に基づく警告報知＞
締結ナビゲートプログラム１００及び締結ナビゲート装置１０は、締結手作業を順次行う際の手作業順序、手作業位置、及び、締結作業具Ｔの種類をナビゲートするにあたって、締結作業具Ｔの位置検知及び種類検知に基づいて、警告報知を行うようになっている。本実施形態においては、例えば、作業者ＷＲが用いる締結作業具Ｔの位置が、第２の表示色で表示されているナビゲートマークＮＭの位置と整合するか否かが判定されて、整合しないと判定された場合に、警告報知がなされる。この目的は、締結手作業中において、作業者ＷＲが移動させた締結作業具Ｔの位置が不適正である場合に、警報報知にて作業者ＷＲに認知させて、不適正な位置を適正な位置へ是正させるよう作業者ＷＲに促すことにある。また例えば、作業者ＷＲが用いる締結作業具Ｔの種類が、第２の表示色で表示されているナビゲートマークＮＭに対応する締結作業具Ｔの種類（すなわち、ナビゲート情報により規定された締結作業具Ｔの種類）と整合するか否かが判定されて、整合しないと判定された場合に、警告報知がなされる。この目的は、作業者ＷＲが、誤って異なる種類の締結作業具Ｔを使用した場合に、所定の警告報知を行い、誤っている旨を作業者ＷＲに認知させることにある。このため、締結作業具Ｔ、及び、締結ナビゲート装置１０は、下記のように構成される。
締結ナビゲートプログラム１００及び締結ナビゲート装置１０は、締結手作業を順次行う際の手作業順序、手作業位置、及び、締結作業具Ｔの種類をナビゲートするにあたって、締結作業具Ｔの位置検知及び種類検知に基づいて、警告報知を行うようになっている。本実施形態においては、例えば、作業者ＷＲが用いる締結作業具Ｔの位置が、第２の表示色で表示されているナビゲートマークＮＭの位置と整合するか否かが判定されて、整合しないと判定された場合に、警告報知がなされる。この目的は、締結手作業中において、作業者ＷＲが移動させた締結作業具Ｔの位置が不適正である場合に、警報報知にて作業者ＷＲに認知させて、不適正な位置を適正な位置へ是正させるよう作業者ＷＲに促すことにある。また例えば、作業者ＷＲが用いる締結作業具Ｔの種類が、第２の表示色で表示されているナビゲートマークＮＭに対応する締結作業具Ｔの種類（すなわち、ナビゲート情報により規定された締結作業具Ｔの種類）と整合するか否かが判定されて、整合しないと判定された場合に、警告報知がなされる。この目的は、作業者ＷＲが、誤って異なる種類の締結作業具Ｔを使用した場合に、所定の警告報知を行い、誤っている旨を作業者ＷＲに認知させることにある。このため、締結作業具Ｔ、及び、締結ナビゲート装置１０は、下記のように構成される。
【0040】
図１０に示すように、締結作業具Ｔは、棒形状を呈しており、装着部Ｔ１を先端として、装着部Ｔ１と反対側に把持部Ｔ２を有している。把持部Ｔ２は、作業者ＷＲにより把持可能となっている。締結手作業の際、装着部Ｔ１に、要締結箇所ＢＰに締結されるボルト又はナットが装着されて、装着部Ｔ１を支点、締結作業具Ｔの長軸を動径として、把持部Ｔ２側の回転作動が可能となっている。締結作業具Ｔには、複数の作業具二次元バーコードＢ２が設けられている。作業具二次元バーコードＢ２は、例えば、ＱＲコード（登録商標）等であり、締結作業具Ｔの装着部Ｔ１と把持部Ｔ２との中間部位に、長軸方向に沿って例えば２つ設けられる。
【0041】
前述の図９に示すように、締結ナビゲート装置１０は、警告報知部１５を有する。第１演算部１３は、警告報知部１５に指示することで、作業者ＷＲに視覚、聴覚等を通じた警告報知を実行する。警告報知の態様としては、例えば、警告報知部１５がスピーカ装置を含み、警告音を発出するようにしてもよいし、警告報知部１５が警告表示データを含み、第１表示部１２にて警告表示（例えば、警告灯に相当する画像や、警告文のテキストを含む画像等）するようにしてもよい。（後述の図１１及び図１２を参照）。第１演算部１３は、締結作業具Ｔの位置が、第２の表示色で表示されているナビゲートマークＮＭの位置と整合しないと判定した場合に、対応する警告報知を実行するよう、警告報知部１５に指示する。また第１演算部１３は、使用中の締結作業具Ｔの種類が、第２の表示色で表示されているナビゲートマークＮＭに対応する締結作業具Ｔの種類と整合しないと判定した場合に、対応する警告報知を実行するよう、警告報知部１５に指示する。
【0042】
前述の図５（ｂ）に示すように、例えば、ナビゲートマークＮＭ１の第２の表示色による表示に応じて、要締結箇所ＢＰ１に装着部Ｔ１を位置させた場合、後述のように検知される締結作業具Ｔの位置が、第２の表示色で表示されているナビゲートマークＮＭの位置と整合すると判定されて、上述の警告報知は実行されない。図６及び図７にそれぞれ示す状態においても、同様に警告報知は実行されない。
【0043】
ここにおいて、対象被作業物Ｗに対する締結手作業の実行時の締結作業具Ｔの位置は、撮像部１１による撮像結果に基づいて検知される。具体的には、装着部Ｔ１の位置が、複数の作業具二次元バーコードＢ２を位置決め基準とした検出結果に基づいて、検知される。本実施形態においては、装着部Ｔ１側の作業具二次元バーコードＢ２と、装着部Ｔ１との間の離間距離が既知である。把持部Ｔ２側の作業具二次元バーコードＢ２にて、装着部Ｔ１の方向が算出されるようになっている。これら２つの作業具二次元バーコードＢ２が、撮像部１１の撮像により検出されて、装着部Ｔ１の位置が精度良く検知される。
【0044】
図１１に示すように、前述の図５（ｂ）に示す状態での要締結箇所ＢＰ１の締結が完了した後、ナビゲートマークＮＭ２の第２の表示色による表示に移行した際に、例えば、要締結箇所ＢＰ３に向け装着部Ｔ１を移動させた場合の作動を説明する。この場合、上述のように検知されている締結作業具Ｔの位置が、第２の表示色で表示されているナビゲートマークＮＭの位置と整合しないと判定されて、上述の警告報知が実行される。警告報知としては、図１１（ａ）に示すように締結ナビゲート装置１０からの警告音ＡＬ１が発出されてもよいし、図１１（ｂ）に示すように第１表示部１２にて警告灯ＡＬ２が表示されてもよい。なお、警告音ＡＬ１や警告灯ＡＬ２の代わりに、例えば「作業に誤りがあります」や「正しい場所を締結してください」等のテキストが音声出力又は表示されてもよい。
【0045】
即ち、ナビゲートマークＮＭ１からＮＭ２に第２の表示色による表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ３，ＢＰ４，ＢＰ５（即ち、ＢＰ２以外）である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ２からＮＭ３に第２の表示色による表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ２，ＢＰ４，ＢＰ５（即ち、ＢＰ３以外）である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ３からＮＭ４に第２の表示色による表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ５（即ち、ＢＰ４以外）である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ４からＮＭ５に第２の表示色による表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４（即ち、ＢＰ５以外）である場合においても、同様に警告報知が実行される。
【0046】
また前述の図５（ｂ）に示すように、例えば、ナビゲートマークＮＭ１の第２の表示色による表示に応じて、当該ナビゲートマークＮＭ１に対応する締結作業具ＴＡを用いて要締結箇所ＢＰ１に対して締結手作業を実行した場合、後述のように検知される締結作業具Ｔの種類が、第２の表示色で表示されているナビゲートマークＮＭ１に対応する締結作業具Ｔの種類と整合すると判定されて、上述の警告報知は実行されない。図６及び図７にそれぞれ示す状態においても、同様に警告報知は実行されない。
【0047】
ここにおいて、対象被作業物Ｗに対する締結手作業の実行時の締結作業具Ｔの種類は、撮像部１１による撮像結果に基づいて検知される。具体的には、締結作業具Ｔに設けられた２つの作業具二次元バーコードＢ２のいずれか又は両方に、締結作業具Ｔの種類に係わる情報が含まれている。作業具二次元バーコードＢ２が撮像部１１の撮像により検出されて復号化されることにより、締結作業具Ｔの種類が検知される。
【0048】
図１２に示すように、前述の図５（ｂ）に示す状態での要締結箇所ＢＰ１の締結が完了した後、ナビゲートマークＮＭ２の第２の表示色による表示に移行した際に、例えば、ナビゲートマークＮＭ２に対応する締結作業具ＴＢではなく、誤って締結作業具ＴＡを使用して要締結箇所ＢＰ２の締結手作業を実行した場合の作動を説明する。この場合、上述のように検知されている締結作業具Ｔの種類が、第２の表示色で表示されているナビゲートマークＮＭ２に対応する締結作業具Ｔの種類と整合しないと判定されて、上述の警告報知が実行される。警告報知としては、図１２（ａ）に示すように締結ナビゲート装置１０からの警告音ＡＬ１が発出されてもよいし、図１２（ｂ）に示すように第１表示部１２にて警告灯ＡＬ２が表示されてもよい。なお、警告音ＡＬ１や警告灯ＡＬ２の代わりに、例えば「作業に誤りがあります」や「正しい工具を使用してください」等のテキストが音声出力又は表示されてもよい。
【0049】
即ち、ナビゲートマークＮＭ１が第２の表示色で表示された際に、検知されている締結作業具Ｔの種類が、ナビゲートマークＮＭ１に対応する締結作業具ＴＡ以外である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ２，ＮＭ３が第２の表示色で表示された際に、検知されている締結作業具Ｔの種類が、ナビゲートマークＮＭ２，ＮＭ３に対応する締結作業具ＴＢ以外である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ４，ＮＭ５が第２の表示色で表示された際に、検知されている締結作業具Ｔの種類が、ナビゲートマークＮＭ４，ＮＭ５に対応する締結作業具ＴＣ以外である場合においても、同様に警告報知が実行される。
【0050】
本実施形態においては、検知されている締結作業具Ｔの位置が、第２の表示色で表示されているナビゲートマークＮＭの位置と整合しないと判定された場合、及び、検知されている締結作業具Ｔの種類が、ナビゲート情報により規定された締結作業具Ｔの種類と整合しないと判定された場合に、警告報知が実行されるが、これに代えて、上記整合しない状態の画角を撮像部１１にて撮像し、第１記憶部１４にログとして記録するようにしてもよい。また、本実施形態においては、締結ナビゲート装置１０に警告報知部１５が設けられ、警告音ＡＬ１の発出、又は、警告灯ＡＬ２の表示は、移動式端末にて実行される。これに代えて、例えば、警告音ＡＬ１を発出する場合には、図１３（ａ）に示すように、警告報知部１５としてのスピーカ装置を、移動式端末とは別体で設けてもよい。また、例えば、警告灯ＡＬ２を表示する場合には、図１３（ｂ）に示すように、警告報知部１５としての警告灯装置を、移動式端末とは別体で設けてもよい。これらのスピーカ装置、警告灯装置は、移動式端末と無線形式、有線形式の何れで接続されてもよい。
【0051】
＜端末装置の構成＞
デジタル手順書として機能するナビゲート画像データは、締結ナビゲート装置１０においてナビゲート情報ＮＤに基づいて生成及び表示される。ナビゲート情報ＮＤは、端末装置２０にて生成される。端末装置２０は、締結ナビゲート装置１０とは別の端末である。端末装置２０では、ナビゲートデータ生成プログラム２００を用いてナビゲート情報ＮＤが生成される。即ち、端末装置２０は、ナビゲート情報ＮＤの生成を分担しており、端末装置２０にて生成されたナビゲート情報ＮＤが符号化されて二次元バーコードＢ１が生成され、印刷装置３０で印刷される。印刷された二次元バーコードＢ１が、締結ナビゲート装置１０において読み取られて復号化され、復元されたナビゲート情報ＮＤに基づいてナビゲート画像データが生成及び表示される。このようにして、締結手作業がナビゲートされるようになっている。
デジタル手順書として機能するナビゲート画像データは、締結ナビゲート装置１０においてナビゲート情報ＮＤに基づいて生成及び表示される。ナビゲート情報ＮＤは、端末装置２０にて生成される。端末装置２０は、締結ナビゲート装置１０とは別の端末である。端末装置２０では、ナビゲートデータ生成プログラム２００を用いてナビゲート情報ＮＤが生成される。即ち、端末装置２０は、ナビゲート情報ＮＤの生成を分担しており、端末装置２０にて生成されたナビゲート情報ＮＤが符号化されて二次元バーコードＢ１が生成され、印刷装置３０で印刷される。印刷された二次元バーコードＢ１が、締結ナビゲート装置１０において読み取られて復号化され、復元されたナビゲート情報ＮＤに基づいてナビゲート画像データが生成及び表示される。このようにして、締結手作業がナビゲートされるようになっている。
【0052】
図１４に示すように、端末装置２０は、第２表示部２１と、操作部２２と、第２演算部２３と、第２記憶部２４と、を有する。第２表示部２１は、例えば添え付けのモニタ等であり、管理者により視認可能となっている。操作部２２は、例えば、管理者が操作可能なキーボード又はマウス等であり、管理者の指示を受け付けるためのインターフェイスを含んでいる。第２演算部２３は、ＣＰＵ、電気回路等にて構成されており、第２表示部２１の映像表示、操作部２２を介した管理者による指示受付、ナビゲート情報の生成等を含む、各種プログラムの処理を実行する。第２記憶部２４は、メモリ、電気回路等にて構成されており、ナビゲートデータ生成プログラム２００等の各種プログラムが予め格納される。また、第２記憶部２４は、生成されたナビゲート情報等を記録可能となっている。
【0053】
＜締結ナビゲートプログラムの処理＞
締結ナビゲート装置１０に適用される締結ナビゲートプログラム１００により、第１演算部１３の各処理が実行されることで、上述したように、締結手作業を順次行う際の手作業順序、手作業位置、及び、締結作業具Ｔのナビゲートが実行される。
締結ナビゲート装置１０に適用される締結ナビゲートプログラム１００により、第１演算部１３の各処理が実行されることで、上述したように、締結手作業を順次行う際の手作業順序、手作業位置、及び、締結作業具Ｔのナビゲートが実行される。
【0054】
図１５乃至図１７の一連のフローチャートに示すように、締結手作業のナビゲートを開始する場合、先ず、ステップ１０１にて、第１演算部１３は、撮像部１１で撮像した二次元バーコードＢ１を復号化することにより、端末装置２０にて生成されたナビゲート情報ＮＤを復元し、第１記憶部１４に格納する。
【0055】
次に、ステップ１０２にて、第１演算部１３は、作業台ＷＴ上の対象被作業物Ｗを撮像部１１で撮像し、対象実静止画データＲＤを生成する。次いで、ステップ１０３にて、第１演算部１３は、上記生成された対象実静止画データＲＤを第１表示部１２に表示する。ここにおいて、ステップ１０２は、対象実静止画データ生成手順に相当し、ステップ１０３は、対象実静止画データ表示手順に相当する。
【0056】
次に、ステップ１０４にて、第１演算部１３は、上記ステップ１０１にて第１記憶部１４に格納したナビゲート情報ＮＤに基づいて、ナビゲートマークＮＭ１～ＮＭ５を第１の表示色で第１表示部１２に表示する。
【0057】
次に、ステップ１０５にて、作業者ＷＲは、第１表示部１２に表示されたナビゲートマークＮＭ１～ＮＭ５と、対象実静止画データＲＤに含まれる要締結箇所ＢＰ１～ＢＰ５とが一致するように、撮像部１１の位置を調整する（図４を参照）。
【0058】
次に、ステップ１０６にて、第１演算部１３は、作業者ＷＲの所定の操作によりナビゲートの開始指示を受け付けたか否かを判定する。開始指示を受け付けていない場合には、第１演算部１３は「Ｎｏ」と判定し、開始指示を受け付けるまで本ステップ１０６を繰り返して待機する。一方、開始指示を受け付けた場合には、第１演算部１３は「Ｙｅｓ」と判定し、ステップ１０７に移る。
【0059】
次に、ステップ１０７にて、第１演算部１３は、上記ステップ１０１にて第１記憶部１４に格納したナビゲート情報に基づいて、第１の表示色で表示されているナビゲートマークＮＭ１を第２の表示色に変更する（図５（ｂ）を参照）。次いで、ステップ１０８にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＢ２の撮像に基づいて、装着部Ｔ１の位置、及び、締結作業具Ｔの種類を検出する。次いで、ステップ１０９にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ１の位置と整合しているか否かを判定する。ステップ１０９にて「Ｙｅｓ」と判定されると、ステップ１１１に直ちに進む。
【0060】
一方、ステップ１０９にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ１の位置と整合していない場合、ステップ１０９にて「Ｎｏ」と判定されて、ステップ１１０に進む。ステップ１１０にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１１を参照）。その後、ステップ１０９に戻り、装着部Ｔ１の検出位置が是正されるまでステップ１０９（「Ｎｏ」）及びステップ１１０を繰り返し、装着部Ｔ１の検出位置が是正されるとステップ１１１に進む。
【0061】
次いで、ステップ１１１にて、第１演算部１３は、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ１に対応する締結作業具Ｔの種類と整合しているか否かを判定する。ステップ１１１にて「Ｙｅｓ」と判定されると、ステップ１１３に直ちに進み、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ１を第３の表示色に変更する。
【0062】
一方、ステップ１１１にて、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ１に対応する締結作業具Ｔの種類と整合していない場合、ステップ１１１にて「Ｎｏ」と判定されて、ステップ１１２に進む。ステップ１１２にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１２を参照）。その後、ステップ１１１に戻り、締結作業具Ｔの種類が是正されるまでステップ１１１（「Ｎｏ」）及びステップ１１２を繰り返し、締結作業具Ｔの種類が是正されるとステップ１１３に進む。
【0063】
次いで、ステップ１１３にて、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ１を第３の表示色に変更する。
【0064】
【0065】
ステップ１１４にて、第１演算部１３は、上記ステップ１０１にて第１記憶部１４に格納したナビゲート情報に基づいて、第１の表示色で表示されているナビゲートマークＮＭ２を第２の表示色に変更する（図６（ａ）を参照）。次いで、ステップ１１５にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＢ２の撮像に基づいて、装着部Ｔ１の位置及び締結作業具Ｔの種類を検出する。次いで、ステップ１１６にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ２の位置と整合しているか否かを判定する。ステップ１１６にて「Ｙｅｓ」と判定されると、ステップ１１８に直ちに進む。
【0066】
一方、ステップ１１６にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ２の位置と整合していない場合、ステップ１１６にて「Ｎｏ」と判定されて、ステップ１１７に進む。ステップ１１７にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１１を参照）。その後、ステップ１１６に戻り、装着部Ｔ１の検出位置が是正されるまでステップ１１６（「Ｎｏ」）及びステップ１１７を繰り返し、装着部Ｔ１の検出位置が是正されるとステップ１１８に進む。
【0067】
次いで、ステップ１１８にて、第１演算部１３は、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ２に対応する締結作業具Ｔの種類と整合しているか否かを判定する。ステップ１１８にて「Ｙｅｓ」と判定されると、ステップ１２０に直ちに進み、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ２を第３の表示色に変更する。
【0068】
一方、ステップ１１８にて、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ２に対応する締結作業具Ｔの種類と整合していない場合、ステップ１１８にて「Ｎｏ」と判定されて、ステップ１１９に進む。ステップ１１９にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１２を参照）。その後、ステップ１１８に戻り、締結作業具Ｔの種類が是正されるまでステップ１１８（「Ｎｏ」）及びステップ１１９を繰り返し、締結作業具Ｔの種類が是正されるとステップ１２０に進む。
【0069】
次いで、ステップ１２０にて、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ２を第３の表示色に変更する。
【0070】
次に、ステップ１２１にて、第１演算部１３は、上記ステップ１０１にて第１記憶部１４に格納したナビゲート情報に基づいて、第１の表示色で表示されているナビゲートマークＮＭ３を第２の表示色に変更する（図６（ｂ）を参照）。次いで、ステップ１２２にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＢ２の撮像に基づいて、装着部Ｔ１の位置及び締結作業具Ｔの種類を検出する。次いで、ステップ１２３にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ３の位置と整合しているか否かを判定する。ステップ１２３にて「Ｙｅｓ」と判定されると、ステップ１２５に直ちに進む。
【0071】
一方、ステップ１２３にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ３の位置と整合していない場合、ステップ１２３にて「Ｎｏ」と判定されて、ステップ１２４に進む。ステップ１２４にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１１を参照）。その後、ステップ１２３に戻り、装着部Ｔ１の検出位置が是正されるまでステップ１２３（「Ｎｏ」）及びステップ１２４を繰り返し、装着部Ｔ１の検出位置が是正されるとステップ１２５に進む。
【0072】
次いで、ステップ１２５にて、第１演算部１３は、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ３に対応する締結作業具Ｔの種類と整合しているか否かを判定する。ステップ１２５にて「Ｙｅｓ」と判定されると、ステップ１２７に直ちに進み、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ３を第３の表示色に変更する。
【0073】
一方、ステップ１２５にて、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ３に対応する締結作業具Ｔの種類と整合していない場合、ステップ１２５にて「Ｎｏ」と判定されて、ステップ１２６に進む。ステップ１２６にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１２を参照）。その後、ステップ１２５に戻り、締結作業具Ｔの種類が是正されるまでステップ１２５（「Ｎｏ」）及びステップ１２６を繰り返し、締結作業具Ｔの種類が是正されるとステップ１２７に進む。
【0074】
次いで、ステップ１２７にて、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ３を第３の表示色に変更する。
【0075】
【0076】
ステップ１２８にて、第１演算部１３は、上記ステップ１０１にて第１記憶部１４に格納したナビゲート情報に基づいて、第１の表示色で表示されているナビゲートマークＮＭ４を第２の表示色に変更する（図７（ａ）を参照）。次いで、ステップ１２９にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＢ２の撮像に基づいて、装着部Ｔ１の位置及び締結作業具Ｔの種類を検出する。次いで、ステップ１３０にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ４の位置と整合しているか否かを判定する。ステップ１３０にて「Ｙｅｓ」と判定されると、ステップ１３２に直ちに進む。
【0077】
一方、ステップ１３０にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ４の位置と整合していない場合、ステップ１３０にて「Ｎｏ」と判定されて、ステップ１３１に進む。ステップ１３１にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１１を参照）。その後、ステップ１３０に戻り、装着部Ｔ１の検出位置が是正されるまでステップ１３０（「Ｎｏ」）及びステップ１３１を繰り返し、装着部Ｔ１の検出位置が是正されるとステップ１３２に進む。
【0078】
次いで、ステップ１３２にて、第１演算部１３は、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ４に対応する締結作業具Ｔの種類と整合しているか否かを判定する。ステップ１３２にて「Ｙｅｓ」と判定されると、ステップ１３４に直ちに進み、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ４を第３の表示色に変更する。
【0079】
一方、ステップ１３２にて、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ４に対応する締結作業具Ｔの種類と整合していない場合、ステップ１３２にて「Ｎｏ」と判定されて、ステップ１３３に進む。ステップ１３３にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１２を参照）。その後、ステップ１３２に戻り、締結作業具Ｔの種類が是正されるまでステップ１３２（「Ｎｏ」）及びステップ１３３を繰り返し、締結作業具Ｔの種類が是正されるとステップ１３４に進む。
【0080】
次いで、ステップ１３４にて、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ４を第３の表示色に変更する。
【0081】
次に、ステップ１３５にて、第１演算部１３は、上記ステップ１０１にて第１記憶部１４に格納したナビゲート情報に基づいて、第１の表示色で表示されているナビゲートマークＮＭ５を第２の表示色に変更する（図７（ｂ）を参照）。次いで、ステップ１３６にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＢ２の撮像に基づいて、装着部Ｔ１の位置及び締結作業具Ｔの種類を検出する。次いで、ステップ１３７にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ５の位置と整合しているか否かを判定する。ステップ１３７にて「Ｙｅｓ」と判定されると、ステップ１３９に直ちに進む。
【0082】
一方、ステップ１３７にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ５の位置と整合していない場合、ステップ１３７にて「Ｎｏ」と判定されて、ステップ１３８に進む。ステップ１３８にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１１を参照）。その後、ステップ１３７に戻り、装着部Ｔ１の検出位置が是正されるまでステップ１３７（「Ｎｏ」）及びステップ１３８を繰り返し、装着部Ｔ１の検出位置が是正されるとステップ１３９に進む。
【0083】
次いで、ステップ１３９にて、第１演算部１３は、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ５に対応する締結作業具Ｔの種類と整合しているか否かを判定する。ステップ１３９にて「Ｙｅｓ」と判定されると、ステップ１４１に直ちに進み、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ５を第３の表示色に変更する。
【0084】
一方、ステップ１３９にて、上記検出された締結作業具Ｔの種類が、ナビゲートマークＮＭ５に対応する締結作業具Ｔの種類と整合していない場合、ステップ１３９にて「Ｎｏ」と判定されて、ステップ１４０に進む。ステップ１４０にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図１２を参照）。その後、ステップ１３９に戻り、締結作業具Ｔの種類が是正されるまでステップ１３９（「Ｎｏ」）及びステップ１４０を繰り返し、締結作業具Ｔの種類が是正されるとステップ１４１に進む。
【0085】
次いで、ステップ１４１にて、第１演算部１３は、所定期間経過後、第２の表示色で表示されているナビゲートマークＮＭ５を第３の表示色に変更する。以上により、締結ナビゲートプログラム１００による処理が完了し、締結手作業のナビゲートが終了する。
【0086】
ここにおいて、ステップ１０１は、ナビゲート情報復元手順に相当し、ステップ１０７，１１４，１２１，１２８，１３５は、ナビゲート画像データ表示手順に相当する。また、ステップ１０８，１１５，１２２，１２９，１３６は、作業具検知手順に相当し、ステップ１１１，１１８，１２５，１３２，１３９は、作業具判定手順に相当する。また、ステップ１１２，１１９，１２６，１３３，１４０は、警告報知手順に相当する。
【0087】
＜ナビゲートデータ生成プログラムの処理＞
端末装置２０に適用されるナビゲートデータ生成プログラム２００により、第２演算部２３の各処理が実行されることで、上述したように、ナビゲート情報ＮＤが生成される。
端末装置２０に適用されるナビゲートデータ生成プログラム２００により、第２演算部２３の各処理が実行されることで、上述したように、ナビゲート情報ＮＤが生成される。
【0088】
図１８のフローチャートに示すように、ナビゲート情報ＮＤの生成を開始する場合、先ず、ステップ２０１にて、第２演算部２３は、基準被作業物ＳＷをカメラにて撮影し、端末装置２０に取り込む。次いで、ステップ２０２にて、第２演算部２３は、上記撮影された基準被作業物ＳＷから、基準実静止画データＳＤを生成する（図１を参照）。ここにおいて、ステップ２０１，２０２は、基準実静止画データ生成手順に相当する。
【0089】
次に、ステップ２０３にて、第２演算部２３は、上記生成された基準実静止画データＳＤを第２表示部２１に表示する。次いで、ステップ２０４にて、第２演算部２３は、基準実静止画データＳＤが表示された状態で、管理者による操作部２２を介したナビゲートマークＮＭ１の生成指示及び締結作業具Ｔの種類の入力を受け付ける。次いで、ステップ２０５にて、第２演算部２３は、上記受け付けた生成指示及び入力に応じて、ナビゲートマークＮＭ１の順序及び位置、並びに、対応する締結作業具Ｔの種類を登録する。
【0090】
次に、ステップ２０６にて、第２演算部２３は、基準実静止画データＳＤが表示された状態で、管理者による操作部２２を介したナビゲートマークＮＭ２の生成指示及び締結作業具Ｔの種類の入力を受け付ける。次いで、ステップ２０７にて、第２演算部２３は、上記受け付けた生成指示及び入力に応じて、ナビゲートマークＮＭ２の順序及び位置、並びに、対応する締結作業具Ｔの種類を登録する。
【0091】
次に、ステップ２０８にて、第２演算部２３は、基準実静止画データＳＤが表示された状態で、管理者による操作部２２を介したナビゲートマークＮＭ３の生成指示及び締結作業具Ｔの種類の入力を受け付ける。次いで、ステップ２０９にて、第２演算部２３は、上記受け付けた生成指示及び入力に応じて、ナビゲートマークＮＭ３の順序及び位置、並びに、対応する締結作業具Ｔの種類を登録する。
【0092】
次に、ステップ２１０にて、第２演算部２３は、基準実静止画データＳＤが表示された状態で、管理者による操作部２２を介したナビゲートマークＮＭ４の生成指示及び締結作業具Ｔの種類の入力を受け付ける。次いで、ステップ２１１にて、第２演算部２３は、上記受け付けた生成指示及び入力に応じて、ナビゲートマークＮＭ４の順序及び位置、並びに、対応する締結作業具Ｔの種類を登録する。
【0093】
次に、ステップ２１２にて、第２演算部２３は、基準実静止画データＳＤが表示された状態で、管理者による操作部２２を介したナビゲートマークＮＭ５の生成指示及び締結作業具Ｔの種類の入力を受け付ける。次いで、ステップ２１３にて、第２演算部２３は、上記受け付けた生成指示及び入力に応じて、ナビゲートマークＮＭ５の順序及び位置、並びに、対応する締結作業具Ｔの種類を登録する。
【0094】
次に、ステップ２１４にて、第２演算部２３は、上記ステップ２０５，２０７，２０９，２１１，２１３で登録した情報に基づいて、手作業順序を表す順序情報、手作業位置を表す位置情報、及び、締結作業具Ｔの種類を表す作業具情報を含むナビゲート情報ＮＤを生成する。そして、第２演算部２３は、生成したナビゲート情報ＮＤを符号化して二次元バーコードＢ１を生成する。
【0095】
次に、ステップ２１５にて、第２演算部２３は、二次元バーコードＢ１を印刷指令と共に印刷装置３０に送信する。以上のようにして、ナビゲートデータ生成プログラム２００による処理が完了し、ナビゲート情報ＮＤの生成が終了する。
【0096】
ここにおいて、ステップ２０４，２０６，２０８，２１０，２１２は、指示受付手順に相当し、ステップ２１４は、ナビゲート情報生成手順及び二次元バーコード生成手順に相当する。また、ステップ２１５は、印刷媒体生成手順に相当する。
【0097】
＜実施形態の効果＞
以上説明したように、本実施形態の締結作業支援システム１によれば、作業者ＷＲは、対象被作業物Ｗの複数の要締結箇所ＢＰ１～ＢＰ５に対し、１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う。その際、目の前の作業台ＷＴに置かれた対象被作業物Ｗを撮像した対象実静止画データＲＤが締結ナビゲート装置１０の第１表示部１２に表示されるとともに、その静止画データ上に、ナビゲートマークＮＭ１～ＮＭ５を含むナビゲート画像データが重畳表示され、これによって上記締結手作業時において上記複数の要締結箇所ＢＰ１～ＢＰ５に対して実行すべき、手作業順序及び手作業位置が動的にナビゲートされる。
以上説明したように、本実施形態の締結作業支援システム１によれば、作業者ＷＲは、対象被作業物Ｗの複数の要締結箇所ＢＰ１～ＢＰ５に対し、１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う。その際、目の前の作業台ＷＴに置かれた対象被作業物Ｗを撮像した対象実静止画データＲＤが締結ナビゲート装置１０の第１表示部１２に表示されるとともに、その静止画データ上に、ナビゲートマークＮＭ１～ＮＭ５を含むナビゲート画像データが重畳表示され、これによって上記締結手作業時において上記複数の要締結箇所ＢＰ１～ＢＰ５に対して実行すべき、手作業順序及び手作業位置が動的にナビゲートされる。
【0098】
このとき、ナビゲート画像データは、締結ナビゲート装置１０においてナビゲート情報ＮＤに基づいて生成され表示される。ナビゲート情報ＮＤは、端末装置２０において、複数の要締結箇所ＢＰ１～ＢＰ５を備えた基準被作業物ＳＷを予め撮影した基準実静止画データＳＤを第２表示部２１に表示させた状態で、ナビゲートマークＮＭ１～ＮＭ５の生成指示を操作部２２を介して受け付けた場合に、生成される。ナビゲート情報ＮＤは、手作業順序を表す順序情報、及び、手作業位置を表す位置情報、を含んでいる。端末装置２０で生成されたナビゲート情報ＮＤは、符号化されて二次元バーコードＢ１が生成され、当該二次元バーコードＢ１が印刷装置３０に送信されて、当該二次元バーコードＢ１を含む作業手順書ＷＳが作成される。
【0099】
作成された作業手順書ＷＳの二次元バーコードＢ１は、締結ナビゲート装置１０の撮像部１１によって読み取られ、復号化されてナビゲート情報ＮＤが復元される。また、締結ナビゲート装置１０では、作業台ＷＴに配置された対象被作業物Ｗが撮像部１１により撮像され、対応する対象実静止画データＲＤが生成されて第１表示部１２に表示される。第１表示部１２では、復元されたナビゲート情報ＮＤに基づいて、作業者ＷＲが複数の要締結箇所ＢＰ１～ＢＰ５に対し１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークＮＭ１～ＮＭ５を含むナビゲート画像データが、対象実静止画データＲＤに対し重畳するように表示される。
【0100】
以上のようにして、本実施形態によれば、仮想動画中のナビゲートマークＮＭ１～ＮＭ５で動的に締結位置及び締結順序の表示を行うことができるので、作業者ＷＲに対し分かり易くナビゲートを行うことができ、作業者ＷＲは間違いのない締結手作業を行うことができる。また、例えば予めナビゲート画像データを端末装置２０で生成して締結ナビゲート装置１０に送信する場合には、各装置の処理性能の相違や、使用されるＯＳ、プログラム等の相違に起因して送信がうまくいかなかったり、データ容量が大きいために締結ナビゲート装置１０の処理負荷が大きくなる等、システムの運用負荷が大きくなるという課題がある。本実施形態では、締結ナビゲート装置１０側で二次元バーコードＢ１を読み取ることさえ可能であれば、各装置の処理性能やＯＳ等の相違に関わらずデータを受け渡すことが可能である。また、締結ナビゲート装置１０側では、二次元バーコードＢ１から復元された比較的データ容量の小さいナビゲート情報ＮＤを処理すれば足りるため、処理負荷を軽減できる。したがって、システムの運用負荷を大幅に軽減できる。
【0101】
また、本実施形態では特に、端末装置２０において、順序情報及び位置情報に加えて、締結作業具Ｔの種類を表す作業具情報を含むナビゲート情報ＮＤが生成され、締結ナビゲート装置１０において、ナビゲート情報ＮＤに基づいて、検知されている締結作業具Ｔの種類が、表示されているナビゲート画像データ中の各ナビゲートマークＮＭ１～ＮＭ５に対応する締結作業具Ｔの種類と整合するか否かが判定される。これにより、作業者ＷＲが使用した締結作業具Ｔの種類が不適正であった場合には、任意の手段によりそれを是正する、又は是正するように作業者を促すことができる。
【0102】
また、本実施形態では特に、締結作業具Ｔの種類がナビゲート画像データ中の各ナビゲートマークＮＭ１～ＮＭ５に対応する締結作業具Ｔの種類と整合しないと判定された場合に、対応する警告報知を実行する。これにより、作業者ＷＲが、誤って異なる種類の締結作業具Ｔを使用した場合は、所定の警告報知を行い、誤っている旨を作業者ＷＲに認知させることができる。
【0103】
また、本実施形態では特に、作業者ＷＲによる締結手作業の前に、第１表示部１２に表示された複数のナビゲートマークＮＭ１～ＮＭ５と、第１表示部１２に表示された対象実静止画データＲＤに含まれる複数の要締結箇所ＢＰ１～ＢＰ５とが一致するように、撮像部１１の位置が調整される。これにより、対象実静止画データＲＤに動画として重畳表示されるナビゲートマークＮＭ１～ＮＭ５の位置が、対象実静止画データＲＤ中の対象被作業物Ｗの複数の要締結箇所ＢＰ１～ＢＰ５の位置を指し示すように、精度よく合致させることができる。したがって、作業者ＷＲは間違いのない締結手作業を行うことができる。
【0104】
＜変形例＞
上述した実施形態においては、ナビゲート画像データ中に、締結作業具Ｔの種類の情報を表示しなかったが、当該情報を表示させてもよい。本変形例では、前述のステップ１０７，１１４，１２１，１２８，１３５において、第１演算部１３は、ナビゲート情報ＮＤに基づいて、作業者ＷＲが複数の要締結箇所ＢＰ１～ＢＰ５に対し１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う際に、第１の表示色で表示されているナビゲートマークＮＭ１～ＮＭ５を順次第２の表示色に変更すると共に、第２の表示色で表示されているナビゲートマークＮＭ１～ＮＭ５に対応する締結作業具Ｔの種類を第１表示部１２に表示する。具体的には、例えば図１９（ａ）に示すように、対象実静止画データＲＤ中の要締結箇所ＢＰ１の位置のナビゲートマークＮＭ１が第２の表示色に変更された際に、ナビゲートマークＮＭ１に対応する締結作業具ＴＡを表す情報（例えば「作業具Ａ」のテキスト）がナビゲートマークＮＭ１の近傍に表示される。同様に、例えば図１９（ｂ）に示すように、対象実静止画データＲＤ中の要締結箇所ＢＰ２の位置のナビゲートマークＮＭ２が第２の表示色に変更された際に、ナビゲートマークＮＭ２に対応する締結作業具ＴＢを表す情報（例えば「作業具Ｂ」のテキスト）がナビゲートマークＮＭ２の近傍に表示される。
上述した実施形態においては、ナビゲート画像データ中に、締結作業具Ｔの種類の情報を表示しなかったが、当該情報を表示させてもよい。本変形例では、前述のステップ１０７，１１４，１２１，１２８，１３５において、第１演算部１３は、ナビゲート情報ＮＤに基づいて、作業者ＷＲが複数の要締結箇所ＢＰ１～ＢＰ５に対し１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う際に、第１の表示色で表示されているナビゲートマークＮＭ１～ＮＭ５を順次第２の表示色に変更すると共に、第２の表示色で表示されているナビゲートマークＮＭ１～ＮＭ５に対応する締結作業具Ｔの種類を第１表示部１２に表示する。具体的には、例えば図１９（ａ）に示すように、対象実静止画データＲＤ中の要締結箇所ＢＰ１の位置のナビゲートマークＮＭ１が第２の表示色に変更された際に、ナビゲートマークＮＭ１に対応する締結作業具ＴＡを表す情報（例えば「作業具Ａ」のテキスト）がナビゲートマークＮＭ１の近傍に表示される。同様に、例えば図１９（ｂ）に示すように、対象実静止画データＲＤ中の要締結箇所ＢＰ２の位置のナビゲートマークＮＭ２が第２の表示色に変更された際に、ナビゲートマークＮＭ２に対応する締結作業具ＴＢを表す情報（例えば「作業具Ｂ」のテキスト）がナビゲートマークＮＭ２の近傍に表示される。
【0105】
本変形例によれば、作業者ＷＲに対し、締結位置及び締結順序に加えて、使用する締結作業具Ｔの種類についても分かり易くナビゲートを行うことができる。その結果、例えば締結箇所によって異なる締結作業具Ｔを使用する場合でも、作業者ＷＲは間違いのない締結手作業を行うことができる。
【0106】
また、上述した実施形態においては特に触れなかったが、端末装置２０において基準被作業物ＳＷをカメラで撮像する際の倍率、及び、締結ナビゲート装置１０において対象被作業物Ｗを撮像部１１で撮像する際の倍率がそれぞれ異なる場合（即ち、各カメラの性能がそれぞれ異なる場合等）も考えられる。この場合、撮像部１１が備える対象被作業物Ｗを拡大又は縮小して撮像する機能（いわゆるズームイン、ズームアウト）を利用して、作業者ＷＲによる締結手作業の前に、第１表示部１２に表示された複数のナビゲートマークＮＭ１～ＮＭ５と、第１表示部１２に表示された対象実静止画データＲＤに含まれる複数の要締結箇所ＢＰ１～ＢＰ５とが一致するように、撮像部１１による撮像画像の拡大又は縮小を調整してもよい。
【0107】
具体的には、例えば図２０（ａ）に示すように、対象被作業物Ｗが作業台ＷＴに配置された状態にて、作業者ＷＲは、締結手作業の前に、締結ナビゲート装置１０に対して所定の操作を行うことにより、復元されたナビゲート情報ＮＤに基づいて、複数の要締結箇所ＢＰ１～ＢＰ５に対応する複数のナビゲートマークＮＭ１～ＮＭ５を第１の表示色で第１表示部１２に表示させる。図２０（ｂ）にこのときの第１表示部１２の表示の一例を示す。
【0108】
図２０（ｂ）に示す例では、第１表示部１２において、ナビゲートマークＮＭ１～ＮＭ５の位置及び倍率と、要締結箇所ＢＰ１～ＢＰ５の位置及び倍率とがずれている。作業者ＷＲは、第１表示部１２に表示されたナビゲートマークＮＭ１～ＮＭ５と、第１表示部１２に表示された対象実静止画データＲＤに含まれる複数の要締結箇所ＢＰ１～ＢＰ５とが一致するように、撮像部１１の位置を調整すると共に、撮像部１１による撮像画像の拡大又は縮小を調整する。図２０（ｃ）に位置調整後の第１表示部１２の表示の一例を示し、図２０（ｄ）に倍率調整後の第１表示部１２の表示の一例を示す。
【0109】
本変形例によれば、端末装置２０におけるナビゲート情報生成時と締結ナビゲート装置１０における実際の締結手作業時とで撮像倍率が異なる場合でも、対象実静止画データＲＤに動画として重畳表示されるナビゲートマークＮＭ１～ＮＭ５の位置が、対象実静止画データＲＤ中の対象被作業物Ｗの複数の要締結箇所ＢＰ１～ＢＰ５の位置を指し示すように、精度よく合致させることができる。したがって、作業者ＷＲは間違いのない締結手作業を行うことができる。
【0110】
なお、以上の説明において、外観上の寸法や大きさが「同一」「等しい」「異なる」等の記載がある場合は、当該記載は厳密な意味ではない。すなわち、それら「同一」「等しい」「異なる」とは、設計上、製造上の公差、誤差が許容され、「実質的に同一」「実質的に等しい」「実質的に異なる」という意味である。
【0111】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【0112】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【0113】
１ 締結作業支援システム
１０ 締結ナビゲート装置
１１ 撮像部
１２ 第１表示部
１３ 第１演算部
１５ 警告報知部
２０ 端末装置
２１ 第２表示部
２２ 操作部
２３ 第２演算部
１００ 締結ナビゲートプログラム
１０１ ステップ（ナビゲート情報復元手順）
１０７ ステップ（ナビゲート画像データ表示手順）
１０８ ステップ（作業具検知手順）
１１１ ステップ（作業具判定手順）
１１２ ステップ（警告報知手順）
１１４ ステップ（ナビゲート画像データ表示手順）
１１５ ステップ（作業具検知手順）
１１８ ステップ（作業具判定手順）
１１９ ステップ（警告報知手順）
１２１ ステップ（ナビゲート画像データ表示手順）
１２２ ステップ（作業具検知手順）
１２５ ステップ（作業具判定手順）
１２６ ステップ（警告報知手順）
１２８ ステップ（ナビゲート画像データ表示手順）
１２９ ステップ（作業具検知手順）
１３２ ステップ（作業具判定手順）
１３３ ステップ（警告報知手順）
１３５ ステップ（ナビゲート画像データ表示手順）
１３６ ステップ（作業具検知手順）
１３９ ステップ（作業具判定手順）
１４０ ステップ（警告報知手順）
２００ ナビゲートデータ生成プログラム
２０４ ステップ（指示受付手順）
２０６ ステップ（指示受付手順）
２０８ ステップ（指示受付手順）
２１０ ステップ（指示受付手順）
２１２ ステップ（指示受付手順）
２１４ ステップ（ナビゲート情報生成手順、二次元バーコード生成手順）
２１５ ステップ（印刷媒体生成手順）
ＡＬ１ 警告音
ＡＬ２ 警告灯
Ｂ１ 二次元バーコード
ＢＰ１～ＢＰ５ 要締結箇所
ＮＤ ナビゲート情報
ＮＭ１～ＮＭ５ ナビゲートマーク
ＲＤ 対象実静止画データ
ＳＤ 基準実静止画データ
ＳＷ 基準被作業物
Ｔ 締結作業具
ＴＡ～ＴＣ 締結作業具
Ｔ１ 装着部
Ｂ２ 作業具二次元バーコード
Ｗ 対象被作業物
ＷＲ 作業者
ＷＴ 作業台
１０ 締結ナビゲート装置
１１ 撮像部
１２ 第１表示部
１３ 第１演算部
１５ 警告報知部
２０ 端末装置
２１ 第２表示部
２２ 操作部
２３ 第２演算部
１００ 締結ナビゲートプログラム
１０１ ステップ（ナビゲート情報復元手順）
１０７ ステップ（ナビゲート画像データ表示手順）
１０８ ステップ（作業具検知手順）
１１１ ステップ（作業具判定手順）
１１２ ステップ（警告報知手順）
１１４ ステップ（ナビゲート画像データ表示手順）
１１５ ステップ（作業具検知手順）
１１８ ステップ（作業具判定手順）
１１９ ステップ（警告報知手順）
１２１ ステップ（ナビゲート画像データ表示手順）
１２２ ステップ（作業具検知手順）
１２５ ステップ（作業具判定手順）
１２６ ステップ（警告報知手順）
１２８ ステップ（ナビゲート画像データ表示手順）
１２９ ステップ（作業具検知手順）
１３２ ステップ（作業具判定手順）
１３３ ステップ（警告報知手順）
１３５ ステップ（ナビゲート画像データ表示手順）
１３６ ステップ（作業具検知手順）
１３９ ステップ（作業具判定手順）
１４０ ステップ（警告報知手順）
２００ ナビゲートデータ生成プログラム
２０４ ステップ（指示受付手順）
２０６ ステップ（指示受付手順）
２０８ ステップ（指示受付手順）
２１０ ステップ（指示受付手順）
２１２ ステップ（指示受付手順）
２１４ ステップ（ナビゲート情報生成手順、二次元バーコード生成手順）
２１５ ステップ（印刷媒体生成手順）
ＡＬ１ 警告音
ＡＬ２ 警告灯
Ｂ１ 二次元バーコード
ＢＰ１～ＢＰ５ 要締結箇所
ＮＤ ナビゲート情報
ＮＭ１～ＮＭ５ ナビゲートマーク
ＲＤ 対象実静止画データ
ＳＤ 基準実静止画データ
ＳＷ 基準被作業物
Ｔ 締結作業具
ＴＡ～ＴＣ 締結作業具
Ｔ１ 装着部
Ｂ２ 作業具二次元バーコード
Ｗ 対象被作業物
ＷＲ 作業者
ＷＴ 作業台
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【手続補正書】
【提出日】2023-01-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
締結作業支援システムが有する、撮像部と第１表示部とを備えた締結ナビゲート装置、及び、操作部と第２表示部とを備えた端末装置、がそれぞれ備える演算部において実行され、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定のナビゲートマークを含むナビゲート画像データを用いてナビゲートするための、締結作業支援プログラムであって、
前記締結ナビゲート装置及び前記端末装置がそれぞれ備える前記演算部に対し、
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、
前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成するナビゲート情報生成手順と、
前記ナビゲート情報生成手順で生成された前記ナビゲート情報を符号化した二次元バーコードを生成する二次元バーコード生成手順と、
前記二次元バーコード生成手順で生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させる印刷媒体生成手順と、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示する、対象実静止画データ表示手順と、
前記印刷媒体生成手順で生成された前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元するナビゲート情報復元手順と、
前記ナビゲート情報復元手順で復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の前記手作業順序及び前記手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データ表示手順で表示された前記対象実静止画データに対し重畳するように前記第１表示部に表示するナビゲート画像データ表示手順と、
を分担して実行させ、
前記ナビゲート画像データ表示手順は、
前記複数の要締結箇所の全位置に前記ナビゲートマークを第１の表示色で表示し、前記作業者が前記締結手作業を行う前記要締結箇所の前記ナビゲートマークを前記第１の表示色から第２の表示色に順次変更し、前記作業者が前記締結手作業を完了した前記要締結箇所の前記ナビゲートマークを前記第２の表示色から第３の表示色に順次変更する
ことを特徴とする、締結作業支援プログラム。
前記締結ナビゲート装置及び前記端末装置がそれぞれ備える前記演算部に対し、
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、
前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成するナビゲート情報生成手順と、
前記ナビゲート情報生成手順で生成された前記ナビゲート情報を符号化した二次元バーコードを生成する二次元バーコード生成手順と、
前記二次元バーコード生成手順で生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させる印刷媒体生成手順と、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示する、対象実静止画データ表示手順と、
前記印刷媒体生成手順で生成された前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元するナビゲート情報復元手順と、
前記ナビゲート情報復元手順で復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の前記手作業順序及び前記手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データ表示手順で表示された前記対象実静止画データに対し重畳するように前記第１表示部に表示するナビゲート画像データ表示手順と、
を分担して実行させ、
前記ナビゲート画像データ表示手順は、
前記複数の要締結箇所の全位置に前記ナビゲートマークを第１の表示色で表示し、前記作業者が前記締結手作業を行う前記要締結箇所の前記ナビゲートマークを前記第１の表示色から第２の表示色に順次変更し、前記作業者が前記締結手作業を完了した前記要締結箇所の前記ナビゲートマークを前記第２の表示色から第３の表示色に順次変更する
ことを特徴とする、締結作業支援プログラム。
【請求項2】
請求項１記載の締結作業支援プログラムにおいて、
前記ナビゲート情報生成手順では、
前記順序情報及び前記位置情報に加えて、前記締結作業具の種類を表す作業具情報を含むナビゲート情報を生成し、
前記演算部に対し、さらに、
前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の種類を検知する作業具検知手順と、
前記ナビゲート情報に基づいて、前記作業具検知手順で検知されている前記締結作業具の種類が、前記ナビゲート画像データ表示手順で表示されている前記ナビゲート画像データ中の前記第２の表示色で表示されている前記ナビゲートマークに対応する前記締結作業具の種類と整合するか否かを判定する作業具判定手順と、
を実行させることを特徴とする締結作業支援プログラム。
前記ナビゲート情報生成手順では、
前記順序情報及び前記位置情報に加えて、前記締結作業具の種類を表す作業具情報を含むナビゲート情報を生成し、
前記演算部に対し、さらに、
前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の種類を検知する作業具検知手順と、
前記ナビゲート情報に基づいて、前記作業具検知手順で検知されている前記締結作業具の種類が、前記ナビゲート画像データ表示手順で表示されている前記ナビゲート画像データ中の前記第２の表示色で表示されている前記ナビゲートマークに対応する前記締結作業具の種類と整合するか否かを判定する作業具判定手順と、
を実行させることを特徴とする締結作業支援プログラム。
【請求項3】
請求項２記載の締結作業支援プログラムにおいて、
前記演算部に対し、さらに、
前記作業具判定手順において前記締結作業具の種類が前記ナビゲート画像データ中の前記第２の表示色で表示されている前記ナビゲートマークに対応する前記締結作業具の種類と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順
を実行させることを特徴とする締結作業支援プログラム。
前記演算部に対し、さらに、
前記作業具判定手順において前記締結作業具の種類が前記ナビゲート画像データ中の前記第２の表示色で表示されている前記ナビゲートマークに対応する前記締結作業具の種類と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順
を実行させることを特徴とする締結作業支援プログラム。
【請求項4】
請求項２又は３記載の締結作業支援プログラムにおいて、
前記ナビゲート画像データ表示手順では、
前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ前記締結作業具を用いて前記締結手作業を順次行う際に、前記ナビゲートマークと共に当該ナビゲートマークに対応する前記締結作業具の種類を表す作業具情報を含む前記ナビゲート画像データを前記対象実静止画データに対し重畳するように前記第１表示部に表示する
ことを特徴とする締結作業支援プログラム。
前記ナビゲート画像データ表示手順では、
前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ前記締結作業具を用いて前記締結手作業を順次行う際に、前記ナビゲートマークと共に当該ナビゲートマークに対応する前記締結作業具の種類を表す作業具情報を含む前記ナビゲート画像データを前記対象実静止画データに対し重畳するように前記第１表示部に表示する
ことを特徴とする締結作業支援プログラム。
【請求項5】
撮像部と第１表示部とを備えた締結ナビゲート装置、及び、操作部と第２表示部とを備えた端末装置、を用いて、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定の複数のナビゲートマークを含むナビゲート画像データを用いてナビゲートするための、締結作業支援方法であって、
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する基準実静止画データを生成することと、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付けることと、
前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成することと、
前記ナビゲート情報を符号化した二次元バーコードを生成することと、
生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させることと、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成することと、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示することと、
前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元することと、
復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データに対し重畳するように第１表示部に表示することと、
を有し、
前記第１表示部に表示することは、
前記複数の要締結箇所の全位置に前記ナビゲートマークを第１の表示色で表示し、前記作業者が前記締結手作業を行う前記要締結箇所の前記ナビゲートマークを前記第１の表示色から第２の表示色に順次変更し、前記作業者が前記締結手作業を完了した前記要締結箇所の前記ナビゲートマークを前記第２の表示色から第３の表示色に順次変更すること、を有する
ことを特徴とする締結作業支援方法。
複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状である基準被作業物を前記作業者による前記締結手作業の前に予め撮影し、対応する基準実静止画データを生成することと、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付けることと、
前記ナビゲートマークの生成指示を受け付けた場合に、前記手作業順序を表す順序情報、及び、前記手作業位置を表す位置情報、を含むナビゲート情報を生成することと、
前記ナビゲート情報を符号化した二次元バーコードを生成することと、
生成した前記二次元バーコードを印刷装置に送信して当該印刷装置に二次元バーコードを含む印刷媒体を生成させることと、
前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成することと、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示することと、
前記印刷媒体の前記二次元バーコードを読み取り、復号化して前記ナビゲート情報を復元することと、
復元された前記ナビゲート情報に基づいて、前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークを含む前記ナビゲート画像データを、前記対象実静止画データに対し重畳するように第１表示部に表示することと、
を有し、
前記第１表示部に表示することは、
前記複数の要締結箇所の全位置に前記ナビゲートマークを第１の表示色で表示し、前記作業者が前記締結手作業を行う前記要締結箇所の前記ナビゲートマークを前記第１の表示色から第２の表示色に順次変更し、前記作業者が前記締結手作業を完了した前記要締結箇所の前記ナビゲートマークを前記第２の表示色から第３の表示色に順次変更すること、を有する
ことを特徴とする締結作業支援方法。
【請求項6】
請求項５記載の締結作業支援方法において、
前記作業者による前記締結手作業の前に、復元された前記ナビゲート情報に基づいて、前記複数の要締結箇所に対応する複数の前記ナビゲートマークを前記第１表示部に表示することと、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部の位置を調整することと、
をさらに有することを特徴とする締結作業支援方法。
前記作業者による前記締結手作業の前に、復元された前記ナビゲート情報に基づいて、前記複数の要締結箇所に対応する複数の前記ナビゲートマークを前記第１表示部に表示することと、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部の位置を調整することと、
をさらに有することを特徴とする締結作業支援方法。
【請求項7】
請求項５又は６記載の締結作業支援方法において、
前記撮像部は、
前記対象被作業物を拡大又は縮小して撮像する機能を備えており、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部による拡大又は縮小を調整することと、
をさらに有することを特徴とする締結作業支援方法。
前記撮像部は、
前記対象被作業物を拡大又は縮小して撮像する機能を備えており、
前記作業者による前記締結手作業の前に、前記第１表示部に表示された前記複数のナビゲートマークと、前記第１表示部に表示された前記対象実静止画データに含まれる前記複数の要締結箇所とが一致するように、前記撮像部による拡大又は縮小を調整することと、
をさらに有することを特徴とする締結作業支援方法。