IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジーダブルテクノロジー株式会社の特許一覧

<>
  • 特許-締結作業支援プログラム 図1
  • 特許-締結作業支援プログラム 図2
  • 特許-締結作業支援プログラム 図3
  • 特許-締結作業支援プログラム 図4
  • 特許-締結作業支援プログラム 図5
  • 特許-締結作業支援プログラム 図6
  • 特許-締結作業支援プログラム 図7
  • 特許-締結作業支援プログラム 図8
  • 特許-締結作業支援プログラム 図9
  • 特許-締結作業支援プログラム 図10
  • 特許-締結作業支援プログラム 図11
  • 特許-締結作業支援プログラム 図12
  • 特許-締結作業支援プログラム 図13
  • 特許-締結作業支援プログラム 図14
  • 特許-締結作業支援プログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-09-08
(45)【発行日】2022-09-16
(54)【発明の名称】締結作業支援プログラム
(51)【国際特許分類】
   B25B 23/14 20060101AFI20220909BHJP
   G05B 19/418 20060101ALI20220909BHJP
   G06T 19/00 20110101ALI20220909BHJP
【FI】
B25B23/14 620J
G05B19/418 Z
G06T19/00 600
【請求項の数】 4
(21)【出願番号】P 2022016755
(22)【出願日】2022-02-04
【審査請求日】2022-02-07
【早期審査対象出願】
(73)【特許権者】
【識別番号】522049510
【氏名又は名称】ジーダブルテクノロジー株式会社
(74)【代理人】
【識別番号】110003096
【氏名又は名称】特許業務法人第一テクニカル国際特許事務所
(72)【発明者】
【氏名】西谷 浩
【審査官】山村 和人
(56)【参考文献】
【文献】特開2019-012432(JP,A)
【文献】特開2020-049630(JP,A)
【文献】国際公開第2020/075232(WO,A1)
【文献】特開2015-196231(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B25B 21/00 - 23/18
G05B 19/418
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
締結作業支援システムが有する、撮像部と第1表示部とを備えた締結ナビゲート装置、及び、操作部と第2表示部とを備えた端末装置、がそれぞれ備える演算部において実行され、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定のナビゲートマークを含む仮想動画データを用いてナビゲートするための、締結作業支援プログラムであって、
前記端末装置の前記第2表示部が、前記仮想動画データを、複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状でありかつ既知の基準距離だけ離間させた位置決め用の複数の基準二次元バーコードを設けた基準被作業物を前記作業者による前記締結手作業の前に予め撮影した基準実静止画データの表示状態に対し、重畳させて表示する、前記締結作業支援システムの前記締結ナビゲート装置及び前記端末装置がそれぞれ備える前記演算部 に対し、
前記 基準被作業物を撮影し、対応する前記基準実静止画データを生成する基準実静止画データ生成手順と、
前記 基準実静止画データを前記端末装置の前記第2表示部に表示させた状態で、その表示した基準実静止画データに対して重畳させて当該第2表示部に表示させるための、前記複数の要締結箇所に対し1箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、
前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、前記作業者による前記対象被作業物に対する前記締結作業具を用いた前記締結手作業をナビゲートする、前記ナビゲートマークを含む前記仮想動画データを生成する仮想動画データ生成手順と、
前記複数の基準二次元バーコードに基づく前記ナビゲートマークの位置決め基準を与えるための 複数の対象二次元バーコードが設けられかつ前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第1表示部に表示する、対象実静止画データ表示手順と、
前記作業者が前記複数の要締結箇所に対し1箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークを含む、仮想動画データ生成手順で生成された 前記仮想動画データを、前記対象実静止画データ表示手順で表示された当該対象実静止画データに対し重畳させつつ、前記対象実静止画データ中の前記複数の対象二次元バーコードを位置決め基準とした表示位置、及び、当該対象実静止画データ中の前記複数の対象二次元バーコード間の実離間距離を拡縮基準とした表示倍率、によって前記締結ナビゲート装置の前記第1表示部に表示し、前記作業者による前記対象被作業物に対する前記締結作業具を用いた前記締結手作業をナビゲートする仮想動画データ表示手順と、
を分担して実行させることを特徴とする、締結作業支援プログラム。
【請求項2】
請求項1記載の締結作業支援プログラムにおいて、
前記締結ナビゲート装置の前記 演算部に対し、さらに、
前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の位置を検知する位置検知手順と、
前記位置検知手順で検知されている前記締結作業具の位置が、前記仮想動画データ表示手順で表示されている前記仮想動画データ中の前記ナビゲートマークの位置と整合するか否かを判定する位置判定手順と、
を実行させることを特徴とする締結作業支援プログラム。
【請求項3】
請求項2記載の締結作業支援プログラムにおいて、
前記締結ナビゲート装置の前記 演算部に対し、さらに、
前記位置判定手順において前記締結作業具の位置が前記仮想動画データ中の前記ナビゲートマークの位置と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順
を実行させることを特徴とする締結作業支援プログラム。
【請求項4】
請求項2又は請求項3記載の締結作業支援プログラムにおいて、
前記位置検知手順では、
予め前記締結作業具に設けられた複数の作業具二次元バーコードを位置決め基準とした検出結果に基づき、当該締結作業具のうち、前記対象被作業物の要締結箇所に締結されるボルト又はナットが装着される装着部の位置を検知する
ことを特徴とする締結作業支援プログラム
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業者による対象被作業物に対する締結作業具を用いた締結手作業をナビゲートするための締結作業支援プログラムに関する。
【背景技術】
【0002】
従来、組立工場でのボルトやネジ等の締め付け作業を支援する、締め付け作業支援装置が知られている(例えば、特許文献1参照)。この従来技術の締め付け作業支援装置は、ボルトやネジ等の締め付け順序が、作業者に表示されるようになっている。具体的には、当該作業支援装置には、発光器、カメラ、及び、コンピュータが、備えられている。このカメラは、ワークを撮影するようになっている。このコンピュータのディスプレイにおいて、締め付けられたボルト等が正しい場合には、カメラが撮影しているワークの画像に、塗りつぶされたボルト画像が、重ねて表示される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2010-42491号公報(図1等)
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来技術の締め付け作業支援装置では、コンピュータで実行される支援プログラムにより、ディスプレイにおいて、ワーク画像の下に「ボルト1を締めて下さい」等のメッセージが表示される。しかしながら、この締め付け作業の支援は、メッセージ表示にとどまり、画面上において締め付け位置をナビゲートするものとはなっていない。分かり易く、間違いのない締結手作業を可能とする技術が、望まれている。
【0005】
本発明の目的は、実画像データ上に重畳表示する動画のマークで締結位置及び締結順序のナビゲートを行うことにより、分かり易く、間違いのない締結手作業を可能とするプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本願発明の締結ナビゲートプログラムは、撮像部と、第1表示部と、第1演算部と、を有し、複数の要締結箇所を備え既知の基準距離だけ離間させて複数の基準二次元バーコードが設けられた基準被作業物を撮影した基準実静止画データの表示状態に対して、重畳させて表示させるために生成され、前記複数の要締結箇所に対し1箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークを含む仮想動画データを前記第1表示部に表示する、締結ナビゲート装置に備えられた前記第1演算部に対し、複数の対象二次元バーコードが設けられ作業台に配置された対象被作業物を前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、生成された前記対象実静止画データを前記第1表示部に表示する、対象実静止画データ表示手順と、前記ナビゲートマークを含む前記仮想動画データを、前記対象実静止画データ表示手順で表示された当該対象実静止画データに対し重畳させつつ、前記対象実静止画データ中の前記複数の対象二次元バーコードを位置決め基準とした表示位置、及び、当該対象実静止画データ中の前記複数の対象二次元バーコード間の実離間距離を拡縮基準とした表示倍率、によって前記第1表示部に表示し、作業者による前記対象被作業物に対する前記締結作業具を用いた締結手作業をナビゲートする仮想動画データ表示手順と、を実行させる。
【0007】
作業員は、対象被作業物の複数の要締結箇所に対し、1箇所ずつ締結作業具を用いて締結手作業を順次行う。その際、目の前の作業台に置かれた対象被作業物を撮像した対象実静止画データが第1表示部に表示されるとともに、その静止画データ上に、ナビゲートマークを含む仮想動画データが重畳表示され、これによって上記締結手作業時において上記複数の要締結箇所に対して実行すべき、手作業順序及び手作業位置が動的にナビゲートされる。
【0008】
このとき、仮想動画データは、複数の要締結箇所を備えた基準被作業物(例えば対象被作業物と同一種類・同一大きさ・同一形状のもの)を予め撮影した基準実静止画データの表示状態に対し、例えば重畳させて表示させることによって生成されている。そして、基準被作業物には、既知の基準距離だけ離間した複数の基準二次元バーコードが設けられている。すなわち、仮想動画データには、互いに既知の距離だけ離間した基準二次元バーコードを位置決め基準としつつ複数の要締結箇所を指し示すようにデータ中の位置が設定されている、ナビゲートマークが予め含まれている。
【0009】
一方、前述の作業員による実際の締結作業実行時において、対象被作業物にも複数の二次元バーコード(対象二次元バーコード)が設けられており、これによって対象実静止画データ中に互いに離間した対象二次元バーコードが含まれる。この結果、対象実静止画データ中におけるそれら複数の対象二次元バーコードの離間距離と、上記仮想動画データ中に含まれる基準二次元バーコードの離間距離との長さ比率に応じて、当該対象実静止画データに合わせて仮想動画データ中のナビゲートマークを位置決めすることができる。この結果、対象実静止画データに動画として重畳表示されるナビゲートマークの位置を、対象実静止画データ中の対象被作業物の複数の要締結箇所の位置を指し示すように、精度よく合致させることができる。
【0010】
以上のようにして、本願発明によれば、正確に位置決めされた仮想動画中のマークで動的に締結位置及び締結順序の表示を行うことができるので、作業者に対し分かり易くナビゲートを行うことができ、作業者は間違いのない締結手作業を行うことができる。
【0011】
また、本願発明の締結ナビゲートプログラムは、前記第1演算部に対し、さらに、前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の位置を検知する位置検知手順と、前記位置検知手順で検知されている前記締結作業具の位置が、前記仮想動画データ表示手順で表示されている前記仮想動画データ中の前記ナビゲートマークの位置と整合するか否かを判定する位置判定手順と、を実行させることを特徴とする。
【0012】
また、本願発明の締結ナビゲートプログラムは、前記第1演算部に対し、さらに、前記位置判定手順において前記締結作業具の位置が前記仮想動画データ中の前記ナビゲートマークの位置と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順を実行させることを特徴とする。
【0013】
また、本願発明の締結ナビゲートプログラムは、前記位置検知手順では、予め前記締結作業具に設けられた複数の作業具二次元バーコードを位置決め基準とした検出結果に基づき、当該締結作業具のうち、前記対象被作業物の要締結箇所に締結されるボルト又はナットが装着される装着部の位置を検知することを特徴とする。
【0014】
本願発明のナビゲート動画データ生成プログラムは、第2表示部と、第2演算部と、操作部と、を有する端末装置の前記第2演算部に対し、複数の要締結箇所を備え既知の基準距離だけ離間させて複数の基準二次元バーコードが設けられた基準被作業物を撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、基準実静止画データを前記第2表示部に表示させた状態で、その表示した基準実静止画データに対して重畳させて表示させるための、前記複数の要締結箇所に対し1箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、複数の対象二次元バーコードが設けられ作業台に配置された対象被作業物を撮像した対象実静止画データに対し重畳表示されて作業者による前記対象被作業物に対する前記締結作業具を用いた締結手作業をナビゲートする、前記ナビゲートマークを含む仮想動画データを生成する仮想動画データ生成手順と、を実行させる。
【0015】
これによれば、端末装置にて、ナビゲートマークの生成指示を受け付けて、予め撮影した基準実静止画データの表示状態に対して重畳させるように、仮想動画データが生成される。従って、端末装置にて、例えば、基準実静止画データ中の要締結部位の位置に対応するよう、ナビゲートマークを容易に生成でき、更に、基準実静止画データ中の要締結部位の順序に対応して、基準実静止画データ中にてナビゲートマークがこの順に移動し逐次表示される動画を、容易に生成できる。また、作業者とは別の管理者等により、締結手作業とは別に、予め仮想動画データを生成しておくことができる。このため、例えば、予め生成しておいた仮想動画データを、多数の締結ナビゲート装置に効率良く展開できる。
【0016】
本願発明の締結作業支援プログラムは、締結作業支援システムが有する、撮像部を備えた締結ナビゲート装置、及び、操作部を備えた端末装置、がそれぞれ備える演算部に対し、複数の要締結箇所を備え既知の基準距離だけ離間させて複数の基準二次元バーコードが設けられた基準被作業物を撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、基準実静止画データを表示させた状態で、その表示した基準実静止画データに対して重畳させて表示させるための、前記複数の要締結箇所に対し1箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、作業者による対象被作業物に対する前記締結作業具を用いた締結手作業をナビゲートする、前記ナビゲートマークを含む仮想動画データを生成する仮想動画データ生成手順と、複数の対象二次元バーコードが設けられ作業台に配置された前記対象被作業物を前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、生成された前記対象実静止画データを表示する、対象実静止画データ表示手順と、前記仮想動画データを、前記対象実静止画データ表示手順で表示された当該対象実静止画データに対し重畳させつつ、前記対象実静止画データ中の前記複数の対象二次元バーコードを位置決め基準とした表示位置、及び、当該対象実静止画データ中の前記複数の対象二次元バーコード間の実離間距離を拡縮基準とした表示倍率、によって表示する仮想動画データ表示手順と、を分担して実行させることを特徴とする。
【0017】
これによっても、上述した締結ナビゲートプログラムと同様、正確に位置決めされた仮想動画中のマークで動的に締結位置及び締結順序の表示を行うことができるので、作業者に対し分かり易くナビゲートを行うことができ、作業者は間違いのない締結手作業を行うことができる。
【発明の効果】
【0018】
本発明によれば、分かり易く、間違いのない締結手作業が可能となる。
【図面の簡単な説明】
【0019】
図1】本発明の実施形態に係るナビゲート動画データ生成プログラムが適用される端末装置の構成と、当該端末装置に基準実静止画データを表示させた状態で仮想動画データを生成していく様子を示す図である。
図2】本発明の実施形態に係る締結ナビゲートプログラムが適用される締結ナビゲート装置を用いて締結手作業を実施する場合の全体構成と、当該締結ナビゲート装置に対象実静止画データを表示させた状態で、仮想動画データを重畳表示させていく様子を示す図である。
図3図2に示す締結ナビゲート装置に対象実静止画データを表示させた状態で、仮想動画データを重畳表示させていく様子を示す図である。
図4図2に示す締結ナビゲート装置に対象実静止画データを表示させた状態で、仮想動画データを重畳表示させていく様子を示す図である。
図5図2に示す締結ナビゲート装置の機能ブロック図である。
図6】本発明の実施形態に係る締結ナビゲートプログラムが適用される締結ナビゲート装置が、他の態様の第1表示部を備える場合の全体構成図である。
図7図2に示す締結ナビゲート装置を用いて締結手作業を実施する場合に使用される締結作業具の構成図である。
図8図2に示す締結ナビゲート装置を用いて締結手作業を実施する場合に、締結作業具の位置がナビゲートマークの位置と整合しないと判定されたときに、対応する警告報知を実行している様子を示す図である。
図9】本発明の実施形態に係る締結ナビゲートプログラムが適用される締結ナビゲート装置が、他の態様の警告報知部を備える場合の全体構成図である。
図10図1に示す端末装置の機能ブロック図である。
図11図1に示す端末装置にて基準被作業物の撮影データを取り込み、仮想動画データを生成した後、当該仮想動画データを締結ナビゲート装置に転送する様子を示す図である。
図12図2に示す締結ナビゲート装置の第1演算部が、締結ナビゲートプログラムにより実行する締結手作業のナビゲート処理を示す一連のフローチャートの一部である。
図13図2に示す締結ナビゲート装置の第1演算部が、締結ナビゲートプログラムにより実行する締結手作業のナビゲート処理を示す一連のフローチャートの一部であって、図12に続くフローチャートである。
図14図2に示す締結ナビゲート装置の第1演算部が、締結ナビゲートプログラムにより実行する締結手作業のナビゲート処理を示す一連のフローチャートの一部であって、図13に続くフローチャートである。
図15図1に示す端末装置の第2演算部が、ナビゲート動画データ生成プログラムにより実行する仮想動画データの生成処理を示す一連のフローチャートである。
【発明を実施するための形態】
【0020】
以下、本発明の一実施形態を図面を参照して説明する。
【0021】
<締結手作業におけるナビゲートの概要>
本発明の実施形態に係る締結ナビゲートプログラム100及びナビゲート動画データ生成プログラム200は、下記の通り構成されている。締結ナビゲートプログラム100は、締結ナビゲート装置10に適用されるプログラムである。締結ナビゲートプログラム100及び締結ナビゲート装置10は、複数の要締結箇所を有する被作業物(例えば、タイヤホイール等)に対し、締結手作業を順次行う際の手作業順序及び手作業位置を、ナビゲートするように構成されている。締結手作業は、例えば、作業者WRの手により、締結作業具Tを用いてボルト又はナットを締結する作業である(図2を参照)。なお、いわゆるボルトだけでなく、ネジ、ビス等のその他の締結部材を用いてもよく、以下、本願明細書において「ボルト」というときは、それら他の締結部材も含まれるものである。当該ナビゲートは、仮想動画データに基づいて実行される。ナビゲート動画データ生成プログラム200は、仮想動画データを生成するように構成されている。
【0022】
図1に示すように、ナビゲート動画データ生成プログラム200は、端末装置20に適用される。端末装置20は、例えば、パーソナルコンピュータ等の固定式端末や、スマートフォン、タブレット等の移動式端末である。端末装置20にて、ナビゲート動画データ生成プログラム200により、仮想動画データ及び基準実静止画データSDが生成される。生成された仮想動画データ及び基準実静止画データSDは、無線通信や記憶媒体等を介して、端末装置20から締結ナビゲート装置10へ転送可能となっている。仮想動画データ及び基準実静止画データSDの生成手順については、後に詳述する。
【0023】
仮想動画データは、ナビゲートマークNMを含む。例えば、基準被作業物SWを撮影した基準実静止画データSDが、第2表示部21にて表示された状態に対して、ナビゲートマークNMが、基準実静止画データSDに重畳されて表示される。重畳表示されるナビゲートマークNMの位置は、複数の要締結箇所BPの位置に対応している。より具体的には、ナビゲートマークNMは、例えば、基準実静止画データSDにおける要締結箇所BPを囲う図形(本実施形態では円形)で表示されてもよい。
【0024】
仮想動画データにおいては、複数の要締結箇所BPに対し、1箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするよう、ナビゲートマークNMが表示される。例えば、基準被作業物SW(即ち、対象被作業物W)が5箇所の異なる位置に要締結箇所BP1~BP5を有しており、手作業順序及び手作業位置として、要締結箇所BP1,BP2,BP3,BP4,BP5に対してこの順での締結が必要となる場合には、これに対応するようにナビゲートマークNM1,NM2,NM3,NM4,NM5がこの順に移動し逐次表示されるようになっている。本実施形態においては、仮想動画データは、ナビゲートマークNMの表示位置が、要締結箇所BP1~BP5に対応して移動していく動画となる。従って、仮想動画データのナビゲートマークNMにナビゲートされて、締結手作業の作業者は、手作業順序及び手作業位置を認識できる。即ち、仮想動画データは、デジタル手順書として機能する。
【0025】
基準被作業物SWには、複数の基準二次元バーコードSBが、既知の基準距離SLだけ離間されて設けられている。基準二次元バーコードSBは、例えば、QRコード(登録商標)等である。基準二次元バーコードSBは、例えば、基準被作業物SWの縁近傍に2つ設けられる。基準被作業物SWの撮像データである基準実静止画データSDが表示される際、基準実静止画データSD中にも2つの基準二次元バーコードSBも表示され、それらの離間距離は、距離SL1となる。距離SL1は、基準被作業物SWの撮像時の倍率に応じて、上記基準距離SLを拡大又は縮小した値となる。後に詳述するように、締結ナビゲート装置10にて仮想動画データを表示する際において、基準二次元バーコードSBは、ナビゲートマークNM1~NM5の位置決めに用いられ、距離SL1は、表示される仮想動画データの表示倍率の決定に用いられる。
【0026】
図2乃至図4に示すように、作業者WRは、対象被作業物Wの複数の要締結箇所BPに対し、1箇所ずつ締結作業具Tを用いて締結手作業を順次行う。当該締結手作業は、対象被作業物Wが作業台WTに配置された状態にて実行される。本実施形態においては、対象被作業物Wは、基準被作業物SWと同一種類・同一の大きさ・同一形状のものである。即ち、対象被作業物Wは、基準被作業物SWと同じ5箇所の異なる位置に、要締結箇所BP1~BP5を有する。対象被作業物Wは、複数の対象二次元バーコードBが設けられている。対象二次元バーコードBは、本実施形態においては、基準被作業物SWの基準二次元バーコードSBと同一種類・同位置配置となっている。即ち、対象二次元バーコードBは、例えば、QRコード(登録商標)等であり、対象被作業物Wの縁近傍に2つ設けられる。2つの対象二次元バーコードBは、上記基準距離SLと同じ距離だけ、離間されて設けられている。
【0027】
締結作業具Tは、作業者WRによる手作業が可能に、かつ、要締結箇所BPのボルト又はナットの締結が可能に構成されている。締結作業具Tは、例えば、レンチ、ドライバ等であり、その先端が、対象被作業物Wの要締結箇所BPに締結されるボルト又はナットが装着される装着部T1となっている(図7を参照)。
【0028】
締結ナビゲート装置10は、作業台WTに、スタンド等を介して固定されている。より具体的には、作業台WTにおいて、作業者WRからみて手前側に対象被作業物Wが載置され、当該対象被作業物Wよりも奥手側でスタンドが上方直立する。締結ナビゲート装置10は、当該スタンドの上端に接続されて、作業台WTに載置された対象被作業物Wの上方に位置している。締結ナビゲート装置10は、例えば、スマートフォン、タブレット等の移動式端末などであるが、これに限られない。
【0029】
図5に示すように、締結ナビゲート装置10は、撮像部11と、第1表示部12と、第1演算部13と、第1記憶部14と、警告報知部15とを有する。撮像部11、第1表示部12、第1記憶部14、及び、警告報知部15は、インターフェイス、バス等を介して、第1演算部13と電気的に接続されている。撮像部11は、例えば、移動式端末に内蔵されているカメラ等であり、作業台WTに載置された対象被作業物W、及び、締結手作業中の締結作業具Tを含む画角を、真上から撮像可能なように、締結ナビゲート装置10の下側に設けられてもよい。第1表示部12は、例えば、移動式端末に内蔵されているモニタ等であり、作業者WRにより、作業台WTに載置された対象被作業物Wと同時に視認可能なように、締結ナビゲート装置10の上側に設けられてもよい。第1演算部13は、CPU、電気回路等にて構成されており、撮像部11の撮像、第1表示部12の映像表示等を含む、各種プログラムの処理を実行する。第1記憶部14は、メモリ、電気回路等にて構成されており、締結ナビゲートプログラム100等の各種プログラムが予め格納される。また、第1記憶部14は、端末装置20にて生成されて転送された仮想動画データ及び基準実静止画データSD、撮像部11にて撮像された画像データ等を、記録可能となっている。第1記憶部14に格納されたプログラム、データは、第1演算部13のCPUにより読み出されるようになっている。なお、警告報知部15については、後に詳述する。
【0030】
図2(a)に示すように、締結手作業が実行開始される場合、先ず、作業台WTに配置された対象被作業物Wを撮像部11により撮像し、対応する対象実静止画データRDが生成される。生成された対象実静止画データRDは、第1表示部12に表示される。対象実静止画データRDは、第1記憶部14に記録された後、第1表示部12に表示されてもよいし、第1記憶部14を介さず第1表示部12に表示されてもよい。
【0031】
対象被作業物Wの撮像データである対象実静止画データRDが表示される際、対象実静止画データRD中にも2つの対象二次元バーコードBも表示され、それらの離間距離は、実離間距離RL1となる。実離間距離RL1は、対象被作業物Wの撮像時の倍率に応じて、上記基準距離SLを拡大又は縮小した値となる。
【0032】
次に、図2(b)、図3、及び、図4に示すように、ナビゲートマークNMを含む仮想動画データが、上記表示された対象実静止画データRDに対し重畳されつつ、第1表示部12に表示される。ここにおいて、重畳表示される仮想動画データとしては、端末装置20にて生成された仮想動画データに対して、表示位置を調整し、且つ、表示倍率を調整したものが用いられる。重畳表示される仮想動画データの表示位置は、対象実静止画データRD中の複数の対象二次元バーコードBを位置決め基準とし、2つの対象二次元バーコードBに、基準実静止画データSD中の2つの基準二次元バーコードSBをつき合わせることで、調整される(図1及び図2を参照)。
【0033】
重畳表示される仮想動画データの表示倍率は、対象実静止画データRD中の複数の対象二次元バーコードB間の実離間距離RL1を拡縮基準とし、実離間距離RL1と、基準実静止画データSD中の2つの基準二次元バーコードSB間の距離SL1とに基づいて、調整される。上記表示倍率としては、例えば、実離間距離RL1を、距離SL1で除して得た値を用いてもよい(図1及び図2を参照)。
【0034】
より具体的には、基準被作業物SWを比較的遠距離にて撮像し、生成した基準実静止画データSDにおける、2つの基準二次元バーコードSB間の距離SL1が、2.5cmであるとする。他方、対象被作業物Wを比較的近距離にて撮像し、生成した対象実静止画データRDにおける、2つの対象二次元バーコードB間の実離間距離RL1が、5.0cmであるとする。この場合、上記表示倍率は、RL1/SL1=(5.0cm)/(2.5cm)=2.0倍となる。このため、端末装置20にて生成された仮想動画データは、上述のように位置合わせされるとともに、2.0倍の表示倍率をもって拡大されて、対象実静止画データRDに重畳表示される。
【0035】
また、距離SL1が5.0cmであり(基準被作業物SWを比較的近距離にて撮像)、実離間距離RL1が2.5cm(対象被作業物Wを比較的遠距離にて撮像)である場合には、上記表示倍率は、RL1/SL1=(2.5cm)/(5.0cm)=0.50倍となる。この場合、端末装置20にて生成された仮想動画データは、上述のように位置合わせされるとともに、0.50倍の表示倍率をもって縮小されて、対象実静止画データRDに重畳表示される。
【0036】
以上のように、仮想動画データの表示位置が調整され、且つ、表示倍率が調整されることで、対象実静止画データRDに仮想動画データが重畳表示される際、ナビゲートマークNMの位置は、対象実静止画データRD中の要締結箇所BPの位置に一致するようになる、
【0037】
図2(b)に示すように、仮想動画データが対象実静止画データRDに対し重畳されて第1表示部12に表示される場合には、先ず、対象実静止画データRD中の要締結箇所BP1の位置に、ナビゲートマークNM1が重畳表示される。ナビゲートマークNM1の重畳表示は、所定期間継続する。この状態の第1表示部12が作業者WRにて視認され、作業台WTに配置された対象被作業物Wにおける要締結箇所BP1に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者WRは、締結作業具Tの装着部T1にて要締結箇所BP1のボルト又はナットを締結する。
【0038】
次いで、図3(a)に示すように、上記ナビゲートマークNM1が一旦消去されて、対象実静止画データRD中の要締結箇所BP2の位置に、ナビゲートマークNM2が重畳表示される。ナビゲートマークNM2の重畳表示は、所定期間継続する。この状態の第1表示部12が作業者WRにて視認され、作業台WTに配置された対象被作業物Wにおける要締結箇所BP2に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者WRは、締結作業具Tの装着部T1にて要締結箇所BP2のボルト又はナットを締結する。
【0039】
次いで、図3(b)に示すように、上記ナビゲートマークNM2が一旦消去されて、対象実静止画データRD中の要締結箇所BP3の位置に、ナビゲートマークNM3が重畳表示される。ナビゲートマークNM3の重畳表示は、所定期間継続する。この状態の第1表示部12が作業者WRにて視認され、作業台WTに配置された対象被作業物Wにおける要締結箇所BP3に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者WRは、締結作業具Tの装着部T1にて要締結箇所BP3のボルト又はナットを締結する。
【0040】
次いで、図4(a)に示すように、上記ナビゲートマークNM3が一旦消去されて、対象実静止画データRD中の要締結箇所BP4の位置に、ナビゲートマークNM4が重畳表示される。ナビゲートマークNM4の重畳表示は、所定期間継続する。この状態の第1表示部12が作業者WRにて視認され、作業台WTに配置された対象被作業物Wにおける要締結箇所BP4に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者WRは、締結作業具Tの装着部T1にて要締結箇所BP4のボルト又はナットを締結する。
【0041】
そして、図4(b)に示すように、上記ナビゲートマークNM4が一旦消去されて、対象実静止画データRD中の要締結箇所BP5の位置に、ナビゲートマークNM5が重畳表示される。ナビゲートマークNM5の重畳表示は、所定期間継続する。この状態の第1表示部12が作業者WRにて視認され、作業台WTに配置された対象被作業物Wにおける要締結箇所BP5に対し締結手作業を実行するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者WRは、締結作業具Tの装着部T1にて要締結箇所BP5のボルト又はナットを締結する。
【0042】
以上のように、ナビゲートマークNM1~NM5は、仮想動画データとして、対象実静止画データRD中の要締結箇所BP1~BP5の位置にそれぞれ対応するよう、対象実静止画データRDに重畳表示される。ナビゲートマークNM1,NM2,NM3,NM4,NM5がこの順に移動し逐次表示されることで、要締結箇所BP1,BP2,BP3,BP4,BP5に対し、この順で締結手作業がナビゲートされる。即ち、ナビゲートマークNMを含む仮想動画データは、デジタル手順書として機能する。
【0043】
本実施形態においては、ナビゲートマークNMは、所定期間継続だけ表示が維持された後に消滅して、次の位置に移動していく。この所定期間は、例えば、締結手作業の目標完了時間等に基づいて、決定されてもよい。このように、締結手作業を順次行う際の手作業順序及び手作業位置がナビゲートされる。
【0044】
本実施形態においては、図2(a)に示すように、締結ナビゲート装置10は、移動式端末であり、撮像部11及び表示部12が、移動式端末に一体的に内蔵されるよう構成されている。これに代えて、図6(a)に示すように、例えば、締結ナビゲート装置10は、撮像部11としてのカメラユニット、及び、表示部12としてのモニタ装置を備え、これらが別体となるよう構成されてもよい。この場合、撮像部11は、作業台WTのスタンド上端部に固定され、表示部12は、作業台WTから離間させて作業者WRが視認可能な位置に固定されてもよい。また、図6(b)に示すように、例えば、締結ナビゲート装置10は、撮像部11としてのカメラユニット、及び、表示部12としてのスマートグラスを備え、これらが別体となるよう構成されてもよい。この場合、撮像部11は、作業台WTのスタンド上端部に固定され、表示部12は、作業者WRの目元に装着されてもよい。これらの場合、例えば、表示部12にて表示される映像データは、無線形式、有線形式の何れかにより、移動式端末から表示部12に転送されてもよい。
【0045】
<締結作業具の位置検知に基づく警告報知>
締結ナビゲートプログラム100及び締結ナビゲート装置10は、締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするにあたって、締結作業具の位置検知に基づいて、警告報知を行うようになっている。本実施形態においては、例えば、作業者WRが用いる締結作業具Tの位置が、重畳表示されるナビゲートマークNMの位置と整合するか否かが判定されて、整合しないと判定された場合に、警告報知がなされる。この目的は、締結手作業中において、作業員WRが移動させた締結作業具Tの位置が、不適正である場合に、警報報知にて作業員WRに認知させて、不適正な位置を適正な位置へ是正させるよう作業員WRに促すことにある。このため、締結作業具T、及び、締結ナビゲート装置10は、下記のように構成される。
【0046】
図7に示すように、締結作業具Tは、棒形状を呈しており、装着部T1を先端として、装着部T1と反対側に把持部T2を有している。把持部T2は、作業者WRにより把持可能となっている。締結手作業の際、装着部T1に、要締結箇所BPに締結されるボルト又はナットが装着されて、装着部T1を支点、締結作業具Tの長軸を動径として、把持部T2側の回転作動が可能となっている。締結作業具Tには、複数の作業具二次元バーコードTBが設けられている。作業具二次元バーコードTBは、例えば、QRコード(登録商標)等であり、締結作業具Tの装着部T1と把持部T2との中間部位に、長軸方向に沿って2つ設けられる。
【0047】
図5に示すように、締結ナビゲート装置10は、警告報知部15を有する。第1演算部13は、警告報知部15に指示することで、作業者WRに視覚、聴覚等を通じた警告報知を実行する。警告報知の態様としては、例えば、警告報知部15がスピーカ装置を含み、警告音を発出するようにしてもよいし、警告報知部15が警告表示データを含み、第1表示部12にて警告表示(例えば、警告灯に相当する画像)するようにしてもよい。(図8を参照)。第1演算部13は、締結作業具Tの位置が、仮想動画データ中のナビゲートマークNMの位置と整合しないと判定した場合に、対応する警告報知を実行するよう、警告報知部15に指示する。
【0048】
図2(b)に示すように、例えば、ナビゲートマークNM1の重畳表示に応じて、要締結箇所BP1に装着部T1を位置させた場合、後述のように検知される締結作業具Tの位置が、仮想動画データ中のナビゲートマークNMの位置と整合すると判定されて、上述の警告報知は実行されない。図3及び図4にそれぞれ示す状態においても、同様に警告報知は実行されない。
【0049】
ここにおいて、対象被作業物Wに対する締結手作業の実行時の締結作業具Tの位置は、撮像部11による撮像結果に基づいて、検知される。具体的には、装着部T1の位置が、複数の作業具二次元バーコードTBを位置決め基準とした検出結果に基づいて、検知される。本実施形態においては、装着部T1側の作業具二次元バーコードTBと、装着部T1との間の離間距離が既知である。把持部T2側の作業具二次元バーコードTBにて、装着部T1の方向が算出されるようになっている。これら2つの作業具二次元バーコードTBが、撮像部11の撮像により検出されて、装着部T1の位置が精度良く検知される。
【0050】
図8に示すように、図2(b)に示す状態での要締結箇所BP1の締結が完了した後、ナビゲートマークNM2の重畳表示に移行した際に、例えば、要締結箇所BP3に向け装着部T1を移動させた場合の作動を説明する。この場合、上述のように検知されている締結作業具Tの位置が、仮想動画データ中のナビゲートマークNMの位置と整合しないと判定されて、上述の警告報知が実行される。警告報知としては、図8(a)に示すように締結ナビゲート装置10からの警告音AL1が発出されてもよいし、図8(b)に示すように第1表示部12にて警告灯AL2が表示されてもよい。
【0051】
即ち、ナビゲートマークNM1からNM2に表示が移行した際に、装着部T1の移動先が、要締結箇所BP1,BP3,BP4,BP5(即ち、BP2以外)である場合においても、同様に警告報知が実行される。また、ナビゲートマークNM2からNM3に表示が移行した際に、装着部T1の移動先が、要締結箇所BP1,BP2,BP4,BP5(即ち、BP3以外)である場合においても、同様に警告報知が実行される。また、ナビゲートマークNM3からNM4に表示が移行した際に、装着部T1の移動先が、要締結箇所BP1,BP2,BP3,BP5(即ち、BP4以外)である場合においても、同様に警告報知が実行される。また、ナビゲートマークNM4からNM5に表示が移行した際に、装着部T1の移動先が、要締結箇所BP1,BP2,BP3,BP4(即ち、BP5以外)である場合においても、同様に警告報知が実行される。
【0052】
本実施形態においては、検知されている締結作業具Tの位置が、仮想動画データ中のナビゲートマークNMの位置と整合しないと判定された場合、警告報知が実行されるが、これに代えて、上記整合しない状態の画角を撮像部11にて撮像し、記録部14にログするようにしてもよい。また、本実施形態においては、図2(a)、図5、及び、図8に示すように、締結ナビゲート装置10に警告報知部15が設けられ、警告音AL1の発出、又は、警告灯AL2の表示は、移動式端末にて実行される。これに代えて、例えば、警告音AL1を発出する場合には、図9(a)に示すように、警告報知部15としてのスピーカ装置を、移動式端末とは別体で設けてもよい。また、例えば、警告灯AL2を表示する場合には、図9(b)に示すように、警告報知部15としての警告灯装置を、移動式端末とは別体で設けてもよい。これらのスピーカ装置、警告灯装置は、移動式端末と無線形式、有線形式の何れで接続されてもよい。
【0053】
<仮想動画データの生成>
図1に示すように、デジタル手順書として機能する仮想動画データは、端末装置20にて生成される。端末装置20は、締結ナビゲート装置10とは別の端末である。端末装置20では、ナビゲート動画データ生成プログラム200を用いて仮想動画データが生成される。即ち、端末装置20は、仮想動画データの生成を分担しており、端末装置20にて生成された仮想動画データ、及び、基準実静止画データSDが、締結ナビゲート装置10に転送されて格納され、締結手作業がナビゲートされるようになっている。
【0054】
図10に示すように、端末装置20は、第2表示部21と、操作部22と、第2演算部23と、第2記憶部24と、を有する。第2表示部21は、例えば、固定式端末の場合は添え付けのモニタ、移動式端末の場合は内蔵されているモニタ等であり、管理者により視認可能となっている。操作部22は、例えば、管理者が操作可能なタッチキー、ボタン等であり、管理者により生成される指示を受け付けるためのインターフェイスを含んでいる。第2演算部23は、CPU、電気回路等にて構成されており、第2表示部21の映像表示、操作部22を介した管理者による指示受付等を含む、各種プログラムの処理を実行する。第2記憶部24は、メモリ、電気回路等にて構成されており、ナビゲート動画データ生成プログラム200等の各種プログラムが予め格納される。また、第2記憶部24は、生成された仮想動画データ、別途撮像で得られる基準実静止画データSD等を、記録可能となっている。
【0055】
図11に示すように、基準実静止画データSDは、対象被作業物Wと同一の基準被作業物SWを、撮像して得られる画像データである。基準被作業物SWの撮像は、端末装置20とは別体のカメラ、又は、端末装置20に内蔵のカメラにて撮像され、端末装置20に取り込まれて基準実静止画データSDが生成される。
【0056】
図11及び図1に示すように、基準実静止画データSDを第2表示部21に表示させた状態で、操作部22を介して管理者によりナビゲートマークNMの生成指示がなされる。例えば、第2表示部21に表示された基準実静止画データSD中の要締結部位BP1~BP5の位置に対応するよう、ナビゲートマークNMが生成される。具体的には、基準実静止画データSD中の要締結部位BP1,BP2,BP3,BP4,BP5の順序に対応して、基準実静止画データSD中にてナビゲートマークNM1,NM2,NM3,NM4,NM5がこの順に移動し逐次表示されるよう生成指示される。この生成指示は、第2演算部23にて受け付けられて、仮想動画データが生成される。当該仮想動画データは、締結ナビゲート装置10にて対象実静止画データRDに対し重畳表示されるナビゲートマークNMの表示位置が、要締結箇所BP1~BP5に対応して移動していく動画となる。即ち、仮想動画データとして表示される部位は、ナビゲートマークNMのみとなる。
【0057】
図11に示すように、生成された仮想動画データは、締結ナビゲート装置10に転送・格納されて、締結ナビゲート装置10は、上述のように締結手作業のナビゲートを実行可能となる。
【0058】
<締結ナビゲートプログラムの処理>
締結ナビゲート装置10に適用される締結ナビゲートプログラム100により、第1演算部13の各処理が実行されることで、上述したように、締結手作業を順次行う際の手作業順序及び手作業位置のナビゲートが達成される。
【0059】
図12乃至図14の一連のフローチャートに示すように、締結手作業のナビゲートを開始する場合、先ず、ステップ101にて、第1演算部13は、端末装置20にて生成され締結ナビゲート装置10に転送された仮想動画データ、及び、基準実静止画データSDを、第1記憶部14に格納する。
【0060】
次に、ステップ102にて、第1演算部13は、作業台WT上の対象被作業物Wを撮像部11で撮像する。次いで、ステップ103にて、第1演算部13は、対象実静止画データRDを生成する。次いで、ステップ104にて、第1演算部13は、上記生成された対象実静止画データRDを第1表示部12に表示する(図2(a)を参照)。ここにおいて、ステップ102,103は、対象実静止画データ生成手順に相当し、ステップ104は、対象実静止画データ表示手順に相当する。
【0061】
次に、ステップ105にて、第1演算部13は、上記格納された基準実静止画データSDの基準二次元バーコードSB、及び、上記生成された対象実静止画データRDの対象二次元バーコードBをつき合わせ、仮想動画データの表示位置を決定する。次いで、ステップ106にて、第1演算部13は、上記基準実静止画データSDの各基準二次元バーコードSBにおける距離SL1、及び、上記対象実静止画データRDの各対象二次元バーコードBにおける実離間距離RL1を取得する。次いで、ステップ107にて、第1演算部13は、上記取得された距離SL1、及び、上記取得された実離間距離RL1に基づいて、仮想動画データの表示倍率を決定する。上記表示倍率としては、例えば、実離間距離RL1を、距離SL1で除して得た値を用いてもよい。
【0062】
次に、ステップ108にて、第1演算部13は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークNM1を対象実静止画データRDに重畳させて第1表示部12に表示する(図2(b)を参照)。次いで、ステップ109にて、第1演算部13は、撮像部11による作業具二次元バーコードTBの撮像に基づいて、装着部T1の位置を検出する。次いで、ステップ110にて、第1演算部13は、上記検出された装着部T1の検出位置が、ナビゲートマークNM1の位置と整合しているか否かを判定する。ステップ110にて「Yes」と判定されると、ステップ111に直ちに進み、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM1を消去する。
【0063】
一方、ステップ110にて、上記検出された装着部T1の検出位置が、ナビゲートマークNM1の位置と整合していない場合、ステップ110にて「No」と判定されて、ステップ112に進む。ステップ112にて、第1演算部13は、警告報知部15による警告報知を行う。具体的には、警告音AL1の発出、警告灯AL2の表示等がなされる(図8を参照)。次いで、ステップ111にて、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM1を消去する。
【0064】
図12に示すフローチャートにおける末端の結合子「1」は、図13に示すフローチャートにおける先端の結合子「1」に接続される。従って、図12のステップ111での処理の後、図13のステップ113に進む。
【0065】
ステップ113にて、第1演算部13は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークNM2を対象実静止画データRDに重畳させて第1表示部12に表示する(図3(a)を参照)。次いで、ステップ114にて、第1演算部13は、撮像部11による作業具二次元バーコードTBの撮像に基づいて、装着部T1の位置を検出する。次いで、ステップ115にて、第1演算部13は、上記検出された装着部T1の検出位置が、ナビゲートマークNM2の位置と整合しているか否かを判定する。ステップ115にて「Yes」と判定されると、ステップ116に直ちに進み、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM2を消去する。
【0066】
一方、ステップ115にて、上記検出された装着部T1の検出位置が、ナビゲートマークNM2の位置と整合していない場合、ステップ115にて「No」と判定されて、ステップ117に進む。ステップ117にて、第1演算部13は、警告報知部15による警告報知を行う。具体的には、警告音AL1の発出、警告灯AL2の表示等がなされる(図8を参照)。次いで、ステップ116にて、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM2を消去する。
【0067】
次に、ステップ118にて、第1演算部13は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークNM3を対象実静止画データRDに重畳させて第1表示部12に表示する(図3(b)を参照)。次いで、ステップ119にて、第1演算部13は、撮像部11による作業具二次元バーコードTBの撮像に基づいて、装着部T1の位置を検出する。次いで、ステップ120にて、第1演算部13は、上記検出された装着部T1の検出位置が、ナビゲートマークNM3の位置と整合しているか否かを判定する。ステップ120にて「Yes」と判定されると、ステップ121に直ちに進み、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM3を消去する。
【0068】
一方、ステップ120にて、上記検出された装着部T1の検出位置が、ナビゲートマークNM3の位置と整合していない場合、ステップ120にて「No」と判定されて、ステップ122に進む。ステップ122にて、第1演算部13は、警告報知部15による警告報知を行う。具体的には、警告音AL1の発出、警告灯AL2の表示等がなされる(図8を参照)。次いで、ステップ121にて、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM3を消去する。
【0069】
図13に示すフローチャートにおける末端の結合子「2」は、図14に示すフローチャートにおける先端の結合子「2」に接続される。従って、図13のステップ121での処理の後、図14のステップ123に進む。
【0070】
ステップ123にて、第1演算部13は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークNM4を対象実静止画データRDに重畳させて第1表示部12に表示する(図4(a)を参照)。次いで、ステップ124にて、第1演算部13は、撮像部11による作業具二次元バーコードTBの撮像に基づいて、装着部T1の位置を検出する。次いで、ステップ125にて、第1演算部13は、上記検出された装着部T1の検出位置が、ナビゲートマークNM4の位置と整合しているか否かを判定する。ステップ125にて「Yes」と判定されると、ステップ126に直ちに進み、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM4を消去する。
【0071】
一方、ステップ125にて、上記検出された装着部T1の検出位置が、ナビゲートマークNM4の位置と整合していない場合、ステップ125にて「No」と判定されて、ステップ127に進む。ステップ127にて、第1演算部13は、警告報知部15による警告報知を行う。具体的には、警告音AL1の発出、警告灯AL2の表示等がなされる(図8を参照)。次いで、ステップ126にて、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM4を消去する。
【0072】
次に、ステップ128にて、第1演算部13は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークNM5を対象実静止画データRDに重畳させて第1表示部12に表示する(図4(b)を参照)。次いで、ステップ129にて、第1演算部13は、撮像部11による作業具二次元バーコードTBの撮像に基づいて、装着部T1の位置を検出する。次いで、ステップ130にて、第1演算部13は、上記検出された装着部T1の検出位置が、ナビゲートマークNM5の位置と整合しているか否かを判定する。ステップ130にて「Yes」と判定されると、ステップ131に直ちに進み、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM5を消去する。
【0073】
一方、ステップ130にて、上記検出された装着部T1の検出位置が、ナビゲートマークNM5の位置と整合していない場合、ステップ130にて「No」と判定されて、ステップ132に進む。ステップ132にて、第1演算部13は、警告報知部15による警告報知を行う。具体的には、警告音AL1の発出、警告灯AL2の表示等がなされる(図8を参照)。次いで、ステップ131にて、第1演算部13は、所定期間経過後、表示されているナビゲートマークNM5を消去する。そして、締結ナビゲートプログラム100により、第1記憶部14の処理が完了し、締結手作業のナビゲートが終了する。
【0074】
ここにおいて、ステップ105~107,108,111,113,116,118,121,123,126,128,131は、仮想動画データ表示手順に相当する。ステップ109,114,119,124,129は、位置検知手順に相当する。ステップ110,115,120,125,130は、位置判定手順に相当する。ステップ112,117,122,127,132は、警告報知手順に相当する。
【0075】
<ナビゲート動画データ生成プログラムの処理>
端末装置20に適用されるナビゲート動画データ生成プログラム200により、第2演算部23の各処理が実行されることで、上述したように、ナビゲートマークNMを含む仮想動画データの生成が達成される。
【0076】
図15のフローチャートに示すように、締結手作業のナビゲートを開始する場合、先ず、ステップ201にて、第2演算部23は、基準被作業物SWをカメラにて撮影し、端末装置20に取り込む。次いで、ステップ202にて、第2演算部23は、上記撮影された基準被作業物SWから、基準実静止画データSDを生成する(図11を参照)。ここにおいて、ステップ201,202は、基準実静止画データ生成手順に相当する。
【0077】
次に、ステップ203にて、第2演算部23は、上記生成された基準実静止画データSWを第2表示部21に表示する。次いで、ステップ204にて、第2演算部23は、基準実静止画データSWが表示された状態での、管理者による操作部22を介したナビゲートマークNM1の生成指示を受け付ける。次いで、ステップ205にて、第2演算部23は、上記受け付けた生成指示に応じて、ナビゲートマークNM1を仮想動画データに追加する。
【0078】
次に、ステップ206にて、第2演算部23は、基準実静止画データSWが表示された状態での、管理者による操作部22を介したナビゲートマークNM2の生成指示を受け付ける。次いで、ステップ207にて、第2演算部23は、上記受け付けた生成指示に応じて、ナビゲートマークNM2を仮想動画データに追加する。
【0079】
次に、ステップ208にて、第2演算部23は、基準実静止画データSWが表示された状態での、管理者による操作部22を介したナビゲートマークNM3の生成指示を受け付ける。次いで、ステップ209にて、第2演算部23は、上記受け付けた生成指示に応じて、ナビゲートマークNM3を仮想動画データに追加する。
【0080】
次に、ステップ210にて、第2演算部23は、基準実静止画データSWが表示された状態での、管理者による操作部22を介したナビゲートマークNM4の生成指示を受け付ける。次いで、ステップ211にて、第2演算部23は、上記受け付けた生成指示に応じて、ナビゲートマークNM4を仮想動画データに追加する。
【0081】
次に、ステップ212にて、第2演算部23は、基準実静止画データSWが表示された状態での、管理者による操作部22を介したナビゲートマークNM5の生成指示を受け付ける。次いで、ステップ213にて、第2演算部23は、上記受け付けた生成指示に応じて、ナビゲートマークNM5を仮想動画データに追加する。
【0082】
次に、ステップ214にて、第2演算部23は、ナビゲートマークNM1~NM5を含む仮想動画データを生成する。そして、ナビゲート動画データ生成プログラム200により、第2演算部23の処理が完了し、仮想動画データの生成が終了する。
【0083】
上述したステップ204,206,208,210,212における生成指示としては、第2表示部21に表示された基準実静止画データSD中の要締結部位BP1~BP5の位置に対応するよう、ナビゲートマークNMが生成される。更に、基準実静止画データSD中の要締結部位BP1,BP2,BP3,BP4,BP5の順序に対応して、基準実静止画データSD中にてナビゲートマークNM1,NM2,NM3,NM4,NM5がこの順に移動し逐次表示されるよう生成指示される(図1を参照)。従って、ステップ214にて生成される仮想動画データは、締結ナビゲート装置10にて対象実静止画データRDに対し重畳表示されるナビゲートマークNMの表示位置が、要締結箇所BP1~BP5に対応して移動していく動画となる。
【0084】
ここにおいて、ステップ204,206,208,210,212は、指示受付手順に相当する。ステップ205,207,209,211,213,214は、仮想動画データ生成手順に相当する。
【0085】
<実施形態の効果>
以上説明したように、本発明の実施形態に係る締結ナビゲートプログラム100によれば、作業員WRが対象被作業物Wの複数の要締結箇所BP1~BP5に対し、1箇所ずつ締結作業具Tを用いて締結手作業を順次行う際に、目の前の作業台WTに置かれた対象被作業物Wを撮像した対象実静止画データRDが、第1表示部12に表示されるとともに、当該対象実静止画データRD上に、ナビゲートマークNM1~NM5を含む仮想動画データが重畳表示される。これによって、上記締結手作業時において上記複数の要締結箇所BP1~BP5に対して実行すべき、手作業順序及び手作業位置が動的にナビゲートされる。
【0086】
このとき、仮想動画データは、複数の要締結箇所BP1~BP5を備えた基準被作業物SW(本実施形態においては、対象被作業物Wと同一種類・同一大きさ・同一形状のもの)を予め撮影した基準実静止画データSDの表示状態に対し、重畳させて表示させることによって生成されている。そして、基準被作業物SWには、既知の基準距離SLだけ離間した複数の基準二次元バーコードSBが設けられている。すなわち、仮想動画データには、互いに既知の距離だけ離間した基準二次元バーコードSBを位置決め基準としつつ、複数の要締結箇所BP1~BP5を指し示すように、データ中の位置が設定されているナビゲートマークNM1~NM5が予め含まれている。
【0087】
一方、前述の作業員WRによる実際の締結作業実行時において、対象被作業物Wにも複数の対象二次元バーコードBが設けられており、これによって対象実静止画データRD中に互いに離間した対象二次元バーコードBが含まれる。この結果、対象実静止画データRD中におけるそれら複数の対象二次元バーコードBの離間距離RL1と、上記仮想動画データ中に含まれる基準二次元バーコードSBの離間距離SL1との長さ比率に応じて、当該対象実静止画データRDに合わせて仮想動画データ中のナビゲートマークNMを、位置決めすることができる。この結果、対象実静止画データRDに動画として重畳表示されるナビゲートマークNMの位置を、対象実静止画データRD中の対象被作業物Wの複数の要締結箇所BPの位置を指し示すように、精度よく合致させることができる。
【0088】
以上のようにして、本実施形態によれば、正確に位置決めされた仮想動画中のマーク(ナビゲートマークNM1~NM5)にて、動的に締結位置及び締結順序の表示を行うことができるので、作業者WRに対し分かりやすくナビゲートを行うことができ、作業者WRは、間違いのない締結作業を行うことができる。
【0089】
また、本発明の実施形態に係るナビゲート動画データ生成プログラム200によれば、端末装置20にて、ナビゲートマークNMの生成指示を受け付けて、予め撮影した基準実静止画データSDの表示状態に対して重畳させるように、仮想動画データが生成される。従って、端末装置20にて、例えば、基準実静止画データSD中の要締結部位BP1~BP5の位置に対応するよう、ナビゲートマークNMを容易に生成でき、更に、基準実静止画データSD中の要締結部位BP1,BP2,BP3,BP4,BP5の順序に対応して、基準実静止画データSD中にてナビゲートマークNM1,NM2,NM3,NM4,NM5がこの順に移動し逐次表示される動画を、容易に生成できる。また、作業者WRとは別の管理者等により、締結手作業とは別に、予め仮想動画データを生成しておくことができる。このため、例えば、予め生成しておいた仮想動画データを、多数の締結ナビゲート装置10に効率良く展開できる。
【0090】
また、本実施形態の締結ナビゲートプログラム100では、特に、上記のように、作業員WRが、仮想動画中のナビゲートマークNMにしたがって、対象被作業物Wの複数の要締結箇所BPでの締結手作業を行う時、位置検知手順で締結作業具Tの位置が検知される。そして、その後の位置判定手順で、その検知された締結作業具Tの位置が、ナビゲートマークNMの位置と整合するか否かが判定される。これにより、作業員WRが移動させた締結作業具Tの位置が、不適正であった場合には、任意の手段によりそれを是正する、又は是正するように作業員WRを促すことができる。
【0091】
また、本実施形態の締結ナビゲートプログラム100では、特に、位置判定手順において締結作業具Tの位置が、ナビゲートマークNMの位置と整合しないと判定された場合に、対応する警告報知として警告音AL1の発出、又は、警告灯AL2の表示を実行する警告報知手順が実行される。これにより、作業員WRが、誤って次の順番の要締結箇所BPではない要締結箇所BPのほうに締結作業具Tを移動させたり、要締結箇所BPから大きく外れた位置に、締結作業具Tを移動させた場合は、警告報知手順で所定の警告報知を行い、誤っている旨を作業員WRに認知させることができる。
【0092】
また、本実施形態の締結ナビゲートプログラム100では、特に、締結作業具Tに作業具二次元バーコードTBが設けられ、作業具二次元バーコードTBに基づいて締結作業具Tの位置検知が行われる。このため、上記位置検知手順での締結作業具Tの位置検知を、比較的簡素な処理で迅速に行うことができる。
【0093】
その際、締結作業具Tのうち、ボルトやナットが装着される装着部T1や、作業員WRが把持する把持部T2に作業具二次元バーコードTBを設けると、ボルト等の脱着操作時の摩擦や、作業員WRの手による摩擦等で、当該作業具二次元バーコーTBが汚れたり摩耗する恐れがある。これを回避するためには、それら装着部T1、把持部T2以外の部位に作業具二次元バーコードを設ける必要があるが、複数の作業具二次元バーコードTBを締結作業具Tの既知の位置に設けることで、装着部T1を、それら複数の作業具二次元バーコードTBを基準として位置決めすることができる。すなわち、上記作業員WRの締結手作業時に、位置検知手順において複数の作業具二次元バーコードTBの位置を検出することで、締結作業具Tの装着部T1の位置、言い換えれば作業員WRがボルトやナットを締結しようとしている位置を検知することができる。この結果、前述の位置判定手順における上記判定や、その判定結果に基づく警告報知手順の警告報知を、精度よく行うことができる。
なお、締結作業具Tが例えばドライバのようなものである場合は、作業員WRが把持する把持部(図示省略)の端部に1枚の作業具二次元バーコードTBのみを設けることで、直接的に位置を検知するようにしてもよい。
【0094】
<変形例>
上述した実施形態においては、締結ナビゲートプログラム100により締結ナビゲート装置10の第1演算部13が、締結手作業のナビゲート処理を実行し、ナビゲート動画データ生成プログラム200により端末装置20の第2演算部23が、仮想動画データの生成処理を実行するようになっている。これに代えて、例えば、締結作業支援プログラムにより、第1演算部13及び第2演算部23が、締結手作業のナビゲート処理及び仮想動画データの生成処理を、それぞれ実行するようにしてもよい。この場合、上記締結作業支援プログラムは、締結ナビゲート装置10、及び、端末装置20を有する締結作業支援システムに適用され、第1演算部13及び第2演算部23に対し、複数の要締結箇所BPを備え既知の基準距離だけ離間させて複数の基準二次元バーコードSBが設けられた基準被作業物SWを撮影し、対応する基準実静止画データSDを生成する基準実静止画データ生成手順と、基準実静止画データSDを表示させた状態で、その表示した基準実静止画データSDに対して重畳させて表示させるための、複数の要締結箇所BPに対し1箇所ずつ締結作業具Tを用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークNMの生成指示を、操作部22を介して受け付ける指示受付手順と、指示受付手順でナビゲートマークNMの生成指示を受け付けた場合に、作業者WRによる対象被作業物Wに対する締結作業具Tを用いた締結手作業をナビゲートするナビゲートマークNMを含む仮想動画データを生成する仮想動画データ生成手順と、複数の対象二次元バーコードBが設けられ作業台WTに配置された対象被作業物Wを撮像部11により撮像し、対応する対象実静止画データRDを生成する対象実静止画データ生成手順と、生成された対象実静止画データRDを表示する対象実静止画データ表示手順と、仮想動画データを、対象実静止画データ表示手順で表示された当該対象実静止画データRDに対し重畳させつつ、対象実静止画データRD中の複数の対象二次元バーコードBを位置決め基準とした表示位置、及び、当該対象実静止画データRB中の複数の対象二次元バーコードB間の実離間距離を拡縮基準とした表示倍率によって表示する仮想動画データ表示手順と、を分担して実行させる。
【0095】
また、上記実施形態においては、対象二次元バーコードB(例えば、QRコード(登録商標))は、位置決め基準として機能し、且つ、対象二次元バーコードB間の実離間距離RL1は、拡縮基準として機能するようになっている。当該実離間距離RL1と、仮想動画データの生成時における基準二次元バーコードSB(例えば、QRコード(登録商標))間の距離SL1との比に基づいて、対象実静止画データRD中にナビゲートマークNMが表示されるため、基準被作業物SWをカメラで撮像する際の倍率、及び、対象被作業物Wを撮像部11で撮像する際の倍率がそれぞれ異なっている場合(即ち、各カメラの性能がそれぞれ異なる場合等)であっても、ナビゲートマークNMの位置を、対象実静止画データRD中の要締結部位BPに精度良く一致させることができる。
【0096】
また、対象被作業物Wの対象二次元バーコードB、基準被作業物SWの基準二次元バーコードSBには、所定の情報を格納させてもよい。これにより、例えば、対象二次元バーコードBと、基準二次元バーコードSBとが同一のものであるか否かを確認することで、締結手作業をナビゲートする際に用いられる仮想動画データが、適切なものであるか否かを確認できる。また、締結作業具Tの作業具二次元バーコードTB(例えば、QRコード(登録商標))にも、所定の情報を格納させてもよい。具体的には、例えば、装着部T1側の作業具二次元バーコードTBに、当該作業具二次元バーコードTBから装着部T1中心位置までの距離情報を格納してもよいし、2つの作業具二次元バーコードTB間の距離に対応する情報(例えば、2つの作業具二次元バーコードTB間の距離をn倍した数等)を格納してもよい。これによっても、装着部T1の位置を精度良く検出できる。
【0097】
なお、以上の説明において、外観上の寸法や大きさが「同一」「等しい」「異なる」等の記載がある場合は、当該記載は厳密な意味ではない。すなわち、それら「同一」「等しい」「異なる」とは、設計上、製造上の公差、誤差が許容され、「実質的に同一」「実質的に等しい」「実質的に異なる」という意味である。
【0098】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【0099】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【0100】
10 締結ナビゲート装置
11 撮像部
12 第1表示部
13 第1演算部
15 警告報知部
20 端末装置
21 第2表示部
22 操作部
23 第2演算部
100 締結ナビゲートプログラム
102 ステップ(対象実静止画データ生成手順)
103 ステップ(対象実静止画データ生成手順)
104 ステップ(対象実静止画データ表示手順)
105 ステップ(仮想動画データ表示手順)
106 ステップ(仮想動画データ表示手順)
107 ステップ(仮想動画データ表示手順)
108 ステップ(仮想動画データ表示手順)
109 ステップ(位置検知手順)
110 ステップ(位置判定手順)
111 ステップ(仮想動画データ表示手順)
112 ステップ(警告報知手順)
113 ステップ(仮想動画データ表示手順)
114 ステップ(位置検知手順)
115 ステップ(位置判定手順)
116 ステップ(仮想動画データ表示手順)
117 ステップ(警告報知手順)
118 ステップ(仮想動画データ表示手順)
119 ステップ(位置検知手順)
120 ステップ(位置判定手順)
121 ステップ(仮想動画データ表示手順)
122 ステップ(警告報知手順)
123 ステップ(仮想動画データ表示手順)
124 ステップ(位置検知手順)
125 ステップ(位置判定手順)
126 ステップ(仮想動画データ表示手順)
127 ステップ(警告報知手順)
128 ステップ(仮想動画データ表示手順)
129 ステップ(位置検知手順)
130 ステップ(位置判定手順)
131 ステップ(仮想動画データ表示手順)
132 ステップ(警告報知手順)
200 ナビゲート動画データ生成プログラム
204 ステップ(指示受付手順)
205 ステップ(仮想動画データ生成手順)
206 ステップ(指示受付手順)
207 ステップ(仮想動画データ生成手順)
208 ステップ(指示受付手順)
209 ステップ(仮想動画データ生成手順)
210 ステップ(指示受付手順)
211 ステップ(仮想動画データ生成手順)
212 ステップ(指示受付手順)
213 ステップ(仮想動画データ生成手順)
214 ステップ(仮想動画データ生成手順)
AL1 警告音
AL2 警告灯
B 対象二次元バーコード
BP 要締結箇所
NM ナビゲートマーク
RD 対象実静止画データ
RL1 実離間距離
SB 基準二次元バーコード
SL 基準距離
SL1 距離
SD 基準実静止画データ
SW 基準被作業物
T 締結作業具
T1 装着部
TB 作業具二次元バーコード
W 対象被作業物
WR 作業者
WT 作業台
【要約】
【課題】 締結位置及び締結順序のナビゲートを行うことにより、分かり易く、間違いのない締結手作業を可能とする。
【解決手段】 締結ナビゲートプログラム100は、締結ナビゲート装置10に備えられた第1演算部13に対し、複数の対象二次元バーコードBが設けられ作業台WTに配置された対象被作業物Wを撮像部11により撮像し、対応する対象実静止画データRDを生成する対象実静止画データ生成手順と、対象実静止画データRDを第1表示部12に表示する対象実静止画データ表示手順と、ナビゲートマークNMを含む仮想動画データを、表示された当該対象実静止画データRDに対し重畳させつつ、対象二次元バーコードBを位置決め基準とした表示位置、及び、実離間距離RL1を拡縮基準とした表示倍率によって、第1表示部12に表示し、作業者WRによる締結作業具Tを用いた締結手作業をナビゲートする仮想動画データ表示手順と、を実行させる。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15