特開 2024-104819 結線作業支援システムおよび結線作業支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024104819

(43)【公開日】2024-08-06

(54)【発明の名称】結線作業支援システムおよび結線作業支援方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240730BHJP

   H02G 1/06 20060101ALI20240730BHJP

   G06F 3/0484 20220101ALI20240730BHJP

【ＦＩ】

G06F3/01 510

H02G1/06

G06F3/0484

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023009191

(22)【出願日】2023-01-25

(71)【出願人】

【識別番号】000236056

【氏名又は名称】三菱電機ビルソリューションズ株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】示野 雅士

【テーマコード（参考）】

5E555

5G352

【Ｆターム（参考）】

5E555AA23

5E555AA24

5E555AA25

5E555AA26

5E555AA54

5E555BA02

5E555BA38

5E555BB38

5E555BC04

5E555BE17

5E555CA42

5E555CB45

5E555DA08

5E555DA09

5E555DB53

5E555DC09

5E555DC11

5E555DC13

5E555DC35

5E555EA07

5E555FA00

5G352CH02

(57)【要約】      （修正有）

【課題】配線を接続する結線作業時の作業者の負担を軽減し、作業効率を向上させる結線作業支援システム及び結線作業支援方法を提供する。
【解決手段】結線作業支援システム１００は、作業者の頭部に装着されるＡＲグラス１０と、ＡＲグラスに通信接続されるサーバ３０と、を備える。ＡＲグラスは、作業者の視線方向にある端子を被写体として撮像する少なくとも１つの撮像部１１と、作業者の視界内に拡張現実映像を表示する表示部１２と、情報処理部１３と、を含む。サーバは、端子に接続すべき配線の色の情報を含む結線データを記憶する記憶装置３４を含む。情報処理部は、少なくとも１つの撮像部の撮像画像から作業者の視野画像を取得し、結線データをサーバから受信し、結線データに基づいて、視野画像内の端子の画像に、端子に接続すべき配線の色の画像を重ね合わせて拡張現実映像を生成し、生成した拡張現実映像を表示部に表示させる。
【選択図】図４

【特許請求の範囲】

【請求項1】

結線作業を支援するためのシステムであって、
作業者の頭部に装着される眼鏡型情報端末と、
前記眼鏡型情報端末に通信接続されるサーバとを備え、
前記眼鏡型情報端末は、
前記作業者の視線方向にある端子を被写体として撮像する少なくとも１つの撮像部と、
前記作業者の視界内に拡張現実映像を表示する表示部と、
情報処理部と含み、
前記サーバは、前記端子に接続すべき配線の色の情報を含む結線データを記憶する記憶装置を含み、
前記情報処理部は、
前記少なくとも１つの撮像部の撮像画像から前記作業者の視野画像を取得し、
前記結線データを前記サーバから受信し、
前記結線データに基づいて、前記視野画像内の前記端子の画像に、前記端子に接続すべき配線の色の画像を重ね合わせて前記拡張現実映像を生成し、
生成した前記拡張現実映像を前記表示部に表示する、結線作業支援システム。

【請求項2】

前記情報処理部はさらに、
前記視野画像と前記結線データとに基づいて結線の正誤を判定し、
前記結線の正誤の判定結果を前記拡張現実映像に重ね合わせて表示する、請求項１に記載の結線作業支援システム。

【請求項3】

前記情報処理部は、前記結線の正誤の判定結果をサーバに送信し、
前記サーバは、前記結線の正誤の判定結果を前記結線データに追加して前記記憶装置に記憶する、請求項２に記載の結線作業支援システム。

【請求項4】

前記情報処理部は、前記拡張現実映像において、前記端子または前記端子の近傍を、前記端子に接続すべき配線の色で色付けて表示する、請求項１から３のいずれか１項に記載の結線作業支援システム。

【請求項5】

前記端子の近傍には、当該端子に関する情報が記載されたパターンが配置されており、
前記情報処理部は、前記拡張現実映像において、前記パターンを前記端子に接続すべき配線の色で色付けて表示する、請求項４に記載の結線作業支援システム。

【請求項6】

前記表示部は、前記拡張現実映像において、結線作業が行われない端子に対応する前記パターンをマスク表示する、請求項５に記載の結線作業支援システム。

【請求項7】

作業者の頭部に装着される眼鏡型情報端末を用いて結線作業を支援する方法であって、
前記眼鏡型情報端末は、少なくとも１つの撮像部と、前記作業者の視界内に拡張現実映像を表示する表示部とを含み、
前記少なくとも１つの撮像部が前記作業者の視線方向にある端子を被写体として撮像するステップと、
前記少なくとも１つの撮像部の撮像画像から前記作業者の視野画像を取得するステップと、
前記端子に接続すべき配線の色の情報を含む結線データを取得するステップと、
前記結線データに基づいて、前記視野画像内の前記端子の画像に、前記端子に接続すべき配線の色の画像を重ね合わせて前記拡張現実映像を生成するステップと、
生成した前記拡張現実映像を前記表示部に表示するステップとを含む、結線作業支援方法。

【請求項8】

前記視野画像と前記結線データとに基づいて結線の正誤を判定するステップと、
前記結線の正誤の判定結果を前記拡張現実映像に重ね合わせて表示するステップとをさらに含む、請求項７に記載の結線作業支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、結線作業支援システムおよび結線作業支援方法に関する。

【背景技術】

【0002】

国際公開第２０２０／２５０９２８号明細書（特許文献１）には、ケーブル接続作業を支援するシステムが開示されている。このシステムは、端末装置と、管理サーバとを備える。端末装置は、接続作業を行うケーブルの先端の画像を撮像する。管理サーバは、端末装置が撮像したケーブルの先端の表面紋様に基づいた個別識別を行い、個別識別の結果に基づいた作業支援情報を端末装置へ送信する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／２５０９２８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

電気機器に設けられた複数の端子に配線を接続する結線作業を行う場合、作業者は、各端子と当該端子に接続される配線の種類とが一対一に対応付けて記載された結線表を確認しながら、各端子に配線を接続する。このとき、作業者は結線表と端子とを見比べながら作業を行うため、端子の数が増えるに従って作業者の負担が増加し、作業効率を低下させることが懸念される。また、複数の小型の端子が緻密に配列されている電気機器においては、作業者が端子または結線表の確認を誤ることで、結線ミスが発生する可能性が高くなることが懸念される。

【0005】

特許文献１に記載のシステムでは、作業支援情報として、ケーブルの先端を接続すべき装置のポート名、およびケーブルにおける他の先端が接続される装置のポート名を示す文字列からなる仮想マーキングデータが生成されて作業者に提示される。しかしながら、作業者の視覚に訴える効果については懸念点が残る。

【0006】

本開示は、かかる課題を解決するためになされたものであり、本開示の目的は、端子に配線を接続する結線作業時の作業者の負担を軽減し、作業効率を向上させることができる結線作業支援システムおよび結線作業支援方法を提供することである。

【課題を解決するための手段】

【0007】

本開示のある局面では、結線作業を支援するためのシステムが提供される。結線作業支援システムは、作業者の頭部に装着される眼鏡型情報端末と、眼鏡型情報端末に通信接続されるサーバとを備える。眼鏡型情報端末は、作業者の視線方向にある端子を被写体として撮像する少なくとも１つの撮像部と、作業者の視界内に拡張現実映像を表示する表示部と、情報処理部と含む。サーバは、端子に接続すべき配線の色の情報を含む結線データを記憶する記憶装置を含む。情報処理部は、少なくとも１つの撮像部の撮像画像から作業者の視野画像を取得し、結線データをサーバから受信する。情報処理部は、結線データに基づいて、視野画像内の端子の画像に、端子に接続すべき配線の色の画像を重ね合わせて拡張現実映像を生成する。情報処理部は、生成した拡張現実映像を表示部に表示する。

【0008】

本開示の別の局面では、作業者の頭部に装着される眼鏡型情報端末を用いて結線作業を支援する方法が適用される。眼鏡型情報端末は、少なくとも１つの撮像部と、作業者の視界内に拡張現実映像を表示する表示部とを含む。結線作業支援方法は、少なくとも１つの撮像部が作業者の視線方向にある端子を被写体として撮像するステップと、少なくとも１つの撮像部の撮像画像から作業者の視野画像を取得するステップと、端子に接続すべき配線の色の情報を含む結線データを取得するステップと、結線データに基づいて、視野画像内の端子の画像に、端子に接続すべき配線の色の画像を重ね合わせて拡張現実映像を生成するステップと、生成した拡張現実映像を表示部に表示するステップとを含む。

【発明の効果】

【0009】

本開示によれば、端子に配線を接続する結線作業時の作業者の負担を軽減し、作業効率を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本開示の実施の形態に係る結線作業支援システムの全体構成図である。

【図2】ＡＲグラスの撮像部により取得される視野画像の一例を示す図である。

【図3】結線データの一例を示す図である。

【図4】結線作業支援システムのハードウェア構成の一例を示す図である。

【図5】ＡＲグラスの機能構成の一例を示す図である。

【図6】ＡＲ映像生成部によって生成されるＡＲ映像の一例を示す図である。

【図7】ＡＲ映像生成部によって生成されるＡＲ映像の一例を示す図である。

【図8】結線作業支援システムが実行する処理の一部を表すフローチャートである。

【図9】結線データの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

【0012】

＜結線作業支援システムの構成＞
図１は、本開示の実施の形態に係る結線作業支援システムの全体構成図である。本実施の形態に係る結線作業支援システム１００は、拡張現実（ＡＲ：Augmented Reality）技術を用いて、作業者Ｍによる結線作業を支援するためのシステムである。本実施の形態では、作業者Ｍは、基板上に載置された端子台に設けられた複数の端子に対して、複数の配線をそれぞれ接続する作業を行うものとする。結線作業支援システム１００は、この結線作業を支援するように構成される。

【0013】

図１に示すように、結線作業支援システム１００は、ＡＲグラス１０と、サーバ３０とを備える。ＡＲグラス１０およびサーバ３０は、通信網ＮＷを経由して双方向に情報を送受信可能に構成されている。

【0014】

ＡＲグラス１０は、作業者Ｍの頭部に装着される眼鏡型の情報端末である。ＡＲグラス１０は、ヘッドマウントディスプレイ方式のウェアラブル端末であるスマートグラスの一種である。ＡＲグラス１０は、現実空間を撮像部１１で認識し、現実空間に合うように拡張現実映像（ＡＲ映像）を表示部１２に表示するものである。これにより、作業者ＭはＡＲ映像が現実にあるかのように見ることができる。

【0015】

ＡＲグラス１０は、少なくとも１つの撮像部１１と、表示部１２と、図示しない情報処理部とを含んで構成される。少なくとも１つの撮像部１１は、作業者Ｍの視線方向の被写体を撮像するための部位である。図１の例では、ＡＲグラス１０は、複数の撮像部１１ａ～１１ｄを有している。以下、複数の撮像部１１ａ～１１ｄを包括的に「撮像部１１」と称する場合がある。複数の撮像部１１ａ～１１ｄは、表示部１２の外縁部分に適当な距離をおいて設置されており、作業者Ｍの視線方向の被写体を撮像範囲に収めることができる。結線作業時、撮像部１１は、作業者Ｍの視線方向にある端子を被写体として撮像する。ＡＲグラス１０は、複数の撮像部１１ａ～１１ｄの撮像画像から、作業者Ｍの視野を示す視野画像を取得する。

【0016】

表示部１２は、作業者Ｍの両目に対応して設けられる。表示部１２は、作業者Ｍの視野を遮ることなく、作業者Ｍの視界内にＡＲ映像を表示する。図１では、両目の視界に対してＡＲ映像を投影する構成としたが、片目に対してＡＲ映像を提供する構成としてもよい。

【0017】

図２は、ＡＲグラス１０の撮像部１１により取得される視野画像の一例を示す図である。図２に示すように、視野画像には、基板５０の一部と、基板５０上に載置された２つの端子台５２とが含まれている。

【0018】

各端子台５２には、複数の端子５４が設けられている。各端子５４に形成された端子孔に、対応する配線の先端部を挿し込むことにより、端子５４と配線とを電気的に接続することができる。端子台５２の形状はこれに限定されない。例えば、各端子５４と配線の先端部分とを締結部材を用いて締結することにより、端子５４と配線とを電気的に接続するように構成されてもよい。

【0019】

各端子５４の近傍には、基板シルク５６が配置されている。図２では、基板シルク５６は、対応する端子５４に水平方向に隣接して配置されている。基板シルク５６は、対応する端子５４に関する情報を基板５０上に表示するために形成された、文字および／または記号等からなるパターンである。基板シルク５６は、スクリーン印刷法、インクジェット法、または写真法等を用いて、基板５０に印刷することで形成することができる。

【0020】

図２の例では、各基板シルク５６は、矩形形状を有しており、対応する端子５４の識別情報である端子番号を示す文字を含んでいる。基板シルク５６の位置および形状はこれに限定されるものではなく、端子５４と一対一に対応が取れていればよい。

【0021】

図１に戻って、サーバ３０は、作業者Ｍによる結線作業を管理するための機能を有する。サーバ３０は、結線作業が行われる基板５０上に設けられた端子台５２について、各端子５４に接続すべき配線の情報を含んだ結線データを記憶している。図３は、結線データの一例を示す図である。

【0022】

図３に示すように、結線データは、端子台５２を識別するための識別情報（端子台番号）と、端子５４を識別するための識別情報（端子番号）と、各端子５４に接続すべき配線の色を示す配線色情報とを含んでいる。

【0023】

例えば、端子台番号「ＴＡ１」の端子台５２において、端子番号「１ＳＤＡ」の端子５４には「黄色」の配線が接続され、端子番号「１ＳＤＢ」の端子５４には「白（黄）色」の配線が接続される。端子番号「ＦＧ」の端子５４には「緑色」の配線が接続され、端子番号「２４ＶＡ」の端子５４には「青色」の配線が接続される。端子番号「２４Ｇ」の端子５４には「白（青）色」の配線が接続される。なお、「白（黄）色」の配線は、白色および黄色の２本の電線からなる配線を示しており、「白（青）色」の配線は、白色および青色の２本の電線からなる配線を示している。

【0024】

このように結線データでは、端子５４毎に、端子５４を識別するための識別情報（端子番号）と、当該端子５４に接続すべき配線の色を表す配線色情報とが対応付けられている。

【0025】

サーバ３０は、視野画像データをＡＲグラス１０から受信すると、受信した視野画像を解析することにより、作業者Ｍが結線作業を行う端子台５２を特定する。そして、サーバ３０は、特定された端子台５２の結線データをＡＲグラス１０へ送信する。結線データは、後述するように、ＡＲグラス１０においてＡＲ映像を生成するために用いられる。

【0026】

＜結線作業支援システムのハードウェア構成＞
次に、本実施の形態に係る結線作業支援システム１００のハードウェア構成について説明する。図４は、結線作業支援システム１００のハードウェア構成の一例を示す図である。

【0027】

（サーバ３０のハードウェア構成）
図４に示すように、サーバ３０は、主たる構成要素として、ＣＰＵ（Central Processing Unit）３１と、ＲＡＭ（Random Access Memory）３２と、ＲＯＭ（Read Only Memory）３３と、記憶装置３４と、通信Ｉ／Ｆ３５とを含んで構成される。ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、記憶装置３４、および通信Ｉ／Ｆ３５は、通信バス３６を通じて各種データを遣り取りする。

【0028】

ＣＰＵ３１は、ＲＯＭ３３に格納されているプログラムをＲＡＭ３２に展開して実行する。ＲＯＭ３３に格納されているプログラムには、サーバ３０によって実行される処理が記述されている。

【0029】

記憶装置３４は、各種情報を記憶するストレージであって、基板５０の情報、基板５０上に載置される端子台５２の情報、および各端子台５２の結線データ等を記憶する。記憶装置３４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）やソリッドステートドライブ（ＳＳＤ：Solid State Drive）等である。

【0030】

通信Ｉ／Ｆ３５は、ＡＲグラス１０を含む外部機器と信号やデータを遣り取りするための入出力装置である。通信Ｉ／Ｆ３５は、通信網ＮＷを経由して、作業者Ｍが結線作業を行う端子台５２の結線データをＡＲグラス１０へ送信する。また、通信Ｉ／Ｆ３５は、視野画像のデータや、結線作業の正誤を判定した判定結果を示すデータ等をＡＲグラス１０から受信する。

【0031】

（ＡＲグラス１０のハードウェア構成）
ＡＲグラス１０は、少なくとも１つの撮像部１１と、表示部１２と、情報処理部１３とを含んで構成される。

【0032】

少なくとも１つの撮像部１１は、作業者Ｍの視線方向の被写体を撮像する。各撮像部１１は、主たる構成要素として、レンズや絞り等の光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Oxide Semiconductor）イメージセンサ等の受光素子とを含む。各撮像部１１は、情報処理部１３からの指令に従って撮像するとともに、その撮像によって得られた画像データを情報処理部１３へ出力する。図１の例では、ＡＲグラス１０は、複数の撮像部１１ａ～１１ｄを有しており、複数の撮像部１１ａ～１１ｄの撮像によって得られた画像データを情報処理部１３へ出力する。撮像画像は、現実空間での被写体のリアルタイム画像である。

【0033】

情報処理部１３は、主たる構成要素として、ＣＰＵ４１と、ＲＡＭ４２と、ＲＯＭ４３と、入出力Ｉ／Ｆ４４と、記憶装置４５と、通信Ｉ／Ｆ４６とを含んで構成される。ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、入出力Ｉ／Ｆ４４、記憶装置４５、および通信Ｉ／Ｆ４６は、通信バス４７を通じて各種データを遣り取りする。

【0034】

ＣＰＵ４１は、ＲＯＭ４３に格納されているプログラムをＲＡＭ４２に展開して実行する。ＲＯＭ４３に格納されているプログラムには、情報処理部１３によって実行される処理が記述されている。

【0035】

入出力Ｉ／Ｆ４４は、情報処理部１３と撮像部１１および表示部１２との間で各種データを遣り取りするための入出力装置である。

【0036】

記憶装置４５は、各種情報を記憶するストレージであって、サーバ３０から受信した結線データ、視野画像データ、および結線の正誤の判定結果を示すデータ等を記憶する。記憶装置４５は、例えばＨＤＤ等である。

【0037】

通信Ｉ／Ｆ４６は、サーバ３０と信号やデータを遣り取りするための入出力装置である。通信Ｉ／Ｆ４６は、通信網ＮＷを経由して、視野画像のデータ、および結線の正誤の判定結果を示すデータ等をサーバ３０へ送信する。また、通信Ｉ／Ｆ４６は、作業者Ｍが結線作業を行う端子台５２の結線データ等をサーバ３０から受信する。

【0038】

情報処理部１３は、少なくとも１つの撮像部１１からの撮像画像に基づいて、作業者Ｍの視野画像を取得する。そして、情報処理部１３は、取得した視野画像データ、およびサーバ３０からの結線データに基づいて、ＡＲ映像を生成する。また、情報処理部１３は、作業者Ｍが行った結線の正誤を判定し、その判定結果をＡＲ映像に重ね合わせる。ＡＲ映像の生成方法については後述する。

【0039】

表示部１２は、透過型ディスプレイであり、情報処理部１３により生成されたＡＲ映像を、作業者Ｍの視野を遮ることなく作業者Ｍの視野内に表示する。

【0040】

＜ＡＲグラス１０の機能構成＞
次に、ＡＲグラス１０の機能について説明する。図５は、ＡＲグラス１０の機能構成の一例を示す図である。

【0041】

図５に示すように、ＡＲグラス１０は、視野画像取得部８０と、通信部８２と、ＡＲ映像生成部８４と、判定部８６とを含んで構成される。視野画像取得部８０、通信部８２、ＡＲ映像生成部８４、および判定部８６の機能は、情報処理部１３内のＣＰＵ４１がＲＯＭ４３に保存されたプログラムを実行するソフトウェア処理によって実現することができる。なお、視野画像取得部８０、通信部８２、ＡＲ映像生成部８４、および判定部８６の機能の少なくとも一部は、専用の電子回路等のハードウェア処理によって実現されてもよい。

【0042】

視野画像取得部８０は、少なくとも１つの撮像部１１の撮像画像から、作業者Ｍの視野を示す視野画像を取得する。ある局面では、視野画像取得部８０は、複数の撮像部１１ａ～１１ｄの撮像画像と、作業者Ｍの視線に対する各撮像部１１の位置情報とに基づいて、視野画像を取得する。図２に示したように、視野画像には、作業者Ｍが結線作業を行う端子台５２の画像が含まれている。視野画像取得部８０は、取得した視野画像データを、通信部８２、ＡＲ映像生成部８４および判定部８６へ出力する。

【0043】

通信部８２は、通信網ＮＷを介した通信機能を有する。通信部８２は、視野画像取得部８０、ＡＲ映像生成部８４、および判定部８６との間でデータの授受が可能である。通信部８２は、視野画像取得部８０からの視野画像データをサーバ３０へ送信する。

【0044】

視野画像データは、サーバ３０において、作業者Ｍが結線作業を行う端子台５２を特定するために用いられる。サーバ３０は、視野画像の解析により端子台５２が特定されると、特定された端子台５２における各端子５４に接続すべき配線の情報を含んだ結線データを記憶装置３４から読み出す。サーバ３０は、読み出した結線データをＡＲグラス１０へ送信する。結線データでは、図３に示したように、端子５４毎に、端子５４を識別するための識別情報（端子番号）と、当該端子５４に接続すべき配線の色を表す配線色情報とが対応付けられている。

【0045】

通信部８２は、結線データをサーバ３０から受信すると、受信した結線データをＡＲ映像生成部８４へ送信する。

【0046】

ＡＲ映像生成部８４は、視野画像データおよび結線データを用いて、ＡＲ映像を生成する。具体的には、ＡＲ映像生成部８４は、最初に、視野画像に含まれる端子台５２の画像から、各端子５４の識別情報（端子番号）を検出する。ＡＲ映像生成部８４は、端子台５２の画像から、各端子５４の近傍に配置された基板シルク５６に記述された端子番号を読み取ることで、端子番号を検出することができる。

【0047】

次いで、ＡＲ映像生成部８４は、結線データ（図３参照）を参照することにより、各端子５４の識別情報（端子番号）から、各端子５４に接続すべき配線の色を特定する。そして、ＡＲ映像生成部８４は、特定された配線の色を示す画像を視野画像に重畳することにより、ＡＲ映像を生成する。

【0048】

図６は、ＡＲ映像生成部８４によって生成されるＡＲ映像の一例を示す図である。図６に示されるＡＲ映像は、図５に示した視野画像に対して、配線色情報を示す画像を重ね合わせたものである。図６の例では、各端子５４に隣接して配置される基板シルク５６が、対応する端子５４に接続すべき配線の色で色付けて表示される。

【0049】

具体的には、端子台番号「ＴＡ１」の端子台５２において、端子番号「１ＳＤＡ」の端子５４に対応する基板シルク５６は、当該端子５４に接続すべき配線の色である「黄色」で色付けられる。端子番号「１ＳＤＢ」の端子５４に対応する基板シルク５６は、当該端子５４に接続すべき配線の色である「白（黄）色」で色付けられる。端子番号「ＦＧ」の端子５４に対応する基板シルク５６は、当該端子５４に接続すべき配線の色である「緑色」で色付けられる。端子番号「２４ＶＡ」の端子５４に対応する基板シルク５６は、当該端子５４に接続すべき配線の色である「青色」で色付けられる。端子番号「２４Ｇ」の端子５４に対応する基板シルク５６は、当該端子５４に接続すべき配線の色である「白（青）色」で色付けられる。「白（黄）色」の基板シルク５６は、白色および黄色の２色で色付けられ、「白（青）色」の基板シルク５６は、白色および青色の２色で色付けられる。

【0050】

なお、ＡＲ映像においては、配線が接続されない端子５４に対応する基板シルク５８がマスク表示される。図６の例では、基板シルク５８が黒塗りで表示される。基板シルク５８に付される色は、黒色に限定されず、配線の色以外の色であってもよい。

【0051】

ＡＲ映像生成部８４は、生成されたＡＲ映像を表示部１２に出力する。表示部１２は、ＡＲ映像を表示する。作業者Ｍは、視野内に表示されたＡＲ映像によって、結線作業を行う端子台５２の各端子５４に接続すべき配線の色を視覚的に認識することができる。また、作業者Ｍは、マスク表示された基板シルク５８に対応する端子５４については、配線を接続しないことを認識することができる。

【0052】

これによると、結線作業時において、作業者Ｍは、結線データと端子台５２とを見比べながら作業を行う必要がなくなるため、作業者Ｍの負担を軽減することができる。その結果、結線作業の効率を向上させることが可能となる。

【0053】

なお、図６では、ＡＲ映像として、視野画像の各端子５４に隣接して配置される基板シルク５６を、対応する配線の色で色付けて表示する構成を示したが、色付けする部分は基板シルク５６に限定されない。例えば、各端子５４そのものを対応する配線の色で色付けて表示してもよい。

【0054】

図５に戻って、判定部８６は、結線作業時に視野画像取得部８０から送られる視野画像データに基づいて、結線が正しいか否かを判定する。具体的には、判定部８６は、視野画像を解析することにより、各端子５４に接続されている配線の色を検出する。次いで、判定部８６は、各端子５４について、結線データに示されている配線の色と、当該端子５４に接続されている配線の色とが一致しているか否かを判定する。結線データに示されている配線の色と、端子５４に接続されている配線の色とが一致する場合には、判定部８６は、当該端子５４の結線が正しいと判定する。一方、結線データに示されている配線の色と、端子５４に接続されている配線の色とが一致しない場合には、判定部８６は、当該端子５４の結線が誤っていると判定する。

【0055】

判定部８６は、結線の正誤の判定結果を示すデータを通信部８２およびＡＲ映像生成部８４へ送信する。通信部８２は、判定結果を示すデータをサーバ３０へ送信する。

【0056】

ＡＲ映像生成部８４は、判定部８６から判定結果を示すデータを受信すると、受信した判定結果を示す情報をＡＲ映像に含める。図７は、ＡＲ映像生成部８４によって生成されるＡＲ映像の一例を示す図である。図７に示されるＡＲ映像は、図６に示したＡＲ映像に対して、判定結果の情報を重ね合わせたものである。

【0057】

図７に示すように、各端子５４に隣接して配置される基板シルク５６に並べて、判定結果を示す判定結果画像６２が表示される。判定結果画像６２は、結線が正しいことを示す「ＯＫ」の文字、または、結線が誤りであることを示す「ＮＧ」の文字を含んでいる。図７の例では、端子番号「１ＳＤＡ」，「１ＳＤＢ」，「２４ＶＡ」の端子５４の各々は、端子５４に接続されている配線６０の色と、対応する基板シルク５６に付された配線色とが一致しているため、「ＯＫ」を示す判定結果画像６２が表示されている。一方、端子番号「ＦＧ」，「２４Ｇ」の端子５４の各々は、端子５４に接続されている配線６０の色と、対応する基板シルク５６に付された配線色とが異なるため、「ＮＧ」を示す判定結果画像６２が表示されている。

【0058】

上述したＡＲ映像生成部８４によるＡＲ映像の生成は、視野画像の取得に応じて、速やかにリアルタイム処理で実行される。したがって、作業者Ｍが端子台５２の１つの端子５４に配線６０を接続すると、この配線６０の色と結線データに示されている配線の色とに基づいて当該端子５４の結線の正誤が判定され、判定結果画像６２がＡＲ映像に表示される。これにより、作業者Ｍは、結線作業中にＡＲ映像から結線の正誤をリアルタイムで確認することができるため、結線ミスの発生を減らすことが可能となる。

【0059】

なお、図７では、各端子５４に隣接して配置される基板シルク５６に並べて判定結果画像６２を表示する構成を示したが、判定結果画像６２を表示する部分はこれに限定されるものではなく、端子５４と一対一に対応が取れていればよい。

【0060】

＜結線作業支援システムの制御構造＞
次に、結線作業支援システム１００の制御構造について説明する。

【0061】

図８は、結線作業支援システム１００が実行する処理の一部を表すフローチャートである。図８では、ＡＲグラス１０により実行される処理を左側に示し、サーバ３０により実行される処理を右側に示している。各ステップは、ＡＲグラス１０またはサーバ３０によるソフトウェア処理により実現されるが、ＡＲグラス１０またはサーバ３０内に作製されたハードウェア（電気回路）により実現されてもよい。以下、ステップをＳと略す。

【0062】

Ｓ０１において、ＡＲグラス１０は、少なくとも１つの撮像部１１により、作業者Ｍの視野方向の被写体を撮像する。

【0063】

Ｓ０２において、ＡＲグラス１０は、少なくとも１つの撮像部１１の撮像画像から、作業者Ｍの視野を示す視野画像（図２参照）を取得する。

【0064】

Ｓ０３において、ＡＲグラス１０は、Ｓ０２にて取得された視野画像データをサーバ３０へ送信する。

【0065】

サーバ３０は、Ｓ１１において、視野画像データをＡＲグラス１０から受信すると、Ｓ１２において、視野画像を解析することにより、作業者Ｍが結線作業を行う端子台５２を特定する。

【0066】

Ｓ１３において、サーバ３０は、特定された端子台５２の結線データ（図３参照）を記憶装置３４から読み出す。Ｓ１４において、サーバ３０は、読み出した結線データをＡＲグラス１０へ送信する。

【0067】

ＡＲグラス１０は、Ｓ０４において、端子台５２の結線データをサーバ３０から受信すると、Ｓ０５において、Ｓ０２で取得された視野画像データと、端子台５２の結線データとを用いて、ＡＲ映像（図６参照）を生成する。Ｓ０５では、ＡＲグラス１０は、結線データを参照することにより、各端子５４の識別情報（端子番号）から、各端子５４に接続すべき配線の色を特定し、特定された配線の色を示す情報を視野画像に重畳することにより、ＡＲ映像を生成する。

【0068】

Ｓ０６において、ＡＲグラス１０は、生成されたＡＲ映像を表示部１２に表示する。これにより、視野画像に含まれる各端子５４について、当該端子５４に接続すべき配線の色の情報が作業者Ｍに提供される。作業者Ｍは、提供された配線色情報を参照しながら、結線作業を行うことができる。

【0069】

Ｓ０７において、ＡＲグラス１０は、結線作業時に取得される視野画像に基づいて、各端子５４に接続されている配線の色を検出する。

【0070】

Ｓ０８において、ＡＲグラス１０は、端子５４毎に、結線データに示されている配線の色と、当該端子５４に接続されている配線の色とを比較することにより、結線が正しいか否かを判定する。Ｓ０８では、結線データに示されている配線の色と、端子５４に接続されている配線の色とが一致する場合、当該端子５４の結線が正しいと判定される。一方、結線データに示されている配線の色と、端子５４に接続されている配線の色とが一致しない場合には、当該端子５４の結線が誤っていると判定される。

【0071】

Ｓ０９において、ＡＲグラス１０は、Ｓ０５にて生成されたＡＲ映像に、判定結果の情報を重ね合わせて表示する。ＡＲ映像（図７参照）には、端子５４に配線６０が接続されたことに応じて、当該端子５４の結線の正誤を示す判定結果画像６２が表示される。

【0072】

Ｓ１０において、ＡＲグラス１０は、結線の正誤の判定結果を示すデータをサーバ３０へ送信する。

【0073】

サーバ３０は、Ｓ１５において、判定結果を示すデータをＡＲグラス１０から受信すると、Ｓ１６において、Ｓ１３にて読み出した結線データに対して、判定結果のデータを追加する。図９は、結線データの一例を示す図である。図９の結線データは、図３に示した結線データに、判定結果のデータを追加したものである。

【0074】

図９に示すように、結線データは、端子台５２を識別するための識別情報（端子台番号）と、端子５４を識別するための識別情報（端子番号）と、各端子５４に接続すべき配線の色を示す配線色情報と、各端子５４の結線の正誤の判定結果を示す情報とを含んでいる。すなわち、端子５４毎に、端子５４を識別するための識別情報（端子番号）と、当該端子５４に接続すべき配線の色を表す配線色情報と、結線の正誤の判定結果とが対応付けられている。

【0075】

Ｓ１７において、サーバ３０は、判定結果が追加された結線データ（図９参照）を記憶装置３４に格納する。記憶装置３４に記憶されている各端子台５２の結線データは、端子台５２に対する結線作業が行われたことに応じて、その結線の正誤の判定結果を含むように更新される。

【0076】

このようにしてサーバ３０の記憶装置３４には、結線の正誤の判定結果を含む結線データが格納される。作業者Ｍの結線作業を管理する管理者等は、記憶装置３４に格納された結線データから、結線作業の進捗状況を遠隔で容易に管理することができる。また、管理者は、結線作業の進捗状況に応じた的確な指示を作業者Ｍに出すことが可能となる。

【0077】

なお、上述した実施の形態では、ＡＲグラス１０が視野画像とサーバ３０からの結線データに基づいてＡＲ映像を生成して表示部１２に表示する構成について説明したが、サーバ３０が結線データとＡＲグラス１０からの視野画像データとに基づいてＡＲ映像を表示してＡＲグラス１０に送信し、ＡＲグラス１０が受信したＡＲ映像を表示部１２に表示する構成としてもよい。

【0078】

＜実施の形態の効果＞
以上説明したように、本実施の形態に係る結線作業支援システムによれば、ＡＲグラス１０は、作業者の視界内に、結線作業を行う端子に接続すべき配線の色を示す情報を重ね合わせたＡＲ映像を表示するように構成される。これにより、作業者はＡＲ映像から端子に接続すべき配線の色を視覚的に認識することができるため、作業者の負担を軽減することができる。その結果、結線作業の効率を向上させることが可能となる。

【0079】

さらに本実施の形態に係る結線作業支援システムにおいて、ＡＲグラス１０は、端子の結線の正誤の判定結果をＡＲ映像に重ね合わせて表示するように構成される。したがって、作業者は、結線作業中にＡＲ映像から結線の正誤をリアルタイムで確認することができるため、結線ミスの発生を減らすことが可能となる。

【0080】

また、本実施の形態に係る結線作業支援システムにおいて、サーバ３０は、結線の正誤の判定結果を示すデータをＡＲグラス１０から受信し、当該データを結線データに含めて記憶装置に格納するように構成される。これによると、結線作業を管理する管理者等は、記憶装置に格納された結線データから、結線作業の進捗状況を遠隔で容易に管理することができる。また、管理者は、結線作業の進捗状況に応じた的確な指示を作業者Ｍに出すことが可能となる。

【0081】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0082】

１０ ＡＲグラス、１１ 撮像部、１２ 表示部、１３ 情報処理部、３０ サーバ、３１，４１ ＣＰＵ、３２，４２ ＲＡＭ、３３，４３ ＲＯＭ、３４，４５ 記憶装置、３５，４６ 通信Ｉ／Ｆ、４４ 入出力Ｉ／Ｆ、５０ 基板、５２ 端子台、５４ 端子、５６，５８ 基板シルク、６０ 配線、６２ 判定結果、８０ 視野画像取得部、８２ 通信部、８４ ＡＲ映像生成部、８６ 判定部、１００ 結線作業支援システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】