IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社鈴和の特許一覧

<>
  • 特許-補助装置、及び、方法 図1
  • 特許-補助装置、及び、方法 図2
  • 特許-補助装置、及び、方法 図3
  • 特許-補助装置、及び、方法 図4
  • 特許-補助装置、及び、方法 図5
  • 特許-補助装置、及び、方法 図6
  • 特許-補助装置、及び、方法 図7
  • 特許-補助装置、及び、方法 図8
  • 特許-補助装置、及び、方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-09-08
(45)【発行日】2025-09-17
(54)【発明の名称】補助装置、及び、方法
(51)【国際特許分類】
   H02G 1/06 20060101AFI20250909BHJP
   G06T 11/80 20060101ALI20250909BHJP
【FI】
H02G1/06
G06T11/80 A
【請求項の数】 8
(21)【出願番号】P 2025021294
(22)【出願日】2025-02-13
【審査請求日】2025-02-13
【早期審査対象出願】
(73)【特許権者】
【識別番号】525053963
【氏名又は名称】株式会社鈴和
(74)【代理人】
【識別番号】110003535
【氏名又は名称】スプリング弁理士法人
(72)【発明者】
【氏名】鈴木 英文
【審査官】遠藤 尊志
(56)【参考文献】
【文献】特開2012-152016(JP,A)
【文献】米国特許出願公開第2019/0341722(US,A1)
【文献】特開2019-149085(JP,A)
【文献】特開2015-061339(JP,A)
【文献】国際公開第2015/001611(WO,A1)
【文献】特開2017-175738(JP,A)
【文献】特開2024-104819(JP,A)
【文献】米国特許出願公開第2023/0111247(US,A1)
【文献】欧州特許出願公開第04116868(EP,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H02G 1/06
G06T 11/80
(57)【特許請求の範囲】
【請求項1】
対象機器の端子に、前記対象機器の試験を実施するための試験器から延びるケーブルを接続して試験回路を形成する作業に用いられる補助装置であって、
撮像部と、前記撮像部により取得された視覚データを表示するための表示部と、ガイド生成部と、を備え、
前記ガイド生成部は、前記対象機器、及び/又は、前記試験器のマニュアルに記録された、前記試験回路の形成のための前記端子と前記ケーブルとの接続情報に基づき、前記端子に対する前記ケーブルの接続のための案内情報を生成し、前記案内情報を前記表示部に表示された前記端子を含む第1の視覚データに重なるように表示し、
前記ガイド生成部は、事前に記憶されたリストに基づき前記対象機器、及び/又は、前記試験回路の選択を受け付けるためのインタフェース画面を前記表示部に表示してユーザによる選択を促し、前記ユーザにより選択された前記対象機器、及び/又は、前記試験回路ごとに記憶された前記接続情報に基づき、前記案内情報を生成する、補助装置。
【請求項2】
ケーブル判定部を備え、
前記ケーブル判定部は、前記端子と、前記端子と接続状態にある前記ケーブルとを含む第2の視覚データ、及び、前記接続情報に基づき、接続の正誤情報を生成する、請求項1に記載の補助装置。
【請求項3】
前記接続情報は、前記試験回路の形成のための作業手順を含み、
前記ガイド生成部は、前記正誤情報に基づき、新たな前記案内情報を生成し、前記第1の視覚データ、及び/又は、第2の視覚データに重なるように表示する、請求項2に記載の補助装置。
【請求項4】
前記正誤情報が、前記ケーブルが誤った前記端子に接続されていることを含む場合、前記新たな案内情報は、前記ケーブルの本来の接続先の前記端子を指示する情報、又は、前記ケーブルの接続の解除を指示する情報を含む、請求項3に記載の補助装置。
【請求項5】
前記ケーブル判定部は、ラベル付けされた前記ケーブルの画像から構成された訓練データにより機械学習されたケーブル分類モデルを含み、
前記試験器から延びる前記ケーブルは、少なくとも、全体又は一部がそれぞれ異なる色で色分けされている請求項2に記載の補助装置。
【請求項6】
トラッキング部を備え、
前記トラッキング部は、映像である前記視覚データに含まれる前記端子、及び/又は、前記ケーブルの前記映像における位置情報を生成し、
前記ガイド生成部は、前記位置情報に基づき、前記映像に重なるように前記案内情報を前記表示部に表示する、請求項1に記載の補助装置。
【請求項7】
前記ガイド生成部は、前記接続情報に基づき手順リストを生成して、前記表示部に表示させ、
前記正誤情報が、前記ケーブルが正しい前記端子に接続されていることを含む場合、前記手順リストにおける対応する手順が完了したことを示す情報を前記手順リストに追加表示させる、請求項3に記載の補助装置。
【請求項8】
請求項1に記載の補助装置を用いて、対象機器の端子に、前記対象機器の試験を実施するための試験器から延びるケーブルを接続して試験回路を形成する作業を補助するための方法であって、
前記対象機器、及び/又は、前記試験器のマニュアルに記録された、前記試験回路の形成のための前記端子と前記ケーブルとの接続情報に基づき、前記端子に対する前記ケーブルの接続のための案内情報を生成することと、
前記案内情報を前記補助装置の表示部に表示された前記端子を含む第1の視覚データに重なるように表示することと、を含み、
前記案内情報は、事前に記憶されたリストに基づき前記対象機器、及び/又は、前記試験回路の選択を受け付けるためのインタフェース画面を前記表示部に表示してユーザによる選択を促し、前記ユーザにより選択された前記対象機器、及び/又は、前記試験回路ごとに記憶された前記接続情報に基づき生成される、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、補助装置、及び、方法に関する。
【背景技術】
【0002】
太陽光発電設備等に用いられる電気設備等のメンテナンス等のために、当該電気設備が備える端子に、試験器のケーブルを接続して試験回路を形成し、各種評価試験が実施されることがある。この際、複数の端子に対して、それぞれ、試験回路に応じて正しいケーブルを接続する必要がある。この作業には熟練の技術が必要とされ、経験の浅い作業員でもこの作業が可能となるよう補助すべく、例えば、特許文献1に記載される補助技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-171184号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の補助技術は、ケーブルの接続先の端子が適正か否かを、作業員に代わって、又は、作業員と共に(ダブルチェック的に)確認する機能に主眼が置かれ、作業性の向上に資するものではなかった。一般に、試験器には、形成すべき試験回路に応じて端子とケーブルとの対応関係や作業手順を記したマニュアルが付属する。しかし、対象機器ごとに端子の配列や配置箇所が異なる場合があり、経験が十分でない作業員は、オンサイトでマニュアルと端子とを比較しながら多数のケーブルを接続してく必要があり、作業には多くの時間が必要だった。昨今の理系人材の不足や技能承継の担い手不足に鑑みると、属人的な技能に依存しない、作業の効率化技術が求められている。本開示は、上記従来技術の少なくとも1つを解決することを課題とする。
【課題を解決するための手段】
【0005】
本開示の第1の補助装置は、対象機器の端子に、前記対象機器の試験を実施するための試験器から延びるケーブルを接続して試験回路を形成する作業に用いられる補助装置であって、撮像部と、前記撮像部により取得された視覚データを表示するための表示部と、ガイド生成部と、を備え、前記ガイド生成部は、前記対象機器、及び/又は、前記試験器のマニュアルに記録された、前記試験回路の形成のための前記端子と前記ケーブルとの接続情報に基づき、前記端子に対する前記ケーブルの接続のための案内情報を生成し、前記案内情報を前記表示部に表示された前記端子を含む第1の視覚データに重なるように表示する、補助装置である。
【発明の効果】
【0006】
本開示によれば、上記従来技術の少なくとも1つが解決され得る。
【図面の簡単な説明】
【0007】
図1】補助装置のオンサイトにおける運用の説明図である。
図2】補助装置の機能ブロック図である。
図3】データベースに記憶された接続情報の一例を表す図である。
図4】携帯端末の表示部にリアルタイム表示された視覚データに重ねて表示される案内情報の一例を表す図である。
図5】視覚データに接続先の端子が含まれていない場合の案内情報を表す図である。
図6】携帯端末の表示部にリアルタイム表示された視覚データに重ねて表示される案内情報の他の例を表す図である。
図7】携帯端末の表示部にリアルタイム表示された視覚データに重ねて表示される案内情報の他の例を表す図である。
図8】補助装置を用いたケーブル接続の手順を示すフロー図である。
図9】携帯端末の表示部に表示されたインタフェース画面の一例を表す図である。
【発明を実施するための形態】
【0008】
本開示の第1の補助装置は、対象機器の端子に、前記対象機器の試験を実施するための試験器から延びるケーブルを接続して試験回路を形成する作業に用いられる補助装置であって、撮像部と、前記撮像部により取得された視覚データを表示するための表示部と、ガイド生成部と、を備え、前記ガイド生成部は、前記対象機器、及び/又は、前記試験器のマニュアルに記録された、前記試験回路の形成のための前記端子と前記ケーブルとの接続情報に基づき、前記端子に対する前記ケーブルの接続のための案内情報を生成し、前記案内情報を前記表示部に表示された前記端子を含む第1の視覚データに重なるように表示する、補助装置である。
【0009】
第1の補助装置の特徴点の一つは、ガイド生成部を備え、このガイド生成部が、端子に対するケーブルの接続のための案内情報を生成すると共に、当該案内情報を撮像部により取得された端子を含む視覚データに重なるように表示する点である。また、この案内情報は、対象機器、及び/又は、試験器のマニュアルに基づき生成される。
【0010】
第1の補助装置を用いると、作業員は対象機器の端子を撮像しながら、表示部に表示される視覚データにオーバレイ表示される案内情報を参照することで、ケーブルの接続作業を円滑に行うことができる。この案内情報は、対象機器、及び/又は、試験器のマニュアルに基づいて生成されるため、作業員はオンサイトでマニュアルを確認する必要がなく、業務経験が十分でない場合でも、スムーズかつ正確に作業を遂行できる。
【0011】
本開示の第2の補助装置は、第1の補助装置において、ケーブル判定部を備え、前記ケーブル判定部は、前記端子と、前記端子と接続状態にある前記ケーブルとを含む第2の視覚データ、及び、前記接続情報に基づき、接続の正誤情報を生成する、補助装置である。
【0012】
第2の補助装置のケーブル判定部は、接続後のケーブルを含む視覚データ(第2の視覚データ)に基づき、ケーブル接続の正誤情報を生成する。ケーブル接続の正誤は、従来は作業員により確認されていた。補助装置によって生成される正誤情報は、作業の正確性の向上や、事故防止のために使用できる。
【0013】
本開示の第3の補助装置は、第2の補助装置において、前記接続情報は、前記試験回路の形成のための作業手順を含み、前記ガイド生成部は、前記正誤情報に基づき、新たな前記案内情報を生成し、前記第1の視覚データ、及び/又は、第2の視覚データに重なるように表示する、補助装置である。
【0014】
第3の補助装置のガイド生成部が生成する新たな案内情報は、ケーブル判定部により生成された正誤情報に基づく。作業者は、接続したケーブルを含む視覚データに重ねて表示される正誤情報に基づく案内情報を参照し、自身の作業の正確性を随時確認しながら作業を進めることができ、よりスムーズかつ正確に作業を遂行できる。
【0015】
本開示の第4の補助装置は、第3の補助装置において、前記正誤情報が、前記ケーブルが誤った前記端子に接続されていることを含む場合、前記新たな案内情報は、前記ケーブルの本来の接続先の前記端子を指示する情報、又は、前記ケーブルの接続の解除を指示する情報を含む、補助装置である。
【0016】
誤った順にケーブルを接続したり、誤った端子にケーブルが接続されたまま試験を実施したりすると、対象機器や試験器の故障や、発火等の事故が起きることがある。第4の補助装置のガイド生成部は、作業手順に誤りがある、例えば、ケーブルの接続順序や接続先の端子に誤りがある場合、本来の接続順、本来の接続先、及び、ケーブルの解除等を案内する。作業者はこの案内情報に基づき適切な故障、事故防止のための対処をとることがきる。この新たな案内情報の内容は作業手順に基づき決定され得る。例えば、直近のタイミングで接続されたケーブルが、接続されるべきケーブルとしては正しくても、接続先が誤りである場合、案内情報には、正しい接続先を案内する情報が含まれてよい。一方、直近のタイミングで接続されたケーブルが、未だ接続されるべきケーブルでない場合、すなわち、本来は当該ケーブルよりも先に接続されるべきケーブルがあるような場合、ケーブルの解除を案内する情報が含まれてよい。ケーブルの接続情報に基づき案内情報が決定されることは、より正確な作業の実施に資する。
【0017】
本開示の第5の補助装置は、第1~4のいずれかの補助装置において、前記ガイド生成部は、事前に記憶されたリストに基づき前記対象機器、及び/又は、前記試験回路の選択を受け付けるためのインタフェース画面を前記表示部に表示してユーザによる選択を促し、前記ユーザにより選択された前記対象機器、及び/又は、前記試験回路ごとに記憶された前記接続情報に基づき、前記案内情報を生成する、補助装置である。
【0018】
第5の補助装置のガイド生成部は、ユーザ(作業者)から対象機器、及び/又は、試験回路の選択を受け付けるためのインタフェース画面を生成して表示部に表示させる。この選択表示は事前に記憶されたリストに基づくものであり、接続情報はリストの各項目に紐付けて事前記憶されている。作業員の選択を受け付けると、選択された対象機器、及び/又は、試験回路に対応する接続情報が読みだされ、これに基づき案内情報が生成される。このように構成されたことで、ガイド生成部の演算コストが低減し、補助装置の処理効率が向上する。補助装置に要求されるハードウェア要件を緩和し、限られたスペックでもスムーズな動作が可能となる。とくに、補助装置がオンサイトで用いられる携帯端末である場合に好ましい。
【0019】
本開示の第6の補助装置は、第2の補助装置において、前記ケーブル判定部は、ラベル付けされた前記ケーブルの画像から構成された訓練データにより機械学習されたケーブル分類モデルを含み、前記試験器から延びる前記ケーブルは、少なくとも、全体又は一部がそれぞれ異なる色で色分けされている補助装置である。
【0020】
複数のケーブルにおいて、全体又は一部がそれぞれ異なる色で色分けされていることで、ケーブル分類モデルによるケーブルの識別がより正確となる。また、異なる色に色分けされているケーブルを前提とすることにより、特徴抽出が効率化されるため、ケーブル分類モデルの演算コストが低減する。これにより、補助装置の処理効率が向上する。補助装置に要求されるハードウェア要件を緩和し、限られたスペックでもスムーズな動作が可能となる。とくに、補助装置がオンサイトで用いられる携帯端末である場合に好ましい。
【0021】
本開示の第7の補助装置は、第1の補助装置において、トラッキング部を備え、前記トラッキング部は、映像である前記視覚データに含まれる前記端子、及び/又は、前記ケーブルの前記映像における位置情報を生成し、前記ガイド生成部は、前記位置情報に基づき、前記映像に重なるように前記案内情報を前記表示部に表示する、補助装置である。
【0022】
トラッキング部の機能により、案内情報は、リアルタイムの視覚データにオーバレイ表示される。作業者は、表示部のみを見ながら作業することもできるため、補助装置は用途・使用場所等に応じて、ウェアラブル端末等、多様なフォームファクタに対応可能となる。
【0023】
本開示の第8の補助装置は、第3の補助装置において、前記ガイド生成部は、前記接続情報に基づき手順リストを生成して、前記表示部に表示させ、前記正誤情報が、前記ケーブルが正しい前記端子に接続されていることを含む場合、前記手順リストにおける対応する手順が完了したことを示す情報を前記手順リストに追加表示させる、補助装置である。
【0024】
第8の補助装置のガイド生成部により表示される手順リストは、作業者のスムーズな作業に資する。更に、完了した手順にチェックマーク等が追加表示されることで、次の作業、及び、作業の全体進捗も確認でき、更に正確、かつ、スムーズな作業に資する。
【0025】
本開示の第1の方法は、第1の補助装置を用いて、対象機器の端子に、前記対象機器の試験を実施するための試験器から延びるケーブルを接続して試験回路を形成する作業を実施するための方法であって、前記端子を含む視覚データを前記撮像部により取得することと、前記表示部に表示された前記視覚データに重なるように表示された前記案内情報に基づき、前記ケーブルを前記端子に接続することを含む、方法である。
【0026】
本開示の方法によれば、第1の補助装置を用いるため、作業員はオンサイトでマニュアルを確認する必要がなく、業務経験が十分でない場合でも、スムーズかつ正確に作業を遂行できる。
【0027】
以下、添付図面を参照しながら実施形態について詳細に説明する。明細書には開示の技術的思想を具体化するための具体的な材料や方法が例示されている。本開示の技術的思想は、以下の具体例に特定されるものではない。本開示の技術的思想は、特許請求の範囲に記載された事項の範囲内において、種々の変更を加えることができる。特に、図面は模式的なものであり、現実のものとは異なることに留意すべきである。
【0028】
図1は、実施例1の補助装置のオンサイトにおける運用の説明図である。補助装置10は、携帯端末10Aと、本体10Bとを備え、携帯端末10Aと、本体10Bとは、ネットワークを介して接続されており、本例では、本体10Bは、携帯端末10Aと離れた場所に設置され、インターネットを介して接続され、データ等の送受信が可能に構成されている。
【0029】
対象機器20は、試験器30による試験の対象となる機器である。本例では、対象機器20は、太陽光発電設備に含まれる地絡方向継電器である。なお、対象機器20は上記に限定されない。試験器を接続して試験回路を形成し、性能確認、特性測定、メンテナンス、及び、校正等を目的とした試験を行うべき電気設備であればよい。このような電気設備としては、例えば、地絡方向継電器以外の継電器、遮断器、変圧器、無停電電源装置、インバータ、同期発電機、負荷開閉器、バッテリーシステム、パワーコンディショナ、調相機、分散型電源、コンデンサバンク、リアクトル、絶縁監視装置、及び、電力計等が挙げられる。いずれの対象機器に対しても、試験器のケーブルを接続して試験回路を形成し、試験が実施される。実施例の補助装置はこのような対象機器の試験回路形成作業の補助に使用され得る。
【0030】
対象機器20は複数の端子22を備える。対象機器20の稼働中には、端子22には、それぞれ必要な運用ケーブル(不図示)が接続される。一方、試験回路の形成の際には、運用ケーブルと共に、又は、運用ケーブルに代えて、試験用の一括ケーブル32が接続される。一括ケーブル32は、それぞれ機能の異なる複数のケーブルを束ねて集約したものである。一括ケーブル32は、複数のクリップ32Aを備える。クリップ32Aはそれぞれ、異なる機能を有するケーブル32Cの終端に配置される。クリップ32Aは、それぞれ対応する端子22に接続される。クリップ32Aの近傍にはそれぞれ、ケーブルラベル32Bが付されている。ケーブルラベル32Bは、一括ケーブル32に含まれるそれぞれのケーブル32Cの識別のために用いられる。
【0031】
一方、端子22にも、それぞれ端子ラベル24が付与されている。特定の試験回路を形成する際の接続されるべき端子22と、ケーブル32Cとの関係は、ケーブルラベル32Bと、端子ラベル24との対応関係として、対象機器20のマニュアルに記載、又は、記録されている。作業者はこのマニュアルを参照することで、正しく両者を接続して、試験回路を形成する。
【0032】
試験器30は、対象機器20の試験に使用される典型的には可搬型の機器である。本例では試験器30は、位相特性試験装置である。位相特性試験装置は、地絡方向継電器に所定の電気的な信号を与え、地絡方向継電器の各種機能が正常に働くかをチェックするための機器である。なお、試験器は上記に限定されず、対象機器とケーブル接続して、対象機器の電気的な試験のために使用されるものであればよい。このような試験器としては、例えば、リレーテスタ、絶縁抵抗計、接地抵抗計、耐電圧試験装置、回路インジェクタ、変圧比試験器、部分放電検出器、電力品質分析装置、バッテリ試験器、及び、同期試験器等が挙げられる。いずれの試験器も、対象機器とケーブルにより接続され、形成した試験回路を形成して、試験を実施するために用いられる。
【0033】
試験器30は、各種試験を実施するためのスイッチ類30A、ノブ30B(又はスライダー)及び、ディスプレイ30C等を備える。また、試験器30は、複数のケーブル集約して接続するためのターミナル30Eを備える。ターミナル30Eには、複数のケーブル32Cを束ねて集約した一括ケーブル32が接続される。一括ケーブル32の他端は、複数のケーブル32Cから構成されており、端部(終端)には、クリップ32Aが配置され、端子22に接続される。
【0034】
ケーブル32Cには、それぞれケーブルラベル32Bが付されており、作業者はケーブルラベル32Bによってケーブル32Cをそれぞれ判別できる。本例では、各ケーブルは導体を絶縁層、及び、保護層で被覆したものであり、最外層の保護層がそれぞれ異なる色で色分けされている。色分けされたケーブルは後述するようにケーブル判定部50による判定をより正確にする。一方、ケーブルの全体が色分けされている必要はなく、一部が色分けされていれば同様の効果が得られる。例えば、ケーブルラベル32Bの色をそれぞれ異なる色にすることも、ケーブルの色分けに該当する。また、先端のクリップ、又はその被覆層をそれぞれ異なる色にする方法も採用できる。
【0035】
対象機器20、及び/又は、試験器30のマニュアルには、各種試験を実施するための方法が記載又は記録されている。これを本明細書では、接続情報という。接続情報には、試験回路図、試験回路形成のための端子22とケーブル32Cとの対応関係、及び、作業手順等が含まれ得る。作業手順は、なすべき操作(作業項目)をなすべき順に並べたものである。作業項目としては、例えば、特定の端子22から運用ケーブルを外す操作、及び、特定の端子22に特定のケーブル32Cを接続する操作等が含まれ得る。熟練作業者は、試験等の種類に応じて、適切な手順で、適切な対応関係で端子22とケーブル32Cとを接続する事ができる。一方で、経験が不十分な作業者は、試験回路の形成に際して、作業現場でマニュアルを参照しながら作業を進めることが多く、作業の長時間化の要因の一つとなっていた。
【0036】
試験器30は、対象機器20の位相特性試験を行うための試験回路形成のために接続される。試験の種類は、対象機器や目的に応じて種々変更され得る。このような試験としては、例えば、絶縁抵抗試験、耐電圧試験、接地抵抗試験、及び、変圧比試験等の電気特性試験;動作電流・電圧試験、時間特性試験、トリップ連動試験、及び、位相特性試験等の保護装置関連試験;通信試験、及び、プロトコル試験等の信号・通信関連の試験;容量試験、内部抵抗試験、及び、放電試験等のバッテリ関連試験等が挙げられる。
【0037】
補助装置10の携帯端末10Aはスマートフォン端末、及び、タブレット端末等である。携帯端末10Aは、プロセッサ、メモリ、カメラ、及び、タッチセンシティブディスプレイを備え、更に、本体10Bとの通信機能を備える。一方、本体10Bは、プロセッサとメモリとを備えるコンピュータである。なお、本例においては、補助装置10は、携帯端末10Aと本体10Bとを備える。しかし補助装置はこの形態に限定されず、携帯端末10Aと本体10Bとの両方の機能を備える可搬型の機器1台で構成されてもよい。
【0038】
次に、補助装置10の各部の機能について詳述する。図2は、補助装置10の機能ブロック図である。携帯端末10Aは、制御部12A、表示部12B、撮像部12C、及び、通信部12Eを備える。
【0039】
制御部12Aは、携帯端末10Aの全体を制御する。制御部12Aの機能はプロセッサ等により実現される。また、携帯端末10Aは、図示しない記憶部を備えてもよい。記憶部は、プログラムや必要なデータの保存を行う。記憶部の機能は、メモリ等によって実現される。
【0040】
表示部12Bは、撮像部12Cにより得られた視覚データを表示すると共に、後述するガイド生成部44により生成される案内情報やインタフェース画面を表示するためのタッチセンシティブなディスプレイである。ディスプレイの表示方式、及び、タッチ技術は特に限定されず、公知のものを適宜組み合わせて採用可能である。
【0041】
表示形式としては、例えば、液晶ディスプレイ、有機ELディスプレイ、及び、マイクロLEDディスプレイ等が挙げられる。タッチ技術としては、静電容量方式、抵抗膜方式、赤外線方式、及び、光学方式等が挙げられる。タッチセンシティブディスプレイを採用することで、表示部12Bは作業者からの入力を受け付ける入力デバイスとしても機能する。
【0042】
撮像部12Cは、対象機器20の端子22等の視覚データを取得するための装置であり、本例ではカメラである。撮像部12Cは、対象機器20の端子22等を含む視覚データを取得できれば、カメラ以外であってもよいがイメージセンサを備えることが好ましい。また、イメージセンサに加えて、深度センサを更に備えていてもよい。
【0043】
撮像部12Cにより取得される視覚データは、静止画像であっても動画(映像)であってもよい。視覚データが映像であると、案内情報をオーバレイ表示したときの作業者の理解度がより高まりやすい。
【0044】
通信部12Eは、携帯端末10Aと本体10Bとのネットワーク通信を担うハードウェア及びソフトウェアにより実現される機能である。ハードウェアとしては、ネットワークインターフェースとして、「Wi-Fi」モジュール、セルラー通信モジュール、及び、「Bluetooth」モジュール等を備える。更に、これらのハードウェアに対応するドライバプログラム、及び、通信プロトコルスタック等のソフトウェアを備える。通信部12Eは、本体との間のリアルタイムのデータ送受信を担う。
【0045】
本体10Bは、プロセッサ及びメモリを備えるコンピュータであり、更に各機能を実現するためのソフトウェアを含んで構成される。まず、制御部58は、プロセッサにより実現され、補助装置10全体の動作を統括的に制御する機能を有する。記憶部56は、補助装置10の動作に必要な各種情報やデータ、プログラムを格納するための部位であり、例えば接続情報や案内情報の生成に用いられる関連データを保持する。また、通信部54は、対象機器20、試験器30、携帯端末10A、及び/又は、外部装置とのデータの送受信を行う機能を備え、補助装置10の動作に必要な情報の取得及び伝達を可能とする。
【0046】
視覚データ取得部40は、メモリに記憶されたプログラムをプロセッサが実行することにより実現する機能であり、撮像部12Cによって取得された視覚データを受信して、記憶部56に記憶する。この通信は、通信部54により行われ、通信部54の機能は、携帯端末10Aの通信部12Eの機能と同様である。
【0047】
端子検出部42は、メモリに記憶されたプログラムをプロセッサが実行することにより実現する機能であり、取得された視覚データに含まれる対象機器20の端子22を検出する。視覚データから端子22を検出する方法は特に限定されないが、視覚データから公知の物体検出アルゴリズムを用いて端子22を検出する方法が挙げられる。
【0048】
一形態として、端子検出部42は、視覚データに含まれる端子を検出し、判別するための端子分類モデルを備える。端子分類モデルの基本構造としては、「YOLO」、及び、「Faster R-CNN」等を組み合わせることができる。基本構造として上記モデルを用いる場合、ラベル付けされた端子22の画像データセットを用いて、事前に機械学習を実施する。
【0049】
また、端子検出部42は、物体検出アルゴリズム以外にも「Canny」等のエッジ検出アルゴリズムを用いて、端子22を検出することもできる。なお、視覚データが映像である場合、フレーム分割して、上記の方法によって各画像における端子22を検出すればよい。
【0050】
端子検出部42は更に、端子ラベル24を検出し、端子ラベル24に記載された情報を読み取って端子を判別してもよい。端子ラベル24の読み取りには、物体検出アルゴリズムによって切り取られた端子22の領域から端子ラベル24が含まれる領域を切り出し、当該領域について「Tessaeract」等のOCRライブラリを用いて文字を読み取ることにより実現できる。なお、端子22の領域から端子ラベル24が含まれる切り取る方法は特に限定されないが、端子22の検出と同様の物体検出アルゴリズムを用いればよい。
【0051】
なお、端子検出部42は、端子ラベル24から読み取った文字列について、対象機器20の種類ごとに事前に記憶されたリストを参照して、特定の文字列と一致しているかを確認してもよい。つまり、OCRの検出精度を事前に記憶されたリストにより補うよう構成されていてもよい。一般に、対象機器20が備える端子ラベル24は対象機器20のマニュアルに記載又は記録されている。上記リストは、対象機器20のマニュアル基づいて事前に準備され、記憶部56に記憶されている。端子ラベル24から読み取った文字列をリストと比較することで、より正確な端子ラベル24の読み取りが可能となる。読み取った文字列がリストに存在しない場合、読み取り失敗として、再度、端子ラベル24の読み取りを行うよう構成してもよい。
【0052】
端子検出部42の端子分類モデルのトレーニングの手順としては、まず、訓練データとして、様々な形状、及び、構造の端子を撮影した視覚データを収集する。収集される視覚データには、端子の種類、色、ラベル、及び、位置関係等が含まれる。また、端子が接続された状態、未接続の状態、更には異なる背景環境下で撮影されたデータも含め、網羅的にデータセットを構築する。これにより、端子検出部42の判別精度を高めるための多様な訓練データが確保される。
【0053】
端子検出部42は、入力された視覚データから端子の特徴を学習するため、上記データセットを用いて訓練される。この訓練においては、端子の形状、色、寸法、及び、配置パターン等の特徴が抽出され、分類モデルが生成される。具体的には、教師あり学習が適用され、各端子に対する正解ラベルと視覚データを対応付けることで訓練を行う。学習後、端子検出部42は未知の視覚データから端子を高精度に検出・識別することが可能となる。
【0054】
トラッキング部46は、メモリに記憶されたプログラムをプロセッサが実行することにより実現する機能であり、取得された視覚データにおいて識別された端子22の位置を追跡する。トラッキング部46は、端子検出部42と協奏的に働く。具体的な一例として、撮像部12Cによって取得された映像がフレーム分割されると、そのうちの1フレームから、端子検出部42の物体検出アルゴリズムによって、端子22の領域が抽出される。トラッキング部46は、検出された端子22の移動を追跡する。一度、トラッキング部46による追跡が開始された跡は、トラッキングが失敗するか、又は、視覚データから当該端子22が見えなくなった場合以外には、端子検出部42による端子22の検出は必要ない。
【0055】
なお、トラッキング部46は、同様の手順により、後述するケーブル検出部48により検出されたケーブル32Cの移動を追跡するよう構成することが好ましい。トラッキング部46は、視覚データにおける端子22、及び、ケーブル32Cの位置情報を生成し(視覚データが映像であればフレームごと、又は、所定の間隔のフレームごとに位置情報を生成し)、ガイド生成部44に渡す。これにより、ガイド生成部44は、視覚データに重なるように案内情報を表示することがより容易となる。
【0056】
トラッキングには、「Optical Flow」、「Kalman Filter」、「Deep SORT」等の公知のトラッキングアルゴリズムが使用できる。なお、携帯端末10Aを早く移動させる等した場合、トラッキングが失敗することがあるが、この場合は、トラッキングの成否にかかわらず、一定期間ごとに端子検出部42による物体検出を実施するよう構成してもよい。端子検出部42とトラッキング部46とを備えることで、案内表示のリアルタイムなオーバレイ表示が可能となる。
【0057】
ガイド生成部44は、メモリに記憶されたプログラムをプロセッサが実行することにより実現する機能であり、対象機器20、及び/又は、試験器30のマニュアルに記録された接続情報に基づき、作業手順に沿った案内情報を生成し、案内情報を表示部12Bに表示された端子22を含む視覚データに重なるように表示する。
【0058】
対象機器20、及び/又は、試験器30のマニュアルには、試験回路形成のための端子22とケーブル32Cの接続情報が記載又は記録されている。接続情報は、対象機器20、試験器30、及び、試験回路の種類ごとに、予め整理され、データベース化されていることが好ましい。なお、対象機器20、及び、試験回路の種類ごとに整理されていても、ほぼ同様の効果が得られる。試験器30は、メーカによってそれぞれ異なる仕様とされることが多いが、試験回路が特定されれば、異なる試験器30を用いる場合でも、作業手順は同様であることが多いからである。
【0059】
図3は、データベースに記憶された接続情報の一例を表す図である。接続情報60には、端子22とケーブル32Cとの対応関係、及び、作業手順等が含まれる。作業手順は、「継電器のP1、P2端子の接続を外す」(手順60A)「継電器のa,c端子の接続を外す」(手順60B)という、端子22に接続されている運用ケーブルを取り外す作業や、「継電器のP1端子にP1ケーブルを接続する」(手順60C)「継電器のP2端子にP2ケーブルを接続する」(手順60D)という端子22にケーブル32Cを接続する作業が含まれる。接続情報60は、対象機器20、及び/又は、試験器30のマニュアルに基づき自動で生成されてもよいし、手動(すなわち作業者)によって生成されてもよい。接続情報60は予め生成されて、データベース化されて、記憶部56に記憶される。
【0060】
ガイド生成部44が生成する作業手順に沿った「案内情報」は、接続情報に基づき生成される。図4は、携帯端末10Aの表示部12Bにリアルタイム表示された視覚データ66に重ねて表示される案内情報の一例を表す図である。案内情報64Aには、まず特定の端子22に対する、特定のケーブル32Cの接続を案内する情報が含まれる。この案内情報64Aには、特定の端子22を指し示すカーソル画像62A、及び、この端子22に接続されるべきケーブル32Cの種類を表示するテキスト情報62B等が含まれる。後述する接続状態の確認がとれるまで、案内情報64Aは表示部12Bに表示されていてよい。
【0061】
カーソル画像62Aは、視覚データ66に接続先の端子22が含まれる場合にのみ表示される形態としてもよい。図5は、視覚データ66に接続先の端子22が含まれていない場合の案内情報64Bを表す図である。案内情報64Bには、テキスト情報62Bと、カーソル画像62Cとが含まれる。この場合、視覚データ66には、接続先の端子22が含まれないため、カーソル画像62Cは、画面外を指示している。すなわち、携帯端末10Aを左方向に移動させるべきことを示している。
【0062】
また、案内情報は、ケーブル32Cが誤った端子22に接続されている場合に、これを案内する情報が含まれてもよい。図6は、携帯端末10Aの表示部12Bにリアルタイム表示された視覚データ66に重ねて表示される案内情報の他の例を表す図である。案内情報64Cには、誤って接続されたケーブル32Cを指し示す枠画像62E、ケーブル32Cの本来の接続先の端子22を指し示すカーソル画像62F、接続されたケーブル32Cの取り外し(接続の解除)、又は、移動を指示するテキスト情報62G等が含まれる。
【0063】
また、案内情報は更に、作業手順(手順リスト)、及び、手順リストにおける所定の手順が完了したことを示す情報を含んでもよい。図7は、携帯端末10Aの表示部12Bにリアルタイム表示された視覚データ66に重ねて表示される案内情報の他の例を表す図である。案内情報64Eは、ガイド生成部44により生成された手順リスト62Hと、チェック及び取消線からなる、すでに完了した手順を表す情報62Jとを含む。手順リスト62Hは、接続情報に基づき生成され得る。また、すでに完了した手順を表す情報62Jは、後述するケーブル判定部50が生成する正誤情報に基づき生成され得る。
【0064】
案内情報に含まれる画像、及び、テキスト情報は、自動又は手動にて予め生成され、作業手順(手順リスト)、視覚データの状態(対象端子、ケーブルが画像内に含まれるか等)、作業の正誤(正しい場合、誤っている場合)により場合分けされて、それぞれの条件に紐付けられた状態で、記憶部56に記憶されることが好ましい。
【0065】
図2に戻り、ケーブル検出部48は、メモリに記憶されたプログラムをプロセッサが実行することにより実現する機能であり、取得された視覚データに含まれる試験器30のケーブル32Cを検出する。視覚データからケーブル32Cを検出する方法は特に限定されないが、端子検出部42と同様のアルゴリズムが採用し得る。その際、端子ラベル24に代えて、ケーブルラベル32Bを用いた判別、及び、ケーブル32Cの色による判別を行ってもよい。特に、色による判別は、精度が高い点で好ましい。
【0066】
なお、ケーブル検出部48による文字識別・色識別によるケーブル32Cの識別は、端子検出部42において行われるのと同様の方法が採用され得る。すなわち、ケーブル検出部48は、視覚データに含まれるケーブルを検出し、判別するためのケーブル分類モデルを備え、視覚データを入力することで、視覚データ中に含まれるケーブル32Cを検出、判別する。
【0067】
ケーブル検出部48のケーブル分類モデルのトレーニングの手順としては、まず、訓練データとして、様々な形状、及び、構造のケーブル32C(クリップ32A、ケーブルラベル32Bを含んでよい、併せて「ケーブル等」という。)を撮影した視覚データを収集する。収集される視覚データには、ケーブル等の種類、色、ラベル、及び、位置関係等が含まれる。また、ケーブル32Cが接続された状態、未接続の状態、更には異なる背景環境下で撮影されたデータも含め、網羅的にデータセットを構築する。これにより、ケーブル検出部48の判別精度を高めるための多様な訓練データが確保される。
【0068】
ケーブル検出部48は、入力された視覚データからケーブル等の特徴を学習するため、上記データセットを用いて訓練される。この訓練においては、ケーブル等の形状、色、寸法、及び、配置パターン等の特徴が抽出され、分類モデルが生成される。具体的には、教師あり学習が適用され、ケーブル等に対する正解ラベルと視覚データを対応付けることで訓練を行う。学習後、ケーブル検出部48は未知の視覚データからケーブル32Cを高精度に検出・識別することが可能となる。
【0069】
ケーブル判定部50は、メモリに記憶されたプログラムをプロセッサが実行することにより実現する機能であり、端子22へのケーブル32Cの接続を検出し、端子検出部42、及び、ケーブル検出部48による検出結果に基づき、接続された端子22とケーブル32Cとの対応関係の正誤判定を行う。
【0070】
ケーブル判定部50は、まず、視覚データ取得部40によって取得された視覚データに基づき、端子22に対してケーブル32Cが接続されたこと(接続状態)を検知する。なお、本明細書では、ガイド対象の端子22とケーブル32C接続された後の視覚データを便宜的に、第2の視覚データと称し、ガイド対象の端子22とケーブル32Cとが未接続の視覚データを第1の視覚データと称することがある。
【0071】
ケーブル判定部50による接続状態の検知の方法は特に限定されないが、ケーブル32Cが未接続の状態の第1の視覚データと、判定の際の視覚データ(「第2の視覚データ」である場合がある)とを比較して、変化を検出する方法(差分法)を採用し得る。差分法では、まず、ケーブル判定部50は、取得された視覚データの前処理を行う。前処理の方法は特に限定されないが、視覚データのリサイズ、色変換、ノイズ除去、エッジ検出、関心領域(ROI:Region of Interest)の抽出、二値化、及び、輪郭検出等が挙げられる。ROIの抽出には、テンプレートマッチングや物体検出モデルが採用できる。また、輪郭検出には、「YOLO」や「OpenCV」等が使用できる。
【0072】
次に、検出されたケーブル32Cと端子22との位置関係が所定の範囲内であれば、ケーブル判定部50は、ケーブル32Cと端子22とが接続状態にあるものとし、続いて、正誤判定を行う。正誤判定の方法は特に限定されないが、端子ラベル24、及び、ケーブルラベル32Bの文字による識別(文字識別)、及び、色識別による方法が挙げられる。なお、視覚データ中の端子、及び、ケーブル32Cが、それぞれ端子検出部42、及び、ケーブル検出部48においてすでに検出・判別され、トラッキングされていた場合、新たに検出・判別を行う必要はない。
【0073】
接続状態の端子22・ケーブル32Cの対応関係を、接続情報と比較することにより、ケーブル判定部50は、端子22に接続されたケーブル32Cの正誤情報を生成する。ケーブル判定部50は、接続が正しいか、誤っているかに関する判別情報を生成して、ガイド生成部44等に送る。
【0074】
次に、補助装置10を用いたケーブル接続の手順について説明する。図8は、補助装置を用いたケーブル接続の手順を示すフロー図である。
【0075】
まず、ステップS10として、ガイド生成部44が、事前に記憶されたリストに基づき対象機器20、試験器30、及び、試験回路の選択を受け付けるためのインタフェース画面を携帯端末10Aの表示部12Bに表示する。対象機器20や試験回路の種類(実施すべき試験の種類)は、視覚データから判別可能であるが、ユーザ(作業者)から少なくとも対象機器20又は試験回路の選択を受け付けてその情報を利用すると、処理を高速化したり、処理能力の低いコンピュータ(タブレット)であっても処理が可能となる。
【0076】
図9は、携帯端末10Aの表示部12Bに表示されたインタフェース画面の一例を表す図である。インタフェース画面70には、対象機器20の選択のための第1のドロップダウンリスト71、試験器30の選択のための第2のドロップダウンリスト72、試験回路の選択のための第3のドロップダウンリスト73、キャンセルボタン74、及び、決定ボタン75が配置されている。下位のドロップダウンリストの内容は、上位のドロップダウンリストの選択に連動して変化する。すなわち、あるリストに基づいて表示される上位のドロップダウンリストの選択に連動して、下位のドロップダウンリストに表示されるリストが変更される。具体的には、第1のドロップダウンリスト71の選択に連動して、第2のドロップダウンリスト72の試験器30の選択可能内容、第3のドロップダウンリスト73の試験回路の選択可能内容が変化する。また、第2のドロップダウンリスト72の試験器30の選択に連動して、第3のドロップダウンリスト73の選択可能内容が変化する。これらの表示に必要な画像、リストは予め記憶部56に記憶される。
【0077】
ガイド生成部44は、インタフェース画面70を表示部12Bに表示してユーザ(作業者)の選択を促す。作業者は、インタフェース画面70に基づき、対象機器20、試験器30、及び、試験回路を選択して、決定ボタン75にタッチし、決定内容を送信する。ガイド生成部44は、決定内容に基づき、記憶部56に記憶された対応する接続情報を読み出す。上述のとおり、接続情報は対象機器20、及び/又は、試験器30等のマニュアルに基づき生成された情報である。つまり、対象機器20、試験器30、及び、試験回路等が特定されると、接続情報も簡単に特定できる。記憶部56には、これらの情報と紐付けられて接続情報が記憶されている。選択された接続情報は、以降の処理において使用される。なお、インタフェース画面70における決定ボタン75を、視覚データの取得の開始の信号として用いてもよい。
【0078】
次に、ステップS11として、対象機器20の端子22を含む視覚データを取得する。具体的には、作業者が対象機器の端子22に携帯端末10Aの撮像部12Cを向けることで視覚データが取得される。本体10Bの視覚データ取得部40は、携帯端末10Aの通信部12Eを介してこの視覚データを取得し、記憶部56に一時的に格納する。
【0079】
次に、ステップS12として、端子検出部42が視覚データに含まれる端子22を検出する。端子22の検出方法については、すでに説明したとおりである。
【0080】
続いて、ステップS13において、制御部58は接続情報を参照し、目的とする試験回路形成のための全ての作業手順が完了しているかを判定する。この判定の結果、すべての作業手順が完了している場合(ステップS13:YES)、処理フローは終了する。一方、未完了の作業手順が存在する場合(ステップS13:NO)、ガイド生成部44は、記憶部56に記憶された接続情報及び検出された端子22に基づき、未完了、かつ、最先で処理されるべき作業手順に対応する案内情報を生成する(ステップS14)。この案内情報は、画像データ、テキストデータ、又は、これらの組み合わせデータとして生成される。
【0081】
次に、ステップS15として、トラッキング部46は、現在の作業手順で作業の対象となる端子22(以下、対象端子)を特定し、トラッキングを開始する。ここでいう「作業手順」には、例えば、既に接続されている運用ケーブルを対象端子から取り外す作業や、試験器の特定ケーブルを対象端子に接続する作業が含まれる。トラッキング部46は、携帯端末10Aから送信される視覚データを用いて対象端子をリアルタイムで追跡する。また、対象端子が一時的に視覚データから消失(画面外への移動)した場合には、端子検出部42と連携して再検出を行い、トラッキングを継続する。これにより、対象端子の位置や状態を精確に把握することが可能となる。そして、ガイド生成部44は、トラッキング部46により生成される位置情報に基づき、案内情報を表示部12Bにリアルタイム表示された視覚データ上に重ねて表示する。
【0082】
次に、ステップS16として、ケーブル検出部48が対象端子へのケーブル32Cの接続を検出する。ケーブル検出部48は、ケーブルラベル32Bやケーブル32Cの色に基づき、視覚データに含まれるケーブル32Cを判別する。この判別されたケーブル32Cは、トラッキング部46によって追跡される。
【0083】
更に、ステップS17として、ケーブル判定部50が対象端子にケーブル32Cが接続されたかどうかを判定する。例えば、差分法を用いることで、ケーブル32Cと端子22が接続状態にあるかの判定が実施される。この判定において、ケーブル32Cと端子22とが接続状態にないと判定された場合(ステップS17:NO)、再度、ステップS16以降の処理が繰り返される。一方、ケーブル32Cと端子22が接続状態にあると判定された場合(ステップS17:YES)、次に、接続されたケーブル32Cの正誤判定が行われる(ステップS18)。
【0084】
接続されたケーブル32Cの正誤判定は、端子検出部42、ケーブル検出部48及びトラッキング部46によって検出・追跡された端子22とケーブル32Cの対応関係を接続情報と比較することで実施される。この比較の結果、対象端子に正しいケーブル32Cが接続されていると判定された場合(ステップS18:YES)、対象端子に対する操作は完了し、現在の作業手順が完了したことを示す情報が記憶部56に記憶される。そして処理はステップS13に戻る。一方、正しいケーブルが接続されていないと判定された場合(ステップS18:NO)、ガイド生成部44は、現在の作業手順に基づき実施された操作に誤りがあることや正しい操作方法を示す新たな案内情報を生成し、表示部12Bに表示させる(ステップS19)。その後、処理はステップS15に戻る。
【0085】
以上の手順により、接続情報に含まれるすべての作業手順が完了するまで、必要な案内情報が携帯端末10Aの表示部に適切に表示される。これにより、作業者は視覚的なガイドを確認しながら、確実かつ効率的にケーブル接続を実施することができる。
【0086】
なお、ステップS16からステップS18は作業内容(操作)が端子22へのケーブル32Cの接続の場合について説明するものである。作業内容が、既に接続されている運用ケーブルを対象端子から取り外す作業である場合、ステップS16からステップS18は作業内容に応じて変更可能である。また、案内情報が手順リストを含む場合、ステップS19において、現在の作業手順の完了情報が生成されたときに、ガイド生成部44が案内情報を更新し、所定の手順が完了したことを表す情報を表示するよう構成してもよい。
【符号の説明】
【0087】
10 補助装置、10A 携帯端末、10B 本体、20 対象機器、22 端子、24 端子ラベル、30 試験器、32B ケーブルラベル、32C ケーブル、40 視覚データ取得部、42 端子検出部、44 ガイド生成部、46 トラッキング部、48 ケーブル検出部、50 ケーブル判定部



【要約】      (修正有)
【課題】ケーブルの接続先の端子が適正か否かの確認作業を効率化よく行うための補助装置を提供する。
【解決手段】対象機器20の端子に、対象機器の試験を実施するための試験器30から延びる一括ケーブル32を接続して試験回路を形成する作業に用いられる補助装置10であって、撮像部と、撮像部が取得した視覚データを表示するためのほ表示部を含む携帯端末10Aと、ガイド生成部を含む本体10Bと、を備え、ガイド生成部は、対象機器及び/又は試験器のマニュアルに記録された、試験回路の形成のための端子22とケーブルとの接続情報に基づき、端子に対するケーブルの接続のための案内情報を生成し、案内情報を、表示部に表示された端子を含む第1の視覚データに重なるように表示する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9