(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023160063
(43)【公開日】2023-11-02
(54)【発明の名称】設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231026BHJP
H02G 1/06 20060101ALN20231026BHJP
【FI】
G06T7/00 610Z
H02G1/06
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022070120
(22)【出願日】2022-04-21
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 〔1〕 〔集会〕 開催日 令和3年 10月6日、10月18日 集会名、開催場所 「株式会社ミライト様との打合せ」 品川シーサイドパークタワー(東京都品川区東品川4-12-4) <資 料> 「株式会社ミライト様との打合せ」資料 〔2〕 〔集会〕 開催日 令和3年 9月17日、10月19日、10月26日、12月17日 集会名、開催場所 「コムシス株式会社様との打合せ」 品川シーサイドパークタワー(東京都品川区東品川4-12-4) <資 料> 「コムシス株式会社様との打合せ」資料
(71)【出願人】
【識別番号】397065480
【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100181124
【弁理士】
【氏名又は名称】沖田 壮男
(72)【発明者】
【氏名】▲徳▼永 佳晃
(72)【発明者】
【氏名】小林 拓貴
(72)【発明者】
【氏名】齋藤 陽子
(72)【発明者】
【氏名】井筒 豪一
【テーマコード(参考)】
5G352
5L096
【Fターム(参考)】
5G352CA08
5G352CH02
5L096AA06
5L096BA03
5L096CA02
5L096DA02
5L096GA51
5L096HA09
5L096KA04
(57)【要約】
【課題】設備工事を簡単、且つ高精度に検査をすること。
【解決手段】本発明の一態様は、端末装置から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、基地局用バッテリを撮像した検査画像、および検査画像に含まれる基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得する取得部と、検査画像に基づいてバッテリセルの端子部の確からしさを示す確信度を算出して確信度に基づいて検査画像に端子部が含まれるか否かを認識する認識部と、認識部により認識された端子部の数および端子部同士の位置関係に基づいて基地局用バッテリ全体の設備工事の検査を実施する検査部と、検査部により実施された検査の結果を端末装置に通知する通知部と、を備える、設備工事の検査装置である。
【選択図】
図1
【特許請求の範囲】
【請求項1】
端末装置から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、前記基地局用バッテリを撮像した検査画像、および前記検査画像に含まれる前記基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得する取得部と、
前記検査画像に基づいて前記バッテリセルの端子部の確からしさを示す確信度を算出して前記確信度に基づいて前記検査画像に前記端子部が含まれるか否かを認識する認識部と、
前記認識部により認識された前記端子部の数および前記端子部同士の位置関係に基づいて前記基地局用バッテリ全体の設備工事の検査を実施する検査部と、
前記検査部により実施された検査の結果を前記端末装置に通知する通知部と、
を備える、設備工事の検査装置。
【請求項2】
前記基地局用バッテリは、一方向に配置された複数の前記バッテリセルを複数組備え、
前記検査部は、一組ごとに、前記一組の複数のバッテリセルに設けられた複数の端子部が前記一方向に沿って規則的に配置されている場合に、前記端子部同士の位置関係が適切であると判定する、請求項1に記載の設備工事の検査装置。
【請求項3】
前記ガイド画像は、前記一組の複数のバッテリセルを囲う枠画像であり、
前記取得部は、前記枠画像の検査画像における位置を、前記ガイド情報として取得し、
前記検査部は、前記認識部により認識された前記端子部のうち前記枠画像に含まれる複数の前記端子部の位置が、前記枠画像の中心線を挟んで交互に配置されている場合に、前記端子部同士の位置関係が適切であると判定する、請求項2に記載の設備工事の検査装置。
【請求項4】
前記ガイド画像は、配線ケーブル端子と前記バッテリセルそれぞれとを接続する接続部を囲う枠画像と、前記配線ケーブル端子の側面に対応した線画像とを含み、
前記認識部は、前記接続部の外郭の確からしさを示す確信度に基づいて前記検査画像に前記接続部が含まれるか否かを認識し、および前記配線ケーブル端子の確からしさを示す確信度に基づいて前記検査画像に前記配線ケーブル端子が含まれるか否かを認識し、
前記検査部は、前記認識部により前記接続部および前記配線ケーブル端子が含まれると認識された場合、前記線画像から所定範囲の領域と前記認識部により前記配線ケーブル端子が認識された領域との重複領域のうち黒色領域を検出し、前記黒色領域が前記重複領域を占める割合が閾値未満である場合には前記配線ケーブル端子付近に隙間がないと判定し、前記黒色領域が前記重複領域を占める割合が閾値以上である場合には前記配線ケーブル端子付近に隙間があると判定する、
請求項1に記載の設備工事の検査装置。
【請求項5】
施工検査サーバ装置が、端末装置から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、前記基地局用バッテリを撮像した検査画像、および前記検査画像に含まれる前記基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得するステップと、
前記施工検査サーバ装置が、前記検査画像に基づいて前記バッテリセルの端子部の確からしさを示す確信度を算出して前記確信度に基づいて前記検査画像に前記端子部が含まれるか否かを認識するステップと、
前記施工検査サーバ装置が、認識された前記端子部の数および前記端子部同士の位置関係に基づいて前記基地局用バッテリ全体の設備工事の検査を実施するステップと、
前記施工検査サーバ装置が、検査の結果を前記端末装置に通知するステップと、
含む、設備工事の検査方法。
【請求項6】
コンピュータに、
端末装置から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、前記基地局用バッテリを撮像した検査画像、および前記検査画像に含まれる前記基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得するステップと、
前記検査画像に基づいて前記バッテリセルの端子部の確からしさを示す確信度を算出して前記確信度に基づいて前記検査画像に前記端子部が含まれるか否かを認識するステップと、
認識された前記端子部の数および前記端子部同士の位置関係に基づいて前記基地局用バッテリ全体の設備工事の検査を実施するステップと、
施工検査サーバ装置が、検査の結果を前記端末装置に通知するステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラムに関する。
【背景技術】
【0002】
従来より、施工状態を検査する技術が知られている。例えば、特許文献1-3には、複数の部材を用いた施工状態を高い精度で検査するための技術が記載されている。特許文献1には、電柱の分線用金物の施工状態を検査するための技術が記載され、特許文献2には、電柱の支持部材の施工状態を検査するための技術が記載されている。さらに、特許文献3には、設備工事に含まれる複数の検査項目に応じて検査対象物のガイド枠やマスクを表示することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-61709号公報
【特許文献2】特開2021-60887号公報
【特許文献3】特開2021-60888号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1-3に記載された施工状態の検査においては、検査対象物ごとに検査項目や、検査項目ごとに必要な精度などが規定されている場合が多く、簡単、且つ高精度に検査をすることが望まれている。
【0005】
本発明は、上記の課題に鑑みてなされたものであって、基地局用バッテリに関する設備工事を簡単、且つ高精度に検査をすることができる設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
(1)本発明の一態様は、端末装置から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、前記基地局用バッテリを撮像した検査画像、および前記検査画像に含まれる前記基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得する取得部と、前記検査画像に基づいて前記バッテリセルの端子部の確からしさを示す確信度を算出して前記確信度に基づいて前記検査画像に前記端子部が含まれるか否かを認識する認識部と、前記認識部により認識された前記端子部の数および前記端子部同士の位置関係に基づいて前記基地局用バッテリ全体の設備工事の検査を実施する検査部と、前記検査部により実施された検査の結果を前記端末装置に通知する通知部と、を備える、設備工事の検査装置である。
【0007】
(2)本発明の一態様は、上記の設備工事の検査装置であって、前記基地局用バッテリは、一方向に配置された複数の前記バッテリセルを複数組備え、前記検査部は、一組ごとに、前記一組の複数のバッテリセルに設けられた複数の端子部が前記一方向に沿って規則的に配置されている場合に、前記端子部同士の位置関係が適切であると判定してよい。
【0008】
(3)本発明の一態様は、上記の設備工事の検査装置であって、前記ガイド画像は、前記一組の複数のバッテリセルを囲う枠画像であり、前記取得部は、前記枠画像の検査画像における位置を、前記ガイド情報として取得し、前記検査部は、前記認識部により認識された前記端子部のうち前記枠画像に含まれる複数の前記端子部の位置が、前記枠画像の中心線を挟んで交互に配置されている場合に、前記端子部同士の位置関係が適切であると判定してよい。
【0009】
(4)本発明の一態様は、上記の設備工事の検査装置であって、記ガイド画像は、配線ケーブル端子と前記バッテリセルそれぞれとを接続する接続部を囲う枠画像と、前記配線ケーブル端子の側面に対応した線画像とを含み、前記認識部は、前記接続部の外郭の確からしさを示す確信度に基づいて前記検査画像に前記接続部が含まれるか否かを認識し、および前記配線ケーブル端子の確からしさを示す確信度に基づいて前記検査画像に前記配線ケーブル端子が含まれるか否かを認識し、前記検査部は、前記認識部により前記接続部および前記配線ケーブル端子が含まれると認識された場合、前記線画像から所定範囲の領域と前記認識部により前記配線ケーブル端子が認識された領域との重複領域のうち黒色領域を検出し、前記黒色領域が前記重複領域を占める割合が閾値未満である場合には前記配線ケーブル端子付近に隙間がないと判定し、前記黒色領域が前記重複領域を占める割合が閾値以上である場合には前記配線ケーブル端子付近に隙間があると判定してよい。
【0010】
(5)本発明の一態様は、施工検査サーバ装置が、端末装置から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、前記基地局用バッテリを撮像した検査画像、および前記検査画像に含まれる前記基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得するステップと、前記施工検査サーバ装置が、前記検査画像に基づいて前記バッテリセルの端子部の確からしさを示す確信度を算出して前記確信度に基づいて前記検査画像に前記端子部が含まれるか否かを認識するステップと、前記施工検査サーバ装置が、認識された前記端子部の数および前記端子部同士の位置関係に基づいて前記基地局用バッテリ全体の設備工事の検査を実施するステップと、前記施工検査サーバ装置が、検査の結果を前記端末装置に通知するステップと、含む、設備工事の検査方法である。
【0011】
(6)本発明の一態様は、コンピュータに、端末装置から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、前記基地局用バッテリを撮像した検査画像、および前記検査画像に含まれる前記基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得するステップと、前記検査画像に基づいて前記バッテリセルの端子部の確からしさを示す確信度を算出して前記確信度に基づいて前記検査画像に前記端子部が含まれるか否かを認識するステップと、認識された前記端子部の数および前記端子部同士の位置関係に基づいて前記基地局用バッテリ全体の設備工事の検査を実施するステップと、施工検査サーバ装置が、検査の結果を前記端末装置に通知するステップと、を実行させる、プログラムである。
【発明の効果】
【0012】
本発明の一態様によれば、基地局用バッテリに関する設備工事を簡単、且つ高精度に検査をすることができる。
【図面の簡単な説明】
【0013】
【
図1】実施形態の設備工事検査システムの一構成例を示すブロック図である。
【
図2】検査対象認識部の一例を示すブロック図である。
【
図3】設備工事検査システムにおける設備工事の検査処理の一例を示すシーケンス図である。
【
図4】施工検査サーバ装置における設備工事の検査処理の一例を示すフローチャートである。
【
図5】検査対象物を選択する画面の一例を示す図である。
【
図6】基地局用バッテリの全体のガイド画像の一例を示す図である。
【
図7】基地局用バッテリ全体と検査基準との関係を示す図である。
【
図8】バッテリセルの配列の一例について説明する図である。
【
図9】バッテリセルの配列の他の一例について説明する図である。
【
図10】実施形態における検査対象認識部による認識結果の一例を示す図である。
【
図11】実施形態における検査部による基地局用バッテリ全体の検査処理の一例を示すフローチャートである。
【
図12】基地局用バッテリ全体と検査基準との関係を示す図である。
【
図13】適切に施工された接続部の一例を示す図である。
【
図14】施工が適切でない場合の接続部の一例を示す図である。
【
図15】接続部のガイド画像の一例を示す図である。
【
図16】実施形態における検査対象認識部による認識結果の一例を示す図である。
【
図17】接続部の検査処理の一例を説明するための図である。
【
図18】実施形態における検査部による接続部の検査処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明を適用した設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラムを、図面を参照して説明する。
【0015】
実施形態の設備工事検査システムは、基地局の設備工事の現場作業員により撮像された画像を用いて、当該設備工事の検査を行う。実施形態の設備工事検査システムは、現場作業員により撮像された画像内に検査対象としての施工部材が存在しているか否か、施工部材が適切に施工されているか否かを判定することによって、簡単に、且つ高い精度で検査するものである。また、実施形態の設備工事検査システムは、判定結果(施工部材の認識結果、および検査結果)を現場作業員に提示することによって、現場作業員による画像撮影の手間や、設備工事の検査者による検査の手間や、設備工事に不備がある場合の再施工などの手間を軽減することができる。
【0016】
図1は、実施形態の設備工事検査システムの一構成例を示すブロック図である。設備工事検査システムは、例えば、一又は複数のユーザ端末装置100と、施工検査サーバ装置200と、管理端末300とを備える。ユーザ端末装置100、施工検査サーバ装置200、および管理端末300は、例えば、通信ネットワークNWに接続される。通信ネットワークNWに接続される各装置は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェースを備えている(
図1では不図示)。通信ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
【0017】
ユーザ端末装置100は、例えばスマートフォンやタブレット端末などのカメラ装置を備えた携帯型端末装置である。ユーザ端末装置100は、ブラウザやアプリケーションプログラムなどのUA(User Agent)が起動する。UAは、例えば、施工検査サーバ装置200と通信等をするためのアプリケーションである。ユーザ端末装置100は、UAとしての施工検査用アプリケーションを利用し、施工検査サーバ装置200から受信したコンテンツを用いて表示処理や操作の受け付け処理などを行う。また、ユーザ端末装置100は、施工検査用アプリケーションを利用して、ユーザの操作に基づく操作情報や撮影画像等を施工検査サーバ装置200に提供する。
【0018】
施工検査サーバ装置200は、設備工事の検査依頼を受け付け、設備工事の検査結果を提供する情報処理装置である。施工検査サーバ装置200は、例えば、連携API(Application Programming Interface)部210と、検査対象認識部220とを備える。連携API部210および検査対象認識部220といった機能部は、例えばCPU(Central Processing Unit)等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。
【0019】
連携API部210は、例えば、API部212と、画像処理部214と、検査部216と、制御部218とを備える。API部212は、ユーザ端末装置100から各種の情報を受け付ける処理や、ユーザ端末装置100にコンテンツを提供する処理などを行う。画像処理部214は、ユーザ端末装置100から取得した画像データに対して所定の画像処理を施す。以下、検査に用いる画像を検査画像と記載する。検査部216は、API部212により取得した検査画像および/または画像処理部214により処理された検査画像を用いて設備工事の検査処理を行う。制御部218は、検査対象認識部220における画像認識エンジンの起動等の制御を行う。
【0020】
検査対象認識部220は、例えば複数の画像認識エンジン222A、222B、・・・222N(Nは自然数)を備える。なお、複数の画像認識エンジンを総称する場合には単に画像認識エンジン222と記載する。各画像認識エンジン222は、複数の検査項目のうちの各検査項目に対応する。画像認識エンジン222は、検査項目における検査対象としての施工部材を認識する認識処理を行う。
【0021】
図2は、検査対象認識部の一例を示すブロック図である。検査対象認識部220は、例えば、学習画像データベース230と、学習処理部232と、認識処理部234と、結果出力部236とを備える。
【0022】
学習画像データベース230は、例えば管理端末300から取得した画像を学習画像として記憶するデータベースである。学習画像データベース230は、学習画像として、例えば正例画像を記憶する。正例画像とは、正常な状態の対象物体を撮像した画像である。正例画像は、例えば、基地局設備の工事において使用される工事部材を撮像した画像である。工事部材は、例えば、基地局用バッテリ、基地局用バッテリに含まれるバッテリセルにおける固定部などの基地局設備の構成物である。正例画像は、工事部材名を含むタグ情報と対応付けられる。なお、正例画像には例えば工程名、検査項目名を示す情報が対応付けられてよい。なお、学習画像データベース230には、正例画像に限らず、学習画像として、工事部材とは異なる物体(異常状態の物体や不良品)を撮像した画像が記憶されてよい。
【0023】
学習処理部232には、学習画像データベース230から学習画像が供給される。学習処理部232は、学習画像を用いて認識処理を行い、判定結果を得る。学習処理部232は、施工部材を検出したという判定結果となるように認識処理部234(認識モデル234A)の処理パラメータを学習し、学習結果データを生成する。認識処理部234(認識モデル234A)の処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ(重み、バイアスともいう)である。学習結果データは、学習結果データ記憶部2341に記憶される。
【0024】
認識処理部234は、例えば、学習結果データ記憶部2341と、判定部2342とを有する。学習結果データ記憶部2341には、学習結果としての認識処理部234の処理パラメータが蓄積され、認識処理部234の処理パラメータは、学習処理部232によって更新される。認識処理部234は、検査画像を取得した場合、認識処理部234の処理パラメータに基づく認識モデル234Aを用いて特徴量を抽出する。判定部2342は、抽出した特徴量に基づいて、施工部材を検出する。認識処理部234は、判定部2342による判定結果を、認識結果として出力する。
【0025】
図3は、設備工事検査システムにおける設備工事の検査処理の一例を示すシーケンス図である。ユーザ端末装置100は、ユーザの操作に基づいて検査項目情報を施工検査サーバ装置200に送信し、検査画像および検査項目に対応したガイド情報を施工検査サーバ装置200に送信する。次に施工検査サーバ装置200は、検査画像に含まれる検査対象物の認識結果をユーザ端末装置100に送信し、さらに、検査対象物の検査結果をユーザ端末装置100に送信する。これにより、ユーザ端末装置100が指定した検査項目および検査対象物について、施工検査サーバ装置200が検査対象物を正確に認識できたか否か、および検査対象物の施工が適切に行われていることが検査されたか否かをユーザに通知することができる。
【0026】
図4は、施工検査サーバ装置における設備工事の検査処理の一例を示すフローチャートである。まず、連携API部210は、ユーザ端末装置100から受信した情報に基づいて設備工事における検査項目名を取得する(ステップS100)。連携API部210は、検査項目名を取得した時点において検査対象認識部220の起動リストを取得する。連携API部210は、ステップS100において取得した検査項目名と起動リストとを比較し(ステップS104)、取得した検査項目名に対応する画像認識エンジン222が起動しているか否かを判定する(ステップS106)。連携API部210は、検査項目名に対応した画像認識エンジン222が起動していない場合(ステップS106:NO)、検査項目名に対応した画像認識エンジン222を起動するよう制御する(ステップS108)。
【0027】
連携API部210は、検査項目名に対応した画像認識エンジン222が起動している場合(ステップS106:YES)、またはステップS108において検査項目名に対応する画像認識エンジン222を起動した後、画像ファイルおよび検査情報ファイルを取得する(ステップS110)。次に連携API部210は、取得した画像ファイルに含まれる検査画像に所定の画像処理を施す(ステップS112)。所定の画像処理は、例えば、エッジ化(先鋭化)処理や、明るさ補正処理などがある。ユーザ端末装置100は、所定の画像処理を施した検査画像を、検査項目名に対応した画像認識エンジン222に受け渡す。
【0028】
画像認識エンジン222は、連携API部210から取得した画像に基づいて検査項目名に対応した施工部材(検査対象)が存在するか否かを判定する認識処理を行う(ステップS114)。このとき、画像認識エンジン222は、施工部材ごとに確信度を算出する。また、画像認識エンジン222は、画像処理ごとに、施工部材の確信度を算出する。画像認識エンジン222は、施工部材の確信度が所定値以上である場合、当該施工部材が存在すると判定する。画像認識エンジン222は、施工部材が存在するという認識結果である場合(ステップS116:YES)、ステップS120に処理を進める。画像認識エンジン222は、施工部材が存在しないという認識結果である場合(ステップS116:NO)、検査画像を再取得する(ステップS118)。施工検査サーバ装置200は、検査画像を再取得する場合、ユーザ端末装置100に画像を再撮影する要求を送信する。
【0029】
連携API部210は、画像認識エンジン222により算出された施工部材の確信度と所定値とを比較する(ステップS120)。連携API部210は、所定値よりも高い確信度で施工部材が認識された検査画像を用いて、検査項目の判定処理を行う(ステップS122)。なお、検査項目の判定処理については後述する。連携API部210は、検査項目の判定処理の結果として、検査結果をユーザ端末装置100に送信する(ステップS124)。
【0030】
(基地局用バッテリの全体の検査)
以下、基地局設備における基地局用バッテリの全体の検査について説明する。
図5は、検査対象物を選択する画面の一例を示す図である。ユーザ端末装置100は、ユーザの操作に基づいて
図5に示す検査対象物の選択画面を表示し、選択画面に対する操作を受け付けることで、どの検査対象物が選択されたのかを認識する。実施の形態における検査対象物は、基地局用バッテリ全体と、バッテリセルと配線ケーブルとの接続部である。ユーザ端末装置100は、基地局用バッテリ全体に対応したボタンが選択された場合、
図6に示す画面を表示する。
【0031】
図6は、基地局用バッテリの全体のガイド画像の一例を示す図である。ユーザ端末装置100は、ユーザ操作に基づいてバッテリ全体に対応したボタンが選択された場合に、カメラ装置を起動する。実施形態における基地局用バッテリは、例えば、複数のバッテリセルと、バッテリセル間を接続する配線ケーブルとを含む。複数のバッテリセルは、一列ごとに配置された3つのセル群を含む。すなわち、基地局用バッテリは、全体で、一方向に配置された複数のバッテリセルを3組備える。各バッテリセルは、赤端子と黒端子とを備える。赤端子および黒端子には配線ケーブルが接続される。ユーザ端末装置100は、「基地局用バッテリ全体」のアイコン画像が選択された場合、
図6に示すように、カメラ装置による撮像画像と、撮影すべき施工部材を撮影するためのガイド画像とを表示する。ガイド画像は、一つのセル群のためのガイド枠である。ユーザ端末装置100は、基地局用バッテリ全体を検査するために、3つのセル群それぞれに対応した3つのガイド枠を表示させる。これによりユーザ端末装置100は、ガイド枠それぞれに一つのセル群を含むように検査画像を撮影させることできる。
【0032】
なお、ユーザ端末装置100は、案内メッセージを含む画面を表示してよい。案内メッセージは、例えば「ガイド枠に一列に並んだバッテリセルが全て写るように撮影してください。」という文字を含む画像である。また、ユーザ端末装置100は、枠画像と節群との位置合わせのために、各枠画像に中心線を表示させてよい。
【0033】
図7は、基地局用バッテリ全体と検査基準との関係を示す図である。設備工事検査システムは、セル群ごとに、バッテリセルの配列について、極性(+、-)が逆になっていないか否かを検査する。設備工事検査システムは、セル群において極性(+、-)が逆になっていない場合には、検査が合格であると判定する。設備工事検査システムは、セル群において極性(+、-)が逆になっている場合には、検査が不合格であると判定する。
【0034】
図8は、バッテリセルの配列について説明する図である。赤端子に対応した端子部が、一列に配列されたセル群の基準線に対し、左端から右端に向かって下、上、下、上、下、上、下、上の順で配列される。基準線は、バッテリセルが並んでいる一方向に沿った直線であって、各バッテリセルの中心を通る線である。設備工事検査システムは、
図8に示すように、基準線に対して端子部が配列されている場合には、検査が合格であると判定する。設備工事検査システムは、
図9に示すように、端子に対応した端子部が、基準線に対し、左端から右端に向かって下、上、下、上、上、順で配列されているので検査が不合格であると判定する。
【0035】
図10は、実施形態における検査対象認識部220による認識結果の一例を示す図である。検査対象認識部220は、検査画像に基づいてバッテリセルの端子部の確からしさを示す確信度を算出して確信度に基づいて検査画像に端子部が含まれるか否かを認識する。この結果、検査対象認識部220は、バッテリセルごとに一つの赤端子を認識することで、赤端子と認識された領域を端子部領域として、タグ情報“akatanshi”を付与する。
【0036】
図11は、実施形態における検査部による基地局用バッテリ全体の検査処理の一例を示すフローチャートである。先ず施工検査サーバ装置200は、検査画像に含まれる一つのセル群を選択する(ステップS200)。施工検査サーバ装置200は、検査画像から認識された認識結果のうち、一つのガイド枠に含まれる認識結果を抽出する。施工検査サーバ装置200は、ガイド枠の検査画像内の位置と、タグ情報“akatanshi”が付与された領域とが重複する場合、当該タグ情報が付与された領域を認識結果として抽出する。
【0037】
次に施工検査サーバ装置200は、セル群に含まれるタグ情報“akatanshi”が所定数存在するか否かを判定する(ステップS202)。所定数は、例えば、8である。施工検査サーバ装置200は、8個のタグ情報が存在しない場合(ステップS202:NO)、セル群の検査が不合格であると判定する(ステップS204)。施工検査サーバ装置200は、8個のタグ情報が存在する場合(ステップS202:YES)、セル群におけるガイド枠の位置からガイド枠の中心ラインを求める(ステップS206)。施工検査サーバ装置200は、求めた中心ラインと、タグ情報”akatanshi”が付与された複数の領域の重心との位置関係が右端から左端に向かって”下→上→下→上→下→上→下→上”と並んでいるか否かを判定する(ステップS208)。施工検査サーバ装置200は、ステップS208で判定された結果、中心ラインと、複数の領域との位置関係が適正であるか否かを判定する(ステップS210)。施工検査サーバ装置200は、複数の領域との位置関係が適正である場合(ステップS210:YES)、セル群の検査が合格であると判定する(ステップS212)。施工検査サーバ装置200は、複数の領域との位置関係が適正ではない場合(ステップS210:NO)、セル群の検査が不合格であると判定する(ステップS214)。
【0038】
次に施工検査サーバ装置200は、検査画像に含まれる全てのセル群を検査したか否かを判定する(ステップS216)。施工検査サーバ装置200は、全てのセル群を検査していない場合(ステップS216:NO)、ステップS200に処理を戻す。施工検査サーバ装置200は、全てのセル群を検査した場合(ステップS216:YES)、全てのセル群の検査が合格であるか否かを判定する(ステップS218)。施工検査サーバ装置200は、全てのセル群の検査が合格である場合(ステップS218:YES)、検査画像に含まれた基地局用バッテリ全体の検査が合格であることをユーザ端末装置100に通知する(ステップS220)。施工検査サーバ装置200は、全てのセル群の検査が合格でない場合(ステップS218:NO)、検査画像に含まれた基地局用バッテリ全体の検査が不合格であることをユーザ端末装置100に通知する(ステップS220)。
【0039】
以上のように、設備工事検査システムによれば、ユーザ端末装置100から、検査項目が複数のバッテリセルを含む基地局用バッテリであることを示す検査項目情報、基地局用バッテリを撮像した検査画像、および検査画像に含まれる基地局用バッテリを撮像するためのガイド画像に関するガイド情報を取得するAPI部212(取得部)と、検査画像に基づいてバッテリセルの端子部の確からしさを示す確信度を算出して確信度に基づいて検査画像に端子部が含まれるか否かを認識する検査対象認識部220と、検査対象認識部220により認識された端子部の数および端子部同士の位置関係に基づいて基地局用バッテリ全体の設備工事の検査を実施する検査部216と、検査部216により実施された検査の結果をユーザ端末装置100に通知するAPI部212(通知部)と、を備える。これにより、基地局用バッテリに関する設備工事を簡単、且つ高精度に検査をすることができる。
【0040】
具体的に、設備工事検査システムにおいて、基地局用バッテリは、一方向に配置された複数のバッテリセルを複数組備え、設備工事検査システムは、一組のバッテリセル(セル群)ごとに、一組の複数のバッテリセルに設けられた複数の端子部が一方向に沿って規則的に配置されている場合に、端子部同士の位置関係が適切であると判定する。これにより、設備工事検査システムは、複数のバッテリセルにおける端子部同士の位置関係に規則性に基づいて設備工事を簡単、且つ高精度に検査をすることができる。
【0041】
さらに、設備工事検査システムは、ガイド画像として一つセル群を囲う枠画像(ガイド枠)を用い、施工検査サーバ装置200によりガイド枠の検査画像における位置をガイド情報として取得し、認識された端子部のうちガイド枠に含まれる複数の端子部の位置が、枠画像の中心線を挟んで交互に配置されている場合に、端子部同士の位置関係が適切であると判定することで、設備工事を簡単、且つ高精度に検査をすることができる。
【0042】
(固定部の検査)
以下、基地局設備における基地局用バッテリのうち接続部の検査について説明する。
設備工事検査システムは、ユーザの操作に基づいて
図5に示す検査対象物の選択画面を表示し、バッテリセルと配線ケーブルとの接続部が選択された場合、接続部の検査を行う。バッテリセルと配線ケーブルとの接続部は、バッテリセルにおける赤端子および黒端子にそれぞれと配線ケーブルを接続する。
【0043】
図12は、基地局用バッテリ全体と検査基準との関係を示す図であり、
図13は、適切に施工された接続部の一例を示す図であり、
図14は施工が適切でない場合の接続部の一例を示す図である。設備工事検査システムは、接続部を真横から見て配線ケーブル端子とバッテリセル端子との間に隙間がないかを確認する。設備工事検査システムは、
図13に示すように配線ケーブル端子とバッテリセル端子との間に隙間がない場合には、検査が合格であると判定する。設備工事検査システムは、
図14に示すように配線ケーブル端子とバッテリセル端子との間に隙間がある場合には、検査が不合格であると判定する。
【0044】
図15は、接続部のガイド画像の一例を示す図である。ユーザ端末装置100は、ユーザ操作に基づいて接続部に対応したボタンが選択された場合に、カメラ装置を起動する。ユーザ端末装置100は、ガイド画像として、点線と、ガイド枠と、マスクとを表示させる。また、ユーザ端末装置100は、「接続部分を真横から撮影」、「ボルトの頭から先端までを枠内に」、および「接続ケーブルの端子側面を点線にあわせる」というメッセージを表示させる。マスクは、ガイド枠を除く領域である。これによりユーザ端末装置100は、ガイド枠に配線ケーブル端子、バッテリセル端子、ボルト、およびナットを含み、点線に配線ケーブル端子を合わせるように撮影させることができる。
【0045】
図16は、実施形態における検査対象認識部220による認識結果の一例を示す図である。検査対象認識部220は、検査画像に基づいて接続部の外郭の確からしさを示す確信度を算出して確信度に基づいて検査画像に接続部の外郭が含まれるか否かを認識する。この結果、検査対象認識部220は、接続部の外郭を認識することで、接続部の外郭と認識された領域に、タグ情報“nutall”を付与する。検査対象認識部220は、検査画像に基づいて配線ケーブル端子の確からしさを示す確信度を算出して確信度に基づいて検査画像に配線ケーブル端子が含まれるか否かを認識する。この結果、検査対象認識部220は、配線ケーブル端子を認識することで、配線ケーブル端子と認識された領域に、タグ情報“tanshi”を付与する。
【0046】
図17は、接続部の検査処理の一例を説明するための図である。検査部216は、検査対象認識部220の検査結果に基づいて外郭領域、配線ケーブル端子領域が含まれると認識された場合、点線から所定範囲の領域を、配線ケーブル端子近傍領域を設定する。検査部216は、配線ケーブル端子近傍領域と、配線ケーブル端子領域との重複領域のうち黒色領域を検出する。黒色領域は、検査画像におけるRGBデータに基づいて判定する。検査部216は、黒色領域が重複領域を占める割合が閾値未満である場合には配線ケーブル端子とバッテリセル端子との間に隙間がないと判定する。検査部216は、黒色領域が重複領域を占める割合が閾値以上である場合には配線ケーブル端子とバッテリセル端子との間に隙間があると判定する。
【0047】
実施形態において、配線ケーブル端子とバッテリセル端子との間に隙間に対応する領域を黒色領域として処理したが、これに限定されない。設備工事検査システムは、配線ケーブル端子とバッテリセル端子との間に隙間がある学習画像が多数収集され、配線ケーブル端子とバッテリセル端子との間に隙間を学習および認識する画像認識エンジン222を構築した場合には、隙間領域を画像認識エンジン222により認識してよい。
【0048】
図18は、実施形態における検査部による接続部の検査処理の一例を示すフローチャートである。なお、
図18の処理は、基地局用バッテリに含まれる全ての接続部の検査画像を施工検査サーバ装置200にアップロードした後、接続部の一つ一つを検査する処理を説明するが、これに限定されず、検査画像を取得する度に検査を実施してよい。先ず施工検査サーバ装置200は、検査画像に含まれる一つの接続部を選択する(ステップS300)。施工検査サーバ装置200は、検査画像から認識された認識結果のうち、一つの接続部に含まれる認識結果を抽出する。
【0049】
次に施工検査サーバ装置200は、接続部に含まれるタグ情報“tanshi”がガイド画像における点線上に存在するか否かを判定する(ステップS302)。施工検査サーバ装置200は、点線上にタグ情報“tanshi”が付与された領域が存在しない場合(ステップS302:NO)、接続部の検査が不合格であると判定する(ステップS304)。施工検査サーバ装置200は、点線上にタグ情報“tanshi”が付与された領域が存在する場合(ステップS302:YES)、点線から所定範囲の領域と配線ケーブル端子が認識された領域との重複領域のうち黒色領域を検出する(ステップS306)。施工検査サーバ装置200は、点線から所定範囲領域のうち黒色領域が占める割合を算出する(ステップS308)。施工検査サーバ装置200は、黒色領域が占める割合が閾値未満か否かを判定する(ステップS310)。施工検査サーバ装置200は、黒色領域が占める割合が閾値未満である場合(ステップS310:YES)、接続部の検査が合格であると判定する(ステップS312)。施工検査サーバ装置200は、黒色領域が占める割合が閾値未満ではない場合(ステップS310:NO)、接続部の検査が不合格であると判定する(ステップS314)。
【0050】
次に施工検査サーバ装置200は、検査画像に含まれる全ての接続部を検査したか否かを判定する(ステップS316)。施工検査サーバ装置200は、全ての接続部を検査していない場合(ステップS316:NO)、ステップS300に処理を戻す。施工検査サーバ装置200は、全ての接続部を検査した場合(ステップS316:YES)、全ての接続部の検査が合格であるか否かを判定する(ステップS318)。施工検査サーバ装置200は、全ての接続部の検査が合格である場合(ステップS318:YES)、基地局用バッテリの接続部の検査が合格であることをユーザ端末装置100に通知する(ステップS320)。施工検査サーバ装置200は、全ての接続部の検査が合格でない場合(ステップS318:NO)、検査画像に含まれた基地局用バッテリの接続部の検査が不合格であることをユーザ端末装置100に通知する(ステップS320)。
【0051】
以上のように、設備工事検査システムによれば、ガイド画像として、配線ケーブル端子とバッテリセルそれぞれとを接続する接続部を囲う枠画像と、配線ケーブル端子の側面に対応した線画像とを含むものを用い、検査対象認識部220により接続部の外郭の確からしさを示す確信度に基づいて検査画像に接続部が含まれるか否かを認識し、および配線ケーブル端子の確からしさを示す確信度に基づいて検査画像に前記配線ケーブル端子が含まれるか否かを認識する。設備工事検査システムにおいては、検査部216は、検査対象認識部220により接続部および配線ケーブル端子が含まれると認識された場合、線画像から所定範囲の領域と配線ケーブル端子が認識された領域との重複領域のうち黒色領域を検出し、黒色領域が重複領域を占める割合が閾値未満である場合には配線ケーブル端子付近に隙間がないと判定し、黒色領域が重複領域を占める割合が閾値以上である場合には配線ケーブル端子付近に隙間があると判定する。これにより、設備工事検査システムによれば、基地局用バッテリに関する設備工事を簡単、且つ高精度に検査をすることができる。
【0052】
なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の1または複数の実施形態や他の1または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。
【0053】
本実施形態におけるユーザ端末装置100や施工検査サーバ装置200の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、ユーザ端末装置100や施工検査サーバ装置200に係る上述した種々の処理を行ってもよい。
【0054】
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリなどの書き込み可能な不揮発性メモリ、CD-ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
【0055】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic
Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
【0056】
ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0057】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。例えば、本発明の実施形態として、ユーザ端末装置100だけで構成される場合もある。
【符号の説明】
【0058】
100 ユーザ端末装置
200 施工検査サーバ装置
210 連携API部
212 API部
214 画像処理部
216 検査部
218 制御部
220 検査対象認識部
222 画像認識エンジン