(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023010306
(43)【公開日】2023-01-20
(54)【発明の名称】設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラム
(51)【国際特許分類】
G06Q 50/08 20120101AFI20230113BHJP
【FI】
G06Q50/08
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2021114354
(22)【出願日】2021-07-09
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 〔1〕〔報道発表〕 開催日 令和3年 4月21日 集会名、開催場所 エヌ・ティ・ティ・コムウェア株式会社 新事業ブランド「SmartMaintech(スマートメインテック)」記者発表会 NTT品川TWINS アネックスビル 1F(東京都港区港南1-9-1) ParkLabo.&オンライン配信 <資 料> 記者発表会 発表資料 〔2〕〔ウェブサイト〕 ウェブサイトの掲載日 令和3年 4月21日 ウェブサイトのアドレス https://www.nttcom.co.jp/news/pr21042101.html <関連公開ウェブサイトアドレス> https://built.itmedia.co.jp/bt/articles/2104/23/news021_3.html https://www.nikkei.com/article/DGXZQOUC217L70R20C21A4000000/ https://news.mynavi.jp/article/20210422-1876405/ https://www.kensetsunews.com/web-kan/564373 https://b2b-ch.infomart.co.jp/news/detail.page?IMNEWS1=2533109 https://www.sugitec.net/28532/ https://bp-affairs.com/news/2021/04/20210423-10827.html <資 料> ニュースリリース及びサービス内容公開ウェブページ <資 料> 関連公開ウェブサイトページ
(71)【出願人】
【識別番号】397065480
【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100181124
【弁理士】
【氏名又は名称】沖田 壮男
(72)【発明者】
【氏名】▲徳▼永 佳晃
(72)【発明者】
【氏名】大泉 正毅
(72)【発明者】
【氏名】齋藤 陽子
(72)【発明者】
【氏名】井筒 豪一
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC07
(57)【要約】 (修正有)
【課題】設備工事を簡単、且つ、高精度に検査をする設備工事の検査装置、設備工事の検査方法及び設備工事の検査用プログラムを提供する。
【解決手段】設備工事検査システムにおいて、施工検査サーバ装置は、設備工事の検査装置及び端末装置から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像及び検査画像に含まれる配管を撮像するためのガイド画像に関するガイド情報を取得し、検査画像に基づいて配管の確からしさを示す確信度を算出し、確信度に基づいて検査画像に配管が含まれるか否かを認識し、配管として認識した領域及びガイド情報に基づいて設備工事の検査を実施し、実施した検査の結果を端末装置に通知する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
端末装置から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像、および前記検査画像に含まれる前記配管を撮像するためのガイド画像に関するガイド情報を取得する取得部と、
前記検査画像に基づいて配管の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査画像に配管が含まれるか否かを認識する認識部と、
前記配管として認識された領域および前記ガイド情報に基づいて設備工事の検査を実施する検査部と、
前記検査部により実施された検査の結果を前記端末装置に通知する通知部と、
を備える、設備工事の検査装置。
【請求項2】
前記ガイド画像は、前記配管の内径側に配置される第1画像と、前記配管の外径側に配置される第2画像と、前記第1画像と前記第2画像に重なる一対の第3画像とを含み、
前記第1画像および前記第2画像は、施工者により選択された配管の曲げ半径に対応した形状を有し、
前記検査部は、前記ガイド情報に基づいて前記第1画像を再現した領域が前記配管として認識された領域に重複している場合に、前記配管の施工が適切に行われてないと判定する
請求項1に記載の設備工事の検査装置。
【請求項3】
前記検査部は、前記第1画像と前記配管として認識された領域とが隣接する範囲のうち、一部の範囲を除外して検査を実施する、
請求項2に記載の設備工事の検査装置。
【請求項4】
端末装置から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像、および前記検査画像に含まれる前記配管を撮像するためのガイド画像に関するガイド情報を取得するステップと、
前記検査画像に基づいて配管の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査画像に配管が含まれるか否かを認識するステップと、
前記配管として認識された領域および前記ガイド情報に基づいて設備工事の検査を実施するステップと、
検査の結果を通知するステップと、
を有する、設備工事の検査方法。
【請求項5】
コンピュータに、
端末装置から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像、および前記検査画像に含まれる前記配管を撮像するためのガイド画像に関するガイド情報を取得させ、
前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出させ、前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識した結果を取得させるステップと、
前記配管として認識された領域および前記ガイド情報に基づいて設備工事の検査を実施させ、
検査の結果を通知させる、
設備工事の検査用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラムに関する。
【背景技術】
【0002】
従来より、施工状態を検査する技術が知られている。例えば、特許文献1-3には、複数の部材を用いた施工状態を高い精度で検査するための技術が記載されている。特許文献1には、電柱の分線用金物の施工状態を検査するための技術が記載され、特許文献2には、電柱の支持部材の施工状態を検査するための技術が記載されている。さらに、特許文献3には、設備工事に含まれる複数の検査項目に応じて検査対象物のガイド枠やマスクを表示することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-61709号公報
【特許文献2】特開2021-60887号公報
【特許文献3】特開2021-60888号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1-3に記載された施工状態の検査においては、検査対象物ごとに検査項目や、検査項目ごとに必要な精度などが規定されている場合が多く、簡単、且つ高精度に検査をすることが望まれている。
【0005】
本発明は、上記の課題に鑑みてなされたものであって、設備工事を簡単、且つ高精度に検査をすることができる設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
(1)本発明の一態様は、端末装置から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像、および前記検査画像に含まれる前記配管を撮像するためのガイド画像に関するガイド情報を取得する取得部と、前記検査画像に基づいて配管の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査画像に配管が含まれるか否かを認識する認識部と、前記配管として認識された領域および前記ガイド情報に基づいて設備工事の検査を実施する検査部と、前記検査部により実施された検査の結果を前記端末装置に通知する通知部と、を備える、設備工事の検査装置である。
【0007】
(2)本発明の一態様は、上記の設備工事の検査装置であって、前記ガイド画像は、前記配管の内径側に配置される第1画像と、前記配管の外径側に配置される第2画像と、前記第1画像と前記第2画像に重なる一対の第3画像とを含み、前記第1画像および前記第2画像は、施工者により選択された配管の曲げ半径に対応した形状を有し、前記検査部は、前記ガイド情報に基づいて前記第1画像を再現した領域が前記配管として認識された領域に重複している場合に、前記配管の施工が適切に行われてないと判定してよい。
【0008】
(3)本発明の一態様は、上記の設備工事の検査装置であって、前記検査部は、前記第1画像と前記配管として認識された領域とが隣接する範囲のうち、一部の範囲を除外して検査を実施してよい。
【0009】
(4)本発明の一態様は、端末装置から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像、および前記検査画像に含まれる前記配管を撮像するためのガイド画像に関するガイド情報を取得するステップと、前記検査画像に基づいて配管の確からしさを示す確信度を算出し、前記確信度に基づいて前記検査画像に配管が含まれるか否かを認識するステップと、前記配管として認識された領域および前記ガイド情報に基づいて設備工事の検査を実施するステップと、検査の結果を通知するステップと、を有する、設備工事の検査方法である。
【0010】
(5)本発明の一態様は、コンピュータに、端末装置から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像、および前記検査画像に含まれる前記配管を撮像するためのガイド画像に関するガイド情報を取得させ、前記検査画像に基づいて検査対象物の確からしさを示す確信度を算出させ、前記確信度に基づいて前記検査画像に検査対象物が含まれるか否かを認識した結果を取得させるステップと、前記配管として認識された領域および前記ガイド情報に基づいて設備工事の検査を実施させ、検査の結果を通知させる、設備工事の検査用プログラムである。
【発明の効果】
【0011】
本発明の一態様によれば、設備工事を簡単、且つ高精度に検査をすることができる。
【図面の簡単な説明】
【0012】
【
図1】実施形態の設備工事検査システムの一構成例を示すブロック図である。
【
図2】検査対象認識部の一例を示すブロック図である。
【
図3】設備工事検査システムにおける設備工事の検査処理の一例を示すシーケンス図である。
【
図4】施工検査サーバ装置における設備工事の検査処理の一例を示すフローチャートである。
【
図5】検査対象物を選択する画面の一例を示す図である。
【
図6】プリカチューブを検査するためのガイド画像を選択するための画面の一例を示す図である。
【
図7】プリカチューブの検査画像と、プリカチューブの認識結果との一例を示す図である。
【
図8】プリカチューブのタグ情報の一例を示す図である。
【
図9】プリカチューブのガイド画像の一例を示す図である。
【
図10】プリカチューブについてのガイド情報の一例を示す図である。
【
図11】プリカチューブの検査処理の一例を示す図である。
【
図12】プリカチューブの検査処理の他の一例を示す図である。
【
図13】プリカチューブの施工が所定の基準を満たしている検査結果画面の一例を示す図である。
【
図14】プリカチューブの施工が所定の基準を満たしていない検査結果画面の一例を示す図である。
【
図15】フェンスを検査するためのガイド画像を選択するための画面の一例を示す図である。
【
図16】フェンスにおける格子形状物の検査画像およびガイド画像の一例を示す図である。
【
図17】格子形状物の認識結果の一例を示す図である。
【
図18】フェンスのタグ情報の一例を示す図である。
【
図19】格子形状物のガイド情報の一例を示す図である。
【
図20】格子形状物の施工が基準を満たしている検査結果画面の一例を示す図である。
【
図21】フェンスにおける接合部の形状の一例を示す図である。
【
図22】フェンスにおける接合部の形状に対応したガイド画像の一例を示す図である。
【
図24】フェンスにおける接合部を含む検査画像にガイド画像を重畳させた画面の一例を示す図である。
【
図25】接合部のガイド情報の一例を示す図である。
【
図26】フェンス接合部の施工が基準を満たしている検査結果画面の一例を示す図である。
【
図27】フェンスの接合部における検査処理の一例を示す図である。
【
図28】絶縁ブッシングを検査するためのガイド画像を選択するための画面の一例を示す図である。
【
図29】絶縁ブッシングを含む検査画像および認識結果の一例である。
【
図30】絶縁ブッシングのタグ情報の一例を示す図である。
【
図31】絶縁ブッシングの検査処理の一例を示す図である。
【
図32】絶縁ブッシングについてのガイド情報の一例を示す図である。
【
図33】境界プレートを検査するためのガイド画像を選択するための画面の一例を示す図である。
【
図34】境界プレートおよび基礎部材の検査画像の一例を示す図である。
【
図35】境界プレートのガイド画像および認識結果の一例を示す図である。
【
図36】境界プレートおよび基礎部材のタグ情報の一例を示す図である。
【
図38】境界線と基礎部材との関係を示す図である。
【
図39】境界プレートについてのガイド画像の他の一例を示す図である。
【
図40】境界プレートおよび基礎部材の認識結果の一例を示す図である。
【
図41】境界プレートに関する検査結果の一例を示す図である。
【
図42】塗料空缶についてのガイドの種類を選択する画面の一例を示す図である。
【
図43】選択した塗料空缶の数量を設定する画面の一例を示す図である。
【
図44】塗料缶を含む検査画像の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明を適用した設備工事の検査装置、設備工事の検査方法、および設備工事の検査用プログラムを、図面を参照して説明する。
【0014】
実施形態の設備工事検査システムは、基地局の設備工事の現場作業員により撮像された画像を用いて、当該設備工事の検査を行う。実施形態の設備工事検査システムは、現場作業員により撮像された画像内に検査対象としての施工部材が存在しているか否か、施工部材が適切に施工されているか否かを判定することによって、簡単に、且つ高い精度で検査するものである。また、実施形態の設備工事検査システムは、判定結果(施工部材の認識結果、および検査結果)を現場作業員に提示することによって、現場作業員による画像撮影の手間や、設備工事の検査者による検査の手間や、設備工事に不備がある場合の再施工などの手間を軽減することができる。
【0015】
図1は、実施形態の設備工事検査システムの一構成例を示すブロック図である。設備工事検査システムは、例えば、一又は複数のユーザ端末装置100と、施工検査サーバ装置200と、管理端末300とを備える。ユーザ端末装置100、施工検査サーバ装置200、および管理端末300は、例えば、通信ネットワークNWに接続される。通信ネットワークNWに接続される各装置は、NIC(Network Interface Card)や無線通信モジュールなどの通信インターフェースを備えている(
図1では不図示)。通信ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、セルラー網などを含む。
【0016】
ユーザ端末装置100は、例えばスマートフォンやタブレット端末などのカメラ装置を備えた携帯型端末装置である。ユーザ端末装置100は、ブラウザやアプリケーションプログラムなどのUA(User Agent)が起動する。UAは、例えば、施工検査サーバ装置200と通信等をするためのアプリケーションである。ユーザ端末装置100は、UAとしての施工検査用アプリケーションを利用し、施工検査サーバ装置200から受信したコンテンツを用いて表示処理や操作の受け付け処理などを行う。また、ユーザ端末装置100は、施工検査用アプリケーションを利用して、ユーザの操作に基づく操作情報や撮影画像等を施工検査サーバ装置200に提供する。
【0017】
施工検査サーバ装置200は、設備工事の検査依頼を受け付け、設備工事の検査結果を提供する情報処理装置である。施工検査サーバ装置200は、例えば、連携API(Application Programming Interface)部210と、検査対象認識部220とを備える。連携API部210および検査対象認識部220といった機能部は、例えばCPU(Central Processing Unit)等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。
【0018】
連携API部210は、例えば、API部212と、画像処理部214と、検査部216と、制御部218とを備える。API部212は、ユーザ端末装置100から各種の情報を受け付ける処理や、ユーザ端末装置100にコンテンツを提供する処理などを行う。画像処理部214は、ユーザ端末装置100から取得した画像データに対して所定の画像処理を施す。以下、検査に用いる画像を検査画像と記載する。検査部216は、API部212により取得した検査画像および/または画像処理部214により処理された検査画像を用いて設備工事の検査処理を行う。制御部218は、検査対象認識部220における画像認識エンジンの起動等の制御を行う。
【0019】
検査対象認識部220は、例えば複数の画像認識エンジン222A、222B、・・・222N(Nは自然数)を備える。なお、複数の画像認識エンジンを総称する場合には単に画像認識エンジン222と記載する。各画像認識エンジン222は、複数の検査項目のうちの各検査項目に対応する。画像認識エンジン222は、検査項目における検査対象としての施工部材を認識する認識処理を行う。
【0020】
図2は、検査対象認識部の一例を示すブロック図である。検査対象認識部220は、例えば、学習画像データベース230と、学習処理部232と、認識処理部234と、結果出力部236とを備える。
【0021】
学習画像データベース230は、例えば管理端末300から取得した画像を学習画像として記憶するデータベースである。学習画像データベース230は、学習画像として、例えば正例画像を記憶する。正例画像とは、正常な状態の対象物体を撮像した画像である。正例画像は、例えば、基地局設備の工事において使用される工事部材を撮像した画像である。工事部材は、例えば、プリカチューブ(配管)、フェンス、絶縁ブッシング、基礎や境界標示物、塗料缶などの基地局設備の構成物である。正例画像は、工事部材名を含むタグ情報と対応付けられる。なお、正例画像には例えば工程名、検査項目名を示す情報が対応付けられてよい。なお、学習画像データベース230には、正例画像に限らず、学習画像として、工事部材とは異なる物体(異常状態の物体や不良品)を撮像した画像が記憶されてよい。
【0022】
学習処理部232には、学習画像データベース230から学習画像が供給される。学習処理部232は、学習画像を用いて認識処理を行い、判定結果を得る。学習処理部232は、施工部材を検出したという判定結果となるように認識処理部234(認識モデル234A)の処理パラメータを学習し、学習結果データを生成する。認識処理部234(認識モデル234A)の処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ(重み、バイアスともいう)である。学習結果データは、学習結果データ記憶部2341に記憶される。
【0023】
認識処理部234は、例えば、学習結果データ記憶部2341と、判定部2342とを有する。学習結果データ記憶部2341には、学習結果としての認識処理部234の処理パラメータが蓄積され、認識処理部234の処理パラメータは、学習処理部232によって更新される。認識処理部234は、検査画像を取得した場合、認識処理部234の処理パラメータに基づく認識モデル234Aを用いて特徴量を抽出する。判定部2342は、抽出した特徴量に基づいて、施工部材を検出する。認識処理部234は、判定部2342による判定結果を、認識結果として出力する。
【0024】
図3は、設備工事検査システムにおける設備工事の検査処理の一例を示すシーケンス図である。ユーザ端末装置100は、ユーザの操作に基づいて検査項目情報を施工検査サーバ装置200に送信し、検査画像および検査項目に対応したガイド情報を施工検査サーバ装置200に送信する。次に施工検査サーバ装置200は、検査画像に含まれる検査対象物の認識結果をユーザ端末装置100に送信し、さらに、検査対象物の検査結果をユーザ端末装置100に送信する。これにより、ユーザ端末装置100が指定した検査項目および検査対象物について、施工検査サーバ装置200が検査対象物を正確に認識できたか否か、および検査対象物の施工が適切に行われていることが検査されたか否かをユーザに通知することができる。
【0025】
図4は、施工検査サーバ装置における設備工事の検査処理の一例を示すフローチャートである。まず、連携API部210は、ユーザ端末装置100から受信した情報に基づいて設備工事における検査項目名を取得する(ステップS100)。連携API部210は、検査項目名を取得した時点において検査対象認識部220の起動リストを取得する。連携API部210は、ステップS100において取得した検査項目名と起動リストとを比較し(ステップS104)、取得した検査項目名に対応する画像認識エンジン222が起動しているか否かを判定する(ステップS106)。連携API部210は、検査項目名に対応した画像認識エンジン222が起動していない場合(ステップS106:NO)、検査項目名に対応した画像認識エンジン222を起動するよう制御する(ステップS108)。
【0026】
連携API部210は、検査項目名に対応した画像認識エンジン222が起動している場合(ステップS106:YES)、またはステップS108において検査項目名に対応する画像認識エンジン222を起動した後、画像ファイルおよび検査情報ファイルを取得する(ステップS110)。次に連携API部210は、取得した画像ファイルに含まれる検査画像に所定の画像処理を施す(ステップS112)。所定の画像処理は、例えば、エッジ化(先鋭化)処理や、明るさ補正処理などがある。ユーザ端末装置100は、所定の画像処理を施した検査画像を、検査項目名に対応した画像認識エンジン222に受け渡す。
【0027】
画像認識エンジン222は、連携API部210から取得した画像に基づいて検査項目名に対応した施工部材(検査対象)が存在するか否かを判定する認識処理を行う(ステップS114)。このとき、画像認識エンジン222は、施工部材ごとに確信度を算出する。また、画像認識エンジン222は、画像処理ごとに、施工部材の確信度を算出する。画像認識エンジン222は、施工部材の確信度が所定値以上である場合、当該施工部材が存在すると判定する。画像認識エンジン222は、施工部材が存在するという認識結果である場合(ステップS116:YES)、ステップS120に処理を進める。画像認識エンジン222は、施工部材が存在しないという認識結果である場合(ステップS116:NO)、検査画像を再取得する(ステップS118)。施工検査サーバ装置200は、検査画像を再取得する場合、ユーザ端末装置100に画像を再撮影する要求を送信する。
【0028】
連携API部210は、画像認識エンジン222により算出された施工部材の確信度と所定値とを比較する(ステップS120)。連携API部210は、所定値よりも高い確信度で施工部材が認識された検査画像を用いて、検査項目の判定処理を行う(ステップS122)。なお、検査項目の判定処理については後述する。連携API部210は、検査項目の判定処理の結果として、検査結果をユーザ端末装置100に送信する(ステップS124)。
【0029】
(プリカチューブ(配管)の検査)
以下、基地局設備におけるプリカチューブ(配管)の検査について説明する。
図5は、検査対象物を選択する画面の一例を示す図である。ユーザ端末装置100は、ユーザの操作に基づいて
図5に示す検査対象物の選択画面を表示し、選択画面に対する操作を受け付けることで、どの検査対象物が選択されたのかを認識する。ユーザ端末装置100は、プリカチューブが選択された場合、
図6に示す画面を表示する。
図6は、プリカチューブを検査するためのガイド画像を選択するための画面の一例を示す図である。実施形態において、例えばプリカチューブの仕様として4つのパターンに対応したガイド画像が選択可能である。プリカチューブの仕様は例えばプリカチューブの径の太さであり、ユーザは施工したプリカチューブの径の太さを選択する。これにより、設備工事検査システムは、施工したプリカチューブの径の太さに対応した曲げ半径を検査することができる。
【0030】
図7は、プリカチューブの検査画像と、プリカチューブの認識結果との一例を示す図であり、
図8は、プリカチューブのタグ情報の一例を示す図であり、
図9は、プリカチューブのガイド画像の一例を示す図であり、
図10は、プリカチューブについてのガイド情報の一例を示す図である。ユーザ端末装置100は、
図7(A)に示す検査画像を撮像して施工検査サーバ装置200に送信する。施工検査サーバ装置200は、検査画像に対してプリカチューブの認識処理を行い、
図7(B)に示すプリカチューブとして認識された検査画像中の領域に、タグ情報#1を付与する。タグ情報は、画像認識エンジン222の認識結果としてのタグ名「u-tube」を含む。なお、施工検査サーバ装置200は、一つの検査画像に複数のプリカチューブが認識された場合に、プリカチューブの認識に失敗したという認識結果を生成してよい。
【0031】
ユーザ端末装置100は、
図9に示すプリカチューブのガイド画像を表示させ、例えばガイド画像の位置を決定する操作を受け付けた場合に、ガイド情報を施工検査サーバ装置200に送信する。ガイド画像は、プリカチューブの内径側に配置される内径側ガイド(第1画像)と、プリカチューブの外径側に配置される外径側ガイド(第2画像)と、内径側ガイドと外径側ガイドに重なる一対の位置決め用ガイド(第3画像)とを含む。内径側ガイドおよび外径側ガイドは、ユーザ(施工者)により選択されたプリカチューブの曲げ半径(仕様)に対応した形状を有する。位置決め用ガイドは、選択されたプリカチューブの内径部と外径部との距離だけ離れた一対の矩形領域である。ユーザ端末装置100は、ガイド画像が位置決めされた操作を受け付けた場合に、内径側ガイド(ガイド円)の中心座標(x,y)およびガイド円の半径(r)を示す送信情報を施工検査サーバ装置200に送信する。
【0032】
図11は、プリカチューブの検査処理の一例を示す図である。施工検査サーバ装置200は、ユーザ端末装置100から受信した内径側ガイド(ガイド円)の中心座標C(x,y)および内径側ガイドの半径rを用いて、検査画像中に内径側ガイドを再現する。施工検査サーバ装置200は、再現した内径側ガイドがプリカチューブとして認識された領域に重複していない場合にプリカチューブの施工が適切に行われていると判定し、再現した内径側ガイドがプリカチューブとして認識された領域に重複している場合にプリカチューブの施工が適切に行われてないと判定する。
【0033】
図12は、プリカチューブの検査処理の他の一例を示す図である。施工検査サーバ装置200は、再現した内径側ガイドとプリカチューブとして認識された領域とが隣接する範囲のうち、一部の範囲を除外して検査を実施してよい。施工検査サーバ装置200は、例えば、内径側ガイドの中心座標Cから下に所定距離だけ離れた範囲を除外範囲として設定する。所定距離は、例えば、半径rに所定の設定値(例えば0.7)を乗算した長さである。施工検査サーバ装置200は、除外範囲の外において、再現した内径側ガイドがプリカチューブとして認識された領域に重複していない場合にプリカチューブの施工が適切に行われていると判定し、再現した内径側ガイドがプリカチューブとして認識された領域に重複している場合にプリカチューブの施工が適切に行われてないと判定する。なお、内径側ガイドの中心座標Cから半径rを0.7倍した距離から下の範囲を除外範囲として設定したが、これに限定されず、内径側ガイドの最下部が手振れ等で誤って重複してしまう可能性を低減することができれば除外範囲を変更してよい。
【0034】
図13は、プリカチューブの施工が所定の基準を満たしている検査結果画面の一例を示す図であり、
図14は、プリカチューブの施工が所定の基準を満たしていない検査結果画面の一例を示す図である。施工検査サーバ装置200は、検査結果をユーザ端末装置100に送信し、ユーザ端末装置100は、検査結果に基づいて
図13または
図14に示す検査結果画面を表示させる。
【0035】
(フェンスの検査)
以下、基地局設備におけるフェンスの検査について説明する。
ユーザ端末装置100は、検査対象物としてフェンスが選択された場合、
図15に示す画面を表示する。
図15は、フェンスを検査するためのガイド画像を選択するための画面の一例を示す図である。実施形態において、例えばフェンスの格子形状物の場所や、フェンスにおける接合部の形状に対応したガイド画像が選択可能である。これにより、設備工事検査システムは、施工したフェンスの場所や接合部の形状に対応したフェンスの検査を実施することができる。
【0036】
図16は、フェンスにおける格子形状物の検査画像およびガイド画像の一例を示す図であり、
図17は、格子形状物の認識結果の一例を示す図であり、
図18は、フェンスのタグ情報の一例を示す図であり、
図19は、格子形状物のガイド情報の一例を示す図である。ユーザ端末装置100は、
図16に示すような格子形状物を含む検査画像を撮像して施工検査サーバ装置200に送信する。施工検査サーバ装置200は、検査画像に対して格子形状物の認識処理を行い、
図17に示す格子形状物として認識された検査画像中の領域に、タグ情報(#1または#2)を付与する。タグ情報は、画像認識エンジン222の認識結果としてのタグ名「chidori-gin」または「chidori-cha」を含む。
【0037】
ユーザ端末装置100は、
図16に示す格子形状物のガイド画像を表示させ、例えばガイド画像の位置を決定する操作を受け付けた場合に、ガイド情報を施工検査サーバ装置200に送信する。ガイド画像は、一方向において所定間隔ごとに並んだ複数の円形画像を含む。各円形画像の領域は、格子形状物が含まれているか否かが検査される検査領域に相当する。ユーザ端末装置100は、ガイド画像が位置決めされた操作を受け付けた場合に、各円形画像の中心座標(x1,y1,x2,y2,・・・)および半径(r)を示す送信情報を施工検査サーバ装置200に送信する。
【0038】
施工検査サーバ装置200は、ガイド情報を用いて、認識された格子形状物の数と円形画像(検査領域)の数とが同じであるか否かを検査する。施工検査サーバ装置200は、
図16に示したようにガイド画像の個数が4個であり、
図17に示した格子形状物のタグ情報が付与された領域の数が4個であるので、格子形状物の施工が所定の基準を満たしているという検査結果を生成する。
【0039】
図20は、格子形状物の施工が基準を満たしている検査結果画面の一例を示す図である。施工検査サーバ装置200は、検査結果をユーザ端末装置100に送信し、ユーザ端末装置100は、検査結果に基づいて
図20に示す検査結果画面を表示させる。
【0040】
次にフェンスの接合部の検査について説明する。
図21は、フェンスにおける接合部の形状の一例を示す図であり、
図22は、フェンスにおける接合部の形状に対応したガイド画像の一例を示す図である。フェンスにおける接合部の形状は、
図21に示すように複数種類あり、ユーザの操作に基づいていずれかが選択される。ユーザ端末装置100は、選択されたフェンスにおける接合部の形状を示す情報を検査項目情報として施工検査サーバ装置200に送信し、さらに、接合部を含む検査画像を撮像して施工検査サーバ装置200に送信する。施工検査サーバ装置200は、検査画像に対して接合部におけるナット(締結物)の認識処理を行い、ナットとして認識された検査画像中の領域に、タグ情報(
図18の#3または#4)を付与する。タグ情報は、画像認識エンジン222の認識結果としてのタグ名「nut-gin」または「nut-cha」を含む。
図23は、ナットの認識結果の一例を示す図である。
【0041】
図24は、フェンスにおける接合部を含む検査画像にガイド画像を重畳させた画面の一例を示す図であり、
図25は、接合部のガイド情報の一例を示す図である。ガイド画像は、フェンスの格子形状物を支持する支柱に対応した形状の支柱ガイド画像と、支柱同士を締結するナット(締結物)に対応したナットガイド画像とを含む。ユーザ端末装置100は、ガイド画像が位置決めされた操作を受け付けた場合に、ナットガイド画像の中心座標(x1,y1,x2,y2,・・・)および半径(r)を示す送信情報を施工検査サーバ装置200に送信する。
【0042】
施工検査サーバ装置200は、ガイド情報を用いて、検査画像から認識されたナット(締結物)の数と円形画像(検査領域)の数とが同じであるか否かを検査する。施工検査サーバ装置200は、
図24に示したようにナットガイド画像の個数が2個であり、ナットのタグ情報が付与された領域の数が2個である場合、格子形状物の施工が所定の基準を満たしているという検査結果を生成する。施工検査サーバ装置200は、検査結果をユーザ端末装置100に送信し、ユーザ端末装置100は、検査結果に基づいて検査結果画面を表示させる。
【0043】
図26は、フェンス接合部の施工が基準を満たしている検査結果画面の一例を示す図である。施工検査サーバ装置200は、検査結果をユーザ端末装置100に送信し、ユーザ端末装置100は、検査結果に基づいて
図26に示す検査結果画面を表示させる。
【0044】
図27は、フェンスの接合部における検査処理の一例を示す図である。施工検査サーバ装置200は、ユーザ端末装置100から受信したナットガイド画像の中心座標C(x,y)および内径側ガイドの半径rを用いて、検査画像中にナットガイド画像を再現する。施工検査サーバ装置200は、再現したナットガイド画像中に、1つ以上のナットとして認識された領域の重心座標が存在する場合、当該再現したナットガイド画像について、ナットが所定の基準を満たしていると判定する。施工検査サーバ装置200は、再現したナットガイド画像ごとに判定を行うことで、フェンスの接合部の検査結果を生成する。
【0045】
以下、絶縁ブッシングの検査について説明する。絶縁ブッシングは、例えば接合部におけるボルトと共に取り付けられる。
図28は、絶縁ブッシングを検査するためのガイド画像を選択するための画面の一例を示す図であり、
図29は、絶縁ブッシングを含む検査画像および認識結果の一例であり、
図30は、絶縁ブッシングのタグ情報の一例を示す図である。
【0046】
ユーザ端末装置100は、検査対象物として絶縁ブッシングが選択された場合、
図28に示す画面を表示する。ユーザ端末装置100は、例えば、「絶縁ありボルト側」または「絶縁ありナット側」が選択された場合、検査項目情報と共に、
図29(A)のように絶縁ブッシングを含む検査画像を、施工検査サーバ装置200に送信する。施工検査サーバ装置200は、検査画像に対して絶縁ブッシングの認識処理を行い、
図29(B)に示すように絶縁ブッシングとして認識された検査画像中の領域に、タグ情報(#2)を付与する。タグ情報は、画像認識エンジン222の認識結果としてのタグ名「bush-black」または「bush-white」を含む。なお、実施形態において、絶縁ありボルト側」および「絶縁ありナット側」以外の項目が選択された場合、ユーザ端末装置100は、検査項目情報を施工検査サーバ装置200に送信しなくてよく、施工検査サーバ装置200による認識処理および検査処理を行わなくてもよい。
【0047】
図31は、絶縁ブッシングの検査処理の一例を示す図であり、
図32は、絶縁ブッシングについてのガイド情報の一例を示す図である。ユーザ端末装置100は、例えばユーザの操作に基づいて検査画像のうち絶縁ブッシングが存在する座標範囲(x1,y1,x2,y2)を表す情報を生成し、施工検査サーバ装置200に送信する。施工検査サーバ装置200は、ユーザ端末装置100から受信した座標範囲に、絶縁ブッシングとしての認識された領域の重心座標が一つ以上存在する場合、絶縁ブッシングの施工が所定の基準を満たしているという検査結果を生成する。
【0048】
(境界標示物の検査)
以下、基地局設備における境界標示物の検査について説明する。
ユーザ端末装置100は、ユーザの操作に基づいて
図5に示す検査対象物の選択画面を表示し、選択画面に対する操作を受け付けることで、どの検査対象物が選択されたのかを認識する。ユーザ端末装置100は、境界プレート(境界標示物)が選択された場合、
図33に示す画面を表示する。
図33は、境界プレートを検査するためのガイド画像を選択するための画面の一例を示す図である。実施形態において、例えば境界プレートと基礎部材との関係として3つの構図パターンに対応したガイド画像が選択可能である。この構図パターンは、例えば「水平」、「直角」、および「逆直角」と呼ばれ、ユーザは施工した構図パターンを選択する。これにより、設備工事検査システムは、構図パターンに対応した境界プレートの検査を実施することができる。
【0049】
図34は、境界プレートおよび基礎部材の検査画像の一例を示す図であり、
図35は、境界プレートのガイド画像および認識結果の一例を示す図であり、
図36は、境界プレートおよび基礎部材のタグ情報の一例を示す図であり、
図37は、ガイド情報の一例を示す図である。ユーザ端末装置100は、
図34に示す検査画像を撮像して施工検査サーバ装置200に送信する。施工検査サーバ装置200は、検査画像に対して境界プレートおよび基礎部材の認識処理を行い、
図35に示す境界プレートとして認識された検査画像中の領域に、タグ情報#1を付与する。タグ情報は、画像認識エンジン222の認識結果としてのタグ名「pura」を含む。
【0050】
ユーザ端末装置100は、境界プレートのガイド画像を表示させ、例えばガイド画像の向きを決定する操作を受け付けた場合に、ガイド情報を施工検査サーバ装置200に送信する。ガイド画像は、境界プレートに対応したガイド画像と、境界プレートから延びる2本の境界線に対応したガイド画像とを含む。境界プレートに対応したガイド画像と境界線に対応したガイド画像との関係は、ユーザにより選択された向きによって決定され、ユーザにより選択された向き情報は、ガイド情報として施工検査サーバ装置200に送信される。例えば、ユーザが、「直角」およびleftを選択した場合、ユーザ端末装置100は、
図35(A)に示すガイド画像を表示させ、leftを示すガイド情報を施工検査サーバ装置200に送信する。例えば、ユーザが、「直角」およびrightを選択した場合、ユーザ端末装置100は、
図35(B)に示すガイド画像を表示させ、rightを示すガイド情報を施工検査サーバ装置200に送信する。
図35(A)におけるX方向に平行な境界線は、Y方向における下端から1/3の座標y1に位置し、Y方向に平行な境界線は、X方向における右端から2/3の座標x1に位置する。
図35(B)におけるX方向に平行な境界線は、Y方向における下端から1/3の座標y1に位置し、Y方向に平行な境界線は、X方向における右端から1/3の座標x2に位置する。
【0051】
施工検査サーバ装置200は、直角または逆直角のガイド画像を選択した場合、境界線の交わる座標と、境界プレートであると認識した領域とが重なるときに境界プレートが所定の場所に存在していると判定する。施工検査サーバ装置200は、水平のガイド画像を選択した場合、境界線と境界プレートであると認識した領域とが交わるときに境界プレートが所定の場所に存在していると判定する。施工検査サーバ装置200は、所定の場所に境界プレートが存在しないと判定した場合、境界プレートが検出することができなかったことをユーザ端末装置100に通知する。
【0052】
図38は、境界線と基礎部材との関係を示す図である。施工検査サーバ装置200は、選択された構図パターンと向き情報に基づいて、基礎部材と境界線との位置関係を判定する。施工検査サーバ装置200は、
図38(A)のように、構図パターンとして「直角」が選択され、向きがleftである場合、基礎部材のX方向における最大値x12がY軸に平行な境界線のX方向位置x11よりも小さく、基礎部材のY方向における最大値y12がX軸に平行な境界線のY方向位置y11よりも小さい場合、境界プレートと基礎部材との位置関係が適切であると判定する。施工検査サーバ装置200は、
図38(B)のように、構図パターンとして「水平」が選択され、向きがleftである場合、基礎部材のY方向における最大値y12がX軸に平行な境界線のY方向位置y11よりも小さい場合、境界プレートと基礎部材との位置関係が適切であると判定する。施工検査サーバ装置200は、
図38(C)のように、構図パターンとして「逆直角」が選択され、向きがleftである場合、2本の境界線の交点と、XおよびYの最大値の点(画像中右下の点)とを対角線とする長方形の内部に基礎部材が存在しない場合、境界プレートと基礎部材との位置関係が適切であると判定する。
【0053】
施工検査サーバ装置200は、
図38(D)のように、構図パターンとして「直角」が選択され、向きがrightである場合、基礎部材のX方向における最小値x22がY軸に平行な境界線のX方向位置x21よりも小さく、基礎部材のY方向における最大値y22がX軸に平行な境界線のY方向位置y21よりも小さい場合、境界プレートと基礎部材との位置関係が適切であると判定する。施工検査サーバ装置200は、
図38(E)のように、構図パターンとして「水平」が選択され、向きがrightである場合、基礎部材のY方向における最大値y22がX軸に平行な境界線のY方向位置y21よりも小さい場合、境界プレートと基礎部材との位置関係が適切であると判定する。施工検査サーバ装置200は、
図38(F)のように、構図パターンとして「逆直角」が選択され、向きがrightである場合、2本の境界線の交点と、XおよびYの最小値の点(画像中左下の点)とを対角線とする長方形の内部に基礎部材が存在しない場合、境界プレートと基礎部材との位置関係が適切であると判定する。
【0054】
図39は、境界プレートについてのガイド画像の他の一例を示す図であり、
図40は、境界プレートおよび基礎部材の認識結果の一例を示す図であり、
図41は、境界プレートに関する検査結果の一例を示す図である。上述したように、ユーザ端末装置100は、構図パターンを選択し、境界線を含むガイド画像を検査画像に重畳させて表示させることによりガイド画像の向き情報を生成して施工検査サーバ装置200に送信してよい。施工検査サーバ装置200は、検査画像を認識することにより境界プレートの領域および基礎部材の領域を認識し、構図パターンおよび向き情報に基づいて、ユーザがガイド画像に合わせて撮影した境界線近傍に境界プレートが存在していること、および境界プレートに基づく境界線を超えて基礎部材が存在していないことを判定することができる。この結果、施工検査サーバ装置200は、検査結果をユーザ端末装置100に送信し、ユーザ端末装置100は、検査結果に基づいて
図41に示す検査結果画面を表示させる。
【0055】
(塗料缶の検査)
以下、基地局設備における塗料缶の検査について説明する。
図42は、塗料空缶についてのガイドの種類を選択する画面の一例を示す図であり、
図43は、選択した塗料空缶の数量を設定する画面の一例を示す図であり、
図44は、塗料缶を含む検査画像の一例を示す図であり、
図45は、塗料缶の認識結果の一例を示す図であり、
図46は、塗料缶の検査結果の一例を示す図である。ユーザ端末装置100は、
図42の画面を表示させることで基地局の施工に使用した塗料缶の用途を選択させ、
図43の画面を表示させることで塗料缶の必要数量を選択させ、選択した塗料缶の用途および必要数量をガイド情報として施工検査サーバ装置200に送信する。さらに、ユーザ端末装置100は、
図44に示すように検査画像を撮像して施工検査サーバ装置200に送信する。施工検査サーバ装置200は、
図45に示すように塗料缶を認識し、ガイド情報および認識結果に基づいて塗料缶を用いた施工が所定の基準を満たしている場合、
図46に示すような検査結果を表示する。
【0056】
(実施形態の効果)
以上説明した実施形態によれば、ユーザ端末装置100から、検査項目が配管であることを示す検査項目情報、曲げ施工により設置された配管を撮像した検査画像、および検査画像に含まれる配管を撮像するためのガイド画像に関するガイド情報を取得するAPI部212と、検査画像に基づいて配管の確からしさを示す確信度を算出し、確信度に基づいて検査画像に配管が含まれるか否かを認識する検査対象認識部220と、配管として認識された領域およびガイド情報に基づいて設備工事の検査を実施する検査部216と、検査部216により実施された検査の結果をユーザ端末装置100に通知する連携API部210と、を備える、設備工事の検査装置を実現することができる。実施形態によれば、曲げ施工により設置された配管に関する設備工事を簡単、且つ高精度に検査をすることができる。
【0057】
実施形態によれば、ユーザ端末装置100から、検査項目がフェンスの構成物であることを示す検査項目情報、フェンスの構成物を撮像した検査画像、および検査画像に含まれるフェンスの構成物を撮像するためのガイド画像に関するガイド情報を取得するAPI部212と、検査画像に基づいてフェンスの構成物の確からしさを示す確信度を算出し、確信度に基づいて検査画像にフェンスの構成物が含まれるか否かを認識する検査対象認識部220と、ガイド情報に基づくフェンスの構成物の数と認識されたフェンスの構成物の数とが同じであるか否かを検査する検査部216と、検査部216により実施された検査の結果をユーザ端末装置100に通知するAPI部212と、を備える、設備工事の検査装置を実現することができる。実施形態によれば、フェンスの構成物としての格子形状物や締結物や絶縁ブッシングに関する設備工事を簡単、且つ高精度に検査をすることができる。
【0058】
実施形態によれば、ユーザ端末装置100から、検査項目が境界標示物であることを示す検査項目情報、境界標示物および設備の一部を撮像した検査画像、および検査画像に含まれる境界標示物を撮像するためのガイド画像に関するガイド情報を取得するAPI部212と、検査画像に基づいて境界標示物の確からしさを示す確信度を算出して確信度に基づいて検査画像に境界標示物が含まれるか否かを認識し、検査画像に基づいて設備の確からしさを示す確信度を算出して確信度に基づいて検査画像に設備が含まれるか否かを認識する検査対象認識部220と、検査画像を撮像した向き情報に基づく境界標示物として認識された領域から延びる境界線と、設備として認識された領域との位置関係に基づいて設備工事の検査を実施する検査部216と、検査部216により実施された検査の結果をユーザ端末装置100に通知するAPI部212と、を備える、設備工事の検査装置を実現することができる。実施形態によれば、境界標示物および設備に関する設備工事を簡単、且つ高精度に検査をすることができる。
【0059】
なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の1または複数の実施形態や他の1または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。
【0060】
本実施形態におけるユーザ端末装置100や施工検査サーバ装置200の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、ユーザ端末装置100や施工検査サーバ装置200に係る上述した種々の処理を行ってもよい。
【0061】
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリなどの書き込み可能な不揮発性メモリ、CD-ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
【0062】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic
Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
【0063】
ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0064】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。例えば、本発明の実施形態として、ユーザ端末装置100だけで構成される場合もある。
【符号の説明】
【0065】
100 ユーザ端末装置
200 施工検査サーバ装置
210 連携API部
212 API部
214 画像処理部
216 検査部
218 制御部
220 検査対象認識部
222 画像認識エンジン