特開 2018-163654 電気通信インベントリ管理のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-163654(P2018-163654A)

(43)【公開日】2018年10月18日

(54)【発明の名称】電気通信インベントリ管理のためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20180921BHJP

   G06T 7/00 20170101ALI20180921BHJP

【ＦＩ】

   G06T7/70 A

   G06T7/00 350B

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

【全頁数】22

(21)【出願番号】特願2018-47479(P2018-47479)

(22)【出願日】2018年3月15日

(31)【優先権主張番号】201721010459

(32)【優先日】2017年3月24日

(33)【優先権主張国】IN

(71)【出願人】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100185269

【弁理士】

【氏名又は名称】小菅 一弘

(74)【代理人】

【識別番号】100202577

【弁理士】

【氏名又は名称】林 浩

(72)【発明者】

【氏名】ヘッバラグッペ ラムヤ スグナナ マーシー

(72)【発明者】

【氏名】ハッサン エフテシャム

(72)【発明者】

【氏名】ガウラフ

(72)【発明者】

【氏名】ゴシュ ヒランマイ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA05

5L096FA35

5L096FA66

5L096FA69

5L096HA01

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】電気通信インベントリ管理のためのシステムおよび方法が提供される。
【解決手段】方法が、電気通信資産を有する地理的地域のストリートビュー画像を得るステップを含む。電気通信資産を、対応するＧＰＳ位置座標と関連づける。対象物認識モデルをストリートビュー画像に適用して、ストリートビュー画像内で電気通信資産を検出する。電気通信資産を検出するステップが、電気通信資産を、対応する資産ラベルと関連づけるステップを含む。ストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で電気通信資産の実世界の位置を推定する。多視点画像のセットを、地理的地域内で電気通信資産の近辺の、複数の連続する位置から取り込む。推定した実世界の位置に少なくとも基づき、電気通信資産のＧＰＳ位置座標を検証する。
【選択図】図５

【特許請求の範囲】

【請求項1】

電気通信インベントリ管理のためのプロセッサ実装方法であって、
１つまたは複数のハードウェアプロセッサを介して、対応する全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）位置座標と関連づけられた１つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップと、
前記１つまたは複数のハードウェアプロセッサを介して、前記複数のストリートビュー画像に対象物認識モデルを適用して、前記複数のストリートビュー画像内で前記１つまたは複数の電気通信資産を検出するステップであって、前記１つまたは複数の電気通信資産を検出する前記ステップが、前記１つまたは複数の電気通信資産を、対応する資産ラベルと関連づけることを備える、ステップと、
前記１つまたは複数のハードウェアプロセッサを介して、前記複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、前記地理的地域内で前記１つまたは複数の電気通信資産の実世界の位置を推定するステップであって、前記多視点画像のセットを、前記地理的地域内で前記１つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込むステップと、
前記１つまたは複数のハードウェアプロセッサを介して、前記１つまたは複数の資産の前記ＧＰＳ位置座標と前記推定した実世界の位置を比較することにより、前記推定した実世界の位置に少なくとも基づき、前記１つまたは複数の電気通信資産の前記ＧＰＳ位置座標を検証するステップと
を備える方法。

【請求項2】

前記１つまたは複数の電気通信資産は、接続箱、マンホール、キャビネット、および電柱を備える、請求項１に記載の方法。

【請求項3】

前記対象物認識モデルは、勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ、ＨＯＧ）−サポート・ベクター・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）モデル、ＳＶＭモデル、およびより高速なＲＣＮＮモデルのうち１つを備える、請求項１に記載の方法。

【請求項4】

前記対象物認識モデルを適用する前記ステップの前に、前記対象物認識モデルをトレーニングして、複数のトレーニング画像内で前記１つまたは複数の電気通信資産を検出するステップをさらに備える、請求項１に記載の方法。

【請求項5】

前記対象物認識モデルをトレーニングする前記ステップは、
前記複数のトレーニング画像内で前記１つまたは複数の電気通信資産を識別するステップであって、前記１つまたは複数の電気通信資産の各々が、前記複数のトレーニング画像のうち対応するトレーニング画像内でバウンディングボックスに取り囲まれているステップと、
前記バウンディングボックスに取り囲まれた、前記識別された１つまたは複数の電気通信資産の各々に、対応するラベルを割り当てるステップと
を備える、請求項４に記載の方法。

【請求項6】

前記対象物認識モデルを適用して、前記複数のストリートビュー画像内で前記１つまたは複数の電気通信資産を検出する前記ステップは、
前記多視点画像のセット内で、前記１つまたは複数の電気通信資産のうち１つの電気通信資産、および前記対応する資産ラベルを含有するバウンディングボックスを予測するステップと、
予測のしきい値に基づき、前記予測したバウンディングボックスに信頼度スコアを割り当てるステップと
を備える、請求項１に記載の方法。

【請求項7】

前記１つまたは複数の電気通信資産の前記実世界の位置を推定する前記ステップは、
マッチングモデルを使用して、前記多視点画像のセット内で複数の点対応を識別するステップと、
前記複数の点対応に少なくとも基づき、前記１つまたは複数の電気通信資産のうち１つの電気通信資産の前記実世界の位置を推定するステップと、
前記推定した実世界の位置に基づき、前記電気通信資産の前記ＧＰＳ位置座標を更新するステップと
を備える、請求項１に記載の方法。

【請求項8】

電気通信インベントリ管理のためのシステムであって、
１つまたは複数のメモリと、
前記１つまたは複数のメモリが結合した１つまたは複数のハードウェアプロセッサとを備え、前記１つまたは複数のハードウェアプロセッサが、前記１つまたは複数のメモリに記憶された、プログラムされた命令により、
対応するＧＰＳ位置座標と関連づけられた１つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得て、
前記複数のストリートビュー画像に対象物認識モデルを適用して、前記複数のストリートビュー画像内で前記１つまたは複数の電気通信資産を検出し、前記１つまたは複数の電気通信資産を検出することが、前記１つまたは複数の電気通信資産を、対応する資産ラベルと関連づけることを含み、
前記複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、前記地理的地域内で前記１つまたは複数の電気通信資産の実世界の位置を推定し、前記多視点画像のセットを、前記地理的地域内で前記１つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込み、
前記１つまたは複数の資産の前記ＧＰＳ位置座標と前記推定した実世界の位置を比較することにより、前記推定した実世界の位置に少なくとも基づき、前記１つまたは複数の電気通信資産の前記ＧＰＳ位置座標を検証する
ように構成されたシステム。

【請求項9】

前記１つまたは複数の電気通信資産は、接続箱、マンホール、キャビネット、および電柱を備える、請求項８に記載のシステム。

【請求項10】

前記対象物認識モデルは、ＨＯＧ−ＳＶＭモデル、ＳＶＭモデル、およびより高速なＲＣＮＮモデルのうち１つを備える、請求項８に記載のシステム。

【請求項11】

前記対象物認識モデルを適用することの前に、前記１つまたは複数のハードウェアプロセッサは、前記命令により、前記対象物認識モデルをトレーニングして、複数のトレーニング画像内で前記１つまたは複数の電気通信資産を検出するようにさらに構成される、請求項８に記載のシステム。

【請求項12】

前記対象物認識モデルをトレーニングするために、前記１つまたは複数のハードウェアプロセッサは、前記命令により、
前記複数のトレーニング画像内で前記１つまたは複数の電気通信資産を識別し、前記１つまたは複数の電気通信資産の各々が、前記複数のトレーニング画像のうち対応するトレーニング画像内でバウンディングボックスに取り囲まれていて、
前記バウンディングボックスに取り囲まれた、前記識別された１つまたは複数の電気通信資産の各々に、対応するラベルを割り当てる
ようにさらに構成される、請求項１１に記載のシステム。

【請求項13】

前記対象物認識モデルを適用して、前記複数のストリートビュー画像内で前記１つまたは複数の電気通信資産を検出するために、前記１つまたは複数のハードウェアプロセッサは、前記命令により、
前記多視点画像のセット内で、前記１つまたは複数の電気通信資産のうち１つの電気通信資産、および前記対応する資産ラベルを含有するバウンディングボックスを予測し、
予測のしきい値に基づき、前記予測したバウンディングボックスに信頼度スコアを割り当てる
ようにさらに構成される、請求項８に記載のシステム。

【請求項14】

前記１つまたは複数の電気通信資産の前記実世界の位置を推定するために、前記１つまたは複数のハードウェアプロセッサは、前記命令により、
マッチングモデルを使用して、前記多視点画像のセット内で複数の点対応を識別し、
前記複数の点対応に少なくとも基づき、前記１つまたは複数の電気通信資産のうち１つの電気通信資産の前記実世界の位置を推定し、
前記推定した実世界の位置に基づき、前記電気通信資産の前記ＧＰＳ位置座標を更新する
ようにさらに構成される、請求項８に記載のシステム。

【請求項15】

電気通信インベントリ管理のための方法を実行するためのコンピュータプログラムを具体化した非一時的コンピュータ可読媒体であって、前記方法は、
１つまたは複数のハードウェアプロセッサを介して、対応する全地球測位システム（ＧＰＳ）位置座標と関連づけられた１つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップと、
前記１つまたは複数のハードウェアプロセッサを介して、前記複数のストリートビュー画像に対象物認識モデルを適用して、前記複数のストリートビュー画像内で前記１つまたは複数の電気通信資産を検出するステップであって、前記１つまたは複数の電気通信資産を検出する前記ステップが、前記１つまたは複数の電気通信資産を、対応する資産ラベルと関連づけることを備える、ステップと、
前記１つまたは複数のハードウェアプロセッサを介して、前記複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、前記地理的地域内で前記１つまたは複数の電気通信資産の実世界の位置を推定するステップであって、前記多視点画像のセットを、前記地理的地域内で前記１つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込むステップと、
前記１つまたは複数のハードウェアプロセッサを介して、前記推定した実世界の位置に少なくとも基づき、前記１つまたは複数の電気通信資産の前記ＧＰＳ位置座標を検証するステップと
を備える非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照および優先権）
本出願は、２０１７年３月２４日に提出されたインド特許出願（タイトル：電気通信インベントリ管理のためのシステムおよび方法）であるインド特許出願公開第２０１７２１０１０４５９号明細書の優先権を主張する。前述の出願の内容全体が、参照により本明細書に組み込まれる。

【0002】

本明細書の実施形態は、一般に電気通信インベントリ管理に関し、より詳細にはストリートビュー画像を使用する対象物認識および位置測定による電気通信インベントリ管理に関する。

【背景技術】

【0003】

この数１０年間にわたり、電気通信業界は、技術の指数関数的成長を、したがって電気通信産業の顧客基盤の指数関数的成長を体験してきた。技術の変化、および顧客の期待が増すことにより、電気通信会社は、自社のネットワーク、および対応する装置を迅速に、徹底的に見直すために、きわめて強い圧力を受けてきた。電気通信会社はまた、費用を抑え続けて、株主を喜ばせ、満足させ続ける必要がある。このために、電気通信会社は、銅線ネットワークからファイバネットワークに性能を高めるために、地上および地下の電気通信資産に関して、それらの対応する位置と共に、正確な知識を有する必要がある。したがって、資産インベントリ管理は、とりわけ電気通信、電力設備、輸送などのインフラストラクチャサービスを提供する多くの組織にとって困難な問題である。

【発明の概要】

【0004】

以下は、実施形態を基本的に理解するために、本開示のいくつかの実施形態の簡略化した概略を示す。この概略は、実施形態の広範囲にわたる概観ではない。この概略は、実施形態の重要な／決定的に重要な要素を識別することを意図するものでも、実施形態の範囲を正確に叙述することを意図するものでもない。この概略の唯一の目的は、以下で提示する、より詳細な記述に対する導入として、いくつかの実施形態を簡略化した形で提示することである。

【0005】

前記を考慮すると、本明細書の実施形態が、電気通信インベントリ管理のための方法およびシステムを提供する。一様態では、電気通信インベントリ管理のためのプロセッサ実装方法が提供され、そこでは、方法が、１つまたは複数のハードウェアプロセッサを介して、１つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップを含む。１つまたは複数の電気通信資産が、対応する全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）位置座標と関連づけられる。さらに、方法が、１つまたは複数のハードウェアプロセッサを介して、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で１つまたは複数の電気通信資産を検出するステップを含む。１つまたは複数の電気通信資産を検出するステップが、１つまたは複数の電気通信資産を、対応する資産ラベルと関連づけることを含む。さらに、方法が、１つまたは複数のハードウェアプロセッサを介して、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で１つまたは複数の電気通信資産の実世界の位置を推定するステップを含む。地理的地域内で１つまたは複数の電気通信資産の近辺の、複数の連続する位置から、多視点画像のセットを取り込む。さらに、方法が、１つまたは複数のハードウェアプロセッサを介して、推定した実世界の位置に少なくとも基づき、１つまたは複数の電気通信資産のＧＰＳ位置座標を検証するステップを含む。

【0006】

別の様態では、電気通信インベントリ管理のためのシステムが提供される。システムが、１つまたは複数のメモリと、１つまたは複数のハードウェアプロセッサとを含み、１つまたは複数のメモリが、ハードウェアプロセッサに結合し、そこでは、１つまたは複数のハードウェアプロセッサが、１つまたは複数のメモリに記憶された、プログラムされた命令により、１つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るように構成される。１つまたは複数の電気通信資産が、対応するＧＰＳ位置座標と関連づけられる。さらに、１つまたは複数のハードウェアプロセッサが、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で１つまたは複数の電気通信資産を検出するための、プログラムされた命令を実行することができる。１つまたは複数の電気通信資産を検出することが、１つまたは複数の電気通信資産を、対応する資産ラベルと関連づけることを含む。さらに、１つまたは複数のハードウェアプロセッサが、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で１つまたは複数の電気通信資産の実世界の位置を推定するための、プログラムされた命令を実行することができる。多視点画像のセットを、地理的地域内で１つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込む。さらに、１つまたは複数のハードウェアプロセッサが、推定した実世界の位置に少なくとも基づき、１つまたは複数の電気通信資産のＧＰＳ位置座標を検証するための、プログラムされた命令を実行することができる。

【0007】

さらに別の様態では、電気通信インベントリ管理のための方法を実行するためのコンピュータプログラムを具体化した非一時的コンピュータ可読媒体が提供される。方法が、１つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップを含む。１つまたは複数の電気通信資産が、対応するＧＰＳ位置座標と関連づけられる。さらに、方法が、複数のストリートビュー画像に対象物認識モデルを適用して、１つまたは複数ストリートビュー画像内で１つまたは複数の電気通信資産を検出するステップを含む。１つまたは複数の電気通信資産を検出するステップが、１つまたは複数の電気通信資産を、対応する資産ラベルと関連づけるステップを含む。さらに、方法が、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で１つまたは複数の電気通信資産の実世界の位置を推定するステップを含む。多視点画像のセットを、地理的地域内で１つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込む。さらに、方法が、推定した実世界の位置に少なくとも基づき、１つまたは複数の電気通信資産のＧＰＳ位置座標を検証するステップを含む。

【0008】

添付図面を参照して詳細な記述を示す。図面では、参照番号の１つまたは複数の最も左の数字が、その参照番号が最初に出現する図面を識別する。類似の特徴およびモジュールを参照するために、図面全体を通して同じ番号を使用する。

【図面の簡単な説明】

【0009】

【図1】一例の実施形態による、多視点セットアップを使用してストリートビュー画像を取り込むことの一例の描写を示す。

【図2】電気通信インベントリ管理に関する電気通信資産の例を示す。

【図3】本主題の一実施形態による、電気通信インベントリ管理のネットワーク実装を示す。

【図4】一実施形態による、電気通信インベントリ管理のためのシステムの構成図を示す。

【図5】一例の実施形態による、電気通信インベントリ管理のための方法の流れ図を示す。

【図6】一例の実施形態による、三角測量法を使用する、電気通信資産の実世界の位置を推定するためのセットアップの一例の描写を示す。

【図7A】さまざまな実施形態による、電気通信資産を検出するために採用される、さまざまな対象物検出モデルに関する適合率・再現率（Ｐｒｅｃｉｓｉｏｎ Ｒｅｃａｌｌ、ＰＲ）曲線を示す。

【図7B】さまざまな実施形態による、電気通信資産を検出するために採用される、さまざまな対象物検出モデルに関する信頼度行列ヒート・マップ・プロットを示す。

【発明を実施するための形態】

【0010】

本明細書では、いずれの構成図も、本主題の原理を具体化する例示的システムおよび機器の概念図を提示していることを、当業者は理解されたい。同様に、いずれのフローチャート、流れ図なども、コンピュータ可読媒体の形で実質的に表されてもよいので、コンピュータまたはプロセッサが明示的に示されていようとなかろうと、そのようなコンピュータまたはプロセッサにより実行されてもよいさまざまな処理を表すことが認識されよう。

【0011】

電気通信インベントリ管理のためのシステムおよび方法が、本主題で開示される。一般に、電気通信分野で技術が急激に高まるために、電気通信会社は、自社のネットワークおよび対応する装置を迅速に徹底的に見直す圧力を絶えず受けている。電気通信会社はまた、費用を抑え続けて、株主を喜ばせ続ける必要がある。これは、電気通信会社が、銅線ネットワークからファイバネットワークに性能を高めるために、自社の地上および地下の資産に関して、それらの対応する位置と共に、正確な知識を有する必要があることを意味する。

【0012】

典型的には、電気通信会社は、電気通信装置を監視するために調査を請け負う監督者と共に責任を負う。たとえば、電気通信資産を銅線ネットワークからファイバネットワークに性能を高めるべき場合、監督者が地上および地下の電気通信資産を、労力を使って探索して、前記資産の対応する位置を更新する必要がある。したがって、資産インベントリ管理は、不正確にもなる場合がある労働集約的作業を伴う。さらに、現場調査でデータが更新されるのは、時間がかかり、大量の資源を必要とし、費用がかかることがわかる。

【0013】

いくつかの電気通信会社が、地理情報システム（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ、ＧＩＳ）に基づく資産管理システムの能力を活用し始めているが、そのようなシステムでは、資産データのかなりの割合が不完全である、または不正確である。すべての資産という条件で包括的電気通信インベントリを作成することは、収集しなければならないデータが大量であるために、困難である。電気通信会社は、調査のための肉体労働のために、高い費用を背負い込む。不正確で不完全なデータが、（ａ）新しい装置を追加する場合の計画段階での遅延、（ｂ）計画を終える前に追加調査が必要であること、（ｃ）顧客の注文履行に影響を与えるような、新規需要から収益化までの遅延につながる。

【0014】

本明細書で開示するさまざまな実施形態が、従来の電気通信資産管理システムの、前述の限界を無効にすることができるような、資産インベントリ管理のための方法およびシステムを提供する。たとえば、一実施形態では、本開示の方法が、対象物認識／位置測定に基づきコンピュータビジョン技法を利用するリーディング・エッジ・アルゴリズムを使用して、ストリートビュー画像から地上インベントリ詳細を識別することにより、調査要件を低減する。ストリートビュー画像を使用することにより、コンピューティング機器で、たとえば、デスクトップ、タブレットなどで、きわめて楽に、肉体労働を回避して、調査を行うのに役立つ。ストリートビュー画像が、「ストリートビュー」の観点から地理的地域を眺める能力を提供する。ストリートビュー画像が、たとえば車両搭載カメラにより取り込まれてもよい、および／または個人により与えられてもよく、対応する周囲の地理的地域のパノラマ式外観を作成するために一緒につなぎ合わせられる。前記ストリートビュー画像は、車両が道路に沿って走行するときに取り込まれる。地理的地域ごとに地理的地域の３６０°ビューを取り込むために、複数の方向角に対応する複数の画像を得てもよい。たとえば、車両搭載画像取込機器が、特有の地理的地域から、異なる方向角増分で８つの異なるストリートビュー画像を取り込む９つのレンズを利用してもよい。そこでは、対象物の複数の方向角に対応する複数の画像を、多視点画像と呼んでもよい。多視点画像を取り込む一例を図１に示す。

【0015】

図１を参照すると、多視点セットアップを使用してストリートビューを取り込む一例の描写１００が示されている。図示するように、電気通信資産、たとえばキャビネット１０２が、通り１１４の片側に設置されている。多視点セットアップが、位置１１８および位置１２０などの複数の位置からキャビネット１０２の画像を取り込んでもよい画像取込機器１１６を含んでもよい。画像取込機器１１６が位置Ａにあるとき、画像取込機器１１６が、視界１２２を有してもよく、その一方で、画像取込機器１１６が位置Ｂにあるとき、画像取込機器１１６が、視界１２４を有してもよい。図示するように、視界１２２、１２４には、場面の重複が有限の程度ある。

【0016】

異なる視点から同じ対象物を画像が取り込むので、位置ＡおよびＢに配置されているときに画像取込機器により取り込んだ画像を、多視点画像と呼んでもよい。取り込んだストリートビュー画像が、ストリートビュー画像の各々に対応する画像取込機器のＧＰＳ座標を含む。前記ストリートビュー画像、およびそれに関連するＧＰＳ座標をレポジトリに、たとえば、クラウド内のレポジトリに記憶してもよい。

【0017】

本明細書では、ストリートビュー画像が、人間の頭部から見た風景を提供する。しかしながら、地表面にある対象物、たとえば、マンホールおよび／または接続箱を認識することは、ストリートビュー画像では困難な場合がある。さらに、地表面にある電気通信資産が、多くの散らかった物の山を含む場合があり、著しく異なる視点を有する場合がある。その上、電気通信資産の多くが、周囲と著しく似ており、それにより、電気通信資産の検出が困難になる。前述の困難を回避するために、本開示の方法が、ストリートビュー画像から導出したＧＰＳ座標を使用して、電気通信資産の実世界の位置／場所を推定する。一実施形態では、パイプラインが、資産の整備または交換に優先順位をつける際に非常に重要な役割を果たす。方法が、対象物検出モデルを使用することにより、たとえば、Ｒ−ＣＮＮ（ｒｏｂｕｓｔ ｆａｓｔ ｒｅｇｉｏｎ ｂａｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ）モデルを使用することにより、資産を検出する。

【0018】

添付図面に示し、かつ以下の記述で詳述する、限定しない実施形態を参照して、本明細書の実施形態、ならびにそれらのさまざまな特徴および有利な詳細について、より完全に説明する。本明細書で使用する例は、本明細書の実施形態を実施してもよい方法の理解を容易にすること、およびさらに本明細書の実施形態を当業者が実施することができるようにすることを単に意図する。したがって、例が本明細書の実施形態の範囲を限定していると解釈すべきではない。

【0019】

方法およびシステムは、本明細書に記述する具体的な実施形態に限定されない。さらに、方法およびシステムを、本明細書に記述する他のモジュールおよび方法と独立に、かつ別個に実施することができる。各機器の要素／モジュール、および方法を、他の要素／モジュール、および他の方法と組み合わせて使用することができる。

【0020】

電気通信インベントリ管理のためのシステムおよび方法を実装する手法について、図１〜図７Ｂに関して詳細に説明している。記述されている、電気通信インベントリ管理のための方法およびシステムの様態を、任意の数の異なるシステム、実用的環境、および／または構成で実装することができるが、実施形態について、以下の１つまたは複数の代表的システムに関して説明する。

【0021】

図２は、一例の実施形態による、電気通信インベントリ管理に関する電気通信資産のさまざまな例を示す。この例では、電気通信資産を、キャビネット、マンホール、接続箱、および電柱を含むように示す。しかしながら、電気通信資産が、前述の例に限定することなく、追加の電気通信装置を含んでもよいことが理解されよう。

【0022】

図２は、電柱２１２を伴う風景２１０、電柱２２４に遮られた接続箱２２２を伴う風景２２０、マンホール２３２を伴う風景２３０、および同じ画像内に接続箱２４４を伴うキャビネット２４２を有する風景２４０を示す。

【0023】

図示するように、対象物を取り巻く周囲の領域の質感／色も外観上の類似性を共有する場合、認識がより困難になる。さまざまな実施形態では、本開示の電気通信インベントリ管理システムが、より高速なＲＣＮＮを用いた、視覚に基づく技法（または対象物検出技法）を適用して、画像三角測量に基づく資産位置測定が、地理的地域の風景内で電気通信資産を正確に検出しなければならない。

【0024】

次に、図３を参照すると、本主題の一実施形態による、電気通信インベントリ管理のためのシステム３０２のネットワーク実装３００が示されている。以下の記述で詳細に説明するように、システム３０２が、より高速なＲＣＮＮを用いた深層特徴を含む視覚および機械学習技法、および画像三角測量に基づく資産位置測定を適用する、電気通信資産のインベントリ管理のための、原則に基づいた取り組み方法を実装する。

【0025】

本主題は、システム３０２が、電気通信インベントリ管理のために実装することを考慮して説明するが、システム３０２が、任意の特定の環境に制限されてはならないことが理解されてもよい。システム３０２を、対象物検出を伴うさまざまな分野のために利用することができる。システム３０２を、ラップトップコンピュータ、デスクトップコンピュータ、ノートブック、ワークステーション、メインフレームコンピュータ、サーバ、ネットワークサーバなどのような、さまざまなコンピューティングシステムに実装してもよい。

【0026】

本明細書では、システム３０２が、ストリートビュー画像を、たとえば、本明細書で以後、集合的に機器３０４と呼ぶ、複数の機器および／または機械３０４−１、３０４−２、…、３０４−Ｎから取り込んだ画像を、受信してもよい。機器３０４の例が、車両搭載カメラ機器、携帯型コンピュータ、携帯情報端末、ハンドヘルド機器、ワークステーション、ＶＲカメラを具体化する機器、ビデオを取り込み記憶するように装備される記憶機器などを含んでもよいが、それらに限定されない。一実施形態では、機器３０４が、画像を取り込むことができる機器を含んでもよい。機器３０４が、ネットワーク３０６を通してシステム３０２に通信可能に結合され、取り込んだ画像をシステム３０２に伝送することができてもよい。

【0027】

一実装形態では、ネットワーク３０６が、無線ネットワーク、有線ネットワーク、または有線ネットワークと無線ネットワークの組合せであってもよい。ネットワーク３０６を、イントラネット、ローカル・エリア・ネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）、広域ネットワーク（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＡＮ）、インターネットなどのような、異なるタイプのネットワークの１つとして実装することができる。ネットワーク３０６が、専用ネットワークであっても、共用ネットワークであってもよい。共用ネットワークは、さまざまなプロトコル、たとえば、ハイパーテキスト転送プロトコル（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ＨＴＴＰ）、伝送制御プロトコル／インターネットプロトコル（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、ＴＣＰ／ＩＰ）、ワイヤレス・アプリケーション・プロトコル（Ｗｉｒｅｌｅｓｓ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｔｏｃｏｌ、ＷＡＰ）などを使用して、互いに通信する、異なるタイプのネットワークの関連づけを表す。さらに、ネットワーク３０６が、ルータ、ブリッジ、サーバ、コンピューティング機器、記憶機器などを含むさまざまなネットワーク機器を含んでもよい。一実施形態では、システム３０２を、コンピューティング機器３１０の中に具体化してもよい。コンピューティング機器３１０の例が、デスクトップ・パーソナル・コンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ、ＰＣ）、ノートブック、ラップトップ、携帯型コンピュータ、スマートホン、タブレットなどを含んでもよいが、それらに限定されない。システム３０２はまた、地理的地域のストリートビュー画像、およびそれに関連するＧＰＳデータを記憶するために、データレポジトリ３１２と関連づけられてもよい。一実施形態では、データレポジトリを、システム３０２を具体化するコンピューティング機器３１０の外側に構成して、そこに通信可能に結合してもよい。あるいは、データレポジトリ３１２をシステム３０２内部に構成してもよい。電気通信インベントリ管理のためのシステム３０２の一例の実装形態について、図４を参照して記述する。

【0028】

図４は、本開示の一実施形態による、電気通信インベントリ管理のためのシステム４００の構成図を例示する。一例の実施形態では、システム４００が、コンピューティング機器、たとえば、コンピューティング機器３１０（図３）内に具体化されてもよい、またはそれと直接通信状態にあってもよい。システム４００が、プロセッサ４０２などの１つまたは複数のハードウェアプロセッサ、メモリ４０４などの１つまたは複数のメモリ、およびネットワーク・インタフェース・ユニット４０６などのネットワーク・インタフェース・ユニットを含む、または他の方法ではそれらと通信状態にある。一実施形態では、プロセッサ４０２、メモリ４０４、およびネットワーク・インタフェース・ユニット４０６を、システムバス４０８などのシステムバス、または類似の機構により結合してもよい。

【0029】

プロセッサ４０２が、とりわけ通信に関連するオーディオおよび論理機能を実装する回路を含んでもよい。たとえば、プロセッサ２０２が、１つまたは複数のデジタル・シグナル・プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、１つまたは複数のマイクロプロセッサ、１つまたは複数の特殊用途のコンピュータチップ、１つまたは複数のフィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、１つまたは複数の特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、１つまたは複数のコンピュータ、さまざまなＡ／Ｄ変換機およびＤ／Ａ変換機、ならびに／または他の支援回路を含んでもよいが、それらに限定されない。したがって、プロセッサ４０２はまた、メッセージ、および／またはデータもしくは情報を符号化する機能を含んでもよい。プロセッサ４０２が、とりわけ、クロック、算術論理演算装置（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ、ＡＬＵ）、およびプロセッサ４０２の動作を支援するように構成された論理ゲートを含んでもよい。さらに、プロセッサ４０２が、メモリ４０４に記憶されても、他の方法ではプロセッサ４０２にアクセス可能であってもよい、１つまたは複数のソフトウェアプログラムを実行する機能を含んでもよい。

【0030】

メモリ４０４などの、１つまたは複数のメモリが、システムの機能を実装するためにシステムにより使用される、任意の数の情報およびデータを記憶してもよい。メモリ４０４が、たとえば、揮発性メモリおよび／または不揮発性メモリを含んでもよい。揮発性メモリの例が、揮発性ランダム・アクセス・メモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）を含んでもよいが、それに限定されない。不揮発性メモリが、追加でまたは代わりに、電気的に消去可能プログラム可能読出し専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、フラッシュメモリ、ハードドライブなどを備えてもよい。揮発性メモリのいくつかの例が、ランダム・アクセス・メモリ、ダイナミック・ランダム・アクセス・メモリ、スタティック・ランダム・アクセス・メモリなどを含むが、それらに限定されない。不揮発性メモリのいくつかの例が、ハードディスク、磁気テープ、光ディスク、プログラム可能読出し専用メモリ、消去可能プログラム可能読出し専用メモリ、電気的に消去可能プログラム可能読出し専用メモリ、フラッシュメモリなどを含むが、それらに限定されない。さまざまな例示的実施形態によるさまざまな機能をシステム４００が行うことができるようにするために、メモリ４０４を、情報、データ、アプリケーション、命令などを記憶するように構成してもよい。追加でまたは代わりに、プロセッサ４０２により実行されたとき、さまざまな実施形態で記述するような手法でシステムを動作させる命令を記憶するように、メモリ４０４を構成してもよい。

【0031】

一実施形態では、メモリ４０４が、さまざまな地理的地域に関するストリートビュー画像、および前記ストリートビュー画像に対応する、関連するＧＰＳデータを記憶するためにデータレポジトリを含む。データレポジトリを、システム４００を具体化するコンピューティング機器（たとえば、図３のコンピューティング機器３１０）の中に具体化してもよいことに留意されよう。代わりに、データレポジトリを、コンピューティング機器の外側に構成して、そこに通信可能に結合してもよい。

【0032】

ネットワーク・インタフェース・ユニット４０６が、第１のコンピューティング機器と第２のコンピューティング機器の間で通信を容易にするように構成される。ネットワーク・インタフェース・ユニット４０６が、無線接続の形をとっても、有線接続の形をとってもよい。無線ネットワークインタフェース要素４０６の例が、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＢＬＵＥＴＯＯＴＨ（登録商標）、または広域無線接続を含んでもよいが、それらに限定されない。有線ネットワークインタフェース要素４０６の例が、イーサネット（登録商標）を含むが、それに限定されない。

【0033】

本明細書では、メモリ、たとえばメモリ４０４、およびハードウェアプロセッサ、たとえばプロセッサ４０２を使って構成されたコンピュータ・プログラム・コードが、本明細書に記述するさまざまな機能をシステム４００に遂行させる。

【0034】

一実施形態では、システム４００に、ＵＩを、たとえば、ストリートビューを表示するための領域を含むＵＩ４０６を生成させる。ＵＩ４０６が、地理的地域に対応する１つまたは複数のパラメータを入力することができるようにして、前記パラメータの前記受信に応答して、地理的地域の複数のストリートビュー画像を表示してもよい。一実施形態では、システム４００に、所与のＧＰＳ座標に対応する複数のストリートビュー画像をダウンロードさせ、ＵＩ４０６を介して前記画像を表示させてもよい。一実施形態では、画像をダウンロードするために、システム４００に、１つまたは複数のパラメータを受信させ、前記パラメータに基づき、ダウンロードされた、地理的地域の複数のストリートビュー画像を表示させてもよい。前記パラメータの例が、地理的位置に関する位置（緯度／経度の値）、ストリートビュー画像の好ましいサイズ、進行方向（０〜３６０）、ストリートビュー画像を取り込むために使用する画像取込機器の水平視界、ピッチ、ならびにＧＳＶ車両に対する上方角度および／または下方角度を含んでもよいが、それらに限定されない。用語「進行方向」は、本明細書では、任意の地点で０°〜３６０°の角度の範囲内で画像を見る画像取込機器の向きを指す。本明細書では、複数のストリートビュー画像内の、２つの連続するＧＰＳ位置座標に対応する画像には、図１を参照して示し、記述したように、位置が異なれば変わる可能性がある、異なるカメラアングルに由来する、有限程度の風景の重なりがあってもよいことに注意されたい。

【0035】

地理的地域の複数のストリートビュー画像が、１つまたは複数の電気通信資産を有してもよい。電気通信資産が、キャビネット、電柱、マンホール、および接続箱を含んでもよいがそれらに限定されない。１つまたは複数の電気通信資産を、対応するＧＰＳ位置座標と関連づけてもよい。システム４００に、複数のストリートビュー画像内で電気通信資産を識別させてもよい。接続箱およびマンホールなどの電気通信資産は、表面カバーを介してアクセスすることができるケーブル継手および／または装置を収容する地下構造物である。接続箱およびマンホールが、歩道、草の生えた縁、または車道内に位置する場合がある。舗装された構内および歩行者専用の地面については、特別用のカバーの変形形態が見られる。キャビネットおよびマンホールなどのある種の他の電気通信資産が、地上資産である。一実施形態では、システムに、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で電気通信資産を検出させる。本明細書で、後で説明するように、ストリートビュー画像内で電気通信資産を検出するステップが、電気通信資産を、対応する資産ラベルと関連づけるステップを含む。

【0036】

対象物認識モデルが、ストリートビュー画像内での電気通信資産の検出を容易にする。対象物認識モデルの例が、線形サポート・ベクター・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）を用いた勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ、ＨＯＧ）、線形ＳＶＭを用いた変形部品モデル（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）、およびより高速なＲＣＮＮを含んでもよいが、それらに限定されない。前述の対象物認識モデルを使用するシステム４００の性能について、図７Ａおよび図７Ｂを参照してさらに記述する。好ましくは、システムに、ディープ・ラーニング・モデルを、たとえば、より高速なＲ−ＣＮＮ検出器を使用することにより、ストリートビュー画像内で電気通信資産を検出させる。

【0037】

一実施形態では、システム４００に、対象物認識モデルを適用する前に、対象物認識モデルをトレーニングして、複数のトレーニング画像内で電気通信資産を検出し、予測させる。前記複数のトレーニング画像が、さまざまな地理的地域のストリートビュー画像であってもよい。一実施形態では、対象物認識モデルが、複数のトレーニング画像内で電気通信資産を識別する。対象物認識モデルをトレーニングしている間、モデルに複数のトレーニング画像が供給され、前記トレーニング画像内の電気通信資産の各々が、バウンディングボックスに取り囲まれる。追加で、トレーニング画像内の電気通信資産の位置に、たとえば、前記電気通信資産のＧＰＳ位置座標を使用することにより、印をつけてもよい。追加で、バウンディングボックスに取り囲まれた、識別された電気通信資産の各々に、対応するラベルを割り当てる。本明細書で開示するように、一実施形態では、ストリートビュー画像内で電気通信資産を検出するために、より高速なＲ−ＣＮＮ検出器を利用してもよい。たとえば、Ｒ−ＣＮＮに基づく検出器が、ストリートビュー画像に対して実行されてもよく、前記画像内ですべてのスケールで出現する、異なる対象物を予測する。一実施形態では、システム４００が、より高速なＲ−ＣＮＮ検出器に、ストリートビュー画像内での電気通信資産の予測に対して信頼度スコアを割り当てさせる。一実施形態では、信頼度スコアを、予測のしきい値に基づき割り当ててもよい。一実施形態では、予測のしきい値を、事前に規定してもよい。たとえば、ユーザが、電気通信インベントリを検出する前に、予測のしきい値を規定してもよい。次いで、システムに、予測のしきい値以上の信頼度スコアで検出することができる電気通信資産を識別させてもよい。

【0038】

より高速なＲＣＮＮが、候補領域ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ、ＲＰＮ）およびＦａｓｔ ＲＣＮＮの組合せであることが理解されよう。ＲＰＮは、各場所で対象物バウンディングボックスと対象物らしさ（ｏｂｊｅｃｔｎｅｓｓ）スコア（信頼度スコア）の両方を予測する全層畳込みネットワーク（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）である。ＲＰＮをエンド・ツー・エンドでトレーニングして、高品質の候補領域を生成し、その候補領域を、Ｆａｓｔ ＲＣＮＮが検出のために使用する。ＲＰＮは、広範なスケールおよび縦横比で候補領域を効率的に予測するように設計される。この取り組み方法が、（ｎ＋１）カテゴリ問題を直接解決する、すなわち、ｎの事前に規定したクラスでＲＰＮにより検出されるすべての候補にラベルをつけて、背景を別個のクラスとしてモデル化する。

【0039】

代わりの一実施形態では、ストリートビュー画像内で電気通信資産を検出するために、ＨｏＧモデルを利用してもよい。ＨｏＧモデルは、対象物を認識するための、たとえば、さまざまなスケールで、ストリートビュー画像内で電気通信資産を認識するための、固定したテンプレートに基づく取り組み方法を提示する。ＨｏＧモデル検出器が、すべての場所およびスケールで重複するようにスキャンすることにより、固定サイズのテンプレート窓を使用して、前記画像をフィルタ処理する。各テンプレート窓を、勾配の大きさにより重み付けした向きの分布により表す。ＨｏＧモデルが、各資産カテゴリを前景対象物としてモデル化する。したがって、トレーニングしている間、ＨｏＧモデルが、資産タイプごとに１つ、４つの別個の検出器を学習する。

【0040】

さらに別の実施形態では、ストリートビュー画像内の電気通信資産のトレーニングおよび検出のために、変形部品モデル（ＤＰＭ）を利用する。ＤＰＭは、対象物検出でカテゴリ内の多様性に取り組むのに役立つ。たとえば、本開示では、対象物（または電気通信資産）を、色、姿勢、および照明の変化を伴う異なる視点から得るので、ＤＰＭに基づく検出器が、電気通信資産のロバストな検出に役立つ可能性がある。これに関連して、対象物検出モデルの潜在的識別学習（ｌａｔｅｎｔ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｌｅａｒｎｉｎｇ）に基づく電気通信資産の検出、および電気通信資産に伴う複数の構成要素（すなわち、サブカテゴリ）の検出に関して、ＤＰＭ検出器と、ＨＯＧに基づく検出器を比較してもよい。より低解像度のルートテンプレート、および空間的に柔軟な高解像度部品テンプレートのセットを使用して、対象物モデルを提示するために、変形部品を利用する。各部品が、対象物の局所的外観特性を取り込み、外観特性を接続するリンクにより変形を特徴づける。潜在的識別学習が、既知の変数（たとえば、インスタンスのバウンディングボックスの位置）と未知の、すなわち、潜在的変数（たとえば、電気通信資産部品位置、インスタンス−構成要素メンバーシップ）の間でパラメータ推定ステップを交互に行う反復手順を伴う。最後に、サブカテゴリの考え方は、対象物インスタンスを、簡単な（おそらくは、意味的に解釈可能な）題目、たとえば、正面像に対する側面像、または座っている人に対する標準的な人などをそれぞれ有する互いに素なグループに分離し、次いで、対象物／人のタイプごとにモデルを学習することである。これに関連して、用語「対象物」が電気通信資産を指すことが理解されよう。

【0041】

ストリートビュー画像の各々が、関連するＧＰＳ座標を有する。しかしながら、電気通信資産の実世界の場所が、カメラ座標のＧＰＳ座標と異なる場合がある。一実施形態では、資産ラベルで注釈をつけられたストリートビュー画像を、資産位置識別のために三角測量を使用してさらに処理する。一実施形態では、システム４００に、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で電気通信資産の実世界の位置を推定させる。多視点画像のセットは、地理的地域内で１つまたは複数の対象物の近辺の、複数の連続する位置から取り込んだ、複数のストリートビュー画像の中から得た画像である。たとえば、地理的地域のＧＰＳ座標を提供するとき、システムが、地理的地域の複数の画像を取り出してもよいが、しかしながら、電気通信資産管理のために、システムが、異なる角度から取り込んだ１つまたは複数の電気通信資産を含有する画像だけに興味がある。異なる角度から取り込んだ対象物を有するそのような風景の画像を、多視点画像と呼ぶ。システムが、地理的地域内で１つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込んだ多視点画像のセットを選択して、多視点画像のセットに対して三角測量法を適用して、地理的地域内で１つまたは複数の電気通信資産の実世界の位置を推定する。

【0042】

一実施形態では、電気通信資産の実世界の位置を推定するために、システム４００に、マッチングモデルを使用して、多視点画像のセット内で複数の点対応を識別させる。システム４００に、複数の点対応に少なくとも基づき、１つまたは複数の電気通信資産のうち１つの電気通信資産の実世界の位置をさらに推定させる。地理的地域内で１つまたは複数の電気通信資産の実世界の位置を推定することについて、図７を参照してさらに詳細に説明する。

【0043】

一例の実装形態では、システム４００に、レポジトリ内の１つまたは複数の電気通信資産の実世界の位置を更新させる。たとえば、実世界の位置を推定すると、システム４００が、データ補正画面を提示してもよい。補正画面上に提示されたストリートビュー内のインベントリ位置に、マーカを置いてもよい。マーカが、データ補正処理について詳述してもよい。システム４００が、緯度、経度、資産タイプ、通りの名称などの、電気通信資産の一般的な詳細でデータ補正画面を更新されるようにしてもよい。

【0044】

システム４００に、推定した実世界の位置に少なくとも基づき、１つまたは複数の電気通信資産のＧＰＳ位置座標を検証させる。一実施形態では、１つまたは複数の電気通信資産のＧＰＳ位置座標を検証するステップが、電気通信資産のＧＰＳ位置座標を、推定した実世界の位置と比較するステップを含む。一実施形態では、推定した実世界の位置の検証を遂行して、グランドトゥルース対象物（たとえば、電気通信資産）と、本開示のシステム４００により検出された対象物（または電気通信資産）との間の重複を決定する。一実施形態では、前記重複または検証を、システム４００により採用された対象物検出モデルに関する適合率・再現率曲線をプロットすることにより遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関するＰＲ曲線の一例について、図７Ａを参照してさらに記述する。別の実施形態では、システム４００により採用された対象物検出モデルに関する混同行列を計算することにより、検証を遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関する混同行列の計算の一例について、図７Ｂを参照してさらに記述する。

【0045】

図５は、一例の実施形態による、電気通信インベントリ管理のための方法５００の流れ図を示す。方法５００について、コンピュータ実行可能命令という一般的文脈で記述してもよい。一般に、コンピュータ実行可能命令が、特定の機能を実現する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、手続き、モジュール、機能などを含むことができる。方法５００はまた、通信ネットワークを通して連結された遠隔処理機器により機能が遂行される分散コンピューティング環境で実施されてもよい。方法５００について記述する順序は、限定であると解釈されることを意図するものではなく、方法５００、または代わりの方法を実装するために、任意の数の、記述する方法ブロックを、任意の順序で組み合わせることができる。さらに、任意の適切なハードウェア、ソフトウェア、ファームウェア、およびそれらの組合せの形で、方法５００を実装することができる。一実施形態では、流れ図に描く方法５００を、システムにより、たとえば、図４のシステム４００により、実行してもよい。一実施形態では、システム４００を、コンピューティング機器の中に、たとえば、コンピューティング機器３１０（図３）の中に具体化してもよい。

【0046】

５０２で、方法５００が、１つまたは複数の電気通信資産を有する地理的地域の複数のストリートビュー画像を得るステップを含む。１つまたは複数の電気通信資産を、対応するＧＰＳ位置座標と関連づける。電気通信資産の例が、キャビネット、マンホール、接続箱、および電柱を含むが、それらに限定されない。

【0047】

５０４で、方法５００が、複数のストリートビュー画像に対象物認識モデルを適用して、複数のストリートビュー画像内で１つまたは複数の電気通信資産を検出するステップを含む。１つまたは複数の電気通信資産を検出するステップが、１つまたは複数の電気通信資産を、対応する資産ラベルと関連づけるステップを含む。一実施形態では、ストリートビュー画像に適用することができる対象物認識モデルの例が、ＨＯＧ−ＳＶＭモデル、ＳＶＭモデル、およびより高速なＲＣＮＮモデルを含んでもよいが、それらに限定されない。上述の対象物認識モデルの例示的性能について、図７Ａおよび図７Ｂを参照してさらに記述する。

【0048】

一実施形態では、方法が、対象物認識モデルを適用する前に、対象物認識モデルをトレーニングして、複数のトレーニング画像内で１つまたは複数の電気通信資産を検出するステップを含む。一実施形態では、対象物認識モデルをトレーニングするステップが、複数のトレーニング画像内で１つまたは複数の電気通信資産を識別するステップを含み、その結果、１つまたは複数の電気通信資産の各々が、複数のトレーニング画像の、対応するトレーニング画像内でバウンディングボックスに取り囲まれる。バウンディングボックスに取り囲まれた、識別された１つまたは複数の電気通信資産の各々に、対応するラベルを割り当てる。さらに、電気通信資産を検出するために、１つまたは複数の電気通信資産のうち１つの電気通信資産を含有するバウンディングボックスを、多視点画像のセット内に予測し、予測のしきい値に基づき予測したバウンディングボックスに、対応する資産ラベルを割り当てる。

【0049】

５０６で、方法５００が、複数のストリートビュー画像から選択した多視点画像のセットに対して三角測量法を適用することにより、地理的地域内で１つまたは複数の電気通信資産の実世界の位置を推定するステップを含む。多視点画像のセットを、地理的地域内で１つまたは複数の電気通信資産の近辺の、複数の連続する位置から取り込む。多視点画像を取り込むステップの一例について、図１を参照して記述している。

【0050】

５０８で、方法５００が、推定した実世界の位置に少なくとも基づき、１つまたは複数の電気通信資産のＧＰＳ位置座標を検証するステップを含む。本明細書では、推定した実世界の位置の検証を遂行して、グランドトゥルース対象物（たとえば、電気通信資産）と、対象物検出モデルにより検出した電気通信資産との間の重複を決定する。一実施形態では、前記重複または検証を、対象物検出モデルに関する適合率・再現率（ＰＲ）曲線をプロットすることにより遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関するＰＲ曲線の一例について、図７Ａを参照してさらに記述する。別の実施形態では、対象物検出モデルに関する混同行列を計算することにより、検証を遂行することができる。電気通信資産を検出するために利用するさまざまな対象物検出モデルに関する混同行列の計算の一例について、図７Ｂを参照してさらに記述する。

【0051】

図６は、一例の実施形態による、三角測量法を使用する、電気通信資産の実世界の位置を推定するためのセットアップ６００の一例の描写を示す。本明細書に示すように、セットアップ６００を、複数の画像取込機器、たとえば、資産、たとえば、キャビネット６０６のストリートビュー画像を取り込むように位置決めされたカメラ６０２およびカメラ６０４を含むように示す。カメラ６０２、６０４が、複数の視線のキャビネット６０６を取り込むように、２つの異なる位置に位置決めされる。たとえば、カメラ６０２が、画像６０８を取り込んでもよく、その一方で、カメラ６０４が、キャビネット６０６の画像６１０を取り込んでもよい。

【0052】

ワールド座標系で（Ｘ；Ｙ；Ｚ）により記述される、キャビネット６０６上の点Ｐが、カメラ６０２の画像平面内の場所ｐ_Ｌで、およびカメラ６０４の画像平面内の場所ｐ_ｒで取り込まれると仮定する。マッチングモデルを使用して、多視点画像のセット内で複数の点対応を識別することにより、２つの画像の視線からの点Ｐの深度を推定することができる。多視点画像のセット間で点対応を得るために、システムに、投影歪みを取り除くことにより多視点画像を事前処理させてもよい。一実施形態では、システムが、投影歪みを取り除くためにすでに事前処理されていてもよい多視点画像を受信してもよい。本明細書では、投影歪みが、２つの異なる視線から取り込んだ画像内の歪みを指す場合がある。前記歪みが、画像の視線の回転および／または並進のために存在する場合がある。ある種のシナリオでは、画像の１つが、他の画像内に存在しない場合がある、ある種の追加視線をいくつか含有してもよい。互いに対する位置合わせを取り除くことが、画像内の投影歪みを取り除くのに役立つ。

【0053】

多視点画像６０８および６１０内で類似する画像の領域を識別することにより、点対応を決定する。異なる視線または画像６０８、６１０内のそれぞれ点ｐ_ｌおよびｐ_ｒについては、３Ｄ空間内の２本の光線６１２、６１４が、異なる位置でカメラの投影中心と接続する。両方の視線から、マッチングする特徴位置｛ｐ｝に対応する３Ｄ光線の最も近くにある３Ｄ点Ｐ_ａを見つけ出すことにより、点Ｐの距離を推定することができる。一実施形態では、マッチングする３Ｄ点Ｐ_ａを識別することにより、ＳＩＦＴに基づく画像マッチング特徴を利用することができる。ＳＩＦＴに基づくマッチングを使用する利点は、ＳＩＦＴに基づく特徴が、画素勾配に対して計算された局所特徴ベクトルのセットに適用されることである。さらに、ＳＩＦＴに基づくマッチングが、スケールおよび照明による不変性を具体化し、部分的にマッチングした領域をさらに返す。

【0054】

異なる画像平面上の点ｐ_ｌおよびｐ_ｒを、次式で関係づける。

【0055】

【数1】

【0056】

上式で、

【0057】

【数2】

【0058】

および

【0059】

【数3】

【0060】

は、カメラ６０２および６０４の投影中心にＰを接続する光線方向ベクトルである。Ｋは、カメラ較正パラメータを表す。Ｒおよびｔは、２つのカメラの場所間の回転行列および並進ベクトルである。

【0061】

式（１）を簡略化することにより、エピポーラ拘束として規定される以下の条件を得る。

【0062】

【数4】

【0063】

ｔおよびＲのクロス積として計算した基本行列としてＥを規定する。式（２）を次式のように書き換えることができる。

【0064】

【数5】

【0065】

上式で、基礎行列としてＦを定義する。ｐ内のｎ個のマッチング点のセットについて、ｎ個の同次方程式があり、たとえば、ｉ番目のマッチングについては、次式となる。

【0066】

【数6】

【0067】

式（４）を、正規化８点アルゴリズム（ｎｏｒｍａｌｉｚｅｄ ８−ｐｏｉｎｔ ａｌｇｏｒｉｔｈｍ）を使用して解くことができる。式（５）のようにＦを因数分解することにより、エピポールベクトルｅおよび対応するホモグラフィＨを得る。

【0068】

【数7】

【0069】

因数分解は、唯一ではなく、直接的取り組み方法およびＳＶＤを含む、異なる方法により得ることができる。有効なホモグラフィＨを使って、次式により投影行列Ｐ_ｏおよびＰ’_ｏを計算することができる。

【0070】

【数8】

【0071】

行列Ｐ_ｏおよびＰ’_ｏが、実世界の点Ｐと、カメラ７０２、７０４の画像平面上への、実世界の点Ｐの射影との間の関係を次式で規定する。

【0072】

【数9】

【0073】

式（７）を解いて、Ｐの位置を推定することができる。取り出した座標、およびカメラの場所のＧＰＳ値を使用して、妥当な精度で、電気通信資産、たとえば、キャビネット６０６の実際の場所を推定することができる。

【0074】

図７Ａは、さまざまな実施形態による、電気通信資産を検出するために採用したさまざまな対象物検出モデルに関するＰＲ曲線を示す。具体的には、図７Ａは、３つの対象物検出モデル、すなわち、電気通信資産に関する候補／予測を生成するための、線形ＳＶＭを用いたＨｏＧ検出器（曲線７０２で示す）、線形ＳＶＭを用いた変形部品に基づくモデル（曲線７０４で示す）、およびＲＰＮを用いたより高速なＲＣＮＮ（曲線７０６で示す）に関する適合率・再現率曲線を示す。

【0075】

本明細書では、ＰＲ曲線を、Ｎ_負＞＞Ｎ_正として選択し、式中、Ｎ_負；Ｎ_正は、実際のシナリオでの、負数および正数の数である。さらに、曲線ごとに、Ｆ１スコアを決定する。Ｆ１スコアは、単一の数値で適合率・再現率曲線の性能を要約する。３つの対象物検出モデルに関するＦ１スコアの最高値で、ＰおよびＲの値を以下の表に示す。

【0076】

【表1】

【0077】

上記の表に示すように、ＨｏＧモデルおよびＤＰＭの検出器と比較して、より高速なＲＣＮＮが、最良の適合率、再現率、および検出器の性能を評価するために使用する因子であるＦ１スコアもまた提供する。

【0078】

図７Ｂは、さまざまな実施形態による、電気通信資産を検出するために採用される、さまざまな対象物検出モデルに関する信頼度行列ヒート・マップ・プロット７５０を示す。詳細には、混同行列７５０は、提案された方法に関するものであり、このとき、最大のＦ１スコアが達成される。混同行列ヒート・マップ・プロット７５０（本明細書で以後、混同行列７５０と呼ぶ）は、対角線に沿って注目するときに、キャビネット、接続箱、およびマンホールが効率的に検出されたことを描く。さらに、キャビネットおよび接続箱が、効率的に検出されている。

【0079】

混同行列７５０の最終行が、ＲＰＮによる候補検出により背景として無視された検出を含む。同様に、混同行列７５０の最終列が、ＲＣＮＮによる正しいラベルづけにより、いくつかの誤検出を、すなわち背景を含んだ電気通信資産について検出された候補または予測の除去を指す。最終列の値が、行列の優位対角の対応する成分よりも著しく小さく、そのことが、電気通信インベントリ管理のこの適用シナリオでのより高速なＲＣＮＮの有効性を確立する。接続箱およびマンホールもまた、十分にうまく検出されたが、いくつかの事例が混同を示しており、それというのも、マンホールも接続箱も、地下の資産であり、歩道上にあり、混同行列７５０の３行目からわかるように視覚的に非常に類似するので、いくつかのマンホールが、接続箱としてカテゴリ化され、いくつかのマンホールが、接続箱としてカテゴリ化されたためである。

【0080】

さまざまな実施形態が、電気通信インベントリ管理のための方法およびシステムを提供する。本開示のシステムが、地理的地域のストリートビュー画像を使用して、複数の対象物認識および位置測定によって、電気通信資産を自動的に検出することができる。本開示の方法が、コンピュータビジョンおよび機械学習の技法およびモデルを利用して、（ａ）従来の調査過程を通してこれまで行われた資産認識および位置測定パイプラインを通して、見つからない資産を発見し、（ｂ）新しい資産を更新する。本開示の方法またはパイプラインは、人的資源の使用を低減することを意図するだけではなく、調査費用全体もまた低減した。本開示の実施形態の大きな利点は、電気通信資産を検出するために対象物検出モデルを選択することである。本シナリオでは、より高速なＲＣＮＮが最もロバストな対象物検出モデルであると判断されることが確認された。

【0081】

当業者が実施形態を作成し、使用することができるようにするために、書面による記述が、本明細書の主題を記述している。主題の実施形態の範囲が、特許請求の範囲により規定され、当業者が思いつく他の修正形態を含んでもよい。そのような他の修正形態は、特許請求の範囲の文言と差異のない、類似する要素を有する場合、または特許請求の範囲の文言とほんのわずかな差異しかない均等の要素を含む場合に、特許請求の範囲に含まれることが意図される。

【0082】

本明細書の実施形態が、ハードウェアおよびソフトウェアの要素を備えることができる。ソフトウェアの形で実装される実施形態が、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、それらに限定されない。本明細書に記述するさまざまなモジュールにより遂行される機能を、他のモジュールの中に、または他のモジュールの組合せの中に実装してもよい。本明細書の目的のために、コンピュータ使用可能媒体またはコンピュータ可読媒体が、命令実行システム、装置、もしくは機器により、またはそれらと共に、使用するためのプログラムを備え、記憶し、通信し、伝搬し、または転送することができる任意の装置とすることができる。

【0083】

固有の実装形態および実施形態についての前述の記述が、本明細書の実装形態および実施形態の一般的性質を完全に明らかにするので、他者が、現在の知識を適用することにより、一般的な概念から逸脱することなく、そのような固有の実施形態を容易に修正する、および／またはさまざまな適用例に適合させることができ、したがって、そのような適応形態および修正形態が、本開示の実施形態の均等物の意味および範囲に入ると理解されることが意図される。本明細書で採用する言葉遣いおよび専門用語は、説明のためのものであり、限定するものではないことを理解されたい。したがって、好ましい実施形態に関して本明細書の実施形態について記述してきたが、本明細書の実施形態を、本明細書に記述するような実施形態の趣旨および範囲に入る修正を伴って実施することができることを当業者は認識されよう。

【0084】

さまざまな実施形態を参照して、上記の記述を提示してきた。原理、趣旨、および範囲から有意に逸脱することなく、記述した動作の構造および方法の代替形態および変更形態を実施することができることを、この出願に関係する当業者は認識されよう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【外国語明細書】

2018163654000001.pdf