特開 2024-72568 情報処理プログラム、情報処理装置、情報処理方法及びモデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024072568

(43)【公開日】2024-05-28

(54)【発明の名称】情報処理プログラム、情報処理装置、情報処理方法及びモデルの生成方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240521BHJP

   G06T 7/00 20170101ALI20240521BHJP

【ＦＩ】

G06T7/60 180B

G06T7/00 610

G06T7/00 350C

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022183469

(22)【出願日】2022-11-16

(71)【出願人】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(71)【出願人】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】近藤 誠一郎

(72)【発明者】

【氏名】熊澤 逸夫

(72)【発明者】

【氏名】立野 賢登

(72)【発明者】

【氏名】ナイダンスレン ミャグマルスレン

(72)【発明者】

【氏名】ゾウ ヤーンジェンチュワン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA04

5L096CA05

5L096FA66

5L096FA76

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】送配電設備及び周辺物の距離を導出する情報処理プログラム、情報処理装置、情報処理方法及びモデルの生成方法を提供すること。
【解決手段】情報処理プログラムは、ステレオカメラにより撮影され、被写体に送配電設備を含む複数の画像を取得し、複数の画像を入力した場合に、深度情報を生成するよう学習された第１モデルへ、取得した複数の画像を入力して深度情報を生成し、画像を入力した場合に、送配電設備と周辺物とを分類するように学習された第２モデルへ、取得した画像を入力して送配電設備及び周辺物の分類を取得し、取得した分類と前記深度情報に基づいて、前記送配電設備と前記周辺物との間の距離を導出する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

ステレオカメラにより撮影され、被写体に送配電設備を含む複数の画像を取得し、
複数の画像を入力した場合に、深度情報を生成するよう学習された第１モデルへ、取得した複数の画像を入力して深度情報を生成し、
画像を入力した場合に、送配電設備と周辺物とを分類するように学習された第２モデルへ、取得した画像を入力して送配電設備及び周辺物の分類を取得し、
取得した分類と前記深度情報に基づいて、前記送配電設備と前記周辺物との間の距離を導出する
処理をコンピュータに実行させる情報処理プログラム。

【請求項2】

前記送配電設備と前記周辺物とが接近する２点を判定し、該２点それぞれについて、前記ステレオカメラの基線長、焦点距離及び前記深度情報に基づき、３次元座標値を求め、求めた前記２点の３次元座標値より、前記距離を導出する
請求項１に記載の情報処理プログラム。

【請求項3】

前記距離が閾値未満である場合、警告を出力する
請求項１に記載の情報処理プログラム。

【請求項4】

前記距離が閾値未満である前記周辺物、又は、前記送配電設備を強調表示する
請求項１又は請求項２に記載の情報処理プログラム。

【請求項5】

前記送配電設備は送電線若しくは配電線又は鉄塔若しくは電柱であり、前記周辺物は樹木、植物のつる、道路、地面又は看板である
請求項１又は請求項２に記載の情報処理プログラム。

【請求項6】

前記第２モデルは、取得した画像から特徴量を抽出するエンコーダと、
前記エンコーダにより抽出された特徴量に基づき前記送配電設備及び前記周辺物を特定する第１デコーダと、
前記エンコーダにより抽出された特徴量に基づき送電線又は配電線を特定する第２デコーダと、
前記エンコーダにより抽出された特徴量に基づき鉄塔又は電柱を特定する第３デコーダと
を含む請求項１又は請求項２に記載の情報処理プログラム。

【請求項7】

前記送配電設備に含まれる送電線又は配電線の特定においては、前記第１デコーダの特定結果よりも、前記第２デコーダの特定結果を優先し、
前記送配電設備に含まれる鉄塔又は電柱の特定においては、前記第１デコーダの特定結果よりも、前記第３デコーダの特定結果を優先する
請求項６に記載の情報処理プログラム。

【請求項8】

前記第１モデルは入力された画像から特徴量を抽出する抽出エンコーダと、前記特徴量を集約する集約デコーダとを含み、
前記集約デコーダは、階層化された複数のアップサンプリング層を含み、前記複数のアップサンプリング層において、最下層のみが前記集約デコーダの外部へ特徴量を出力する
請求項１又は請求項２に記載の情報処理プログラム。

【請求項9】

ステレオカメラにより撮影され、被写体に送配電設備を含む複数の画像を取得する第１取得部と、
複数の画像を入力した場合に、深度情報を生成するよう学習された第１モデルへ、取得した複数の画像を入力して深度情報を生成する生成部と、
画像を入力した場合に、送配電設備と周辺物とを分類するように学習された第２モデルへ、取得した画像を入力して送配電設備及び周辺物の分類を取得する第２取得部と、
取得した分類と前記深度情報に基づいて、前記送配電設備と前記周辺物との間の距離を導出する導出部と
を備える情報処理装置。

【請求項10】

ステレオカメラにより撮影され、被写体に送配電設備を含む複数の画像を取得し、
複数の画像を入力した場合に、深度情報を生成するよう学習された第１モデルへ、取得した複数の画像を入力して深度情報を生成し、
画像を入力した場合に、送配電設備と周辺物とを分類するように学習された第２モデルへ、取得した画像を入力して送配電設備及び周辺物の分類を取得し、
取得した分類と前記深度情報に基づいて、前記送配電設備と前記周辺物との間の距離を導出する処理を
コンピュータが行う情報処理方法。

【請求項11】

エンコーダ、並びに、該エンコーダにそれぞれ接続する第１デコーダ、第２デコーダ、及び、第３デコーダを用意し、
送電線又は配電線及び鉄塔又は電柱を含む物体の分類が注記として付された画像を取得し、
取得した画像に基づき、画像を入力した場合に、該画像に被写体として含まれる物体の分類を行う前記エンコーダ及び前記第１デコーダにより構成されるセグメンテーションモデルと、画像を入力した場合に、該画像に被写体として含まれる送電線又は配電線を分類する前記エンコーダ及び前記第２デコーダにより構成される線状物体検出モデルと、画像を入力した場合に、該画像に被写体として含まれる鉄塔又は電柱を分類する前記エンコーダ及び前記第３デコーダにより構成される電柱検出モデルとを学習により生成する
モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、送配電設備及び周辺物の距離を導出する情報処理プログラム、情報処理装置、情報処理方法及びモデルの生成方法に関する。

【背景技術】

【0002】

送配電設備、特に架空配電線が、建造物、道路、鉄道、樹木等と接近する場合に、これら周辺物が、架空配電線と接触しないように、又は、架空配電線を切断しないように、離隔距離が規定されている。しかし、架空配電線周辺の環境変化により、新たな周辺物が現れたり、離隔距離が縮まったりする場合がある。そのため、架空配電線と周辺物との離隔距離が規定されている距離以内を維持しているか、定期的に点検する必要がある。

【0003】

このような事情に関連して、特許文献１には、架空配電線の側面側よりクレーン、飛行物、樹木等が接触することにより生じる異常箇所の画像を撮影する巡視点検システムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－７４７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記公知技術は架空配電線と周辺物とが接触しているか否かは点検できるものの、架空配電線と周辺物との離隔距離は導出できない。本発明はこのような状況に鑑みてなされたものである。その目的は、送配電設備及び周辺物の距離を導出する情報処理プログラム、情報処理装置、情報処理方法及びモデルの生成方法の提供である。

【課題を解決するための手段】

【0006】

本願の一態様に係る情報処理プログラムは、ステレオカメラにより撮影され、被写体に送配電設備を含む複数の画像を取得し、複数の画像を入力した場合に、深度情報を生成するよう学習された第１モデルへ、取得した複数の画像を入力して深度情報を生成し、画像を入力した場合に、送配電設備と周辺物とを分類するように学習された第２モデルへ、取得した画像を入力して送配電設備及び周辺物の分類を取得し、取得した分類と前記深度情報に基づいて、前記送配電設備と前記周辺物との間の距離を導出する。

【発明の効果】

【0007】

本願の一態様にあっては、送配電設備及び周辺物の距離を導出することが可能となる。

【図面の簡単な説明】

【0008】

【図1】判定システムの構成例を示す説明図である。

【図2】判定サーバのハードウェア構成例を示すブロック図である。

【図3】ユーザ端末のハードウェア構成例を示すブロック図である。

【図4】設定ＤＢの例を示す説明図である。

【図5】画像位置ＤＢの例を示す説明図である。

【図6】判定結果ＤＢの例を示す説明図である。

【図7】第１モデルの構成例を示す説明図である。

【図8】特徴抽出モジュールの構成例を示す説明図である。

【図9】第２モデルの構成例を示す説明図である。

【図10】第１モデル生成処理の手順例を示すフローチャートである。

【図11】第２モデル生成処理の手順例を示すフローチャートである。

【図12】判定処理の手順例を示すフローチャートである。

【図13】判定処理の手順例を示すフローチャートである。

【図14】警告画面の例を示す説明図である。

【発明を実施するための形態】

【0009】

（実施の形態１）
以下実施の形態を、図面を参照して説明する。図１は判定システムの構成例を示す説明図である。判定システム１００は判定サーバ１、ユーザ端末２、ステレオカメラ３及び位置測位機４を含む。判定サーバ１とユーザ端末２とはネットワークＮにより、通信可能に接続されている。ステレオカメラ３及び位置測位機４は、ユーザ端末２と通信可能に接続されている。

【0010】

送配電設備は送電設備及び配電設備を含む概念である。以下の説明では、送配電設備の中で、架空配電線を対象とするが、架空送電線も同様である。以下では、架空配電線を単に配電線ともいう。送配電設備に限らず、通信設備、特に通信線又は光ファイバを対象としてもよい。

【0011】

判定サーバ１はサーバコンピュータ、ワークステーション、ＰＣ（Personal Computer）等で構成する。また、判定サーバ１を複数のコンピュータからなるマルチコンピュータ、ソフトウェアによって仮想的に構築された仮想マシン又は量子コンピュータで構成しても良い。さらに、判定サーバ１の機能をクラウドサービスで実現してもよい。

【0012】

ユーザ端末２はエンドユーザが使用する端末である。ユーザ端末２はノートＰＣ、タブレットコンピュータ、スマートフォン等で構成する。図１において、ユーザ端末２は１台のみ記載しているが、２台以上でもよい。

【0013】

ステレオカメラ３は撮像素子と光学系とを含む撮像部を２つ備えたカメラである。ステレオカメラ３は、位置が異なる２つの撮像部により、被写体を同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラである。ステレオカメラ３はユーザ端末２毎に用意する前提であるが、運用上、差支えがなければ、それに限らない。なお、ステレオカメラ３はユーザ端末２が担う機能を備えてもよい。また、ステレオカメラ３は後述する第１モデル、第２モデル等を備え、配電線とその周辺物との間の距離を導出する機能を備えてもよい。

【0014】

位置測位機４は現在位置の地理座標を計測する装置である。例えば、位置測位機４は、ＧＰＳ（Global Positioning System）衛星、準天頂衛星、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）衛星、Galileo衛星等の衛星測位システムを構成する衛星からの電波を受信し、現在位置を取得する。位置計測の目的は、ステレオカメラ３が撮影する画像に撮影位置を付与するためである。位置測位機４はステレオカメラ３の筐体に納めることが望ましい。また、画像へ撮影位置の付与が可能であれば、ユーザ端末２が位置測位機４を備えていてもよい。

【0015】

図２は判定サーバのハードウェア構成例を示すブロック図である。判定サーバ１は制御部１１、主記憶部１２、補助記憶部１３、通信部１５及び読み取り部１６を含む。制御部１１、主記憶部１２、補助記憶部１３、通信部１５及び読み取り部１６はバスＢにより接続されている。

【0016】

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有する。制御部１１は、補助記憶部１３に記憶された制御プログラム１Ｐ（プログラム、プログラム製品）を読み出して実行することにより、判定サーバ１に係る種々の情報処理、制御処理等を行い、第１取得部、第２取得部、生成部、導出部等の機能部を実現する。

【0017】

主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等である。主記憶部１２は主として制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。

【0018】

補助記憶部１３はハードディスク又はＳＳＤ（Solid State Drive）等であり、制御部１１が処理を実行するために必要な制御プログラム１Ｐや各種ＤＢ（Database）を記憶する。補助記憶部１３は、設定ＤＢ１３１、撮影画像ＤＢ１３２、画像位置ＤＢ１３３、及び、判定結果ＤＢ１３４を記憶する。また、補助記憶部１３は第１モデル１４１及び第２モデル１４２を記憶する。補助記憶部１３は判定サーバ１に接続された外部記憶装置であってもよい。補助記憶部１３に記憶する各種ＤＢ等を、判定サーバ１とは異なるデータベースサーバやクラウドストレージに記憶してもよい。

【0019】

通信部１５はネットワークＮを介して、ユーザ端末２と通信を行う。また、制御部１１が通信部１５を用い、ネットワークＮ等を介して他のコンピュータから制御プログラム１Ｐをダウンロードし、補助記憶部１３に記憶してもよい。

【0020】

読み取り部１６はＣＤ（Compact Disc）－ＲＯＭ及びＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読み取り部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、補助記憶部１３に記憶してもよい。また、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでもよい。

【0021】

図３はユーザ端末のハードウェア構成例を示すブロック図である。ユーザ端末２は制御部２１、主記憶部２２、補助記憶部２３、通信部２４、入力部２５、表示部２６及びシリアル通信部２７を含む。各構成はバスＢで接続されている。

【0022】

制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を有する。制御部２１は、補助記憶部２３に記憶された制御プログラム２Ｐ（プログラム、プログラム製品）を読み出して実行することにより、種々の機能を提供する。

【0023】

主記憶部２２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等である。主記憶部２２は主として制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。

【0024】

補助記憶部２３はハードディスク又はＳＳＤ等であり、制御部２１が処理を実行するために必要な各種データを記憶する。補助記憶部２３はステレオカメラ３から取得したステレオ画像や、位置測位機４から取得した位置情報を記憶してもよい。補助記憶部２３はユーザ端末２に接続された外部記憶装置であってもよい。補助記憶部２３に記憶する各種ＤＢ等を、データベースサーバやクラウドストレージに記憶してもよい。

【0025】

通信部２４はネットワークＮを介して、判定サーバ１と通信を行う。また、制御部２１が通信部２４を用い、ネットワークＮ等を介して他のコンピュータから制御プログラム２Ｐをダウンロードし、補助記憶部２３に記憶してもよい。

【0026】

入力部２５はキーボードやマウスである。表示部２６は液晶表示パネル等を含む。表示部２６は判定サーバ１が出力した判定結果などを表示する。また、入力部２５と表示部２６とを一体化し、タッチパネルディスプレイを構成してもよい。なお、ユーザ端末２は外部の表示装置に表示を行ってもよい。

【0027】

シリアル通信部２７は他の機器とシリアル通信を行う通信インターフェースである。シリアル通信部２７は、ＵＳＢ（Universal Serial Bus）規格に従った有線通信、Bluetooth（登録商標）規格等に従った無線通信を行う。シリアル通信部２７は、ステレオカメラ３からステレオ画像を、位置測位機４から位置情報を取得する。

【0028】

図４は設定ＤＢの例を示す説明図である。設定ＤＢ１３１は離隔距離の閾値を記憶する。設定ＤＢ１３１は設備列、分類列及び閾値列を含む。設備列は送電設備の分類を記憶する。分類列は周辺物の分類を記憶する。閾値列は周辺物に対する閾値を記憶する。図４に示されている例では、建造物と配電線との離隔距離は２ｍ以上でなくてはならないことを示している。その他に、地面と配電線との離隔距離、道路と配電線との離隔距離、配電線又は電柱とビルに設置された看板との離隔距離などの閾値を記憶する。

【0029】

撮影画像ＤＢ１３２(図示なし)は、ステレオカメラ３が撮影したステレオ画像を記憶する。撮影画像ＤＢ１３２が記憶するステレオ画像は、静止画でも動画でもよい。画像のデータ形式は特に限定されないが、左画像と右画像との対応関係が取れるデータが必要である。静止画のデータ形式は、例えばＤＣ－００６に沿った形式でもよい。ＤＣ－００６はＣＩＰＡ（Camera & Imaging Product Association：一般社団法人カメラ映像機器工業会）が制定したデジタルスチルカメラ用ステレオ静止画像フォーマットである。動画像の場合は、右画像と左画像とで、タイムコード同期を取って、撮影する。右動画データと左動画データとは独立したデータとして撮影画像ＤＢ１３２に記憶されるが、タイムコードによりフレーム単位で、対応関係のある左画像と右画像とからなる画像組、すなわちステレオ画像を取得可能である。

【0030】

図５は画像位置ＤＢの例を示す説明図である。画像位置ＤＢ１３３は画像を撮影した位置の地理座標を記憶する。画像位置ＤＢ１３３は画像名列、タイムコード列、経度列及び緯度列を含む。画像名列は画像を特定可能な画像の名称を記憶する。画像を特定可能であれば数値でもよい。タイムコード列は画像が動画である場合、タイムコードを記憶する。画像が静止画である場合、タイムコード列の値は不定である。経度列は撮影位置の経度を記憶する。緯度列は撮影位置の緯度を記憶する。撮影位置の緯度及び経度は位置測位機４から取得する。画像位置ＤＢ１３３の基となるデータは、ユーザ端末２で生成する。静止画の場合、ユーザ端末２はステレオカメラ３から静止画を受け取る毎に、位置測位機４が出力した地理座標を、静止画に対応付けて記憶する。動画の場合、ユーザ端末２はステレオカメラ３から取得したタイムコードと、位置測位機４が出力した地理座標とを対応付けて記憶する。

【0031】

図６は判定結果ＤＢの例を示す説明図である。判定結果ＤＢ１３４は配電設備と周辺物との離隔距離についての判定結果を記憶する。判定結果ＤＢ１３４は画像名列、タイムコード列、対象物ＩＤ列、対象物・分類列、配電線ＩＤ列、離隔距離列及び判定列を含む。画像名列は処理対象となった画像の名称を記憶する。タイムコード列は画像が動画である場合、判定に用いた画像のタイムコードを記憶する。タイムコード列は画像が静止画である場合、値は不定である。対象物ＩＤ列は画像に含まれ、離隔距離の判定対象となった対象物のＩＤを記憶する。対象物・分類列は対象物の分類を記憶する。配電線ＩＤ列は画像に含まれ、離隔距離の判定対象となった配電線のＩＤを記憶する。離隔距離列は導出した離隔距離を記憶する。判定列は離隔距離が閾値以上であるか否かの判定結果を記憶する。例えば、離隔距離が閾値以上であれば、判定列はＯＫを記憶する。離隔距離が閾値未満であれば、判定列はＮＧを記憶する。

【0032】

図７は第１モデルの構成例を示す説明図である。第１モデル１４１はステレオ画像を入力した場合に視差マップを出力するように学習された学習モデルである。第１モデル１４１はＰＳＭＮｅｔ（Pyramid Stereo Matching Network）を改造した学習モデルである。第１モデル１４１は２つ特徴抽出モジュール１４１１及び視差回帰モジュール１４１２を含む。特徴抽出モジュール１４１１は入力画像に含まれる物体を検出する。特徴抽出モジュール１４１１は右画像を処理するモジュールと左画像を処理するモジュールとがあり、モジュール間で重みを共有する。第１モデル１４１は２つの特徴抽出モジュール１４１１の出力から４次元コストボリュームを作成する。コストは、画像毎に、ステレオ画像を構成する左右の画像の一致の度合を示す。コストボリュームは、左画像に対して右画像を幅（width）方向に１ピクセルずつずらして、最大視差（Max Disparity）までずらした各画像等を結合（concat）して作成する。したがって、コストボリュームはD（深度）×H（高さ）×W（幅）×C（コスト）の４次元となる。視差回帰モジュール１４１２は、４次元コストボリュームから視差マップ（深度情報）を作成し、出力する。第１モデル１４１は図７に示した構成に限られず、ステレオ画像を入力した場合に視差マップを出力するように学習された学習モデルであれば、他の構成でもよい。

【0033】

図８は特徴抽出モジュールの構成例を示す説明図である。特徴抽出モジュール１４１１は改変ＦＰＮ（Feature Pyramid Networks：特徴ピラミッドネットワーク）１４１１１、連結層１４１１２、及びコンボリューション層１４１１３を含む。改変ＦＰＮ１４１１１は、従来のＦＰＮと同様に、マルチスケールＣＮＮ（Convolution Neural Network）エンコーダ（抽出エンコーダＥＣ）と、その後半に、マルチスケール特徴ピラミッド方式の画像特徴集約を、複数スケールで行うＣＮＮデコーダ（集約デコーダＤＣ）とを含む。複数スケールで行うＣＮＮデコーダにおいて、各スケールで画像特徴集約を行う層はアップサンプリング層ＵＰである。従来のＦＰＮでは、各スケールのＣＮＮエンコーダとＣＮＮデコーダとを結合するスキップ接続を含む。これにより，ＦＰＮ全体では砂時計ネットワークを形成している。ＦＰＮでは各スケールで特徴量を出力する構成となっているが、改変ＦＰＮ１４１１１では最下層が出力する特徴量のみを使用する。集約デコーダＤＣでは最下層のアップサンプリング層ＢＵＰのみが、集約デコーダＤＣの外部へ特徴量を出力する。また、バックボーンはMobileNetを採用することにより、処理が軽くなるようにしてある。連結層１４１１２はエンコーダの最下層（MobileNet）の出力と、デコーダの最下層ＢＵＰの出力と結合する。コンボリューション層１４１１３は連結層１４１１２が出力したデータに対して畳み込み演算を行う。特徴抽出モジュール１４１１は、コンボリューション層１４１１３の出力とエンコーダの最下層の出力とを結合した特徴量を出力する。特徴抽出モジュール１４１１は図８に示した構成に限られず、右画像、左画像を入力した場合に、４次元コストボリュームを作成可能な特徴量を出力するように学習された学習モデルであれば、他の構成でもよい。

【0034】

図９は第２モデルの構成例を示す説明図である。第２モデル１４２は複数の学習モデルを結合したモデルである。第２モデル１４２はエンコーダ１４２１、第１デコーダ１４２２、第２デコーダ１４２３、及び第３デコーダ１４２４を含む。

【0035】

エンコーダ１４２１と第１デコーダ１４２２とにより、Ｕ－Ｎｅｔを構成する。Ｕ－Ｎｅｔはセマンティックセグメンテーション（Semantic Segmentation）を行う学習モデルである。本実施の形態おいて、Ｕ－Ｎｅｔは被写体を配電線及び配電線を含む電線と、電柱と、その他の物体とに分類する。その他は、建造物、樹木、道路、歩道橋、索道等である。以降、本実施の形態におけるＵ－Ｎｅｔをセグメンテーションモデルという。セグメンテーションモデルは、Ｕ－ＮＥＴに限られず、画像内の物体を分類可能な学習モデルであれば、他のモデルで構成してもよい。

【0036】

エンコーダ１４２１と第２デコーダ１４２３とにより、ＹＯＬｉｎＯを構成する。第２デコーダ１４２３は一部の層において、第１デコーダ１４２２とのスキップ接続を有する。ＹＯＬｉｎＯはリアルタイムでポリラインを検出するモデルである。本実施の形態において、ＹＯＬｉｎＯは特に、配電線を検出するために用いられる。以降、本実施の形態におけるＹＯＬｉｎＯを線状物体検出モデルという。線状物体検出モデルは、ＹＯＬｉｎＯに限られず、画像内の線状物体を検出可能な学習モデルであれば、他のモデルで構成してもよい。

【0037】

エンコーダ１４２１と第３デコーダ１４２４とにより、Ｙｏｌｏを構成する。Ｙｏｌｏは直方体状の物体の検出に優れたモデルである。本実施の形態において、Ｙｏｌｏは特に、電柱を検出するために用いられる。以降、本実施の形態におけるＹｏｌｏを電柱検出モデルという。電柱検出モデルはＹｏｌｏに限られず、画像内において電柱のような棒状物体を検出可能な学習モデルであれば、他のモデルで構成してもよい。第２モデル１４２は、セグメンテーションモデル、線状物体検出モデル、及び電柱検出モデルの３モデルを必ず備えている必要はなく、セグメンテーションモデルのみの１モデル、又は、セグメンテーションモデル及び線状物体検出モデル、若しくは、セグメンテーションモデル及び電柱検出モデルの２モデルの構成でもよい。また、セグメンテーションモデル、線状物体検出モデル、及び電柱検出モデルは、エンコーダ１４２１を共有する構成となっているが、共有しない構成でもよい。

【0038】

セグメンテーションモデル、線状物体検出モデル、電柱検出モデルそれぞれの出力は、判別器１１ｂに入力される。判別器１１ｂに基づき、被写体それぞれの分類を決定する。分類の決定において、配電線の判定については、セグメンテーションモデルの判定結果よりも、線状物体検出モデルの判定結果を優先させる。また、電柱の判定については、セグメンテーションモデルの判定結果よりも、電柱検出モデルの判定結果を優先させる。判別器１１ｂは決定した分類を付した分類済画像を出力する。分類済画像と視差マップとは導出部１１ｃに入力される。導出部１１ｃは分類済画像と視差マップとに基づき、配電線とその周辺物との離隔距離を導出する。判別器１１ｂは被写体の分類と離隔距離とを対応付けた結果画像を出力する。

【0039】

次に、判定システム１００で行われる情報処理について説明する。図１０は第１モデル生成処理の手順例を示すフローチャートである。第１モデル作成処理は、第１モデル１４１を作成する処理である。制御部１１は訓練データを取得する（ステップＳ１）。訓練データは複数のデータレコードからなるデータセットである。制御部１１は処理対象とする１レコードを選択する（ステップＳ２）。制御部１１は学習を行う（ステップＳ３）。制御部１１は訓練データに含まれる入力データ（ステレオ画像）を、第１モデル１４１へ入力する。制御部１１は第１モデル１４１が出力したデータ（視差マップ）と、訓練データに含まれる正解データとを対照し、第１モデル１４１が出力したデータと、正解データとが一致するように、第１モデル１４１を構成するニューロン間の重み等のパラメータを最適化する。制御部１１は学習を終了するか否かを判定する（ステップＳ４）。例えば、訓練データに含まれる全てのレコードを用いて学習をした場合、制御部１１は終了すると判定する。制御部１１は学習を終了しないと判定した場合（ステップＳ４でＮＯ）、処理をステップＳ２へ戻し、学習を繰り返す。制御部１１は学習を終了すると判定した場合（ステップＳ４でＹＥＳ）、最適化されたパラメータ値等の学習結果を記憶し（ステップＳ５）、処理を終了する。

【0040】

第１モデル１４１の訓練データは、現場で撮影したステレオ画像及び、当該画像から生成した視差マップを用いる。視差マップを生成するにあったては、レーザレンジファインダ等の測距装置で測定した距離を用いて精度を確保してもよい。初期学習時の訓練データとして、一般に公開されているデータセット、例えば、Driving Stereo、KITTI_2015、Scene Flowを利用してもよい。

【0041】

図１１は第２モデル生成処理の手順例を示すフローチャートである。制御部１１は訓練データを取得する（ステップＳ１１）。訓練データは複数のデータレコードからなるデータセットである。各レコードには画像内の各被写体の分類がラベル付けされている。制御部１１は処理対象とする１レコードを選択する（ステップＳ１２）。制御部１１は３モデルの学習を行う（ステップＳ１３）。３モデルは、セグメンテーションモデル、線状物体検出モデル、及び電柱検出モデルである。制御部１１は、訓練データに含まれる入力画像（ラベルなし画像）を、３モデルに共通するエンコーダ１４２１へ入力する。制御部１１はセグメンテーションモデルを構成する第１デコーダ１４２２、線状物体検出モデルを構成する第２デコーダ１４２３、電柱検出モデルを構成する第３デコーダ１４２４、それぞれから出力された画像を取得する。セグメンテーションモデルが出力する画像には被写体に分類が付されている。線状物体検出モデルが出力する画像には検出した線状物体が含まれている。電柱検出モデルが出力する画像には検出した電柱が含まれている。制御部１１は各モデルの出力と、各被写体にラベル付けされた分類とを対照して、各モデルが正解を出力するように、エンコーダ１４２１、第１デコーダ１４２２、第２デコーダ１４２３、及び第３デコーダ１４２４を構成するニューロン間の重み等のパラメータを最適化する。制御部１１は学習を終了するか否かを判定する（ステップＳ１４）。例えば、訓練データに含まれる全てのレコードを用いて学習をした場合、制御部１１は終了すると判定する。制御部１１は学習を終了しないと判定した場合（ステップＳ１４でＮＯ）、処理をステップＳ１２へ戻し、学習を繰り返す。制御部１１は学習を終了すると判定した場合（ステップＳ１４でＹＥＳ）、最適化されたパラメータ値等の学習結果を記憶し（ステップＳ１５）、処理を終了する。なお、ここでは３モデルを同時に学習したが、個別に学習してもよい。

【0042】

第２モデル１４２の訓練データは調査、障害発生時の現場写真や現場で撮影した動画に、被写体の分類を注記として付した画像を用いる。初期学習時の訓練データとして、一般に公開されているデータセット、例えば、カラー写真の教師ラベル付き画像データベースであるImageNetを利用してもよい。

【0043】

図１２及び図１３は判定処理の手順例を示すフローチャートである。判定処理は入力画像の被写体として配電線が含まれる場合、当該配電線とその周辺物との離隔距離を導出し、導出した離隔距離が閾値以上であるか否かを判定する処理である。判定サーバ１の制御部１１は、処理対象とする動画データを取得する（ステップＳ３１）。動画データはステレオ動画データである。制御部１１は処理対象とする１フレームを選択する（ステップＳ３２）。制御部１１は選択したフレームのステレオ画像を第１モデル１４１へ入力する（ステップＳ３３）。制御部１１は第１モデル１４１が出力する視差マップを取得する（ステップＳ３４）。制御部１１は視差マップ、右画像又は左画像を第２モデル１４２へ入力する（ステップＳ３５）。第２モデル１４２に入力された右画像又は左画像（以下、入力画像）をエンコーダ１４２１に入力される。エンコーダ１４２１と接続されている第１デコーダ１４２２、第２デコーダ１４２３、第３デコーダ１４２４は画像を判別器１１ｂへ出力する。判別器１１ｂは３つのデコーダからの出力に基づき、入力画像における各被写体の分類を決定する。判別器１１ｂは決定した分類を付した分類済画像を出力する。分類済画像と視差マップとは導出部１１ｃへ入力される。導出部１１ｃは、配電線とその周辺物との離隔距離を導出する（ステップＳ３６）。ステレオカメラ３と被写体である配電線又は周辺物との距離は、ステレオカメラ３の基線長、各カメラの焦点距離、視差より求めることが可能である。離隔距離は、配電線と周辺物とが最も近づく点どうしの距離である。該当する２点の３次元座標値に基づいて、２点間の距離を導出可能である。離隔距離の導出は、配電線と周辺物との全ての組み合わせについて行われる。導出部１１ｃは被写体の分類と離隔距離とを対応付けた結果画像を出力する。制御部１１は結果画像において、処理対象とする周辺物を選択する（ステップＳ３７）。制御部１１は被写体に対応付けられている分類を参照して、分類が配電線や電柱ではないものを選択する。制御部１１は選択した被写体に対応付けられている離隔距離を取得する（ステップＳ３８）。制御部１１は設定ＤＢ１３１と被写体の分類及び離隔距離とを対照して、離隔距離が閾値未満であるか否かを判定する（ステップＳ３９）。制御部１１は離隔距離が閾値未満でないと判定した場合（ステップＳ３９でＮＯ）、処理をステップＳ４１へ進める。制御部１１は離隔距離が閾値未満であると判定した場合（ステップＳ３９でＹＥＳ）、フラグをオンにする（ステップＳ４０）。なお、フラグの初期状態はオフである。制御部１１は結果を判定結果ＤＢ１３４に記憶する（ステップＳ４１）。制御部１１は終了するか否かを判定する（ステップＳ４２）。制御部１１は画像内の全ての周辺物について処理済みである場合、終了する判定し、それ以外は終了しないと判定する。制御部１１は終了しないと判定した場合（ステップＳ４２でＮＯ）、処理をステップＳ３７へ戻す。制御部１１は終了すると判定した場合（ステップＳ４２でＹＥＳ）、フラグがオンであるか否かを判定する（図１３のステップＳ４３）。制御部１１はフラグがオンでないと判定した場合（ステップＳ４３でＮＯ）、処理をステップＳ４６へ移す。制御部１１はフラグがオンであると判定した場合（ステップＳ４３でＹＥＳ）、警告画面を出力する（ステップＳ４４）。警告画面はユーザ端末２へ送信され、ユーザ端末２の表示部２６に表示される。制御部１１は再開するか否か判定する（ステップＳ４５）。制御部１１は警告画面を出力後、ユーザ端末２から再開指示を受信した場合、再開すると判定する。それ以外の場合、制御部１１は再開しないと判定する。制御部１１は再開しないと判定した場合（ステップＳ４５でＮＯ）、ステップＳ４５を繰り返す。制御部１１は再開すると判定した場合（ステップＳ４５でＹＥＳ）、全フレームを処理したか否かを判定する（ステップＳ４６）。制御部１１は全フレームを処理していないと判定した場合（ステップＳ４６でＮＯ）、処理をステップＳ３２に戻す。制御部１１は全フレームを処理したと判定した場合（ステップＳ４６でＹＥＳ）、処理を終了する。

【0044】

図１４は警告画面の例を示す説明図である。警告画面ｄ０１は離隔距離が閾値未満の周辺物を検出した場合に表示される画面である。警告画面ｄ０１は画像表示領域ｄ０１１、結果表示領域ｄ０１２、及び再開ボタンｄ０１３を含む。画像表示領域ｄ０１１は撮影画像を表示する。結果表示領域ｄ０１２は判定結果を表示する。例えば、周辺物の分類、離隔距離、閾値を表示する。再開ボタンｄ０１３を選択する他のフレ－ムについての処理が再開される。

【0045】

警告画面ｄ０１の画像表示領域ｄ０１１において、配電線との離隔距離が閾値未満である周辺物を検出した場合、配電線と周辺物とを強調表示してもよい。図１４に示す例では、該当する配電線ｄ０１１１が太く見えるように、配電線の認識結果に基づいて、線分が重畳表示されている。同様に、周辺物ｄ０１１２の輪郭が太く見えるように、線分が重畳表示されている。強調表示は線や輪郭線を太く表示するのに限らず、表示色を変えてもよい。

【0046】

本実施の形態においては、撮影画像の被写体に配電線及びそれ以外の周辺物が含まれる場合、配電線と周辺物との離隔距離を導出することが可能となる。また、離隔距離が閾値未満であること検出した場合、検出元の画像を表示するので、状況を確認することが可能である。

【0047】

上述した第１モデル生成処理、第２モデル生成処理、及び判定処理は、判定サーバ１が行うとしたが、ユーザ端末２が行ってもよい。比較的に処理寮が多い第１モデル生成処理及び第２モデル生成処理は判定サーバ１で行い、生成した第１モデル１４１及び第２モデル１４２をユーザ端末２に記憶し、判定処理をユーザ端末２で行ってもよい。

【0048】

警告画面ｄ０１において、画像表示領域ｄ０１１に表示している画像を撮影した位置を示す地図を表示してもよい。制御部１１は、表示している画像の名称、タイムコードから、画像位置ＤＢ１３３を検索し、撮影位置の経度、緯度を取得する。制御部１１は取得した経度、緯度を、地図配信システムへ送信する。制御部１１は地図配信システムから返信された当該経度及び緯度を含む地図画像を、警告画面ｄ０１に表示する。

【0049】

各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0050】

１００ 判定システム
１ 判定サーバ
１１ 制御部
１１ｂ 判別器
１１ｃ 導出部
１２ 主記憶部
１３ 補助記憶部
１３１ 設定ＤＢ
１３２ 撮影画像ＤＢ
１３３ 画像位置ＤＢ
１３４ 判定結果ＤＢ
１４１ 第１モデル
１４１１ 特徴抽出モジュール
１４１１１ 改変ＦＰＮ
ＥＣ 抽出エンコーダ
ＤＣ 集約デコーダ
ＵＰ アップサンプリング層
１４１１２ 連結層
１４１１３ コンボリューション層
１４１２ 視差回帰モジュール
１４２ 第２モデル
１４２１ エンコーダ
１４２２ 第１デコーダ
１４２３ 第２デコーダ
１４２４ 第３デコーダ
１５ 通信部
１６ 読み取り部
１Ｐ 制御プログラム
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
２ ユーザ端末
３ ステレオカメラ
４ 位置測位機
Ｂ バス
Ｎ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】