特許 6643441 写真検査支援装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6643441

(24)【登録日】2020年1月8日

(45)【発行日】2020年2月12日

(54)【発明の名称】写真検査支援装置及びそのプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200130BHJP

   G03B 15/00 20060101ALI20200130BHJP

   G03B 17/18 20060101ALI20200130BHJP

【ＦＩ】

   H04N5/232 220

   H04N5/232 300

   H04N5/232 945

   H04N5/232 939

   G03B15/00 T

   G03B17/18 Z

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2018-189711(P2018-189711)

(22)【出願日】2018年10月5日

【審査請求日】2018年10月5日

(73)【特許権者】

【識別番号】399040405

【氏名又は名称】東日本電信電話株式会社

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】眞城 亮成

(72)【発明者】

【氏名】前田 悠

(72)【発明者】

【氏名】大河原 勝良

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１３−０９７６４５（ＪＰ，Ａ）

【文献】 特開２０１１−０９７１９４（ＪＰ，Ａ）

【文献】 特開２０１１−１５５６０５（ＪＰ，Ａ）

【文献】 特開２０１１−１７２２８４（ＪＰ，Ａ）

【文献】 特表２０１７−５１１０３５（ＪＰ，Ａ）

【文献】 特開２０１２−１２３５３３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／００８２４１４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

検査対象物品の写真の撮影を支援するための写真検査支援装置であって、
被写体の写真の画像から前記被写体が前記検査対象物品であることを推定するための、電気通信設備工事の施工完了を確認するために現場で撮影された、前記検査対象物品の物品種別ごとの形態上の特徴を適切にとらえた多数の画像を用いた機械学習により得られた学習結果に基づく推定を行う推定部、を有し、
前記推定部は、
前記被写体のリアルタイムに取得されている画像から前記検査対象物品の画像部分を推定して検出し、
検出された前記検査対象物品の前記画像部分が前記検査対象物品に対応するものであることの推定の確信度を算出し、
前記確信度を前記検査対象物品の前記画像部分に対応させて表示させ、
指定された前記物品種別に対応する前記学習結果に基づく推定を行い、
検出された前記検査対象物品の前記物品種別を前記画像部分に対応させてさらに表示させる、
ことを特徴とする写真検査支援装置。

【請求項2】

前記推定部は、前記物品種別に検出された物品種別毎に一連番号を付与したものを前記確信度と組み合わせて表示する、
ことを特徴とする請求項１に記載の写真検査支援装置。

【請求項3】

前記推定部は、さらに、所定の期間の前記被写体の前記画像を、そのそれぞれに対して算出された前記確信度と共に蓄積し、前記確信度が最も高い前記画像を撮影される写真として選択する、
ことを特徴とする請求項１又は２に記載の写真検査支援装置。

【請求項4】

前記推定部は、さらに、前記確信度が、上昇中、下降中、最大値付近、のいずれかの変化状態であることを検出し、検出した前記状態に対応する情報をさらに表示させる、
ことを特徴とする請求項１から３のいずれか１項に記載の写真検査支援装置。

【請求項5】

前記推定部は、さらに、前記確信度が上昇する移動方向を求め、それを表示させる、
ことを特徴とする請求項１から４のいずれか１項に記載の写真検査支援装置。

【請求項6】

検査対象物品の写真の撮影を支援するための、装置で実行される写真検査支援プログラムであって、前記写真検査支援プログラムは、前記装置で実行されることにより前記装置に、
被写体の写真の画像から前記被写体が前記検査対象物品であることを推定するための、電気通信設備工事の施工完了を確認するために現場で撮影された、前記検査対象物品の物品種別ごとの形態上の特徴を適切にとらえた多数の画像を用いた機械学習により得られた学習結果に基づく推定を行う推定部、を構成させ、
前記推定部は、
前記被写体のリアルタイムに取得されている画像から前記検査対象物品の画像部分を推定して検出し、
検出された前記検査対象物品の前記画像部分が前記検査対象物品の画像であることの推定の確信度を算出して前記画像部分に対応させて前記装置に表示させ、
指定された前記物品種別に対応する前記学習結果に基づく推定を行い、
検出された前記検査対象物品の前記物品種別を前記画像部分に対応させてさらに表示させる、
ことを特徴とする写真検査支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は写真検査支援装置に関し、より詳しくは電気通信設備工事の施工完了写真検査で使用される写真を撮影する際の支援装置に関する。

【背景技術】

【0002】

電気通信設備工事の請負工事の施工確認における施工完了写真検査においては、検査対象物品の写真を使用した大量の検査が実施されている。写真検査では、施工後の検査対象物品の写真を現場で撮影し、その画像データを検査施設に送信する。検査施設では、画像データを蓄積しており、後日、検査員が画像データを参照し、施工が検査基準に合致していることを確認する。

【0003】

検査対象物品は、施工の結果が、適切な形態であることや、適切な取り付け状態であることなどが検査基準に基づいて確認される。そのためには、検査対象物品の形態上の特徴を適切にとらえ、検査対象物品を適切に特定している写真を撮影する必要がある。検査対象物品の物品種別としては、例えば、図７に示すクロージャ、図８に示す支線ガード、図９に示す分線用金物、図１０に示す支柱、図１１に示す電柱番号札などがある。いずれも、形態上の特徴を適切にとらえ、検査対象物品を適切に特定するためには、適切なアングルやズーム比などで撮影する必要がある。そのためには、ユーザに対して写真の撮影時に適切な支援が行われることが望まれる。例えば、現場で撮影した写真が検査に適しているかをその場で判定することができると好都合である。この場合、ユーザは、その場で撮り直しをすることができる。従来は、ぶれのない写真を選択する技術は存在していた。しかし、写真が形態上の特徴を適切にとらえ、検査対象物品を適切に特定しているものであるかどうかを判定する技術は存在しなかった。

【発明の概要】

【発明が解決しようとする課題】

【0004】

写真の判定は目視により実施するものであることによりリアルタイム性がない。検査基準に合致しているかどうかが判定できないような写真が含まれている場合に即時に撮り直しを指示することができないため、撮影し直しが発生している。このように、現場で検査対象物品の施工後の写真を撮影して検査施設に送付しても、直ちに検査されるのではなく、後日、検査を行うものであるため、その際に、写真が検査のためには不適切であったとすると、再び、現場で検査対象物品の施工後の写真を撮影する必要があり、手戻りが発生している。ここで、そのような手戻りを防止するために、人工知能（ＡＩ）に試験データとして使用される写真をリアルタイムに判定させることが考えられる。しかし、そのためには、確実に写真に基づいて検査ができるようにするために、アングルやズーム等を一定の条件下で撮影する必要がある。しかし実際には、撮影者によって撮影のし方にばらつきがあるため、写真を用いてＡＩに検査をさせることは難しかった。本発明は、ＡＩによる物体検出技術を利用することによって現場で写真検査の自動判定を行うことにより、形態上の特徴を適切にとらえた、検査対象物品を適切に特定している信頼性の高い写真の撮影を支援し、検査稼動の削減と、撮り直しの手戻りの削減を行うことを目的とするものである。

【課題を解決するための手段】

【0005】

本発明は上記の課題に鑑みてなされたものであり、以下のような特徴を有している。すなわち本発明は、検査対象物品の写真の撮影を支援するための写真検査支援装置であって、被写体の写真の画像から被写体が検査対象物品であることを推定するための検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行い、その推定は、被写体のリアルタイムに取得されている画像から検査対象物品の画像部分を推定して検出し、検出された検査対象物品の画像部分が検査対象物品に対応するものであることの推定の確信度を算出し、確信度を検査対象物品の画像部分に対応させて表示させる、ことを特徴とする。

【0006】

本発明は、検査対象物品の物品種別に応じたものであり、指定された物品種別に対応する学習結果に基づく推定を行い、検出された検査対象物品の物品種別を画像部分に対応させてさらに表示させる、ように構成できる。本発明は、さらに、所定の期間の被写体の画像を、そのそれぞれに対して算出された確信度と共に蓄積し、確信度が最も高い画像を撮影される写真として選択する、ように構成できる。本発明は、さらに、確信度が、上昇中、下降中、最大値付近、のいずれかの変化状態であることを検出し、検出した状態に対応する情報をさらに表示させる、ように構成できる。本発明は、さらに、確信度が上昇する移動方向を求め、それを表示させる、ように構成できる。

【発明の効果】

【0007】

本発明は、被写体の写真の画像から被写体が検査対象物品であることを推定するための検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行い、その推定は、被写体のリアルタイムに取得されている画像から検査対象物品の画像部分を推定して検出し、検出された検査対象物品の画像部分が検査対象物品に対応するものであることの推定の確信度を算出し、確信度を検査対象物品の画像部分に対応させて表示させる構成を採用したことにより、形態上の特徴を適切にとらえた、検査対象物品を適切に特定している信頼性の高い写真の撮影を支援し、検査稼動の削減と、撮り直しの手戻りの削減を行うことを可能にするという効果を有する。

【図面の簡単な説明】

【0008】

【図1】写真検査支援装置１００の構成を示すブロック図である。

【図2】写真検査支援装置１００と接続されるシステムの構成を示す概要構成図である。

【図3】写真検査支援装置１００の動作フロー図である。

【図4】検査対象物品に対応する画像部分と確信度の表示画面の例である。

【図5】確信度の変化状態の表示画面の例である。

【図6】確信度が上昇する移動方向を示す表示画面の例である。

【図7】検査対象物品であるクロージャの外観を示す写真である。

【図8】検査対象物品である支線ガードの外観を示す写真である。

【図9】検査対象物品である分線用金物の外観を示す写真である。

【図10】検査対象物品である支柱の外観を示す写真である。

【図11】検査対象物品である電柱番号札の外観を示す写真である。

【発明を実施するための形態】

【0009】

（写真検査支援装置１００の構成）
これから図面を参照し、本発明の一実施形態である写真検査支援装置１００の説明を行う。写真検査支援装置１００は、ユーザが電気通信設備工事の施工完了写真検査のための写真を撮影する際に使用する装置である。写真検査支援装置１００は、典型的には、カメラ機能を有し、所与のプログラムを実行する機能を有するスマートフォンのような携帯コンピュータ端末である。図１は、写真検査支援装置１００の構成を示すブロック図である。写真検査支援装置１００は、推定部１０１、カメラ１０２、ユーザインタフェイス（Ｉ／Ｆ）１０３、無線通信部１０４から構成される。推定部１０１は、写真検査支援装置１００の推定機能を含む各種の機能を実行するための回路であり、典型的には、プロセッサ１０１ａ、一時メモリ（図示せず）、メモリ１０１ｂがバスで接続されて構成された情報処理回路である。推定部１０１は、典型的には、被写体の写真の画像から被写体が検査対象物品であることを推定するための検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行う。プロセッサ１０１ａはＣＰＵのような演算ユニットである。メモリ１０１ｂは、典型的にはフラッシュＲＯＭのような不揮発メモリであり、そこには写真検査支援プログラム１０１ｃが記憶されている。推定部１０１は、メモリ１０１ｂに記憶された写真検査支援プログラム１０１ｃをプロセッサ１０１ａが読み出して、ＲＡＭのような一時メモリのワークエリアを利用して実行することにより、写真検査支援に関する、被写体の写真の画像からの被写体が検査対象物品であることや検査対象物品の物品種別の推定を含む各種の機能を実現する動作を実行する。本発明による写真検査支援装置１００の特徴的な機能は、写真検査支援プログラム１０１ｃが実行されることにより、そのような機能を実現するモジュールが形成されることにより実現される。メモリ１０１ｂは、また、学習結果データ１０１ｄも記憶している。学習結果データ１０１ｄは、ディープラーニングなどの人工知能（ＡＩ）を多数の写真とその検査結果からなる教師データで学習させた学習結果のデータであり、このデータに基づきＡＩは推定を実施するものである。メモリ１０１ｂは、また、画像・確信度データ１０１ｅも記憶している。画像・確信度データ１０１ｅは、写真検査支援装置１００を使用して写真を撮影中に、撮影した画像や、その画像に基づく推定結果の確信度を一時的に記憶するためのものである。

【0010】

推定部１０１による被写体の写真の画像からの被写体の検査対象物品であることや検査対象物品の物品種別の推定は、人工知能（ＡＩ）によって行われ、典型的には機械学習の技術で実行される。ここでは、深層学習（ディープラーニング）の技術を利用した機械学習を例として説明する。深層学習では、ニューラルネットワークの基本原理を使用しており、典型的には、多数の人工ニューロンの層を多数層重ねたものを利用する。ある層の人工ニューロンは、次の層の人工ニューロンのそれぞれに重み付きシナプスによって接続される。その多数の層は、情報の入力側から、入力層、隠れ層、出力層に分類される。入力層の各人工ニューロンには、通常、被写体の写真の画像の画素ごとのデータが入力される。それが多数の隠れ層において、人工ニューロン間を接続する重み付きシナプスを介して、次の層の人工ニューロンに情報が伝えられることにより、その情報が正しい出力として集束するように構成されている。そのシナプスの重みは、正しい出力が得られるように、多数の検査対象物品の写真の画像と、検査対象物品の物品種別とを教師データとした学習によって更新されることによって生成されたものである。すべての人工ニューロンの全てのシナプスの重みの情報の集合は、学習結果データ１０１ｄにより定義される。出力層には、すべての分類、すなわち検査対象物品の物品種別のそれぞれに対応した出力ノードが準備されている。このような構成により、出力層では、被写体の写真の画像の分類（検査対象物品の物品種別）に対応している出力ノードが高い数値を出力することになり、高い出力を出している出力ノードに対応する検査対象物品の物品種別が推定結果となる。なお、この数値が高いほど、推定結果が正しい可能性が高くなる。従って、この数値に基づき、推定結果が正しい確率を計算することができ、これを推定が正しいことの確信度として使用できる。推定部１０１は、このような深層学習のためのニューラルネットワークが、プロセッサ１０１ａが写真検査支援プログラム１０１ｃを実行することにより、各人工ニューロンの各シナプスの重みが学習結果データ１０１ｄに基づいて定義されてニューラルネットワークを構成することによって、推定の機能を実行することができる。

【0011】

カメラ１０２は、被写体を撮影して画像データを生成する構成である。写真検査支援装置１００がスマートフォンである場合は、スマートフォン本体に内蔵されているカメラが使用される。カメラ１０２は、撮影中は、写真検査支援装置１００のディスプレイに、撮影時に撮像素子がとらえている画像をモニタのために表示させる機能を有している。ユーザＩ／Ｆ １０３は、ユーザから操作指示やデータの入力などの情報入力を行うためのタッチパネル類及びそれらを駆動する回路や、ユーザに対してデータの表示などの情報出力を行うためのディスプレイ及びそれらを駆動する回路などの、ユーザとの間で情報の入出力を行うための回路である。

【0012】

写真検査支援装置１００は、外部のネットワークと接続し、ネットワーク上にある資源を利用することもできる。図２は、写真検査支援装置１００と接続されるシステムの構成を示す概要構成図である。図２には、写真検査支援装置１００は、基地局１２０を介してインターネットに接続することができ、インターネット上の写真検査支援サーバ１１０や写真検査施設サーバ１１５に接続されることが示されている。無線通信部１０４は、基地局１２０を介して携帯電話網のような外部のネットワークと無線によりデータ通信するための回路であり、それによってインターネットにアクセスすることを可能とするものである。無線通信部１０４は、典型的には、アンテナ、高周波回路、データ処理回路などを含む回路である。写真検査支援装置１００は、無線通信部１０４によりインターネットを経由して所定の機能を提供するサーバにアクセスすることができる。写真検査支援サーバ１１０は、写真検査支援装置１００のための学習結果データ１０１ｄを生成するためのサーバである。また、写真検査支援サーバ１１０は、写真検査支援プログラム１０１ｃによる機能の一部を実行してもよい。写真検査施設サーバ１１５は、写真検査のために現場で撮影された写真の画像データを写真検査支援装置１００から収集して蓄積するためのサーバである。検査員は、ここに蓄積された写真の画像データを使用して、施工後の検査対象物品が検査基準に合致しているかどうかを確認する。

【0013】

推定部１０１で使用される学習結果データ１０１ｄは、好適には、写真検査支援サーバ１１０で事前に準備される。すなわち、学習結果データ１０１ｄは、それを生成するためには非常に大きな計算リソースを必要とするため、好適には、写真検査支援装置１００の外部の写真検査支援サーバ１１０で事前に生成され、写真検査支援装置１００に読み込まれる。そのために、写真検査支援サーバ１１０では、電気通信設備工事の施工完了を確認するために現場で撮影された複数の写真のデータを用いた機械学習が実施され、その学習結果である学習結果データ１０１ｄが生成される。写真検査支援サーバ１１０では、推定部１０１が含むニューラルネットワークと同じ構造のニューラルネットワークが、それに含まれるプロセッサが所定のプログラムを実行することにより構成されている。写真検査支援サーバ１１０のニューラルネットワークは、教師あり学習を実行することができるように構成されている。教師あり学習を実行するためには、まず、形態上の特徴を適切にとらえた多数の検査対象物品の写真が検査対象物品の物品種別ごとに収集して準備される。そして、それぞれの検査対象物品の写真と、その写真が対応する検査対象物品の物品種別との組を教師データとして、ニューラルネットワークに学習させ、各人工ニューロンの各シナプスの重みを更新する作業を繰り返す。学習は、好適には、検査対象物品の物品種別に応じて実行され、この学習結果を使用することにより、検査対象物品の物品種別まで推定することが可能となる。この学習により、検査対象物品の写真をニューラルネットワークの入力とした場合に、その写真が表わす正しい検査対象物品の物品種別に対応する出力層のノードの数値が高くなるような推定を行うように、ニューラルネットワークの各人工ニューロンの各シナプスの重みが調整される。ニューラルネットワークの各人工ニューロンの各シナプスの重みを定義するデータは学習結果データ１０１ｄとしてエクスポートが可能である。このように、写真検査支援サーバ１１０では、事前の学習により、正しい推定を行うように調整された学習結果データ１０１ｄを準備する。写真検査支援装置１００は、基地局１２０を介してインターネット上の写真検査支援サーバ１１０に最新の学習結果データ１０１ｄを要求し、写真検査支援サーバ１１０がその要求に応答して学習結果データ１０１ｄを写真検査支援装置１００に送信する。写真検査支援装置１００は、その最新の学習結果データ１０１ｄをメモリ１０１ｂに記憶する。これにより、推定部１０１は、その最新の学習結果データ１０１ｄに基づいたニューラルネットワークを利用した深層学習により、被写体の写真の画像から、それに対応する検査対象物品の物品種別の推定を行うことができるようになる。

【0014】

（写真検査支援装置１００の動作）
これから図面を参照して写真検査支援装置１００の動作について説明する。図３は、写真検査支援装置１００の動作フロー図である。写真検査支援装置１００は、検査対象物品の写真の撮影を支援するための写真検査支援装置である。まず、写真検査支援装置１００は、被写体の写真の画像から被写体が検査対象物品であることや検査対象物品の物品種別を推定するための推定部１０１を有しているが、推定部１０１は、検査対象物品の画像を用いた機械学習により得られた学習結果データ１０１ｄに基づき推定を行うものである。学習結果データ１０１ｄは、好適には、写真検査支援サーバ１１０で学習により事前に生成され、写真検査支援装置１００に読み込まれる。写真検査支援サーバ１１０では、継続的に学習を行って学習結果データ１０１ｄを更新することができ、その場合、写真検査支援装置１００は、最新の学習結果データ１０１ｄを写真検査支援サーバ１１０に要求して、それを取得しておく。

【0015】

現場の工事施工者は、施工後の検査対象物品の写真を撮影するために、写真検査支援装置１００のカメラ１０２を起動し、検査対象物品を被写体としてカメラ１０２の視野に入れる。これにより、被写体のリアルタイムの画像が取得される。推定部１０１は、被写体のリアルタイムに取得されている画像から検査対象物品の画像部分を推定して検出する（ステップＳ１０１）。なお、この際に、その画像部分の分類、すなわちその画像部分が表わす検査対象物品の物品種別を推定してもよい。具体的には、写真検査支援装置１００は、カメラ１０２が出力している被写体のリアルタイムの画像を推定部１０１のニューラルネットワークに入力し、その出力層のいずれかのノードの数値が高くなることを検出する。典型的には、まず、画像の中から物品の領域の候補の画像部分を連続的に抽出し、それをニューラルネットワークに入力する。そしてある出力ノードの数値が高くなれば、その画像部分には、学習で使用された検査対象物品の画像に近い画像が含まれているということであり、検査対象物品のいずれかの物品がそこに存在すると推定されて検出されたことになる。出力ノードの数値に対しては、適切な閾値を設定することにより、検査対象物品の画像の推定を適切に行うことができる。また、その出力ノードが対応している検査対象物品の物品種別が推定された物品種別となる。ここで、出力ノードが高くなる画像部分が複数存在すれば、そのすべてを検査対象物品が存在するものとして検出してもよく、そのすべてに対して検査対象物品の物品種別を推定してもよい。また、物品の領域の候補の画像部分を抽出することを行わずに、ニューラルネットワークで物品の領域の抽出を行わせてもよい。

【0016】

次に、推定部１０１は、検出された検査対象物品の画像部分が、その検査対象物品に対応することの推定の確信度を算出する（ステップＳ１０２）。具体的には、推定部１０１は、検査対象物品が存在すると推定した画像部分が入力とされたときの出力ノードの数値に基づき、推定の確信度を算出する。出力ノードの数値が高いほど推定の確信度は高くなるが、それの対応付けを適切に行うことにより、確信度を算出する。

【0017】

次に、推定部１０１は、算出された確信度を、それが対応する検査対象物品の画像部分に対応させて表示する（ステップＳ１０３）。図４は、検査対象物品に対応する画像部分と確信度の表示画面の例である。表示の際には、検査対象物品が存在することが検出された画像部分の領域が、例えば、四角形の枠で囲むことによって強調表示されると好適である。そしてその画像部分が検査対象物品であることの確信度がその領域に対応させて表示される。画像部分の領域を強調表示せずに、確信度だけを画像中の検査対象物品の近傍などに表示してもよい。これにより、検査対象物品として推定されたものの存在と、その推定の確信度をユーザに対して表示できる。そして、さらに好適には、検出された検査対象物品の物品種別がその画像部分の領域に対応させて表示される。図４の例では、物品種別と確信度の組み合わせとして、「分配金物」と「８５％」、「引留金物」と「７０％」、「引留金物」と「７５％」、「メッセンジャワイヤ」と「６０％」が表示されている。また、この例では、物品種別名の前に、検出された物品種別毎に一連番号を付与して表示している。これにより、ユーザは検出された物品種別の数を簡単に確認することができる。

【0018】

このように、ユーザは、リアルタイムで検査対象物品が検出されていることを写真検査支援装置１００の画面で確認できる。検査対象物品の物品種別が正しく推定されて表示されており、その確信度が高ければ、その状態で撮影した検査対象物品の写真は、検査対象物品の形態上の特徴などを適切にとらえた、検査対象物品を適切に特定している画像となっており、検査施設に送られたときに、検査基準に合致しているかどうかが確実に検査されることが期待される。写真検査支援装置１００は、カメラ１０２のシャッターを押すことにより任意のタイミングで写真を撮影して画像データとして記録することができる。ユーザは、確信度が高い状態でシャッターを押すことにより、検査施設で確実に検査される可能性が高い写真を撮影できる。なお、撮影した写真の画像データのファイルには、撮影日時、確信度、ＧＰＳ情報、物品種別などの情報をＥｘｉｆ情報などとして含ませると好適である。また、そのような情報を、ファイル名の一部とすることも可能である。そのような情報は検査の際に写真撮影の状況を確認するために使用することができる。撮影された写真は、インターネットを通じて写真検査施設サーバ１１５に送られ、そこに蓄積された後に、検査員によって検査される。

【0019】

（写真検査支援装置１００の追加的撮影支援機能）
上述のステップＳ１０１からＳ１０３により、写真検査支援装置１００によって、現場のユーザに対して、適切な写真の撮影ができるような支援が提供される。ここで、写真検査支援装置１００は、さらに追加的な機能を実行することによって、ユーザに対してより強化された撮影の支援を行うことができる。これから、３つの追加的撮影支援機能を例にして説明する。

【0020】

第１の追加的撮影支援機能は、確信度の最も高い写真の自動撮影機能によるものである。ここでは、まず、推定部１０１は、所定の期間の被写体の画像を、そのそれぞれに対して算出された確信度と共に、画像・確信度データ１０１ｅとして蓄積する（ステップＳ１０４）。なお、複数の検査対象物品を検出対象としている場合は、そのそれぞれに対応する複数の確信度を蓄積することもできる。カメラ１０２は、シャッターが押されたときだけに写真の画像データを記録するのではなく、ビデオのように、連続的に写真の画像データを画像・確信度データ１０１ｅとして記録している。推定部１０１は、所定の期間が経過しているかの判断を実行し（ステップＳ１０５）、所定の期間が経過していなければ、１つの写真の画像データを記録すると、ステップＳ１０１からステップＳ１０３を実行させ、検査対象物品の画像部分をリアルタイムで推定して検出するとともに、その推定の確信度を算出して、検査対象物品の画像部分に対応させて表示させ続ける。そして次の写真の画像データを記録し、所定の期間が経過しているかの判断を実行し（ステップＳ１０５）、所定の期間が経過していなければ、また、ステップＳ１０１からステップＳ１０３を反復実行させる。このようなループが所定の期間が経過するまで実行される。所定の期間としては、例えば１０秒のように一定の期間としてもいいし、確信度が最大値を迎えた時を検出して、それまでの期間を所定の期間とすることもできる。この処理により、所定の期間内においては、カメラ１０２はビデオのように被写体を連続的に撮影しながら、検査対象物品の画像部分の検出と、推定の確信度の算出と記録が同じく連続的に実行される。そして、推定部１０１は、所定の期間が経過した後に、確信度が最も高い画像を特定し、それを撮影される写真として選択し、その画像イメージを記録する（ステップＳ１０６）。この第１の追加的撮影支援機能によって、ユーザは、所定の期間内でアングルなどを適当に変化させると、その中で最も確信度が高い写真の画像イメージを自動的に選択して記録することができる。複数の検査対象物品を検出対象としている場合は、そのそれぞれに対して、最も確信度が高い写真の画像イメージが記録されることになる。

【0021】

第２の追加的撮影支援機能は、確信度の変化状態をガイドとして表示する機能によるものである。ここでは、推定部１０１は、確信度が、上昇中、下降中、最大値付近、のいずれかの変化状態であるかを検出し、検出した状態に対応する情報をさらに画面に表示させる（ステップＳ１０４Ａ）。図５は、確信度の変化状態の表示画面の例である。図５では、「上昇中」であることがメッセージで表示されている。図５の「上昇中」のメッセージの直後には、括弧書きで、「下降中」の場合と「最大」の場合のガイド文字の例が示されている。確信度の変化状態は、少し前の時間からの確信度を連続的に記録しておき、前の確信度と現在の確信度の差分を計算することにより判断することができる。最大値付近であることは、変化状態が、上昇中から下降中に変化したことを検出することによって判断できる。検査対象物品が複数検出されている場合は、表示させる確信度は、好適には、検出された検査対象物品を画面上でタッチすることによって選択させ、その検査対象物品に対するものとすると好適である。他には、検出されたすべての検査対象物品に対応させて複数の変化状態をガイドとして表示させることなども可能である。ある時点の変化状態を検出、表示した後には、ステップＳ１０１からステップＳ１０３を反復実行させ、検査対象物品の画像部分をリアルタイムで推定して検出するとともに、その推定の確信度を算出して、検査対象物品の画像部分に対応させて表示させ、さらにステップＳ１０４Ａを続けて実行する。このようなループが、中断の指示が入力されるまで実行される。この第２の追加的撮影支援機能によって、ユーザは、アングルなどを変化させた場合に、確信度がどのように変化しているのかを直感的に知ることができ、適切なアングルにカメラ１０２を移動させる動作を容易に行うことができる。

【0022】

第３の追加的撮影支援機能は、確信度が上昇するような写真検査支援装置１００の移動方向をガイドとして表示する機能によるものである。ここでは、推定部１０１は、確信度が上昇する移動方向を求め、それを画面に表示させる（ステップＳ１０４Ｂ）。図６は、確信度が上昇する移動方向を示す表示画面の例である。図６では、「移動方向」として「右」が提示されていることが、右向きの三角形のシンボルで示されている。確信度が上昇する方向は、例えば、次のようにして求めることができる。写真検査支援装置１００は、６軸センサのような姿勢や動きを感知するセンサを備えており、常に、現在の写真検査支援装置１００の移動方向を把握している。検査対象物品の確信度が上昇している場合は、現在の移動方向を継続すれば確信度の上昇が予想されるため、検出している現在の移動方向を提示する。逆に、検査対象物品の確信度が下降している場合は、現在の移動方向の逆方向に移動させれば確信度の上昇が予想されるため、検出している現在の移動方向と逆の移動方向を提示する。また、検査対象物品の確信度が上昇から下降に移行した直後の場合は、確信度は最大値であることが予想されるため、いずれの移動方向も提示しない。なお、このとき、最大値であることを表示してもよい。ある時点での確信度が上昇する移動方向を求め、それを画面に表示させた後には、ステップＳ１０１からステップＳ１０３を反復実行させ、検査対象物品の画像部分をリアルタイムで推定して検出するとともに、その推定の確信度を算出して、検査対象物品の画像部分に対応させて表示させ、さらにステップＳ１０４Ｂを続けて実行する。このようなループが、中断の指示が入力されるまで実行される。この第３の追加的撮影支援機能によって、ユーザは、どのように写真検査支援装置１００のカメラ１０２を移動させれば、確信度を上昇させることができるのかのガイドを受けることができ、適切なアングルなどにカメラ１０２を移動させる動作を容易に行うことができる。

【0023】

なお、第１の追加的撮影支援機能、第２の追加的撮影支援機能、第３の追加的撮影支援機能は、任意に組み合わせて実行することができる。例えば、第２の追加的撮影支援機能と第３の追加的撮影支援機能とを実行する場合は、図３の動作フロー図において、ステップＳ１０４Ａの後にステップＳ１０４Ｂを実行すればよい。この場合の画面の表示は、図５の変化状態の表示と、図６の移動方向の表示とを、例えば並べて表示すればよい。また、第１の追加的撮影支援機能、第２の追加的撮影支援機能、第３の追加的撮影支援機能のすべてを実行する場合は、図３の動作フロー図において、ステップＳ１０４の後にステップＳ１０４Ａ及びステップＳ１０４Ｂを実行すればよい。この場合の画面の表示は、図５の変化状態の表示と、図６の移動方向の表示とを、例えば並べて表示すればよい。第１の追加的撮影支援機能に対して、第２の追加的撮影支援機能及び／又は第３の追加的撮影支援機能を同時に実行した場合は、ユーザは適切なガイドを受けて適切なアングルなどにカメラ１０２を移動させると同時に、確信度が高い写真の画像イメージを自動的に記録することができる。

【産業上の利用可能性】

【0024】

本発明は、電気通信設備工事の請負工事の施工確認における施工完了写真検査のための写真撮影のガイドを提供することができるスマートフォンのような携帯端末装置や、そのためのアプリケーションプログラムを提供することに利用することができる。

【符号の説明】

【0025】

１００ ：写真検査支援装置
１０１ ：推定部
１０１ａ ：プロセッサ
１０１ｂ ：メモリ
１０１ｃ ：写真検査支援プログラム
１０１ｄ ：学習結果データ
１０１ｅ ：確信度データ
１０２ ：カメラ
１０３ ：ユーザインタフェイス（Ｉ／Ｆ）
１０４ ：無線通信部
１１０ ：写真検査支援サーバ
１１５ ：写真検査施設サーバ
１２０ ：基地局

【要約】

【課題】電気通信設備工事の施工完了写真検査で使用される写真を撮影する際の支援装置を提供する。
【解決手段】本発明の検査対象物品の写真の撮影を支援するための写真検査支援装置は、被写体の写真の画像から前記被写体が前記検査対象物品であることを推定するための前記検査対象物品の画像を用いた機械学習により得られた学習結果に基づく推定を行い、その推定は、前記被写体のリアルタイムに取得されている画像から前記検査対象物品の画像部分を推定して検出し、検出された前記検査対象物品の前記画像部分が前記検査対象物品に対応するものであることの推定の確信度を算出し、前記確信度を前記検査対象物品の前記画像部分に対応させて表示させる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】