特開 2024-137046 情報処理方法、コンピュータプログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137046

(43)【公開日】2024-10-04

(54)【発明の名称】情報処理方法、コンピュータプログラム及び情報処理装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240927BHJP

   G06T 7/00 20170101ALI20240927BHJP

   G06M 11/00 20060101ALI20240927BHJP

【ＦＩ】

G06T7/60 110

G06T7/00 350B

G06M11/00 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023048400

(22)【出願日】2023-03-24

(71)【出願人】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】近藤 誠一郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA05

5L096CA04

5L096DA01

5L096DA02

5L096FA32

5L096FA52

5L096FA69

5L096GA34

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】積層された複数の判定対象物の概数等を効率的に導出することができる情報処理方法等を提供する。
【解決手段】情報処理方法は、コンピュータに、積層された複数の判定対象物を含む画像を取得し、画像を入力した場合に画像中に含まれる判定対象物の天面を検出する第１学習済モデルに、取得した前記画像を入力して判定対象物の天面の検出結果を出力し、前記第１学習済モデルが出力した天面の検出結果に基づき、天面の個数を算出し、画像を入力した場合に画像中に含まれる判定対象物の側面を検出する第２学習済モデルに、取得した前記画像を入力して判定対象物の側面の検出結果を出力し、前記第２学習済モデルが出力した側面の検出結果に基づき、側面の段数を導出し、算出した前記天面の個数及び前記側面の段数に基づき、前記画像に含まれている判定対象物の個数を算出する処理を実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
積層された複数の判定対象物を含む画像を取得し、
画像を入力した場合に画像中に含まれる判定対象物の天面を検出する第１学習済モデルに、取得した前記画像を入力して判定対象物の天面の検出結果を出力し、
前記第１学習済モデルが出力した天面の検出結果に基づき、天面の個数を算出し、
画像を入力した場合に画像中に含まれる判定対象物の側面を検出する第２学習済モデルに、取得した前記画像を入力して判定対象物の側面の検出結果を出力し、
前記第２学習済モデルが出力した側面の検出結果に基づき、側面の段数を導出し、
算出した前記天面の個数及び前記側面の段数に基づき、前記画像に含まれている判定対象物の個数を算出する
処理を実行させる情報処理方法。

【請求項2】

前記画像は、一つ以上の前記判定対象物からなる複数の対象物群を含み、
画像を入力した場合に画像中に含まれる対象物群を検出する第３学習済モデルに、取得した前記画像を入力して対象物群の検出結果を出力し、
前記第３学習済モデルが検出した対象物群それぞれにおいて、前記判定対象物の個数を算出する
請求項１に記載の情報処理方法。

【請求項3】

前記天面の検出結果、前記側面の検出結果及び対象物群の検出結果は、前記画像における画像座標系にて定義される座標値を含み、
前記天面及び前記側面の座標値と、前記対象物群の座標値とに基づき、複数の対象物群それぞれに対応する天面及び側面を特定し、
前記特定した天面及び側面に基づき、対応する対象物群に含まれる前記判定対象物の個数を算出する
請求項２に記載の情報処理方法。

【請求項4】

同一の対象物群において、複数の異なる段数の側面が特定された場合、前記特定された異なる段数の側面それぞれの個数にて算出される代表値に基づき、前記対象物群における側面の代表段数を導出し、
算出した前記天面の個数及び前記側面の代表段数に基づき、前記対象物群における前記判定対象物の個数を算出する
請求項３に記載の情報処理方法。

【請求項5】

前記第１学習済モデルは、前記天面の中心に近くなるにつれて高い値を示すヒートマップを用いて学習され、
前記第１学習済モデルが出力した前記天面の検出結果は、前記天面に関するヒートマップを含み、
前記ヒートマップの頂点の個数を、前記天面の個数として算出する
請求項１に記載の情報処理方法。

【請求項6】

前記第２学習済モデルは、前記判定対象物の積み上げ数毎に異なる形状となる側面のアノテーションを用いて学習され、
前記第２学習済モデルが出力した側面の検出結果は、積み上げ数に対応した形状を含み、
前記積み上げ数に対応した形状に基づき、前記側面の段数を導出する
請求項１に記載の情報処理方法。

【請求項7】

前記判定対象物は、矩形箱状のコンテナである
請求項１に記載の情報処理方法。

【請求項8】

算出した前記判定対象物の個数を、前記画像に含まれる前記判定対象物の表示領域に重畳させた画面データを生成し、
生成した前記画面データを出力する
請求項１に記載の情報処理方法。

【請求項9】

コンピュータに、
積層された複数の判定対象物を含む画像を取得し、
画像を入力した場合に画像中に含まれる判定対象物の天面を検出する第１学習済モデルに、取得した前記画像を入力して判定対象物の天面の検出結果を出力し、
前記第１学習済モデルが出力した天面の検出結果に基づき、天面の個数を算出し、
画像を入力した場合に画像中に含まれる判定対象物の側面を検出する第２学習済モデルに、取得した前記画像を入力して判定対象物の側面の検出結果を出力し、
前記第２学習済モデルが出力した側面の検出結果に基づき、側面の段数を導出し、
算出した前記天面の個数及び前記側面の段数に基づき、前記画像に含まれている判定対象物の個数を算出する
処理を実行させるプログラム。

【請求項10】

積層された複数の判定対象物を含む画像を取得する取得部と、
画像を入力した場合に画像中に含まれる判定対象物の天面を検出する第１学習済モデルに、取得した前記画像を入力して判定対象物の天面の検出結果を出力する天面出力部と、
前記第１学習済モデルが出力した天面の検出結果に基づき、天面の個数を算出する算出部と、
画像を入力した場合に画像中に含まれる判定対象物の側面を検出する第２学習済モデルに、取得した前記画像を入力して判定対象物の側面の検出結果を出力する側面出力部と、
前記第２学習済モデルが出力した側面の検出結果に基づき、側面の段数を導出する導出部と、
算出した前記天面の個数及び前記側面の段数に基づき、前記画像に含まれている判定対象物の個数を算出する個数算出部とを備える
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、コンピュータプログラム及び情報処理装置に関する。

【背景技術】

【0002】

配電設備等、電気設備に関する情報を検出する手法が提案されている（例えば特許文献１）。特許文献１では、一台の赤外線カメラ及び複数の可視光カメラで電柱を撮像し、可視光カメラで撮像した画像からアーム（腕金）の画像領域を抽出し、赤外線カメラで撮像した熱画像におけるアームの画像領域から柱上機材の温度勾配を算出して、柱上機材の状態等に関する情報を取得することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－３６６９５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の検出方法は、積層された複数の判定対象物の個数に関する情報を検出する点について考慮されていない。

【0005】

本発明は、斯かる事情に鑑みてなされたものであって、積層された複数の判定対象物の概数等を効率的に導出することができる情報処理方法等を提供する。

【課題を解決するための手段】

【0006】

一つの側面では、情報処理方法は、コンピュータに、積層された複数の判定対象物を含む画像を取得し、画像を入力した場合に画像中に含まれる判定対象物の天面を検出する第１学習済モデルに、取得した前記画像を入力して判定対象物の天面の検出結果を出力し、前記第１学習済モデルが出力した天面の検出結果に基づき、天面の個数を算出し、画像を入力した場合に画像中に含まれる判定対象物の側面を検出する第２学習済モデルに、取得した前記画像を入力して判定対象物の側面の検出結果を出力し、前記第２学習済モデルが出力した側面の検出結果に基づき、側面の段数を導出し、算出した前記天面の個数及び前記側面の段数に基づき、前記画像に含まれている判定対象物の個数を算出する処理を実行させる。

【0007】

一つの側面では、コンピュータプログラムは、コンピュータに、積層された複数の判定対象物を含む画像を取得し、画像を入力した場合に画像中に含まれる判定対象物の天面を検出する第１学習済モデルに、取得した前記画像を入力して判定対象物の天面の検出結果を出力し、前記第１学習済モデルが出力した天面の検出結果に基づき、天面の個数を算出し、画像を入力した場合に画像中に含まれる判定対象物の側面を検出する第２学習済モデルに、取得した前記画像を入力して判定対象物の側面の検出結果を出力し、前記第２学習済モデルが出力した側面の検出結果に基づき、側面の段数を導出し、算出した前記天面の個数及び前記側面の段数に基づき、前記画像に含まれている判定対象物の個数を算出する処理を実行させる。

【0008】

一つの側面では、情報処理装置は、積層された複数の判定対象物を含む画像を取得する取得部と、画像を入力した場合に画像中に含まれる判定対象物の天面を検出する第１学習済モデルに、取得した前記画像を入力して判定対象物の天面の検出結果を出力する天面出力部と、前記第１学習済モデルが出力した天面の検出結果に基づき、天面の個数を算出する算出部と、画像を入力した場合に画像中に含まれる判定対象物の側面を検出する第２学習済モデルに、取得した前記画像を入力して判定対象物の側面の検出結果を出力する側面出力部と、前記第２学習済モデルが出力した側面の検出結果に基づき、側面の段数を導出する導出部と、算出した前記天面の個数及び前記側面の段数に基づき、前記画像に含まれている判定対象物の個数を算出する個数算出部とを備える。

【発明の効果】

【0009】

積層された複数の判定対象物の概数等を効率的に導出する情報処理方法等を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る個数算出システムの概要を説明するための模式図である。

【図2】情報処理装置（サーバ装置）の構成を示すブロック図である。

【図3】第１学習済モデル（天面モデル）の生成処理に関する説明図である。

【図4】第２学習済モデル（側面モデル）の生成処理に関する説明図である。

【図5】第３学習済モデル（対象物群モデル）の生成処理に関する説明図である。

【図6】情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。

【図7】情報処理装置の制御部による処理手順を例示するフローチャートである。

【図8】判定対象物の個数に関する情報を示す表示画面を例示する説明図である。

【発明を実施するための形態】

【0011】

（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る個数算出システムＳの概要を説明するための模式図である。図２は、情報処理装置１（サーバ装置）の構成を示すブロック図である。個数算出システムＳは、情報処理装置１を主たる装置として構成され、当該情報処理装置１は、例えば通信機能を有するドローンＤに搭載されたカメラＣにて撮像された画像を取得する。又は、情報処理装置１は、例えば鉄塔等の高所に取り付けられたカメラＣから有線又は無線にて、当該カメラＣが撮像した画像をオンラインで取得するものであってもよい。当該画像には、被写体として、例えば矩形状のコンテナ等が含まれている。

【0012】

情報処理装置１は、取得した画像に対し、第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３を用いて物体検出等の処理を行うことにより、当該画像に含まれるコンテナ等の判定対象物の概ねの個数（概数）を導出（算出）する。情報処理装置１は、カメラＣから取得した画像に対し、当該画像に基づき導出（算出）した判定対象物（コンテナ等）の概ねの個数（概数）を重畳させた画像データを生成し、生成した画像データを判定対象物（コンテナ等）の保管管理者等が保持する端末装置Ｔに出力する。

【0013】

情報処理装置１は、種々の情報処理、情報の送受信が可能なコンピュータであり、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置１は、制御部１１、記憶部１２、及び通信部１３を備える。制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、記憶部１２に記憶されたプログラムＰ（プログラム製品）を読み出して実行することにより、情報処理装置１に係る種々の情報処理、制御処理等を行う。

【0014】

記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部１２には、プログラムＰ（プログラム製品）及び処理時に参照するデータが予め記憶してある。記憶部１２に記憶されたプログラムＰは、情報処理装置１が読み取り可能な記録媒体Ｍから読み出されたプログラムＰを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムＰをダウンロードし、記憶部１２に記憶させたものであってもよい。記憶部１２には、第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３を構成する実体ファイルが保存されている。これら実体ファイルは、プログラムＰの一部位として構成されるものであってもよい。

【0015】

通信部１３は、有線又は無線により、インターネット等を介し、ドローンＤ又は端末装置Ｔ２等と通信するための通信インターフェイスである。

【0016】

カメラＣは、例えばＣＭＯＳカメラであり、動画又は静止画の画像を撮像する。カメラＣは、例えば通信機能を有するドローンＤに搭載され、カメラＣによって撮像された画像は、当該ドローンＤから情報処理装置１に送信される。又は、カメラＣは、コンテナ等の判定対象物が載置された載置場所（保管場所）を上方から見下ろせる鉄塔等に配置され、当該カメラＣから有線又は無線にて、情報処理装置１に撮像画像が送信されるものであってもよい。

【0017】

端末装置Ｔ２は、例えばスマートホン、タブレットＰＣ又はパーソナルコンピュータ等である。端末装置Ｔ２は、情報処理装置１と同様に制御部、記憶部、及び通信部を備え、当該通信部を介して情報処理装置１と通信可能に接続される。端末装置Ｔ２は、情報処理装置１から送信された画像データを受信し当該画像データに基づき、液晶ディスプレイ等の表示部に、コンテナ（判定対象物）の個数等が重畳された表示画面を表示する。

【0018】

図３は、第１学習済モデル１０１（天面モデル）の生成処理に関する説明図である。第１学習済モデル１０１は、例えば、ＦＰＮ（Feature Pyramid Network）を用いたセマンティックセグメンテーション向けのネットワーク（セマンティックセグメンテーションモデル）により構成される。又は、第１学習済モデル１０１は、Ｕ－Ｎｅｔ、ＭａｓｋＲ－ＣＮＮ、ＰＳＰＮｅｔ、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ又はＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等により構成され、物体（オブジェクト）検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワーク（ＮＮ）にて構成されるものであってもよい。

【0019】

第１学習済モデル１０１は、入力された画像に基づき、当該画像に含まれるコンテナの天面の中心に近くなるにつれて、高い値を示すヒートマップを出力する。第１学習済モデル１０１にて出力された複数のヒートマップの頂点（ヒートマップの値が所定値以上の地点）の個数をカウントすることにより、天板の個数を導出することができる。当該ヒートマップは、入力された画像上に重畳される、又は入力された画像において対応するコンテナの天面の中心を示す地点（画像座標系おける座標）に位置して出力される。従って、当該画像における所定の領域に含まれる天面（ヒートマップの頂点）の個数をカウント（計測）することができる。当該所定の領域は、後述する第３学習済モデル１０３によって検出される個々の対象物群に対応する領域となる。

【0020】

第１学習済モデル１０１が、例えばＦＰＮ等、画像の特徴量を抽出するセマンティックセグメンテーションモデルで構成される場合、第１学習済モデル１０１に含まれる入力層は、画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、コンテナの天面の中心（抽出対象オブジェクト）である確率を示すヒートマップ、及び当該コンテナの天面の中心の位置等を含む領域情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、コンテナの天面の中心（抽出対象オブジェクト）を示すヒートマップ、及びコンテナの天面の中心の領域の位置（領域座標又は画素番号等）を出力する。

【0021】

訓練データを用いて学習されたニューラルネットワーク（第１学習済モデル１０１）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。第１学習済モデル１０１は、上述のごとく制御部１１（ＣＰＵ等）及び記憶部１２を備える情報処理装置１にて用いられるものであり、このように演算処理能力を有する情報処理装置１にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置１の制御部１１が、記憶部１２に記憶された第１学習済モデル１０１からの指令に従って、入力層に入力された画像の特徴量を抽出する演算を行い、出力層から、コンテナの天面の中心（抽出対象オブジェクト）に関するヒートマップ及び領域の位置を出力する。

【0022】

第１学習済モデル１０１は、コンテナ等の複数の判定対象物を含む画像（問題データ）と、抽出対象オブジェクトであるコンテナの天面の位置（領域）にヒートマップ（０から１のように段階的な値）が付与されたラベル（回答データ）とが、対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。訓練データは、例えば情報処理装置１の記憶部１２に記憶されており、コンテナ等の判定対象物が積層されて保管されている情景を撮像した画像を集約することにより、生成することができる。

【0023】

このように学習及び構成された第１学習済モデル１０１によれば、例えばドローンＤに搭載されたカメラＣを用いて上空から撮像した画像を第１学習済モデル１０１に入力することによって、当該画像に含まれるコンテナ（判定対象物）の天面の中心に対応したヒートマップを取得することができる。第１学習済モデル１０１等を学習するための訓練データに含まれる問題データ及び回答データのデータセットと、当該第１学習済モデル１０１等を用いた際の入力データ及び出力データのデータセットとは同義であり、いずれかのデータセットにて定義されていれば、他方のデータセットにおいても、当然に適用される。

【0024】

図４は、第２学習済モデル１０２（側面モデル）の生成処理に関する説明図である。第２学習済モデル１０２は、例えば、ＹＯＬＯ（You Only Look Once）等のＦＣＮ（Fully Convolutional Network）を用いた物体検出向けのネットワーク（物体検出モデル）により構成される。又は、第２学習済モデル１０２は、ＦａｓｔｅｒＲＮＮ等、又は第１学習済モデル１０１と同様にＲＣＮＮ（Regions with Convolutional Neural Network）等の他のネットワークにより構成され、物体（オブジェクト）検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワーク（ＮＮ）にて構成されるものであってもよい。

【0025】

第２学習済モデル１０２は、入力された画像に基づき、当該画像に含まれるコンテナの側面の種類（段数に応じた側面の種類）、入力された画像における領域、及び推定確度（確信度／スコア）を出力する。検出対象となるコンテナの側面は、側面の段数、すなわちコンテナの積層数に応じて、異なるオブジェクトとして定義されている。すなわち、第２学習済モデル１０２が検出するオブジェクトの種類は、段数に応じた側面の種類に対応するものであり、すなわち、物体検出の対象となるオブジェクトは、例えば、１段のコンテナの側面、２段のコンテナの側面、及び３段のコンテナの側面等を含む。従って、検出されたオブジェクトの種類（側面の種類）に基づき、側面の段数、すなわち判定対象物であるコンテナの積層数を導出することができる。

【0026】

第２学習済モデル１０２が、例えばＹＯＬＯ等、画像の特徴量を抽出する物体検出モデルで構成される場合、第２学習済モデル１０２に含まれる入力層は、画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、コンテナの側面（抽出対象オブジェクト）の位置等を含む領域情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、側面の種類（段数に応じた側面の種類）、領域の位置（領域座標又は画素番号等）及び推定確度（確信度／スコア）を出力する。第２学習済モデル１０２についても、第１学習済モデル１０１と同様に人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。

【0027】

第２学習済モデル１０２は、コンテナ等の複数の判定対象物を含む画像（問題データ）と、抽出対象オブジェクトであるコンテナの側面の位置（領域）及び種類を示すラベル（回答データ）とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。抽出対象オブジェクトであるコンテナの側面は、段数に応じて、異なるオブジェクトして定義されており、すなわち、判定対象物の積み上げ数毎に異なる形状となる側面それぞれに対し、別個のアノテーションが設定（付与）されている。訓練データは、例えば情報処理装置１の記憶部１２に記憶されており、コンテナ等の判定対象物が積層されて保管されている情景を撮像した画像を集約することにより、生成することができる。このように学習及び構成された第２学習済モデル１０２によれば、例えばドローンＤに搭載されたカメラＣを用いて上空から撮像した画像を第２学習済モデル１０２に入力することによって、当該画像に含まれるコンテナ（判定対象物）の側面の位置（画像座標系における領域座標）及び種類（段数に応じた側面の種類）を取得することができる。これら側面の位置及び種類は、例えば、画面上に重畳されるバウンディングボックスにて示され、当該バウンディングボックスの個数をカウントすることにより、所定の領域に含まれる側面の個数を導出することができる。当該所定の領域は、後述する第３学習済モデル１０３によって検出される個々の対象物群に対応する領域となる。

【0028】

図５は、第３学習済モデル１０３（対象物群モデル）の生成処理に関する説明図である。第３学習済モデル１０３は、例えば、ＭａｓｋＲ－ＣＮＮ（Mask Regions with Convolutional Neural Network）等のインスタンスセグメンテーション向けのネットワークにより構成される。又は、第３学習済モデル１０３は、第１学習済モデル１０１又は第２学習済モデル１０２と同様に他のネットワークにより構成され、物体（オブジェクト）検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワーク（ＮＮ）にて構成されるものであってもよい。

【0029】

第３学習済モデル１０３は、入力された画像に基づき、当該画像に含まれる対象物群の種類、入力された画像における領域、及び推定確度（確信度／スコア）を出力する。本実施形態における対象物群とは、第１学習済モデル１０１及び第２学習済モデル１０２の検出対象である天面及び側面を含むコンテナ（判定対象物）の集合体であり、これらコンテナが縦横に概ね等間隔に配置され、かつ１段又は２段以上に積層されたコンテナ群を示す。本実施形態においては、第３学習済モデル１０３が物体検出する対象物（オブジェクト）の種類は、コンテナ群のみの１つのみであってもよい。このように第３学習済モデル１０３を用いることにより、画像に含まれるコンテナ群（対象物群）の領域（領域座標又は画素番号等）を認識し、当該領域の個数をカウントすることにより、画像に含まれるコンテナ群（対象物群）の個数を導出することができる。

【0030】

第３学習済モデル１０３が、例えばＭａｓｋＲ－ＣＮＮ等、画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）を含むニューラルネットワークで構成される場合、第３学習済モデル１０３に含まれる入力層は、画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、コンテナ群（抽出対象オブジェクト）の位置等を含む領域情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、個々のコンテナ群を示す領域の位置（領域座標又は画素番号等）及び推定確度（確信度／スコア）を出力する。第２学習済モデル１０２についても、第１学習済モデル１０１と同様に人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。

【0031】

第３学習済モデル１０３は、コンテナ群等の複数の判定対象物を含む画像（問題データ）と、抽出対象オブジェクトであるコンテナ群の領域がアノテーションされたラベル（回答データ）とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。訓練データは、例えば情報処理装置１の記憶部１２に記憶されており、コンテナ等の判定対象物が積層されて保管されている情景を撮像した画像を集約することにより、生成することができる。このように学習及び構成された第３学習済モデル１０３によれば、例えばドローンＤに搭載されたカメラＣを用いて上空から撮像した画像を第２学習済モデル１０２に入力することによって、当該画像に含まれるコンテナ群（対象物群）の領域に関する情報を取得することができる。当該検出されたコンテナ群（対象物群）は、画像上に重畳される塗りつぶし領域又はバウンディングボックスにて示され、当該バウンディングボックスの個数をカウントすることにより、画像に含まれるコンテナ群（対象物群）の個数を導出することができる。

【0032】

第１学習済モデル１０１、第２学習済モデル１０２、及び第３学習済モデル１０３は、未学習のモデルに対し学習させることにより、これら学習済モデルを生成する場合に限定されない。これら学習済モデル（第１学習済モデル１０１、第２学習済モデル１０２、及び第３学習済モデル１０３）は、例えば、判定対象物のコンテナとは異なる他の物体を用いて事前学習させた事前学習済みのモデルに対し、当該コンテナに基づく訓練データを用いて、転移学習又はファインチューニング等を行い、生成するものであってもよい。

【0033】

第１学習済モデル１０１、第２学習済モデル１０２、及び第３学習済モデル１０３に同じ画像が入力された場合、これら第１学習済モデル１０１、第２学習済モデル１０２、及び第３学習済モデル１０３による検出結果は、当該画像における画像座標系において同一性を有する。従って、例えば、画像における左上を原点とした場合、第１画像（第１学習済モデル１０１による天面の検出結果を含む画像）と、第２画像（第２学習済モデル１０２による側面の検出結果を含む画像）、第３画像（第３学習済モデル１０３による対象物群の検出結果を含む画像）とのＸＹ座標、及び当該座標に基づき決定される領域は同一であり、当該領域に含まれる対象物（画像の被写体）は同一となる。これにより、第３学習済モデル１０３が検出したコンテナ群（対象物群）が示す領域それぞれにおいて、当該領域を定める領域座標又は画素番号に基づき、領域に含まれる天面（第１学習済モデル１０１の検出結果）及び側面（第２学習済モデル１０２の検出結果）を特定することができる。情報処理装置１の制御部１１は、コンテナ群（対象物群）の領域に含まれる天面の個数、及び側面が示す段数（代表段数）とに基づき、当該対象物群に含まれる判定対象物（コンテナ）の個数（概数）を算出することができる。

【0034】

図６は、情報処理装置１の制御部１１に含まれる機能部を例示する機能ブロック図である。情報処理装置１の制御部１１は、記憶部１２に記憶されているプログラムを実行することにより、取得部１１１、個数算出部１１２、及び出力部１１３として機能する。情報処理装置１の制御部１１は、記憶部１２に記憶されている第１学習済モデル１０１、第２学習済モデル１０２、及び第３学習済モデル１０３の実体ファイル等を読み取ることにより、第１学習済モデル１０１、第２学習済モデル１０２、及び第３学習済モデル１０３として機能する。

【0035】

取得部１１１は、ドローンＤに搭載されたカメラＣ、又は高所に取り付けられたカメラＣが撮像した画像を取得する。当該画像には、積層された複数のコンテナ等の判定対象物が、被写体として含まれている。これら複数のコンテナ（判定対象物）は縦横に概ね等間隔に配置され、かつ１段又は２段以上に積層されており、このように配置及び積層された複数のコンテナ（判定対象物）により、コンテナ群（対象物群）が形成される。当該画像（カメラＣによる撮像画像）には、このようなコンテナ群（対象物群）が、１つ以上含まれている。取得部１１１は、無線通信機能を有するドローンＤから転送された画像を取得、又は鉄塔等の高所に取り付けられたカメラＣから有線又は無線にて、当該カメラＣが撮像した画像をオンラインで取得する。又は、取得部１１１は、カメラＣが撮像した画像が記憶されたメモリカード等の媒体を介して、オフラインにて画像を取得するものであってもよい。取得部１１１は、カメラＣが撮像した画像を、各学習済モデル（第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３）に入力する。

【0036】

第１学習済モデル１０１（天面モデル）は、入力された画像に基づき、当該画像に含まれるコンテナ等の判定対象物の天面の中心（抽出対象オブジェクト）である確率を示すヒートマップ、及び当該コンテナの天面の中心の位置等を含む領域情報を出力する。ヒートマップの値は、例えば０から１のように段階的な値として定義され、コンテナの天面の中心に近づくにつれ、高い値となる（１に近接する）ように出力され、最も高い値となる地点（天面の中心）がヒートマップの頂点に対応するように出力される。

【0037】

第２学習済モデル１０２（側面モデル）は、入力された画像に基づき、当該画像に含まれるコンテナ等の判定対象物の側面の種類（段数に応じた側面の種類）及び領域を推定し、推定した種類（段数に応じた側面の種類）及び領域を出力する。側面の種類（段数に応じた側面の種類）は、例えば当該種類に対し予め定義されたオブジェクトＩＤとして表示され、領域は、例えばバウンディボックス等にて表示される。

【0038】

第３学習済モデル１０３（対象物群モデル）は、入力された画像に基づき、当該画像に含まれるコンテナ群（対象物群）の種類、入力された画像における領域、及び推定確度（確信度／スコア）を出力する。本実施形態においては、コンテナ群（対象物群）の種類は１つとして定義（学習）されている。コンテナ群（対象物群）を示す領域は、例えば画像上に重畳される塗りつぶし領域又はバウンディングボックスにて示される。

【0039】

個数算出部１１２は、第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３からの出力結果（天面、側面、及びコンテナ群の検出結果）を取得し、取得したこれら出力結果に基づき、コンテナ群（対象物群）それぞれにおけるコンテナの個数（概数）を算出する。個数算出部１１２は、第１学習済モデル１０１（天面モデル）から出力されたヒートマップの頂点をカウントすることにより、画像に含まれるコンテナの天面の個数を算出する。個数算出部１１２は、第２学習済モデル１０２（側面モデル）から出力された側面の種類（段数に応じた側面の種類）それぞれにおける個数をカウントすることにより、画像に含まれるコンテナの段数に応じた側面の種類毎の個数を算出する。個数算出部１１２は、第３学習済モデル１０３（対象物群モデル）から出力されたコンテナ群（対象物群）それぞれの領域に応じて、各コンテナ群（対象物群）の画像座標系にて定義される座標値（インスタンスセグメンテーションにより物体検出された個々の領域の座標）それぞれを特定する。

【0040】

第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３には、同一の画像が、入力される。この際、第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３は、例えば、複数のＣＰＵ又はコアを有するマルチＣＰＵ環境で動作することにより、当該同一の画像に対する物体検出処理を並行して行う（並列処理する）ものであってもよい。入力データである複数の判定対象物（コンテナ）を含む画像を基準として、第１学習済モデル１０１による天面（天板）の検出結果を含む画像（第１画像）と、第２学習済モデル１０２による側面の検出結果を含む画像（第２画像）と、第３学習済モデル１０３による対象物群の検出結果を含む画像（第３画像）との画像座標系は、一致する。個数算出部１１２は、このように座標上の同一性を有する１画像、第２画像、及び第３画像に基づき、例えば、いずれかの対象物群による領域に含まれる天面及び側面を特定し、当該領域に含まれる天面の個数、及び側面が示す段数とに基づき、当該対象物群に含まれる判定対象物（コンテナ）の個数（概数）を算出する。

【0041】

個数算出部１１２は、個々のコンテナ群（対象物群）それぞれにおいて、判定対象物（コンテナ）の側面が示す段数を導出するにあたり、代表段数を算出するものであってもよい。いずれかのコンテナ群（対象物群）において、積層される箇所によっては、対象物（コンテナ）の段数（積層数：判定対象物の積み上げ数）が異なる場合が想定される。この場合、第２学習済モデル１０２は、例えば、同一の対象物群において、１段の側面の検出個数、２段の側面の検出個数、及び３段の側面の検出個数等、異なる段数の側面それぞれの個数を出力する。この際、個数算出部１１２は、個々のコンテナ群（対象物群）の領域に含まれる複数の側面の種類毎の個数において、異なる段数の側面それぞれの個数にて算出される代表値に基づき、当該コンテナ群（対象物群）における側面の代表段数を算出するものであってもよい。個数算出部１１２は、導出した側面の代表段数に対し、コンテナ群（対象物群）の領域に含まれる天面の個数を乗算することにより、当該コンテナ群（対象物群）の領域に含まれるコンテナ（判定対象物）の個数を算出するものであってもよい。

【0042】

側面の代表段数を算出する際に用いられる代表値は、例えば、平均値、中央値又は最頻値を含む。最頻値にて算出する場合、個数算出部１１２は、異なる段数の側面のうち、最も検出された個数が多い段数の側面を、代表段数として導出する。平均値にて算出する場合、個数算出部１１２は、検出された各段数の側面の個数に当該段数を乗算し、これを全て側面にて合算した値に対し、検出した側面の個数の総和にて除算した値を、対象物群における側面の代表段数として導出する。例えば、１段の側面の検出個数がＳ１、２段の側面の検出個数がＳ２、及び３段の側面の検出個数がＳ３の場合、平均値は、(1*S1+2*S2+3*S3)/(S1+S2+S3)にて算出される。除算した際に発生する小数点以下については、例えば四捨五入することにより、算出結果を整数化するものであってもよい。中央値にて算出する場合、個数算出部１１２は、各段数の側面の個数それぞれにおいて、中央値に相当する個数の段数の側面を、代表段数として導出する。個数算出部１１２は、このようにコンテナ群（対象物群）それぞれにおける天面の個数、及び代表段数に基づき、コンテナ群（対象物群）毎のコンテナ（判定対象物）の個数を算出し、出力部１１３に対し出力する（受け渡す）。

【0043】

出力部１１３は、個数算出部１１２からのコンテナ群（対象物群）毎のコンテナ（判定対象物）の個数、及びコンテナ群（対象物群）それぞれの領域に関する情報を、取得部１１１から取得した画像に重畳させることにより、コンテナ（判定対象物）の個数がコンテナ群（対象物群）の表示領域に重畳された画面データを生成する。出力部１１３は、算出したコンテナ（判定対象物）の個数を重畳するにあたり、第３学習済モデル１０３が出力した第３画像（コンテナ群の検出結果を塗りつぶし領域とした画像）を用いるものであってもよい。

【0044】

出力部１１３は、生成した画面データを例えば、ディスプレイ等の表示装置、又はスマートホン等の端末装置Ｔに出力する。出力部１１３からの画面データを取得（受信）した表示装置又は端末装置Ｔは、当該画面データに応じて、コンテナの個数がコンテナ群の表示領域に重畳された表示画面を表示する。

【0045】

出力部１１３は、更に、生成した画面データにおいて、判定対象物（コンテナ等）の保管管理者等が保持する端末装置Ｔからの操作を受付け、当該受け付けた操作に応じて、画面データを修正又は再生成するものであってもよい。出力部１１３が受け付ける操作は、例えば、コンテナ群（対象物群）それぞれにおける天面（天板）の追加に関する操作を含む。端末装置Ｔ等にて表示された表示画面（画面データ）において、第１学習済モデル１０１による天面の検出漏れが発生していた場合、出力部１１３は、当該検出漏れとなっていた天面の追加（追加検出）に関する操作（追加検出操作）を受け付ける。当該追加検出操作は、端末装置Ｔのディスプレイ上にて、判定対象物（コンテナ等）の保管管理者等に行われるものであり、表示画面にて示される天面において、例えば、マウスクリック等の追加検出の操作に応じて、選択（追加）された天面の上にマーキングがされるものであってもよい。

【0046】

端末装置Ｔは当該追加検出操作に応じて、追加検出された天面に関する情報を出力部１１３（情報処理装置１）に送信する。当該追加検出された天面に関する情報は、例えば、追加検出された天面の地点（画像座標系おける座標）、又はコンテナ群（対象物群）それぞれにおける追加検出された天面の個数を含む。出力部１１３は、端末装置Ｔからの追加検出された天面に関する情報を受信（取得）し、これに基づき、コンテナ群（対象物群）それぞれにおける天面の個数を修正し、当該修正結果に応じて、判定対象物の個数（概数）の再計算及び画面データを再生成（修正）し、端末装置Ｔ等に送信する。

【0047】

出力部１１３は、天面の追加（追加検出）に関する処理と同様に、側面に関する処理についても行い、第２学習済モデル１０２による側面の検出漏れ、又は検出した側面の種類（段数に応じた側面の種類）の修正を行うものであってもよい。このように天面等の追加検出に関する操作を受付け、当該操作に応じて、第１学習済モデル１０１等が検出（推測）した結果を補正することにより、個数算出システムとして最終的に導出する判定対象物の個数（概数）の精度を向上させることができる。本実施形態において、追加検出された天面等に関する情報に基づき、判定対象物の個数（概数）の再計算、及び画面データの再生成は、情報処理装置１の出力部１１３（制御部１１）であると説明したがこれに限定されない。判定対象物の個数（概数）の再計算、及び画面データの再生成に関する処理は、端末装置Ｔの制御部（端末装置Ｔにインストールされたアプリケーションによるローカル処理）にて行われるものであってもよい。

【0048】

図７は、情報処理装置１の制御部１１による処理手順を例示するフローチャートである。情報処理装置１の制御部１１は、積層された複数の判定対象物を含む画像を取得する（Ｓ１０１）。情報処理装置１の制御部１１は、カメラＣが撮像した画像、及び当該画像に関連付けられた撮像日時を取得する。

【0049】

情報処理装置１の制御部１１は、取得した画像を第１学習済モデル１０１（天面モデル）に入力することにより、天面の検出結果を出力する（Ｓ１０２）。情報処理装置１の制御部１１は、取得した画像を第１学習済モデル１０１（天面モデル）に入力する。第１学習済モデル１０１（天面モデル）として機能する制御部１１は、入力された画像に基づき、当該画像に含まれるコンテナ等の判定対象物の天面の中心（抽出対象オブジェクト）である確率を示すヒートマップ、及び当該コンテナの天面の中心の位置等を含む領域情報を出力する。

【0050】

情報処理装置１の制御部１１は、取得した画像を第２学習済モデル１０２（側面モデル）に入力することにより、側面の検出結果を出力する（Ｓ１０３）。情報処理装置１の制御部１１は、取得した画像を第２学習済モデル１０２（側面モデル）に入力する。第２学習済モデル１０２（側面モデル）として機能する制御部１１は、入力された画像に基づき、当該画像に含まれるコンテナ等の判定対象物の側面の種類（段数に応じた側面の種類）及び領域を推定し、推定した種類（段数に応じた側面の種類）及び領域を出力する。

【0051】

情報処理装置１の制御部１１は、取得した画像を第３学習済モデル１０３（対象物群モデル）に入力することにより、対象物群の検出結果を出力する（Ｓ１０４）。情報処理装置１の制御部１１は、取得した画像を第３学習済モデル１０３（対象物群モデル）に入力する。第３学習済モデル１０３（対象物群モデル）として機能する制御部１１は、入力された画像に基づき、当該画像に含まれるコンテナ群（対象物群）の領域を出力する。

【0052】

情報処理装置１の制御部１１は、天面、側面及び対象物群の検出結果に基づき、対象物群毎の判定対象物の個数を算出する（Ｓ１０５）。情報処理装置１の制御部１１は、第３学習済モデル１０３（対象物群モデル）の検出結果であるコンテナ群（対象物群）を示す領域に基づき、個々の領域に含まれる天面（第１学習済モデル１０１の検出結果）及び側面（第２学習済モデル１０２の検出結）を特定する。第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３に入力される画像は、同一の画像あるため、これら学習済モデルの検出結果を含む画像は、画像座標系上における同一性を有する。情報処理装置１の制御部１１は、第３学習済モデル１０３（対象物群モデル）の検出結果であるコンテナ群（対象物群）を示す領域（領域座標又は画素番号等）において、同一の領域に属する天面の個数をカウントする。更に、情報処理装置１の制御部１１は、当該同一の領域に属する側面において、側面の種類（段数に応じた側面の種類）毎の個数をカウントする。

【0053】

情報処理装置１の制御部１１は、カウントした側面の種類（段数に応じた側面の種類）毎の個数において、異なる段数の側面それぞれの個数にて算出される代表値に基づき、対象物群における側面の代表段数を導出する。当該代表値は、上述のとおり、例えば平均値、中央値又は最頻値を含むものであり、情報処理装置１の制御部１１は、個々の値（平均値、中央値又は最頻値）に応じた算出方法により算出した代表値を、代表段数として導出する。情報処理装置１の制御部１１は、コンテナ群（対象物群）それぞれにおいて、天面の個数に、導出した代表段数を乗算することにより、個々のコンテナ群（対象物群）が含むコンテナの概ねの個数（概数）を算出する。

【0054】

情報処理装置１の制御部１１は、算出した対象物群毎の判定対象物の個数に関する情報を重畳させた画面データを出力する（Ｓ１０６）。情報処理装置１の制御部１１は、コンテナ群（対象物群）毎のコンテナ（判定対象物）の個数に関する情報を、カメラＣから取得した画像、又は第３学習済モデル１０３が出力した第３画像（コンテナ群の検出結果を塗りつぶし領域とした画像）に重畳させて、画面データを生成する。コンテナ（判定対象物）の個数に関する情報は、当該個数に加え、カウントした天面の個数及び導出した代表段数についても含むものであってもよい。更に画面データには、第３学習済モデル１０３が検出したコンテナ群（対象物群）それぞれにおける個数に関する情報（天面の個数、代表段数、及びコンテナの個数）を示すリスト含むものであってもよい。

【0055】

図８は、判定対象物の個数に関する情報を示す表示画面を例示する説明図である。情報処理装置１の制御部１１は、カメラＣから取得した画像、及び各学習済モデル（第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３）による検出結果を用いて、算出したコンテナ（判定対象物）の個数等を重畳させた画面データを生成し、例えば、判定対象物（コンテナ等）の保管管理者の端末装置Ｔに出力する。これにより、保管管理者の端末装置Ｔが備える液晶ディスプレイ等の表示部に、コンテナ（判定対象物）の個数等が重畳された表示画面が、表示される。

【0056】

表示画面は、画像表示エリア、及びリスト表示エリアを含む。画像表示エリアには、カメラＣが撮像した画像、すなわち１つ以上のコンテナ群（対象物群）が含まれる画像を基に、個々のコンテナ群（対象物群）におけるコンテナ（判定対象物）の個数に関する情報が重畳されて表示される。コンテナ（判定対象物）の個数に関する情報は、例えば、対応する（重畳表示される）コンテナ群（対象物群）が含むコンテナ（判定対象物）の個数、天面の個数、及び代表段数を含む。

【0057】

リスト表示エリアには、コンテナ群（対象物群）それぞれにおける個数に関する情報（天面の個数、代表段数、及びコンテナの個数）がリスト形式にて表示される。リスト表示エリアにて表示されるリストの項目は、例えば、対象物群、天面個数、代表段数、及び個数（概数）を含む。当該リストの項目として表示される天面個数には、第１学習済モデル１０１が出力したヒートマップを含む第１画像（第１学習済モデル１０１による天面の検出結果を含む画像）が例えばハイパーリンクされるものであってもよい。情報処理装置１の制御部１１は、当該ハイパーリンクされた天面個数（リストの項目）に対する操作を受け付けることにより、第１画像を出力し、端末装置Ｔにて表示させるものであってもよい。リストの項目として表示される代表段数には、第２学習済モデル１０２が出力した第２画像（第２学習済モデル１０２による側面の検出結果を含む画像）が例えばハイパーリンクされるものであってもよい。情報処理装置１の制御部１１は、当該ハイパーリンクされた代表段数（リストの項目）に対する操作を受け付けることにより、第２画像を出力し、端末装置Ｔにて表示させるものであってもよい。

【0058】

端末装置Ｔは、画像表示エリアにおいて、天面の追加検出に関する操作を受け付けるものであってもよい。端末装置Ｔの制御部は、画像表示エリアにて表示されるコンテナ群（対象物群）それぞれにおいて、第１学習済モデル１０１による天面の検出漏れが発生していた場合、当該検出漏れとなった天面の選択（追加）を受け付ける。端末装置Ｔの制御部は、例えば、マウスクリックされて選択（追加）された天面の上にマーキングを施すものであってもよい。端末装置Ｔの制御部は、当該選択（追加）された天面に関する情報（画像座標系おける座標）を情報処理装置１に送信する。

【0059】

情報処理装置１の制御部１１は、端末装置Ｔからの追加検出された天面に関する情報を受信（取得）し、これに基づき、コンテナ群（対象物群）それぞれにおける天面の個数を修正し、当該修正結果に応じて、画面データを再生成（修正）し、端末装置Ｔ等に送信する。これにより、判定対象物（コンテナ等）の保管管理者等により追加検出されて天面が加味されたコンテナ（判定対象物）の個数を導出することができる。端末装置Ｔ及び情報処理装置１は、天面の追加（追加検出）に関する処理と同様に、側面に関する処理についても行い、第２学習済モデル１０２による側面の検出漏れ、又は検出した側面の種類（段数に応じた側面の種類）の修正を行うものであってもよい。

【0060】

本実施形態によれば、情報処理装置１は、積層された複数の判定対象物（コンテナ等）を含む画像に対し、判定対象物の天面（天板）を検出する第１学習済モデル１０１と、判定対象物の側面（積み上げの形状）を検出する第２学習済モデル１０２とを用いて、画像に含まれている判定対象物の個数を算出する。個数は、当該積層された複数の判定対象物の正確な個数である場合に限定されず、当該個数に近似する概数として算出（導出）されるものであってもよい。本実施形態において、判定対象物（コンテナ）が積層された状態は、当該コンテナが１段である場合も含む。この場合、積層数は１つなる。判定対象物がコンテナ等の輸送用容器又は収納物の保存容器である場合、用途に応じて回収された複数のコンテナが、載置場所（保管場所）となる敷地にて縦横に載置されると共に、複数段に積層されて載置（保管）されていることが想定される。この際、当該載置（保管）されているコンテナの正確な個数の把握までは不要であるが、概ねの個数、すなわち概数を把握することが、載置場所となる敷地における管理上、必要となることが発生する。このような場合であっても、第１学習済モデル１０１及び第２学習済モデル１０２を用いることにより、積層されたコンテナ等の判定対象物を含む画像に基づき、検出した天面の個数（上空から平面視した際の個数）に、検出した側面の段数（判定対象物の積み上げ数）を乗算することにより、当該コンテナの概ねの個数（概数）を効率的に算出することができる。

【0061】

本実施形態によれば、情報処理装置１は、画像中に含まれる対象物群を検出する第３学習済モデル１０３を用いて、一つ以上の判定対象物からなる複数の対象物群を含む画像から、これら対象物群それぞれを抽出する。例えばコンテナ等、複数の判定対象物が、縦横に揃えられ、隣接するコンテナ間の離間距離が概ね均等となるように並べられた場合、このように縦横に概ね等間隔に配置された複数のコンテナにより、コンテナ群（対象物群）が形成される。この際、個々のコンテナ群（対象物群）において、コンテナの積層数（側面の段数）が異なることが、想定される。このような場合であって、情報処理装置１は、第３学習済モデル１０３を用いて、画像に含まれるコンテナ群（対象物群）それぞれを抽出し、抽出したコンテナ群（対象物群）それぞれにおいて、個別にコンテナの個数（概数）を算出する。情報処理装置１は、算出した個別にコンテナの個数（概数）を合計（合算）することにより、画像に含まれるコンテナ等の判定対象物の個数（概数）を算出する。従って、画像に複数のコンテナ群（対象物群）が含まれる場合であっても、当該画像に含まれるコンテナ等の判定対象物の個数（概数）を効率的に算出することができる。

【0062】

本実施形態によれば、第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３に入力される画像は、同一の画像である。従って、複数の判定対象物（コンテナ）を含む画像に対し、第１学習済モデル１０１による天面（天板）の検出結果を含む画像（第１画像）と、第２学習済モデル１０２による側面の検出結果を含む画像（第２画像）と、第３学習済モデル１０３による対象物群の検出結果を含む画像（第２画像）との画像座標系は、一致する。情報処理装置１は、このように座標上の同一性を有する１画像、第２画像、及び第３画像に基づき、例えば、いずれかの対象物群による領域に含まれる天面及び側面を特定し、当該領域に含まれる天面の個数、及び側面が示す段数とに基づき、当該対象物群に含まれる判定対象物（コンテナ）の個数（概数）を算出することができる。

【0063】

本実施形態によれば、同一の対象物群において、個々に積層されている対象物（コンテナ）の段数（積層数：判定対象物の積み上げ数）が異なる場合あり、第２学習済モデル１０２は、当該対象物群（コンテナ群）における個々に積層されている対象物（コンテナ）の段数に応じた側面を検出結果（物体検出結果）として出力する。この場合、第２学習済モデル１０２は、例えば、同一の対象物群において、１段の側面の検出個数、２段の側面の検出個数、及び３段の側面の検出個数等、異なる段数の側面それぞれの個数を出力する。情報処理装置１は、これら第２学習済モデル１０２が検出（出力）した異なる段数の側面それぞれの個数にて算出される代表値に基づき、対象物群における側面の代表段数を導出する。当該代表値は、例えば、平均値、中央値又は最頻値を含む。情報処理装置１は、同一の対象物群（コンテナ群）において、個々に積層されているコンテナの段数（判定対象物の積み上げ数）が異なる場合あっても、比較的に簡易な演算方法にて代表段数を導出することができ、処理負荷が増加することを抑制しつつ、当該対象物群（コンテナ群）に含まれる対象物（コンテナ）の概ねの個数（概数）を効率的に算出することができる。

【0064】

本実施形態によれば、第１学習済モデル１０１は、天面の中心に近くなるにつれて高い値を示すヒートマップを用いて学習され、第１学習済モデル１０１が出力した天面の検出結果は、天面に関するヒートマップを含む。例えば、判定対象物がコンテナである場合、第１学習済モデル１０１の検出対象であるコンテナの天面（天板）は、矩形又はひし形となる。このような矩形状の天面が、縦横に等間隔で並べられた場合、等間隔で並べられた天面の集合体の形状も、単体の天面形状と類似するものとなる。この場合、当該矩形状の天面の画像を用いて学習させて生成した物体検出モデルでは、天面の集合体の形状を、単一の天面と誤検知することが懸念される。これに対し、情報処理装置１は、天面の中心に近くなるにつれて高い値を示すヒートマップを用いて、画像に含まれる天面それぞれを識別できるように第１学習済モデル１０１を生成（学習）する。当該ヒートマップは、例えば０から１のように段階的な値をとり、検出したい箇所、すなわちコンテナの天面の中心に山のような形のデータとなっている。情報処理装置１は、当該ヒートマップを第１学習済モデル１０１に学習され、第１学習済モデル１０１は入力された画像に対し、個々のポイントにおいてヒートマップを出力する。情報処理装置１は、出力されたヒートマップの頂点を示す箇所（天面の中心）の個数をカウントすることにより、天面の個数を導出することができる。

【0065】

本実施形態によれば、情報処理装置１は、判定対象物の積み上げ数毎に異なる形状となる側面のアノテーションを用いて、第２学習済モデル１０２を学習（生成）する。従って、第２学習済モデル１０２を用いて物体検出を行う際、検出対象となるコンテナの側面のオブジェクトは、側面の段数に応じて異なるオブジェクト（別個のオブジェクトＩＤ）となる。従って、第２学習済モデル１０２の検出対象（オブジェクト）は、例えば、１段のコンテナの側面、２段のコンテナの側面、及び３段のコンテナの側面等を含むものであり、すなわち、単一のコンテナの側面と、２段以上の積層されたコンテナそれぞれの側面の集合体とを含む。このように積層数（段数）に応じた側面の形状を物体検出の対象として区分化することにより、例えば、単一のコンテナの側面のみを検出対象とし、検出した側面の個数をカウントする場合と比較し、誤検知が生じること抑制し、検出したオブジェクトの種類に応じて側面の段数（コンテナの積み上げ数）を効率的に特定することができる。

【0066】

本実施形態によれば、情報処理装置１は、算出した判定対象物の個数を、画像に含まれる判定対象物の表示領域に重畳させた画面データを生成し、生成した画像データを例えば、ディスプレイ等の表示装置、又はスマートホン等の端末装置Ｔに出力する情報処理装置１からの画面データを取得（受信）した表示装置又は端末装置Ｔは、当該画面データに応じて、判定対象物（コンテナ）の個数が判定対象物（対象物群：コンテナ群）の表示領域に重畳された画面を表示する。これにより、判定対象物（コンテナ等）の個数（概数）が重畳された画像を、当該判定対象物（コンテナ等）の保管管理者に対し提供することができる。

【0067】

本実施形態において、判定対象物は、矩形箱状のコンテナを例示して説明したが、これに限定されない。判定対象物は、例えば、配電地上機器、電柱、又は柱状変圧器等の送配電設備であってもよい。この場合、各学習済モデル（第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３）は、これら送配電設備それぞれの形状に応じた訓練データにより学習されている。このように積層された保管される送配電設備それぞれの形状に応じて学習された各学習済モデル（第１学習済モデル１０１、第２学習済モデル１０２及び第３学習済モデル１０３）を用いることにより、例えば、老朽化した送配電設備を回収し所定の載置場所に多量に保管した場合、当該送配電設備の概ねの個数を効率的に導出することができる。

【0068】

今回開示された実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【0069】

特許請求の範囲に記載されている複数の請求項に関して、引用形式に関わらず、相互に組み合わせることが可能である。特許請求の範囲では、複数の請求項に従属する多項従属請求項を記載してもよい。多項従属請求項に従属する多項従属請求項を記載してもよい。多項従属請求項に従属する多項従属請求項が記載されていない場合であっても、これは、多項従属請求項に従属する多項従属請求項の記載を制限するものではない。

【符号の説明】

【0070】

Ｓ 個数算出システム
Ｄ ドローン
Ｃ カメラ
Ｔ 端末装置
１ 情報処理装置（サーバ装置）
１１ 制御部
１１１ 取得部
１１２ 個数算出部
１１３ 出力部
１２ 記憶部
Ｍ 記録媒体
Ｐ プログラム
１３ 通信部
１０１ 第１学習済モデル（天面モデル）
１０２ 第２学習済モデル（側面モデル）
１０３ 第３学習済モデル（対象物群モデル）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】