知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-09
(45)【発行日】2025-01-20
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250110BHJP
【ＦＩ】
G06T7/00 640
G06T7/00 350C
【請求項の数】
15
(21)【出願番号】P 2020218914
(22)【出願日】2020-12-28
(65)【公開番号】P2022103979
(43)【公開日】2022-07-08
【審査請求日】2023-09-19
(73)【特許権者】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100196689
【弁理士】
【氏名又は名称】鎌田 康一郎
(72)【発明者】
【氏名】西田 量
【審査官】伊知地 和之
(56)【参考文献】
【文献】中国特許出願公開第１１１００８６１２（ＣＮ，Ａ）
【文献】特開２０１９－１５９６８０（ＪＰ，Ａ）
【文献】特開２０１８－１１６６０３（ＪＰ，Ａ）
【文献】特開２０１６－０１５１１６（ＪＰ，Ａ）
【文献】特開２０１９－１６６４３１（ＪＰ，Ａ）
【文献】中村昭宏 外２名，テクスチャ特徴と機械学習を用いた煙検出に関する検討，電気学会研究会資料，社団法人電気学会 ，2011年03月25日，pp.51～55
【文献】植草秀明 外２名，画像処理による現場異常監視システム，富士時報，富士電機株式会社，1997年07月10日，第70巻 第7号，pp.383～386
【文献】勝田裕貴 外１名，３Ｄ畳み込みニューラルネットワーク及びＬＳＴＭを用いた動画像認識，情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ）２０１７－ＣＶＩＭ－２０６［ｏｎｌｉｎｅ］，情報処理学会 ，2017年03月02日，pp.1～4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
(57)【特許請求の範囲】
【請求項1】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部と、
前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定する稼働状態推定部と、
を備え、
前記稼働状態推定部は、前記検知情報を入力し、前記稼働状態を少なくとも稼働または非稼働に分類した分類結果を出力する学習済みモデルを用いて、前記稼働状態を推定し、
前記学習済みモデルは、複数の異なる前記面積空間に対応する複数の前記検知情報を教師データとして用いて学習されたニューラルネットワークの各層のニューロン間の重み付け係数を初期値として、前記面積空間毎に再学習されたモデルを含む
情報処理装置。
【請求項2】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部と、
前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定する稼働状態推定部と、
を備え、
前記稼働状態推定部は、前記検知情報を入力し、前記稼働状態を少なくとも稼働または非稼働に分類した分類結果を出力する学習済みモデルを用いて、前記稼働状態を推定し、
前記学習済みモデルは、前記面積空間に対応する気象情報をさらに入力し、前記分類結果を出力する
情報処理装置。
【請求項3】
前記学習済みモデルは、前記面積空間に対応する気象情報をさらに入力し、前記分類結果を出力する請求項１に記載の情報処理装置。
【請求項4】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部と、
前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定する稼働状態推定部と、
を備え、
前記稼働状態推定部は、前記検知情報を入力し、前記稼働状態を少なくとも稼働または非稼働に分類した分類結果を出力する学習済みモデルを用いて、前記稼働状態を推定し、
前記学習済みモデルは、以前の前記分類結果をさらに入力し、前記分類結果を出力する 情報処理装置。
【請求項5】
前記学習済みモデルは、以前の前記分類結果をさらに入力し、前記分類結果を出力する 請求項１から３のいずれか１項に記載の情報処理装置。
【請求項6】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部と、
前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定する稼働状態推定部と、
前記面積空間に対応する所定の領域内の１または複数の携帯端末の位置情報を取得する位置情報取得部と、
前記位置情報に基づいて前記稼働状態が非稼働である場合に非稼働の状態を推定する状態推定部と、
を備える情報処理装置。
【請求項7】
前記面積空間に対応する所定の領域内の１または複数の携帯端末の位置情報を取得する位置情報取得部と、前記位置情報に基づいて前記稼働状態が非稼働である場合に非稼働の状態を推定する状態推定部と、
を備える請求項１から５のいずれか１項に記載の情報処理装置。
【請求項8】
前記排出物が白煙であり、前記検知情報がカラーまたはモノクロ画像データである
請求項１から７のいずれか１項に記載の情報処理装置。
【請求項9】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部と、
前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定する稼働状態推定部と、
前記稼働状態に基づき前記設備である生産設備の生産量を推定する生産量推定部と、
を備え、
前記排出物が白煙であり、
前記検知情報がカラーまたはモノクロ画像データであり、
前記生産量推定部は、前記生産量を季節に応じて補正して推定する
情報処理装置。
【請求項10】
前記排出物が熱であり、前記検知情報が熱赤外線画像データである
請求項１から７のいずれか１項に記載の情報処理装置。
【請求項11】
前記稼働状態推定部が、前記検知情報に基づく所定の温度差に基づき前記設備の稼働状態を推定する請求項１０に記載の情報処理装置。
【請求項12】
前記設備が生産設備であって、前記稼働状態に基づき前記生産設備の生産量を推定する生産量推定部を
さらに備える請求項１から８、１０、１１のいずれか１項に記載の情報処理装置。
【請求項13】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部と、
前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定する稼働状態推定部と、
前記稼働状態に基づき前記設備である生産設備の生産量を推定する生産量推定部と、
を備え、
前記生産量推定部は、前記生産設備が発電設備である場合、前記稼働状態推定部が前記検知情報に基づいて前記稼働状態を推定することができないとき、前記発電設備が従属する系統の構成に基づいて当該発電設備の生産量を推定する
情報処理装置。
【請求項14】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得するステップと、前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定するステップと、
を含み、
前記稼働状態を推定するステップは、前記検知情報を入力し、前記稼働状態を少なくとも稼働または非稼働に分類した分類結果を出力する学習済みモデルを用いて、前記稼働状態を推定し、
前記学習済みモデルは、複数の異なる前記面積空間に対応する複数の前記検知情報を教師データとして用いて学習されたニューラルネットワークの各層のニューロン間の重み付け係数を初期値として、前記面積空間毎に再学習されたモデルを含む
情報処理方法。
【請求項15】
地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得するステップと、前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定するステップと、
をコンピュータに実行させるプログラムであって、
前記稼働状態を推定するステップは、前記検知情報を入力し、前記稼働状態を少なくとも稼働または非稼働に分類した分類結果を出力する学習済みモデルを用いて、前記稼働状態を推定し、
前記学習済みモデルは、複数の異なる前記面積空間に対応する複数の前記検知情報を教師データとして用いて学習されたニューラルネットワークの各層のニューロン間の重み付け係数を初期値として、前記面積空間毎に再学習されたモデルを含む
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
特許文献１には、衛星画像に基づいて、コンテナの充填容積を推定する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１９－５１４１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の画像処理方法では、各画像に基づきその画像が撮影されたときのコンテナの充填容積を推定することはできるが、コンテナの充填物が使用されている状態なのか否か、すなわち、その設備が稼働状態であるのか否かは推定することができないという課題があった。
【0005】
本開示は、上記課題を解決するためになされたものであって、設備の稼働状態を推定することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示に係る情報処理装置は、地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部と、前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定する稼働状態推定部と、を備える。
【0007】
本開示に係る情報処理方法は、地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得するステップと、前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定するステップと、を含む。
【0008】
本開示に係るプログラムは、地上の所定の面積空間内の所定の排出物の状態に対応する状態情報を含む空中で検知された検知情報を取得するステップと、前記検知情報に基づき前記面積空間に対応づけられた設備の稼働状態を推定するステップと、をコンピュータに実行させる。
【発明の効果】
【0009】
本開示の情報処理装置、情報処理方法およびプログラムによれば、設備の稼働状態を推定することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の実施形態に係る情報処理装置の基本的構成例を示すブロック図である。
【図2】本開示の第１実施形態に係る設備情報の構成例を示す模式図である。
【図3】本開示の第１実施形態に係る面積空間の一例を示す模式図である。
【図4】本開示の第１実施形態に係る面積空間の一例を示す模式図である。
【図5】本開示の第１実施形態に係る面積空間の一例を示す模式図である。
【図6】本開示の第１実施形態に係る学習済みモデルの構成例を示す模式図である。
【図7】本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図8】本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図9】本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図10】本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図11】本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図12】本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図13】本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図14】本開示の第２実施形態に係る学習済みモデルの構成例を示す模式図である。
【図15】本開示の第２実施形態に係る学習済みモデルの構成例を示す模式図である。
【図16】本開示の第２実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図17】本開示の第２実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図18】本開示の第２実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図19】本開示の第２実施形態に係る面積空間の一例を示す模式図である。
【図20】本開示の第２実施形態に係る面積空間の一例を示す模式図である。
【図21】本開示の第３実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図22】本開示の第３実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図23】本開示の第３実施形態に係る面積空間の一例を示す模式図である。
【図24】本開示の第３実施形態に係る面積空間の一例を示す模式図である。
【図25】本開示の第３実施形態に係る面積空間の一例を示す模式図である。
【図26】本開示の第４実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図27】本開示の第４実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図28】本開示の第４実施形態に係る面積空間の一例を示す模式図である。
【図29】本開示の第５実施形態に係る情報処理装置の動作例を示すフローチャートである。
【図30】本開示の実施形態に係るビジネスフローの一例を示すシステム図である。
【図31】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0011】
＜各実施形態の基本的構成例＞
以下、本開示の実施形態に係る情報処理装置、情報処理方法およびプログラムについて、図面を参照して説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。
以下、本開示の実施形態に係る情報処理装置、情報処理方法およびプログラムについて、図面を参照して説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。
【0012】
図１は、本開示の実施形態に係る情報処理装置の基本的構成例を示すブロック図である。図１に示す情報処理装置１の基本的構成は、以下で説明する第１～第５実施形態の情報処理装置の基本的構成であり、図１に示す情報処理装置１の構成の一部を、変更（省略や追加を含む）することで、第１～第５実施形態に係る情報処理装置を構成することができる。各実施形態の説明では、主に図１に示す情報処理装置１からの変更部分について説明する。
【0013】
図１に示す情報処理装置１は、コンピュータとそのコンピュータのマウス、タッチパネル、表示装置等の周辺装置等を用いて構成することができ、コンピュータ等のハードウェアと、そのコンピュータが実行するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として以下の各部を備える。すなわち、情報処理装置１は、取得部１１と、稼働状態推定部１２と、生産量推定部１３と、位置情報取得部１４と、状態推定部１５と、学習済みモデル１６と、検知情報１７と、設備情報１８と、モデル学習部１９とを備える。学習済みモデル１６は、汎用学習済みモデル１６１と、個別学習済みモデル１６２の少なくとも一方を含む。
【0014】
取得部１１は、地上の所定の面積空間５１内の所定の排出物４１の状態に対応する状態情報を含む空中で検知された検知情報を例えば検知情報提供システム２から取得し、情報処理装置１を構成するコンピュータが備える記憶装置等に検知情報１７として記憶する。検知情報は、人工衛星２１（あるいはドローン、航空機、高層建築物）等によって空中から取得された面積空間５１に対応する可視光画像データ、熱赤外線画像データ等である。
【0015】
また、検知情報が含む状態情報は、例えば、面積空間５１を撮像した可視光画像データ内に排出物４１が存在している場合に含まれることが推定される情報であり、ＲＧＢ（カラー）の各チャネルの輝度値や所定の階調度のグレーの輝度値の情報、その輝度値を有する範囲の形状や大きさによって定義することができる。あるいは、検知情報が含む状態情報は、例えば、面積空間５１を撮像した熱赤外線画像データ内に排出物４１が存在している場合に含まれることが推定される情報であり、所定の階調度の輝度値の情報、その輝度値を有する範囲の形状や大きさによって定義することができる。あるいは、検知情報が含む状態情報は、例えば、面積空間５１を撮像した可視光画像データや熱赤外線画像データ内に排出物４１が存在していない場合に含まれることが推定される情報（地面や建物に対応する情報等）であってもよい。
【0016】
排出物４１は、プラント等における生産設備等の設備７１から排出される物であり、例えば、白煙、ガス、熱、霧等である。この場合、排出物４１を排出する煙突６１が、排出物４１の状態を判断する際に基準となる解析対象となる。解析対象は、排出物を排出する構造物あるいは排出位置で特定することができる。ただし、解析対象は、例えば複数の煙突や冷却塔、排水口等の、複数の物体としたり、複数の設備を備えるプラント全体やプラントの一部等としてもよい。面積空間５１は、解析対象（この場合、煙突６１）を囲むように定義される。
【0017】
稼働状態推定部１２は、検知情報１７に基づき面積空間５１に対応づけられた設備７１の稼働状態を推定する。稼働状態推定部１２は、検知情報１７が含む排出物４１の状態に対応する状態情報に基づき、例えば、排出部４１が排出されている場合には設備７１が稼働していると推定し、排出部４１が排出されていない場合には設備７１が稼働していない（非稼働である）と推定する。
【0018】
なお、稼働状態推定部１２は、検知情報を入力し、稼働状態を少なくとも稼働または非稼働に分類した分類結果を出力する学習済みモデル１６を用いて、稼働状態を推定することができる。学習済みモデル１６は、例えばニューラルネットワークを要素とするモデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。学習済みモデル１６は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数（パラメータ）の組合せで構成される。汎用学習済みモデル１６１は、例えばニューラルネットワークを要素とするモデルであり、複数の面積空間５１で得られた複数の検知情報等を教師データとして学習されたモデルであり、複数の面積空間５１に対して共通に適用することができる。個別学習モデル１６２は、例えばニューラルネットワークを要素とするモデルであり、複数の異なる面積空間５１に対応する複数の検知情報を教師データとして用いて学習されたニューラルネットワーク（汎用学習済みモデル１６１）の各層のニューロン間の重み付け係数を初期値として、面積空間５１毎に再学習されたモデルである。個別学習モデル１６２は、面積空間５１毎に用意され、面積空間５１毎に適用される。汎用学習済みモデル１６１で得られた重み付け係数を初期値とすることで、面積空間５１毎に得られる検知情報１７が少ない場合でも異なる面積空間５１で得られる検知情報１７を教師データとすることで、効率的にモデルを学習させることができる。
【0019】
なお、学習済みモデル１６（汎用学習済みモデル１６１および個別学習モデル１６２）は、面積空間５１に対応する気象情報をさらに入力し、分類結果を出力するものであってもよい。また、学習済みモデル１６（汎用学習済みモデル１６１および個別学習モデル１６２）は、以前の分類結果をさらに入力し、分類結果を出力するものであってもよい。例えば、一定期間連続的に運転される設備については、推定対象の稼働状態が、所定時間（例えば１日）前の稼働状態に影響を受けるため、再帰的に以前の推定結果をさらに入力することで推定精度の向上を図ることができる。
【0020】
また、生産量推定部１３は、設備７１が生産設備である場合、稼働状態推定部１２が推定した設備７１の稼働状態に基づき設備７１（生産設備）の生産量を推定する。生産量推定部１３は、例えば、予め用意した設備情報１８が含む設備の情報（稼働時の生産量、あるいは、稼働時の生産量を推定するための情報）に基づき、稼働時には生産量が所定量であると推定し、非稼働時には生産量が稼働時より小さい所定量（あるいはゼロ）であると推定する。
【0021】
位置情報取得部１４は、面積空間５１に対応する所定の領域内の１または複数の携帯端末３１の位置情報を例えば位置情報提供システム３から取得する。状態推定部１５は、位置情報取得部１４が取得した位置情報に基づいて設備７１の稼働状態が非稼働である場合に非稼働の状態を推定する。非稼働の状態とは、例えば、通常の非稼働なのか、非通常の（例えば工事等の状態での）非稼働なのかを表す状態である。例えば状態推定部１５は、稼働時に得られる位置情報との比較によって、位置情報に大きな変化が無い場合には通常の非稼働と推定し、位置情報に大きな変化が有る場合には非通常の非稼働と推定することができる。
【0022】
なお、排出物４１を白煙とする場合、検知情報１７をカラーまたはモノクロ画像データとしたとき、生産量推定部１３は、生産量を季節に応じて補正して推定することができる。白煙の撮像しやすさは温度や湿度に影響され、季節によって影響されるので、補正によって推定の誤差を小さく抑えることができる。
【0023】
また、排出物４１を熱とする場合、検知情報１７を熱赤外線画像データとしたとき、稼働状態推定部１２は、検知情報１７に基づく所定の温度差に基づき設備７１の稼働状態を推定してもよい。例えば、冷却水の入口温度と出口温度の差から稼働状態を推定することができる。
【0024】
なお、生産量推定部１３は、設備７１が生産設備であって発電設備である場合、稼働状態推定部１２が検知情報１７に基づいて稼働状態を推定することができないとき、発電設備が従属する系統の構成に基づいて当該発電設備の生産量を推定してもよい。
【0025】
また、モデル作成部１９は、検知情報１７等を用いて、学習済みモデル１６を学習したり、再学習したりする。
【0026】
以上のように、本実施形態の情報処理装置１によれば、地上の所定の面積空間５１内の所定の排出物４１の状態に対応する状態情報を含む空中で検知された検知情報（検知情報１７）に基づき、設備１７の稼働状態を推定することができる。
【0027】
＜第１実施形態＞
次に、図２～図１３を参照して、本開示の第１実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２は、本開示の第１実施形態に係る設備情報の構成例を示す模式図である。図３～図５は、本開示の第１実施形態に係る面積空間の例を示す模式図である。図６は、本開示の第１実施形態に係る学習済みモデルの構成例を示す模式図である。図７～図１３は、本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
次に、図２～図１３を参照して、本開示の第１実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２は、本開示の第１実施形態に係る設備情報の構成例を示す模式図である。図３～図５は、本開示の第１実施形態に係る面積空間の例を示す模式図である。図６は、本開示の第１実施形態に係る学習済みモデルの構成例を示す模式図である。図７～図１３は、本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。
【0028】
なお、第１実施形態に係る情報処理装置１では、図１に示す構成のうち、位置情報取得部１４、状態推定部１５、および個別学習済みモデル１６２を省略することができる。また、第１実施形態および以下の各実施形態では、稼働状態の推定対象が電力を生産する生産設備（発電設備）であるとしている。また、第１実施形態では、検知情報が、カラー画像データであるとしている。
【0029】
図２は、第１実施形態における図１に示す設備情報１８の構成例を示す。図２に示す設備情報１８は、属性情報データベース１８１と、地理情報データベース１８２とを含んでいる。属性情報データベース１８１は、設備７１の名称である“ユニット名称”に対して、解析対象の物体（煙突６１等）の識別番号である“物体Ｎｏ．”と、設備７１の属性を示す属性情報（出力、燃料の種類、プラント名称）と、地理情報（面積空間５１を四角形のポリゴンとした場合に４つの頂点の緯度および経度Ｐ１、Ｐ２、Ｐ３およびＰ４）とを対応づけて記憶している。地理情報データベース１８２は、“物体Ｎｏ．”と、地理情報（面積空間５１を四角形のポリゴンとした場合に４つの頂点の緯度および経度Ｐ１、Ｐ２、Ｐ３およびＰ４）とを対応づけて記憶している。
【0030】
設備情報１８は、地図情報を提供するベースマップサービス３０１から得た地図（衛星画像等）や座標情報、インターネット上等での公開情報３０２、外部の情報提供サービス（外部サービス）３０３から得た情報、画像データから得られる物体（設備等）の外観や寸法（物体の外観・寸法）３０４から推定した情報等を用いて設定することができる。
【0031】
（第１実施形態の情報処理装置の処理の流れ）
第１実施形態の情報処理装置１では、以下の（１）～（９）の流れで解析対象に対応づけられた設備の生産量を算出する。
第１実施形態の情報処理装置１では、以下の（１）～（９）の流れで解析対象に対応づけられた設備の生産量を算出する。
【0032】
（１）撮影することにより得られた画像（検知情報１７）に対して、排出物（白煙、ガス、霧等）の状態による生産量の推定を行うのに適切な解析対象（プラントや煙突、冷却塔等）を特定し、特定した解析対象を中心とした面積空間に地理情報を付与する。例えば、衛星画像（例えば図３に示すプラント面積空間５０１の画像）に対して、図４に示すように発電所の煙突６０１の位置を４点Ｐ１、Ｐ２、Ｐ３およびＰ４でポリゴン（“四角形”）の形を指定しながら解析対象をマークすることで、解析対象を中心とした面積空間５１１に地理情報を付与することができる。なお、図３および図４において、煙突６０１は、発電ユニット７０１および７０２で共用される排出ガス４０１の放出用の煙突である。あるいは、図３に示すプラント面積空間５０１の画像に対して、例えば、図５に示すように冷却塔６０２の位置を４点Ｐ１、Ｐ２、Ｐ３およびＰ４でポリゴン（“四角形”）の形を指定しながら解析対象をマークすることで、解析対象を中心とした面積空間５１２に地理情報を付与することができる。
【0033】
（２）地理情報が付与された面積空間に対して、当該解析対象の属性情報を対応付けて例えば図２に示す設備情報１８として記憶する。例えば、マークした煙突に発電所に対してインターネット公開情報、外部サービス、外観・寸法をもとに、物体の属性情報を対応付けて属性情報データベース１８１へ記憶する。
【0034】
（３）地理情報に基づいて面積空間に対応する画像を任意の画像提供者から取得する。例えば、解析対象に対して対象期間（例えば数ヶ月間、数年間分の１日毎）の画像をダウンロードし、検知情報１７として記憶する。
【0035】
（４）取得した画像に対して、学習用画像と推論用画像に分類する。例えば、ダウンロードした画像を学習用画像と推論用画像とに例えばランダムサンプリングにより分類する。
【0036】
（５）学習用画像に対して、解析対象の生産量を推定するために必要なステータス情報（稼働情報）を付与し、排出物が排出されている状態の画像には“稼働中”、排出物が排出されていない状態の画像には“停止中”、判別しにくいものは“不明”とラベル付けを実施し、学習モデルで学習を行って、自動的に任意の画像のステータス情報を推論する分類器（学習済みモデル１６）を生成する。例えば、学習用画像に対して、白煙が排出されているものをＡｃｔｉｖｅ（稼働）、白煙が排出されていないものをＩｎａｃｔｉｖｅ（非稼働）、白煙が排出されているか否か不明なものはＵｎｋｎｏｗｎ（不明）としてラベル付けを行って学習モデル（畳み込みニューラルネットワーク）により学習を行って、学習済みモデルを生成する。
【0037】
（６）分類器（学習済みモデル１６）に対して推論用画像を入力し、分類結果として解析対象のステータス情報（稼働情報）を得る。推論用画像をモデルにインプットすることにより、プラントの稼働状態（ Ａｃｔｉｖｅ（稼働）／Ｉｎａｃｔｉｖｅ（非稼働）／Ｕｎｋｎｏｗｎ（不明））を推定する。
【0038】
（７）分類結果に基づいて、当該解析対象の属性情報を組み合わせ、当該解析対象の生産量を得る。推定したプラントの稼働状態と（２）の出力等の属性情報を用いて発電量を推定する。例えば、微小な白煙を検出できず、 Ｉｎａｃｔｉｖｅとなったら過小、Ａｃｔｉｖｅとなっていても紐付くユニットすべてが稼働していない場合が過剰となるため、”Ａｃｔｉｖｅ”／”Ｉｎａｃｔｉｖｅ” ＝ １／０ではなく、０．７／０．３などを用いて補正する。
【0039】
（８）季節変動に伴う、分類精度の変化、分類結果に対して実態の生産量を精度よく分類するためのパラメータを求め任意の集合における生産量推定計算式を生成する。例えば、次のようにして季節変動に伴う分類精度変化の補正を行う。すなわち、１２月、１月、２月の白煙の分類精度が最も高く、７月、８月の白煙の検出精度が最も低い（気温・湿度の影響で水分の凝縮度合が異なる）ため、１２月、１月、２月の生産量を基準（１倍）とした場合に、７月、８月は、生産量を１．５倍、９月～１１月、４月～６月は生産量を１．３倍とする。
【0040】
（９）任意の集合における解析対象の生産量を算出する。例えば、推定した発電量をエリアごとに集計する。
【0041】
（学習済みモデルの構成例）
次に、図６を参照して、学習済みモデル１６（汎用学習済みモデル１６１）の構成に例について説明する。図６に示す学習済みモデル１６に対する入力は、面積空間５１１等を表すＲＧＢ各チャネルで、ｍ×ｎ個×３の要素からなる配列である。カラー画像１枚のデータ構造は、ＲＧＢの３チャンネルそれぞれに対し、画像サイズ、解像度に応じたｍ行ｎ列の行列のピクセル値からなっており、これが、畳み込みニューラルネットワークの入力となる。また、出力側は、モデルの最終段にあるソフトマックス関数の出力として、３つの分類数（“稼働”、“非稼働”、“不明”）のそれぞれに分類される確率となり、３つの合計は１である（図６に示す例では、各分類の確率は、“稼働”＝０．７８、“非稼働”＝０．１２、“不明”＝０．１０である）。
次に、図６を参照して、学習済みモデル１６（汎用学習済みモデル１６１）の構成に例について説明する。図６に示す学習済みモデル１６に対する入力は、面積空間５１１等を表すＲＧＢ各チャネルで、ｍ×ｎ個×３の要素からなる配列である。カラー画像１枚のデータ構造は、ＲＧＢの３チャンネルそれぞれに対し、画像サイズ、解像度に応じたｍ行ｎ列の行列のピクセル値からなっており、これが、畳み込みニューラルネットワークの入力となる。また、出力側は、モデルの最終段にあるソフトマックス関数の出力として、３つの分類数（“稼働”、“非稼働”、“不明”）のそれぞれに分類される確率となり、３つの合計は１である（図６に示す例では、各分類の確率は、“稼働”＝０．７８、“非稼働”＝０．１２、“不明”＝０．１０である）。
【0042】
（情報処理装置の動作例）
次に、図７を参照して、情報処理装置１の画像取得処理の際の動作例について説明する。画像取得処理では、情報処理装置１は、まず、画像を選定し（ステップＳ１１１）、次に、画像に対して解析対象を指定し（ステップＳ１１２）、次に、解析対象に地理情報を付与し（ステップＳ１１３）、次に、解析対象に属性情報を付与し（ステップＳ１１４）、解析対象に関する地理／属性情報を記憶する（ステップＳ１１５）。情報処理装置１は、選定が終了するまで（ステップＳ１１６で“Ｙ”となるまで）、ステップＳ１１１～Ｓ１１５の処理を繰り返し実行する。一方、選定が終了すると（ステップＳ１１６で“Ｙ”となると）、情報処理装置１は、地理情報に基づき画像を取得し（ステップＳ１１７）、取得した画像を記憶する（ステップＳ１１８）。
次に、図７を参照して、情報処理装置１の画像取得処理の際の動作例について説明する。画像取得処理では、情報処理装置１は、まず、画像を選定し（ステップＳ１１１）、次に、画像に対して解析対象を指定し（ステップＳ１１２）、次に、解析対象に地理情報を付与し（ステップＳ１１３）、次に、解析対象に属性情報を付与し（ステップＳ１１４）、解析対象に関する地理／属性情報を記憶する（ステップＳ１１５）。情報処理装置１は、選定が終了するまで（ステップＳ１１６で“Ｙ”となるまで）、ステップＳ１１１～Ｓ１１５の処理を繰り返し実行する。一方、選定が終了すると（ステップＳ１１６で“Ｙ”となると）、情報処理装置１は、地理情報に基づき画像を取得し（ステップＳ１１７）、取得した画像を記憶する（ステップＳ１１８）。
【0043】
次に、図８を参照して、情報処理装置１の学習フェーズの際の動作例について説明する。学習フェーズでは、情報処理装置１は、まず、学習用画像と推論用画像とに分類し（ステップＳ１２１）、次に、学習用画像を選定し（ステップＳ１２２）、次に、選定した学習用画像を所定の表示装置に表示し（ステップＳ１２３）、次に、学習用画像に対してラベル付けを行う（ステップＳ１２４）。情報処理装置１は、選定が終了するまで（ステップＳ１２５で“Ｙ”となるまで）、ステップＳ１２２～Ｓ１２４の処理を繰り返し実行する。一方、選定が終了すると（ステップＳ１２５で“Ｙ”となると）、情報処理装置１は、ラベル付けされた学習用画像を用いて学習を行い（ステップＳ１２６）、学習済みモデルとして記憶する（ステップＳ１２７）。
【0044】
次に、図９～図１３を参照して、情報処理装置１の推定フェーズの際の動作例について説明する。推定フェーズでは、情報処理装置１は、推論用画像を取得し（ステップＳ１３１）、推論用画像を学習済みモデルへ入力し（ステップＳ１３２）、稼働状態に関する情報を出力（記録）する（ステップＳ１３３）。情報処理装置１は、取得が終了するまで（ステップＳ１３４で“Ｙ”となるまで）、ステップＳ１３１～Ｓ１３３の処理を繰り返し実行する。取得が終了すると（ステップＳ１３４で“Ｙ”となると）、情報処理装置１は、稼働状態に関する情報および属性情報に基づき発電量を算出し（ステップＳ１３５）、分類精度に基づき発電量を補正し（ステップＳ１３６）、エリアごとに発電量を集計し（ステップＳ１３７）、集計結果を出力する（ステップＳ１３８）。
【0045】
図１０および図１１は、ステップＳ１３５の処理の具体例を示す。この例では、ステップＳ１３５の処理は、図１０および図１１に示すステップＳ１３５１～Ｓ１３５５の処理で構成されている。ステップＳ１３５１では、プラント稼働状態が任意の物体（以下は“物体Ｎｏ．１”の例）に対して時系列で整理される。ステップＳ１３５２では、稼働＝１、非稼働＝０、ｎ／ａ（欠損）および不明＝“直近の０／１”が割り当てられる。ステップＳ１３５３では、定数ｋ（０＜ｋ＜１）を用いて、１にｋが、０には１－ｋが割り当てられる。ステップＳ１３５４では、当該物体に対応づけられているユニットの出力の合計値（物体Ｎｏ．１の場合１２００ＭＷ）が乗じられる。そして、ステップＳ１３５５では、上記の処理を物体Ｎｏ．１～Ｎまで同様に実施し、当該物体から把握できる推定発電量が求められる。
【0046】
また、図１２は、ステップＳ１３６の処理の具体例をステップＳ１３６１として示す。ステップＳ１３６１では、外気温度・湿度により排ガス中に含まれる水分の凝縮現象の程度が異なることから、分類器（学習済みモデル）の分類精度に基づき発電量を補正するために、季節（月）毎に変化するパラメータαをかけ、さらに２４時間をかけて推定発電量（ＭＷｈ）が算出される（ただし、図１２の例は２４時間を掛ける前の値）。
【0047】
また、図１３は、ステップＳ１３７の処理の具体例をステップＳ１３７１として示す。ステップＳ１３７１では、各物体に対応つけられている他のユニット情報（エリア、国、燃料種別、会社名等）によって求めた推定発電量が集計される（図１３は、エリア（都道府県）毎に推定発電量を集計した例）。
【0048】
＜第２実施形態＞
次に、図１４～図２０を参照して、本開示の第２実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図１４および図１５は、本開示の第２実施形態に係る学習済みモデルの構成例を示す模式図である。図１４は、図１に示す学習済みモデル１６を、学習済みモデル１６ｂとして示し、図１に示す汎用学習済みモデル１６１を、学習済みモデル１６１ｂとして示し、図１に示す個別学習済みモデル１６２を、学習済みモデル１６２ｂとして示す。図１５は、図１に示す学習済みモデル１６を、学習済みモデル１６ｃとして示し、図１に示す汎用学習済みモデル１６１を、学習済みモデル１６１ｃとして示し、図１に示す個別学習済みモデル１６２を、学習済みモデル１６２ｃとして示す。図１６～図１８は、本開示の第２実施形態に係る情報処理装置の動作例を示すフローチャートである。図１９および図２０は、本開示の第２実施形態に係る面積空間の一例を示す模式図である。
次に、図１４～図２０を参照して、本開示の第２実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図１４および図１５は、本開示の第２実施形態に係る学習済みモデルの構成例を示す模式図である。図１４は、図１に示す学習済みモデル１６を、学習済みモデル１６ｂとして示し、図１に示す汎用学習済みモデル１６１を、学習済みモデル１６１ｂとして示し、図１に示す個別学習済みモデル１６２を、学習済みモデル１６２ｂとして示す。図１５は、図１に示す学習済みモデル１６を、学習済みモデル１６ｃとして示し、図１に示す汎用学習済みモデル１６１を、学習済みモデル１６１ｃとして示し、図１に示す個別学習済みモデル１６２を、学習済みモデル１６２ｃとして示す。図１６～図１８は、本開示の第２実施形態に係る情報処理装置の動作例を示すフローチャートである。図１９および図２０は、本開示の第２実施形態に係る面積空間の一例を示す模式図である。
【0049】
なお、第２実施形態に係る情報処理装置１では、図１に示す構成のうち、位置情報取得部１４、および状態推定部１５を省略することができる。
【0050】
【0051】
また、第１実施形態と同様にして作成した分類器（学習済みモデル１６１ｂおよび１６１ｃ）において設定されている畳み込みニューラルネットワークで設定された重み行列を分類器（学習済みモデル１６２ｂおよび１６２ｃ）の重みの初期値とし、各プラントの画像を推論する際に、そのプラントの当該物体を対象に取得された画像に対して、「稼働」「非稼働」「不明」の３分類を画像に対して割り当て、ラベル情報を用意し、追加で再学習することで分類精度向上を実施する。
【0052】
第１実施形態の通り学習を実施する際には、プラント（物体）を指定せずに、横断的に複数の種類の物体に対して、学習する。例えば日本中の２００の煙突を対象に、それぞれの煙突から１００枚ずつの画像を取得すると、２００００枚の画像になるが、第１実施形態の場合はこのデータをもとに、パラメータＷｉｊに任意の手法で初期値を与え、データとラベルを用いて一つの汎用的な学習済みモデルを生成している。
【0053】
一方、第２実施形態においては、精度を向上させるために、第１実施形態と同様にして学習した学習済みモデル（学習済みモデル１６１ｂおよび１６１ｃ）の重みＷｉｊを初期値とし、各物体のデータとそのラベルを用いて分類器（学習済みモデル１６２ｂおよび１６２ｃ）を再度学習する。こうすることで、分類器は物体の数だけ生成される。例えば２００の煙突であれば、２００個の分類器を作成することとなり、それぞれの作成された分類器は、各物体に応じたパラメータとなるため、汎用性を下げる一方で、分類精度は向上する。第１実施形態で生成される分類器を汎用分類器、第２実施形態で新たに生成される分類器を個別分類器と呼ぶ。なお、プラントの属性情報によっては、前回の判定結果が今回の判定結果に影響を与えるため、分類アルゴリズムに前回の判定結果を再帰的に組み込むことができる（学習済みモデル１６１ｃおよび１６２ｃ）。なお、図１５に示す学習済みモデル１６１ｃおよび１６２ｃでは、複数のメモリＭが新たに設けられている。
【0054】
（第２実施形態の情報処理装置の処理の流れ）
第２実施形態の情報処理装置１では、以下の（１）～（９）の流れで解析対象に対応づけられた設備の生産量を算出する。
第２実施形態の情報処理装置１では、以下の（１）～（９）の流れで解析対象に対応づけられた設備の生産量を算出する。
【0055】
（１）～（３）、（４）、（７）、および（９）は第１実施形態と同様である。ただし、第２実施形態の（３）の処理では、第１実施形態の（３）において、地理情報により取得した画像が撮影された日時における気象情報を取得する（図１９および図２０）。気象情報は、例えば、解析対象の位置に最も近い位置の既知（最も近い都市等）の気象情報を使用する。
【0056】
（５）気象情報を含めて学習を行い、分類器を生成する。
【0057】
（６）気象情報及び分類器に対して推論用画像を入力し、分類結果として解析対象のステータス情報を得る。
【0058】
（８）分類器を生成する際に気象情報を活用しているため、第１実施形態で実施していた季節変化に伴う補正を不要とする
【0059】
（情報処理装置の動作例）
次に、図１６を参照して、情報処理装置１の画像取得処理の際の動作例について説明する。画像取得処理では、情報処理装置１は、まず、画像を選定し（ステップＳ１４１）、次に、画像に対して解析対象を指定し（ステップＳ１４２）、次に、解析対象に地理情報を付与し（ステップＳ１４３）、次に、解析対象に属性情報を付与し（ステップＳ１４４）、次に、解析対象に関する地理／属性情報を記憶する（ステップＳ１４５）。情報処理装置１は、選定が終了するまで（ステップＳ１４６で“Ｙ”となるまで）、ステップＳ１４１～Ｓ１４５の処理を繰り返し実行する。一方、選定が終了すると（ステップＳ１４６で“Ｙ”となると）、情報処理装置１は、地理情報に基づき画像を取得し（ステップＳ１４７）、地理情報に基づき画像が撮影された日時の気象情報を取得し（ステップＳ１４８）、取得した気象情報および画像データを記憶する（ステップＳ１４９）。
次に、図１６を参照して、情報処理装置１の画像取得処理の際の動作例について説明する。画像取得処理では、情報処理装置１は、まず、画像を選定し（ステップＳ１４１）、次に、画像に対して解析対象を指定し（ステップＳ１４２）、次に、解析対象に地理情報を付与し（ステップＳ１４３）、次に、解析対象に属性情報を付与し（ステップＳ１４４）、次に、解析対象に関する地理／属性情報を記憶する（ステップＳ１４５）。情報処理装置１は、選定が終了するまで（ステップＳ１４６で“Ｙ”となるまで）、ステップＳ１４１～Ｓ１４５の処理を繰り返し実行する。一方、選定が終了すると（ステップＳ１４６で“Ｙ”となると）、情報処理装置１は、地理情報に基づき画像を取得し（ステップＳ１４７）、地理情報に基づき画像が撮影された日時の気象情報を取得し（ステップＳ１４８）、取得した気象情報および画像データを記憶する（ステップＳ１４９）。
【0060】
次に、図１７を参照して、情報処理装置１の学習フェーズの際の動作例について説明する。学習フェーズでは、情報処理装置１は、まず、気象情報および画像データを学習用と推論用とに分類し（ステップＳ１５１）、次に、学習用画像を選定し（ステップＳ１５２）、次に、選定した学習用画像を所定の表示装置に表示し（ステップＳ１５３）、次に、学習用画像に対してラベル付けを行う（ステップＳ１５４）。情報処理装置１は、選定が終了するまで（ステップＳ１５５で“Ｙ”となるまで）、ステップＳ１５２～Ｓ１５４の処理を繰り返し実行する。一方、選定が終了すると（ステップＳ１５５で“Ｙ”となると）、情報処理装置１は、ラベル付けされた学習用画像を用いて学習を行い（ステップＳ１５６）、学習済みモデルとして記憶し（ステップＳ１５７）、解析対象ごとに再学習する（ステップＳ１５８）。
【0061】
次に、図１８を参照して、情報処理装置１の推定フェーズの際の動作例について説明する。推定フェーズでは、情報処理装置１は、推論用画像を取得し（ステップＳ１６１）、推論用画像を学習済みモデルへ入力し（ステップＳ１６２）、稼働状態に関する情報を出力（記録）する（ステップＳ１６３）。情報処理装置１は、取得が終了するまで（ステップＳ１６４で“Ｙ”となるまで）、ステップＳ１６１～Ｓ１６３の処理を繰り返し実行する。取得が終了すると（ステップＳ１６４で“Ｙ”となると）、情報処理装置１は、稼働状態に関する情報および属性情報に基づき発電量を算出し（ステップＳ１６５）、エリアごとに発電量を集計し（ステップＳ１６６）、集計結果を出力する（ステップＳ１６７）。
【0062】
＜第３実施形態＞
次に、図２１～図２５を参照して、本開示の第３実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２１および図２２は、本開示の第３実施形態に係る情報処理装置の動作例を示すフローチャートである。図２３～図２５は、本開示の第３実施形態に係る面積空間の一例を示す模式図である。
次に、図２１～図２５を参照して、本開示の第３実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２１および図２２は、本開示の第３実施形態に係る情報処理装置の動作例を示すフローチャートである。図２３～図２５は、本開示の第３実施形態に係る面積空間の一例を示す模式図である。
【0063】
第３実施形態は、第１実施形態および第２実施形態とは異なり、解析対象（プラント、煙突等）が例えば大規模工事による停止なのか、それ以外による停止なのかというステータス情報（非稼働の状態）の追加推定が可能になる。これにより、排ガスの有無をシステムで判定しただけでは、排ガスが生じているかどうかが分からないケースがある。大規模工事による停止とそれ以外による停止の場合、何れも排ガスが生じていないケースに相当することから、このようなステータス情報が認識できることにより排ガスが生じていないことが立証されるため情報価値が向上する。
【0064】
（第３実施形態の情報処理装置の処理の流れ）
第３実施形態の情報処理装置１では、以下の（１）～（７）の流れで解析対象に対応づけられた設備の稼働状態が非稼働の場合に、携帯端末３１の位置情報に基づいて、非稼働の状態（非稼働の原因）を推定する。
第３実施形態の情報処理装置１では、以下の（１）～（７）の流れで解析対象に対応づけられた設備の稼働状態が非稼働の場合に、携帯端末３１の位置情報に基づいて、非稼働の状態（非稼働の原因）を推定する。
【0065】
（１）撮影することで得られた画像に対して、解析対象を特定する範囲に限定せず、人口の数をカウントする範囲の面積空間（図２３に示す面積空間５１１に対応する所定の領域である面積空間５０１）に対して地理情報を付与する。
【0066】
（２）地理情報に基づき、複数のデバイスの位置情報をそれぞれ取得する。
【0067】
（３）画像の面積空間を縦横の距離をそれぞれｋ１とする複数のメッシュ５０１１に区切る（図２４および図２５）。それぞれのデバイス（携帯端末３１）が任意のメッシュ５０１１内に存在していた場合に、当該メッシュにデバイスの個数を入力し、なければ０を入力する。解析対象の面積空間５０１が長方形でない場合は、縦横に長さを拡張し、そこに０を埋め、縦ｌ１個、横ｍ１個の配列を作成する。
【0068】
（４）この配列を学習用配列、推論用配列に分類する。第１実施形態にて取得する画像（面積空間５１１）の少なくとも一部が第３実施形態で指定される面積空間５０１に含まれる場合、対応づけを実施する。ただし、分類器としては独立させる。
【0069】
（５）学習用配列には、解析対象のステータス情報として定期検査のような大掛かりな工事期間中の配列には「大規模工事中」ラベルを、そうでない配列には、「通常時」のラベルを付与する。
【0070】
（６）第２実施形態で実施したように、ラベルが貼られたデータを用いて、汎用分類器、個別分類器を作成し、推論用配列を用いてプラントのステータスを分類する。（汎用分類器と個別分類器の関係は、第１実施形態を汎用分類器とし、第１実施形態で既知となったパラメータＷｊｉを初期値に、各物体の画像とラベルを用いて再学習させた結果生成される個別分類器とする関係と同一とする。）
【0071】
（７）第３実施形態により、第１実施形態および第２実施形態によって推論されたプラントのステータス情報の“停止中”に対して、さらに「大規模工事中」もしくは「通常時」の分類を実行する。
【0072】
（情報処理装置の動作例）
次に、図２１を参照して、情報処理装置１の位置情報取得処理と学習フェーズの処理の際の動作例について説明する。位置情報取得・学習フェーズの処理の際、情報処理装置１は、まず、解析対象の地理情報に基づいてデバイスの位置情報を取得し（ステップＳ１７１）、画像をメッシュで区切り（ステップＳ１７２）、メッシュ内にデバイスが存在するか否かを判定し（ステップＳ１７３）、存在する場合（ステップＳ１７３で“Ｙ”の場合）、メッシュに対して位置情報の個数を設定する。情報処理装置１は、全画像の全メッシュについて処理が終了するまで（ステップＳ１７５とステップＳ１７６がともに“Ｙ”となるまで）、ステップＳ１７３とステップＳ１７４の処理を繰り返し実行する。
次に、図２１を参照して、情報処理装置１の位置情報取得処理と学習フェーズの処理の際の動作例について説明する。位置情報取得・学習フェーズの処理の際、情報処理装置１は、まず、解析対象の地理情報に基づいてデバイスの位置情報を取得し（ステップＳ１７１）、画像をメッシュで区切り（ステップＳ１７２）、メッシュ内にデバイスが存在するか否かを判定し（ステップＳ１７３）、存在する場合（ステップＳ１７３で“Ｙ”の場合）、メッシュに対して位置情報の個数を設定する。情報処理装置１は、全画像の全メッシュについて処理が終了するまで（ステップＳ１７５とステップＳ１７６がともに“Ｙ”となるまで）、ステップＳ１７３とステップＳ１７４の処理を繰り返し実行する。
【0073】
次に、情報処理装置１は、学習用配列と推論用配列とに分類し（ステップＳ１７７）、学習用配列を選定し（ステップＳ１７８）、選定した学習用配列を表示し（ステップＳ１７９）、学習用配列に対してラベル付けを行う（ステップＳ１８０）。選定が終了するまで（ステップＳ１８１で“Ｙ”となるまで）、情報処理装置１は、ステップＳ１７８～ステップＳ１８０の処理を繰り返し実行する。
【0074】
次に、情報処理装置１は、ラベル付けされた学習用配列を用いて学習を行い（ステップＳ１８２）、学習済みモデルとして記憶し（ステップＳ１８３）、個別分類器を生成する（ステップＳ１８４）。
【0075】
次に、図２２を参照して、情報処理装置１の推定フェーズの処理の際の動作例について説明する。推定フェーズの処理の際、情報処理装置１は、まず、推論用配列を取得し（ステップＳ１９１）、次に、推論用配列を学習済みモデルへ入力し（ステップＳ１９２）、非稼働の状態を推定する（ステップＳ１９３）。取得が終了するまで（ステップＳ１９４で“Ｙ”となるまで）、情報処理装置１は、ステップＳ１９１～ステップＳ１９３の処理を繰り返し実行する。次に、情報処理装置１は、稼働状態を推定済みのプラントであるか否かを判定し（ステップＳ１９５）、稼働状態を推定済みのプラントである場合（ステップＳ１９５で“Ｙ”の場合）、情報処理装置１は、結果を統合して（ステップＳ１９６）、集計結果を出力する（ステップＳ１９７）。一方、稼働状態を推定済みのプラントでない場合（ステップＳ１９５で“Ｎ”の場合）、情報処理装置１は、集計結果を出力する（ステップＳ１９７）。
【0076】
＜第４実施形態＞
次に、図２６～図２８を参照して、本開示の第４実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２６および図２７は、本開示の第４実施形態に係る情報処理装置の動作例を示すフローチャートである。図２８は、本開示の第４実施形態に係る面積空間の一例を示す模式図である。
次に、図２６～図２８を参照して、本開示の第４実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２６および図２７は、本開示の第４実施形態に係る情報処理装置の動作例を示すフローチャートである。図２８は、本開示の第４実施形態に係る面積空間の一例を示す模式図である。
【0077】
第４実施形態は、第１実施形態乃至第３実施形態において解析対象（プラント、煙突等）によって生産量が推定しにくいケースが存在した場合に対応する。例えば、曇天のような日には、撮影することにより得られた画像から排出物（白煙、ガス、霧等）を判定しにくいことから生産量の推定が難しくなるようなケースが存在するため、第４実施形態では、赤外線探査機により撮影された画像を用いることにより、生産量の推定を行う解析対象をより多く扱うことができるようになる。
【0078】
（第４実施形態の情報処理装置の処理の流れ）
第４実施形態の情報処理装置１では、以下の（１）～（５）の流れで解析対象に対応づけられた設備の生産量を算出する。
第４実施形態の情報処理装置１では、以下の（１）～（５）の流れで解析対象に対応づけられた設備の生産量を算出する。
【0079】
（１）任意の解析対象に対して、冷却水の取水エリア（図２８の面積空間５１５）、温排水放水エリア（図２８の面積空間５１４）に対して、出入口のポートそれぞれを中心に半径ｒの半円を描き、それぞれ面積空間を指定し、地理情報を付与する。さらに、任意の解析対象に対して、排ガス出口ダクト（煙突６０１）、ボイラ建屋に対して、それぞれ面積空間５１６、５１７を指定し、地理情報を付与する。
【0080】
（２）地理情報が付与された面積空間に対して、当該解析対象の属性情報を対応付けて例えば図２に示す設備情報１８として記憶する。例えば、マークした煙突に発電所に対してインターネット公開情報、外部サービス、外観・寸法をもとに、物体の属性情報を対応付けて属性情報データベース１８１へ記憶する。
【0081】
（３）リモートセンシングデバイス（熱赤外線画像センサ）の性能に応じ、上記の面積空間に基づいて取得した画像に対して赤外センサの輝度情報を取得する。
（３－１）冷却水の取水エリア、温排水放水エリアに対して出入口のポートそれぞれのピクセルにある輝度情報を取得し、入口側（面積空間５１５）の輝度値の平均に対して出口側（面積空間５１４）のピクセルそれぞれに差分を取得する。
（３－２）排ガス出口ダクト、ボイラ建屋に対しては、上記の面積空間５１６、５１７に基づいて取得した画像に対してそれぞれの赤外線センサの輝度情報を取得する。
（３－１）冷却水の取水エリア、温排水放水エリアに対して出入口のポートそれぞれのピクセルにある輝度情報を取得し、入口側（面積空間５１５）の輝度値の平均に対して出口側（面積空間５１４）のピクセルそれぞれに差分を取得する。
（３－２）排ガス出口ダクト、ボイラ建屋に対しては、上記の面積空間５１６、５１７に基づいて取得した画像に対してそれぞれの赤外線センサの輝度情報を取得する。
【0082】
（４）各差分値に対して、出口ポートからの距離に比例して定数ｋ２をかけ、その値を学習用配列と推論用配列に分類する。
【0083】
定数ｋ２の設定理由：出口ポートからの距離が離れているほど海水・河川・湖の水の表面温度が低くなるため、遠くの位置にあるデータほど入り口温度に対して少しの変化であったとしても稼働状態の判定に加味するべきである。近いところで１℃より遠いところで１℃差があるほうが稼働の判定には信頼性が高い。
また、排ガス出口ダクト、ボイラ建屋に対しては、取得した輝度情報を定数ｋ２を乗じることなく学習用配列と推論用配列に分類する。
他の実施形態にて取得する画像が第４実施形態で指定されるプラントに含まれる場合、対応づけを実施する。ただし、分類器としては独立させる。
また、排ガス出口ダクト、ボイラ建屋に対しては、取得した輝度情報を定数ｋ２を乗じることなく学習用配列と推論用配列に分類する。
他の実施形態にて取得する画像が第４実施形態で指定されるプラントに含まれる場合、対応づけを実施する。ただし、分類器としては独立させる。
【0084】
（５）学習用配列に分類した輝度情報を用いて、第１実施形態と同様に、ステータス情報を付与してラベル付けを実施し、学習モデルで学習を行って分類器を生成する。汎用分類器と個別分類器の関係は、第１実施形態を汎用分類器とし、第１実施形態で既知となったパラメータＷｊｉを初期値に、各物体の画像とラベルを用いて再学習させた結果生成される個別分類器とする関係と同一とする。
【0085】
（情報処理装置の動作例）
次に、図２６を参照して、情報処理装置１のデータ取得と学習フェーズの処理の際の動作例について説明する。情報処理装置１は、まず、画像（熱赤外線画像）から輝度情報を取得し（ステップＳ２０１）、所定エリアである場合（ステップＳ２０３で“Ｙ”の場合）、エリア間の輝度情報の差分を取得し（ステップＳ２０４）、輝度情報の補正を行う(ステップＳ２０５）。所定エリアでない場合（ステップＳ２０３で“Ｎ”の場合）、または、輝度情報の補正を行った場合(ステップＳ２０５）、情報処理装置１は、全画像の処理が終了したか否かを判定し（ステップＳ２０６）、終了するまで（ステップＳ２０６で“Ｙ”となるまで）、ステップＳ２０３からステップＳ２０５の処理を繰り返し実行する。
次に、図２６を参照して、情報処理装置１のデータ取得と学習フェーズの処理の際の動作例について説明する。情報処理装置１は、まず、画像（熱赤外線画像）から輝度情報を取得し（ステップＳ２０１）、所定エリアである場合（ステップＳ２０３で“Ｙ”の場合）、エリア間の輝度情報の差分を取得し（ステップＳ２０４）、輝度情報の補正を行う(ステップＳ２０５）。所定エリアでない場合（ステップＳ２０３で“Ｎ”の場合）、または、輝度情報の補正を行った場合(ステップＳ２０５）、情報処理装置１は、全画像の処理が終了したか否かを判定し（ステップＳ２０６）、終了するまで（ステップＳ２０６で“Ｙ”となるまで）、ステップＳ２０３からステップＳ２０５の処理を繰り返し実行する。
【0086】
次に、情報処理装置１は、学習用配列と推論用配列とに分類し（ステップＳ２０７）、学習用配列を選定し（ステップＳ２０８）、選定した学習用配列を表示し（ステップＳ２０９）、学習用配列に対してラベル付けを行う（ステップＳ２１０）。選定が終了するまで（ステップＳ２１１で“Ｙ”となるまで）、情報処理装置１は、ステップＳ２０８からステップＳ２１０の処理を繰り返し実行する。
【0087】
次に、情報処理装置１は、ラベル付けされた学習用配列を用いて学習を行い（ステップＳ２１２）、学習済みモデルとして記憶し（ステップＳ２１３）、個別分類器を生成する（ステップＳ２１４）。
【0088】
次に、図２７を参照して、情報処理装置１の推定フェーズの際の動作例について説明する。推定フェーズでは、情報処理装置１は、推論用データを取得し（ステップＳ２２１）、推論用データを学習済みモデルへ入力し（ステップＳ２２２）、稼働状態に関する情報を出力（記録）する（ステップＳ２２３）。情報処理装置１は、取得が終了するまで（ステップＳ２２４で“Ｙ”となるまで）、ステップＳ２２１～Ｓ２２３の処理を繰り返し実行する。取得が終了すると（ステップＳ２２４で“Ｙ”となると）、情報処理装置１は、稼働状態に関する情報および属性情報に基づき発電量を算出し（ステップＳ２２５）、エリアごとに発電量を集計し（ステップＳ２２６）、集計結果を出力する（ステップＳ２２７）。
【0089】
＜第５実施形態＞
次に、図２９を参照して、本開示の第５実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２９は、本開示の第５実施形態に係る情報処理装置の動作例を示すフローチャートである。
次に、図２９を参照して、本開示の第５実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。図２９は、本開示の第５実施形態に係る情報処理装置の動作例を示すフローチャートである。
【0090】
第５実施形態では、第１実施形態乃至第４実施形態において生産量や状態情報を推定できない場合に、生産量を推定することができるようにした。
【0091】
（第５実施形態の情報処理装置の処理の流れ）
第５実施形態の情報処理装置１では、以下の（１）～（４）の流れで解析対象に対応づけられた設備の生産量を算出する。
第５実施形態の情報処理装置１では、以下の（１）～（４）の流れで解析対象に対応づけられた設備の生産量を算出する。
【0092】
（１）生産量を推定したい解析対象（プラント、煙突等）が従属している系統を特定し、当該系統における構成要素（解析対象を含む）をリスト化する 。生産量を推定したい解析対象が発電プラントであれば、周波数と電圧をコントロールする責務を負っている企業等の中央給電指令所が管轄するエリアを「従属している系統」とする。
【0093】
電力の需要と供給に関連する各発電設備、大口需要設備、変電所、送電網がリストするべき構成要素となり、その属性情報として発電種別（火力、風力、水力等）、出力、ヒートレート、負荷変化速度、発電可能時間帯、発電制約、プラント停止情報、契約電力量・電圧、従属している変電所、送電線の距離などといった情報を付帯させる必要がある。
【0094】
（２）リスト化された構成要素を、属性情報等を利用して稼働にあたり、優先順位付けをする。例えば、発電設備としては、１０の風力発電設備、３０の火力発電設備、１０の水力発電設備がある場合、あらかじめそれぞれの設備に対して優先順位付けをするためのスコアを付与する。数字が大きい方が優先順位が高いとして、再生可能エネルギーはすべて１００、火力発電の超臨界ユニットは６０、亜臨海ユニットは４５などユニットの効率（ヒートレート）等に応じてさらにスコア設定に変化を持たせる。
【0095】
（３）当該系統における全体需要量をもとに、スコアが高い順に解析対象が稼働しているとみなす。例えば、北海道電力ネットワーク社が管轄するエリアに属するプラントの２０１９年１月１０日の発電量を推定する場合、まず、気象条件や過去実績をもとに当該時間帯の電力需要を推定する。次に、例えば、４０００ＭＷｈの総電力需要（公開された情報）がある場合、その必要量を到達するためにスコアに従って（例えば、スコアの高い順に）発電設備を選定し、発電可能時間帯、発電制約を加味して、当該系統で発電されている設備を特定する。
【0096】
（４）特定した設備にもとづいて、当該解析対象の生産量の推定情報として利用する。
【0097】
（情報処理装置の動作例）
次に、図２９を参照して、情報処理装置１の動作例について説明する。
次に、図２９を参照して、情報処理装置１の動作例について説明する。
【0098】
図２９に示す動作例では、まず、情報処理装置１が、画像や位置情報による推定は可能であるか否かを判定する（ステップＳ２３１）。可能な場合（ステップＳ２３１で“Ｙ”の場合）、情報処理装置１は、実施形態１等と同様にして学習フェーズの処理等を実行する（ステップＳ２３２）。一方、可能でない場合（ステップＳ２３１で“Ｎ”の場合）、情報処理装置１は、解析対象が従属している系統を特定し（ステップＳ２３３）、従属している系統の構成要素を特定し（ステップＳ２３４）、構成要素のスコアを算出し（ステップＳ２３５）、全体の需要量を算出し（ステップＳ２３６）、稼働状態を推定し（ステップＳ２３７）、生産量を推定する（ステップＳ２３８）。
【0099】
【0100】
上記各実施形態に係る情報処理装置１は、図３０に示す事業運営会社８０９にて運営される。そして、情報処理装置１は、推定した生産量（例えば発電量）を発電量トレンドとして示すデータ８０８として、顧客８０５が管理する携帯端末８０７へ提供する。携帯端末８０７は、例えば顧客８０５が設定した条件を発電量トレンドが満足した場合、投資等の取引の好機であることを示す取引シグナル８０６を発する。この場合、事業運営会社８０９は、衛星画像データ等の検知情報８０３をデータ供給企業８０２から取得し、また、利用可能なデータ８０１から任意のデータ８０４を取得する。この場合、情報の授受にともなう料金が、顧客８０５から販売チャネル８１０を介して事業運営会社８０９へ流れるとともに、事業運営会社８０９からデータ供給企業８０２へと流れる。
【0101】
（作用効果）
上記構成の情報処理装置、情報処理方法、およびプログラムによれば、設備の稼働状態を推定することができる。
上記構成の情報処理装置、情報処理方法、およびプログラムによれば、設備の稼働状態を推定することができる。
【0102】
（その他の実施形態）
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。
【0103】
〈コンピュータ構成〉
図３１は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、および、インタフェース９４を備える。
上述の情報処理装置１は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。
図３１は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、および、インタフェース９４を備える。
上述の情報処理装置１は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。
【0104】
プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0105】
ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。
【0106】
＜付記＞
各実施形態に記載の情報処理装置１は、例えば以下のように把握される。
各実施形態に記載の情報処理装置１は、例えば以下のように把握される。
【0107】
（１）第１の態様に係る情報処理装置１は、地上の所定の面積空間５１内の所定の排出物４１の状態に対応する状態情報を含む空中で検知された検知情報を取得する取得部１１と、前記検知情報に基づき前記面積空間５１に対応づけられた設備７１の稼働状態を推定する稼働状態推定部１２と、を備える。この態様および以下の各態様によれば、設備の稼働状態を推定することができる。
【0108】
（２）第２の態様に係る情報処理装置１は、（１）の情報処理装置１であって、前記設備７１が生産設備であって、前記稼働状態に基づき前記生産設備の生産量を推定する生産量推定部１３をさらに備える。
【0109】
（３）第３の態様に係る情報処理装置１は、（１）または（２）の情報処理装置１であって、前記稼働状態推定部１２は、前記検知情報を入力し、前記稼働状態を少なくとも稼働または非稼働に分類した分類結果を出力する学習済みモデル１６を用いて、前記稼働状態を推定する。
【0110】
（４）第４の態様に係る情報処理装置１は、（３）の情報処理装置１であって、前記学習済みモデル１６は、複数の異なる前記面積空間に対応する複数の前記検知情報を教師データとして用いて学習されたニューラルネットワークの各層のニューロン間の重み付け係数Ｗｉｊを初期値として、前記面積空間毎に再学習されたモデル（個別学習済みモデル１６２）を含む。
【0111】
（５）第５の態様に係る情報処理装置１は、（３）または（４）の情報処理装置１であって、前記学習済みモデル１６は、前記面積空間に対応する気象情報をさらに入力し、前記分類結果を出力する。
【0112】
（６）第６の態様に係る情報処理装置１は、（３）～（５）の情報処理装置１であって、前記学習済みモデル１６は、以前の前記分類結果をさらに入力し、前記分類結果を出力する。
【0113】
（７）第７の態様に係る情報処理装置１は、（１）～（６）の情報処理装置１であって、前記面積空間５１１に対応する所定の領域（面積空間５０１）内の１または複数の携帯端末３１の位置情報を取得する位置情報取得部１４と、前記位置情報に基づいて前記稼働状態が非稼働である場合に非稼働の状態を推定する状態推定部１５と、をさらに備える。
【0114】
（８）第８の態様に係る情報処理装置１は、（１）～（７）の情報処理装置１であって、前記排出物４１が白煙であり、前記検知情報がカラーまたはモノクロ画像データである。
【0115】
（９）第９の態様に係る情報処理装置１は、（２）の情報処理装置１であって、前記排出物４１が白煙であり、前記検知情報がカラーまたはモノクロ画像データであり、前記生産量推定部１３は、前記生産量を季節に応じて補正して推定する。
【0116】
（１０）第１０の態様に係る情報処理装置１は、（１）～（７）の情報処理装置１であって、前記排出物４１が熱であり、前記検知情報が熱赤外線画像データである。
【0117】
（１１）第１１の態様に係る情報処理装置１は、（２）の情報処理装置１であって、前記稼働状態推定部１３が、前記検知情報に基づく所定の温度差に基づき前記設備の稼働状態を推定する。
【符号の説明】
【0118】
１ 情報処理装置
１１ 取得部
１２ 稼働状態推定部
１３ 生産量推定部
１４ 位置情報取得部
１５ 状態推定部
１６ 学習済みモデル
３１ 携帯端末
４１ 排出物
５１ 面積空間
７１ 設備
３１ 携帯端末
１６２ 個別学習済みモデル
１１ 取得部
１２ 稼働状態推定部
１３ 生産量推定部
１４ 位置情報取得部
１５ 状態推定部
１６ 学習済みモデル
３１ 携帯端末
４１ 排出物
５１ 面積空間
７１ 設備
３１ 携帯端末
１６２ 個別学習済みモデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】