知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-07
(45)【発行日】2025-05-15
(54)【発明の名称】時系列データ処理方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20250508BHJP
G08B 21/00 20060101ALI20250508BHJP
【ＦＩ】
H04N7/18 D
G08B21/00 E
【請求項の数】
8
(21)【出願番号】P 2023565816
(86)(22)【出願日】2021-12-09
(86)【国際出願番号】 JP2021045389
(87)【国際公開番号】W WO2023105725
(87)【国際公開日】2023-06-15
【審査請求日】2024-05-24
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】外川 遼介
【審査官】益戸 宏
(56)【参考文献】
【文献】国際公開第２０２０／１７０２９０（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１０２５２１（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０４５０４３（ＷＯ，Ａ１）
【文献】特開２００３－３３３５８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０８Ｂ ２１／００
Ｇ０８Ｂ ３１／００
Ｇ０６Ｔ １７／００
(57)【特許請求の範囲】
【請求項1】
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象が特定の状態であることを検出すると共に、当該特定の状態に対する前記パラメータの影響度合いを表す情報を前記時系列データに基づいて算出し、
算出した前記特定の状態に対する前記パラメータの影響度合いを表す情報に基づいて、予め設定された基準により影響度合いが高いと判断される前記パラメータを特定する、
時系列データ処理方法。
【請求項2】
請求項１に記載の時系列データ処理方法であって、前記画像領域毎にそれぞれ１つの前記特徴量を抽出し、
前記画像領域毎のそれぞれの前記特徴量と、前記計測値と、をそれぞれ前記パラメータとする前記時系列データを生成する、
時系列データ処理方法。
【請求項3】
請求項１又は２に記載の時系列データ処理方法であって、前記画像領域毎のそれぞれの前記特徴量と、当該特徴量を抽出した画像を撮影した時刻と同一時刻に計測した前記計測値と、をそれぞれ同一時刻の前記パラメータとする前記時系列データを生成する、
時系列データ処理方法。
【請求項4】
請求項１乃至３のいずれかに記載の時系列データ処理方法であって、前記対象が前記特定の状態であるときの前記パラメータの値と、前記対象が前記特定の状態ではないときの前記パラメータの値と、に基づいて、前記特定の状態に対する前記パラメータの影響度合いを表す情報を算出する、
時系列データ処理方法。
【請求項5】
請求項１乃至４のいずれかに記載の時系列データ処理方法であって、前記対象が予め設定された状態であるときの前記時系列データを学習データとして学習することにより学習モデルを生成し、
前記対象から新たに取得して生成した前記時系列データと前記学習モデルとに基づいて、前記対象の状態を検出する、
時系列データ処理方法。
【請求項6】
請求項５に記載の時系列データ処理方法であって、前記画像内における複数の異なる前記画像領域毎のそれぞれの前記特徴量を、同一の前記画像領域の前記特徴量とし、当該特徴量と前記計測値とをそれぞれ前記パラメータとする前記時系列データを前記学習データとして生成する、
時系列データ処理方法。
【請求項7】
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出する抽出部と、複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成する生成部と、
前記時系列データに基づいて前記対象が特定の状態であることを検出すると共に、当該特定の状態に対する前記パラメータの影響度合いを表す情報を前記時系列データに基づいて算出し、算出した前記特定の状態に対する前記パラメータの影響度合いを表す情報に基づいて、予め設定された基準により影響度合いが高いと判断される前記パラメータを特定する検出部と、
を備えた時系列データ処理装置。
【請求項8】
情報処理装置に、対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象が特定の状態であることを検出すると共に、当該特定の状態に対する前記パラメータの影響度合いを表す情報を前記時系列データに基づいて算出し、
算出した前記特定の状態に対する前記パラメータの影響度合いを表す情報に基づいて、予め設定された基準により影響度合いが高いと判断される前記パラメータを特定する、
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、時系列データ処理方法、時系列データ処理装置、プログラムに関する。
【背景技術】
【0002】
エネルギー（電気、ガス、上水など）、化学製品（原油、ガソリン、プラスチックなど）、金属製品（鉄、半導体など）、機械製品（自動車、コンピュータなど）、食品、医薬品、などを製造する産業プラントや、情報処理システムといった設備では、各種センサからの計測値である時系列データを分析し、異常状態が発生したことを検出して出力することが行われている。また、特許文献１に記載のように、対象設備を撮影した画像を取得し、かかる画像を用いて対象設備の異常を検出することも行われている。例えば、特許文献１では、対象設備を撮影した画像を分割した各領域から複数の特徴量を抽出し、複数の特徴量を分析することにより異常を検出している。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第３０５６０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載のような画像を用いて監視対象の状態を検出する方法では、画像を撮影する撮影装置の設置個所、露光調整、データ前処理などの作業を、検出目的に合わせて行う必要があり、導入に時間がかかる、という問題が生じる。
【0005】
このため、本発明の目的は、上述した課題である、画像を用いて対象の状態を判別するシステムの導入に時間がかかる、ことを解決することにある。
【課題を解決するための手段】
【0006】
本発明の一形態である時系列データ処理方法は、
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
という構成をとる。
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
という構成をとる。
【0007】
また、本発明の一形態である時系列データ処理装置は、
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出する抽出部と、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成する生成部と、
前記時系列データに基づいて前記対象の状態を検出する検出部と、
を備えた、
という構成をとる。
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出する抽出部と、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成する生成部と、
前記時系列データに基づいて前記対象の状態を検出する検出部と、
を備えた、
という構成をとる。
【0008】
また、本発明の一形態であるプログラムは、
情報処理装置に、
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
処理を実行させる、
という構成をとる。
情報処理装置に、
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
処理を実行させる、
という構成をとる。
【発明の効果】
【0009】
本発明は、以上のように構成されることにより、画像を用いて対象の状態を判別するシステムを迅速に導入することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態１における時系列データ処理装置の構成を示すブロック図である。
【図12】本発明の実施形態２における時系列データ処理装置のハードウェア構成を示すブロック図である。
【図13】本発明の実施形態２における時系列データ処理装置の構成を示すブロック図である。
【図14】本発明の実施形態２における時系列データ処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１１を参照して説明する。図１乃至図９は、時系列データ処理装置の構成を説明するための図であり、図１０乃至図１１は、時系列データ処理装置の処理動作を説明するための図である。
本発明の第１の実施形態を、図１乃至図１１を参照して説明する。図１乃至図９は、時系列データ処理装置の構成を説明するための図であり、図１０乃至図１１は、時系列データ処理装置の処理動作を説明するための図である。
【0012】
［構成］
本発明における時系列データ処理装置１０は、プラントなどの状態を判別する対象Ｐに接続されている。そして、時系列データ処理装置１０は、対象Ｐの少なくとも一部を撮影装置にて撮影した画像と、対象Ｐに設置された計測装置にて計測された計測値と、を取得して分析し、分析結果に基づいて対象Ｐの状態を検出するものである。
本発明における時系列データ処理装置１０は、プラントなどの状態を判別する対象Ｐに接続されている。そして、時系列データ処理装置１０は、対象Ｐの少なくとも一部を撮影装置にて撮影した画像と、対象Ｐに設置された計測装置にて計測された計測値と、を取得して分析し、分析結果に基づいて対象Ｐの状態を検出するものである。
【0013】
ここで、例えば、対象Ｐは、製造工場や処理施設などのプラントである。この場合、撮影する画像は、プラントを構成する機器や設備を撮影したものであり、計測する計測値は、プラントに関する温度、圧力、流量、消費電力値、原料の供給量、残量、振動数、電流値、電圧値などの値である。そして、時系列データ処理装置１０で検出する対象Ｐの状態は、本実施形態では対象Ｐの異常状態であることとし、画像と計測値から生成した時系列データに基づいて算出した異常度から、異常状態であることを検出することとする。なお、時系列データ処理装置１０で検出する対象Ｐの状態は、異常状態であることに限定されず、正常状態であることを検出したり、特定の動作モードで作動している状態など、いかなる状態を検出してもよく、また複数の状態を検出してもよい。
【0014】
但し、本発明において状態を検出する対象Ｐは、プラントであることに限定されず、情報処理システムなどの設備といったいかなるものであってもよい。例えば、対象Ｐが情報処理システムである場合には、情報処理システムを構成する端末やサーバ等の各情報処理装置を含む当該システムが設置されたデータセンサ内の画像と、各情報処理装置のＣＰＵ（Central Processing Unit）使用率、メモリ使用率、ディスクアクセス頻度、入出力パケット数、入出力パケットレート、消費電力値などの計測値と、を取得して、かかる画像と計測値を分析して情報処理システムの状態を検出してもよい。
【0015】
さらに、本発明において状態を検出する対象Ｐは、建築物や電線などの構造物、駐車場や公園などの施設、自動車、電車、航空機であってもよい。この場合も、構造物や施設の少なくとも一部を撮影した画像と、構造物や施設に設置された計測装置から計測された計測値と、を取得して、かかる画像と計測値を分析して構造物や施設の状態を検出してもよい。
【0016】
時系列データ処理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、時系列データ処理装置１０は、図１に示すように、データ取得部１１、画像処理部１２、時系列データ生成部１３、学習部１４、状態検出部１５、出力部１６、を備える。データ取得部１１、画像処理部１２、時系列データ生成部１３、学習部１４、状態検出部１５、出力部１６の機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、時系列データ処理装置１０は、取得データ記憶部１７、学習モデル記憶部１８を備える。取得データ記憶部１７と学習モデル記憶部１８は、記憶装置により構成される。以下、各構成について詳述する。
【0017】
データ取得部１１は、対象Ｐが存在する場所に設置された撮影装置にて所定時間撮影された対象Ｐの少なくとも一部を含む動画像を取得して、取得データ記憶部１７に記憶する。本実施形態では、データ取得部１１は、例えば、図１に示すような対象Ｐであるプラントを構成する機器及び設備が写る動画像を撮影し、当該動画像を撮影した時刻と関連付けて記憶する。
【0018】
また、データ取得部１１は、対象Ｐに設置された計測装置である各種センサにて計測された計測値を所定の時間間隔で取得して、取得データ記憶部１７に記憶する。本実施形態では、例えば、対象Ｐであるプラントに複数種類のセンサが設置されており、データ取得部１１は、各種センサにてそれぞれ計測されたプラント内の温度、圧力、流量、消費電力値、原料の供給量、残量などの複数の計測値を取得して、当該計測値を計測された時刻と関連付けて記憶する。一例として、データ取得部１１は、各種センサＡ，Ｂ，Ｃ等から各計測値をそれぞれ取得し、図４の右図に示すように、各計測値を計測した時刻毎に記憶する。なお、図４の例における一行目の「時間」は、特定の時刻からの経過時間としてもよく、実際の時刻としてもよい。
【0019】
そして、データ取得部１１による動画像と計測値の取得及び記憶は常時行われており、取得された動画像と計測値は、後述するように、対象Ｐの異常状態を検出するために使用される学習モデルを生成するとき、及び、対象Ｐの異常状態を検出するとき、にそれぞれ使用される。
【0020】
画像処理部１２（抽出部）は、上述したように取得した対象Ｐを撮影した動画像の画像処理を行う。まず、画像処理部１２は、まず、動画像から時刻毎の静止画像を生成する。例えば、画像処理部１２は、動画像から１秒あたり１０フレームの静止画像に変換することで、例えば、０．１秒間隔といった時刻毎の静止画像を生成する。続いて、画像処理部１２は、図２の点線で示すように、生成した静止画像内に設定された監視領域Ｒに対する画像処理を行う。監視領域Ｒは、例えば、対象Ｐであるプラント内で異常状態時に画像上に変化が生じやすいことが判明している領域であるなど、何らかの理由により設定された領域である。そして、画像処理部１２は、図３に示すように、監視領域Ｒをさらに複数の画像領域ｒ１，ｒ２等に分割し、各画像領域ｒ１，ｒ２の各画像データから、それぞれ特徴量を抽出する。このとき、画像処理部１２は、１つの画像領域につき１つの値からなる特徴量を抽出する。例えば、画像処理部１２は、画像領域の全ての画素の輝度値の平均値を算出し、かかる輝度値の平均値を特徴量として抽出する。但し、画像処理部１２は、特徴量として輝度値の平均値を算出して抽出することに限定されず、画像領域に含まれるいかなる画像要素からいかなる値を特徴量として抽出してもよい。
【0021】
なお、本実施形態では、画像処理部１２は１つの画像領域から１つの特徴量を算出しているが、１つの画像領域から複数の特徴量を算出してもよい。また、本実施形態では、監視領域Ｒに設定される各画像領域ｒ１，ｒ２は、図３に示すように、監視領域Ｒを均等に分割した領域であり、それぞれが同一の形状及び大きさに形成されている場合を例示したが、監視領域Ｒや画像領域ｒ１，ｒ２は、いかなる形状や大きさに形成されてもよい。また、各画像領域は、必ずしも監視領域Ｒを分割した領域で形成されていることに限定されない。つまり、各画像領域は、他の画像領域と隣接して配置されていることに限定されず、静止画像内において他の画像領域と隣接せず、離散して位置する領域であってもよい。
【0022】
ここで、図４の左図に、画像処理部１２にて抽出した特徴量の一例を示す。この図に示すように、画像処理部１２は、時刻毎に各画像領域ｒ１，ｒ２の特徴量が記憶される。なお、図４の例における一行目の「時間」は、特定の時刻からの経過時間としてもよく、実際の時刻としてもよい。
【0023】
時系列データ生成部１３（生成部）は、画像の各画像領域ｒ１，ｒ２から抽出した特徴量と、各種センサから計測した計測値と、を統合した時系列データを生成する。このとき、図４の左図と右図に示すように、各画像領域ｒ１，ｒ２，ｒ３等の各特徴量と、各種センサＡ，Ｂ，Ｃ等から取得した各計測値は、時刻毎に記録されている。このため、時系列データ生成部１３は、図５に示すように、各特徴量と各計測値とを同一時刻で対応付けることで、各特徴量と各計測値とを各時刻におけるパラメータとする時系列データを生成する。これにより、図６に示すように、横軸に時間が設定され、縦軸に各特徴量と各計測値とからなるパラメータが設定された時系列データを生成する。つまり、各画像領域ｒ１，ｒ２の各特徴量が、各種センサＡ，Ｂ，Ｃの各計測値と同様に、時系列データのパラメータとして扱われることとなる。なお、時系列データ生成部１３は、データ取得部１１にて画像や計測値を取得したときの時刻データを用いて、特徴量と計測値とを同一時刻で対応付けて、時系列データを生成してもよい。また、図５では３つの特徴量と３つの計測値のパラメータ、図６では、２つの特徴量と２つの計測値のパラメータの時系列データを図示しているが、時系列データのパラメータは、両方を合わせて数百個から数千個となるなど、いかなる数のパラメータを有する時系列データを生成してもよい。
【0024】
なお、本実施形態では、時系列データ生成部１３は、対象Ｐが正常状態で稼働しているときに取得した動画像及び計測値から生成した時系列データを、学習データとして記憶する。また、時系列データ生成部１３は、対象Ｐの状態を検出したいときに取得した動画像及び計測値から生成した時系列データを、検出用データとして記憶する。
【0025】
ここで、時系列データ生成部１３は、上述したように時系列データを学習データとして生成する際には、複数の異なる各画像領域のそれぞれの特徴量を、同一の画像領域の特徴量のパラメータとして時系列データを生成してもよい。例えば、対象Ｐが正常状態では、図３において符号ｒ１の画像領域と符号ｒ２の画像領域との画像形状がほぼ同一であるという状況であるとする。この場合には、符号ｒ１の画像領域と符号ｒ２の画像領域のそれぞれの特徴量は常に同一であると考えられる。このため、符号ｒ１の画像領域と符号ｒ２の画像領域のそれぞれの特徴量を、符号ｒ１の画像領域の特徴量として扱い、符号ｒ１の画像領域の特徴量のパラメータとしてもよい。このようにすることで、少ない画像データから多くの学習データを生成することができる。
【0026】
なお、時系列データ生成部１３は、対象Ｐが正常状態で稼働しているときの時系列データを、学習データとすることに限定されない。時系列データ生成部１３は、対象Ｐのいかなる状態である場合の時系列データを学習データとしてもよい。
【0027】
学習部１４は、上述したように対象Ｐが正常状態であると判断されたときに取得され、学習データとして生成された時系列データを入力して機械学習し、正常状態における所定の情報を出力する学習モデルである状態判別モデルを生成する。例えば、学習部１４は、学習データを入力したときに、対象Ｐが異常状態である度合いを表す異常スコアの値が低くなるような情報を出力する状態判別モデルを生成する。そして、学習部１４は、生成した状態判別モデルを学習モデル記憶部１８に記憶しておく。但し、学習部１４は、学習データとして生成された時系列データを入力したときに、いかなる情報を出力するような状態判別モデルを生成してもよい。また、学習部１４は、学習データが対象Ｐの複数の状態に応じてラベル付けされているような場合には、入力される時系列データを、各ラベルの状態に振り分けるクラスタリングを行うような状態判別モデルを生成してもよい。
【0028】
また、学習部１４は、学習データとして生成された時系列データの各パラメータも学習して、パラメータ毎の学習モデルとして要因判別モデルをそれぞれ生成して、学習モデル記憶部１８に記憶する。つまり、学習部１４は、対象Ｐが正常状態である時系列データのパラメータを、パラメータ毎に入力して機械学習し、パラメータ毎に正常状態における所定の情報を出力する要因判別モデルを生成する。例えば、学習部１４は、学習データをパラメータ毎に入力したときに、対象Ｐが正常状態であるときに影響を及ぼす要因となる度合いを表す要因スコアの値が低くなるような情報を出力する要因判別モデルを生成する。
【0029】
状態検出部１５（検出部）は、上述した学習モデルを生成した後に対象Ｐから計測され記憶された時系列データである検出用データを、学習モデル記憶部１８に記憶された状態判別モデルに入力し、その出力から対象Ｐの状態を検出する。本実施形態においては、状態判別モデルは対象Ｐが異常状態である度合いを表す異常スコアの値を出力するよう学習されており、検出用データである時系列データを時間毎に順次入力すると、図７に示すような時間毎の異常スコアが出力される。このとき、状態判別モデルから出力される異常スコアは、対象Ｐから計測された時系列データの正常状態からの乖離度合いを表していると言える。このため、状態検出部１５は、例えば、図７の期間Ｗ１，Ｗ２に示すような、異常スコアが他の時間と比較して高く出力されたり、予め設定された閾値を超えて高く出力された期間に、対象Ｐが異常状態となったことを検出する。
【0030】
また、状態検出部１５は、対象Ｐの異常状態を検出した場合に、異常状態を検出した期間の検出用データである時系列データの各パラメータをそれぞれ、各パラメータ用に生成した要因判別モデルに入力し、その出力から対象Ｐの異常状態の要因となるパラメータを検出する。本実施形態においては、要因判別モデルは、対象Ｐが正常状態であるときに影響を及ぼす要因となる度合いを表す要因スコアを低く出力するよう学習されているため、対象Ｐで異常状態であるときに要因となるパラメータの要因スコアは、他のパラメータと比較して高く出力されることとなる。このため、状態検出部１５は、要因スコアが、他のパラメータと比較して高く出力される上位数個のパラメータや、予め設定された閾値を超えるパラメータを、要因パラメータとして検出する。
【0031】
出力部１６は、上述したように対象Ｐが異常状態であることを検出すると、その旨の出力を行う。例えば、出力部１６は、登録された管理者のメールアドレスや管理画面に対して、異常状態が生じている旨を表す通知情報を出力する。通知情報の一例としては、例えば、図７に示すように、異常状態が検出された期間Ｗ１，Ｗ２を示す異常スコアグラフである。併せて、出力部１６は、上述したように対象Ｐの異常状態が検出されたときに要因パラメータとして検出されたパラメータに関する情報を出力する。例えば、出力部１６は、要因パラメータとして検出されたパラメータの元となる画像領域やセンサを特定する情報を出力する。一例として、出力部１６は、図８に示すように、異常状態が検出された期間Ｗ１，Ｗ２毎に、それぞれ要因パラメータとして検出されたパラメータの元となる上位５つの画像領域やセンサを示す情報、例えば、画像領域名やセンサ名、を出力する。このとき、出力部１６は、図８に示すように、画像領域名やセンサ名と併せて要因スコアの値を出力してもよい。
【0032】
また、出力部１６は、対象Ｐの少なくとも一部を撮影した画像と共に、異常状態が生じた場所を特定する情報の出力を行ってもよい。例えば、図９に示すように、対象Ｐの少なくとも一部を撮影した画像上において、異常状態となったときに原因となりうると予め設定された箇所に異常表示ａ１を行ったり、要因パラメータとして検出された画像領域やセンサの個所に異常表示ａ２，ａ３を行ってもよい。
【0033】
［動作］
次に、上述した時系列データ処理装置１０の動作を、主に図１０乃至図１１のフローチャートを参照して説明する。まず、図１０のフローチャートを参照して、対象Ｐの異常状態を検出するための学習モデルを生成するときの動作を説明する。
次に、上述した時系列データ処理装置１０の動作を、主に図１０乃至図１１のフローチャートを参照して説明する。まず、図１０のフローチャートを参照して、対象Ｐの異常状態を検出するための学習モデルを生成するときの動作を説明する。
【0034】
時系列データ処理装置１０は、正常状態で稼働している対象Ｐから、撮影装置にて撮影された動画像と、各種センサにて計測した計測値と、を取得する（ステップＳ１）。そして、時系列データ処理装置１０は、動画像の画像処理を行う。具体的に、時系列データ処理装置１０は、動画像から時刻毎の静止画像を生成して、図２及び図３に示すように、各静止画像内の監視領域Ｒ内における各画像領域ｒ１，ｒ２の特徴量をそれぞれ抽出する（ステップＳ２）。これにより、時系列データ処理装置１０は、図４の左図に示すように、時刻毎における各画像領域ｒ１，ｒ２それぞれの特徴量を生成する。
【0035】
続いて、時系列データ処理装置１０は、画像内の各画像領域ｒ１，ｒ２から抽出した特徴量と、各種センサにて計測した計測値と、を統合した時系列データを生成する（ステップＳ３）。このとき、図４の左図と右図にそれぞれ示すように、各画像領域ｒ１，ｒ２，ｒ３等の各特徴量と、各種センサＡ，Ｂ，Ｃ等から取得した各計測値は、時刻毎に記録されている。このため、時系列データ処理装置１０は、図５に示すように、各特徴量と各計測値とを同一時刻で対応付けることで、各特徴量と各計測値とを各時刻におけるパラメータとする時系列データを生成する。これにより、図６に示すような、横軸に時間をとり、縦軸に各特徴量と各計測値とをとる、時系列データが生成される。
【0036】
続いて、時系列データ処理装置１０は、上述したように生成した時系列データを学習データとして機械学習して、対象Ｐが正常状態における所定の情報を出力する学習モデルである状態判別モデルを生成する（ステップＳ４）。例えば、時系列データ処理装置１０は、学習データを入力したときに、対象Ｐが異常状態である度合いを表す異常スコアの値が低くなるような情報を出力する状態判別モデルを生成する。そして、時系列データ処理装置１０は、生成した状態判別モデルを学習モデル記憶部１８に記憶しておく。加えて、時系列データ処理装置１０は、学習データとして生成された時系列データの各パラメータも学習して、パラメータ毎の学習モデルとして要因判別モデルをそれぞれ生成して、学習モデル記憶部１８に記憶する。例えば、時系列データ処理装置１０は、学習データをパラメータ毎に入力したときに、対象Ｐが正常状態であるときに影響を及ぼす要因となる度合いを表す要因スコアの値が低くなるような情報を出力する要因判別モデルを生成する。
【0037】
次に、図１１のフローチャートを参照して、対象Ｐの異常状態を検出するときの動作について説明する。この動作は、上述したように学習モデルを生成した後の動作となる。
【0038】
まず、時系列データ処理装置１０は、上述同様に、対象Ｐから取得した画像の特徴量とセンサによる計測値とをパラメータとした時系列データを生成する。具体的に、時系列データ処理装置１０は、対象Ｐから、対象Ｐを撮影した動画像と各種センサによる計測値とを取得する（ステップＳ１１）。続いて、時系列データ処理装置１０は、画像内の監視領域Ｒ内における各画像領域ｒ１，ｒ２の特徴量をそれぞれ抽出する（ステップＳ１２）。そして、時系列データ処理装置１０は、画像内の各画像領域ｒ１，ｒ２から抽出した特徴量と、各種センサにて計測した計測値と、を統合した時系列データを生成する（ステップＳ１３）。
【0039】
続いて、時系列データ処理装置１０は、上述したように生成した時系列データである検出用データを状態判別モデルに入力し、その出力から対象Ｐの状態を検出する。例えば、時系列データ処理装置１０は、検出用データを状態判別モデルに入力して、図７に示すように異常スコアを算出し（ステップＳ１４）、異常スコアの値が高い期間に対象Ｐが異常状態であることを検出する（ステップＳ１５でＹｅｓ）。
【0040】
時系列データ処理装置１０は、対象Ｐの異常状態を検出した場合に（ステップＳ１５でＹｅｓ）、異常状態を検出した期間の検出用データである時系列データの各パラメータをそれぞれ各パラメータ用に生成した要因判別モデルに入力し、パラメータ毎に要因スコアを算出する（ステップＳ１６）。そして、時系列データ処理装置１０は、要因スコアが、他のパラメータと比較して高く出力される上位数個のパラメータや、予め設定された閾値を超えるパラメータを、要因パラメータとして検出する。
【0041】
続いて、時系列データ処理装置１０は、上述したように対象Ｐが異常状態であることを検出すると、異常状態が生じている旨を表す通知情報を出力する（ステップＳ１７）。例えば、時系列データ処理装置１０は、図７に示すように、異常状態が検出された期間Ｗ１，Ｗ２を示す異常スコアグラフを出力する。併せて、時系列データ処理装置１０は、図８に示すように、要因パラメータとして検出されたパラメータの元となる画像領域やセンサを特定する情報をランキング形式で出力する（ステップＳ１７）。さらに、時系列データ処理装置１０は、図９に示すように、対象Ｐの少なくとも一部を撮影した画像上に、異常個所を示すような異常表示ａ１，ａ２，ａ３を行ってもよい。
【0042】
以上のように、本実施形態では、対象Ｐを撮影した画像内の複数の画像領域それぞれの特徴量と、対象から計測した計測値と、をそれぞれパラメータとする時系列データとし、かかる時系列データに基づいて対象の状態を検出している。このように、複数の画像領域の特徴量と計測値とを併せて時系列データのパラメータとしているため、画像の取得や分析を高精度に行うことなく、対象Ｐの状態を精度よく検出することができる。その結果、撮影装置の設置作業や画像処理を簡略化することができ、画像を用いて対象の状態を判別するシステムの導入にかかる時間を短縮することができる。
【0043】
＜実施形態２＞
次に、本発明の第２の実施形態を、図１２乃至図１４を参照して説明する。図１２乃至図１３は、実施形態２における時系列データ処理装置の構成を示すブロック図であり、図１４は、時系列データ処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した時系列データ処理装置及び時系列データ処理方法の構成の概略を示している。
次に、本発明の第２の実施形態を、図１２乃至図１４を参照して説明する。図１２乃至図１３は、実施形態２における時系列データ処理装置の構成を示すブロック図であり、図１４は、時系列データ処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した時系列データ処理装置及び時系列データ処理方法の構成の概略を示している。
【0044】
まず、図１２を参照して、本実施形態における時系列データ処理装置１００のハードウェア構成を説明する。時系列データ処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
【0045】
そして、時系列データ処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１３に示す抽出部１２１と生成部１２２と検出部１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した抽出部１２１と生成部１２２と検出部１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
【0046】
なお、図１２は、時系列データ処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
【0047】
そして、時系列データ処理装置１００は、上述したようにプログラムによって構築された抽出部１２１と生成部１２２と検出部１２３との機能により、図１４のフローチャートに示す時系列データ処理方法を実行する。
【0048】
図１４に示すように、時系列データ処理装置１００は、
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し（ステップＳ１０１）、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し（ステップＳ１０２）、
前記時系列データに基づいて前記対象の状態を検出する（ステップＳ１０３）、
という処理を実行する。
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し（ステップＳ１０１）、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し（ステップＳ１０２）、
前記時系列データに基づいて前記対象の状態を検出する（ステップＳ１０３）、
という処理を実行する。
【0049】
本発明は、以上のように構成されることにより、複数の画像領域の特徴量と計測値とを併せて時系列データのパラメータとしているため、画像の取得や分析を高精度に行うことなく、対象Ｐの状態を精度よく検出することができる。その結果、撮影装置の設置作業や画像処理を簡略化することができ、画像を用いて対象の状態を判別するシステムの導入にかかる時間を短縮することができる。
【0050】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0051】
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した抽出部１２１と生成部１２２と検出部１２３との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
【0052】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における時系列データ処理方法、時系列データ処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
時系列データ処理方法。
（付記２）
付記１に記載の時系列データ処理方法であって、
前記画像領域毎にそれぞれ１つの前記特徴量を抽出し、
前記画像領域毎のそれぞれの前記特徴量と、前記計測値と、をそれぞれ前記パラメータとする前記時系列データを生成する、
時系列データ処理方法。
（付記３）
付記１又は２に記載の時系列データ処理方法であって、
前記画像領域毎のそれぞれの前記特徴量と、当該特徴量を抽出した画像を撮影した時刻と同一時刻に計測した前記計測値と、をそれぞれ同一時刻の前記パラメータとする前記時系列データを生成する、
時系列データ処理方法。
（付記４）
付記１乃至３のいずれかに記載の時系列データ処理方法であって、
前記時系列データに基づいて前記対象が特定の状態であることを検出すると共に、当該特定の状態に対する前記パラメータの影響度合いを表す情報を前記時系列データに基づいて算出する、
時系列データ処理方法。
（付記５）
付記４に記載の時系列データ処理方法であって、
前記対象が前記特定の状態であるときの前記パラメータの値と、前記対象が前記特定の状態ではないときの前記パラメータの値と、に基づいて、前記特定の状態に対する前記パラメータの影響度合いを表す情報を算出する、
時系列データ処理方法。
（付記６）
付記４又は５に記載の時系列データ処理方法であって、
算出した前記特定の状態に対する前記パラメータの影響度合いを表す情報に基づいて、予め設定された基準により影響度合いが高いと判断される前記パラメータを特定する、
時系列データ処理方法。
（付記７）
付記１乃至６のいずれかに記載の時系列データ処理方法であって、
前記対象が予め設定された状態であるときの前記時系列データを学習データとして学習することにより学習モデルを生成し、
前記対象から新たに取得して生成した前記時系列データと前記学習モデルとに基づいて、前記対象の状態を検出する、
時系列データ処理方法。
（付記８）
付記７に記載の時系列データ処理方法であって、
前記画像内における複数の異なる前記画像領域毎のそれぞれの前記特徴量を、同一の前記画像領域の前記特徴量とし、当該特徴量と前記計測値とをそれぞれ前記パラメータとする前記時系列データを前記学習データとして生成する、
時系列データ処理方法。
（付記９）
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出する抽出部と、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成する生成部と、
前記時系列データに基づいて前記対象の状態を検出する検出部と、
を備えた時系列データ処理装置。
（付記１０）
付記９に記載の時系列データ処理装置であって、
前記抽出部は、前記画像領域毎にそれぞれ１つの前記特徴量を抽出し、
前記生成部は、前記画像領域毎のそれぞれの前記特徴量と、前記計測値と、をそれぞれ前記パラメータとする前記時系列データを生成する、
時系列データ処理装置。
（付記１１）
付記９又は１０に記載の時系列データ処理装置であって、
前記生成部は、前記画像領域毎のそれぞれの前記特徴量と、当該特徴量を抽出した画像を撮影した時刻と同一時刻に計測した前記計測値と、をそれぞれ同一時刻の前記パラメータとする前記時系列データを生成する、
時系列データ処理装置。
（付記１２）
付記９乃至１１のいずれかに記載の時系列データ処理装置であって、
前記検出部は、前記時系列データに基づいて前記対象が特定の状態であることを検出すると共に、当該特定の状態に対する前記パラメータの影響度合いを表す情報を前記時系列データに基づいて算出する、
時系列データ処理装置。
（付記１３）
付記１２に記載の時系列データ処理装置であって、
前記検出部は、前記対象が前記特定の状態であるときの前記パラメータの値と、前記対象が前記特定の状態ではないときの前記パラメータの値と、に基づいて、前記特定の状態に対する前記パラメータの影響度合いを表す情報を算出する、
時系列データ処理装置。
（付記１４）
付記１２又は１３に記載の時系列データ処理装置であって、
前記検出部は、算出した前記特定の状態に対する前記パラメータの影響度合いを表す情報に基づいて、予め設定された基準により影響度合いが高いと判断される前記パラメータを特定する、
時系列データ処理装置。
（付記１５）
付記９乃至１４のいずれかに記載の時系列データ処理装置であって、
前記対象が予め設定された状態であるときの前記時系列データを学習データとして学習することにより学習モデルを生成するモデル生成部を備え、
前記検出部は、前記対象から新たに取得して生成した前記時系列データと前記学習モデルとに基づいて、前記対象の状態を検出する、
時系列データ処理装置。
（付記１６）
付記１５に記載の時系列データ処理装置であって、
前記生成部は、前記画像内における複数の異なる前記画像領域毎のそれぞれの前記特徴量を、同一の前記画像領域の前記特徴量とし、当該特徴量と前記計測値とをそれぞれ前記パラメータとする前記時系列データを前記学習データとして生成する、
時系列データ処理装置。
（付記１７）
情報処理装置に、
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
処理を実行させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における時系列データ処理方法、時系列データ処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
時系列データ処理方法。
（付記２）
付記１に記載の時系列データ処理方法であって、
前記画像領域毎にそれぞれ１つの前記特徴量を抽出し、
前記画像領域毎のそれぞれの前記特徴量と、前記計測値と、をそれぞれ前記パラメータとする前記時系列データを生成する、
時系列データ処理方法。
（付記３）
付記１又は２に記載の時系列データ処理方法であって、
前記画像領域毎のそれぞれの前記特徴量と、当該特徴量を抽出した画像を撮影した時刻と同一時刻に計測した前記計測値と、をそれぞれ同一時刻の前記パラメータとする前記時系列データを生成する、
時系列データ処理方法。
（付記４）
付記１乃至３のいずれかに記載の時系列データ処理方法であって、
前記時系列データに基づいて前記対象が特定の状態であることを検出すると共に、当該特定の状態に対する前記パラメータの影響度合いを表す情報を前記時系列データに基づいて算出する、
時系列データ処理方法。
（付記５）
付記４に記載の時系列データ処理方法であって、
前記対象が前記特定の状態であるときの前記パラメータの値と、前記対象が前記特定の状態ではないときの前記パラメータの値と、に基づいて、前記特定の状態に対する前記パラメータの影響度合いを表す情報を算出する、
時系列データ処理方法。
（付記６）
付記４又は５に記載の時系列データ処理方法であって、
算出した前記特定の状態に対する前記パラメータの影響度合いを表す情報に基づいて、予め設定された基準により影響度合いが高いと判断される前記パラメータを特定する、
時系列データ処理方法。
（付記７）
付記１乃至６のいずれかに記載の時系列データ処理方法であって、
前記対象が予め設定された状態であるときの前記時系列データを学習データとして学習することにより学習モデルを生成し、
前記対象から新たに取得して生成した前記時系列データと前記学習モデルとに基づいて、前記対象の状態を検出する、
時系列データ処理方法。
（付記８）
付記７に記載の時系列データ処理方法であって、
前記画像内における複数の異なる前記画像領域毎のそれぞれの前記特徴量を、同一の前記画像領域の前記特徴量とし、当該特徴量と前記計測値とをそれぞれ前記パラメータとする前記時系列データを前記学習データとして生成する、
時系列データ処理方法。
（付記９）
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出する抽出部と、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成する生成部と、
前記時系列データに基づいて前記対象の状態を検出する検出部と、
を備えた時系列データ処理装置。
（付記１０）
付記９に記載の時系列データ処理装置であって、
前記抽出部は、前記画像領域毎にそれぞれ１つの前記特徴量を抽出し、
前記生成部は、前記画像領域毎のそれぞれの前記特徴量と、前記計測値と、をそれぞれ前記パラメータとする前記時系列データを生成する、
時系列データ処理装置。
（付記１１）
付記９又は１０に記載の時系列データ処理装置であって、
前記生成部は、前記画像領域毎のそれぞれの前記特徴量と、当該特徴量を抽出した画像を撮影した時刻と同一時刻に計測した前記計測値と、をそれぞれ同一時刻の前記パラメータとする前記時系列データを生成する、
時系列データ処理装置。
（付記１２）
付記９乃至１１のいずれかに記載の時系列データ処理装置であって、
前記検出部は、前記時系列データに基づいて前記対象が特定の状態であることを検出すると共に、当該特定の状態に対する前記パラメータの影響度合いを表す情報を前記時系列データに基づいて算出する、
時系列データ処理装置。
（付記１３）
付記１２に記載の時系列データ処理装置であって、
前記検出部は、前記対象が前記特定の状態であるときの前記パラメータの値と、前記対象が前記特定の状態ではないときの前記パラメータの値と、に基づいて、前記特定の状態に対する前記パラメータの影響度合いを表す情報を算出する、
時系列データ処理装置。
（付記１４）
付記１２又は１３に記載の時系列データ処理装置であって、
前記検出部は、算出した前記特定の状態に対する前記パラメータの影響度合いを表す情報に基づいて、予め設定された基準により影響度合いが高いと判断される前記パラメータを特定する、
時系列データ処理装置。
（付記１５）
付記９乃至１４のいずれかに記載の時系列データ処理装置であって、
前記対象が予め設定された状態であるときの前記時系列データを学習データとして学習することにより学習モデルを生成するモデル生成部を備え、
前記検出部は、前記対象から新たに取得して生成した前記時系列データと前記学習モデルとに基づいて、前記対象の状態を検出する、
時系列データ処理装置。
（付記１６）
付記１５に記載の時系列データ処理装置であって、
前記生成部は、前記画像内における複数の異なる前記画像領域毎のそれぞれの前記特徴量を、同一の前記画像領域の前記特徴量とし、当該特徴量と前記計測値とをそれぞれ前記パラメータとする前記時系列データを前記学習データとして生成する、
時系列データ処理装置。
（付記１７）
情報処理装置に、
対象を撮影した時刻毎の画像内における複数の画像領域それぞれの特徴量を抽出し、
複数の画像領域それぞれの前記特徴量と、計測装置を用いて前記対象から計測した計測値と、をそれぞれパラメータとする時系列データを生成し、
前記時系列データに基づいて前記対象の状態を検出する、
処理を実行させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
【符号の説明】
【0053】
１０ 時系列データ処理装置
１１ データ取得部
１２ 画像処理部
１３ 時系列データ生成部
１４ 学習部
１５ 状態検出部
１６ 出力部
１７ 取得データ記憶部
１８ 学習モデル記憶部
１００ 時系列データ処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 抽出部
１２２ 生成部
１２３ 検出部
１１ データ取得部
１２ 画像処理部
１３ 時系列データ生成部
１４ 学習部
１５ 状態検出部
１６ 出力部
１７ 取得データ記憶部
１８ 学習モデル記憶部
１００ 時系列データ処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 抽出部
１２２ 生成部
１２３ 検出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】