(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-28
(45)【発行日】2023-04-05
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20230329BHJP
G06F 16/50 20190101ALI20230329BHJP
G06F 16/00 20190101ALI20230329BHJP
【ＦＩ】
G06Q50/04
G06F16/50
G06F16/00
【請求項の数】
10
(21)【出願番号】P 2018219509
(22)【出願日】2018-11-22
(65)【公開番号】P2020086854
(43)【公開日】2020-06-04
【審査請求日】2021-10-28
(73)【特許権者】
【識別番号】522444944
【氏名又は名称】株式会社ビー・ナレッジ・デザイン
(74)【代理人】
【識別番号】100085660
【弁理士】
【氏名又は名称】鈴木 均
(74)【代理人】
【識別番号】100149892
【弁理士】
【氏名又は名称】小川 弥生
(74)【代理人】
【識別番号】100185672
【弁理士】
【氏名又は名称】池田 雅人
(72)【発明者】
【氏名】高幣 玲児
【審査官】庄司 琴美
(56)【参考文献】
【文献】特開２０１８－１４７４１９（ＪＰ，Ａ）
【文献】国際公開第２０１７／０９００９８（ＷＯ，Ａ１）
【文献】国際公開第２０１７／２２２０７０（ＷＯ，Ａ１）
【文献】特開平０６－２８２６５４（ＪＰ，Ａ）
【文献】特開２０１２－０５８８９０（ＪＰ，Ａ）
【文献】特開２０１３－０８０３０４（ＪＰ，Ａ）
【文献】特開２０１５－１８４９４２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
Ｇ０６Ｆ １６／５０
Ｇ０６Ｆ １６／００
(57)【特許請求の範囲】
【請求項1】
画像データを時系列に沿って撮影するカメラから画像データを取得する画像取得手段と、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、
前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、
前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、
前記抽出手段によって抽出された前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、
前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、
前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、
前記判定手段によって前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、
を備え、
前記属性付与手段はさらに、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して、類似する判定モデル情報に係る属性を付与し、
前記出力手段は、前記類似する判定モデル情報に係る属性に基づく出力を実行可能であり、
前記モデル生成手段はさらに、前記類似する判定モデル情報に係る属性を用いて判定モデル情報を生成する、
ことを特徴とする情報処理システム。
【請求項2】
画像データを時系列に沿って撮影するカメラから画像データを取得する画像取得手段と、
追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、
前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、
前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、
前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、
前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、
前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、
前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、
を備え、
前記特徴データは、前記画像データ内の特定のオブジェクトの動きに係る情報であり、
前記抽出手段は、前記オブジェクトの動きの大きさの特徴量と、当該動きが発生した領域と、を前記特徴データとして出力し、
前記属性付与手段は、当該特徴データに対して属性を付与させる、
ことを特徴とする情報処理システム。
【請求項3】
請求項１又は２に記載の情報処理システムにおいて、
前記抽出手段は、前記画像取得手段又は前記情報取得手段によって取得されて前記配信手段によって配信された一の画像データ又はセンサーデータから、異なる特徴データを同時に抽出可能であり、
前記属性付与手段は、前記抽出手段によって抽出された異なる特徴データの夫々に対して属性を付与可能であり、
前記モデル生成手段は、前記抽出手段によって抽出された異なる特徴データと、前記属性付与手段によって付与された異なる属性と、に基づいて複数の判定モデル情報を生成し、
前記判定手段は、前記配信手段によって配信される一の画像データ又は前記センサーデータから同時に抽出した複数の特徴データと、前記モデル生成手段が生成した複数の判定モデル情報と、に基づいて相関の判定を行う、
ことを特徴とする情報処理システム。
【請求項4】
請求項１乃至３の何れか一項に記載の情報処理ステムにおいて、
前記属性付与手段によって付与される属性は、前記画像取得手段によって撮影される画像データと、前記情報取得手段によって１つ以上のセンサーから取得されるセンサーデータと、の組み合わせに基づいて定義され、
センサーが追加または組み替えられることにより、前記属性の定義が拡張又は変更される、
ことを特徴とする情報処理システム。
【請求項5】
請求項１乃至４の何れか一項に記載の情報処理システムにおいて、
前記配信手段によって配信された画像データに係る情報及び前記情報取得手段が取得したセンサーデータと、前記特徴データと、前記判定モデル情報と、をデータベースに記録する情報記録手段と、
前記特徴データに基づいて、前記データベースに記録されている、当該特徴データに関連する前記画像データに係る情報又はセンサーデータを抽出するデータ抽出手段と、
を備える、
ことを特徴とする情報処理システム。
【請求項6】
請求項２に記載の情報処理システムにおいて、
前記属性付与手段は、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して所定の属性を利用者に付与させ、
前記モデル生成手段は、当該付与させた属性と、前記相関しないと判定された特徴データと、を用いて新たに前記判定モデル情報を生成する、
ことを特徴とする情報処理システム。
【請求項7】
請求項２に記載の情報処理システムにおいて、
前記画像取得手段は三次元カメラであり、
前記画像取得手段によって撮影される画像データは、三次元画像データであり、
前記抽出手段は、前記配信手段が配信した前記三次元画像データから奥行き方向の特徴データを抽出可能であり、
前記属性付与手段は、前記奥行き方向の特徴データに対して属性を付与可能である、
ことを特徴とする情報処理システム。
【請求項8】
画像取得手段と、情報取得手段と、配信手段と、抽出手段と、属性付与手段と、モデル生成手段と、判定手段と、出力手段と、を備える情報処理システムの情報処理方法であって、
前記画像取得手段が、画像データを時系列に沿って撮影するカメラから画像データを取得するステップと、
前記情報取得手段が、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得するステップと、
前記配信手段が、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信するステップと、
前記抽出手段が、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出するステップと、
前記属性付与手段が、前記抽出手段によって抽出された前記特徴データに対して、所定の現象に基づく属性を利用者に付与させるステップと、
前記モデル生成手段が、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するステップと、
前記判定手段が、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定するステップと、
前記出力手段が、前記判定手段によって前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行うステップと、
を含み、
前記属性付与手段はさらに、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して、類似する判定モデル情報に係る属性を付与し、
前記出力手段は、前記類似する判定モデル情報に係る属性に基づく出力を実行可能であり、
前記モデル生成手段はさらに、前記類似する判定モデル情報に係る属性を用いて判定モデル情報を生成する、
ことを特徴とする情報処理方法。
【請求項9】
画像取得手段と、情報取得手段と、配信手段と、抽出手段と、属性付与手段と、モデル生成手段と、判定手段と、出力手段と、を備える情報処理システムの情報処理方法であって、
前記画像取得手段が、画像データを時系列に沿って撮影するカメラから画像データを取得するステップと、
前記情報取得手段が、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得するステップと、
前記配信手段が、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信するステップと、
前記抽出手段が、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出するステップと、
前記属性付与手段が、前記特徴データに対して、所定の現象に基づく属性を利用者に付与させるステップと、
前記モデル生成手段が、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するステップと、
前記判定手段が、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定するステップと、
前記出力手段が、前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行うステップと、
を含み、
前記特徴データは、前記画像データ内の特定のオブジェクトの動きに係る情報であり、
前記抽出手段は、前記オブジェクトの動きの大きさの特徴量と、当該動きが発生した領域と、を前記特徴データとして出力し、
前記属性付与手段は、当該特徴データに対して属性を付与させる、
ことを特徴とする情報処理方法。
【請求項10】
請求項８又は９に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、工場の生産ラインなどの現場における品質向上や安全性を確保するための情報処理システムに関する。
【背景技術】
【0002】
製造業における工場の生産ラインや維持管理の現場において、品質、生産性の向上が常に求められる。そのための方策として、生産活動、維持管理活動のロボットによる自動化が模索されているが、現状のロボットの性能では完全な自動化の実現が難しくまたコストも高いため、人による作業に依存している現場が未だ多数を占めている。
そのような生産現場では、ヒューマンエラーが品質向上や生産性の主な阻害要因であり、事故の発生など安全面での課題もなお多い。
その対策として、生産活動、維持管理の現場においては、事故やエラーが発生すると、その結果を記録し、発生要因をさかのぼって思い出し、原因を究明・解明して対策手段を講じ、再発防止のために安全衛生基準を強化することが行われている。
例えば特許文献１には、ヒューマンエラー分析作業を支援するヒューマンエラー分析支援装置が開示されている。この分析装置では、基本情報入力部により、事故の基本情報の入力を実行し、事象整理部により、その事故に関わる事象の整理を実行し、分析部によって、事故の背後要因の分析を実行し、対策立案部により、事故の根本要因に対する対策案を立案して、情報セキュリティの非専門家である分析者によるヒューマンエラー分析作業を支援する。
そのような生産現場では、ヒューマンエラーが品質向上や生産性の主な阻害要因であり、事故の発生など安全面での課題もなお多い。
その対策として、生産活動、維持管理の現場においては、事故やエラーが発生すると、その結果を記録し、発生要因をさかのぼって思い出し、原因を究明・解明して対策手段を講じ、再発防止のために安全衛生基準を強化することが行われている。
例えば特許文献１には、ヒューマンエラー分析作業を支援するヒューマンエラー分析支援装置が開示されている。この分析装置では、基本情報入力部により、事故の基本情報の入力を実行し、事象整理部により、その事故に関わる事象の整理を実行し、分析部によって、事故の背後要因の分析を実行し、対策立案部により、事故の根本要因に対する対策案を立案して、情報セキュリティの非専門家である分析者によるヒューマンエラー分析作業を支援する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１１－９５８７６公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１のヒューマンエラー分析支援装置を活用しても、実際にヒューマンエラーによる問題が起きなければ対策が打てない、という問題がある。
また通常は問題が発生しないような現場でも「うっかりミス」が発生する可能性は十分にある。
たまたま問題は発生しなかったものの、限りなく問題が発生し得た所謂「ヒヤリハット」事象が記録されずに暗黙課題となってしまっている場合もある。
本発明は、このような問題を鑑みてなされたものであり、維持管理業務、生産業務において、ヒューマンエラーに繋がる生産性、品質阻害要因を判別して予見可能な情報処理システムを提供することを目的とする。
また通常は問題が発生しないような現場でも「うっかりミス」が発生する可能性は十分にある。
たまたま問題は発生しなかったものの、限りなく問題が発生し得た所謂「ヒヤリハット」事象が記録されずに暗黙課題となってしまっている場合もある。
本発明は、このような問題を鑑みてなされたものであり、維持管理業務、生産業務において、ヒューマンエラーに繋がる生産性、品質阻害要因を判別して予見可能な情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、本発明は、画像データを時系列に沿って撮影するカメラから画像データを取得する画像取得手段と、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、前記抽出手段によって抽出された前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、前記判定手段によって前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、を備え、前記属性付与手段はさらに、前記判定手段によって前記判定モデル情報と相関しないと判定された特徴データに対して、類似する判定モデル情報に係る属性を付与し、前記出力手段は、前記類似する判定モデル情報に係る属性に基づく出力を実行可能であり、前記モデル生成手段はさらに、前記類似する判定モデル情報に係る属性を用いて判定モデル情報を生成する、情報処理システムを特徴とする。
また本発明は、画像データを時系列に沿って撮影するカメラから画像データを取得する画像取得手段と、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、を備え、前記特徴データは、前記画像データ内の特定のオブジェクトの動きに係る情報であり、前記抽出手段は、前記オブジェクトの動きの大きさの特徴量と、当該動きが発生した領域と、を前記特徴データとして出力し、前記属性付与手段は、当該特徴データに対して属性を付与させる、情報処理システムを特徴とする。
また本発明は、画像データを時系列に沿って撮影するカメラから画像データを取得する画像取得手段と、追加もしくは組み替え可能な１つ以上のセンサーから時系列に沿ったセンサーデータを取得する情報取得手段と、前記画像取得手段が取得した画像データ及び前記情報取得手段が取得したセンサーデータを配信する配信手段と、前記配信手段が配信した画像データ又はセンサーデータから特徴データを抽出する抽出手段と、前記特徴データに対して、所定の現象に基づく属性を利用者に付与させる属性付与手段と、前記特徴データと、前記属性付与手段によって付与された属性と、に基づいて判定モデル情報を生成するモデル生成手段と、前記配信手段が配信している画像データ又はセンサーデータから抽出された特徴データについて前記判定モデル情報との相関を判定する判定手段と、前記判定モデル情報と相関すると判定された特徴データについて、前記判定モデル情報に係る属性に基づく出力を行う出力手段と、を備え、前記特徴データは、前記画像データ内の特定のオブジェクトの動きに係る情報であり、前記抽出手段は、前記オブジェクトの動きの大きさの特徴量と、当該動きが発生した領域と、を前記特徴データとして出力し、前記属性付与手段は、当該特徴データに対して属性を付与させる、情報処理システムを特徴とする。
【発明の効果】
【0006】
上記のように構成したので、本発明によれば、維持管理業務、生産業務において、維持管理業務、生産業務において、ヒューマンエラーに繋がる生産性、品質阻害要因を判別して予見可能な情報処理システムを実現することが出来る。
【図面の簡単な説明】
【0007】
【図1】本実施形態に係る情報処理装置の構成を示す図である。
【図2】本実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成を説明するブロック図である。
【図3】本実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。
【図4】本実施形態の情報処理システムにおいて、受信データ・データベースに格納されるデータを示す図である。
【図6】本実施形態に係る情報処理システムが実行する処理を説明する概念図である。
【図7】本実施形態の情報処理システムが実行する情報判定処理を説明するフローチャートである。
【図8】本実施形態の情報処理システムが実行するモデル処理を説明するフローチャートである。
【発明を実施するための形態】
【0008】
以下に、図面を参照して、本発明の実施の形態を詳細に説明する。
本実施形態に係る情報処理システムは、工場などの生産現場、工事現場などを念頭に、品質向上や生産性、安全性の阻害要因としてのヒューマンエラーに着目する。そして、阻害要因の抑止や潜在的なエラー発生要因の自動抽出を実現するものである。
本実施形態に係る情報処理システムは、現場の状況をカメラやセンサーによって記録し、記録したデータを解析し、その解析結果に基づいて現場の状況を判断する。
記録手段として基本となるカメラに組み合わせるセンサーは、現場のスケーラビリティに応じて変更、追加が可能である。
カメラによって撮像された画像データやセンサーによって取得されたセンサーデータから抽出される特徴データ（カメラ画角内での作業者の動き、物の配置など、センサーでの特徴的な波形など）に対して、ヒューマンエラーに繋がった、あるいは繋がらなかった等の仮説に基づいて属性を設定し、属性と特徴データとを用いて物や人の形をモデルデータ（学習モデル）化する。
モデルデータ化以降は、リアルタイムに撮像、取得される画像データ、センサーデータ（ＲＡＷデータ）から抽出される特徴データのモデルデータとの類似性判定を行うことで、阻害要因の抑止やエラー発生要因の自動抽出の実現に役立てることが出来る。
本実施形態に係る情報処理システムは、工場などの生産現場、工事現場などを念頭に、品質向上や生産性、安全性の阻害要因としてのヒューマンエラーに着目する。そして、阻害要因の抑止や潜在的なエラー発生要因の自動抽出を実現するものである。
本実施形態に係る情報処理システムは、現場の状況をカメラやセンサーによって記録し、記録したデータを解析し、その解析結果に基づいて現場の状況を判断する。
記録手段として基本となるカメラに組み合わせるセンサーは、現場のスケーラビリティに応じて変更、追加が可能である。
カメラによって撮像された画像データやセンサーによって取得されたセンサーデータから抽出される特徴データ（カメラ画角内での作業者の動き、物の配置など、センサーでの特徴的な波形など）に対して、ヒューマンエラーに繋がった、あるいは繋がらなかった等の仮説に基づいて属性を設定し、属性と特徴データとを用いて物や人の形をモデルデータ（学習モデル）化する。
モデルデータ化以降は、リアルタイムに撮像、取得される画像データ、センサーデータ（ＲＡＷデータ）から抽出される特徴データのモデルデータとの類似性判定を行うことで、阻害要因の抑止やエラー発生要因の自動抽出の実現に役立てることが出来る。
【0009】
本実施形態の情報処理システムによれば、各種デバイスや情報機器を組み合わせて記録した過去事象に対して評価（属性の付与）を行い、評価した事象と、現在起きている事象との類似性判断を行うことで、評価した事象と同様の事象の発見を行う。
その結果、問題行動に発展したと評価された事象が再び起きた場合には、適宜の処理を行うことで、問題行動に発展する可能性を排除することが出来る。
その結果、問題行動に発展したと評価された事象が再び起きた場合には、適宜の処理を行うことで、問題行動に発展する可能性を排除することが出来る。
【0010】
本実施形態の情報処理システムでは、起点と状況（ヒューマンエラーの原因、起点となった動作からヒューマンエラーが実際に起きるまでの状況）を統合的に俯瞰することができる。
「状況」とは、現場における見たままの姿であり、現場に設置された現場の状況を俯瞰可能な監視カメラの画像によって状況判断が行われる。
例えば、監視カメラが捉えている状況（画像）と、作業者がヒヤっとした状況（ヒヤリ状況）と、をタイムシーケンスに配置する。「ヒヤリ状況」は、例えば、作業者に装着した心拍数計によって採取されたセンサーデータから判断出来る。
利用者は、監視カメラで撮影された画像データや心拍数のデータを自身の目で確認することにより、ヒヤリハット状況の原因となった、あるいは実際にエラーや事故に繋がった作業の動作や状況を課題として発見し、過去事象に対する評価（属性付与）に役立てることが出来る。
「状況」とは、現場における見たままの姿であり、現場に設置された現場の状況を俯瞰可能な監視カメラの画像によって状況判断が行われる。
例えば、監視カメラが捉えている状況（画像）と、作業者がヒヤっとした状況（ヒヤリ状況）と、をタイムシーケンスに配置する。「ヒヤリ状況」は、例えば、作業者に装着した心拍数計によって採取されたセンサーデータから判断出来る。
利用者は、監視カメラで撮影された画像データや心拍数のデータを自身の目で確認することにより、ヒヤリハット状況の原因となった、あるいは実際にエラーや事故に繋がった作業の動作や状況を課題として発見し、過去事象に対する評価（属性付与）に役立てることが出来る。
【0011】
図１は、本実施形態に係る情報処理装置の構成を示す図である。
図１に示すように、情報処理システム１は、情報処理装置１０と、情報処理装置１０に接続されて画像データを時系列に沿って撮影するカメラ（画像取得手段）１１と、情報処理装置１０に接続されて時系列に沿ったセンサーデータを取得するセンサー１２と、ＡＩ（Artificial Intelligence）学習器１３と、データベースＤＢと、備えている。
カメラ１１は、本実施形態の情報処理システム１が適用される生産現場等を俯瞰可能な位置に設置された例えば監視カメラである。現場内の物や人を俯瞰可能な位置に配置された定点カメラを用いて、作業者の動作、道具や原材料の配置などについて画像データの採取が行われる。
センサー１２は、作業者の身体や現場内に設置され、現場内の環境や作業者の状態などに係るセンサーデータを出力する。
図１に示すように、情報処理システム１は、情報処理装置１０と、情報処理装置１０に接続されて画像データを時系列に沿って撮影するカメラ（画像取得手段）１１と、情報処理装置１０に接続されて時系列に沿ったセンサーデータを取得するセンサー１２と、ＡＩ（Artificial Intelligence）学習器１３と、データベースＤＢと、備えている。
カメラ１１は、本実施形態の情報処理システム１が適用される生産現場等を俯瞰可能な位置に設置された例えば監視カメラである。現場内の物や人を俯瞰可能な位置に配置された定点カメラを用いて、作業者の動作、道具や原材料の配置などについて画像データの採取が行われる。
センサー１２は、作業者の身体や現場内に設置され、現場内の環境や作業者の状態などに係るセンサーデータを出力する。
【0012】
情報処理装置１０は、カメラ１１の撮像画像に含まれる特徴データ、センサー１２のセンサーデータに含まれる特徴的な波形など（特徴データ）を、予め生成した学習モデルに基づいて分類する。
分類の基準となる学習モデルも、カメラ１１の撮像画像、センサー１２のセンサーデータに基づいて生成される。
ヒューマンエラーに繋がるような作業者の動作である利用者が分類（定義）した学習モデルに適合する動作が撮像画像データに発見された時点でその旨を通知することで、ヒューマンエラーを未然に防ぐことが出来る。
本質的に、本実施形態の情報処理システムは、画像データ内のオブジェクトの特徴的な動きや、センサーデータ内の特徴的な波形等に対して利用者が定義づけ（評価）を行って特徴データをモデル化し、カメラやセンサーでリアルタイムに取得される画像データやセンサーデータ（ＲＡＷデータ）内の特徴データを、モデルに従って分類するためのシステムである。
データ内の特定動作等が、ヒューマンエラーに繋がるリスクを伴うものであったか、安全であったか、という分類は利用者の定義付け次第であり、本実施形態の情報処理システムの一つの活用例である。
分類の基準となる学習モデルも、カメラ１１の撮像画像、センサー１２のセンサーデータに基づいて生成される。
ヒューマンエラーに繋がるような作業者の動作である利用者が分類（定義）した学習モデルに適合する動作が撮像画像データに発見された時点でその旨を通知することで、ヒューマンエラーを未然に防ぐことが出来る。
本質的に、本実施形態の情報処理システムは、画像データ内のオブジェクトの特徴的な動きや、センサーデータ内の特徴的な波形等に対して利用者が定義づけ（評価）を行って特徴データをモデル化し、カメラやセンサーでリアルタイムに取得される画像データやセンサーデータ（ＲＡＷデータ）内の特徴データを、モデルに従って分類するためのシステムである。
データ内の特定動作等が、ヒューマンエラーに繋がるリスクを伴うものであったか、安全であったか、という分類は利用者の定義付け次第であり、本実施形態の情報処理システムの一つの活用例である。
【0013】
データベースＤＢは、情報処理装置１０による判断結果を整理するデータベースであり、後述する受信データ・データベースＤＢ１、事実データ・データベースＤＢ２を含む。
受信データ・データベースＤＢ１には、カメラ１１によって撮像された画像データと、センサー１２によって取得されたセンサーデータと、が格納される。
利用者は、カメラ１１で撮像された画像データ、センサー１２で取得されたセンサーデータを画像表示装置２８上でリアルタイムに確認することが出来るが、受信データ・データベースＤＢ１に格納されたデータを非リアルタイムで振り返って確認することも出来る。
受信データ・データベースＤＢ１に格納されるデータは、画像データそのものではなく、インデックスデータのみとし、実体データは、その他の場所に設置された大容量のデータベースに格納されてもよい。
事実データ・データベースＤＢ２には、受信データ（画像データ、センサーデータ）に基づいて生成された学習モデルや、判定結果等が格納される。判定結果を格納しておくことで、同じモデルが適用される特徴データに対して再度判定を行う必要がなくなる。
受信データ・データベースＤＢ１には、カメラ１１によって撮像された画像データと、センサー１２によって取得されたセンサーデータと、が格納される。
利用者は、カメラ１１で撮像された画像データ、センサー１２で取得されたセンサーデータを画像表示装置２８上でリアルタイムに確認することが出来るが、受信データ・データベースＤＢ１に格納されたデータを非リアルタイムで振り返って確認することも出来る。
受信データ・データベースＤＢ１に格納されるデータは、画像データそのものではなく、インデックスデータのみとし、実体データは、その他の場所に設置された大容量のデータベースに格納されてもよい。
事実データ・データベースＤＢ２には、受信データ（画像データ、センサーデータ）に基づいて生成された学習モデルや、判定結果等が格納される。判定結果を格納しておくことで、同じモデルが適用される特徴データに対して再度判定を行う必要がなくなる。
【0014】
情報処理装置１０は、様々なインターフェイスを有し、これらのインターフェイスに対して要件に応じた様々なセンサー１２を接続してセンサー情報を入力可能である。センサー１２は、追加もしくは組み替えが可能な１つ以上のセンサーである。
情報処理装置１０に接続可能なセンサー１２は、例えば、心拍センサー、加速度センサー、角速度センサー、温湿度センサー、地磁気センサー、気圧センサー等である。
上記したように、作業者の身体や現場内に設置され、現場内の環境や作業者の状態などに係るセンサーデータを出力可能なセンサーである。
情報処理装置１０に接続するセンサーの種類に制限はなく、インターフェイスを介してデータを取得できるセンサーであれば、モデル生成や分類処理に活用することが出来る。
情報処理装置１０に接続可能なセンサー１２は、例えば、心拍センサー、加速度センサー、角速度センサー、温湿度センサー、地磁気センサー、気圧センサー等である。
上記したように、作業者の身体や現場内に設置され、現場内の環境や作業者の状態などに係るセンサーデータを出力可能なセンサーである。
情報処理装置１０に接続するセンサーの種類に制限はなく、インターフェイスを介してデータを取得できるセンサーであれば、モデル生成や分類処理に活用することが出来る。
【0015】
情報処理装置１０は、カメラ１１から取得した画像データと、センサー１２から取得したセンサーデータと、を振り返りのために受信データ・データベースＤＢ１に格納させる。
さらに、情報処理装置１０は、カメラ１１で撮像した画像データ及びセンサー１２から入力されたセンサーデータから抽出された特徴データに対して利用者自身による属性付与（評価、あるいは分類）を行い、互いに類似する特徴データ群に対して、付与された属性によるアノテーション（ディープラーニング）を行うことにより学習モデル（分類モデル）を生成する。
学習モデルの生成は、情報処理装置１０に接続したＡＩ学習器１３によって行わせることが出来る。生成された学習モデルは、事実データ・データベースＤＢ２に格納される。
情報処理装置１０は、カメラ１１、センサー１２によってリアルタイムで取得される画像データ及びセンサーデータ（ＲＡＷデータ）が、事実データ・データベースＤＢ２に格納される学習モデルと相関するか否か（相関する学習モデルがあるか否か）を判定して、相関する場合には、当該学習モデルの属性を判定結果として出力することが出来る。
さらに、情報処理装置１０は、カメラ１１で撮像した画像データ及びセンサー１２から入力されたセンサーデータから抽出された特徴データに対して利用者自身による属性付与（評価、あるいは分類）を行い、互いに類似する特徴データ群に対して、付与された属性によるアノテーション（ディープラーニング）を行うことにより学習モデル（分類モデル）を生成する。
学習モデルの生成は、情報処理装置１０に接続したＡＩ学習器１３によって行わせることが出来る。生成された学習モデルは、事実データ・データベースＤＢ２に格納される。
情報処理装置１０は、カメラ１１、センサー１２によってリアルタイムで取得される画像データ及びセンサーデータ（ＲＡＷデータ）が、事実データ・データベースＤＢ２に格納される学習モデルと相関するか否か（相関する学習モデルがあるか否か）を判定して、相関する場合には、当該学習モデルの属性を判定結果として出力することが出来る。
【0016】
また情報処理装置１０は、リアルタイムの画像やセンサーデータに含まれる学習モデルに近似（類似）した特徴データも適切に分類することも出来る。
初出の特徴データに対して分類（属性付け）がされておらずとも、近似した学習モデルに基づいて、演繹的に特徴データを分類して、判定結果を出力することが出来る。
初出の特徴データに対して分類（属性付け）がされておらずとも、近似した学習モデルに基づいて、演繹的に特徴データを分類して、判定結果を出力することが出来る。
【0017】
ＡＩ学習器１３の構成について詳細な説明は省略するが、例えばＵＳＢ（Universal Serial Bus）による入出力ポートと、ＧＰＵ（Graphics Processing Unit）、ＲＡＭ（Random Access Memory）を備え、利用者が分類した、画像データやセンサーデータ内の特徴データを大量に与えられてディプーラーニングによる解析を行うことで、学習モデルを生成する。作業者の姿勢や、作業台に持ち込まれたモノなどを、ＡＩ学習器１３に対するインプットとし、ＡＩ学習器１３によってモデル化する。
ＡＩ学習器１３には、カメラ１１から取得した画像データと、センサー１２から取得したセンサーデータと、入力された属性と、が、入出力ポートを介して情報処理装置１０から供給される。
情報を入力されたＡＩ学習器１３のＧＰＵは、供給された情報に対して、ＧＰＵが有する多数のコアによる並列演算を行うことにより、高速に学習モデルを生成する。
学習モデルの生成に際しては、特徴データにおける多数のパラメータを処理する演算を行う必要があるが、多数のコアを有して同時並列演算を実施可能なＧＰＵは有利である。
ＡＩ学習器１３には、カメラ１１から取得した画像データと、センサー１２から取得したセンサーデータと、入力された属性と、が、入出力ポートを介して情報処理装置１０から供給される。
情報を入力されたＡＩ学習器１３のＧＰＵは、供給された情報に対して、ＧＰＵが有する多数のコアによる並列演算を行うことにより、高速に学習モデルを生成する。
学習モデルの生成に際しては、特徴データにおける多数のパラメータを処理する演算を行う必要があるが、多数のコアを有して同時並列演算を実施可能なＧＰＵは有利である。
【0018】
図２は、本実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成を説明するブロック図である。
情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３と、ＵＳＢ Ｉ／Ｆ２４と、ネットワークＩ／Ｆ２５と、近接無線通信Ｉ／Ｆ２６と、ＧＰＩＯ（General Purpose Input/Output）２７と、液晶ディスプレイなどの画像表示装置２８と、を備える。
また、図示しないが、情報処理装置１０は、キーボードやマウスなどの入力操作手段を備えて、画像表示装置２８における画像データやセンサーデータの表示、属性付けなどの操作を行うことが出来る。
ＣＰＵ２１は、オペレーティングシステム及び情報処理装置１０の機能を実現するためのプログラムを実行する。ＲＯＭ２２は、ＣＰＵ２１によって実行されるプログラムと固定データが格納される。ＲＡＭ２３は、ＣＰＵ２１によって実行されるプログラムが展開され、一時データや各種の変数が格納される。
情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３と、ＵＳＢ Ｉ／Ｆ２４と、ネットワークＩ／Ｆ２５と、近接無線通信Ｉ／Ｆ２６と、ＧＰＩＯ（General Purpose Input/Output）２７と、液晶ディスプレイなどの画像表示装置２８と、を備える。
また、図示しないが、情報処理装置１０は、キーボードやマウスなどの入力操作手段を備えて、画像表示装置２８における画像データやセンサーデータの表示、属性付けなどの操作を行うことが出来る。
ＣＰＵ２１は、オペレーティングシステム及び情報処理装置１０の機能を実現するためのプログラムを実行する。ＲＯＭ２２は、ＣＰＵ２１によって実行されるプログラムと固定データが格納される。ＲＡＭ２３は、ＣＰＵ２１によって実行されるプログラムが展開され、一時データや各種の変数が格納される。
【0019】
ＵＳＢ Ｉ／Ｆ２４は、情報処理装置１０に対して外部装置を接続するためのインターフェイスである。ＵＳＢ Ｉ／Ｆ２４には、例えば、ＡＩ処理部（ＡＩ学習器）１３が接続される。
ネットワークＩ／Ｆ２５は、情報処理装置１０をネットワークに接続するためのインターフェイスである。
情報処理装置１０は、有線ＬＡＮ（Ｅｔｅｒｅｎｅｔ）、無線ＬＡＮのいずれによってネットワークに接続されてもよい。ネットワークＩ／Ｆ２５はすなわち、Ｅｔｅｒｎｅｔアダプタ、あるいは無線ＬＡＮアダプタである。
近接無線通信Ｉ／Ｆ２６は、情報処理装置１０と、近距離にある外部機器との間で、無線通信を介して情報や信号を送受信するためのインターフェイスであり、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信が可能なＢｌｕｅｔｏｏｔｈ（登録商標）アダプタである。
情報処理装置１０は、同様にＢｌｕｅｔｏｏｔｈ（登録商標）アダプタを有するセンサー装置から、当該センサー装置が測定（取得）したセンサー情報をＢｌｕｅｔｏｏｔｈ（登録商標）通信によって取得することが出来る。
ネットワークＩ／Ｆ２５は、情報処理装置１０をネットワークに接続するためのインターフェイスである。
情報処理装置１０は、有線ＬＡＮ（Ｅｔｅｒｅｎｅｔ）、無線ＬＡＮのいずれによってネットワークに接続されてもよい。ネットワークＩ／Ｆ２５はすなわち、Ｅｔｅｒｎｅｔアダプタ、あるいは無線ＬＡＮアダプタである。
近接無線通信Ｉ／Ｆ２６は、情報処理装置１０と、近距離にある外部機器との間で、無線通信を介して情報や信号を送受信するためのインターフェイスであり、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信が可能なＢｌｕｅｔｏｏｔｈ（登録商標）アダプタである。
情報処理装置１０は、同様にＢｌｕｅｔｏｏｔｈ（登録商標）アダプタを有するセンサー装置から、当該センサー装置が測定（取得）したセンサー情報をＢｌｕｅｔｏｏｔｈ（登録商標）通信によって取得することが出来る。
【0020】
ＧＰＩＯ２７は、電子基板が標準的に備える入出力端子の一種であり、設定を変更することにより様々な用途に使用可能である。
情報処理装置１０のマザーボード（主基板）やマザーボードに接続される拡張基板にこのようなＧＰＩＯ２７を備える。情報処理装置１０は、ＧＰＩＯ２７に接続されたケーブル等を介して外部装置と通信を行って、情報の入出力をすることが出来る。すなわち、情報処理装置１０は、センサー装置からセンサー情報を入力されたり、判断結果を外部装置に出力したりすることが出来る。
情報処理装置１０のマザーボード（主基板）やマザーボードに接続される拡張基板にこのようなＧＰＩＯ２７を備える。情報処理装置１０は、ＧＰＩＯ２７に接続されたケーブル等を介して外部装置と通信を行って、情報の入出力をすることが出来る。すなわち、情報処理装置１０は、センサー装置からセンサー情報を入力されたり、判断結果を外部装置に出力したりすることが出来る。
【0021】
また、情報処理装置１０は、上記のネットワークＩ／Ｆを介して判断結果をＨＴＴＰ（Hyper Text Transfer Protocol）通信やメール送信によって外部装置に通知することが出来る。
ＨＴＴＰ通信による通知は、例えば本実施形態の情報処理システムが適用される工場等においてＷｅｂベースで構築された管理システムに含まれるコンソール端末への状態表示である。
また、メール送信による通知は、例えば本実施形態の情報処理システムが適用される工場等において管理者等が携帯する携帯端末への状態通知メールの送信である。
さらに、情報処理装置１０は、判断結果に応じて、ＧＰＩＯ２７を介して機械制御をしたり、判断結果の可視化を行ったりしてもよい。
機械制御の一例として、情報処理装置１０は、本実施形態の情報処理システムが適用される工場等に設置されたラインを制御するリレースイッチを、判定結果に応じてＧＰＩＯ２７を介して制御し、ラインをストップさせる制御が可能である。
判断結果可視化の一例として、情報処理装置１０は、判断結果に応じて、ＧＰＩＯ２７を介して工場内等に設置されたシグナル発生器を制御して判断結果の表示（シグナル発報）を行う。
ＨＴＴＰ通信による通知は、例えば本実施形態の情報処理システムが適用される工場等においてＷｅｂベースで構築された管理システムに含まれるコンソール端末への状態表示である。
また、メール送信による通知は、例えば本実施形態の情報処理システムが適用される工場等において管理者等が携帯する携帯端末への状態通知メールの送信である。
さらに、情報処理装置１０は、判断結果に応じて、ＧＰＩＯ２７を介して機械制御をしたり、判断結果の可視化を行ったりしてもよい。
機械制御の一例として、情報処理装置１０は、本実施形態の情報処理システムが適用される工場等に設置されたラインを制御するリレースイッチを、判定結果に応じてＧＰＩＯ２７を介して制御し、ラインをストップさせる制御が可能である。
判断結果可視化の一例として、情報処理装置１０は、判断結果に応じて、ＧＰＩＯ２７を介して工場内等に設置されたシグナル発生器を制御して判断結果の表示（シグナル発報）を行う。
【0022】
図３は、本実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。
本実施形態において、図３に示す各機能はソフトウェアによって実現されるものであり、ＣＰＵ２１によってプログラムが実行されることによって機能する。なお、これらの各機能はソフトウェアではなくハードウェア回路によって実現されてもよい。
情報処理装置１０のＣＰＵ２１は、処理部として、画像取得処理部５１と、センサー値取得処理部５２と、ストリーミング配信処理部５３と、データ受信処理部５４と、受信データ格納処理部５５と、特徴データ抽出処理部５６と、属性付与処理部５７と、モデル生成処理部５８と、判定処理部５９、出力処理部６０、判定データ記録処理部６１と、を実行する。
本実施形態において、図３に示す各機能はソフトウェアによって実現されるものであり、ＣＰＵ２１によってプログラムが実行されることによって機能する。なお、これらの各機能はソフトウェアではなくハードウェア回路によって実現されてもよい。
情報処理装置１０のＣＰＵ２１は、処理部として、画像取得処理部５１と、センサー値取得処理部５２と、ストリーミング配信処理部５３と、データ受信処理部５４と、受信データ格納処理部５５と、特徴データ抽出処理部５６と、属性付与処理部５７と、モデル生成処理部５８と、判定処理部５９、出力処理部６０、判定データ記録処理部６１と、を実行する。
【0023】
画像取得処理部５１は、カメラ１１を制御して時系列に沿って撮影させ、画像データを取得する。
センサー値取得処理部５２（情報取得手段）は、情報処理装置１０に接続されたセンサー１２から時系列に沿ったセンサーデータを取得する処理を行う。
ストリーミング配信処理部５３（配信手段）は、画像取得処理部５１と、センサー値取得処理部５２によって取得された画像データ及びセンサーデータをストリーミング配信する処理を行う。すなわち、情報処理装置１０は、画像データのストリーミング機能を有する。
画像データ、センサーデータをストリーミング配信することにより、同じ画像データ、センサーデータに対して分散同時処理が可能となる。特に画像データについては、画像データを並列的にストリーミング配信することで、一つの画像データに対して、後述の特徴データ抽出処理部５６による特徴データの抽出処理（色分析や動作分析など）を並列的に同時に行うことが出来る。
センサー値取得処理部５２（情報取得手段）は、情報処理装置１０に接続されたセンサー１２から時系列に沿ったセンサーデータを取得する処理を行う。
ストリーミング配信処理部５３（配信手段）は、画像取得処理部５１と、センサー値取得処理部５２によって取得された画像データ及びセンサーデータをストリーミング配信する処理を行う。すなわち、情報処理装置１０は、画像データのストリーミング機能を有する。
画像データ、センサーデータをストリーミング配信することにより、同じ画像データ、センサーデータに対して分散同時処理が可能となる。特に画像データについては、画像データを並列的にストリーミング配信することで、一つの画像データに対して、後述の特徴データ抽出処理部５６による特徴データの抽出処理（色分析や動作分析など）を並列的に同時に行うことが出来る。
【0024】
データ受信処理部５４は、ストリーミング配信処理部５３が配信する画像データ、センサーデータを受信する処理部である。
データ受信処理部５４によって受信された画像データは、表示制御部による制御によって画像表示装置２８にリアルタイムに表示可能である。
受信データ格納処理部５５は、ストリーミング配信処理部５３によって配信されてデータ受信処理部５４が受信した画像データ（別の格納場所の格納した場合、その格納場所における画像データのファイルパス）とセンサーデータを受信データ・データベースＤＢ１に格納する処理を行う処理部である。
情報処理装置１０は、画像データに係る情報と、センサーデータのデータベースへの格納機能を有する。受信データ格納処理部５５と、上記のストリーミング配信処理部５３の機能により、情報処理装置１０自体によって画像データ、センサーデータのストリーミング配信とデータベースへの格納が可能である。
データ受信処理部５４によって受信された画像データは、表示制御部による制御によって画像表示装置２８にリアルタイムに表示可能である。
受信データ格納処理部５５は、ストリーミング配信処理部５３によって配信されてデータ受信処理部５４が受信した画像データ（別の格納場所の格納した場合、その格納場所における画像データのファイルパス）とセンサーデータを受信データ・データベースＤＢ１に格納する処理を行う処理部である。
情報処理装置１０は、画像データに係る情報と、センサーデータのデータベースへの格納機能を有する。受信データ格納処理部５５と、上記のストリーミング配信処理部５３の機能により、情報処理装置１０自体によって画像データ、センサーデータのストリーミング配信とデータベースへの格納が可能である。
【0025】
特徴データ抽出処理部５６（抽出手段）は、ストリーミング配信処理部５３が配信し、受信データ格納処理部５５が受信した画像データ又はセンサーデータから特徴データを抽出する処理を行う処理部である。
特徴データは、例えば、画像データ内の特定のオブジェクト（作業者）の動きやその動き、物の配置、作業者と物との相対的な位置関係（距離関係）に係る情報である。
特徴データ抽出処理部５６は、画像データ内における特徴データと、画像データ内における特徴データの発生領域（画角内の座標情報）と、を特徴データとして出力する。
センサーデータの場合は、（前後の）正常値に対して異常に値が上下する部分が特徴データである。例え心拍センサーなどでは、作業者がヒヤリとして心拍数が急激に上がったときにヒューマンエラーのきっかけとなる事象が発生した可能性があると考え、特徴データとして抽出する。
特徴データ抽出処理部５６は、このように抽出した特徴データを、データベース（事実データ・データベースＤＢ２）に格納することが出来る。
特徴データは、例えば、画像データ内の特定のオブジェクト（作業者）の動きやその動き、物の配置、作業者と物との相対的な位置関係（距離関係）に係る情報である。
特徴データ抽出処理部５６は、画像データ内における特徴データと、画像データ内における特徴データの発生領域（画角内の座標情報）と、を特徴データとして出力する。
センサーデータの場合は、（前後の）正常値に対して異常に値が上下する部分が特徴データである。例え心拍センサーなどでは、作業者がヒヤリとして心拍数が急激に上がったときにヒューマンエラーのきっかけとなる事象が発生した可能性があると考え、特徴データとして抽出する。
特徴データ抽出処理部５６は、このように抽出した特徴データを、データベース（事実データ・データベースＤＢ２）に格納することが出来る。
【0026】
属性付与処理部５７（属性付与手段）は、特徴データ抽出処理部５６によって抽出された特徴データに対して、属性を利用者に付与させる処理を行う処理部である。
属性の付与は、ストリーミング配信処理部５３による配信とともに画像表示装置２８にリアルタイムに表示される画像データ内の特徴データに対して行われてもよいし、一度受信データ・データベースＤＢ２に格納された画像データ、センサーデータあるいはそこから抽出された特徴データに対して後から行っても良い。
いずれの場合も、画像表示装置２８上に表示するイメージシーケンサ上で、特徴データ抽出処理部５６によって抽出された特徴データに対してブロッキングを行い、ブロッキングされた特徴データに対して、所定の属性を付与する操作を行わせる。
ブロッキング自体は、画像データを画像表示装置２８にリアルタイムに表示する際に、特徴データに対して表示しても良いが、属性の付与を求められる特徴データに対して特に表示することで、より分かりやすい表示となる。
属性の付与は、ストリーミング配信処理部５３による配信とともに画像表示装置２８にリアルタイムに表示される画像データ内の特徴データに対して行われてもよいし、一度受信データ・データベースＤＢ２に格納された画像データ、センサーデータあるいはそこから抽出された特徴データに対して後から行っても良い。
いずれの場合も、画像表示装置２８上に表示するイメージシーケンサ上で、特徴データ抽出処理部５６によって抽出された特徴データに対してブロッキングを行い、ブロッキングされた特徴データに対して、所定の属性を付与する操作を行わせる。
ブロッキング自体は、画像データを画像表示装置２８にリアルタイムに表示する際に、特徴データに対して表示しても良いが、属性の付与を求められる特徴データに対して特に表示することで、より分かりやすい表示となる。
【0027】
モデル生成処理部５８（モデル生成手段）は、特徴データと、属性付与処理部５７によって付与された属性と、に基づいて学習モデルを生成する処理を行う処理部である。
モデル生成は、実際には、情報処理装置１０に接続されたＡＩ学習器１３によって実行可能であり、その場合、モデル生成処理部５８はＡＩ学習器に対するデータの入出力等を制御する。
モデル生成処理部５８は、生成された学習モデルを事実データ・データベースＤＢ２に格納する。
モデル生成処理部５８は、ＡＩ学習器１３を制御し、特徴データに対して、設定された属性をアノテーション（タグ付け）することによって学習モデルを生成する。
具体的には、モデル生成処理部５８は、ＡＩ学習器１３に対して特徴データ、属性を入力し、学習モデルを生成させ、出力された学習モデルを得る。
ＡＩ学習器１３に組み込まれている対象データに対してアノテーションを行うモデルを生成する手法は、パブリックドメインに属している公知のアルゴリズムによって実現することが出来る。
モデル生成は、実際には、情報処理装置１０に接続されたＡＩ学習器１３によって実行可能であり、その場合、モデル生成処理部５８はＡＩ学習器に対するデータの入出力等を制御する。
モデル生成処理部５８は、生成された学習モデルを事実データ・データベースＤＢ２に格納する。
モデル生成処理部５８は、ＡＩ学習器１３を制御し、特徴データに対して、設定された属性をアノテーション（タグ付け）することによって学習モデルを生成する。
具体的には、モデル生成処理部５８は、ＡＩ学習器１３に対して特徴データ、属性を入力し、学習モデルを生成させ、出力された学習モデルを得る。
ＡＩ学習器１３に組み込まれている対象データに対してアノテーションを行うモデルを生成する手法は、パブリックドメインに属している公知のアルゴリズムによって実現することが出来る。
【0028】
判定処理部５９（判定手段）は、ストリーミング配信処理部５３から配信されるリアルタイムな画像データ又はセンサーデータから特徴データ抽出処理部５６によって抽出された特徴データについて、事実データ・データベースＤＢ２に格納される学習モデルとの相関を判定する処理を行う処理部である。
出力処理部６０（出力手段）は、学習モデルと相関すると判定された特徴データについて、学習モデルに係る属性に基づく出力を行う処理を行う処理部である。
出力処理部６０は、属性の出力に基づいて前述のようなメール送信やＨＴＴＰ通信を行う通信処理部、同出力に基づいてＧＰＩＯを介してライン制御を行う外部装置制御処理部等を含む。
判定データ記録処理部６１は、判定処理部５９によって判定を行ったログ（判定データ）を、事実データＤＢに記録する処理を行う処理部である。
出力処理部６０（出力手段）は、学習モデルと相関すると判定された特徴データについて、学習モデルに係る属性に基づく出力を行う処理を行う処理部である。
出力処理部６０は、属性の出力に基づいて前述のようなメール送信やＨＴＴＰ通信を行う通信処理部、同出力に基づいてＧＰＩＯを介してライン制御を行う外部装置制御処理部等を含む。
判定データ記録処理部６１は、判定処理部５９によって判定を行ったログ（判定データ）を、事実データＤＢに記録する処理を行う処理部である。
【0029】
詳しくは、特徴データ抽出処理部５６は、画像処理装置１０が備えるカメラ１１と各種センサー１２とによってリアルタイムで取得されてストリーミング配信される画像データやセンサーに対して既知の異物判定ロジックによる解析を常に行い、画像内で特徴的な動作を行う動体（例えば、工場内の作業者等の人物）や、センサーにおける特徴的なデータ変位（心拍数計であれば、前後の平常な値に対する、急激な値の上下動など）を特徴データとして抽出する。
画像データにおける異物判定は、時空間差分とクラスタリングによる画像の統計的分析や、色判定（類似性、クラスタリング）によって行われ、これにより画像データからの特徴データの抽出が行われる。
画像データにおける異物判定は、時空間差分とクラスタリングによる画像の統計的分析や、色判定（類似性、クラスタリング）によって行われ、これにより画像データからの特徴データの抽出が行われる。
【0030】
特徴データ抽出処理部５６によって抽出された特徴データは、モデル生成処理部５８によって生成されて事実データ・データベースＤＢ２に格納されている学習モデルと、判定処理部５９によって比較される（相関が判断される）。
特徴データが、事実データ・データベースＤＢ２に格納される学習モデルと相関すると判定処理部５９が判定した場合、出力処理部６０は、判定結果としてその学習モデルに係る属性を出力する。
属性は、特徴データが意味する内容であり、その特徴データが、予め定められたどの分類に属するのかの情報である。分類とは、例えば工場内の作業者による動作においては、後述する「Ｃｏｒｒｅｃｔ」、「Ｒｉｓｋ」、「Ｅｒｒｏｒ」のなどの分類である。ただし、特徴データの分類はこれらの種類に限定されるものではない。分類は、上記の属性付与処理部５７によって属性として付与され、学習モデルに含まれている。
特徴データが、事実データ・データベースＤＢ２に格納される学習モデルと相関すると判定処理部５９が判定した場合、出力処理部６０は、判定結果としてその学習モデルに係る属性を出力する。
属性は、特徴データが意味する内容であり、その特徴データが、予め定められたどの分類に属するのかの情報である。分類とは、例えば工場内の作業者による動作においては、後述する「Ｃｏｒｒｅｃｔ」、「Ｒｉｓｋ」、「Ｅｒｒｏｒ」のなどの分類である。ただし、特徴データの分類はこれらの種類に限定されるものではない。分類は、上記の属性付与処理部５７によって属性として付与され、学習モデルに含まれている。
【0031】
本実施形態の情報処理システムの導入初期など、十分な学習モデルが生成されていない場合、画像データ内の動体（作業者）の動きや、センサーデータの特徴データが意味する内容を判定することが出来ない（リアルタイムのデータと、学習モデルと、の相関を判断することが出来ない）。
十分な学習モデルが存在しないことで特徴データが学習モデルと相関しないと判定処理部５９が判定した場合には、出力処理部６０は、特徴データを何れにも分類できない（特徴データが意味する内容が不明である）ことを示す属性「Ｕｎｋｎｏｗｎ」を出力することができ、その特徴データに対する判断を保留する。
十分な学習モデルが存在しないことで特徴データが学習モデルと相関しないと判定処理部５９が判定した場合には、出力処理部６０は、特徴データを何れにも分類できない（特徴データが意味する内容が不明である）ことを示す属性「Ｕｎｋｎｏｗｎ」を出力することができ、その特徴データに対する判断を保留する。
【0032】
「Ｕｎｋｎｏｗｎ」とされた特徴データについては、その場でリアルタイムに、あるいは、受信データ・データベースＤＢ１に格納された後で、属性を付与することが出来る。
すなわち、本実施形態の情報処理装置においては、判定処理部５９によって、学習モデルと相関しないと判定された特徴データについて、「Ｕｎｋｎｏｗｎ」属性を付与して分類を保留するのではなく、属性付与処理部５７が、利用者に対して任意の属性を付与させてもよい。
上記に説明したように、画像処理装置１０が備えるカメラ１１と各種センサー１２とによって取得された画像データやセンサーデータは、受信データ・データベースＤＢ１に格納される。
属性付与処理部５７は、リアルタイムで画像処理装置１０に表示されている画像データ、または受信データ・データベースＤＢ１から呼び出されて表示される画像データに対して、画像表示装置２８の画面上で、画像データにおける学習モデルと相関しない特徴データに係わる領域を矩形で囲んで表示するブロッキング処理を行う。
なお、本実施形態の情報処理システムが備えるカメラ１１は固定的に配置されて作業現場を俯瞰する定点カメラである。そして、作業現場においては、作業者が活動するエリアは限られており、物を置くスペースも同様である。
従って、カメラ１１の画角内で、特徴的なデータ（作業者の動き、物の配置）が発生する座標領域（存在確率）は限定されており、方向性、角度のデータオーグメンテーションがほぼ不要であり、特徴データの抽出や、学習モデルの生成に必要な処理を簡素化することが出来る。
すなわち、本実施形態の情報処理装置においては、判定処理部５９によって、学習モデルと相関しないと判定された特徴データについて、「Ｕｎｋｎｏｗｎ」属性を付与して分類を保留するのではなく、属性付与処理部５７が、利用者に対して任意の属性を付与させてもよい。
上記に説明したように、画像処理装置１０が備えるカメラ１１と各種センサー１２とによって取得された画像データやセンサーデータは、受信データ・データベースＤＢ１に格納される。
属性付与処理部５７は、リアルタイムで画像処理装置１０に表示されている画像データ、または受信データ・データベースＤＢ１から呼び出されて表示される画像データに対して、画像表示装置２８の画面上で、画像データにおける学習モデルと相関しない特徴データに係わる領域を矩形で囲んで表示するブロッキング処理を行う。
なお、本実施形態の情報処理システムが備えるカメラ１１は固定的に配置されて作業現場を俯瞰する定点カメラである。そして、作業現場においては、作業者が活動するエリアは限られており、物を置くスペースも同様である。
従って、カメラ１１の画角内で、特徴的なデータ（作業者の動き、物の配置）が発生する座標領域（存在確率）は限定されており、方向性、角度のデータオーグメンテーションがほぼ不要であり、特徴データの抽出や、学習モデルの生成に必要な処理を簡素化することが出来る。
【0033】
利用者は、ブロッキングされた特徴データに対して、情報処理装置１０に接続されている不図示の入力装置（マウスやキーボード）を用いて、画像内における現象を画像表示装置２８上で自分自身で確認したうえで、所定の分類からふさわしいと考える分類を設定する。
例えば、ブロッキングされている特徴データにおける作業者の動作が、「安全であった」と利用者が判断した場合、入力装置を用いて「Ｓａｆｅ」に分類する操作を行い、「リスク」が判断した場合には「Ｒｉｓｋ」に分類する操作を行い、「エラーにつながった」と判断した場合には、「Ｅｒｒｏｒ」に分類する操作を行う。
実際に事故やエラーが発生したか否かではなく、画像データにおける特徴的な動作が、エラーや事故に繋がったと利用者が判断したか否かを基準として分類付けを行う。
利用者が、入力装置を用いた属性の付与を行うと、モデル生成処理部５８は、属性付与処理部５７によって付与された属性と、その特徴データとを用いて、新たに学習モデルを生成する。
すなわち、記録された情報（画像データ、センサーデータ）をもとに、新たな仮説モデルを組み上げることにより、属性値の確からしさをはかる。
例えば、ブロッキングされている特徴データにおける作業者の動作が、「安全であった」と利用者が判断した場合、入力装置を用いて「Ｓａｆｅ」に分類する操作を行い、「リスク」が判断した場合には「Ｒｉｓｋ」に分類する操作を行い、「エラーにつながった」と判断した場合には、「Ｅｒｒｏｒ」に分類する操作を行う。
実際に事故やエラーが発生したか否かではなく、画像データにおける特徴的な動作が、エラーや事故に繋がったと利用者が判断したか否かを基準として分類付けを行う。
利用者が、入力装置を用いた属性の付与を行うと、モデル生成処理部５８は、属性付与処理部５７によって付与された属性と、その特徴データとを用いて、新たに学習モデルを生成する。
すなわち、記録された情報（画像データ、センサーデータ）をもとに、新たな仮説モデルを組み上げることにより、属性値の確からしさをはかる。
【0034】
本実施形態の情報処理システムは、実際にエラーや事故が発生したことを検出して報知するのではなく、過去を振り返って結果的にエラーや事故に繋がったのではないかと考えられる作業者の予兆的な動作やセンサーの値を、分類し、モデル化する。
これにより、ヒューマンエラーの予兆が現れた時点で、エラーや事故が発生する前に「Ｅｒｒｏｒ」属性を出力して適切な処理を行うことで、潜在的なヒューマンエラーを防止することが出来る。
これにより、ヒューマンエラーの予兆が現れた時点で、エラーや事故が発生する前に「Ｅｒｒｏｒ」属性を出力して適切な処理を行うことで、潜在的なヒューマンエラーを防止することが出来る。
【0035】
特徴データ抽出処理部５６は、ストリーミング配信処理部５３よってストリーミング配信された一の画像データ又はセンサーデータから、異なる特徴データを同時に抽出可能である。
ストリーミングされるセンサーデータには、複数のセンサー１２によって取得されたセンサーデータが含まれ、各センサーによるセンサーデータ毎に複数の特徴的なデータを含んでいる。
属性付与処理部５７は、特徴データ抽出処理部５６によって抽出された異なる特徴データの夫々に対して属性を付与する（利用者に付与される）ことが出来る。
さらにモデル生成処理部５８は、異なる特徴データと、属性付与処理部５７によって付与された異なる属性と、に基づいて複数の判定モデル情報を生成することが出来る。
このような場合には、判定処理部５９は、ストリーミング配信処理部５３によって配信される一の画像データ又はセンサーデータから同時に抽出した複数の特徴データについて、複数の判定モデル情報に対する相関の判定を行う。
ストリーミングされるセンサーデータには、複数のセンサー１２によって取得されたセンサーデータが含まれ、各センサーによるセンサーデータ毎に複数の特徴的なデータを含んでいる。
属性付与処理部５７は、特徴データ抽出処理部５６によって抽出された異なる特徴データの夫々に対して属性を付与する（利用者に付与される）ことが出来る。
さらにモデル生成処理部５８は、異なる特徴データと、属性付与処理部５７によって付与された異なる属性と、に基づいて複数の判定モデル情報を生成することが出来る。
このような場合には、判定処理部５９は、ストリーミング配信処理部５３によって配信される一の画像データ又はセンサーデータから同時に抽出した複数の特徴データについて、複数の判定モデル情報に対する相関の判定を行う。
【0036】
また、属性付与処理部５７によって付与される属性は、画像取得手段によって撮影される画像データと、センサー値取得処理部５２によって１つ以上のセンサーから取得されるセンサーデータと、の組み合わせに基づいて定義することが出来る。
画像データ、センサーデータそれぞれについて、属性の付与及び学習モデルの生成を行うのみならず、画像データとセンサーデータの組み合わせに対して属性を付与し、学習モデルを生成してもよい。
利用者は、受信データ・データベースＤＢ１に格納されている画像データを、画像表示装置で確認をしながら、画像データ内のブロッキングされた特徴データに対して属性の定義を行うが、これは、単に画像データにおける特徴データに対して属性を付与することに限定されない。
画像表示装置で確認をしながら、エラーや事故の予兆であったと考えられるセンサーデータに属性を付与することが出来る。
学習モデルとリアルタイムの画像データ、センサーデータを比較する際には、画像データ、センサーデータの両方が学習モデルと相関するときに、学習モデルと相関したとみなされてもよい。
画像データ、センサーデータそれぞれについて、属性の付与及び学習モデルの生成を行うのみならず、画像データとセンサーデータの組み合わせに対して属性を付与し、学習モデルを生成してもよい。
利用者は、受信データ・データベースＤＢ１に格納されている画像データを、画像表示装置で確認をしながら、画像データ内のブロッキングされた特徴データに対して属性の定義を行うが、これは、単に画像データにおける特徴データに対して属性を付与することに限定されない。
画像表示装置で確認をしながら、エラーや事故の予兆であったと考えられるセンサーデータに属性を付与することが出来る。
学習モデルとリアルタイムの画像データ、センサーデータを比較する際には、画像データ、センサーデータの両方が学習モデルと相関するときに、学習モデルと相関したとみなされてもよい。
【0037】
換言すると、画像データ内の特徴データに対する属性の定義と、同じタイミングにおけるセンサーデータに対する属性の定義を、ともに行うことが出来る。属性は、画像データと、センサーデータと、の組み合わせに基づいて定義される。
画像データ内のブロッキングされた特徴データに対して属性を定義したときに、同じタイミングのセンサーデータに対して同じ属性が自動的に付与されてもよい。
情報処理装置１０に対してセンサーが追加または組み替えられることにより、属性の定義は拡張又は変更されることになる。
すなわち、本実施形態の情報処理システムは、センシング情報と属性とを追記可能な形で判断を可能とするシステムであるとともに、センサー、画像の組み合わせにより、属性定義を拡充可能なシステムである。
画像データ内のブロッキングされた特徴データに対して属性を定義したときに、同じタイミングのセンサーデータに対して同じ属性が自動的に付与されてもよい。
情報処理装置１０に対してセンサーが追加または組み替えられることにより、属性の定義は拡張又は変更されることになる。
すなわち、本実施形態の情報処理システムは、センシング情報と属性とを追記可能な形で判断を可能とするシステムであるとともに、センサー、画像の組み合わせにより、属性定義を拡充可能なシステムである。
【0038】
上記のように、情報処理装置１０は、ストリーミング配信処理部５３によって配信された画像データに係る情報及びセンサーデータと、特徴データと、判定モデル情報と、をデータベースに記録している。
情報処理装置１０は、特徴データから、この特徴データに関連する画像データに係る情報又はセンサーデータをデータベースから抽出する処理を行うデータ抽出処理部（データ抽出手段）を備えている。利用者は、特徴データが発生したタイミング前後の画像データ、センサーデータを振り返って確認し、特徴データの評価に役立てることが出来る。
情報処理装置１０は、特徴データから、この特徴データに関連する画像データに係る情報又はセンサーデータをデータベースから抽出する処理を行うデータ抽出処理部（データ抽出手段）を備えている。利用者は、特徴データが発生したタイミング前後の画像データ、センサーデータを振り返って確認し、特徴データの評価に役立てることが出来る。
【0039】
さらに、本実施形態の情報処理装置においては、判定処理部５９によって、学習モデルと相関しないと判定された特徴データについて、「Ｕｎｋｎｏｗｎ」として分類を保留するのではなく、属性付与処理部５７が、特徴データと類似する学習モデルに属する属性を、特徴データに付与するようにしてもよい。
このとき、出力処理部６０は、特徴データと類似した上記学習モデルの属性（属性付与処理部５７が付与した属性）を出力することが出来る。
さらに、モデル生成処理部５８は、属性を用いて学習モデルを生成することが出来る。
このとき、出力処理部６０は、特徴データと類似した上記学習モデルの属性（属性付与処理部５７が付与した属性）を出力することが出来る。
さらに、モデル生成処理部５８は、属性を用いて学習モデルを生成することが出来る。
【0040】
すなわち、本実施形態の情報処理装置の特徴的な処理として、初出の特徴データについて、既存の学習モデルを用いて分類を行うことが可能である。
利用者が属性付けを行うことにより生成された学習モデルを拡張して、未学習の特徴データについても属性による分類を行うことが出来る。
利用者が属性付けを行うことにより生成された学習モデルを拡張して、未学習の特徴データについても属性による分類を行うことが出来る。
【0041】
また、本実施形態の情報処理装置に接続するカメラには三次元（３Ｄ）カメラを用いることが出来る。
このとき、三次元カメラによって撮影される画像データは、当然三次元画像データである。
特徴データ抽出処理部５６は、ストリーミング配信処理部５３が配信した三次元画像データから奥行き方向の特徴データ（作業者の動きの特徴）を抽出することができ、属性付与処理部５７は、このような奥行き方向の特徴データに対しても属性を付与することが出来る。
作業現場における作業者の動きは、例えば、道具箱の中に手を入れて道具を取り出したり、身をかがめて作業をしたりするような三次元的な動きが多い。俯瞰的な二次元の画像データでは、このような三次元的な作業に伴う特徴データを抽出することが難しい。
それに対し、深さ（距離）情報を含む三次元の画像データを用いることで、立体的な動きを示す特徴データを抽出して学習モデルを生成することが出来る。
このとき、三次元カメラによって撮影される画像データは、当然三次元画像データである。
特徴データ抽出処理部５６は、ストリーミング配信処理部５３が配信した三次元画像データから奥行き方向の特徴データ（作業者の動きの特徴）を抽出することができ、属性付与処理部５７は、このような奥行き方向の特徴データに対しても属性を付与することが出来る。
作業現場における作業者の動きは、例えば、道具箱の中に手を入れて道具を取り出したり、身をかがめて作業をしたりするような三次元的な動きが多い。俯瞰的な二次元の画像データでは、このような三次元的な作業に伴う特徴データを抽出することが難しい。
それに対し、深さ（距離）情報を含む三次元の画像データを用いることで、立体的な動きを示す特徴データを抽出して学習モデルを生成することが出来る。
【0042】
図４は、本実施形態の情報処理システムにおいて、受信データ・データベースに格納されるデータを示す図であり、情報処理装置に備えられたカメラやセンサーによって取得されるデータを示している。図４のデータベースに格納されるデータは、情報処理装置１０に入力されるＲＡＷデータである。
図４に示すように、データベースは、情報処理装置１０が備えるセンサー（カメラ含む）のリスト（センサーリスト）を含んでいる。
センサーリストには、例えば、画像センサー（カメラ）、温度センサー、湿度センサー、加速度センサーが設定されている。センサーリストは、情報処理装置１０にセンサーを追加したり、組み替えたりすることに応じて適宜追加、あるいは削除が可能である。
リスト属性には、各センサーで取得されるデータの属性が設定される。
画像センサーによって取得されるデータの属性は、２Ｄの色データ、３Ｄの深度データ、２Ｄの温度データ等を含む。
図示はしないが、データの属性は、温度センサー、湿度センサー、加速度センサー等によって取得されるデータのも、様々な属性が設定される。
図４に示すように、データベースは、情報処理装置１０が備えるセンサー（カメラ含む）のリスト（センサーリスト）を含んでいる。
センサーリストには、例えば、画像センサー（カメラ）、温度センサー、湿度センサー、加速度センサーが設定されている。センサーリストは、情報処理装置１０にセンサーを追加したり、組み替えたりすることに応じて適宜追加、あるいは削除が可能である。
リスト属性には、各センサーで取得されるデータの属性が設定される。
画像センサーによって取得されるデータの属性は、２Ｄの色データ、３Ｄの深度データ、２Ｄの温度データ等を含む。
図示はしないが、データの属性は、温度センサー、湿度センサー、加速度センサー等によって取得されるデータのも、様々な属性が設定される。
【0043】
さらに、データ種類、属性毎にデータが取得された時間（タイムスタンプ）と、ＲＡＷデータのリストが格納される。ＲＡＷデータのリストは、データのインデックス情報でもよいし、ＲＡＷデータ自体でもよい。
上記のように、このデータベースは、情報処理装置１０に接続されるセンサーが追加された場合、センサーリストにそのセンサーを追加するとともに、リスト属性、取得時間、ＲＡＷデータリストを追加することが出来る。すなわち、データベースはセンサーの追加によるシステムのスケールに対応可能なデータベースである。
入力データはＲＡＷデータであり、二次元画像については、時間（受信データ・データベースＤＢ１への格納開始時刻）、記録場所、解像度、マスク情報などを含む。
マスク情報は、画像データに対して、特徴データの抽出や学習モデルとの比較を行う領域を限定するための情報である。マスクが施されていない領域について、抽出や比較の処理が行われる。
上記のように、このデータベースは、情報処理装置１０に接続されるセンサーが追加された場合、センサーリストにそのセンサーを追加するとともに、リスト属性、取得時間、ＲＡＷデータリストを追加することが出来る。すなわち、データベースはセンサーの追加によるシステムのスケールに対応可能なデータベースである。
入力データはＲＡＷデータであり、二次元画像については、時間（受信データ・データベースＤＢ１への格納開始時刻）、記録場所、解像度、マスク情報などを含む。
マスク情報は、画像データに対して、特徴データの抽出や学習モデルとの比較を行う領域を限定するための情報である。マスクが施されていない領域について、抽出や比較の処理が行われる。
【0044】
図５は、図４の受信データ・データベースに格納されるデータと設定された属性情報とに基づいて生成され、事実データ・データベースに格納された判定モデル（学習モデル）を示す図である。
図５のデータベースは、特徴データと、特徴データに対して利用者によって設定された属性と、に基づいてＡＩ学習器で生成されて図５のデータベースに格納された学習モデルを、センサーやリスト毎に管理する。
また、学習モデルが対応する（特徴データに設定されていた）属性情報（Ｃｏｒｒｅｃｔ、ｒｉｓｋ、ｅｒｒｏｒ）も登録されている。設定される属性情報も、適宜追記が可能である。
図５のデータベースは、特徴データと、特徴データに対して利用者によって設定された属性と、に基づいてＡＩ学習器で生成されて図５のデータベースに格納された学習モデルを、センサーやリスト毎に管理する。
また、学習モデルが対応する（特徴データに設定されていた）属性情報（Ｃｏｒｒｅｃｔ、ｒｉｓｋ、ｅｒｒｏｒ）も登録されている。設定される属性情報も、適宜追記が可能である。
【0045】
図５のデータベースは、さらには、学習モデルが基づいている特徴データの推定場所（差分推定場所）のＲｅｃｔａｎｇｌｅ情報（座標に基づく矩形情報）、特徴データの発生時刻と終了時刻を含む。
これらのＲｅｃｔａｎｇｌｅ情報や時刻の情報は、上記したように特徴データの抽出時に用いられる情報であるが、学習モデルを特定し、リアルタイムなＲＡＷデータと比較するためにも用いられる。
センサーリストやリスト属性、クラスター等を参考にして、図４のデータベースに格納されるＲＡＷデータと、図５のデータベースに格納される学習モデルとを比較する判断処理が行われる。
ＲＡＷデータと相関する学習モデルが見いだされた場合、その学習モデルの属性情報が出力される。
これらのＲｅｃｔａｎｇｌｅ情報や時刻の情報は、上記したように特徴データの抽出時に用いられる情報であるが、学習モデルを特定し、リアルタイムなＲＡＷデータと比較するためにも用いられる。
センサーリストやリスト属性、クラスター等を参考にして、図４のデータベースに格納されるＲＡＷデータと、図５のデータベースに格納される学習モデルとを比較する判断処理が行われる。
ＲＡＷデータと相関する学習モデルが見いだされた場合、その学習モデルの属性情報が出力される。
【0046】
図６は、本実施形態に係る情報処理システムが実行する処理を説明する概念図である。
図６を用いて、上記に説明した情報処理システムの特徴的な処理を整理して説明する。
図６に示すように、情報処理装置１０は、画像表示装置２８に表示されるイメージシーケンサ上において画像データを再生表示している。
カメラ１１でリアルタイムに撮像され、画像表示装置２８に表示されている画像データ（図４）中に、特徴量が出現（特徴的な動きが出現）したことが検出されたとき、その特徴量（特徴データ）を抽出する。
図４に示されるＲＡＷデータは、受信データ・データベースＤＢ１に格納されるものであると共に、そこから抽出される特徴データは学習モデルとの比較に用いられるデータである。
特徴データは、画像表示装置２８のイメージシーケンサにおいて、矩形で囲まれて表示される（ブロッキング）。
図６に示すように、情報処理装置１０は、抽出した特徴量を、予め生成されている学習モデル（図５のデータベースに格納）と比較する。特徴データが、図５のいずれの学習モデルとも一致しない場合、情報処理装置１０は「Ｕｎｋｎｏｗｎ」の属性を出力するか、あるいは、類似した学習データの属性を出力する。
特徴データが何れかの学習モデルと一致した場合、一致した学習モデルに基づく属性を出力する。例えば、「Ｒｉｓｋ」、「Ｓａｆｅ」、「Ｅｒｒｏｒ」である。
さらに、「Ｕｎｋｎｏｗｎ」と評価された特徴量に関しては、利用者は、「Ｒｉｓｋ」、「Ｓａｆｅ」、「Ｅｒｒｏｒ」などの属性を新たに付与する評価を行って新たな学習モデルを生成することが出来る。
属性が入力されると、情報処理装置１０は、特徴量の画像座標と、特徴量の画像、付与された属性を用いて、ＡＩ学習によって学習モデルを生成し、これを次回以降の評価に用いる。
上記したように、情報処理システムは、出力された属性に応じて定められた処理を実行する。
例えば、出力された属性が「Ｒｉｓｋ」であれば、管理者に対する電子メールの送信やＨＴＴＰ通信での管理コンソールへの表示によって、不具合が発生するリスクがあったことを通知して注意喚起を行う。
出力された属性が「Ｅｒｒｏｒ」であれば、深刻な事態に繋がる兆候があったとして、現場のラインを止めるなどの制御を行う。
図６を用いて、上記に説明した情報処理システムの特徴的な処理を整理して説明する。
図６に示すように、情報処理装置１０は、画像表示装置２８に表示されるイメージシーケンサ上において画像データを再生表示している。
カメラ１１でリアルタイムに撮像され、画像表示装置２８に表示されている画像データ（図４）中に、特徴量が出現（特徴的な動きが出現）したことが検出されたとき、その特徴量（特徴データ）を抽出する。
図４に示されるＲＡＷデータは、受信データ・データベースＤＢ１に格納されるものであると共に、そこから抽出される特徴データは学習モデルとの比較に用いられるデータである。
特徴データは、画像表示装置２８のイメージシーケンサにおいて、矩形で囲まれて表示される（ブロッキング）。
図６に示すように、情報処理装置１０は、抽出した特徴量を、予め生成されている学習モデル（図５のデータベースに格納）と比較する。特徴データが、図５のいずれの学習モデルとも一致しない場合、情報処理装置１０は「Ｕｎｋｎｏｗｎ」の属性を出力するか、あるいは、類似した学習データの属性を出力する。
特徴データが何れかの学習モデルと一致した場合、一致した学習モデルに基づく属性を出力する。例えば、「Ｒｉｓｋ」、「Ｓａｆｅ」、「Ｅｒｒｏｒ」である。
さらに、「Ｕｎｋｎｏｗｎ」と評価された特徴量に関しては、利用者は、「Ｒｉｓｋ」、「Ｓａｆｅ」、「Ｅｒｒｏｒ」などの属性を新たに付与する評価を行って新たな学習モデルを生成することが出来る。
属性が入力されると、情報処理装置１０は、特徴量の画像座標と、特徴量の画像、付与された属性を用いて、ＡＩ学習によって学習モデルを生成し、これを次回以降の評価に用いる。
上記したように、情報処理システムは、出力された属性に応じて定められた処理を実行する。
例えば、出力された属性が「Ｒｉｓｋ」であれば、管理者に対する電子メールの送信やＨＴＴＰ通信での管理コンソールへの表示によって、不具合が発生するリスクがあったことを通知して注意喚起を行う。
出力された属性が「Ｅｒｒｏｒ」であれば、深刻な事態に繋がる兆候があったとして、現場のラインを止めるなどの制御を行う。
【0047】
図７は、本実施形態の情報処理システムが実行する情報判定処理を説明するフローチャートである。
情報処理装置１０のＣＰＵ２１は、ステップＳ１０１において、画像データ、センサーデータの解析を開始する。
ＣＰＵ２１は、ステップＳ１０２において、画像データ、センサーデータに特徴データが含まれているか否かを判定する。
特徴データが含まれていないと判定した場合（ステップＳ１０２でＮｏ）は、ＣＰＵ２１は、そのまま処理を終了して画像データ、センサーデータの解析を継続する。
ステップＳ１０２において特徴データが含まれていると判定した場合（ステップＳ１０２でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０３において、見つかった特徴データを抽出する。
情報処理装置１０のＣＰＵ２１は、ステップＳ１０１において、画像データ、センサーデータの解析を開始する。
ＣＰＵ２１は、ステップＳ１０２において、画像データ、センサーデータに特徴データが含まれているか否かを判定する。
特徴データが含まれていないと判定した場合（ステップＳ１０２でＮｏ）は、ＣＰＵ２１は、そのまま処理を終了して画像データ、センサーデータの解析を継続する。
ステップＳ１０２において特徴データが含まれていると判定した場合（ステップＳ１０２でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０３において、見つかった特徴データを抽出する。
【0048】
次に、ＣＰＵ２１は、ステップＳ１０４において、見つかった特徴データに対応する（相関する）学習モデルが、オブジェクトマスタ（事実データ・データベースＤＢ２）に登録されているか否かを判定する。
対応する学習モデルがあると判定された場合（ステップＳ１０４でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０５において、対応する学習モデルから属性を取得する。
その後、ＣＰＵ２１は、ステップＳ１０６において、取得した属性に基づいた処理を実行して、情報判定処理を終了する。
例えば、属性の内容がＥｒｒｏｒであれば、ＨＴＴＰ通信を用いて管理システムのコンソール端末にエラー状態の表示を行わせる。また、管理者等が携帯する携帯端末に、エラー状態を示すメールを送信する。
対応する学習モデルがあると判定された場合（ステップＳ１０４でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０５において、対応する学習モデルから属性を取得する。
その後、ＣＰＵ２１は、ステップＳ１０６において、取得した属性に基づいた処理を実行して、情報判定処理を終了する。
例えば、属性の内容がＥｒｒｏｒであれば、ＨＴＴＰ通信を用いて管理システムのコンソール端末にエラー状態の表示を行わせる。また、管理者等が携帯する携帯端末に、エラー状態を示すメールを送信する。
【0049】
ステップＳ１０４において、見つかった特徴データに対応する学習モデルがないと判定された場合（ステップＳ１０４でＮｏ）、ＣＰＵ２１は、ステップＳ１０７において、現存する学習モデルのなかに見つかった特徴データと類似する学習モデルがあるか否かを判定する。
類似する学習モデルがあると判定した場合（ステップＳ１０７でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０８において、類似する学習モデルから属性を取得する。
そして、ＣＰＵ２１は、ステップＳ１０９において、ステップＳ１０６と同様に属性に基づく処理を実行して情報判定処理を終了する。
ステップＳ１０７において、類似する学習モデルがないと判定した場合（ステップＳ１０７でＮｏ）、ＣＰＵ２１は、ステップＳ１１０において、モデル生成処理のために特徴データを記録して情報判定処理を終了する。
類似する学習モデルがあると判定した場合（ステップＳ１０７でＹｅｓ）、ＣＰＵ２１は、ステップＳ１０８において、類似する学習モデルから属性を取得する。
そして、ＣＰＵ２１は、ステップＳ１０９において、ステップＳ１０６と同様に属性に基づく処理を実行して情報判定処理を終了する。
ステップＳ１０７において、類似する学習モデルがないと判定した場合（ステップＳ１０７でＮｏ）、ＣＰＵ２１は、ステップＳ１１０において、モデル生成処理のために特徴データを記録して情報判定処理を終了する。
【0050】
図８は、本実施形態の情報処理システムが実行するモデル処理を説明するフローチャートである。
ステップＳ２０１において、ＣＰＵ２１は、未処理（未分類）の特徴データが存在するか否かを判定する。
未処理データがあると判定した場合（ステップＳ２０１でＹｅｓ）、ＣＰＵ２１は、ステップＳ２０２において、特徴データに対する属性情報の入力（指定）を受け付ける。
ＣＰＵ２１は、ステップＳ２０３において、入力された属性情報と、それに対応する特徴データと、を用いて学習モデルを生成する。
次に、ＣＰＵ２１は、ステップＳ２０４において、生成した学習モデルを、事実データ・データベースＤＢ２に登録して、モデル生成処理を終了する。
上記のように構成したので、本実施形態の情報処理システムによれば、品質向上や生産性、安全性の阻害要因としてのヒューマンエラーに繋がる可能性がある振る舞いを定義し、学習モデル化し、ヒューマンエラーが発生する前にそれに繋がる振る舞いが検出された時点での適切な対処を可能とし、品質向上や生産性、安全性に寄与することが出来る。
ステップＳ２０１において、ＣＰＵ２１は、未処理（未分類）の特徴データが存在するか否かを判定する。
未処理データがあると判定した場合（ステップＳ２０１でＹｅｓ）、ＣＰＵ２１は、ステップＳ２０２において、特徴データに対する属性情報の入力（指定）を受け付ける。
ＣＰＵ２１は、ステップＳ２０３において、入力された属性情報と、それに対応する特徴データと、を用いて学習モデルを生成する。
次に、ＣＰＵ２１は、ステップＳ２０４において、生成した学習モデルを、事実データ・データベースＤＢ２に登録して、モデル生成処理を終了する。
上記のように構成したので、本実施形態の情報処理システムによれば、品質向上や生産性、安全性の阻害要因としてのヒューマンエラーに繋がる可能性がある振る舞いを定義し、学習モデル化し、ヒューマンエラーが発生する前にそれに繋がる振る舞いが検出された時点での適切な対処を可能とし、品質向上や生産性、安全性に寄与することが出来る。
【符号の説明】
【0051】
１…情報処理システム、１０…情報処理装置、１１…カメラ、１２…センサー、１３…ＡＩ学習器、ＤＢ１…受信データ・データベース、ＤＢ２…事実データ・データベース、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２７…ＧＰＩＯ、２８…画像表示装置、５１…画像取得処理部、５２…センサー値取得処理部、５３…ストリーミング配信処理部、５４…データ受信処理部、５５…受信データ格納処理部、５６…特徴データ抽出処理部、５７…属性付与処理部、５８…モデル生成処理部、５９…判定処理部、６０…出力処理部、６１…判定データ記録処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】