特開 2023-131060 監視対象物データ化システム、監視対象物データ化方法及び監視対象物データ化プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131060

(43)【公開日】2023-09-21

(54)【発明の名称】監視対象物データ化システム、監視対象物データ化方法及び監視対象物データ化プログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20230913BHJP

   G05B 23/02 20060101ALI20230913BHJP

【ＦＩ】

G05B19/418 Z

G05B23/02 G

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022035735

(22)【出願日】2022-03-08

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】久門 拓

(72)【発明者】

【氏名】平井 理宇

【テーマコード（参考）】

3C100

3C223

【Ｆターム（参考）】

3C100AA29

3C100AA56

3C100AA68

3C100BB12

3C100BB17

3C100BB34

3C223AA11

3C223BA01

3C223BB08

3C223CC01

3C223DD01

3C223FF13

3C223FF14

3C223FF15

3C223FF42

3C223FF52

3C223GG01

3C223HH08

(57)【要約】

【課題】監視対象物をデータ化するときの演算量を削減できる監視対象物データ化システム、監視対象物データ化方法及び監視対象物データ化プログラムを提供する。
【解決手段】監視対象物データ化システムは、検出範囲に含まれるセルに存在する検出対象物を撮像可能なカメラと、カメラから検出対象物の撮像画像を取得可能な情報処理装置と、を含む。情報処理装置は、データ化対象である監視対象物に関する計画情報を取得し、セルに存在する検出対象物が、監視対象物であると判定した場合、監視対象物であると判定した検出対象物が存在するセルを検出範囲に含むカメラが撮像した検出対象物の撮像画像を用いて、検出対象物をデータ化するデータ化処理を実行する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

検出範囲に含まれる空間に存在する検出対象物に関して前記検出対象物のデータ化に必要な第１情報を検出可能な第１センサと、
前記第１センサから前記第１情報を取得可能な情報処理装置と、
を含む監視対象物データ化システムであって、
前記情報処理装置は、
データ化対象である監視対象物に関する計画情報を取得し、
前記計画情報に基づいて前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサが検出した前記第１情報を取得し、前記第１情報を用いて、前記監視対象物であると判定した前記検出対象物をデータ化するデータ化処理を実行する、
ように構成された、
監視対象物データ化システム。

【請求項2】

請求項１に記載の監視対象物データ化システムにおいて、
前記情報処理装置は、
前記計画情報として、前記空間に前記監視対象物が存在するか否かを示す存在情報を取得し、
前記空間に存在する前記検出対象物が、前記存在情報が示す前記監視対象物と一致する場合、前記検出対象物が前記監視対象物であると判定する、
ように構成された、
監視対象物データ化システム。

【請求項3】

請求項１に記載の監視対象物データ化システムにおいて、
前記検出対象物に関する第２情報を検出する第２センサを更に備え、
前記情報処理装置は、
前記計画情報として、前記空間に前記監視対象物が存在するか否かを示す存在情報を取得し、
前記第２センサから前記第２情報を取得し、
前記第２情報に基づいて、前記空間に前記検出対象物が存在することを検出し、且つ、検出した前記検出対象物が、前記存在情報が示す前記監視対象物と一致する場合、前記検出対象物が前記監視対象物であると判定する、
ように構成された、
監視対象物データ化システム。

【請求項4】

請求項１に記載の監視対象物データ化システムにおいて、
前記検出対象物に関する第２情報を検出する第２センサを更に備え、
前記情報処理装置は、
前記計画情報として、予定時刻と、前記予定時刻にて前記空間に前記監視対象物が存在するか否かを示す存在情報と、を取得し、
前記第２センサから前記第２情報を取得し、
前記第２情報に基づいて、前記空間に前記検出対象物が存在することを検出し、且つ、検出した前記検出対象物が、前記存在情報が示す、前記第２情報を検出した時刻に対応する前記予定時刻にて前記空間に存在する前記監視対象物と一致する場合、前記検出対象物が前記監視対象物であると判定する、
ように構成された、
監視対象物データ化システム。

【請求項5】

請求項１に記載の監視対象物データ化システムにおいて、
前記情報処理装置は、
前記計画情報に基づいて、前記データ化処理の処理速度を変更する、
ように構成された、
監視対象物データ化システム。

【請求項6】

請求項１に記載の監視対象物データ化システムにおいて、
前記第１センサは、前記第１情報として、前記検出対象物を含む前記空間の撮像画像を取得可能である、
監視対象物データ化システム。

【請求項7】

請求項６に記載の監視対象物データ化システムにおいて、
前記検出対象物に関する第２情報を検出する第２センサと、
前記空間をセルとして定義し、前記セルの識別情報と前記第１センサの識別情報とが対応付けられた対応情報が記憶された記憶装置と、
を更に備え、
前記情報処理装置は、
前記計画情報として、予定時刻と、前記予定時刻にて前記セルに前記監視対象物が存在するか否かを示す存在情報と、を取得し、
前記第２センサから前記第２情報を取得し、
前記第２情報に基づいて、前記セルに前記検出対象物が存在することを検出し、且つ、検出した前記検出対象物が、前記存在情報が示す、前記第２情報を検出した時刻に対応する前記予定時刻にて前記セルに存在する前記監視対象物と一致する場合、前記セルをデータ化対象セルとして特定し、
前記対応情報に基づいて、前記データ化対象セルに対応する前記第１センサを、前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサとして特定する、
ように構成された、
監視対象物データ化システム。

【請求項8】

請求項６に記載の監視対象物データ化システムにおいて、
前記検出対象物に関する第２情報を検出する第２センサと、
前記空間をセルとして定義し、前記セルの識別情報と前記第１センサの識別情報とが対応付けられた対応情報が記憶された記憶装置と、
を更に備え、
前記情報処理装置は、
前記監視対象物を特定するための監視対象条件情報と、
前記計画情報として、予定時刻と、前記予定時刻にて前記セルに監視対象物が存在するか否かを示す存在情報と、を取得し、
前記第２センサから前記第２情報を取得し、
前記第２情報に基づいて、前記セルに前記検出対象物が存在することを検出し、且つ、検出した前記検出対象物が、前記監視対象条件情報が示す前記監視対象物であり、且つ、検出した前記検出対象物が、前記存在情報が示す、前記第２情報を検出した時刻に対応する前記予定時刻にて前記セルに存在する前記監視対象物と一致する場合、前記セルをデータ化対象セルとして特定し、
前記対応情報に基づいて、前記データ化対象セルに対応する前記第１センサを、前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサとして特定する、
ように構成された、
監視対象物データ化システム。

【請求項9】

請求項１に記載の監視対象物データ化システムにおいて、
複数の演算モデルを含むデータベースが格納された記憶装置を含み、
前記情報処理装置は、
前記監視対象物を特定するための監視対象条件情報及び前記監視対象物のデータ化手法を特定するための解析手法条件情報の少なくとも一つを入力するユーザインタフェースを備え、
前記情報処理装置は、
複数の演算モデルの中から、前記ユーザインタフェースに入力された前記少なくとも一つの情報に対応する前記演算モデルを選択して、選択した前記演算モデルを使用して前記データ化処理を実行する、
ように構成された、
監視対象物データ化システム。

【請求項10】

請求項４に記載の監視対象物データ化システムにおいて、
前記情報処理装置は、
前記監視対象物が作業者であり、
前記予定時刻と前記予定時刻にて前記空間に前記作業者が存在するか否かを示す前記存在情報とに対応する情報を含む計画書を前記計画情報として用いる、
ように構成された、
監視対象物データ化システム。

【請求項11】

請求項１０に記載の監視対象物データ化システムにおいて、
表示装置を更に備え、
前記情報処理装置は、
前記監視対象物データ化システムに、前記計画書を入力するための画面を前記表示装置に表示する、
ように構成された、
監視対象物データ化システム。

【請求項12】

請求項３に記載の監視対象物データ化システムにおいて、
表示装置を更に備え、
前記情報処理装置は、
前記空間に存在する前記検出対象物が前記監視対象物であると判定したときの根拠となる前記計画情報と、前記監視対象物であると判定した前記検出対象物が存在する前記空間を示す情報と、前記第１情報を検出した前記第１センサを示す情報と、を含む情報を前記表示装置に表示する、
ように構成された、
監視対象物データ化システム。

【請求項13】

請求項３に記載の監視対象物データ化システムにおいて、
複数の前記空間のそれぞれを前記検出範囲とする複数の前記第１センサを備え、
前記情報処理装置は、
前記空間の監視優先度を含む前記計画情報を取得し、
前記監視優先度に基づいて、複数の前記第１センサの中からデータ化処理に使用する前記第１情報を取得する前記第１センサを選択する、
ように構成された、
監視対象物データ化システム。

【請求項14】

検出範囲に含まれる空間に存在する検出対象物に関して前記検出対象物のデータ化に必要な第１情報を検出可能な第１センサと、
前記第１センサから前記第１情報を取得可能な情報処理装置と、
を用いた監視対象物データ化方法であって、
前記情報処理装置によって、
データ化対象である監視対象物に関する計画情報を取得し、
前記計画情報に基づいて前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサが検出した前記第１情報を取得し、前記第１情報を用いて、前記監視対象物であると判定した前記検出対象物をデータ化するデータ化処理を実行する、
監視対象物データ化方法。

【請求項15】

コンピュータに、
検出範囲に含まれる空間に存在する検出対象物に関して前記検出対象物のデータ化に必要な第１情報を検出可能な第１センサから前記第１情報を取得する処理と、
データ化対象である監視対象物に関する計画情報を取得し、前記計画情報に基づいて前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサが検出した前記第１情報を用いて、前記監視対象物であると判定した前記検出対象物をデータ化する処理と、
を実行させる、
監視対象物データ化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視対象物データ化システム、監視対象物データ化方法及び監視対象物データ化プログラムに関する。

【背景技術】

【0002】

工場の生産現場では、近年、国内労働者人口の減少に伴い、外国人労働者のような経験の浅い労働者割合が増加する一方、熟練作業者の高齢化により、熟練作業者の数が減少しているため、作業者が多様化し、各作業者の生産性のばらつきが発生している。生産性のばらつきは作業者だけではなく、例えば新旧が混在する加工機、ロボットなどの機械にもみられる。

【0003】

このような環境下では、生産ラインの迅速な立上げ、再構成、及び、生産遅延時における代替工程への動的切替の実現が難しい。そこで、複数セルからなる生産ラインで、各セルの状況を把握するために、工場内の様々な監視対象物をデータ化してボトルネックを特定する仕組みが必要である。なお、ここでセルとは、工場において、ある特定の作業をするための空間の意味で定義している。

【0004】

セルにおける監視対象物の状況を把握するために使用されるデータ化技術として、現場カメラ画像の入力に基づくＡＩ画像解析がある。しかし、ＡＩ画像解析には、監視対象物をデータ化するときの演算量が大きいという課題がある。

【0005】

演算量を低減するための従来技術として、特許文献１は、監視対象物の到着信号を受けて、センサを活性化するシステムを開示する。このシステムは、センサの消費電力が大きい第一のモードとセンサの消費電力が小さい第二のモードとを持つことと、所定の位置への到着通知を受け第一のモードに切り替わりが為されることと、を含む。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６－１６２３８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述したように、生産ラインにおいて、監視対象物をデータ化するときの演算量が大きい課題があり、監視対象物をデータ化するときの演算量を削減（低減）することが求められている。更に、このような監視対象物をデータ化することは、生産ラインに限らず、様々な場面で実行されており、そのような場面においても、監視対象物をデータ化するときの演算量を削減することが求められている。

【0008】

本発明は上記課題を解決するためになされた。即ち、本発明の目的の一つは、監視対象物をデータ化するときの演算量を削減できる監視対象物データ化システム、監視対象物データ化方法及び監視対象物データ化プログラムを提供することにある。

【課題を解決するための手段】

【0009】

上述した課題を解決するために、本発明の監視対象物データ化システムは、検出範囲に含まれる空間に存在する検出対象物に関して前記検出対象物のデータ化に必要な第１情報を検出可能な第１センサと、前記第１センサから前記第１情報を取得可能な情報処理装置と、を含む監視対象物データ化システムであって、前記情報処理装置は、データ化対象である監視対象物に関する計画情報を取得し、前記計画情報に基づいて前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサが検出した前記第１情報を取得し、前記第１情報を用いて、前記監視対象物であると判定した前記検出対象物をデータ化するデータ化処理を実行するように構成されている。

【0010】

本発明の監視対象物データ化方法は、検出範囲に含まれる空間に存在する検出対象物に関して前記検出対象物のデータ化に必要な第１情報を検出可能な第１センサと、前記第１センサから前記第１情報を取得可能な情報処理装置と、を用いた監視対象物データ化方法であって、前記情報処理装置によって、データ化対象である監視対象物に関する計画情報を取得し、前記計画情報に基づいて前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサが検出した前記第１情報を取得し、前記第１情報を用いて、前記監視対象物であると判定した前記検出対象物をデータ化するデータ化処理を実行する。

【0011】

本発明の監視対象物データ化プログラムは、検出範囲に含まれる空間に存在する検出対象物に関して前記検出対象物のデータ化に必要な第１情報を検出可能な第１センサから前記第１情報を取得する処理と、データ化対象である監視対象物に関する計画情報を取得し、前記計画情報に基づいて前記監視対象物であると判定した前記検出対象物が存在する前記空間を前記検出範囲に含む前記第１センサが検出した前記第１情報を用いて、前記監視対象物であると判定した前記検出対象物をデータ化する処理と、を実行させる。

【発明の効果】

【0012】

本発明によれば、監視対象物をデータ化するときの演算量を削減できる。

【図面の簡単な説明】

【0013】

【図1A】図１Ａは監視対象物データ化システムのシステム構成例及び情報処理装置の一例を説明するための概略構成図である。

【図1B】図１Ｂは情報処理装置のハードウェア構成の一例を示す概略ブロック図である。

【図2】図２は図１Ａに示した計画データベースが有する、計画データの一例を示す説明図である。

【図3】図３は４Ｍセンサ情報の一例を示す説明図である。

【図4】図４はセル／カメラ対応テーブルが有するテーブルの一例を示す説明図である。

【図5】図５は情報処理装置の動作を説明するためのシーケンス図である。

【図6】図６は解析セル抽出処理部が実行する処理フローを示すフローチャートである。

【図7】図７はカメラ入力絞込み処理部が実行する処理フローを示すフローチャートである。

【図8】図８は解析処理部が実行する処理フローを示すフローチャートである。

【図9】図９は監視対象物データ化システムの設定画面例を説明するための図である。

【図10】図１０は監視対象物データ化システムの諸判定結果の画面例を説明するための図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら本発明の各実施形態に係る監視対象物データ化システムについて説明する。

【0015】

なお、以下の説明では、「テーブル」、「行」、「レコード」などの表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されてもよい。更に、以下の説明では、識別情報について説明する際、「識別番号」、「識別情報」、「ＩＤ」、「名称」などの表現を用いるが、これらについてはお互いに置換が可能であり、更に、識別情報は、これら以外の表現を用いてもよい。

【0016】

更に、以下の説明では、「プログラム」や機能ブロックを主語として処理を説明する場合があるが、プログラムは、ＣＰＵによって実行されることで、定められた処理を行うため、処理の主語が、プログラムや機能ブロックに代えて、ＣＰＵとされてもよい。

【0017】

<<背景技術の詳細及び本発明の概要>>
まず本発明の理解を容易にするために、背景技術の詳細及び本発明の概要について説明する。上述したように、セルにおける監視対象物の状況を把握するために、監視対象物をデータ化するデータ化技術として、現場カメラ画像の入力に基づくＡＩ画像解析がある。しかし、ＡＩ画像解析には、演算量が大きいという課題がある。

【0018】

生産ライン全体の状況を把握するためには、複数セル分のＡＩ画像解析を同時に回す必要がある。しかし、導入工数コスト制約により、エッジ端末を複数置けないため、同時解析（複数セル分のＡＩ画像解析を同時に行うこと）が困難となる。

【0019】

同じＡＩモデルを共通利用して、一つのデバイスで複数のＡＩ画像解析を行うパイプライン処理では、メモリ使用量を増やさずに複数処理を実現できる。しかし、仮にパイプライン処理を用いたとしても、演算リソースの限られるエッジ端末で生産ライン全体の状況を見ることは困難である。

【0020】

一方で、演算量を削減するために、ＡＩ縮約技術やＡＩアクセラレータ利用に基づく、軽量化させたＡＩを用いる場合、ＡＩの画像認識処理の精度が低下してしまうため、データ化の精度低下が起こりうる。

【0021】

上述した特許文献１では、監視対象物の実際の計測情報に基づき、必要箇所の演算は行いつつも、不必要な演算を行わないことにより、全体の演算量が削減されている。しかし、実際に監視するべき対象物以外のオブジェクトの映り込みが想定される場合、計測情報のみでは、次で説明するように信頼性が低い場合があることが課題となる。工場における作業中の作業者のデータ化が望まれる例では、作業者を赤外線で検知し、検知された箇所のカメラをＡＩ画像解析するとした場合、作業中ではなく移動中の作業者も等しくＡＩ画像解析してしまう。あるいは作業者ではない、別の人が付近を歩いた場合も等しくＡＩ画像解析されデータ化されてしまう。このようにしてデータ化された情報は、作業中の作業者の情報であるかどうかの信頼度が低いことが考えられる。

【0022】

これに対して、本発明は、監視対象物の実際の計測情報だけでなく、計画情報も用いて、解析するセンサ（データ化する監視対象物）を決定する。これにより、本発明は、監視対象物をデータ化するときの演算量を低減できる。更に、本発明は、低遅延、低コストだがリソースの限られるエッジ端末でも、データ化の精度低下を引き起こさず、ライン全体の高信頼なデータ化を実現する。

【0023】

本発明の代表的な実施形態によれば、移動時の作業者や、作業者ではない人が、実際の計測情報としてセンサに映り込んだ/検知された場合でも、情報処理装置に含まれる抽出部が、計測結果を作業手順書などの生産計画情報と照合することで、従来システムの課題であった作業中の作業者以外の映り込みによるノイズを、切り分けて排除することが可能になる。

【0024】

本発明により、低遅延、低コストだがリソースの限られるエッジ端末でも、軽量化させたＡＩのようにデータ化の精度低下を引き起こさず、生産計画に記載された監視対象物に限った高信頼なデータ化を、ライン全体にわたって実現することができる。

【0025】

<<第１実施形態>>
図１Ａは、本発明の第１実施形態に係る監視対象物データ化システムのシステム構成例を示す。図１Ａに示すように、監視対象物データ化システムは、４Ｍセンサ１０１と、計画データベース１０２と、カメラ１０３と、解析条件入力ＵＩ１０４と、情報処理装置１０５と、を含む。

【0026】

監視対象物データ化システムは、４Ｍセンサ１０１と、計画データベース１０２と、カメラ１０３と、解析条件入力ＵＩ１０４と、から情報を入力し、システム１０６に情報（監視対象物をデータ化した情報）を出力する。

【0027】

４Ｍセンサ１０１は４Ｍ(ｈｕＭａｎ，Ｍａｃｈｉｎｅ，Ｍａｔｅｒｉａｌ，Ｍｅｔｈｏｄ)の情報を検出するためのセンサである。即ち、４Ｍセンサ１０１は、例えば製造業の工場では現場のあらゆるオブジェクトを検出するためのセンサである。

【0028】

計画データベース１０２はオブジェクトの現場での挙動の計画情報がまとめられたデータベースである。

【0029】

カメラ１０３は解析の入力とする情報（データ化に必要なオブジェクトの情報）を取得するためのカメラ（撮像装置）であり、本例では、複数台のカメラが存在している例を想定している。なお、カメラ１０３は、便宜上、「第１センサ」とも称呼される場合があり、４Ｍセンサ１０１は、便宜上、「第２センサ」とも称呼される場合がある。更に、第１センサから取得される情報は、便宜上、「第１情報」とも称呼される場合があり、第２センサから取得される情報は、便宜上、「第２情報」とも称呼される場合がある。

【0030】

カメラ１０３はそれぞれが各現場の作業場であるセル（カメラ１０３の検出範囲（撮像範囲）に含まれるセル）を撮影（撮像）し、撮像画像（「カメラ画像」とも称呼される。）を取得している。ここで、セルとは、上述したように、工場において、ある特定の作業をするための空間の意味で定義している。例えば、セル同士がライン上に連結することで、一つの部品の生産ラインを構成することができる。解析条件入力ＵＩ１０４は現場のあらゆるオブジェクト(４Ｍ)のうちデータ化を行う監視対象条件と、監視対象の解析手法条件を入力するためのＵＩ（ユーザインタフェース）である。

【0031】

システム１０６は演算結果（監視対象物をデータ化したデータ）を用いる何らかのシステムである。

【0032】

４Ｍセンサ１０１と、計画データベース１０２と、カメラ１０３と、解析条件入力ＵＩ１０４と、システム１０６とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク（なお、ネットワークは有線及び無線の何れであってもよい。）を介して情報処理装置１０５と通信可能に接続される。

【0033】

情報処理装置１０５は、４Ｍセンサ１０１と計画データベース１０２とカメラ１０３と解析条件入力ＵＩ１０４とから情報を受け付けて、情報処理装置１０５の内部で実行される処理に基づき、監視対象物のデータ化を行う。

【0034】

本例において、４Ｍセンサ１０１と、計画データベース１０２と、カメラ１０３と、解析条件入力ＵＩ１０４と、システム１０６とは、例えば、工場の生産作業現場に存在し、情報処理装置１０５は、例えば、工場の生産作業現場に存在する（例えば、工場の生産作業現場に存在するエッジ端末である。）。

【0035】

本例において、４Ｍセンサ１０１は、例えば、作業者を測定するための赤外線センサ、感圧センサ、バーコード、ボタン、機械を測定するための稼働情報のシグナル、電流センサ、部品を測定するための赤外線センサなどである。

【0036】

本例において、計画データベース１０２は、例えば、作業者やロボットや部品やツールの計画情報が示された製造工程表(ＢＯＰ(Bill of Process))、生産計画表などの計画書（計画表）、ＮＣ工作機のプログラム、ＰＬＣのラダープログラムなどである（具体例については図２で後述する。）。

【0037】

本例において、カメラ１０３は工場内のセルを撮影するカメラ（撮像装置）である。

【0038】

なお、図１Ａのシステム構成例を示す全体説明図では、４Ｍセンサ１０１とカメラ１０３と解析条件入力ＵＩ１０４とシステム１０６はそれぞれ１つずつであるが、４Ｍセンサ１０１とカメラ１０３と解析条件入力ＵＩ１０４はそれぞれ複数存在し、各々が、情報処理装置１０５と通信可能に接続されていてもよい。また、情報処理装置１０５も、計算処理条件や、エッジやクラウドなどの立地条件などの必要性に応じて、同様の機能を持つものが複数存在していてもよい。

【0039】

情報処理装置１０５は、情報取得部１１０と、抽出部１２０と、演算管理部１３０と、解析部１４０と、出力部１５０と、を内部に有する。更に、情報取得部１１０は、４Ｍ情報取得処理部１１１と、計画情報取得処理部１１２と、画像取得処理部１１３と、監視対象条件取得処理部１１４と、解析手法条件取得処理部１１５とを内部に有する。抽出部１２０は解析セル抽出処理部１２１を内部に有する。演算管理部１３０は、カメラ入力絞込み処理部１３１と、セル/カメラ対応テーブル１３２とを内部に有する。解析部１４０は解析処理部１４１と、演算モデルデータベース１４２とを内部に有する。

【0040】

情報取得部１１０では、４Ｍ情報取得処理部１１１が４Ｍセンサ１０１から現場のあらゆるオブジェクト（検出対象（検出対象物））の現在の情報を取得し（具体例については図３で後述する）し、計画情報取得処理部１１２が計画データベース１０２からオブジェクトの現場での挙動の計画情報を取得する。更に、情報取得部１１０では、画像取得処理部１１３がカメラ１０３から各セルに存在するオブジェクトの画像（撮像画像（カメラ画像））を取得し、監視対象条件取得処理部１１４と、解析手法条件取得処理部１１５が、解析条件入力ＵＩ１０４からそれぞれ、現場のあらゆるオブジェクト(４Ｍ)のうちデータ化を行う監視対象条件と、監視対象の解析手法条件とを取得する。なお、監視対象条件取得処理部１１４で取得する情報は例えば「監視対象：作業者」「監視対象：ロボット」のようなものであり、解析手法条件取得処理部１１５で取得する情報は例えば「解析手法：骨格検知」「解析手法：物体検出」のようなものである。

【0041】

取得された各情報は情報取得部１１０で時刻同期される。もしくは情報取得より前に４Ｍセンサ１０１と、計画データベース１０２の時刻情報と、カメラ１０３と、解析条件入力ＵＩ１０４とが時刻同期されていて、そのタイムスタンプを用いてもよい。

【0042】

４Ｍ情報取得処理部１１１と、計画情報取得処理部１１２と、監視対象条件取得処理部１１４で取得されたデータは、抽出部１２０に送信され、画像取得処理部１１３で取得されたデータは、演算管理部１３０に送信され、解析手法条件取得処理部１１５で取得されたデータは解析部１４０に送信される。

【0043】

抽出部１２０は、情報取得部１１０の内部の、監視対象条件取得処理部１１４から送信された監視対象条件の情報と、４Ｍ情報取得処理部１１１から送信された監視対象の現在の情報と、計画情報取得処理部１１２から送信された監視対象物の挙動の計画情報とを照合することで、解析セル抽出処理部１２１が解析するべき監視対象物のセルを抽出する。

【0044】

具体的には、解析条件入力ＵＩ１０４に入力された監視対象物の条件が作業者だとして、あるセルに設置された４Ｍセンサ１０１が作業者を検知したとする。すると、抽出部１２０は、計画データベース１０２に格納されている情報に基づき、現実データと計画データ（計画情報）とを照合する。これにより、抽出部１２０は、作業者を検知した４Ｍセンサ１０１に対応する該当セルに計画として作業者が存在するか（該当セルの計画に作業者が存在するか）否かを確認する。照合した結果、該当セルに計画として作業者が存在する場合（「ＹＥＳ」の場合）、抽出部１２０は、解析するべき作業者が該当セルに存在すると判断できるので、作業者が検知された該当セルを抽出する。

【0045】

該当セルに計画として作業者が存在しない場合（「ＮＯ」の場合）、該当セルに検知された作業者は計画データ（計画情報）にはない挙動を示すことにより検知されたにすぎないので、抽出部１２０は、検知された作業者を、単に映り込んだノイズ情報とみなし、該当セルを抽出しない。抽出された監視対象物が存在する該当セルの情報（セル識別情報（セルＩＤ））は、演算管理部１３０に送信される。詳細な処理例は図６で後述する。

【0046】

これにより、実際の監視対象物の存在情報によって解析の入力が決まるものとは異なり、計画情報に基づき、生産管理の観点で実際にデータ化を行いたい監視対象物のみが抽出され、解析（解析部１４０）に入力される。

【0047】

演算管理部１３０では、カメラ入力絞込み処理部１３１が、抽出部１２０の内部の、解析セル抽出処理部１２１から送信された解析するべき監視対象物のセルの情報を、セル/カメラ対応テーブル１３２（具体例については図４で後述する）のルールに基づき、解析するべき監視対象物のカメラの情報に変換する。そして、カメラ入力絞込み処理部１３１が、情報取得部１１０の内部の、画像取得処理部１１３から送信されたカメラ画像の入力を、全カメラ画像のうち解析するべき監視対象物のカメラ画像のみに絞り、絞り込まれた監視対象物のカメラ画像を、解析部１４０に送信する。詳細な処理例は図７で後述する。

【0048】

なお、セル/カメラ対応テーブル１３２は、後に詳述するように、例えば、登録されているすべてのカメラ１０３のカメラ識別情報（カメラＩＤ）と工場内のセルのセル識別情報（セルＩＤ）の対応付けが予め定義されたテーブルである。カメラ入力絞込み処理部１３１はセル/カメラ対応テーブル１３２を参照し、送信されたカメラ１０３のカメラ画像から該当するカメラＩＤのカメラ１０３のカメラ画像のみを送信し、その他のカメラＩＤのカメラ画像を送信しない。

【0049】

これにより、解析部１４０での演算量を削減することができ、高速な演算あるいはリソースの少ない計算機での演算を実現できる。

【0050】

解析部１４０では、解析処理部１４１が、情報取得部１１０の内部の、解析手法条件取得処理部１１５から送信された監視対象物の解析手法条件に基づき、演算モデルデータベース１４２から、解析（データ化）に必要な演算モデルを取得する。演算モデルデータベース１４２には、複数の演算モデルが格納されている。演算モデルの例としては、例えば、画像を入力として、作業者の骨格データを抽出するための演算モデル（例えば、画像を入力として骨格データを出力するＣＮＮ（Convolution Neural Network））、画像を入力として、物体を認識するための演算モデル（例えば、画像を入力として、物体の種類、位置、大きさなどの物体データを出力するＣＮＮ）である。

【0051】

そして、解析処理部１４１は、取得した演算モデルを用いて、演算管理部１３０の内部の、カメラ入力絞込み処理部１３１から送信された、絞り込まれた監視対象物のカメラ画像の演算を実施する。演算結果は、出力部１５０に送信される。詳細な処理例は、後に図８を参照しながら詳述する。

【0052】

なお、演算モデルデータベース１４２は、例えば、解析手法条件取得処理部１１５が取得する解析手法情報に対応した演算モデルが格納されているデータベースであるが、解析手法条件取得処理部１１５の情報は必ずしも使われている必要はない。

【0053】

例えば、解析手法条件取得処理部１１５というものは存在せず、事前に「解析手法：骨格検知」というように固定されていて、骨格検知モデルを演算モデルデータベース１４２から常に取得する、というような構成でもよい。この場合、ユーザの多種多様な要求にこたえられない懸念点が挙げられるが、作成コストや顧客ニーズを鑑みて、適切に決定されればよい。

【0054】

従来の技術では解析処理部１４１での演算量を減らすためのカメラ入力絞込み判定方法において、現場の計画情報が用いられていない。これに対して、第１実施形態に係る監視対象物データ化システムでは、抽出部１２０による解析セル抽出処理で、計画情報に基づく判定（セルに存在する検出対象物が計画情報に一致する監視対象物であるか否かの判定）が行われることにより、生産管理の観点で、計画情報と一致する重要度の高い監視対象物のみのデータ化が可能となり、高信頼のデータ化（デジタルデータ化）が実現される。

【0055】

出力部１５０は、解析部１４０の内部の解析処理部１４１から送信された、解析（データ化）するべき監視対象物のカメラ１０３のカメラ画像のみに絞り演算された結果を出力する。出力部１５０は出力方法として、例えば、通信可能に接続された、システム１０６に情報を出力する。

【0056】

システム１０６は、例えば、出力部１５０の情報に基づき、リアルタイム支援を実現する支援システムであったり、生産管理のためのオフライン解析システムであったり、結果を記録用としてｃｓｖファイルなどに書き込む演算結果記録システムなどが考えられるシステム１０６は、監視対象物データ化システムに含まれていても、含まれていなくてもよい。

【0057】

変形例として、出力部１５０は、例えば、本結果をそのままディスプレイ、スピーカー、プロジェクションマッピングなどで出力するような監視対象物データ化装置でも構わない。

【0058】

図１Ｂは、情報処理装置１０５のハードウェア構成の一例を示す概略構成図である。図１Ｂに示すように、情報処理装置１０５は、ＣＰＵ１７１、ＲＯＭ１７２、ＲＡＭ１７３、データの読み出し及び書き込み可能な不揮発性の記憶装置（ＨＤＤ）１７４、ネットワークインタフェース１７５及び入出力インタフェース１７６などを含む。これらは、バス１７７を介して互いに通信可能に接続されている。ＣＰＵ１７１、ＲＯＭ１７２、ＲＡＭ１７３、データの読み出し及び書き込み可能な不揮発性の記憶装置（ＨＤＤ）１７４、ネットワークインタフェース１７５、入出力インタフェース１７６及びバス１７７などを含む装置は、「コンピュータ」とも称呼される場合がある。なお、本例では、情報処理装置１０５は、一つの情報処理装置であるが、情報処理装置１０５は、複数の情報処理装置であってもよい。情報処理装置１０５は、クラウド上に構築される仮想的な情報処理装置であってもよい。

【0059】

ＣＰＵ１７１はＲＯＭ１７２及び／又は記憶装置１７４に格納された図示しない各種プログラムをＲＡＭ１７３にロードし、ＲＡＭ１７３にロードされたプログラムを実行することによって、各種機能を実現する。ＲＡＭ１７３には、上述したようにＣＰＵ１７１が実行する各種プログラムがロードされ、ＣＰＵ１７１が各種プログラムを実行する際に使用するデータが一時的に記憶される。ＲＯＭ１７２及び／又は記憶装置１７４は、不揮発性の記憶媒体であり、各種プログラムが記憶されている。ネットワークインタフェース１７５は、情報処理装置１０５がネットワークに接続されるためのインタフェースである。入出力インタフェース１７６は、キーボード、マウスなどの操作装置及びディスプレイに接続されるためのインタフェースである。

【0060】

情報取得部１１０は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラムで構成される。４Ｍ情報取得処理部１１１、計画情報取得処理部１１２、画像取得処理部１１３、監視対象条件取得処理部１１４、解析手法条件取得処理部１１５は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラムで構成される。

【0061】

抽出部１２０は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラムで構成される。解析セル抽出処理部１２１は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラムで構成される。演算管理部１３０は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラム並びに記憶装置１７４で構成される。カメラ入力絞り込み処理部１３１は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラムで構成される。セル／カメラ対応テーブル１３２は、記憶装置１７４に格納されている。解析部１４０は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラム並びに記憶装置１７４で構成される。解析処理部１４１は、ＲＯＭ１７２及び／又は記憶装置１７４に格納されたプログラムで構成される。演算モデルデータベース１４２は、記憶装置１７４に格納されている。出力部１５０は、入出力インタフェース１７６により構成される。

【0062】

なお、記憶装置１７４の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリなどが挙げられる。計画データベース１０２と、セル/カメラ対応テーブル１３２と演算モデルデータベース１４２は、情報処理装置１０５の内部に存在するとして説明したが、これらは、情報処理装置１０５の外部に存在する記憶装置に格納されていてもよい。

【0063】

図２は、図１Ａに示した計画データベース１０２が有する、データ（データ形式）の一例である計画情報テーブルＴＢ１を示す説明図である。計画情報テーブルＴＢ１は、計画データベース１０２の説明で示した、作業者やロボットや部品やツールの計画情報が示された計画書である製造工程表(ＢＯＰ)、生産計画表、ＮＣ工作機のプログラム、ＰＬＣのラダープログラムなどのうち、製造工程表(ＢＯＰ)を想定した例（製造工程表に対応する例）である。

【0064】

例えば、製造工程表（ＢＯＰ）をコンピュータに入力することにより、製造工程表（ＢＯＰ）に対応する計画情報である計画情報テーブルＴＢ１（計画書、作業手順書）が作成される。計画情報テーブルＴＢ１は、製造工程表（ＢＰＯ）自体であってもよい。

【0065】

計画データベース１０２には、作業の実施が想定される期間を複数の期間に分割した複数の期間の情報（計画情報（例えば、計画情報テーブル））が含まれている。

【0066】

図２に示す計画情報テーブルＴＢ１は、複数の期間のうちの一つの期間の情報の一例としてのある時刻ｔ１～時刻ｔ２までの期間の情報を示す。

【0067】

図２に示すように、計画情報テーブルＴＢ１は、情報を格納する格納する列（カラム）として、セルＩＤ２０１、タスク名２０２、作業者数２０３、ロボット数２０４、ＮＣ加工機数２０５、部品数２０６、部品名２０７、ツール数２０８、ツール名２０９、作業時間２１０及び作業重要度２１１などを含む。計画情報テーブルＴＢ１には、製造工程に関する各列に対応する情報が互いに対応付けられて、一つの行単位の情報（レコード）として、格納される。具体的に述べると、セルＩＤ２０１には、工場においてある特定タスクを行う空間（セル）を識別するためのセルＩＤ（識別番号）が格納されている。タスク名２０２には、タスクを示す識別情報（タスク名称）が格納されている。作業者数２０３には、セルで行われるタスクの人員数（作業者の数）が格納されている。ロボット数２０４には、セルに配置されたロボットの数が格納されている。ＮＣ加工機数２０５には、セルに配置されたＮＣ加工機数が格納されている。部品数２０６には、タスクが実施されるのに用いられる部品数が格納されている。部品名２０７には、部品の名称が格納されている。ツール数２０８には、ツールの数が格納されている。ツール名２０９には、ツールの名称が格納されている。作業時間２１０には、タスクの始まりから終わりまでにかかる時間が格納されている。作業重要度２１１には、作業の重要度を示す情報が格納されている。

【0068】

なお、計画情報テーブルＴＢ１に格納された情報は、本演算装置の結果あるいは別の監視装置の結果あるいは管理者の知見などに基づいて適切なタイミングで修正が為されてもよい。具体的には、例えば、所定のプログラムが実行されることにより、作業時間２１０に格納された情報がデータ化情報に基づいてより現実に近い数値に補正されてもよいし、作業重要度２１１は、データ化情報や管理者の考え方に応じて適切に修正が為されても良い。更に、計画情報テーブルＴＢ１（計画情報）は、一日単位の情報であってもよく、複数日単位の情報であってもよく、時間（時刻）に依存しない情報であってもよい。

【0069】

図３は、図１Ａに示した４Ｍ情報取得処理部１１１が取得する、４Ｍセンサ１０１情報の一例の説明図である。図３に示すように、４Ｍ情報取得処理部１１１が取得する情報は、テーブル形式で表されており、情報を格納する格納する列（カラム）として、センサＩＤ３０１、センサ名３０２、取り付けセルＩＤ３０３、検知対象物名３０４及び検知判定結果３０５を含む。４Ｍ情報取得処理部１１１が取得する情報には、４Ｍ情報取得処理部１１１が取得する情報に関する各列に対応する情報が互いに対応付けられて、一つの行単位の情報（レコード）として、格納される。

【0070】

具体的に述べると、センサＩＤ３０１には、センサを識別するためのセンサＩＤ（識別番号）が格納されている。センサ名３０２には、センサの名称が格納されている。取り付けセルＩＤ３０３には、各々のセンサが取り付けられている（設置されている）セルを識別するためのセルＩＤ（識別番号）が格納されている。検知対象物名３０４には、センサが検知する検知対象物を示す情報（検知対象物の名称）が格納されている。検知判定結果３０５には、検知対象物の検知結果を示す情報が格納されている。本例において、取り付けセルＩＤ３０３に格納されるＩＤには、図２で説明した計画データベース１０２が有する計画情報テーブルＴＢ１のセルＩＤ２０１と同一のＩＤが振られている（割り当てられている。）。なお、図２及び図３を例にした判定方法としては、後に図６を参照しながら詳述する。

【0071】

図４は、図１Ａに示したセル/カメラ対応テーブル１３２が有するテーブルの一例を示す説明図である。図４に示すように、テーブルは、情報を格納する格納する列（カラム）として、カメラＩＤ４０１と、セルＩＤ４０２とを含む。テーブルには、カメラ１０３及びセルに関する各列に対応する情報が互いに対応付けられて、一つの行単位の情報（レコード）として、格納される。カメラＩＤ４０１には、工場内のセルを撮影するカメラ１０３を識別するためのカメラＩＤ（識別番号）が格納されている。セルＩＤ４０２には、各カメラ１０３が撮影するセルを識別するためのセルＩＤ（識別番号）が格納されている。

【0072】

なお、図２乃至図４の各図のテーブルにおいて使用される（格納される）セルＩＤは、共通している。更に、図４において、一つのカメラＩＤに対して、一つのセルＩＤが対応付けられているが、カメラ１０３が撮影するセルが複数ある場合、一つのカメラＩＤに対して、複数のセルＩＤが対応付けられていてもよい。本例において、一つのカメラ１０３が一つのセルを撮影するため、一つのカメラＩＤに対して、一つのセルＩＤが対応付けられている。更に、図４では、一つのカメラＩＤ４０１に格納されるカメラＩＤと、セルＩＤ４０２に格納されるセルＩＤは１対１対応しているとする。なお、これらのＩＤは、必ずしも１対１対応している必要性はない。

【0073】

＜作動の概要＞
図５は、図１Ａに示した情報処理装置１０５の主要機能部におけるシーケンス図の一例である。図５のシーケンス図に基づく動作は次の通りである。

【0074】

ステップ５０１：抽出部１２０の内部の、解析セル抽出処理部１２１は、情報取得部１１０の内部の、監視対象条件取得処理部１１４と４Ｍ情報取得処理部１１１と計画情報取得処理部１１２に情報リクエストを送信する。

【0075】

監視対象条件取得処理部１１４と４Ｍ情報取得処理部１１１と計画情報取得処理部１１２は、解析セル抽出処理部１２１に応答する。

【0076】

ステップ５０２：解析セル抽出処理部１２１は、応答情報に基づき解析するセルの抽出処理を実施。

【0077】

ステップ５０３：解析セル抽出処理部１２１は、解析するセルの抽出結果を演算管理部１３０の内部の、カメラ入力絞込み処理部１３１に送信する。

【0078】

ステップ５０４：カメラ入力絞込み処理部１３１は、セル/カメラ対応テーブル１３２に情報リクエストを送信する。セル/カメラ対応テーブル１３２はカメラ入力絞込み処理部１３１に応答する。

【0079】

ステップ５０５：カメラ入力絞込み処理部１３１は、応答情報と、ステップ５０３で送信された解析するセルの抽出結果に基づき、解析するセルの情報（セルＩＤ）を解析するカメラ１０３の情報（カメラＩＤ）に変換する。

【0080】

ステップ５０６：カメラ入力絞込み処理部１３１は、情報取得部１１０の内部の、画像取得処理部１１３にカメラ１０３の全画像の情報リクエストを送信する。画像取得処理部１１３はカメラ入力絞込み処理部１３１に応答する。

【0081】

ステップ５０７：カメラ入力絞込み処理部１３１は、応答情報と、ステップ５０５で変換された解析するカメラ１０３の情報（カメラＩＤ）に基づき、全カメラ１０３のカメラ画像を絞り込む。

【0082】

ステップ５０８：カメラ入力絞込み処理部１３１は、絞り込んだカメラ画像を解析部１４０の内部の、解析処理部１４１に送信する。

【0083】

ステップ５０９：解析処理部１４１は、情報取得部１１０の内部の、解析手法条件取得処理部１１５に監視対象（監視対象物）の解析手法条件の情報リクエストを送信する。解析手法条件取得処理部１１５は解析処理部１４１に応答する。

【0084】

ステップ５１０：解析処理部１４１は、応答情報に基づき解析手法の演算モデルを判定する（選択する。）。

【0085】

ステップ５１１：解析処理部１４１は、演算モデルデータベース１４２に演算モデルのリクエストを送信する。演算モデルデータベース１４２は解析処理部１４１に応答する。

【0086】

ステップ５１２：解析処理部１４１は、応答情報と、ステップ５０８で送信された絞り込まれた監視対象物のカメラ画像を用いて、演算を実施する。

【0087】

ステップ５１３：解析処理部１４１は、演算結果を出力部１５０に送信する。

【0088】

ステップ５１４：出力部１５０は、送信された演算結果を出力する。

【0089】

図６は、図１Ａ、図５に示した抽出部１２０の内部の、解析セル抽出処理部１２１が実行する抽出判定の処理フローを示すフローチャートである。

【0090】

解析セル抽出処理部１２１は、ステップ６００から処理を開始し、以下に述べるステップ６０１乃至ステップ６０３の処理を順に実行した後、ステップ６０４に進む。

【0091】

ステップ６０１：解析セル抽出処理部１２１は、情報取得部１１０の内部の、監視対象条件取得処理部１１４からデータ化する監視対象（監視対象物）の情報（例えば、どのような物体を監視対象とする否かを特定するための情報）を取得する。

【0092】

ステップ６０２：解析セル抽出処理部１２１は、情報取得部１１０の内部の、計画情報取得処理部１１２から各セルでの監視対象（監視対象物）の計画情報（例えば、セルに監視対象が存在するか否かを示す存在情報を含む計画情報）を取得する。

【0093】

ステップ６０３：解析セル抽出処理部１２１は、情報取得部１１０の内部の、４Ｍ情報取得処理部１１１から現在の監視対象の情報（例えば、セルにおける検知対象物の検知情報）を取得する。

【0094】

解析セル抽出処理部１２１は、ステップ６０４に進むと、判定１を実行する。即ち、解析セル抽出処理部１２１は、４Ｍ情報取得処理で、監視対象の情報が取得されたか否かを判定する。

【0095】

４Ｍ情報取得処理で、監視対象の情報が取得された場合、解析セル抽出処理部１２１は、ステップ６０４にて「ＹＥＳ」と判定してステップ６０５に進み、判定２を実行する。即ち、解析セル抽出処理部１２１は、監視対象の情報が計画情報と一致しているか否かを判定する。換言すると、解析セル抽出処理部１２１は、監視対象の情報に含まれる検知対象物名と、計画情報の監視対象物とが一致しているか否かを判定する。

【0096】

監視対象の情報が計画情報と一致している場合、解析セル抽出処理部１２１は、ステップ６０５にて「ＹＥＳ」と判定してステップ６０６に進む。

【0097】

解析セル抽出処理部１２１は、ステップ６０６に進むと、解析するセルを演算管理部１３０の内部のカメラ入力絞込み処理部１３１に送信する。図２、図３の例では、監視対象の情報に含まれる検知対象物名と、計画情報の監視対象物とが一致している「セルＩＤの２のセルを解析する」というような情報が送信される。その後、解析セル抽出処理部１２１は、ステップ６９５に進んで本処理フローを一旦終了する。

【0098】

一方、ステップ６０５にて、監視対象の情報が計画情報と一致していない場合、解析セル抽出処理部１２１は、ステップ６０５にて「ＮＯ」と判定してステップ６０７に進み、演算管理部１３０の内部のカメラ入力絞込み処理部１３１に情報を送信しないで、ステップ６９５に進み、本処理フローを一旦終了する。

【0099】

ステップ６０４にて、ステップ６０４の４Ｍ情報取得処理で、監視対象の情報が取得されていない場合、解析セル抽出処理部１２１は、ステップ６０４にて「ＮＯ」と判定してステップ６０７に進み、演算管理部１３０の内部のカメラ入力絞込み処理部１３１に情報を送信しないで、ステップ６９５に進み、本処理フローを一旦終了する。

【0100】

実際の監視対象物の存在情報によって解析の入力が決まる従来技術と異なり、ステップ６０５の判定２が存在することにより、計画データにはない挙動を示した監視対象物（例えば作業者）は、単にカメラ１０３に映り込んだノイズ情報とみなされて該当セルが抽出されなくなり、生産管理の観点で実際にデータ化を行いたい監視対象物のセルのみが抽出され、解析に入力される。

【0101】

図７は、図１Ａ、図５に示した演算管理部１３０の内部の、カメラ入力絞込み処理部１３１が実行する絞り込み判定の処理フローを示すフローチャートである。

【0102】

カメラ入力絞込み処理部１３１は、ステップ７００から処理を開始し、以下に述べるステップ７０１乃至ステップ７０６の処理を順に実行した後、ステップ７９５に進んで本処理フローを一旦終了する。

【0103】

ステップ７０１：カメラ入力絞込み処理部１３１は、抽出部１２０の内部の、解析セル抽出処理部１２１から解析するセルの情報（セルＩＤ）を取得する。

【0104】

ステップ７０２：カメラ入力絞込み処理部１３１は、セル/カメラ対応テーブル１３２からカメラＩＤとセルＩＤの対応付けが定義されたテーブルを取得する。具体例は図４である。

【0105】

ステップ７０３：カメラ入力絞込み処理部１３１は、テーブルを用いて解析するカメラ１０３を特定する。図４の例では、ステップ７０１で「セルＩＤの２のセルを解析する」という情報が取得された場合、セルＩＤ４０２が「２」となる箇所（行４０３）を確認して、対応するカメラＩＤ４０１に変換する。この例では、「カメラＩＤの４のカメラを解析する」という情報に変換される。

【0106】

ステップ７０４：カメラ入力絞込み処理部１３１は、情報取得部１１０の内部の、画像取得処理部１１３からカメラ１０３の全カメラ画像を取得する。

【0107】

ステップ７０５：カメラ入力絞込み処理部１３１は、ステップ７０３で変換した情報に基づき、取得した全カメラ画像から解析するカメラ画像のみに情報を絞る。

【0108】

ステップ７０６：カメラ入力絞込み処理部１３１は、絞り込まれたカメラ画像のみを、解析部１４０の内部の解析処理部１４１に送信する。これにより解析処理部１４１での演算量を削減することができる。

【0109】

図８は、図１Ａ、図５に示した解析部１４０の内部の、解析処理部１４１が実行する解析の処理フローを示すフローチャートである。

【0110】

解析部１４０は、ステップ８００から処理を開始し、以下に述べるステップ８０１乃至ステップ８０６の処理を順に実行した後、ステップ８９５に進んで本処理フローを一旦終了する。

【0111】

ステップ８０１：解析部１４０は、演算管理部１３０の内部の、カメラ入力絞込み処理部１３１から演算を実施するカメラ画像を取得する。

【0112】

ステップ８０２：解析部１４０は、情報取得部１１０の内部の、解析手法条件取得処理部１１５から監視対象の解析手法条件を取得する。

【0113】

ステップ８０３：解析部１４０は、解析手法条件に基づき、解析手法条件に対応する演算モデルを判定（選択、決定）する。

【0114】

ステップ８０４：解析部１４０は、演算モデルデータベース１４２の複数の演算モデルの中から、ステップ８０３にて判定（選択、決定）された演算モデルを取得する。

【0115】

ステップ８０５：解析部１４０は、ステップ８０４にて取得した演算モデルを用いてステップ８０１で取得したカメラ画像を入力として演算を実施する。即ち、解析部１４０は、カメラ画像を入力として、演算モデルを用いて、監視対象をデータ化する。

【0116】

ステップ８０６：解析部１４０は、演算結果（監視対象をデータ化したデータ）を出力部１５０に送信する。

【0117】

図９は、監視対象物データ化システムの設定画面例を示す説明図である。監視対象物データ化システムは、監視対象物データ化システムが正常に動作するための設定画面として、例えば図９のような設定画面９０１を表示装置ＤＰ１に表示する。表示装置ＤＰ１は、情報処理装置１０５に接続されている。

【0118】

設定画面９０１は、ＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面である。ユーザは、情報処理装置１０５に接続されたマウス、キーボードなどの入力装置を介して、ＧＵＩを操作する（ＧＵＩに情報を入力する。）。

【0119】

図９に示すように、設定画面９０１は、監視対象入力欄９０２と、解析手法入力欄９０３と、計画データ読み込み領域９０４と、２択選択肢９０５と、を含む。監視対象入力欄９０２には、監視対象が入力（選択）される。本例では、監視対象入力欄９０２には、「作業者」が入力されている。解析手法入力欄９０３には、解析手法が入力（選択）される。本例では、解析手法入力欄９０３には、「骨格検知」が入力されている。

【0120】

このように、設定画面９０１には、監視対象を入力（選択）する箇所(監視対象入力欄９０２)や解析手法を入力（選択）する箇所(解析手法入力欄９０３)が含まれている。従って、監視対象条件取得処理部１１４及び解析手法条件取得処理部１１５は、それぞれ、監視対象入力欄９０２及び解析手法入力欄９０３に入力された条件を取得することが可能となる。

【0121】

また、設定画面９０１には、例えば計画データである計画書を読み込む箇所である計画データ読み込み領域９０４が含まれている。これにより、計画データ読み込み領域９０４に計画データを読み込むことにより、読み込まれた計画データに基づいて、計画情報取得処理部１１２が取得する情報を指定することや、計画データベース１０２の情報を追加・更新することや、後述する図１０において表示する計画データを選択することなどができる。

【0122】

図１０は、監視対象物データ化システムの解析セル抽出処理部１２１における抽出判定及びカメラ入力絞込み処理部における絞込み判定結果の画面例を示す説明図である。

【0123】

例えば、図９の設定画面９０１が表示された状態で、判定の文字を操作すると、設定画面９０１から判定結果画面１００１に切り替わり、判定結果画面１００１が、表示装置ＤＰ１に表示される。

【0124】

判定結果画面１００１は、監視対象表示部１００２と、監視対象検知セル表示部１００３と、計画データ表示部１００４と、解析対象セル抽出判定結果表示部１００５と、絞り込みカメラ判定結果表示部１００６と、を含む。

【0125】

監視対象表示部１００２には、設定画面９０１で設定した監視対象（本例では、作業者）が表示される。

【0126】

監視対象検知セル表示部１００３には、４Ｍセンサ１０１が取得した情報のうち、検知した監視対象セルの情報（本例では、ＩＤ２、ＩＤ３）が表示される。

【0127】

計画データ表示部１００４には、例えば計画書（作業手順書）といった計画データ（計画情報）が表示され、検知した監視対象のセルの計画データが表示される。

【0128】

解析対象セル抽出判定結果表示部１００５には、上記の表示された情報に基づき、解析するセルの抽出判定結果が表示され、絞り込みカメラ判定結果表示部１００６には、絞込みしたカメラ１０３の判定結果が表示される。判定結果画面１００によって、ユーザは、どのような根拠でカメラ１０３が選択されたのかを確認することができる。

【0129】

＜効果＞
以上説明したように、本発明の第１実施形態に係る監視対象物データ化システムによれば、情報処理装置１０５は、４Ｍセンサ１０１と、計画データベース１０２と、カメラ１０３と、解析条件入力ＵＩ１０４の情報を取得して、４Ｍセンサ１０１のセンサデータ（センサ情報）と計画データと入力された解析条件に基づき、演算が実行される入力カメラの情報を減らすことで、情報処理装置１０５が備える、解析処理部１４１の負荷を低減する。

【0130】

これにより、第１実施形態に係る監視対象物データ化システムは、低遅延、低コストだがリソースの限られるエッジ端末での高精度な監視対象物のデータ化を可能にする。また、第１実施形態に係る監視対象物データ化システムは、既存技術とは異なり、計画データを用いているので、監視対象物が単にセンサに映り込んだだけのデータ化が望まれない情報なのか、それとも本来計画データにも記載されており、データ化が望まれる情報なのかを切り分けすることができるため、高信頼な情報がデータ化される。

【0131】

従って、第１実施形態に係る監視対象物データ化システムは、エッジ端末を用いた低コストでの監視対象物データ化技術の提供を可能にする。また、エッジ端末の低遅延の強みと本システムの高速演算の強みを活かすことで、データ化された情報に基づくリアルタイムな支援も実現できる。

【0132】

更に、第１実施形態に係る監視対象物データ化システムによれば、移動時の作業者や、作業者ではない人が、実際の計測情報としてセンサに映り込んだ/検知された場合でも、情報処理装置に含まれる抽出部が、計測結果を作業手順書などの生産計画情報と照合することで、従来システムの課題であった作業中の作業者以外の映り込みによるノイズを、切り分けて排除することが可能になる。

【0133】

第１実施形態に係る監視対象物データ化システムにより、低遅延、低コストだがリソースの限られるエッジ端末でも、軽量化させたＡＩのようにデータ化の精度低下を引き起こさず、生産計画に記載された監視対象物に限った高信頼なデータ化を、ライン全体にわたって実現することができる。

【0134】

<<第２実施形態>>
本発明の第２実施形態に係る監視対象物データ化システムについて説明する。第１実施形態では、人やロボットなどの監視対象物の挙動を示す計画情報が製造工程表（ＢＯＰ）に記載されている工場環境を想定して説明を行った。第２実施形態に係る監視対象物データ化システムでは、計画情報で挙動が定義されている監視対象物のデータ化の別例として、監視対象物の移動計画が時刻表に記載されている踏切や駅の環境を説明する。ここで挙げられる監視対象物は、例えば時刻表という計画情報に挙動が記載されている電車である。

【0135】

第２実施形態に係る監視対象物データ化システムでは、図１Ａの４Ｍセンサ１０１の電車の現在の情報（位置）を取得し、計画データベース１０２として時刻表の情報と照合することで、抽出部１２０の解析セル抽出処理部１２１が解析を行う対象を判定する。

【0136】

この例では解析セル抽出処理部１２１は解析するセルを抽出するのではなく、例えば踏切、駅における適切に区切られた空間を判定する。その空間を「セル」という名前に再定義すれば、あとのシステム構成は図１Ａと同様でよい。

【0137】

即ち、例えば、第２実施形態に係る監視対象物データ化システムは、検出対象物（例えば、電車）をデータ化するのに必要な検出対象物に関する情報を取得可能なセンサ（例えば、カメラ）の検出範囲に含まれる空間（セル、例えば、線路上の所定の区間）に存在する検出対象物（例えば、電車）が、計画情報（時刻表の情報）と一致する監視対象物（電車）であると判定した場合、監視対象物（電車）であると判定した検出対象物に関する情報（撮像画像）を、センサ（カメラ）から取得し、取得した検出対象物に関する情報（撮像画像）（及び演算モデル）を用いて、検出対象物（電車）をデータ化するデータ化処理を実行する。

【0138】

これにより、第２実施形態に係る監視対象物データ化システムは、計画情報としての時刻表に基づいて、セルに存在する監視対象物が、データ化が望まれる監視対象物なのか否かを判定することができる。

【0139】

具体的に例えば、監視対象物としての電車とそれ以外のノイズとを切り分けることが可能であるし、また、時刻表どおりの電車ではなく、時刻表からずれた電車に限って演算を行う・演算処理量を上げる、という用途も可能で、高信頼な情報がデータ化される。

【0140】

<<第３実施形態>>
本発明の第３実施形態に係る監視対象物データ化システムについて説明する。第１実施形態では工場、第２実施形態では踏切や駅というように、これまでは静止している環境を想定して説明（即ち、センサの検出範囲が動かないで同じ場所である例を想定して説明）を行った。

【0141】

第３実施形態に係る監視対象物データ化システムでは、環境が動いており、監視対象物の挙動が計画情報に基づき間接的に定義できる例として、自動運転自動車やドローンの環境例を挙げる。即ち、自動運転自動車、ドローンなどの移動物体に搭載されたセンサの検出範囲が、移動物体が移動することにより、動く環境例を挙げる。

【0142】

ここでの監視対象物は、自動車であれば看板や道、ドローンであれば障害物や到着地点の物体である。この例では、自動車やドローンの軌道データと、既存の看板や道や障害物や到着地点の物体のマップとを組み合わせることで、逆に看板や道や障害物や到着地点の物体が出現する計画データを作成することができる。この計画データを計画情報と定義する。

【0143】

この第３実施形態に係る監視対象物データ化システムでは、図１Ａの４Ｍセンサ１０１の看板や道や障害物や到着地点の物体の現在の情報を取得し、計画データベース１０２として先に定義した計画情報と照合することで、抽出部１２０の解析セル抽出処理部１２１が解析を行う対象（データ化対象）であるか否かを判定する。この例では解析セル抽出処理部１２１は解析するセルを抽出するのではなく、例えば看板や道や障害物や到着地点の物体などが含まれ得る適切に区切られた空間を判定する。その空間を「セル」という名前に再定義すれば、あとのシステム構成は図１Ａと同様でよい。

【0144】

即ち、例えば、第３実施形態に係る監視対象物データ化システムは、検出対象物（例えば、看板や道、障害物、到着地点の物体など）をデータ化するのに必要な検出対象物に関する情報を取得可能なセンサ（例えば、カメラ）の検出範囲に含まれる空間（セル）に存在する検出対象物が、計画情報と一致する監視対象物であると判定した場合、監視対象物であると判定した検出対象物に関する情報（撮像画像）を、センサ（カメラ）から取得し、取得した検出対象物に関する情報（撮像画像）（及び演算モデル）を用いて、検出対象物をデータ化するデータ化処理を実行する。

【0145】

これにより、第３実施形態に係る監視対象物データ化システムは、計画データを用いているので、監視対象の物体が出現する計画データに基づいて、監視対象物が、データ化が望まれる監視対象物であるか否か（監視対象物センサによって取得された情報（画像）が、データ化が望まれる情報であるのか否か）を判定することができる。

【0146】

具体的に述べると、第３実施形態に係る監視対象物データ化システムは、例えば、データ化をするべき監視対象物なのか、それともノイズなのかを切り分けることが可能となり、高信頼な情報がデータ化される。また、別の実施例として、軌道データに予め記載される監視優先度に応じて演算処理速度を変更してもよい。例えば、自動車で細い道やドローンで低空を走行中は処理速度を落とさずに、自転車で広い道やドローンで高所を走行中は演算処理速度を落とすというようなことがあってもよい。

【0147】

<<第４実施形態>>
本発明の第４実施形態に係る監視対象物データ化システムについて説明する。第３実施形態では、自動車、ドローンなどの動く移動体に搭載されたセンサによって検出された看板や障害物などの静止物を、データ化する例について説明を行った。

【0148】

第４実施形態に係る監視対象物データ化システムでは、環境が動いており、かつ監視対象物も動いていて、監視対象物の挙動が環境の計画情報と監視対象物の計画情報とに基づき間接的に定義できる例として、飛行機の環境例を挙げる。即ち、飛行機に搭載されたセンサの検出範囲が、飛行機が移動することにより、動いており、且つ、監視対象物が、他の動いている移動体である環境例を挙げる。ここでの監視対象物は、他の飛行機である。この例では、測定装置（センサ）を持った環境側である飛行機の既存の地図（マップ）上の軌道データと、監視対象物となる他の飛行機の既存の地図（マップ）上の軌道データとを組み合わせることで、監視対象となる他の飛行機が出現する計画データを作成することができる。この計画データを計画情報と定義する。

【0149】

第４実施形態に係る監視対象物データ化システムでは、図１Ａの４Ｍセンサ１０１の監視対象物である飛行機の現在の情報を取得し、計画データベース１０２として先に定義した計画情報と照合することで、抽出部１２０の解析セル抽出処理部１２１が解析を行う対象か否かを判定する。この例では解析セル抽出処理部１２１は解析するセルを抽出するのではなく、例えば飛行機が含まれ得る適切に区切られた空間を判定する。その空間を「セル」という名前に再定義すれば、あとのシステム構成は図１Ａと同様でよい。

【0150】

即ち、例えば、第４実施形態に係る監視対象物データ化システムは、検出対象物（例えば、他の飛行機）をデータ化するのに必要な検出対象物に関する情報を取得するためのセンサ（例えば、飛行機に搭載されたカメラ）の検出範囲に含まれる空間（セル）に存在する検出対象物（例えば、他の飛行機）が、計画情報と一致する監視対象物であると判定した場合、監視対象物であると判定した検出対象物（他の飛行機）に関する情報（撮像画像）を、センサ（カメラ）から取得し、取得した検出対象物（他の飛行機）に関する情報（撮像画像）（及び演算モデル）を用いて、検出対象物（他の飛行機）をデータ化するデータ化処理を実行する。

【0151】

これにより、第４実施形態に係る監視対象物データ化システムは、計画データを用いているので、監視対象の物体が出現する計画データに基づいて、データ化が望まれる他の飛行機であるのか否か（検出対象物に関する情報が、データ化が望まれる情報であるのか否か）を判定することができる。

【0152】

具体的に述べると、第４実施形態に係る監視対象物データ化システムは、例えば、データ化をするべき飛行機なのか、それとも別の飛行物体や地上の障害物なのかなどを切り分けることが可能となり、高信頼な情報がデータ化される。また、別の実施例として、軌道データに予め記載される監視優先度に応じて演算処理速度を変更してもよい。例えば、離着陸時は処理速度を落とさずに、高度航空時は演算処理速度を落とすというようなことがあってもよい。

【0153】

なお、第４実施形態に係る監視対象物データ化システムは飛行機に限る必要はない。例えば軌道データを持つドローンが軌道データを持つ別のドローンを監視する場合も実現可能である。同じ条件の自動車の場合も同様である。

【0154】

<<変形例>>
本発明は上記各実施形態に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。更に、上記各実施形態は、本発明の範囲を逸脱しない限り、互いに組み合わせることが可能である。

【0155】

例えば、上記各実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。例えば、上記第１実施形態ではエッジ端末での実装を前提に説明しているが、必ずしもエッジ端末で実装する必要はなく、高性能のサーバやクラウドを用いて実装しても構わない。

【0156】

上記第１実施形態において、監視対象条件取得処理部１１４から送信された監視対象条件の情報と、４Ｍ情報取得処理部１１１から送信された監視対象の現在の情報と、計画情報取得処理部１１２から送信された監視対象の挙動の計画情報とを用いたが、監視対象条件取得処理部１１４と、４Ｍ情報取得処理部１１１の情報は必ずしも使われている必要はない。例えば、監視対象条件取得処理部１１４というものは存在せず、事前に「監視対象：作業者」というように固定されていてもよい。この場合、ユーザの多種多様な要求にこたえられない懸念点が挙げられるが、作成コストや顧客ニーズを鑑みて、適切に決定されればよい。更に、４Ｍ情報取得処理部１１１についても、例えば存在せずとも、時刻の情報と計画データベース１０２に記載されている情報のみを用いて、監視対象物のセルの情報を抽出することは可能である。この場合、セルの抽出精度が低くなる懸念点が挙げられるが、こちらも作成コストや顧客ニーズを鑑みて、適切に決定されればよい。

【0157】

上記第１実施形態では、複数存在するカメラのうち、センサデータと計画データと入力された解析条件に基づき、演算が実行される入力カメラの情報を減らすことを説明したが、入力カメラの情報を減らすという以外の実施形態があってもよい。例えば、カメラ入力数を増減させずに演算処理の処理速度を状況ごとに変更するような形態でも構わない。具体的な例としては、図２で記載されている作業重要度２１１の情報に基づいて、セルＩＤ「２」「４」を演算する場合、重要度が高いタスクなので処理速度は落とさないが、セルＩＤ「１」「３」は重要度が高くないタスクなので処理速度を落とす、というような実装を施すことで、本システムの効果である、高精度で高信頼な情報の低負荷な演算の実現をしても良い。

【0158】

上記第１実施形態において、セルの作業重要度（即ち、監視優先度）に基づいて、複数のカメラの中からデータ化する対象物に関する情報を取得するカメラを選択するようにしてもよい。例えば、上記第１実施形態において、セルの重要度が高いセルに対応するカメラを選択し、その選択したカメラによって取得された計画情報と一致する検出対象物の撮像画像のみを、データ化処理に使用するようにしてもよい。

【0159】

上記第１実施形態では、入力するカメラ１０３の演算量を減らすという説明であったが、必ずしも入力はカメラである必要はなく、例えば、カメラ以外の例として、超音波装置、ライダーなどのセンサでもよい。

【0160】

上記各実施形態において、前述した各構成、機能、処理部、処理手段などは、それらの一部又は全部を、例えば集積回路で設計するなどにより、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【符号の説明】

【0161】

１０１…４Ｍセンサ、１０２…計画データベース、１０３…カメラ、１０５…情報処理装置、１１０…情報取得部、１１１…４Ｍ情報取得処理部、１１２…計画情報取得処理部、１１３…画像取得処理部、１２０…抽出部、１２１…解析セル抽出処理部、１３０…演算管理部、１３１…カメラ入力絞込み処理部、１３２…セル/カメラ対応テーブル、１４０…解析部、１４１…解析処理部、１５０…出力部、２０１…セルＩＤ、２０３…作業者数、２１１…作業重要度、３０３…取り付けセルＩＤ、４０１…カメラＩＤ、４０２…セルＩＤ

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】