特開 2023-88122 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023088122

(43)【公開日】2023-06-26

(54)【発明の名称】監視システム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20230619BHJP

   H04N 7/18 20060101ALI20230619BHJP

   G06T 7/00 20170101ALI20230619BHJP

   G06Q 50/04 20120101ALI20230619BHJP

   G05B 23/02 20060101ALI20230619BHJP

【ＦＩ】

G05B19/418 Z

H04N7/18 D

H04N7/18 K

G06T7/00 350C

G06Q50/04

G05B23/02 Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021202792

(22)【出願日】2021-12-14

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔集会での発表による公開〕 開催日 ：令和３年６月９日 集会名 ：第２７回画像センシングシンポジウム 開催場所：オンライン開催

(71)【出願人】

【識別番号】301078191

【氏名又は名称】株式会社日立ハイテクソリューションズ

(71)【出願人】

【識別番号】599011687

【氏名又は名称】学校法人 中央大学

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】濱谷 章史

(72)【発明者】

【氏名】原田 佳周

(72)【発明者】

【氏名】西川 英雄

(72)【発明者】

【氏名】野口 稔

(72)【発明者】

【氏名】橘川 拓実

(72)【発明者】

【氏名】梅田 和昇

【テーマコード（参考）】

3C100

3C223

5C054

5L049

5L096

【Ｆターム（参考）】

3C100AA29

3C100AA57

3C100AA59

3C100BB05

3C100BB13

3C100BB15

3C100BB17

3C100BB25

3C100BB34

3C100CC02

3C100DD05

3C100DD12

3C100DD22

3C100DD32

3C100DD33

3C223AA11

3C223BA03

3C223BB08

3C223CC02

3C223DD03

3C223EA04

3C223FF06

3C223FF13

3C223FF26

3C223FF33

3C223FF34

3C223GG01

3C223HH06

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC01

5C054FC03

5C054FC07

5C054FC12

5C054FC13

5C054FC14

5C054GB01

5C054GB05

5C054HA19

5C054HA31

5L049CC04

5L096BA02

5L096DA01

5L096DA02

5L096HA02

5L096HA09

5L096HA11

5L096KA04

5L096KA09

5L096MA03

(57)【要約】

【課題】ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供する。
【解決手段】この監視システムは、ヒト、モノ又は装置を監視するカメラと、前記カメラにより得られた画像データを解析する解析部と、前記解析部による解析結果を表示する表示部とを備える。前記解析部は、前記画像データにおける変化点を検出し、前記変化点に基づいて前記ヒトあるいはモノあるいは装置の状態を解析する変化点検出手段を備える。前記解析は、前記画像データを取得した後、該画像データのブレを除去する工程と、前記画像データに含まれる画像をライブラリにおいて参照し、前記画像の種別を認識する工程とを含む。
【選択図】図１１

【特許請求の範囲】

【請求項1】

製造現場におけるヒト、モノ、又は装置を監視する監視システムにおいて、
前記ヒト、モノ又は装置を監視するカメラと、
前記カメラにより得られた画像データを解析する解析部と、
前記解析部による解析結果を表示する表示部と
を備え、
前記解析部は、前記画像データにおける変化点を検出し、前記変化点に基づいて前記ヒトあるいはモノあるいは装置の状態を解析する変化点検出手段を備え、
前記解析は、
前記画像データを取得した後、該画像データのブレを除去する工程と、
前記画像データに含まれる画像をライブラリにおいて参照し、前記画像の種別を認識する工程と
を含む、監視システム。

【請求項2】

前記解析部は、
複数の前記変化点の時刻データから、前記ヒト、前記モノ、又は前記装置の有意な動作が生じた時点を特定する動作時点検出手段と
を含む、請求項１に記載の監視システム。

【請求項3】

前記解析部は、前記動作時点検出手段の検出結果に基づき、各工程におけるリードタイムを短縮する余地としての余裕箇所を判定する余裕箇所判定手段を更に備える、請求項２に記載の監視システム。

【請求項4】

前記解析部は、
前記画像データに含まれる認識対象の画像を深層学習により検出して切り出す処理を実行するように構成され、
前記画像データのブレを除去する工程は、前記深層学習による検出及び切り出しを実行した後に実行される、請求項１～３のいずれか１項に記載の監視システム。

【請求項5】

前記解析部は、
前記画像データに含まれる認識対象の画像を深層学習により検出して切り出す処理を実行するように構成され、
前記画像データのブレを除去する工程は、前記深層学習による検出及び切り出しを実行する前に実行される、請求項１～３のいずれか１項に記載の監視システム。

【請求項6】

前記深層学習は、前記認識対象の複数の種別のうちの一部について実行され、学習データとされる、請求項４又は５に記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モノの製造現場におけるヒト、モノ、装置を監視する監視システムに関する。

【背景技術】

【0002】

モノの製造現場において、製造に携わるヒトや、製造されるモノ、製造工程を実行する装置又は機械（製造装置、検査装置、梱包装置、その他）を監視するシステムが知られており、その更なる改善が進められている（例えば特許文献１乃至３参照）。

【0003】

例えば、組立産業の製造現場では、複数の部品を集約し、それらを所定の組立図、作業手順書などに沿った作業（例えば、溶接、切削、組立てなど）の組み合わせで、製品が生産される。複雑な製品の場合、複数の作業現場で、それぞれ所定の作業が進められ、それぞれの部分（ユニット）がまとめられて、より複雑な製品が作り出される。このような作業では、集約される部品（モノ）の種類が多い際、作業手順、現場の配置、部品の集約作業等が複雑になり、作業の待ち、部品の滞留、部品集約のタイミングのずれ、作業員（ヒト）の配置ミスなどが発生しやすく、組立作業の効率低下が問題になる。ところが、特に組立産業では、設備、機器を使用することが少なく、ヒトによる組立作業が中心であるため、センサによるロギング環境が整っていない。このため、製造現場でのヒトやモノの状態を的確に把握・監視する監視システムが望まれている。言い換えると、組立産業のデジタルツインを構築し、その活用により、経営数値の改善、監視を実現することが望まれている。

【0004】

しかし、ヒトの作業状態を数値化して記録する際は、作業者が作業の手を止めて作業状態を記録するか、又は別の作業者が、作業者の動作を観察しながら記録することが必要であり、手間やコストがかかるという問題があった。

【0005】

また、モノの状態の監視に関しては、モノが機械の中にある場合には、機械による動作の記録及び監視が可能であるが、モノがある作業現場の機械から別の作業現場の機械に移動する場合などにおいて、その状態を十分に監視することができていない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第５４１６３２２号公報

【特許文献2】特開２０１９－１３９５７０号公報

【特許文献3】特開２０１９－１６２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供するものである。

【課題を解決するための手段】

【0008】

上記の課題を解決するため、本発明に係る監視システムは、製造現場におけるヒト、モノ、又は装置を監視する監視システムにおいて、前記ヒト、モノ又は装置を監視するカメラと、前記カメラにより得られた画像データを解析する解析部と、前記解析部による解析結果を表示する表示部とを備える。前記解析部は、前記画像データにおける変化点を検出し、前記変化点に基づいて前記ヒトあるいはモノあるいは装置の状態を解析する変化点検出手段を備える。前記解析は、前記画像データを取得した後、該画像データのブレを除去する工程と、前記画像データに含まれる画像をライブラリにおいて参照し、前記画像の種別を認識する工程とを含む。

【発明の効果】

【0009】

本発明に係る監視システムによれば、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る監視システム１の構成の一例を示す概略図である。

【図2】ヒト監視カメラ１１の動作を概略的に説明する概略図である。

【図3】モノ監視カメラ１２及び装置監視カメラ１３の動作を概略的に説明する概略図である。

【図4】モノ監視カメラ１２及び装置監視カメラ１３の動作を概略的に説明する概略図である。

【図5】実施の形態に係る監視システム１Ａの動作を説明するフローチャートである。

【図6】表示ＰＣ１７における表示画面の一例である。

【図7】表示ＰＣ１７における表示画面の一例である。

【図8】表示ＰＣ１７における表示画面の一例である。

【図9】第２の実施形態に係る監視システム１Ａの構成の一例を示す概略図である。

【図10】ＡｒＵｃｏマーカの一例を示す。

【図11】第２の実施の形態の解析サーバ１６において二次元コード２２を読み取る場合のデータ処理の実行手順の一例を示している。

【図12】第２の実施の形態の解析サーバ１６において二次元コード２２を読み取る場合のデータ処理の実行手順の例（手法（１）～（６））を示している。

【図13】各手法の効果の分析結果を示すグラフである。

【図14】各手法の効果の分析結果を示すグラフである。

【図15】各手法の効果の分析結果を示すグラフである。

【図16】ＡｒＵｃｏマーカの学習の効果を説明する概念図である。

【図17】ＡｒＵｃｏマーカの学習の効果を説明するグラフである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

【0012】

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

【0013】

以下では、複数の部品から構成される製品（最終製品、および中間製品としてのユニット）を組立する工程に係る実施形態を説明する。基幹システム又は発注システムから発注され納入された部品は、部品倉庫に搬入され格納される。一方、製品の製造計画に沿って、製造作番が発行されると、作番ごとに予め定義された製造計画（設計部門で作成された組立図、組立手順書を含む）に沿って、部品が組立ショップに搬送される。この組立ショップには、製造計画に沿って、組立人員及び必要な機器、ジグが配置される。組立人員は、製造計画に沿って、ケースによって必要な機器・ジグを用いて、所定の組立作業を実施する。

【0014】

所定の組立作業を実施された製品は、次の組立ショップに搬送される。この繰り返し、統合によって、最終製品が完成し、所定の出荷検査が実施され、出荷倉庫に格納される。本実施形態は、工場内で進められている上記の組立工程、作業の進行状況を記録する手段及び方法を提供するものである。具体的には、各倉庫、配膳だな、組立ショップ毎に、各部品、各機器・ジグ、各作業者の識別情報、着手完了時刻、離着時刻を記録するものである。従来の技術では、製品部品の有無を検出するために、作業ごと、ショップごとの作業内容、ショップの構成に応じたセンサを個別に設置する必要があった。これは、例えば、製品の変更等で、作業の内容、部品の大きさ形状が変化するたびに、センサの設置位置などを変更する必要があった。以下に説明する実施形態によれば、カメラの撮像範囲に、部品、ジグ、作業者が存在する限り、カメラの設置位置を変更する必要はない。これによりシステム導入時の設置コストを大幅に削減することができる。

【0015】

［第１の実施の形態］
第１の実施の形態に係る監視システム１の一例を、図１を参照して説明する。この監視システム１は、一例として、ヒト監視カメラ１１、モノ監視カメラ１２、装置監視カメラ１３、転送コンピュータ（ＰＣ）１４、収集・蓄積サーバ１５、解析サーバ１６、及び表示コンピュータ（ＰＣ）１７から構成され得る。

【0016】

ヒト監視カメラ１１は、製造現場にて作業を実行するヒト（作業者）の動きを監視するためのカメラである。ヒト監視カメラ１１は、例えばヒトの形や、動作の特性に関する情報を予め蓄積しており、人間の動きを迅速且つ確実に検出することができるよう構成され得る。

【0017】

モノ監視カメラ１２は、製造現場において製造され移動するモノの動きを監視するためのカメラである。モノ監視カメラ１２は、一例として、モノを載置して運搬するためのカートの移動を監視するため、カートに付された識別情報（一次元コード、二次元コード、カラーチャート等）を撮像し、識別するカメラとすることができる。複数のカートにそれぞれ異なる識別情報を付すことで、カートの種類を識別することができる。ただし、これはあくまでも一例であり、モノ監視カメラ１２は、カートの移動を識別情報により監視するものには限定されない。例えば、モノ自体の形状を認識するか、又はモノに付された各種識別情報を識別するようにしてもよい。また、カートを認識することに代えて、例えばベルトコンベアに載置されたトレイの動きをモノ監視カメラ１２で監視するようにしてもよい。モノ監視カメラ１２が二次元コードを読み取るように構成される場合、モノ監視カメラ１２は、その内部に二次元コード解析用のアプリケーションを搭載することができる。もちろん、二次元コード解析用のアプリケーションは、クラウド上においても良いことは言うまでもない。

【0018】

装置監視カメラ１３は、製造現場に設置されている各種装置（製造装置、検査装置、梱包装置、その他）の動きを監視するためのカメラである。装置監視カメラ１３は、撮像対象である装置の特性に応じて異なるものとすることができる。例えば、ヒトの操作の介在が必須である装置のための装置監視カメラ１３においては、装置の操作パネルを撮像し、ヒトの操作を監視するカメラとすることができる。操作パネルを撮像することで、当該装置が稼働中であるか、停止中であるかなどを判断することが出来る。

【0019】

昨今の設備、機器は、機器内に配置されたセンサで、機器内の状態を示すパラメータを、検出することができる。しかしながら、これらのセンサを有しない設備の場合、機器を改造して、これらのセンサを設置する必要がある。ところが、設備、機器を用いた作業の熟練者の場合、目視、音の聞き取りで、装置の加工、組み立て、それ以外の処理がいずれのプロセス段階にあるか、また、設備の状態に異常がないかを監視することができる。したがって、設備の監視においても、ＴＶカメラの活用により、状態の監視ができるということになる。このＴＶカメラでの監視を導入することにより、センサ設置のための改造、熟練者による監視など、高コストの監視システムの導入を不要にすることができる。

【0020】

ヒトの操作が介在しない自動の装置である場合、その装置のための装置監視カメラ１３は、例えばモノ（部品）等の投入口や、稼働部分（例えば、切削装置のブレード）の動きを監視するためのカメラとすることができる。更に、装置監視カメラ１３は、装置内部での各種作業の内容の検査にも用いることができる。例えば、ハーネス接続用の装置において、ハーネス接続確認検査を実行し、その画像から、正しい接続が行われたか否かを判定し、されていない場合に誤配線等のエラーを検知することができる。

【0021】

また、この実施形態では、カメラ１１～１３内、又は外付けのコントローラにおいて、検査対象を検出する検査対象検出手段、及び不具合を検出する不具合検出手段を備えることができる。検査対象検出手段は、良品の画像の中の検査対象部分を検出する機能を有する。一例として検査対象検出手段は、予め検査対象部分を学習した深層学習ネットワークから構成され得る。この手段を設けることにより、変形が大きいが異常とはみなされない部分（例えば、ケーブル等の部品）を欠陥として誤検出することを避けることができる。

【0022】

そして、検査対象部分として検出された部分を不具合検出手段に入力することで、検査対象の不具合が検出され得る。この手段は、一例として、オートエンコーダに予め複数の正常部品（正常品の画像）を学習して構成され得る。オートエンコーダで再構成された画像と、入力画像の差分画像を作成することにより、異常部分がある場合には、その位置の画像信号が大きな値となり、閾値処理により異常として検出される。検出された不具合情報（不具合画像、製品情報等）は、不具合情報格納手段に格納され得る。

【0023】

新たな検出対象が設けられた際は、その正常画像を、検査対象検出手段、及び、不具合検出手段（オートエンコーダ）に学習させることができる。この学習は、製品の設計時に生成される３次元ＣＡＤの情報を用いて行われてもよい。

【0024】

また、新たな検出対象を学習した情報（ネットワークパラメータ）は、既に学習済みのネットワークの対応パラメータとの加重平均を実行することにより、反映させることができる。この手法により、新規の検出対象に関する情報を、各ユーザがクラウド上に上げたくないケースにも対応できる。すなわち、クラウド上で共有される学習済みネットワークのパラメータを、ユーザの拠点に送付し、当該拠点にて加重平均を実行することで、ユーザ固有の高精度な不具合検出手段、検査対象検出手段を構成・提供することができる。

【0025】

なお、装置監視カメラ１３は、撮像対象の特性や撮像対象までの距離に応じて、様々なレンズ（超近接レンズ、魚眼レンズ、広角レンズ、望遠レンズ、その他）を使用することができる。

【0026】

組立工程の現場における組立作業の進行状況は、特定の技能を有する熟練者や管理者であれば、目視確認で識別し記録することができる。このような観点から、本実施の形態では、可視光で撮像したＴＶカメラによる撮像情報だけから、以下に説明する適切なデータ処理を施し、記録すべき離着時刻を算出するよう構成されている。

【0027】

また、組立工程中の各組立ショップでの組み立て作業が完了した際は、その完了時刻を記録するだけでなく、組立作業の工程ごとの着手、完了時刻、組立が完了した中間製品の不具合を検出し、記録する。このＴＶカメラのサンプリング時間は、必要に応じ、通常の３０ｆｐｓ、６０ｆｐｓである必要はなく、１ｆｐｓ、０．２ｆｐｓなどの数値に間引くことができる。また逆に、１２０ｆｐｓ、２０００ｆｐｓ等、高速度撮像であっても良い。前者は、トータルの格納データ量を下げる効果があり、後者は、高速な動きを伴うデータ収集時に必要となる。

【0028】

転送ＰＣ１４は、各種カメラ１１～１３が撮像した映像データ（動画、静止画の両方を含み得る）を読み込んで、収集・蓄積サーバ１５に転送する機能を有する。転送ＰＣ１４は、転送動作に先立ち、周知の方法によりデータ圧縮動作を実行するよう構成されることもできる。データ圧縮動作に加えて、画像の加工や画像処理（例えば、監視対象であるヒトやモノの画像の部分のみを残し、不要な画像を削除する、又は監視対象画像の解像度を高くし、その他の物体の画像の解像度を低下させるような画像処理など）を実行することも可能である。なお、転送ＰＣ１４は、収集・蓄積サーバ１５と無線接続されていてもよいし、有線接続とされていてもよい。

【0029】

収集・蓄積サーバ１５は、転送ＰＣ１４から転送された映像データを図示しない記憶部において収集し、蓄積するためのコンピュータである。なお、収集された映像データの解析は解析サーバ１６において実行されるが、解析工程の一部、例えば、映像データの解析の一部は収集・蓄積サーバ１５が担当することも可能である。

【0030】

解析サーバ１６は、収集・蓄積サーバ１５において蓄積された各種映像データを解析して、ヒト、モノ、及び装置の動作を解析し、その解析結果としての解析データを生成する。生成された解析データは、表示ＰＣ１７に出力され、オペレータが認識可能な形で可視化して表示される。なお、解析サーバ１６は、ヒト、モノ、及び装置の動作を解析した結果としての解析データを、作業計画データと対比して、その相違を解析するよう構成することも可能である。

【0031】

解析サーバ１６における解析事項は、ヒト（例えば現場監督者）が日常の監督業務を行って発見し得る事項を含むことができるが、これに限定される必要はない。例えば、長時間に亘り収集・蓄積サーバ１５において取得され蓄積（学習）された映像データに含まれる信号Ａと、新規に取得された映像データに含まれる信号Ａ’とを比較し、その比較結果を解析事項とすることもできる。このようにして得られた信号ＡとＡ’とに所定値以上の差異がある場合に、解析サーバ１６は、この差異が生じた箇所を、ヒト、モノ、又は装置についての有意な動作の変化点を示す「変化点」として特定する変化点検出手段として機能する。

【0032】

また、解析サーバ１６は、このような変化点を特定することで、ヒトの監視では見逃されがちなヒト、モノ、装置の有意な動作が生じた時点を検出することが可能になり、製造工程の作業効率の阻害要因の指標とすることができる。また、ヒトによる監視の場合、正しい動作が行われている場合のデータと、正常ではない動作が行われている場合のデータとを切り分ける必要があるが、正データは準備が容易である一方、誤データの準備は手間がかかる。本システムによれば、誤データの準備が不要で短期間に、容易にシステム導入が実現できる。解析サーバ１６は、このような変化点が生じた時間と場所を紐づけ、数理的に「特定の作業場所での作業時間」と定義する。

【0033】

一般に、ヒトとモノが所定の場所に存在するというだけでは、実際に作業が適切に進行しているということはできない。しかし、上記のようにして得られた作業時間のデータを比較・分析することにより、例えば、
（ａ）現在行われている作業が、平均的な作業時間を逸脱している場合、
（ｂ）複数の作業の間で、作業時間のばらつきが大きくなっている場合、
（ｃ）ヒトやモノが、特定の作業場所以外に滞在している場合
などを、これらを「機械的に」検知することができる。これらは、ヒトが定義又は認識する「作業時間」とは異なるものであるが、製造リードタイムの阻害要因を検知することはできている。すなわち、（ａ）は、「平均的な時間を逸脱している」ことが阻害要因であり、（ｂ）は、作業そのものに「大きなばらつき」という阻害要因がある。（ｃ）は、「作業の待ち」、「モノの滞留」という阻害要因がある。

【0034】

図２を参照して、ヒト監視カメラ１１の動作を概略的に説明する。図２は、製造現場に複数の機械（（１）～（９））が配置され、矢印に沿ってヒト（作業者）Ｈが移動する様子を、ヒト監視カメラ１１で撮像する様子を示している。ヒト監視カメラ１１は、一例として、ヒトＨの体格、通常ヒトＨが着用している衣服の性状（色、形状、その他）、動作の特性（平均歩行速度、歩幅）の情報を格納しておくことができる。ヒト監視カメラ１１は、それらの情報と映像データとの対比により、映像データに含まれるヒトＨの画像を特定することができる。特定されたヒトＨの画像は、バウンディングボックスＢＢにより囲われ、映像データは、バウンディングボックスＢＢを含んだ形で記録され得る。

【0035】

このようにして、ヒト監視カメラ１１により映像データが得られると、解析サーバ１６において映像データが解析され、ヒトＨが、どの作業をどの時間帯で行い（滞留時間）、どの時間帯では作業を行わず、移動等を行っていたり（移動時間）、撮影範囲外の位置にいたりしたかを、特定されたヒトの動作の変化点に従い解析することができる。ヒトの動作の変化点は、ヒトが所定の機械の前に到着した時刻、離脱した時刻、その他の情報に従い特定することができる。図２の右下のバー表示は、作業（４）～（８）に関する作業時刻（開始時刻、終了時刻を含む）を示している。このようなバー表示は、表示ＰＣ１７の表示画面にも表示することができる。

【0036】

本実施の形態では、ヒト監視カメラ１１、又は外付けのコントローラにより作業者検出手段が構成される。作業者検出手段としてのヒト監視カメラ１１は、取得した画像の中の作業者を検出するもので、予め、作業者の画像を学習した深層学習ネットワークを含むことができる。この作業者検出手段により、撮像画像の中で作業者が検出される。検出された位置から、作業者が所定の位置に存在するか否か、すなわち、作業箇所への入場時刻、退場時刻が検出される。本実施の形態で、撮像画像を複数の方向から取得し、それぞれの２次元画像内での作業者の存在位置（視点の方向）が分かり、その方向の交差位置が、３次元空間における作業者の存在位置として検出される。この複数の画像から作業者の存在位置を検出する手法は、奥行きの検出精度を高くしたいケースに有効である。また、作業者が、設備、その他の物体の影となり、画像内に移らないケースに、複数の画像を用いることで検出を可能とするという効果もある。

【0037】

図３を参照して、モノ監視カメラ１２及び機械監視カメラ１３の動作を概略的に説明する。図２では、一例として３台のモノ監視カメラ１２（１２Ａ～１２Ｃ）及び３台の機械監視カメラ１３（１３Ａ～１３Ｃ）が配置された例を説明しているが、これはあくまでも一例であり、モノ監視カメラ１２及び機械監視カメラ１３の数は特定の数には限定されない。また、モノ監視カメラ１２は、特定の形式には限定されないが、好適には、図３に概略的に示すように、モノ（部品等）を載置したカート２１に付された二次元コード２２を撮影するカメラとすることができる。

【0038】

カート２１は、例えば図３に示すように、複数の機械（１１）～（１３）の間で移動する。例えば、カート２１が、機械（１１）よりも前工程を終了し、機械（１１）の前まで移動すると、カート２１に付された二次元コード２２がモノ監視カメラ１２Ａにより撮像される。これにより、カート２１の機械（１１）への到着が検知される。

【0039】

機械（１１）での作業が終わり、カート２１が機械（１１）から離れ、次の機械（１２）に向けて移動すると、モノ監視カメラ１２Ａは、二次元コード２２が撮像されなくなったことを検知することでカート２１の機械（１１）からの離脱を検知する。カート２１が機械（１２）の前まで到着すると、カート２１に付された二次元コード２２がモノ監視カメラ１２Ｂにより撮像される。これにより、カート２１の機械（１２）への到着が検知される。このような動作が繰り返されることにより、モノ監視カメラ１２の映像データに基づき、カート２１すなわちモノ（部品等）の移動を検知することができる。

【0040】

なお、モノの動作の変化点は、ある機械における着工時刻、離脱時刻により特定することができる（図４参照）。上位の機械（工程）から下位の機械（工程）への移動時間（待ち時間）は、上位の機械からの離脱時刻と、下位の機械への到着時刻との差により演算することができる。なお、機械の動作の変化点も、同様に、ある機械が特定の動作を開始した時刻、終了した時刻により特定することができる。

【0041】

また、このカート２１に載置された部品中間製品は、配膳棚でカート２１上に部品が載置される際に、カート番号・部品番号・部品番号が紐づけされた製品製造番号等と対応関係を与えられる。対応関係は、二次元コード２２にも情報として与えられ、二次元コード２２が読まれることにより、これらの対応関係の情報が自動収集される。この一連の自動収集により、カート２１、部品、作業者、ショップ、変化時刻が紐づけされる。この紐づけが、他のショップ、他の製品、他の作業者の間でもなされる。その結果、特定の時間に、部品、作業者、設備・機器・ジグが、どの位置に存在するか認識され、そのベクトルデータが格納手段に格納される。また、状態変化の時刻の検出は、必ずしもＴＶカメラで撮像した画像によるものでなくてもよく、他のセンサ、既に設置されたセンサ等の情報と組み合わされてものであっても良い。

【0042】

図５のフローチャートを参照して、実施の形態に係る監視システム１の動作を説明する。このシステムにおいて、ヒト監視カメラ１１、モノ監視カメラ１２、及び機械監視カメラ１３は、それぞれ独立に動作して、ヒト、モノ、及び機械の動作を監視する。得られた映像データは、転送ＰＣ１４に転送されて読み込まれ、転送ＰＣ１４は、所定のデータ圧縮動作を映像データに施した後、当該映像データを収集・蓄積サーバ１５に転送する。収集・蓄積サーバ１５は、転送されたデータを受信し格納する。収集・蓄積サーバ１５に蓄積されたデータは、適宜解析サーバ１６に送信され、解析の対象とされる。

【0043】

解析サーバ１６は、格納されたデータに基づいて、前述のようなヒト、モノ、装置の変化点を特定し、変化点が生じた時刻、更には変化点が生じた場所を特定し、図示しない記憶部にそれらの情報を格納する。複数の変化点が特定されることで、ヒト及び、モノの各機械での有意な動作開始の時刻、動作終了の時刻を特定することができる。

【0044】

変化点、及び変化点が生じた時刻及び場所が特定されると、各工程におけるヒト及びモノの状態が分かり、これにより、各工程が要している時間が分かると共に、複数の工程のうち、どの工程において、リードタイムを短縮する余地（余裕箇所）があるかが判定され得る。すなわち、解析サーバ１６は、特定された変化点、及び有意な動作が生じた時点のデータに基づき、各工程における余裕箇所を判定する余裕箇所判定手段として機能し得る。余裕箇所に関しては、表示ＰＣ１７において可視的に表示することができる。

【0045】

図６は、解析サーバ１６における解析結果を、表示ＰＣ１７のディスプレイに表示する場合の表示画面の一例である。この図６の表示例では、横軸を時間軸とし、異なる作番毎に、製造計画のタイムラインと、実際の作業（実績）における各工程（工程１～３）のタイムラインとを、バー表示により対比するガントチャートである。この表示によると、各作業日における、製造計画と実際の作業との相違が可視化される。この画面表示によれば、どの作番がどの工程にいるのかが可視化され、何日もかけて実行される大工程の中の進捗が、小工程毎に把握され得る。

【0046】

ここに示したように、本実施の形態の監視システムは、製造計画の進捗を監視する際に、大きな効果を発揮する。製造計画の進捗が遅れるということは、人件費、設備の減価償却費等が上積みされるため、製造コストの増加に繋がる。これが進捗管理の効果が大きい理由となる。また、大きな遅延が生じた際、製造計画（製造スケジュール）を再度見直すことにより、適切な製造アウトプットを得ることができる。製造計画の再計画（リスケジューリング）が必要な理由となる。この際、遅延の大きさは、例えば、初期に設定したリードタイムの２０％増、あるいは、３０％増、というようにあらかじめ設定しておくことができる。あるいは、例えば、ボトルネックとなっているような特定の工程のタクトが２０％増、あるいは、３０％増、というようにあらかじめ設定しておくこともできる。すなわち、再計画の必要な時期を決める際に、本実施の形態の監視システムが重要な役割を果たすことになる。言い換えると、本発明の監視システムとスケジューラを組み合わせて使用することで、更に大きな効果を生むことができる。この際、試用するスケジューラは、積み上げ式の自動スケジューラであっても、何らかの最適化アルゴリズムを搭載したスケジューラであっても、一定の効果が期待できる。

【0047】

図７は、解析サーバ１６における解析結果を、表示ＰＣのディスプレイに表示する場合の表示画面の別の例である。この図７の上側の表示例では、横軸を経過時間とし、異なる作番毎の各工程（工程１～３）の作業時間の内訳を、バーの長さとして表示されている。この表示によれば、各作番における合計の作業時間のばらつきが可視化されると共に、各工程の所要時間のバラつきも可視化される。これにより、長い作業時間を要した作番を把握し、その原因を追究することが容易になる。

【0048】

また、図７の下側の表示例では、横軸を経過時間としているが、複数のカート毎に、異なる工程間の移動時間をバーの長さで表示している。この表示によれば、どのカートのどの工程間において移動時間が長くなったのかを可視化することができ、その原因の追究を容易にすることができる。

【0049】

図８は、各工程（工程１～３）における稼働時間と被稼働時間とをグラフ化したものである。単一の工程のみに着目すれば、全体に対する稼働時間の割合（稼働率）が多いほど、作業効率は高まっていることになる。しかし、ある工程で高い稼働率が高い一方で、隣接する工程で稼働率が低い場合、工程全体としては作業効率の向上は図れない。このように、隣接する工程間で稼働率に差が出ている場合には、作業においてボトルネックが生じていると判断することができる。ボトルネックが生じた場合には、人員配置などを含む製造計画を変更することで、作業効率を向上させることができる。

【0050】

なお、以上で説明した実施の形態において、セキュリティ上、ユーザが場内の情報（本実施の形態の取得後の撮像データの処理、人、モノ、機器の状態変化の時刻検出、その後のデータ加工の処理結果の情報）をクラウド上に上げることを避けたいというケースがある。この場合、変転時刻、製品情報、その他の情報を予め、ユーザが設定したパスワードでエンコード、デコードすることができる。これにより、これらの情報を、場内では、内容が人により意味を持つテキスト情報として取り扱い、クラウド上では、パスワードがないと意味を持たない情報として取り扱うことができる。

【0051】

また、クラウド上のデータを使用する前後でハッシュ関数を用いた識別をすることで、クラウド上のデータが、改ざんされていないことを担保することができ、ユーザデータのセキュリティ確保を提供できる。この手法は、事前のハッシュ値を格納データに加えて次のハッシュ値を生成することで、改ざん作業が多くの時間を有することになり、実質的に改ざんができない状況を提供し、結果としてセキュリティをさらに向上することができる、ブロックチェーン技術を利用したものであっても良い。

【0052】

また、ＴＶカメラの画像を利用するシステムは、作業者が撮像されること自体に作業者が抵抗感を感じたり、個人情報が漏洩することを懸念したりすることがあり得る。これに対して、初期の段階で、撮像画像を例えばフーリエ変換等の画像変換を施し、ヒトの目では判断できない情報に変換する手段をコントローラ等に設けることができる。その後の学習等の工程において、このような変換画像を用いることで、その後の、作業者検出などの工程においても同様の画像変換を実行可能である。

【0053】

このようにして検出された作業完了時刻を含む各種時刻のデータを、製品毎に取得することで、その製品の着手から完了までのリードタイムを各作業ごとの作業時間として分析することができる。また、例えば、一日の作業時間の終了時に、作業の進捗、部品等の配置位置などをまとめて、レポートを作ることができる。

【0054】

このようにして検出された離着時刻や着手完了時刻等の各種時刻データの活用システム、方法に関して、以下に説明する。このシステムによれば、特定の製品に着目して、各作業の進行時間を記述することができる。特定製品、又は特定ショップで、左記進行時間のばらつきを算出すると、作業者により、あるいは、その他の外乱によりそのばらつきが大きい場合は、作業が成熟していないと判断することができる。その場合は、例えば、
・特定作業の作業者を、作業熟練度の高いメンバーに変更する
・ばらつきの原因を分析し、作業を分離するジグを準備する
等の対応策を施すことができる。

【0055】

また、上記の場合は、着手完了時間のばらつき状況をモニタリングすることで、作業の質の劣化をリアルタイムで知ることができる。

【0056】

また、本実施の形態の監視システム、生産計画システム、図６～図８に示した表示システムを有した環境をクラウド上に準備しておくことで以下に示す新たな価値を生むことができる。例えば、ヒトの変化点をより精度よく、高い時間分解能で検出できるアルゴリズムが開発された際、このアルゴリズムだけを変更することで、システム全体の価値を向上できる。例えば、プロセス変更時のプロセスをより細かに分解できるため、それらの組み合わせを変更することで、プロセス再設計によるリードタイム短縮を一段高精度にすることができる。このように、監視システム、あるいは生産計画システム、あるいは表示システムを持つことにより、容易に、迅速に、新しい技術、プログラムを現場に適用することができる。言い換えると、本発明は、生産現場の効率を向上するための「基盤；プラットフォーム」を提供するという側面を持つものである。

【0057】

さらに、このように現場適用した技術、プログラムのそれぞれの使用時間をカウントしておくことで、それらの技術の総活用時間を計測することができる。この活用時間に応じて、システム提供者に対する報酬を機械で自動に計算できる。これは、事務処理の機械化であるが、製造現場においても、このような事務処理の機械化、効率化はコスト低減という点で、重要な意味を持つ。また、この形の活用時間計測システムを持ち、活用時間に応じた報酬を支払うことにより、一括の支払いでシステムを導入することに比較して、一時的な現金支払い額を減らすことになり、いわゆるキャッシュフローが良くなるという効果が期待できる。

【0058】

また、本監視システムによれば、平均的な作業時間、想定した作業完了時刻から、逸脱したことを検出、発報することができる。単なる監視カメラ等を用いた遠隔からの監視システムでは、監視者は、撮影中の画像を監視し続ける必要があるのに対して、想定から逸脱時にのみにシステムから報告を受けることができるという効果が期待できる。

【0059】

［効果］
以上説明したように、本実施の形態のシステムによれば、ヒト、モノ、装置の動作がカメラ１１～１３により監視され、映像データにおける変化点に従い、ヒト、モノ、装置の有意な動作の変化を検知して、解析サーバ１６において解析し、その結果を可視化して提示することができる。したがって、ヒト、モノ、装置の動きを、オペレータが目視等で監視し、逐一入力を行うことなく、条件設定に手間をかけることなく、監視を実行することができ、製造工程を的確に且つ低コストで監視し、作業効率を向上させることができる。換言すれば、管理監督者の目で感覚的に判断している事項を、カメラ１１～１３による撮像のみで同等の対応が可能となる。その結果、専任のシステム担当者を配置しなくても、本システムにより製造現場の監視を効率良く実行することができる。なお、製造現場の可視化が行われることで、見える化の実現が図られ、その先にある経営課題解決までを、ワンストップで提供することが可能になる。

【0060】

使用されるカメラ１１～１３は、適宜設置場所を変更したり、カメラの種類を変更したり、又は数を増やしたりすることができ、製造現場の変更に応じた対応が容易である。具体的には、このシステムにより、ヒトによる組立作業、ヒトによる目視検査、ヒトによるモノの搬送、ヒトによる装置の操作状況など、その状態あるいは結果の記録を残すことが容易でない現場の状態あるいは結果を記録することができる。この結果、その状態を示すデータを記録する仕組みを持っている自動機で構成された工場現場と同等に、ヒトによる作業現場の状態を記録することができる。

【0061】

［第２の実施の形態］
次に、第２の実施の形態に係る監視システムを説明する。図９を参照して、第２の実施の形態に係る監視システム１Ａの一例を説明する。第２の実施の形態の監視システムは、製造工程における部品や中間製品（モノ）を載置する台車（カート）を監視する構成が、第１の実施の形態（図１）とは異なっている。図９は、カートを監視する構成のみを図示しているが、ヒト、装置の監視については第１の実施の形態（図１）と同様の構成及び動作が採用し得る。解析サーバ１６は、収集・蓄積サーバ１５において蓄積された各種映像データを解析して、ヒト、モノ、及び装置の動作を解析し、その解析結果としての解析データを生成する。生成された解析データは、表示ＰＣ１７に出力され、オペレータが認識可能な形で可視化して表示される。そして、変化点検出、有意な動作の時刻／場所の特定、余裕箇所の検出／表示等（図５）は、第１の実施の形態と同様にして実行することができる。

【0062】

近年、工場のＩｏＴ化が進められており、それに伴い、様々な作業の自動化が進められている。しかし、多品種少量生産の工場では、カートが利用されることが多く、部品を１つ１つカートの棚から取り、加工する場所まで運び、組立等を進める等が行われている。このような作業を自動化することは難しく、多くの作業を人手で行っている。このようなカートを利用した工場において、作業者一人一人の作業工程や進捗状況の把握に加え、カートの位置を把握し、これによりカートに搭載される部品や中間製品等の配送状況を把握することが求められている。

【0063】

このような観点から、第２の実施の形態は、第１の実施の形態と同様に、二次元コード２２が取り付けられたカート２１の位置を把握する。図９に示すように、一例として３台のモノ監視カメラ１２（１２Ａ～１２Ｃ）が配置される。これはあくまでも一例であり、モノ監視カメラ１２の数は特定の数には限定されない。モノ監視カメラ１２Ａ～Ｃは、モノ（部品等）を載置したカート２１に付された二次元コード２２を撮影するカメラとすることができる。なお、カート２１は、単に通路を移動し、その移動の途中で二次元コード２２が読み取られるようにしてもよいし、図９では図示しないピット（停止箇所）にカート２１を移動させ、そのピットでの停止中において二次元コード２２が読み取られるようにしてもよいし、その組合せであってもよい。

【0064】

第１の実施の形態と同様に、このカート２１に載置された部品、中間製品は、配膳棚でカート２１上に部品が載置される際に、カート番号・部品番号・部品番号が紐づけされた製品製造番号等と対応関係を与えられる。対応関係は、二次元コード２２にも情報として与えられ、二次元コード２２が読まれることにより、これらの対応関係の情報が自動収集される。この一連の自動収集により、カート２１、部品、作業者、ショップ、変化時刻が紐づけされる。この紐づけが、他のショップ、他の製品、他の作業者の間でもなされる。

【0065】

カート２１に取り付けられる二次元コード２２は、二次元コード２２のモノ監視カメラ１２による撮像が作業者などによって遮られないよう、また、カート２１の構造に鑑み、十分に小さい大きさ（一例としては、３ｃｍ～４ｃｍ四方程度）とすることが好ましい。また、二次元コード２２の具体例としては、図１０に示すようなＡｒＵｃｏマーカが好適である。ＡｒＵｃｏマーカは、パターン数が１０００と少なく、リアルタイムで遠距離から読み取ることができるため、上記のようにマーカの大きさを小さくした場合であっても、高い信頼性での読取が可能となる。小さなサイズで、十分に遠方から読取が可能である限り、ＡｒＵｃｏマーカ以外の二次元コード(ＱＲコード、カメレオンコード等（いずれも登録商標）)を利用することもできる。二次元コード以外にも、各種の識別マークを用いることができる。

【0066】

なお、既存のＡｒＵｃｏマーカにデザイン改良を加えたり、新たなデザインのマーカ（円形等）を採用したりすることも考えられる。これにより、情報量が増加し、システムにおける製造工程の進捗状況の判定精度が向上することが期待される。しかし、マーカの種類が増加することにより、３ｃｍ×３ｃｍ程度のマーカのサイズでは識別が困難となり、サイズの拡大が必要になる。また、新しいデザインのマーカの場合、作成可能なマーカのＩＤ数が減少する問題が生じる。そこで、この第２の実施の形態では、既存のＡｒＵｃｏマーカを変更無く使用すると共に、以下の手法を採用することにより、カート２１に取り付け可能な小さなマーカサイズを採用しつつも、十分な認識精度を得るようにしている。

【0067】

図１１は、解析サーバ１６において二次元コード２２を読み取る場合のデータ処理の実行手順の一例を示している。まず、解析サーバ１６は、収集・蓄積サーバ１５が収集した映像データから画像データを取得し（ステップＳ１１）、その画像データの中から、深層学習を用いてＡｒＵｃｏマーカを検出する（ステップＳ１２）。ここでの深層学習では、１０００通りあるＡｒＵｃｏマーカのうちの数通り（例えば、１通り～２０通り程度）のＡｒＵｃｏマーカの画像を学習データとして解析サーバ１６に与え、その学習データに基づいて、ＡｒＵｃｏマーカと判定される画像を画像データの中から特定する。従って、このステップＳ１１では、解析サーバ１６は、単に得られた画像にＡｒＵｃｏマーカが含まれているか否かの判定を実行するものであり、その種別（１０００通り）の検出までは実行しない。ＡｒＵｃｏマーカの種別の検出は、後述するステップＳ１６で実行する。

【0068】

深層学習を用いたマーカ検出においては、物体検出方法であるＦａｓｔｅｒ－Ｒ－ＣＮＮを利用することが好ましい。Ｆａｓｔｅｒ－Ｒ－ＣＮＮは、ある矩形の中身が物体なのか背景なのかを識別し、検出された領域をクラス分類するというモデル構造を有している。Ｒ－ＣＮＮやＦａｓｔ－Ｒ－ＣＮＮといった従来の物体検出手法に比べ、物体領域の候補の抽出の際にＲＰＮ（Region Proposal Network）と呼ばれるＣＮＮ構造を利用しているので、処理時間が大幅に短縮され得る。Ｆａｓｔｅｒ－Ｒ－ＣＮＮの学習済みモデルをマーカ用に作成したカスタムデータセットでファインチューニングすることにより、マーカ検出が可能になる。カスタムデータセットの作成においては、効率良く大量の教師データを作成するため、マスク単位の物体追跡手法であるＳｉａｍ Ｍａｓｋを利用することが好ましい。動画の最初のフレームに追跡すべき物体の位置を与えれば、それ以降の全てのフレームで対象の位置が推定される。この方法は、他の深層学習を用いた物体追跡手法に比べ高速であり、リアルタイムでの運用を可能にする。

【0069】

ステップＳ１２の後、解析サーバ１６は、検出されたＡｒＵｃｏマーカの周辺の画像を切り出す切り出し処理を実行する（ステップＳ１３）。具体的には、検出されたマーカの矩形４つの頂点の座標を検出し、その座標に従ってＡｒＵｃｏマーカとその周辺の切り出しを行う。このような切り出し処理を実行することにより、検出対象であるＡｒＵｃｏマーカの画像のみが残存し、不要なデータが削除されるので、その後のデータ処理の高速化及び高精度化を図ることができる。

【0070】

なお、移動中のカート２１を撮像することに起因する画像のブレを除去するため、画像データに対するブレ除去処理も実行される（ステップＳ１５）。ブレ除去処理は、前述のＡｒＵｃｏマーカの学習データを利用して、得られたブレたＡｒＵｃｏマーカの画像から、ブレていない画像を推定し、生成するものである。ブレ除去処理には、一例として、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Networks）をブレ除去処理に適用させた手法であるＤｅｂｌｕｒＧＡＮ－ｖ２を利用することができる。ＤｅｂｌｕｒＧＡＮ―ｖ２のモデル構造は、生成器では高次元特徴マップをアップサンプリングしたものと低次元特徴マップを足し合わせながら生成画像を作成する。識別器では、Ｐａｔｃｈ ＧＡＮを導入し、生成画像をパッチレベルで分割して本物か偽物かを判別する。このようにすることで、画像内の細かい部分のブレまで着目したモデルとされている。また、学習データには無いブレ画像に対してもブレ除去処理が可能となる。なお、ブレ除去処理は、画像データの取得後、画像全体に対して実行されてもよいし、切り出し処理後において実行されてもよい（図１２参照）。

【0071】

解析サーバ１６は更に、その切り出されたＡｒＵｃｏマーカの画像に対し、所定の前処理を実行する（ステップＳ１４）。前処理は、一例として、平滑化、先鋭化処理、又はその両方を含み、その他、正規化処理等を含んでも良い。平滑化及び／又は先鋭化処理を実行することにより、ＡｒＵｃｏマーカの明暗が明確となり、ＡｒＵｃｏマーカの認識の正確性が向上する。平滑化処理には、例えばガウシアンフィルタを利用することができる。

【0072】

そして、解析サーバ１６は、前処理後のＡｒＵｃｏマーカの画像をＯｐｅｎＣＶ（登録商標）のライブラリにおいて参照し、ＡｒＵｃｏマーカの種別（１０００通り）の識別を実行する（ステップＳ１６）。なお、前処理は、画像の状況によって省略することも可能である。

【0073】

図１２に示すように、本実施の形態においては、二次元コード２２（ＡｒＵｃｏマーカ）を読み取る場合のデータ処理において、ブレ除去処理の実行順序又は実行位置（全体、又は切り出し後）を適宜変更可能であり（図１２の手法（６）、又は手法（３）、（５））、及び前処理の実行の有無も適宜選択可能である（手法（３））。また、ブレ除去処理を画像の全体に対し実行した後、ステップＳ１２～Ｓ１４を省略することも可能である（手法（２））。すなわち、図１２に示す手法（２）、（３）、（５）、（６）が選択可能である。

【0074】

次に、各手法の効果の分析結果を示す。図１３は、手法（１）と（４）を使用した場合におけるＡｒＵｃｏマーカの検出成功率の検出距離に対する変化を示すグラフである。図１３の上のグラフは、カメラで得た画像の画素数が１２８０×７２０の場合のグラフであり、下のグラフは、画素数が７２０×４００の場合のグラフである。両グラフにおける「検出成功」のグラフは、手法（４）を使用した場合における、ＯｐｅｎＣＶでの識別成功率の変化を示している。

【0075】

手法（１）では、解析サーバ１６においては監視カメラ１２からの画像を取得するのみに止め（ブレ除去処理、検出／切り出し、及び前処理は行わず）、ＡｒＵｃｏマーカの存在・種別の検出は外部のＯｐｅｎＣＶのライブラリと取得画像との比較により実行する。手法（４）では、解析サーバ１６においては、同様にブレ除去処理は行わず、ＡｒＵｃｏマーカの深層学習による検出及び切り出しと、前処理（平滑化及び／又は先鋭化処理）のみを実行する。手法（４）は、手法（１）に比べ、全体として認識成功率が向上し、認識可能距離も伸びていることが分かる。

【0076】

図１４を参照して、手法（１）～（３）の効果を比較する。図１４の上のグラフは、監視カメラ１２とカート２１の間の距離を１ｍとした場合において、カート２１の速度［ｍ／ｓ］と、二次元コード２２（ＡｒＵｃｏマーカ）の認識成功率［％］の関係を計測した結果を示している。図１４の下のグラフは、監視カメラ１２とカート２１の間の距離を２ｍとした場合において、カート２１の速度［ｍ／ｓ］と、二次元コード２２（ＡｒＵｃｏマーカ）の認識成功率［％］の関係を計測した結果を示している。手法（１）、すなわちブレ除去処理、二次元コード２２の検出処理及び切り出し処理、前処理のいずれも実行せずにＯｐｅｎＣＶに画像データを入力する方法では、例えば距離１ｍ、速度０．２［ｍ／ｓ］においても認識成功率が４０％未満となることが判明した。一方、手法（２）、（３）のように、ブレ除去を行う場合には、例えば距離１ｍ、速度０．２［ｍ／ｓ］においては認識成功率が１００％近くとなることが判明した。距離２ｍ、速度０．２［ｍ／ｓ］においても認識成功率は７０％前後になることが判明した。なお、距離１ｍでは、手法（２）のように画像全体にブレ除去処理を適用した場合の方が、手法（３）のように切り出し後にブレ除去処理を適用した場合よりも認識成功率が高いという結果となった。一方、距離２ｍでは、逆に手法（３）の方が認識成功率が高くなった。これは、ブレ除去処理に利用したＤｅｌｂｌｕｒ－ＧＡＮ－ｖ２の特性に起因するものと推定される。この結果から、ブレ除去処理は、状況により、画像の全体に対し行っても良いし、ＡｒＵｃｏマーカの検出及び切り出し処理を実行した後に行っても良いことが分かる。

【0077】

図１５を参照して、手法（４）～（６）の効果を説明する。図１５の上のグラフは、監視カメラ１２とカート２１の間の距離を１ｍとした場合において、カート２１の速度［ｍ／ｓ］と、二次元コード２２（ＡｒＵｃｏマーカ）の認識成功率［％］の関係を、手法（４）～（６）の各々について計測した結果を示している。図１５の下のグラフは、図１４の下のグラフは、監視カメラ１２とカート２１の間の距離を２ｍとした場合において、カート２１の速度［ｍ／ｓ］と、二次元コード２２（ＡｒＵｃｏマーカ）の認識成功率［％］の関係を手法（４）～（６）の各々について計測した結果を示している。手法（１）の計測結果も併せて示している。

【0078】

手法（４）、すなわちブレ除去処理を実行せずに、二次元コード２２の検出／切り出し処理、及び前処理を実行してＯｐｅｎＣＶに画像データを入力する方法では、例えば距離１ｍ、速度０．２［ｍ／ｓ］においても認識成功率が５０％未満となることが判明した。一方、手法（５）、（６）のように、ＡｒＵｃｏマーカの検出／切り出し処理の前又は後においてブレ除去処理を行う場合には、例えば距離１ｍ、速度０．２［ｍ／ｓ］においては認識成功率が１００％近くとなることが判明した。距離２ｍ、速度０．２［ｍ／ｓ］においても認識成功率は８０％前後になることが判明した。このように、ＡｒＵｃｏマーカの検出・及び切り出し処理の前後において、ブレ除去処理を実行することで、認識成功率が向上することが分かる。

【0079】

次に、ＡｒＵｃｏマーカを学習して学習データを生成する方法について説明する。上記のように、ＡｒＵｃｏマーカは、既存のマーカだけでも１０００種類が存在するが、その全てを解析サーバ１６において学習させることは困難であり、全てを学習しようとすれば管理コストが増大する。そこで、第２の実施の形態のシステムでは、１０００種類あるＡｒＵｃｏマーカのうち、一部のマーカのみを学習して学習データとする構成を採用する。例えば、１０００種類のＡｒＵｃｏマーカのうち、１～２０種類程度を学習させて学習データとすることができる。このように、一部のＡｒＵｃｏマーカの学習であっても、解析サーバ１６においてＡｒＵｃｏマーカの識別自体を実行することが可能である。１０００種類のうちのいずれの種類のＡｒＵｃｏマーカかの判別は、ＯｐｅｎＣＶのライブラリを参照することで実行することが可能である。

【0080】

図１６及び図１７は、少ない学習用データによるマーカの検出動作の実験結果を示すものである。図１６は、学習用に用意された２０種類のＡｒＵｃｏマーカと、４種類のテスト用のＡｒＵｃｏマーカを示している。図１７は、学習させたマーカの種類の数と、検出成功率の関係を示している。図１６の例では、ＩＤ＝００～０１５、２０、３０、４０、５０の２０種類を学習用データとしたが、これはあくまで一例である。テスト用のＡｒＵｃｏマーカには、学習用データには含まれていないＡｒＵｃｏマーカが含まれている（ＩＤ＝９８、９９）。テスト用データの検出においては、前述のＳｉａｍＭａｓｋを用いた。また、解像度は１２８０×７２０とし、ＡｒＵｃｏマーカを０．３～３ｍの距離に適宜配置して、監視カメラ１２Ａ～１２Ｃによる撮像を行って実験を行った。

【0081】

図１７のグラフに示すように、学習用データとして、１～２０種類程度のＡｒＵｃｏマーカを使用した場合であっても、最終的な検出成功率は概ね９０％以上を達成することができることが分かった。

【0082】

以上説明したように、本実施の形態の監視システムによれば、得られた二次元コード２２の画像に対しブレ除去処理を実行し、その後ＯｐｅｎＣＶ等のライブラリを参照することにより、高い精度でＡｒＵｃｏマーカ等の二次元コードを検出することが可能になる。従って、本システムによれば、ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供することができる。

【0083】

本発明は上記実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0084】

１、１Ａ…監視システム、 １１…ヒト監視カメラ、 １２、１２Ａ～１２Ｃ…モノ監視カメラ、 １３…装置監視カメラ、 １４…転送コンピュータ（ＰＣ）、 １５…収集・蓄積サーバ、 １６…解析サーバ、 １７…表示コンピュータ（ＰＣ）、 ２１…カート、 ２２…二次元コード、 ３１…対象画像抽出部、 ３２…距離学習データ生成／取得部、 ３３…ステップ判定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】