特開 2024-103539 監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024103539

(43)【公開日】2024-08-01

(54)【発明の名称】監視システム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240725BHJP

   G06N 20/00 20190101ALI20240725BHJP

【ＦＩ】

G06Q50/04

G06N20/00

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024082516

(22)【出願日】2024-05-21

(62)【分割の表示】P 2020103355の分割

【原出願日】2020-06-15

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】西川 英雄

(72)【発明者】

【氏名】野口 稔

(72)【発明者】

【氏名】原田 佳周

(72)【発明者】

【氏名】鹿志村 和典

(72)【発明者】

【氏名】廣原 信夫

(72)【発明者】

【氏名】▲濱▼谷 章史

(57)【要約】

【課題】ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供する。
【解決手段】製造工程におけるヒト、モノ、又は装置を監視する監視システムにおいて、前記ヒト、モノ又は装置を監視するカメラと、前記カメラにより得られた映像データを解析する解析部と、前記解析部による解析結果を表示する表示部と、を備え、前記解析部は、前記映像データにおける変化点を検出し、前記変化点に基づいて、前記ヒト、モノ又は装置の状態を解析し、新規に取得された映像データに含まれる信号と、機械学習された映像データに含まれる信号とを比較して前記変化点を検出し、その変化点の存在位置を検出することにより、前記製造工程の作業エラーの監視を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

製造工程におけるヒト、モノ、又は装置を監視する監視システムにおいて、
前記ヒト、モノ又は装置を監視するカメラと、
前記カメラにより得られた映像データを解析する解析部と、
前記解析部による解析結果を表示する表示部と、
を備え、
前記解析部は、
前記映像データにおける変化点を検出し、
前記変化点に基づいて、前記ヒト、モノ又は装置の状態を解析し、
新規に取得された映像データに含まれる信号と、機械学習された映像データに含まれる信号とを比較して前記変化点を検出し、その変化点の存在位置を検出することにより、前記製造工程の作業エラーの監視を実行する
ことを特徴とする監視システム。

【請求項2】

前記解析部は、
前記変化点の候補である検査対象を検出する検査対象検出手段を含むことを特徴とする請求項１に記載の監視システム。

【請求項3】

前記解析部は、
前記機械学習された映像データのパラメータを前記製造工程の拠点に送付し、前記拠点において学習された映像データのパラメータと加重平均する手段を含むことを特徴とする請求項１に記載の監視システム。

【請求項4】

前記ヒト、モノ又は装置を監視するカメラが複数台設置されることにより、３次元空間における前記ヒト、モノ又は装置の存在位置を検出することを特徴とする請求項１に記載の監視システム。

【請求項5】

製造工程におけるヒト、モノ、又は装置を監視する監視システムにおいて、
前記ヒト、モノ又は装置を監視するセンサと、
前記センサにより得られたセンシングデータを解析する解析部と、
前記解析部による解析結果を表示する表示部と、
を備え、
前記解析部は、
前記センシングデータにおける変化点を検出し、
前記変化点に基づいて、前記ヒト、モノ又は装置の状態を解析し、
新規に取得されたセンシングデータに含まれる信号と、機械学習されたセンシングデータに含まれる信号とを比較して前記変化点を検出し、その変化点の時刻あるいは存在位置を検出することにより、前記製造工程の監視を実行する
ことを特徴とする監視システム。

【請求項6】

前記表示部がスケジューラを有することを特徴とする請求項５に記載の監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モノの製造現場におけるヒト、モノ、機械を監視する監視システムに関する。

【背景技術】

【0002】

モノの製造現場において、製造に携わるヒトや、製造されるモノ、製造工程を実行する機械（製造装置、検査装置、梱包装置、その他）を監視するシステムが知られており、その更なる改善が進められている（例えば特許文献１乃至３参照）。

【0003】

例えば、組立産業の製造現場では、複数の部品を集約し、それらを所定の組立図、作業手順書などに沿った作業（例えば、溶接、切削、組立てなど）の組み合わせで、製品が生産される。複雑な製品の場合、複数の作業現場で、それぞれ所定の作業が進められ、それぞれの部分（ユニット）がまとめられて、より複雑な製品が作り出される。このような作業では、集約される部品（モノ）の種類が多い際、作業手順、現場の配置、部品の集約作業等が複雑になり、作業の待ち、部品の滞留、部品集約のタイミングのずれ、作業員（ヒト）の配置ミスなどが発生しやすく、組立作業の効率低下が問題になる。ところが、特に組立産業では、設備、機器を使用することが少なく、ヒトによる組立作業が中心であるため、センサによるロギング環境が整っていない。このため、製造現場でのヒトやモノの状態を的確に把握・監視する監視システムが望まれている。言い換えると、組立産業のデジタルツインを構築し、その活用により、経営数値の改善、監視を実現することが望まれている。

【0004】

しかし、ヒトの作業状態を数値化して記録する際は、作業者が作業の手を止めて作業状態を記録するか、又は別の作業者が、作業者の動作を観察しながら記録することが必要であり、手間やコストがかかるという問題があった。

【0005】

また、モノの状態の監視に関しては、モノが機械の中にある場合には、機械による動作の記録及び監視が可能であるが、モノがある作業現場の機械から別の作業現場の機械に移動する場合などにおいて、その状態を十分に監視することができていない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第５４１６３２２号公報

【特許文献2】特開２０１９－１３９５７０号公報

【特許文献3】特開２０１９－１６２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供するものである。

【課題を解決するための手段】

【0008】

上記の課題を解決するため、本発明に係る監視システムは、製造現場におけるヒト、モノ、及び装置を監視する監視システムにおいて、前記ヒト、モノ又は装置を監視するカメラと、前記カメラにより得られた映像データを解析する解析部と、前記解析部による解析結果を表示する表示部とを備える。前記解析部は、前記映像データにおける変化点を検出し、前記変化点に基づいて前記ヒト、前記モノ、あるいは装置の状態を解析する。

【発明の効果】

【0009】

本発明に係る監視システムによれば、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る監視システム１の構成の一例を示す概略図である。

【図2】ヒト監視カメラ１１の動作を概略的に説明する概略図である。

【図3】モノ監視カメラ１２及び装置監視カメラ１３の動作を概略的に説明する概略図である。

【図4】モノ監視カメラ１２及び装置監視カメラ１３の動作を概略的に説明する概略図である。

【図5】実施の形態に係る監視システム１の動作を説明するフローチャートである。

【図6】表示ＰＣ１７における表示画面の一例である。

【図7】表示ＰＣ１７における表示画面の一例である。

【図8】表示ＰＣ１７における表示画面の一例である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

【0012】

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

【0013】

以下では、複数の部品から構成される製品（最終製品、および中間製品としてのユニット）を組立する工程に係る実施形態を説明する。基幹システム又は発注システムから発注され納入された部品は、部品倉庫に搬入され格納される。一方、製品の製造計画に沿って、製造作番が発行されると、作番ごとに予め定義された製造計画（設計部門で作成された組立図、組立手順書を含む）に沿って、部品が組立ショップに搬送される。この組立ショップには、製造計画に沿って、組立人員及び必要な機器、ジグが配置される。組立人員は、製造計画に沿って、ケースによって必要な機器・ジグを用いて、所定の組立作業を実施する。

【0014】

所定の組立作業を実施された製品は、次の組立ショップに搬送される。この繰り返し、統合によって、最終製品が完成し、所定の出荷検査が実施され、出荷倉庫に格納される。本実施形態は、工場内で進められている上記の組立工程、作業の進行状況を記録する手段及び方法を提供するものである。具体的には、各倉庫、配膳だな、組立ショップ事に、各部品、各機器・ジグ、各作業者の識別情報、着手完了時刻、離着時刻を記録するものである。従来の技術では、製品部品の有無を検出するために、作業ごと、ショップごとの作業内容、ショップの構成に応じたセンサを個別に設置する必要があった。これは、例えば、製品の変更等で、作業の内容、部品の大きさ形状が変化するたびに、センサの設置位置などを変更する必要があった。以下に説明する実施形態によれば、カメラの撮像範囲に、部品、ジグ、作業者が存在する限り、カメラの設置位置を変更する必要はない。これによりシステム導入時の設置コストを大幅に削減することができる。

【0015】

実施形態に係る監視システム１の一例を、図１を参照して説明する。この監視システム１は、一例として、ヒト監視カメラ１１、モノ監視カメラ１２、装置監視カメラ１３、転送コンピュータ（ＰＣ）１４、収集・蓄積サーバ１５、解析サーバ１６、及び表示コンピュータ（ＰＣ）１７から構成され得る。

【0016】

ヒト監視カメラ１１は、製造現場にて作業を実行するヒト（作業者）の動きを監視するためのカメラである。ヒト監視カメラ１１は、例えばヒトの形や、動作の特性に関する情報を予め蓄積しており、人間の動きを迅速且つ確実に検出することができるよう構成され得る。

【0017】

モノ監視カメラ１２は、製造現場において製造され移動するモノの動きを監視するためのカメラである。モノ監視カメラ１２は、一例として、モノを載置して運搬するためのカートの移動を監視するため、カートに付された識別情報（一次元コード、二次元コード、カラーチャート等）を撮像し、識別するカメラとすることができる。複数のカートにそれぞれ異なる識別情報を付すことで、カートの種類を識別することができる。ただし、これはあくまでも一例であり、モノ監視カメラ１２は、カートの移動を識別情報により監視するものには限定されない。例えば、モノ自体の形状を認識するか、又はモノに付された各種識別情報を識別するようにしてもよい。また、カートを認識することに代えて、例えばベルトコンベアに載置されたトレイの動きをモノ監視カメラ１２で監視するようにしてもよい。モノ監視カメラ１２が二次元コードを読み取るように構成される場合、モノ監視カメラ１２は、その内部に二次元コード解析用のアプリケーションを搭載することができる。もちろん、二次元コード解析用のアプリケーションは、クラウド上においても良いことは言うまでもない。

【0018】

装置監視カメラ１３は、製造現場に設置されている各種装置（製造装置、検査装置、梱包装置、その他）の動きを監視するためのカメラである。装置監視カメラ１３は、撮像対象である装置の特性に応じて異なるものとすることができる。例えば、ヒトの操作の介在が必須である装置のための装置監視カメラ１３においては、装置の操作パネルを撮像し、ヒトの操作を監視するカメラとすることができる。操作パネルを撮像することで、当該装置が稼働中であるか、停止中であるかなどを判断することが出来る。

【0019】

昨今の設備、機器は、機器内に配置されたセンサで、機器内の状態を示すパラメータを、検出することができる。しかしながら、これらのセンサを有しない設備の場合、機器を改造して、これらのセンサを設置する必要がある。ところが、設備、機器を用いた作業の熟練者の場合、目視、音の聞き取りで、装置の加工、組み立て、それ以外の処理がいずれのプロセス段階にあるか、また、設備の状態に異常がないかを監視することができる。したがって、設備の監視においても、ＴＶカメラの活用により、状態の監視ができるということになる。このＴＶカメラでの監視を導入することにより、センサ設置のための改造、熟練者による監視など、高コストの監視システムの導入を不要にすることができる。

【0020】

ヒトの操作が介在しない自動の装置である場合、その装置のための装置監視カメラ１３は、例えばモノ（部品）等の投入口や、稼働部分（例えば、切削装置のブレード）の動きを監視するためのカメラとすることができる。更に、装置監視カメラ１３は、装置内部での各種作業の内容の検査にも用いることができる。例えば、ハーネス接続用の装置において、ハーネス接続確認検査を実行し、その画像から、正しい接続が行われたか否かを判定し、されていない場合に誤配線等のエラーを検知することができる。

【0021】

また、この実施形態では、カメラ１１～１３内、又は外付けのコントローラにおいて、検査対象を検出する検査対象検出手段、及び不具合を検出する不具合検出手段を備えることができる。検査対象検出手段は、良品の画像の中の検査対象部分を検出する機能を有する。一例として検査対象検出手段は、予め検査対象部分を学習した深層学習ネットワークから構成され得る。この手段を設けることにより、変形が大きいが異常とはみなされない部分（例えば、ケーブル等の部品）を欠陥として誤検出することを避けることができる。

【0022】

そして、検査対象部分として検出された部分を不具合検出手段に入力することで、検査対象の不具合が検出され得る。この手段は、一例として、オートエンコーダに予め複数の正常部品（正常品の画像）を学習して構成され得る。オートエンコーダで再構成された画像と、入力画像の差分画像を作成することにより、異常部分がある場合には、その位置の画像信号が大きな値となり、閾値処理により異常として検出される。検出された不具合情報（不具合画像、製品情報等）は、不具合情報格納手段に格納され得る。

【0023】

新たな検出対象が設けられた際は、その正常画像を、検査対象検出手段、及び、不具合検出手段（オートエンコーダ）に学習させることができる。この学習は、製品の設計時に生成される３次元ＣＡＤの情報を用いて行われてもよい。

【0024】

また、新たな検出対象を学習した情報（ネットワークパラメータ）は、既に学習済みのネットワークの対応パラメータとの加重平均を実行することにより、反映させることができる。この手法により、新規の検出対象に関する情報を、各ユーザがクラウド上に上げたくないケースにも対応できる。すなわち、クラウド上で共有される学習済みネットワークのパラメータを、ユーザの拠点に送付し、当該拠点にて加重平均を実行することで、ユーザ固有の高精度な不具合検出手段、検査対象検出手段を構成・提供することができる。

【0025】

なお、装置監視カメラ１３は、撮像対象の特性や撮像対象までの距離に応じて、様々なレンズ（超近接レンズ、魚眼レンズ、広角レンズ、望遠レンズ、その他）を使用することができる。

【0026】

組立工程の現場における組立作業の進行状況は、特定の技能を有する熟練者や管理者であれば、目視確認で識別し記録することができる。このような観点から、本実施の形態では、可視光で撮像したＴＶカメラによる撮像情報だけから、以下に説明する適切なデータ処理を施し、記録すべき離着時刻を算出するよう構成されている。

【0027】

また、組立工程中の各組立ショップでの組み立て作業が完了した際は、その完了時刻を記録するだけでなく、組立作業の工程ごとの着手、完了時刻、組立が完了した中間製品の不具合を検出し、記録する。このＴＶカメラのサンプリング時間は、必要に応じ、通常の３０ｆｐｓ、６０ｆｐｓである必要はなく、１ｆｐｓ、０．２ｆｐｓなどの数値に間引くことができる。また逆に、１２０ｆｐｓ、２０００ｆｐｓ等、高速度撮像であっても良い。前者は、トータルの格納データ量を下げる効果があり、後者は、高速な動きを伴うデータ収集時に必要となる。

【0028】

転送ＰＣ１４は、各種カメラ１１～１３が撮像した映像データ（動画、静止画の両方を含み得る）を読み込んで、収集・蓄積サーバ１５に転送する機能を有する。転送ＰＣ１４は、転送動作に先立ち、周知の方法によりデータ圧縮動作を実行するよう構成されることもできる。データ圧縮動作に加えて、画像の加工や画像処理（例えば、監視対象であるヒトやモノの画像の部分のみを残し、不要な画像を削除する、又は監視対象画像の解像度を高くし、その他の物体の画像の解像度を低下させるような画像処理など）を実行することも可能である。なお、転送ＰＣ１４は、収集・蓄積サーバ１５と無線接続されていてもよいし、有線接続とされていてもよい。

【0029】

収集・蓄積サーバ１５は、転送ＰＣ１４から転送された映像データを図示しない記憶部において収集し、蓄積するためのコンピュータである。なお、収集された映像データの解析は解析サーバ１６において実行されるが、解析工程の一部、例えば、映像データの解析の一部は収集・蓄積サーバ１５が担当することも可能である。

【0030】

解析サーバ１６は、収集・蓄積サーバ１５において蓄積された各種映像データを解析して、ヒト、モノ、及び機械の動作を解析し、その解析結果としての解析データを生成する。生成された解析データは、表示ＰＣ１７に出力され、オペレータが認識可能な形で可視化して表示される。なお、解析サーバ１６は、ヒト、モノ、及び機械の動作を解析した結果としての解析データを、作業計画データと対比して、その相違を解析するよう構成することも可能である。

【0031】

解析サーバ１６における解析事項は、ヒト（例えば現場監督者）が日常の監督業務を行って発見し得る事項を含むことができるが、これに限定される必要はない。例えば、長時間に亘り収集・蓄積サーバ１５において取得され蓄積（学習）された映像データに含まれる信号Ａと、新規に取得された映像データに含まれる信号Ａ’とを比較し、その比較結果を解析事項とすることもできる。このようにして得られた信号ＡとＡ’とに所定値以上の差異がある場合に、解析サーバ１６は、この差異が生じた箇所を、ヒト、モノ、又は機械についての有意な動作の変化点を示す「変化点」として特定する。

【0032】

このような変化点を特定することで、ヒトの監視では見逃されがちなヒト、モノ、機械の有意な動作が生じた時点を検出することが可能になり、製造工程の作業効率の阻害要因の指標とすることができる。また、ヒトによる監視の場合、正しい動作が行われている場合のデータと、正常ではない動作が行われている場合のデータとを切り分ける必要があるが、正データは準備が容易である一方、誤データの準備は手間がかかる。本システムによれば、誤データの準備が不要で短期間に、容易にシステム導入が実現できる。解析サーバ１６は、このような変化点が生じた時間と場所を紐づけ、数理的に「特定の作業場所での作業時間」と定義する。

【0033】

一般に、ヒトとモノが所定の場所に存在するというだけでは、実際に作業が適切に進行しているということはできない。しかし、上記のようにして得られた作業時間のデータを比較・分析することにより、例えば、
（ａ）現在行われている作業が、平均的な作業時間を逸脱している場合、
（ｂ）複数の作業の間で、作業時間のばらつきが大きくなっている場合、
（ｃ）ヒトやモノが、特定の作業場所以外に滞在している場合
などを、これらを「機械的に」検知することができる。これらは、ヒトが定義又は認識する「作業時間」とは異なるものであるが、製造リードタイムの阻害要因を検知することはできている。すなわち、（ａ）は、「平均的な時間を逸脱している」ことが阻害要因であり、（ｂ）は、作業そのものに「大きなばらつき」という阻害要因がある。（ｃ）は、「作業の待ち」、「モノの滞留」という阻害要因がある。

【0034】

図２を参照して、ヒト監視カメラ１１の動作を概略的に説明する。図２は、製造現場に複数の機械（（１）～（９））が配置され、矢印に沿ってヒト（作業者）Ｈが移動する様子を、ヒト監視カメラ１１で撮像する様子を示している。ヒト監視カメラ１１は、一例として、ヒトＨの体格、通常ヒトＨが着用している衣服の性状（色、形状、その他）、動作の特性（平均歩行速度、歩幅）の情報を格納しておくことができる。ヒト監視カメラ１１は、それらの情報と映像データとの対比により、映像データに含まれるヒトＨの画像を特定することができる。特定されたヒトＨの画像は、バウンディングボックスＢＢにより囲われ、映像データは、バウンディングボックスＢＢを含んだ形で記録され得る。

【0035】

このようにして、ヒト監視カメラ１１により映像データが得られると、解析サーバ１６において映像データが解析され、ヒトＨが、どの作業をどの時間帯で行い（滞留時間）、どの時間帯では作業を行わず、移動等を行っていたり（移動時間）、撮影範囲外の位置にいたりしたかを、特定されたヒトの動作の変化点に従い解析することができる。ヒトの動作の変化点は、ヒトが所定の機械の前に到着した時刻、離脱した時刻、その他の情報に従い特定することができる。図２の右下のバー表示は、作業（４）～（８）に関する作業時刻（開始時刻、終了時刻を含む）を示している。このようなバー表示は、表示ＰＣ１７の表示画面にも表示することができる。

【0036】

本実施の形態では、ヒト監視カメラ１１、又は外付けのコントローラにより作業者検出手段が構成される。作業者検出手段としてのヒト監視カメラ１１は、取得した画像の中の作業者を検出するもので、予め、作業者の画像を学習した深層学習ネットワークを含むことができる。この作業者検出手段により、撮像画像の中で作業者が検出される。検出された位置から、作業者が所定の位置に存在するか否か、すなわち、作業箇所への入場時刻、退場時刻が検出される。本実施の形態で、撮像画像を複数の方向から取得し、それぞれの２次元画像内での作業者の存在位置（視点の方向）が分かり、その方向の交差位置が、３次元空間における作業者の存在位置として検出される。この複数の画像から作業者の存在位置を検出する手法は、奥行きの検出精度を高くしたいケースに有効である。また、作業者が、設備、その他の物体の影となり、画像内に移らないケースに、複数の画像を用いることで検出を可能とするという効果もある。

【0037】

図３を参照して、モノ監視カメラ１２及び機械監視カメラ１３の動作を概略的に説明する。図２では、一例として３台のモノ監視カメラ１２（１２Ａ～１２Ｃ）及び３台の機械監視カメラ１３（１３Ａ～１３Ｃ）が配置された例を説明しているが、これはあくまでも一例であり、モノ監視カメラ１２及び機械監視カメラ１３の数は特定の数には限定されない。また、モノ監視カメラ１２は、特定の形式には限定されないが、好適には、図３に概略的に示すように、モノ（部品等）を載置したカート２１に付された二次元コード２２を撮影するカメラとすることができる。

【0038】

カート２１は、例えば図３に示すように、複数の機械（１１）～（１３）の間で移動する。例えば、カート２１が、機械（１１）よりも前工程を終了し、機械（１１）の前まで移動すると、カート２１に付された二次元コード２２がモノ監視カメラ１２Ａにより撮像される。これにより、カート２１の機械（１１）への到着が検知される。

【0039】

機械（１１）での作業が終わり、カート２１が機械（１１）から離れ、次の機械（１２）に向けて移動すると、モノ監視カメラ１２Ａは、二次元コード２２が撮像されなくなったことを検知することでカート２１の機械（１１）からの離脱を検知する。カート２１が機械（１２）の前まで到着すると、カート２１に付された二次元コード２２がモノ監視カメラ１２Ｂにより撮像される。これにより、カート２１の機械（１２）への到着が検知される。このような動作が繰り返されることにより、モノ監視カメラ１２の映像データに基づき、カート２１すなわちモノ（部品等）の移動を検知することができる。

【0040】

なお、モノの動作の変化点は、ある機械における着工時刻、離脱時刻により特定することができる（図４参照）。上位の機械（工程）から下位の機械（工程）への移動時間（待ち時間）は、上位の機械からの離脱時刻と、下位の機械への到着時刻との差により演算することができる。なお、機械の動作の変化点も、同様に、ある機械が特定の動作を開始した時刻、終了した時刻により特定することができる。

【0041】

また、このカート２１に載置された部品中間製品は、配膳棚でカート２１上に部品が載置される際に、カート番号・部品番号・部品番号が紐づけされた製品製造番号等と対応関係を与えられる。対応関係は、二次元コード２２にも情報として与えられ、二次元コード２２が読まれることにより、これらの対応関係の情報が自動収集される。この一連の自動収集により、カート２１、部品、作業者、ショップ、変化時刻が紐づけされる。この紐づけが、他のショップ、他の製品、他の作業者の間でもなされる。その結果、特定の時間に、部品、作業者、設備・機器・ジグが、どの位置に存在するか認識され、そのベクトルデータが格納手段に格納される。また、状態変化の時刻の検出は、必ずしもＴＶカメラで撮像した画像によるものでなくてもよく、他のセンサ、既に設置されたセンサ等の情報と組み合わされてものであっても良い。

【0042】

図５のフローチャートを参照して、実施の形態に係る監視システム１の動作を説明する。このシステムにおいて、ヒト監視カメラ１１、モノ監視カメラ１２、及び機械監視カメラ１３は、それぞれ独立に動作して、ヒト、モノ、及び機械の動作を監視する。得られた映像データは、転送ＰＣ１４に転送されて読み込まれ、転送ＰＣ１４は、所定のデータ圧縮動作を映像データに施した後、当該映像データを収集・蓄積サーバ１５に転送する。収集・蓄積サーバ１５は、転送されたデータを受信し格納する。収集・蓄積サーバ１５に蓄積されたデータは、適宜解析サーバ１６に送信され、解析の対象とされる。

【0043】

解析サーバ１６は、格納されたデータに基づいて、前述のようなヒト、モノ、機械の変化点を特定し、変化点が生じた時刻、更には変化点が生じた場所を特定し、図示しない記憶部にそれらの情報を格納する。複数の変化点が特定されることで、ヒト及び、モノの各機械での有意な動作開始の時刻、動作終了の時刻を特定することができる。

【0044】

変化点、及び変化点が生じた時刻及び場所が特定されると、各工程におけるヒト及びモノの状態が分かり、これにより、各工程が要している時間が分かると共に、複数の工程のうち、どの工程において、リードタイムを短縮する余地（余裕箇所）があるかが判定され得る。すなわち、解析サーバ１６は、特定された変化点、及び有意な動作が生じた時点のデータに基づき、各工程における余裕箇所を判定する余裕箇所判定手段として機能し得る。余裕箇所に関しては、表示ＰＣ１７において可視的に表示することができる。

【0045】

図６は、解析サーバ１６における解析結果を、表示ＰＣ１７のディスプレイに表示する場合の表示画面の一例である。この図６の表示例では、横軸を時間軸とし、異なる作番毎に、製造計画のタイムラインと、実際の作業（実績）における各工程（工程１～３）のタイムラインとを、バー表示により対比するガントチャートである。この表示によると、各作業日における、製造計画と実際の作業との相違が可視化される。この画面表示によれば、どの作番がどの工程にいるのかが可視化され、何日もかけて実行される大工程の中の進捗が、小工程毎に把握され得る。

【0046】

ここに示したように、本実施の形態の監視システムは、製造計画の進捗を監視する際に、大きな効果を発揮する。製造計画の進捗が遅れるということは、人件費、設備の減価償却費等が上積みされるため、製造コストの増加に繋がる。これが進捗管理の効果が大きい理由となる。また、大きな遅延が生じた際、製造計画（製造スケジュール）を再度見直すことにより、適切な製造アウトプットを得ることができる。製造計画の再計画（リスケジューリング）が必要な理由となる。この際、遅延の大きさは、例えば、初期に設定したリードタイムの２０％増、あるいは、３０％増、というようにあらかじめ設定しておくことができる。あるいは、例えば、ボトルネックとなっているような特定の工程のタクトが２０％増、あるいは、３０％増、というようにあらかじめ設定しておくこともできる。すなわち、再計画の必要な時期を決める際に、本実施の形態の監視システムが重要な役割を果たすことになる。言い換えると、本発明の監視システムとスケジューラを組み合わせて使用することで、更に大きな効果を生むことができる。この際、試用するスケジューラは、積み上げ式の自動スケジューラであっても、何らかの最適化アルゴリズムを搭載したスケジューラであっても、一定の効果が期待できる。

【0047】

図７は、解析サーバ１６における解析結果を、表示ＰＣのディスプレイに表示する場合の表示画面の別の例である。この図７の上側の表示例では、横軸を経過時間とし、異なる作番毎の各工程（工程１～３）の作業時間の内訳を、バーの長さとして表示されている。この表示によれば、各作番における合計の作業時間のばらつきが可視化されると共に、各工程の所要時間のバラつきも可視化される。これにより、長い作業時間を要した作番を把握し、その原因を追究することが容易になる。

【0048】

また、図７の下側の表示例では、横軸を経過時間としているが、複数のカート毎に、異なる工程間の移動時間をバーの長さで表示している。この表示によれば、どのカートのどの工程間において移動時間が長くなったのかを可視化することができ、その原因の追究を容易にすることができる。

【0049】

図８は、各工程（工程１～３）における稼働時間と被稼働時間とをグラフ化したものである。単一の工程のみに着目すれば、全体に対する稼働時間の割合（稼働率）が多いほど、作業効率は高まっていることになる。しかし、ある工程で高い稼働率が高い一方で、隣接する工程で稼働率が低い場合、工程全体としては作業効率の向上は図れない。このように、隣接する工程間で稼働率に差が出ている場合には、作業においてボトルネックが生じていると判断することができる。ボトルネックが生じた場合には、人員配置などを含む製造計画を変更することで、作業効率を向上させることができる。

【0050】

なお、以上で説明した実施の形態において、セキュリティ上、ユーザが場内の情報（本実施の形態の取得後の撮像データの処理、人、モノ、機器の状態変化の時刻検出、その後のデータ加工の処理結果の情報）をクラウド上に上げることを避けたいというケースがある。この場合、変転時刻、製品情報、その他の情報を予め、ユーザが設定したパスワードでエンコード、デコードすることができる。これにより、これらの情報を、場内では、内容が人により意味を持つテキスト情報として取り扱い、クラウド上では、パスワードがないと意味を持たない情報として取り扱うことができる。

【0051】

また、クラウド上のデータを使用する前後でハッシュ関数を用いた識別をすることで、クラウド上のデータが、改ざんされていないことを担保することができ、ユーザデータのセキュリティ確保を提供できる。この手法は、事前のハッシュ値を格納データに加えて次のハッシュ値を生成することで、改ざん作業が多くの時間を有することになり、実質的に改ざんができない状況を提供し、結果としてセキュリティをさらに向上することができる、ブロックチェーン技術を利用したものであっても良い。

【0052】

また、ＴＶカメラの画像を利用するシステムは、作業者が撮像されること自体に作業者が抵抗感を感じたり、個人情報が漏洩することを懸念したりすることがあり得る。これに対して、初期の段階で、撮像画像を例えばフーリエ変換等の画像変換を施し、ヒトの目では判断できない情報に変換する手段をコントローラ等に設けることができる。その後の学習等の工程において、このような変換画像を用いることで、その後の、作業者検出などの工程においても同様の画像変換を実行可能である。

【0053】

このようにして検出された作業完了時刻を含む各種時刻のデータを、製品毎に取得することで、その製品の着手から完了までのリードタイムを各作業ごとの作業時間として分析することができる。また、例えば、一日の作業時間の終了時に、作業の進捗、部品等の配置位置などをまとめて、レポートを作ることができる。

【0054】

このようにして検出された離着時刻や着手完了時刻等の各種時刻データの活用システム、方法に関して、以下に説明する。このシステムによれば、特定の製品に着目して、各作業の進行時間を記述することができる。特定製品、又は特定ショップで、左記進行時間のばらつきを算出すると、作業者により、あるいは、その他の外乱によりそのばらつきが大きい場合は、作業が成熟していないと判断することができる。その場合は、例えば、
・特定作業の作業者を、作業熟練度の高いメンバーに変更する
・ばらつきの原因を分析し、作業を分離するジグを準備する
等の対応策を施すことができる。

【0055】

また、上記の場合は、着手完了時間のばらつき状況をモニタリングすることで、作業の質の劣化をリアルタイムで知ることができる。

【0056】

また、本実施の形態の監視システム、生産計画システム、図６～図８に示した表示システムを有した環境をクラウド上に準備しておくことで以下に示す新たな価値を生むことができる。例えば、ヒトの変化点をより精度よく、高い時間分解能で検出できるアルゴリズムが開発された際、このアルゴリズムだけを変更することで、システム全体の価値を向上できる。例えば、プロセス変更時のプロセスをより細かに分解できるため、それらの組み合わせを変更することで、プロセス再設計によるリードタイム短縮を一段高精度にすることができる。このように、監視システム、あるいは生産計画システム、あるいは表示システムを持つことにより、容易に、迅速に、新しい技術、プログラムを現場に適用することができる。言い換えると、本発明は、生産現場の効率を向上するための「基盤；プラットフォーム」を提供するという側面を持つものである。

【0057】

さらに、このように現場適用した技術、プログラムのそれぞれの使用時間をカウントしておくことで、それらの技術の総活用時間を計測することができる。この活用時間に応じて、システム提供者に対する報酬を機械で自動に計算できる。これは、事務処理の機械化であるが、製造現場においても、このような事務処理の機械化、効率化はコスト低減という点で、重要な意味を持つ。また、この形の活用時間計測システムを持ち、活用時間に応じた報酬を支払うことにより、一括の支払いでシステムを導入することに比較して、一時的な現金支払い額を減らすことになり、いわゆるキャッシュフローが良くなるという効果が期待できる。

【0058】

また、本監視システムによれば、平均的な作業時間、想定した作業完了時刻から、逸脱したことを検出、発報することができる。単なる監視カメラ等を用いた遠隔からの監視システムでは、監視者は、撮影中の画像を監視し続ける必要があるのに対して、想定から逸脱時にのみにシステムから報告を受けることができるという効果が期待できる。

【0059】

［効果］
以上説明したように、本実施の形態のシステムによれば、ヒト、モノ、機械の動作がカメラ１１～１３により監視され、映像データにおける変化点に従い、ヒト、モノ、機械の有意な動作の変化を検知して、解析サーバ１６において解析し、その結果を可視化して提示することができる。したがって、ヒト、モノ、機械の動きを、オペレータが目視等で監視し、逐一入力を行うことなく、条件設定に手間をかけることなく、監視を実行することができ、製造工程を的確に且つ低コストで監視し、作業効率を向上させることができる。換言すれば、管理監督者の目で感覚的に判断している事項を、カメラ１１～１３による撮像のみで同等の対応が可能となる。その結果、専任のシステム担当者を配置しなくても、本システムにより製造現場の監視を効率良く実行することができる。なお、製造現場の可視化が行われることで、見える化の実現が図られ、その先にある経営課題解決までを、ワンストップで提供することが可能になる。

【0060】

使用されるカメラ１１～１３は、適宜設置場所を変更したり、カメラの種類を変更したり、又は数を増やしたりすることができ、製造現場の変更に応じた対応が容易である。具体的には、このシステムにより、ヒトによる組立作業、ヒトによる目視検査、ヒトによるモノの搬送、ヒトによる機械の操作状況など、その状態あるいは結果の記録を残すことが容易でない現場の状態あるいは結果を記録することができる。この結果、その状態を示すデータを記録する仕組みを持っている自動機で構成された工場現場と同等に、ヒトによる作業現場の状態を記録することができる。

【0061】

［その他］
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0062】

１…監視システム、 １１…ヒト監視カメラ、 １２…モノ監視カメラ、 １３…装置監視カメラ、 １４…転送コンピュータ（ＰＣ）、 １５…収集・蓄積サーバ、 １６…解析サーバ、 １７…表示コンピュータ（ＰＣ）、 ２１…カート、 ２２…二次元コード。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】