▶ 株式会社日立ハイテクソリューションズの特許一覧 ▶ 学校法人 中央大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023088155
(43)【公開日】2023-06-26
(54)【発明の名称】監視システム
(51)【国際特許分類】
G05B 19/418 20060101AFI20230619BHJP
H04N 7/18 20060101ALI20230619BHJP
G06T 7/00 20170101ALI20230619BHJP
G06Q 50/04 20120101ALI20230619BHJP
【ＦＩ】
G05B19/418 Z
H04N7/18 K
H04N7/18 D
G06T7/00 350B
G06Q50/04
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021202845
(22)【出願日】2021-12-14
(71)【出願人】
【識別番号】301078191
【氏名又は名称】株式会社日立ハイテクソリューションズ
(71)【出願人】
【識別番号】599011687
【氏名又は名称】学校法人 中央大学
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】濱谷 章史
(72)【発明者】
【氏名】原田 佳周
(72)【発明者】
【氏名】西川 英雄
(72)【発明者】
【氏名】野口 稔
(72)【発明者】
【氏名】橘川 拓実
(72)【発明者】
【氏名】梅田 和昇
(72)【発明者】
【氏名】パトハック サーサク マヘシ
【テーマコード（参考）】
3C100
5C054
5L049
5L096
【Ｆターム（参考）】
3C100AA29
3C100AA57
3C100AA59
3C100BB05
3C100BB13
3C100BB15
3C100BB17
3C100BB34
3C100CC02
3C100DD05
3C100DD12
3C100DD22
3C100DD33
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FC01
5C054FC03
5C054FC07
5C054FC12
5C054FC13
5C054FC14
5C054FD03
5C054GB01
5C054GB05
5C054HA19
5L049CC04
5L096BA02
5L096DA02
5L096FA66
5L096HA02
5L096KA04
5L096KA15
(57)【要約】
【課題】ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供する。
【解決手段】この監視システムは、モノを監視するカメラと、カメラにより得られた映像データを解析する解析部と、前記解析部による解析結果を表示する表示部とを備える。前記解析部は、映像データにおける変化点を検出し、変化点に基づいてヒトあるいはモノあるいは装置の状態を解析するよう構成され、モノの製造工程を複数のステップに分割し、複数のステップ毎に得られた映像データに距離学習を適用して特徴量空間データを取得し、前記特徴量空間データと、判定対象の映像データとを対比して、当該判定対象の映像データのステップを判定するよう構成される。
【選択図】図９Ａ
【解決手段】この監視システムは、モノを監視するカメラと、カメラにより得られた映像データを解析する解析部と、前記解析部による解析結果を表示する表示部とを備える。前記解析部は、映像データにおける変化点を検出し、変化点に基づいてヒトあるいはモノあるいは装置の状態を解析するよう構成され、モノの製造工程を複数のステップに分割し、複数のステップ毎に得られた映像データに距離学習を適用して特徴量空間データを取得し、前記特徴量空間データと、判定対象の映像データとを対比して、当該判定対象の映像データのステップを判定するよう構成される。
【選択図】図９Ａ
【特許請求の範囲】
【請求項1】
製造現場におけるヒト、モノ、又は装置を監視する監視システムにおいて、
前記モノを監視するカメラと、
前記カメラにより得られた映像データを解析する解析部と、
前記解析部による解析結果を表示する表示部と
を備え、
前記解析部は、前記映像データにおける変化点を検出し、前記変化点に基づいて前記ヒトあるいはモノあるいは装置の状態を解析するよう構成され、
前記モノの製造工程を複数のステップに分割し、前記複数のステップ毎に得られた映像データに距離学習を適用して特徴量空間データを取得し、
前記特徴量空間データと、判定対象の映像データとを対比して、当該判定対象の映像データのステップを判定するよう構成された
ことを特徴とする監視システム。
前記モノを監視するカメラと、
前記カメラにより得られた映像データを解析する解析部と、
前記解析部による解析結果を表示する表示部と
を備え、
前記解析部は、前記映像データにおける変化点を検出し、前記変化点に基づいて前記ヒトあるいはモノあるいは装置の状態を解析するよう構成され、
前記モノの製造工程を複数のステップに分割し、前記複数のステップ毎に得られた映像データに距離学習を適用して特徴量空間データを取得し、
前記特徴量空間データと、判定対象の映像データとを対比して、当該判定対象の映像データのステップを判定するよう構成された
ことを特徴とする監視システム。
【請求項2】
前記解析部は、
前記距離学習を実行する場合において、
前記ステップ毎に得られた映像データのうちの一のデータをポジティブデータとして選択し、
前記ポジティブデータと同一のステップに属するデータをアンカーデータとして選択し、
前記ポジティブデータとは異なるステップに属するデータをネガティブデータとして選択し、
前記ポジティブデータと前記アンカーデータとの間の特徴量空間での距離が第１の距離となり、且つ前記ポジティブデータと前記ネガティブデータとの間の前記特徴量空間での距離が、前記第１の距離よりも大きい第２の距離となるよう、距離学習を実行する
ことを特徴とする、請求項１に記載の監視システム。
前記距離学習を実行する場合において、
前記ステップ毎に得られた映像データのうちの一のデータをポジティブデータとして選択し、
前記ポジティブデータと同一のステップに属するデータをアンカーデータとして選択し、
前記ポジティブデータとは異なるステップに属するデータをネガティブデータとして選択し、
前記ポジティブデータと前記アンカーデータとの間の特徴量空間での距離が第１の距離となり、且つ前記ポジティブデータと前記ネガティブデータとの間の前記特徴量空間での距離が、前記第１の距離よりも大きい第２の距離となるよう、距離学習を実行する
ことを特徴とする、請求項１に記載の監視システム。
【請求項3】
前記解析部は、マージンを設定し、
前記第１の距離と前記第２の距離との間の差が前記マージンとなるよう、距離学習を実行する、請求項２に記載の監視システム。
前記第１の距離と前記第２の距離との間の差が前記マージンとなるよう、距離学習を実行する、請求項２に記載の監視システム。
【請求項4】
前記マージンは固定値である、請求項３に記載の監視システム。
【請求項5】
前記ポジティブデータが属するステップと、前記ネガティブデータが属するステップとが近いほど、前記マージンが大きい値に設定される、請求項３に記載の監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モノの製造現場におけるヒト、モノ、機械を監視する監視システムに関する。
【背景技術】
【0002】
モノの製造現場において、製造に携わるヒトや、製造されるモノ、製造工程を実行する機械（製造装置、検査装置、梱包装置、その他）を監視するシステムが知られており、その更なる改善が進められている（例えば特許文献１乃至３参照）。
【0003】
例えば、組立産業の製造現場では、複数の部品を集約し、それらを所定の組立図、作業手順書などに沿った作業（例えば、溶接、切削、組立てなど）の組み合わせで、製品が生産される。複雑な製品の場合、複数の作業現場で、それぞれ所定の作業が進められ、それぞれの部分（ユニット）がまとめられて、より複雑な製品が作り出される。このような作業では、集約される部品（モノ）の種類が多い際、作業手順、現場の配置、部品の集約作業等が複雑になり、作業の待ち、部品の滞留、部品集約のタイミングのずれ、作業員（ヒト）の配置ミスなどが発生しやすく、組立作業の効率低下が問題になる。ところが、特に組立産業では、設備、機器を使用することが少なく、ヒトによる組立作業が中心であるため、センサによるロギング環境が整っていない。このため、製造現場でのヒトやモノの状態を的確に把握・監視する監視システムが望まれている。言い換えると、組立産業のデジタルツインを構築し、その活用により、経営数値の改善、監視を実現することが望まれている。
【0004】
しかし、ヒトの作業状態を数値化して記録する際は、作業者が作業の手を止めて作業状態を記録するか、又は別の作業者が、作業者の動作を観察しながら記録することが必要であり、手間やコストがかかるという問題があった。
【0005】
また、モノの状態の監視に関しては、モノが機械の中にある場合には、機械による動作の記録及び監視が可能であるが、モノがある作業現場の機械から別の作業現場の機械に移動する場合などにおいて、その状態を十分に監視することができていない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第５４１６３２２号公報
【特許文献2】特開２０１９－１３９５７０号公報
【特許文献3】特開２０１９－１６２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供するものである。
【課題を解決するための手段】
【0008】
上記の課題を解決するため、本発明に係る監視システムは、製造現場におけるヒト、モノ、又は装置を監視する監視システムにおいて、前記モノを監視するカメラと、前記カメラにより得られた映像データを解析する解析部と、前記解析部による解析結果を表示する表示部とを備える。前記解析部は、前記映像データにおける変化点を検出し、前記変化点に基づいて前記ヒトあるいはモノあるいは装置の状態を解析するよう構成され、前記モノの製造工程を複数のステップに分割し、前記複数のステップ毎に得られた映像データに距離学習を適用して特徴量空間データを取得し、前記特徴量空間データと、判定対象の映像データとを対比して、当該判定対象の映像データのステップを判定するよう構成される。
【発明の効果】
【0009】
本発明に係る監視システムによれば、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係る監視システム１の構成の一例を示す概略図である。
【図2】ヒト監視カメラ１１の動作を概略的に説明する概略図である。
【図3】モノ監視カメラ１２及び装置監視カメラ１３の動作を概略的に説明する概略図である。
【図4】モノ監視カメラ１２及び装置監視カメラ１３の動作を概略的に説明する概略図である。
【図5】実施の形態に係る監視システム１Ａの動作を説明するフローチャートである。
【図6】表示ＰＣ１７における表示画面の一例である。
【図7】表示ＰＣ１７における表示画面の一例である。
【図8】表示ＰＣ１７における表示画面の一例である。
【図9A】第２の実施形態に係る監視システム１の構成の一例を示す概略図である。
【図9B】転送ＰＣでの映像データの各種加工や画像処理の一例を示す。
【図10】デスクトップパソコンの組立工程の分割の一例について説明する。
【図11】第２の実施形態における距離学習の概要を説明する概念図である。
【図12】第２の実施形態における距離学習の概要を説明する概念図である。
【図13】第２の実施形態における距離学習の概要を説明する概念図である。
【図14】第２の実施形態における距離学習の概要を説明する概念図である。
【図15】第２の実施の形態におけるステップ判定の手法を説明する概念図である。
【図16】第３の実施の形態における、マージンｍの調整について説明する。
【図17】マージンｍの調整の効果を説明するグラフである。
【図18】マージンｍの調整の効果を説明するグラフである。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
【0012】
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
【0013】
以下では、複数の部品から構成される製品（最終製品、および中間製品としてのユニット）を組立する工程に係る実施形態を説明する。基幹システム又は発注システムから発注され納入された部品は、部品倉庫に搬入され格納される。一方、製品の製造計画に沿って、製造作番が発行されると、作番ごとに予め定義された製造計画（設計部門で作成された組立図、組立手順書を含む）に沿って、部品が組立ショップに搬送される。この組立ショップには、製造計画に沿って、組立人員及び必要な機器、ジグが配置される。組立人員は、製造計画に沿って、ケースによって必要な機器・ジグを用いて、所定の組立作業を実施する。
【0014】
所定の組立作業を実施された製品は、次の組立ショップに搬送される。この繰り返し、統合によって、最終製品が完成し、所定の出荷検査が実施され、出荷倉庫に格納される。本実施形態は、工場内で進められている上記の組立工程、作業の進行状況を記録する手段及び方法を提供するものである。具体的には、各倉庫、配膳だな、組立ショップ毎に、各部品、各機器・ジグ、各作業者の識別情報、着手完了時刻、離着時刻を記録するものである。従来の技術では、製品部品の有無を検出するために、作業ごと、ショップごとの作業内容、ショップの構成に応じたセンサを個別に設置する必要があった。これは、例えば、製品の変更等で、作業の内容、部品の大きさ形状が変化するたびに、センサの設置位置などを変更する必要があった。以下に説明する実施形態によれば、カメラの撮像範囲に、部品、ジグ、作業者が存在する限り、カメラの設置位置を変更する必要はない。これによりシステム導入時の設置コストを大幅に削減することができる。
【0015】
［第１の実施の形態］
第１の実施の形態に係る監視システム１の一例を、図１を参照して説明する。この監視システム１は、一例として、ヒト監視カメラ１１、モノ監視カメラ１２、装置監視カメラ１３、転送コンピュータ（ＰＣ）１４、収集・蓄積サーバ１５、解析サーバ１６、及び表示コンピュータ（ＰＣ）１７から構成され得る。
第１の実施の形態に係る監視システム１の一例を、図１を参照して説明する。この監視システム１は、一例として、ヒト監視カメラ１１、モノ監視カメラ１２、装置監視カメラ１３、転送コンピュータ（ＰＣ）１４、収集・蓄積サーバ１５、解析サーバ１６、及び表示コンピュータ（ＰＣ）１７から構成され得る。
【0016】
ヒト監視カメラ１１は、製造現場にて作業を実行するヒト（作業者）の動きを監視するためのカメラである。ヒト監視カメラ１１は、例えばヒトの形や、動作の特性に関する情報を予め蓄積しており、人間の動きを迅速且つ確実に検出することができるよう構成され得る。
【0017】
モノ監視カメラ１２は、製造現場において製造され移動するモノの動きを監視するためのカメラである。モノ監視カメラ１２は、一例として、モノを載置して運搬するためのカートの移動を監視するため、カートに付された識別情報（一次元コード、二次元コード、カラーチャート等）を撮像し、識別するカメラとすることができる。複数のカートにそれぞれ異なる識別情報を付すことで、カートの種類を識別することができる。ただし、これはあくまでも一例であり、モノ監視カメラ１２は、カートの移動を識別情報により監視するものには限定されない。例えば、モノ自体の形状を認識するか、又はモノに付された各種識別情報を識別するようにしてもよい。また、カートを認識することに代えて、例えばベルトコンベアに載置されたトレイの動きをモノ監視カメラ１２で監視するようにしてもよい。モノ監視カメラ１２が二次元コードを読み取るように構成される場合、モノ監視カメラ１２は、その内部に二次元コード解析用のアプリケーションを搭載することができる。もちろん、二次元コード解析用のアプリケーションは、クラウド上においても良いことは言うまでもない。
【0018】
装置監視カメラ１３は、製造現場に設置されている各種装置（製造装置、検査装置、梱包装置、その他）の動きを監視するためのカメラである。装置監視カメラ１３は、撮像対象である装置の特性に応じて異なるものとすることができる。例えば、ヒトの操作の介在が必須である装置のための装置監視カメラ１３においては、装置の操作パネルを撮像し、ヒトの操作を監視するカメラとすることができる。操作パネルを撮像することで、当該装置が稼働中であるか、停止中であるかなどを判断することが出来る。
【0019】
昨今の設備、機器は、機器内に配置されたセンサで、機器内の状態を示すパラメータを、検出することができる。しかしながら、これらのセンサを有しない設備の場合、機器を改造して、これらのセンサを設置する必要がある。ところが、設備、機器を用いた作業の熟練者の場合、目視、音の聞き取りで、装置の加工、組み立て、それ以外の処理がいずれのプロセス段階にあるか、また、設備の状態に異常がないかを監視することができる。したがって、設備の監視においても、ＴＶカメラの活用により、状態の監視ができるということになる。このＴＶカメラでの監視を導入することにより、センサ設置のための改造、熟練者による監視など、高コストの監視システムの導入を不要にすることができる。
【0020】
ヒトの操作が介在しない自動の装置である場合、その装置のための装置監視カメラ１３は、例えばモノ（部品）等の投入口や、稼働部分（例えば、切削装置のブレード）の動きを監視するためのカメラとすることができる。更に、装置監視カメラ１３は、装置内部での各種作業の内容の検査にも用いることができる。例えば、ハーネス接続用の装置において、ハーネス接続確認検査を実行し、その画像から、正しい接続が行われたか否かを判定し、されていない場合に誤配線等のエラーを検知することができる。
【0021】
また、この実施形態では、カメラ１１～１３内、又は外付けのコントローラにおいて、検査対象を検出する検査対象検出手段、及び不具合を検出する不具合検出手段を備えることができる。検査対象検出手段は、良品の画像の中の検査対象部分を検出する機能を有する。一例として検査対象検出手段は、予め検査対象部分を学習した深層学習ネットワークから構成され得る。この手段を設けることにより、変形が大きいが異常とはみなされない部分（例えば、ケーブル等の部品）を欠陥として誤検出することを避けることができる。
【0022】
そして、検査対象部分として検出された部分を不具合検出手段に入力することで、検査対象の不具合が検出され得る。この手段は、一例として、オートエンコーダに予め複数の正常部品（正常品の画像）を学習して構成され得る。オートエンコーダで再構成された画像と、入力画像の差分画像を作成することにより、異常部分がある場合には、その位置の画像信号が大きな値となり、閾値処理により異常として検出される。検出された不具合情報（不具合画像、製品情報等）は、不具合情報格納手段に格納され得る。
【0023】
新たな検出対象が設けられた際は、その正常画像を、検査対象検出手段、及び、不具合検出手段（オートエンコーダ）に学習させることができる。この学習は、製品の設計時に生成される３次元ＣＡＤの情報を用いて行われてもよい。
【0024】
また、新たな検出対象を学習した情報（ネットワークパラメータ）は、既に学習済みのネットワークの対応パラメータとの加重平均を実行することにより、反映させることができる。この手法により、新規の検出対象に関する情報を、各ユーザがクラウド上に上げたくないケースにも対応できる。すなわち、クラウド上で共有される学習済みネットワークのパラメータを、ユーザの拠点に送付し、当該拠点にて加重平均を実行することで、ユーザ固有の高精度な不具合検出手段、検査対象検出手段を構成・提供することができる。
【0025】
なお、装置監視カメラ１３は、撮像対象の特性や撮像対象までの距離に応じて、様々なレンズ（超近接レンズ、魚眼レンズ、広角レンズ、望遠レンズ、その他）を使用することができる。
【0026】
組立工程の現場における組立作業の進行状況は、特定の技能を有する熟練者や管理者であれば、目視確認で識別し記録することができる。このような観点から、本実施の形態では、可視光で撮像したＴＶカメラによる撮像情報だけから、以下に説明する適切なデータ処理を施し、記録すべき離着時刻を算出するよう構成されている。
【0027】
また、組立工程中の各組立ショップでの組み立て作業が完了した際は、その完了時刻を記録するだけでなく、組立作業の工程ごとの着手、完了時刻、組立が完了した中間製品の不具合を検出し、記録する。このＴＶカメラのサンプリング時間は、必要に応じ、通常の３０ｆｐｓ、６０ｆｐｓである必要はなく、１ｆｐｓ、０．２ｆｐｓなどの数値に間引くことができる。また逆に、１２０ｆｐｓ、２０００ｆｐｓ等、高速度撮像であっても良い。前者は、トータルの格納データ量を下げる効果があり、後者は、高速な動きを伴うデータ収集時に必要となる。
【0028】
転送ＰＣ１４は、各種カメラ１１～１３が撮像した映像データ（動画、静止画の両方を含み得る）を読み込んで、収集・蓄積サーバ１５に転送する機能を有する。転送ＰＣ１４は、転送動作に先立ち、周知の方法によりデータ圧縮動作を実行するよう構成されることもできる。データ圧縮動作に加えて、画像の加工や画像処理（例えば、監視対象であるヒトやモノの画像の部分のみを残し、不要な画像を削除する、又は監視対象画像の解像度を高くし、その他の物体の画像の解像度を低下させるような画像処理など）を実行することも可能である。なお、転送ＰＣ１４は、収集・蓄積サーバ１５と無線接続されていてもよいし、有線接続とされていてもよい。
【0029】
収集・蓄積サーバ１５は、転送ＰＣ１４から転送された映像データを図示しない記憶部において収集し、蓄積するためのコンピュータである。なお、収集された映像データの解析は解析サーバ１６において実行されるが、解析工程の一部、例えば、映像データの解析の一部は収集・蓄積サーバ１５が担当することも可能である。
【0030】
解析サーバ１６は、収集・蓄積サーバ１５において蓄積された各種映像データを解析して、ヒト、モノ、及び機械の動作を解析し、その解析結果としての解析データを生成する。生成された解析データは、表示ＰＣ１７に出力され、オペレータが認識可能な形で可視化して表示される。なお、解析サーバ１６は、ヒト、モノ、及び機械の動作を解析した結果としての解析データを、作業計画データと対比して、その相違を解析するよう構成することも可能である。
【0031】
解析サーバ１６における解析事項は、ヒト（例えば現場監督者）が日常の監督業務を行って発見し得る事項を含むことができるが、これに限定される必要はない。例えば、長時間に亘り収集・蓄積サーバ１５において取得され蓄積（学習）された映像データに含まれる信号Ａと、新規に取得された映像データに含まれる信号Ａ’とを比較し、その比較結果を解析事項とすることもできる。このようにして得られた信号ＡとＡ’とに所定値以上の差異がある場合に、解析サーバ１６は、この差異が生じた箇所を、ヒト、モノ、又は機械についての有意な動作の変化点を示す「変化点」として特定する。
【0032】
このような変化点を特定することで、ヒトの監視では見逃されがちなヒト、モノ、機械の有意な動作が生じた時点を検出することが可能になり、製造工程の作業効率の阻害要因の指標とすることができる。また、ヒトによる監視の場合、正しい動作が行われている場合のデータと、正常ではない動作が行われている場合のデータとを切り分ける必要があるが、正データは準備が容易である一方、誤データの準備は手間がかかる。本システムによれば、誤データの準備が不要で短期間に、容易にシステム導入が実現できる。解析サーバ１６は、このような変化点が生じた時間と場所を紐づけ、数理的に「特定の作業場所での作業時間」と定義する。
【0033】
一般に、ヒトとモノが所定の場所に存在するというだけでは、実際に作業が適切に進行しているということはできない。しかし、上記のようにして得られた作業時間のデータを比較・分析することにより、例えば、
（ａ）現在行われている作業が、平均的な作業時間を逸脱している場合、
（ｂ）複数の作業の間で、作業時間のばらつきが大きくなっている場合、
（ｃ）ヒトやモノが、特定の作業場所以外に滞在している場合
などを、これらを「機械的に」検知することができる。これらは、ヒトが定義又は認識する「作業時間」とは異なるものであるが、製造リードタイムの阻害要因を検知することはできている。すなわち、（ａ）は、「平均的な時間を逸脱している」ことが阻害要因であり、（ｂ）は、作業そのものに「大きなばらつき」という阻害要因がある。（ｃ）は、「作業の待ち」、「モノの滞留」という阻害要因がある。
（ａ）現在行われている作業が、平均的な作業時間を逸脱している場合、
（ｂ）複数の作業の間で、作業時間のばらつきが大きくなっている場合、
（ｃ）ヒトやモノが、特定の作業場所以外に滞在している場合
などを、これらを「機械的に」検知することができる。これらは、ヒトが定義又は認識する「作業時間」とは異なるものであるが、製造リードタイムの阻害要因を検知することはできている。すなわち、（ａ）は、「平均的な時間を逸脱している」ことが阻害要因であり、（ｂ）は、作業そのものに「大きなばらつき」という阻害要因がある。（ｃ）は、「作業の待ち」、「モノの滞留」という阻害要因がある。
【0034】
図２を参照して、ヒト監視カメラ１１の動作を概略的に説明する。図２は、製造現場に複数の機械（（１）～（９））が配置され、矢印に沿ってヒト（作業者）Ｈが移動する様子を、ヒト監視カメラ１１で撮像する様子を示している。ヒト監視カメラ１１は、一例として、ヒトＨの体格、通常ヒトＨが着用している衣服の性状（色、形状、その他）、動作の特性（平均歩行速度、歩幅）の情報を格納しておくことができる。ヒト監視カメラ１１は、それらの情報と映像データとの対比により、映像データに含まれるヒトＨの画像を特定することができる。特定されたヒトＨの画像は、バウンディングボックスＢＢにより囲われ、映像データは、バウンディングボックスＢＢを含んだ形で記録され得る。
【0035】
このようにして、ヒト監視カメラ１１により映像データが得られると、解析サーバ１６において映像データが解析され、ヒトＨが、どの作業をどの時間帯で行い（滞留時間）、どの時間帯では作業を行わず、移動等を行っていたり（移動時間）、撮影範囲外の位置にいたりしたかを、特定されたヒトの動作の変化点に従い解析することができる。ヒトの動作の変化点は、ヒトが所定の機械の前に到着した時刻、離脱した時刻、その他の情報に従い特定することができる。図２の右下のバー表示は、作業（４）～（８）に関する作業時刻（開始時刻、終了時刻を含む）を示している。このようなバー表示は、表示ＰＣ１７の表示画面にも表示することができる。
【0036】
本実施の形態では、ヒト監視カメラ１１、又は外付けのコントローラにより作業者検出手段が構成される。作業者検出手段としてのヒト監視カメラ１１は、取得した画像の中の作業者を検出するもので、予め、作業者の画像を学習した深層学習ネットワークを含むことができる。この作業者検出手段により、撮像画像の中で作業者が検出される。検出された位置から、作業者が所定の位置に存在するか否か、すなわち、作業箇所への入場時刻、退場時刻が検出される。本実施の形態で、撮像画像を複数の方向から取得し、それぞれの２次元画像内での作業者の存在位置（視点の方向）が分かり、その方向の交差位置が、３次元空間における作業者の存在位置として検出される。この複数の画像から作業者の存在位置を検出する手法は、奥行きの検出精度を高くしたいケースに有効である。また、作業者が、設備、その他の物体の影となり、画像内に移らないケースに、複数の画像を用いることで検出を可能とするという効果もある。
【0037】
図３を参照して、モノ監視カメラ１２及び機械監視カメラ１３の動作を概略的に説明する。図２では、一例として３台のモノ監視カメラ１２（１２Ａ～１２Ｃ）及び３台の機械監視カメラ１３（１３Ａ～１３Ｃ）が配置された例を説明しているが、これはあくまでも一例であり、モノ監視カメラ１２及び機械監視カメラ１３の数は特定の数には限定されない。また、モノ監視カメラ１２は、特定の形式には限定されないが、好適には、図３に概略的に示すように、モノ（部品等）を載置したカート２１に付された二次元コード２２を撮影するカメラとすることができる。
【0038】
カート２１は、例えば図３に示すように、複数の機械（１１）～（１３）の間で移動する。例えば、カート２１が、機械（１１）よりも前工程を終了し、機械（１１）の前まで移動すると、カート２１に付された二次元コード２２がモノ監視カメラ１２Ａにより撮像される。これにより、カート２１の機械（１１）への到着が検知される。
【0039】
機械（１１）での作業が終わり、カート２１が機械（１１）から離れ、次の機械（１２）に向けて移動すると、モノ監視カメラ１２Ａは、二次元コード２２が撮像されなくなったことを検知することでカート２１の機械（１１）からの離脱を検知する。カート２１が機械（１２）の前まで到着すると、カート２１に付された二次元コード２２がモノ監視カメラ１２Ｂにより撮像される。これにより、カート２１の機械（１２）への到着が検知される。このような動作が繰り返されることにより、モノ監視カメラ１２の映像データに基づき、カート２１すなわちモノ（部品等）の移動を検知することができる。
【0040】
なお、モノの動作の変化点は、ある機械における着工時刻、離脱時刻により特定することができる（図４参照）。上位の機械（工程）から下位の機械（工程）への移動時間（待ち時間）は、上位の機械からの離脱時刻と、下位の機械への到着時刻との差により演算することができる。なお、機械の動作の変化点も、同様に、ある機械が特定の動作を開始した時刻、終了した時刻により特定することができる。
【0041】
また、このカート２１に載置された部品中間製品は、配膳棚でカート２１上に部品が載置される際に、カート番号・部品番号・部品番号が紐づけされた製品製造番号等と対応関係を与えられる。対応関係は、二次元コード２２にも情報として与えられ、二次元コード２２が読まれることにより、これらの対応関係の情報が自動収集される。この一連の自動収集により、カート２１、部品、作業者、ショップ、変化時刻が紐づけされる。この紐づけが、他のショップ、他の製品、他の作業者の間でもなされる。その結果、特定の時間に、部品、作業者、設備・機器・ジグが、どの位置に存在するか認識され、そのベクトルデータが格納手段に格納される。また、状態変化の時刻の検出は、必ずしもＴＶカメラで撮像した画像によるものでなくてもよく、他のセンサ、既に設置されたセンサ等の情報と組み合わされてものであっても良い。
【0042】
図５のフローチャートを参照して、実施の形態に係る監視システム１の動作を説明する。このシステムにおいて、ヒト監視カメラ１１、モノ監視カメラ１２、及び機械監視カメラ１３は、それぞれ独立に動作して、ヒト、モノ、及び機械の動作を監視する。得られた映像データは、転送ＰＣ１４に転送されて読み込まれ、転送ＰＣ１４は、所定のデータ圧縮動作を映像データに施した後、当該映像データを収集・蓄積サーバ１５に転送する。収集・蓄積サーバ１５は、転送されたデータを受信し格納する。収集・蓄積サーバ１５に蓄積されたデータは、適宜解析サーバ１６に送信され、解析の対象とされる。
【0043】
解析サーバ１６は、格納されたデータに基づいて、前述のようなヒト、モノ、機械の変化点を特定し、変化点が生じた時刻、更には変化点が生じた場所を特定し、図示しない記憶部にそれらの情報を格納する。複数の変化点が特定されることで、ヒト及び、モノの各機械での有意な動作開始の時刻、動作終了の時刻を特定することができる。
【0044】
変化点、及び変化点が生じた時刻及び場所が特定されると、各工程におけるヒト及びモノの状態が分かり、これにより、各工程が要している時間が分かると共に、複数の工程のうち、どの工程において、リードタイムを短縮する余地（余裕箇所）があるかが判定され得る。すなわち、解析サーバ１６は、特定された変化点、及び有意な動作が生じた時点のデータに基づき、各工程における余裕箇所を判定する余裕箇所判定手段として機能し得る。余裕箇所に関しては、表示ＰＣ１７において可視的に表示することができる。
【0045】
図６は、解析サーバ１６における解析結果を、表示ＰＣ１７のディスプレイに表示する場合の表示画面の一例である。この図６の表示例では、横軸を時間軸とし、異なる作番毎に、製造計画のタイムラインと、実際の作業（実績）における各工程（工程１～３）のタイムラインとを、バー表示により対比するガントチャートである。この表示によると、各作業日における、製造計画と実際の作業との相違が可視化される。この画面表示によれば、どの作番がどの工程にいるのかが可視化され、何日もかけて実行される大工程の中の進捗が、小工程毎に把握され得る。
【0046】
ここに示したように、本実施の形態の監視システムは、製造計画の進捗を監視する際に、大きな効果を発揮する。製造計画の進捗が遅れるということは、人件費、設備の減価償却費等が上積みされるため、製造コストの増加に繋がる。これが進捗管理の効果が大きい理由となる。また、大きな遅延が生じた際、製造計画（製造スケジュール）を再度見直すことにより、適切な製造アウトプットを得ることができる。製造計画の再計画（リスケジューリング）が必要な理由となる。この際、遅延の大きさは、例えば、初期に設定したリードタイムの２０％増、あるいは、３０％増、というようにあらかじめ設定しておくことができる。あるいは、例えば、ボトルネックとなっているような特定の工程のタクトが２０％増、あるいは、３０％増、というようにあらかじめ設定しておくこともできる。すなわち、再計画の必要な時期を決める際に、本実施の形態の監視システムが重要な役割を果たすことになる。言い換えると、本発明の監視システムとスケジューラを組み合わせて使用することで、更に大きな効果を生むことができる。この際、試用するスケジューラは、積み上げ式の自動スケジューラであっても、何らかの最適化アルゴリズムを搭載したスケジューラであっても、一定の効果が期待できる。
【0047】
図７は、解析サーバ１６における解析結果を、表示ＰＣのディスプレイに表示する場合の表示画面の別の例である。この図７の上側の表示例では、横軸を経過時間とし、異なる作番毎の各工程（工程１～３）の作業時間の内訳を、バーの長さとして表示されている。この表示によれば、各作番における合計の作業時間のばらつきが可視化されると共に、各工程の所要時間のバラつきも可視化される。これにより、長い作業時間を要した作番を把握し、その原因を追究することが容易になる。
【0048】
また、図７の下側の表示例では、横軸を経過時間としているが、複数のカート毎に、異なる工程間の移動時間をバーの長さで表示している。この表示によれば、どのカートのどの工程間において移動時間が長くなったのかを可視化することができ、その原因の追究を容易にすることができる。
【0049】
図８は、各工程（工程１～３）における稼働時間と被稼働時間とをグラフ化したものである。単一の工程のみに着目すれば、全体に対する稼働時間の割合（稼働率）が多いほど、作業効率は高まっていることになる。しかし、ある工程で高い稼働率が高い一方で、隣接する工程で稼働率が低い場合、工程全体としては作業効率の向上は図れない。このように、隣接する工程間で稼働率に差が出ている場合には、作業においてボトルネックが生じていると判断することができる。ボトルネックが生じた場合には、人員配置などを含む製造計画を変更することで、作業効率を向上させることができる。
【0050】
なお、以上で説明した実施の形態において、セキュリティ上、ユーザが場内の情報（本実施の形態の取得後の撮像データの処理、人、モノ、機器の状態変化の時刻検出、その後のデータ加工の処理結果の情報）をクラウド上に上げることを避けたいというケースがある。この場合、変化時刻、製品情報、その他の情報を予め、ユーザが設定したパスワードでエンコード、デコードすることができる。これにより、これらの情報を、場内では、内容が人により意味を持つテキスト情報として取り扱い、クラウド上では、パスワードがないと意味を持たない情報として取り扱うことができる。
【0051】
また、クラウド上のデータを使用する前後でハッシュ関数を用いた識別をすることで、クラウド上のデータが、改ざんされていないことを担保することができ、ユーザデータのセキュリティ確保を提供できる。この手法は、事前のハッシュ値を格納データに加えて次のハッシュ値を生成することで、改ざん作業が多くの時間を有することになり、実質的に改ざんができない状況を提供し、結果としてセキュリティをさらに向上することができる、ブロックチェーン技術を利用したものであっても良い。
【0052】
また、ＴＶカメラの画像を利用するシステムは、作業者が撮像されること自体に作業者が抵抗感を感じたり、個人情報が漏洩することを懸念したりすることがあり得る。これに対して、初期の段階で、撮像画像を例えばフーリエ変換等の画像変換を施し、ヒトの目では判断できない情報に変換する手段をコントローラ等に設けることができる。その後の学習等の工程において、このような変換画像を用いることで、その後の、作業者検出などの工程においても同様の画像変換を実行可能である。
【0053】
このようにして検出された作業完了時刻を含む各種時刻のデータを、製品毎に取得することで、その製品の着手から完了までのリードタイムを各作業ごとの作業時間として分析することができる。また、例えば、一日の作業時間の終了時に、作業の進捗、部品等の配置位置などをまとめて、レポートを作ることができる。
【0054】
このようにして検出された離着時刻や着手完了時刻等の各種時刻データの活用システム、方法に関して、以下に説明する。このシステムによれば、特定の製品に着目して、各作業の進行時間を記述することができる。特定製品、又は特定ショップで、左記進行時間のばらつきを算出すると、作業者により、あるいは、その他の外乱によりそのばらつきが大きい場合は、作業が成熟していないと判断することができる。その場合は、例えば、
・特定作業の作業者を、作業熟練度の高いメンバーに変更する
・ばらつきの原因を分析し、作業を分離するジグを準備する
等の対応策を施すことができる。
・特定作業の作業者を、作業熟練度の高いメンバーに変更する
・ばらつきの原因を分析し、作業を分離するジグを準備する
等の対応策を施すことができる。
【0055】
また、上記の場合は、着手完了時間のばらつき状況をモニタリングすることで、作業の質の劣化をリアルタイムで知ることができる。
【0056】
また、本実施の形態の監視システム、生産計画システム、図６～図８に示した表示システムを有した環境をクラウド上に準備しておくことで以下に示す新たな価値を生むことができる。例えば、ヒトの変化点をより精度よく、高い時間分解能で検出できるアルゴリズムが開発された際、このアルゴリズムだけを変更することで、システム全体の価値を向上できる。例えば、プロセス変更時のプロセスをより細かに分解できるため、それらの組み合わせを変更することで、プロセス再設計によるリードタイム短縮を一段高精度にすることができる。このように、監視システム、あるいは生産計画システム、あるいは表示システムを持つことにより、容易に、迅速に、新しい技術、プログラムを現場に適用することができる。言い換えると、本発明は、生産現場の効率を向上するための「基盤；プラットフォーム」を提供するという側面を持つものである。
【0057】
さらに、このように現場適用した技術、プログラムのそれぞれの使用時間をカウントしておくことで、それらの技術の総活用時間を計測することができる。この活用時間に応じて、システム提供者に対する報酬を機械で自動に計算できる。これは、事務処理の機械化であるが、製造現場においても、このような事務処理の機械化、効率化はコスト低減という点で、重要な意味を持つ。また、この形の活用時間計測システムを持ち、活用時間に応じた報酬を支払うことにより、一括の支払いでシステムを導入することに比較して、一時的な現金支払い額を減らすことになり、いわゆるキャッシュフローが良くなるという効果が期待できる。
【0058】
また、本監視システムによれば、平均的な作業時間、想定した作業完了時刻から、逸脱したことを検出、発報することができる。単なる監視カメラ等を用いた遠隔からの監視システムでは、監視者は、撮影中の画像を監視し続ける必要があるのに対して、想定から逸脱時にのみにシステムから報告を受けることができるという効果が期待できる。
【0059】
［効果］
以上説明したように、本実施の形態のシステムによれば、ヒト、モノ、機械の動作がカメラ１１～１３により監視され、映像データにおける変化点に従い、ヒト、モノ、機械の有意な動作の変化を検知して、解析サーバ１６において解析し、その結果を可視化して提示することができる。したがって、ヒト、モノ、機械の動きを、オペレータが目視等で監視し、逐一入力を行うことなく、条件設定に手間をかけることなく、監視を実行することができ、製造工程を的確に且つ低コストで監視し、作業効率を向上させることができる。換言すれば、管理監督者の目で感覚的に判断している事項を、カメラ１１～１３による撮像のみで同等の対応が可能となる。その結果、専任のシステム担当者を配置しなくても、本システムにより製造現場の監視を効率良く実行することができる。なお、製造現場の可視化が行われることで、見える化の実現が図られ、その先にある経営課題解決までを、ワンストップで提供することが可能になる。
以上説明したように、本実施の形態のシステムによれば、ヒト、モノ、機械の動作がカメラ１１～１３により監視され、映像データにおける変化点に従い、ヒト、モノ、機械の有意な動作の変化を検知して、解析サーバ１６において解析し、その結果を可視化して提示することができる。したがって、ヒト、モノ、機械の動きを、オペレータが目視等で監視し、逐一入力を行うことなく、条件設定に手間をかけることなく、監視を実行することができ、製造工程を的確に且つ低コストで監視し、作業効率を向上させることができる。換言すれば、管理監督者の目で感覚的に判断している事項を、カメラ１１～１３による撮像のみで同等の対応が可能となる。その結果、専任のシステム担当者を配置しなくても、本システムにより製造現場の監視を効率良く実行することができる。なお、製造現場の可視化が行われることで、見える化の実現が図られ、その先にある経営課題解決までを、ワンストップで提供することが可能になる。
【0060】
使用されるカメラ１１～１３は、適宜設置場所を変更したり、カメラの種類を変更したり、又は数を増やしたりすることができ、製造現場の変更に応じた対応が容易である。具体的には、このシステムにより、ヒトによる組立作業、ヒトによる目視検査、ヒトによるモノの搬送、ヒトによる機械の操作状況など、その状態あるいは結果の記録を残すことが容易でない現場の状態あるいは結果を記録することができる。この結果、その状態を示すデータを記録する仕組みを持っている自動機で構成された工場現場と同等に、ヒトによる作業現場の状態を記録することができる。
【0061】
［第２の実施の形態］
次に、第２の実施の形態に係る監視システムを説明する。図９Ａを参照して、第２の実施の形態に係る監視システム１Ａの一例を説明する。第２の実施の形態は、モノの組立工程を監視することを主眼としたシステムに係る。ただし、第１の実施の形態の内容を適宜組み合わせて、ヒトや装置も監視対象とすることが可能であることは言うまでもない。この監視システム１Ａは、一例として、監視カメラ１１Ａ～１３Ａ、転送コンピュータ（ＰＣ）１４、収集・蓄積サーバ１５、解析サーバ１６、及び表示コンピュータ（ＰＣ）１７から構成され得る。
次に、第２の実施の形態に係る監視システムを説明する。図９Ａを参照して、第２の実施の形態に係る監視システム１Ａの一例を説明する。第２の実施の形態は、モノの組立工程を監視することを主眼としたシステムに係る。ただし、第１の実施の形態の内容を適宜組み合わせて、ヒトや装置も監視対象とすることが可能であることは言うまでもない。この監視システム１Ａは、一例として、監視カメラ１１Ａ～１３Ａ、転送コンピュータ（ＰＣ）１４、収集・蓄積サーバ１５、解析サーバ１６、及び表示コンピュータ（ＰＣ）１７から構成され得る。
【0062】
監視カメラ１１Ａ～１３Ａにより監視対象とされるモノは、一例としては、製造現場で製造（組立）されるデスクトップパソコンである。監視カメラ１１Ａ～１３Ａは、組み立てられるデスクトップパソコン（モノ）を撮像し、その組立工程の進捗状況を監視するためのカメラである。ここでは、監視カメラ１１Ａ～１３Ａは３台であり、一例として、組立作業台の後方、前方、天井に設置することができる。図示の例は一例であり、カメラの台数、設置位置は特定のものに限定されない。また、監視カメラ１１Ａ～１３Ａは、撮像対象の特性や撮像対象までの距離に応じて、様々なレンズ（超近接レンズ、魚眼レンズ、広角レンズ、望遠レンズ、その他）を使用することができる。
【0063】
転送ＰＣ１４は、各種カメラ１１Ａ～１３Ａが撮像した映像データ（動画、静止画の両方を含み得る）を読み込んで、収集・蓄積サーバ１５に転送する機能を有する。転送ＰＣ１４は、転送動作に先立ち、周知の方法によりデータ圧縮動作を実行するよう構成されることもできる。データ圧縮動作に加えて、画像の加工や画像処理（例えば、監視対象であるモノの画像の回転、射影変換、色彩変化、不要な部分の切り落とし（図９Ｂ参照）、又は監視対象画像の解像度を高くし、その他の物体の画像の解像度を低下させるような画像処理など）を実行することも可能である。なお、転送ＰＣ１４は、収集・蓄積サーバ１５と無線接続されていてもよいし、有線接続とされていてもよい。
【0064】
収集・蓄積サーバ１５は、転送ＰＣ１４から転送された映像データを図示しない記憶部において収集し、蓄積するためのコンピュータである。なお、収集された映像データの解析は解析サーバ１６において実行されるが、解析工程の一部、例えば、映像データの解析の一部は収集・蓄積サーバ１５が担当することも可能である。
【0065】
解析サーバ１６は、収集・蓄積サーバ１５において蓄積された各種映像データを解析して、製造対象物（モノ）であるデスクトップパソコンの画像を解析し、その解析結果としての解析データを生成する。解析サーバ１６は、映像データにおける変化点を検出し、検出された変化点に基づいてヒトあるいはモノあるいは装置の状態を解析するよう構成される。生成された解析データは、表示ＰＣ１７に出力され、オペレータが認識可能な形で可視化して表示される。なお、解析サーバ１６は、解析データを、作業計画データと対比して、その相違を解析するよう構成することも可能である。解析サーバ１６における解析事項は、組立作業の監視対象物（モノ）であるデスクトップパソコンが、複数の組立工程（組立開始～完成）のうちのどの工程まで進んでいるのかを解析することを含む。具体的に解析サーバ１６は、一例として、対象画像抽出部３１と、距離学習データ生成／取得部３２と、ステップ判定部３３とを備える。
【0066】
対象画像抽出部３１は、監視カメラ１１Ａ～１３Ａで撮像され収集・蓄積サーバ１５において蓄積されたデータから、監視対象であるデスクトップパソコンの画像を抽出する機能を有する。一例として、対象画像抽出部３１は、Ｆａｓｔｅｒ－ＲＣＮＮなどの物体検出手法をファインチューニングすることにより、監視対象であるデスクトップパソコンの画像を抽出することができる。
【0067】
距離学習データ生成／取得部３２は、ステップ判定部３３において利用される距離学習データ（特徴量空間データ）を生成又は取得する機能を有する。ステップ判定部３３は、その特徴量空間データを利用して、監視対象であるデスクトップパソコンが、現在複数工程のうちのどの工程にあるのかを判定する機能を有する。
【0068】
距離学習データ生成／取得部３２には、監視対象であるデスクトップパソコンの各製造工程における画像と、その工程の名称であるラベリングデータとが入力される。後述するように、距離学習データ生成／取得部３２は、この画像及びラベリングデータに距離学習を適用して特徴量空間データを生成する。距離学習が適用されることにより、互いに異なるステップの画像を特徴量空間において十分に離すことができ、これによりステップ判定部３３での判定の精度を向上させることができる。なお、距離学習データ生成／取得部３２は、本システム１Ａに搭載された監視カメラ１１Ａ～１３Ａから得られた画像データに基づいて距離学習データを生成してもよいし、他のシステムから得られた距離学習データを単に取得することもできる。
【0069】
以下において、この第１の実施の形態における判定動作の概要を説明する。図１０に示すように、デスクトップパソコンは、筐体の準備（組立開始：Ｓｔｅｐ０）から始まり、以下、電源ユニットの取付け（Ｓｔｅｐ１）、マザーボードの取付け（Ｓｔｅｐ２）、ＣＰＵの取付け（Ｓｔｅｐ３）、ＣＰＵファンの取付け（Ｓｔｅｐ４）、メモリの取付け（Ｓｔｅｐ５）、ＧＰＵの取付け（Ｓｔｅｐ６）、ケースファンの取付け（Ｓｔｅｐ７）、ハードディスクドライブの取付け（Ｓｔｅｐ８）、ケーブルの接続（Ｓｔｅｐ９）のように進んでいく。
【0070】
このように、デスクトップパソコンの組立作業は、複数のステップ（例えば１０ステップ）に分割して把握することができる。第２の実施の形態の監視システムによれば、ある組立ブースにおけるデスクパソコンの組立作業の進捗状況が、Ｓｔｅｐ０～９のいずれにあるのかを、監視カメラ１１Ａ～１３Ａで撮像した画像、及びその解析サーバ１６における解析結果に従って知ることができる。製造工程におけるステップの数（分割数）は、上記の例では１０であるが、これはあくまでも一例であり、これに限定されるものではない。また、分割数は固定である必要はなく、状況に応じて変化させることも可能である。
【0071】
第２の実施の形態の監視システムは、このようにデスクトップパソコンの製造工程を複数のステップに分割する。このとき、各ステップの作業時間や、そのステップでの組み込み部品数を考慮してステップを分割することが好適である。そして、監視システム１は、組立作業中のデスクトップパソコンがどのステップにあるのかを判定する。その判定作業のため、第２の実施形態のシステムでは、各ステップのデスクトップパソコンの画像データを収集し、このようにステップ毎に得られた画像データに距離学習を適用して距離学習データ（特徴量空間データ）を生成する。まず、図１１に示すように、各ステップＳｔｅｐ０～９の画像データＤｉを複数枚ずつ取得し、これを用いて距離学習を行う。なお、取得する画像データＤｉは静止画であってもよいし、動画であってもよい。距離学習においては、この各ステップの画像を、ポジティブデータ（対象データ）、アンカーデータ、ネガティブデータとして入力し、距離学習を実行する（図１２参照）。
【0072】
具体的に説明すると、例えばステップＳｔｅｐ０～９のうちの１のステップに係る画像データＤｉの中から、１枚の画像データＤｉが、距離学習の対象としてのポジティブデータとして選択される。その際、基準データとしてのアンカーデータも、同じステップに属する複数の画像データＤｉの中から１つが選択されると共に、ポジティブデータが属するのとは異なるステップの一の画像データがネガティブデータとして選択される。
【0073】
図１３に示すように、このポジティブデータ、アンカーデータ、ネガティブデータが畳み込みニューラルネットワークに入力され、この３つのデータを１組として学習するTriplet loss と呼ばれる手法により、距離学習を実行する。このTriplet loss では、ポジティブデータとアンカーデータは、同じステップ（例えばＳｔｅｐ１）に属するデータであるので、特徴量空間において近接した位置になるよう（距離が近くなるよう）特徴量空間データが計算される。一方、ポジティブデータとネガティブデータとは、互いに異なるステップに属しているため、特徴量空間において離れた位置になるよう（距離が遠くなるよう）特徴量空間データが計算される。このように、同じステップに属するデータについては特徴量空間において近付くように、異なるステップに属するデータについては、特徴量空間において十分に離れるように、特徴量空間データが計算される。
【0074】
具体的には、図１４に示すように、アンカーデータとポジティブデータとの間の距離をｄｐ、アンカーデータとネガティブデータとの間の距離をｄｎ、マージンをｍとした場合（ここではｍは固定値とする）、下記［数１］で示される損失関数Ｌｔｒｉｐｌｅｔが０に近付くよう（距離ｄｐと距離ｄｎとの間の差がマージンｍとなるよう）、距離ｄｐ及びｄｎが最適化される。
【0075】
【数1】
【0076】
以上のようにして、ポジティブデータ及びネガティブデータの特徴量空間データが計算される。上記の手順が、全ての画像データについて繰り返される。その際、各画像データは、１つのエポックにおいて、１度はアンカーデータとして選択される。なお、ポジティブデータ及びネガティブデータの選択の手順は不規則（ランダム）であってよい。
【0077】
次に、図１５を参照して、ステップ判定部３３における、特徴量空間データに基づくステップ判定について説明する。得られた判定対象の画像データを、畳込みニューラルネットワークに入力して、その特徴量を演算する。そして、その特徴量が、特徴量空間データ中のいずれの特徴量に最も近似するのかを、最近傍点探索（ｋＮＮ）を用いて判定する。特徴量空間データの中で、当該判定データの特徴量と最も近い特徴量に対応するステップが、当該画像データについてのステップであると判定することができる。判定データの特徴量と、特徴量空間データの中の特徴量との間の距離が所定値以上となる場合には、判定エラーと判断し、当該判定データに関する判定を保留することもできる。
【0078】
以上説明したように、この第２の実施の形態の監視システムによれば、組立工程で製造されるモノ（デスクトップパソコン等）の組立の進捗状況を的確に判定することが可能になる。
【0079】
［第３の実施の形態］
次に、第３の実施の形態に係る監視システム１Ａを、図１６～図１８を参照して説明する。第２の実施の形態の監視システム１Ａの全体構成自体は、第１の実施の形態と同様で良い。解析サーバ１６の動作も基本的には同一である。ただし、この第３の実施の形態では、距離学習データ生成／取得部３２において実行される距離学習において、マージンｍを適宜変更するadaptive triplet loss を適用しており、この点において第２の実施の形態とは異なっている。ここでは、第２の実施の形態と同様に、デスクトップパソコンの組立工程が複数のステップ（例えば１０のステップＳｔｅｐ０～９）に分割されているものとする。また、距離学習を行う際には、第２の実施の形態と同様に、この各ステップの画像を、ポジティブデータ（学習対象データ）、アンカーデータ、ネガティブデータとして入力し、距離学習を実行する（図１２参照）。
次に、第３の実施の形態に係る監視システム１Ａを、図１６～図１８を参照して説明する。第２の実施の形態の監視システム１Ａの全体構成自体は、第１の実施の形態と同様で良い。解析サーバ１６の動作も基本的には同一である。ただし、この第３の実施の形態では、距離学習データ生成／取得部３２において実行される距離学習において、マージンｍを適宜変更するadaptive triplet loss を適用しており、この点において第２の実施の形態とは異なっている。ここでは、第２の実施の形態と同様に、デスクトップパソコンの組立工程が複数のステップ（例えば１０のステップＳｔｅｐ０～９）に分割されているものとする。また、距離学習を行う際には、第２の実施の形態と同様に、この各ステップの画像を、ポジティブデータ（学習対象データ）、アンカーデータ、ネガティブデータとして入力し、距離学習を実行する（図１２参照）。
【0080】
図１６は、第３の実施の形態のadaptive triplet loss におけるマージンｍ（［数１］）の変化のさせ方の一例を示すグラフである。グラフの横軸は、ネガティブデータとして選ばれるデータが属するステップのラベルｎｎであり、縦軸はマージンｍである。図１６の右側のグラフ（ａ）は、ポジティブデータとして選ばれるデータが属するステップのラベルｎａが１の場合（ｎａ＝１）の場合のマージンｍの変化を示している。左側のグラフ（ｂ）は、ポジティブデータとして選ばれるデータが属するステップのラベルｎａが５の場合（ｎａ＝５）の場合のマージンの変化を示している。グラフ（ａ）（ｂ）に示されるように、ラベルｎａが異なる毎に、ラベルｎｎの変化に対するマージンｍの変化の仕方が異なる。（ａ）、（ｂ）どちらの場合にも、ｎａとｎｂが近い値である場合にはマージンｍが大きい値とされ、ｎａとｎｂが遠い値となるほど、マージンｍが小さい値とされる。図示は省略しているが、ｎａが１又は５以外の場合でも同様である。図１６のグラフは、正規分布に従っているが、正規分布とする必要は無く、適切にマージンｍが変化するのであれば、他の分布であってもよい。
【0081】
triplet loss を適用する場合、ポジティブデータとネガティブデータが、互いに近いステップ（例えば、隣接するステップ）から選ばれ、ｎａとｎｂが互いに近い値となる場合、ポジティブデータの画像と、ネガティブデータの画像とは、ｎａとｎｂが遠い値である場合に比べ、画像の特徴として近似した画像となる。このとき、マージンｍとして小さい値が設定されると、ポジティブデータの特徴量とネガティブデータの特徴量とが近似し、結果として隣接するステップの画像の特徴量として互いに近似した値が与えられることになる。これは、隣接するステップの画像を識別する際の誤判定の原因となり得る。第１の実施の形態では、マージンｍを固定値とし、適切な固定値が設定されれば、全体として適切な距離学習が行われ得る。ただし、ｍが固定値の場合、いずれかのステップにおいては（特に、画像中で大きな変化が生じないステップにおいては）、ｍの値が過小となる場合があり、適切な距離学習が行われない場合が生じ得る。
【0082】
そこで、第３の実施の形態では、図１６のように、ラベルｎａの値に応じて、ラベルｎｎの変化に対してマージンｍを可変とすると共に、ラベルｎａとｎｂが近い値であるほど（ｎａとｎｂの値の差が小さいほど）、ｍの値を大きくするよう、マージンｍの大きさを制御する。換言すれば、ポジティブデータが属するステップと、ネガティブデータが属するステップとが近いほど、マージンｍが大きい値に設定される。一例としては、分散σ２の正規分布の式ｆ（ｘ）（［数２］）に定数ａを乗算した値をマージンｍとすることができる。図１６は、ａ＝５０００、σ＝２とした場合のグラフである。
【0083】
【数2】
【0084】
図１７は、第３の実施の形態の効果を示すグラフである。図１７の上のグラフは、マージンｍを固定にした場合における、ステップの判定精度（accuracy）を、距離学習の回数（epoch）毎に示したものである。下のブラフは、マージンｍを第３の実施の形態に従って可変とした場合における判定精度の変化を示したものである。全体として、マージンｍを可変とした場合において、判定精度が向上していることが理解される。
【0085】
図１８は、第３の実施の形態の効果を、特徴量空間データ（１２８次元）を次元削減アルゴルズムであるＴ－ＳＮＥを用いて２次元表示したマップにより示している。図１８の上のグラフは、マージンｍを固定にした場合における特徴量空間データを示している。下のブラフは、マージンｍを第３の実施の形態に従って可変とした場合における特徴量空間データを示している。上のグラフでは、一部のデータの特徴量として近似した値が与えられている一方で、下のグラフでは、全体として異なるステップのデータの特徴量が離れており、ステップ判定の精度向上が可能になっていることが分かる。分散σ２や定数ａを適宜変更することで、より適切なマージンｍを与え、判定精度を更に向上させることができる。分散σ２や定数ａの変更は、解析サーバ１６の入力部（図示せず）においてオペレータによって行われても良いし、ステップ判定の精度の検証結果に従い、自動的に解析サーバ１６によって行われても良い。
【0086】
以上説明したように、第３の実施の形態によれば、マージンｍが可変とされていることにより、距離学習における特徴量空間データが一層適正化され、ステップの判定の精度を一層向上させることができる。
【0087】
［その他］
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0088】
１、１Ａ…監視システム、 １１…ヒト監視カメラ、 １２…モノ監視カメラ、 １１Ａ～１３Ａ…監視カメラ、 １３…装置監視カメラ、 １４…転送コンピュータ（ＰＣ）、 １５…収集・蓄積サーバ、 １６…解析サーバ、 １７…表示コンピュータ（ＰＣ）、 ２１…カート、 ２２…二次元コード、 ３１…対象画像抽出部、 ３２…距離学習データ生成／取得部、 ３３…ステップ判定部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
