(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127746
(43)【公開日】2024-09-20
(54)【発明の名称】製造機械を監視するための方法
(51)【国際特許分類】
G06T 7/215 20170101AFI20240912BHJP
G06T 7/292 20170101ALI20240912BHJP
H04N 7/18 20060101ALI20240912BHJP
【ＦＩ】
G06T7/215
G06T7/292
H04N7/18 D
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024000825
(22)【出願日】2024-01-05
(31)【優先権主張番号】102023000004230
(32)【優先日】2023-03-07
(33)【優先権主張国・地域又は機関】IT
(71)【出願人】
【識別番号】505474751
【氏名又は名称】ジー．ディー．－エス．ピー．エー．
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】レオーニ フランチェスコ
(72)【発明者】
【氏名】バルビエリ ギウリオ
(72)【発明者】
【氏名】チェザリーニ マリア エレオノーラ
(72)【発明者】
【氏名】フロンティーニ アレッシオ
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054EA01
5C054EA05
5C054EA07
5C054FC01
5C054FC12
5C054FE28
5C054GB01
5C054GB05
5C054HA19
5L096BA02
5L096CA05
5L096DA02
5L096DA03
5L096HA02
(57)【要約】 （修正有）
【課題】物品に対して少なくとも１つの動作を実行する製造機械を監視する方法を提供する。
【解決手段】物品１００に対して動作を実行する製造機械２００を監視するための方法は、少なくとも１つのカメラ２１２を介して、動作のフレームのシーケンスを含むビデオストリームを取得し、且つ、事前設定された時間間隔の間はビデオストリームを制御ユニット２２０の揮発性記憶媒体に保存し、その後、動作のフレームの新たなシーケンスを含む新たなビデオストリームで以前のビデオストリームを上書きし、少なくとも１つのセンサ２０４、２０６を介して、製造機械によって実行された動作の状態を示すデータを取得し、センサを介して、動作の状態の異常データを取得した場合、前記記憶媒体に保存されたビデオストリームの少なくとも一部を、好ましくは機械自体のユーザインタフェース２４０を通じてアクセス可能な不揮発性記憶媒体２５０に転送する。
【選択図】図１
【解決手段】物品１００に対して動作を実行する製造機械２００を監視するための方法は、少なくとも１つのカメラ２１２を介して、動作のフレームのシーケンスを含むビデオストリームを取得し、且つ、事前設定された時間間隔の間はビデオストリームを制御ユニット２２０の揮発性記憶媒体に保存し、その後、動作のフレームの新たなシーケンスを含む新たなビデオストリームで以前のビデオストリームを上書きし、少なくとも１つのセンサ２０４、２０６を介して、製造機械によって実行された動作の状態を示すデータを取得し、センサを介して、動作の状態の異常データを取得した場合、前記記憶媒体に保存されたビデオストリームの少なくとも一部を、好ましくは機械自体のユーザインタフェース２４０を通じてアクセス可能な不揮発性記憶媒体２５０に転送する。
【選択図】図１
【特許請求の範囲】
【請求項1】
物品に対して少なくとも１つの動作を実行する製造機械を監視するための方法であって、
少なくとも１つのカメラを介して、前記動作のフレームのシーケンスを含むビデオストリームを取得し、且つ、事前設定された時間間隔の間は前記ビデオストリームを記憶媒体に保存し、その後、前記記憶媒体上で、前記動作のフレームの新たなシーケンスを含む新たなビデオストリームで以前のビデオストリームを上書きする段階；
少なくとも１つのセンサを介して、前記製造機械によって実行された前記動作の状態を示すデータを取得する段階；
前記センサを介して、前記動作の前記状態の異常データが取得された場合、前記記憶媒体に保存された前記ビデオストリームの少なくとも一部を、ユーザインタフェース、好ましくは、前記製造機械自体の前記ユーザインタフェースを通じてアクセス可能な第２の記憶媒体に転送する段階
を備える、方法。
少なくとも１つのカメラを介して、前記動作のフレームのシーケンスを含むビデオストリームを取得し、且つ、事前設定された時間間隔の間は前記ビデオストリームを記憶媒体に保存し、その後、前記記憶媒体上で、前記動作のフレームの新たなシーケンスを含む新たなビデオストリームで以前のビデオストリームを上書きする段階；
少なくとも１つのセンサを介して、前記製造機械によって実行された前記動作の状態を示すデータを取得する段階；
前記センサを介して、前記動作の前記状態の異常データが取得された場合、前記記憶媒体に保存された前記ビデオストリームの少なくとも一部を、ユーザインタフェース、好ましくは、前記製造機械自体の前記ユーザインタフェースを通じてアクセス可能な第２の記憶媒体に転送する段階
を備える、方法。
【請求項2】
前記第２の記憶媒体に転送された前記ビデオストリームを、前記ユーザインタフェースのスクリーン上に表示する段階を更に備え、前記第２の記憶媒体に転送された前記ビデオストリームは、前記動作の異常状態を表している、請求項１に記載の方法。
【請求項3】
前記ビデオストリームを取得する前記段階は、前記動作の実施中に絶え間なく行われ、好ましくは、或る動作及び次の動作の間の前記時間間隔中にも絶え間なく行われる、請求項１又は請求項２に記載の方法。
【請求項4】
前記記憶媒体に保存された前記ビデオストリームの少なくとも一部を転送する段階は、前記状態の前記異常データが取得された瞬間に先立つ瞬間に取得された前記ビデオストリームのフレームに対応する最初のフレーム、及び、前記状態の前記異常データが取得された前記瞬間に後続する、又はそれと同時の瞬間に取得された前記ビデオストリームのフレームに対応する最後のフレームを含む前記ビデオストリームの一部を転送する段階を有する、請求項１又は請求項２に記載の方法。
【請求項5】
前記最初のフレームは、前記状態の前記異常データが取得された前記瞬間に対して先行した所与の時間に基づき決定される、請求項４に記載の方法。
【請求項6】
前記記憶媒体は揮発性メモリである、請求項１又は請求項２に記載の方法。
【請求項7】
前記第２の記憶媒体は不揮発性メモリである、請求項１又は請求項２に記載の方法。
【請求項8】
前記カメラは高速度カメラである、請求項１又は請求項２に記載の方法。
【請求項9】
物品に対して少なくとも１つの動作を実行するように構成された製造機械であって、
前記少なくとも１つの動作を記録するように構成された、少なくとも１つのカメラ；
前記動作の状態を検知するように構成された、少なくとも１つのセンサ；
第１の記憶媒体；
ユーザインタフェースを通じてアクセス可能な第２の記憶媒体；及び
請求項１又は請求項２に記載の方法を実装するように構成された、少なくとも１つの制御ユニット
を備える、製造機械。
前記少なくとも１つの動作を記録するように構成された、少なくとも１つのカメラ；
前記動作の状態を検知するように構成された、少なくとも１つのセンサ；
第１の記憶媒体；
ユーザインタフェースを通じてアクセス可能な第２の記憶媒体；及び
請求項１又は請求項２に記載の方法を実装するように構成された、少なくとも１つの制御ユニット
を備える、製造機械。
【請求項10】
前記第１の記憶媒体は、揮発性メモリである、請求項９に記載の製造機械。
【請求項11】
前記第２の記憶媒体は、不揮発性メモリである、請求項９に記載の製造機械。
【請求項12】
前記カメラは高速度カメラである、請求項９に記載の製造機械。
【請求項13】
物品に対して複数の動作を実行するように構成された、請求項９に記載の製造機械であって、前記動作を実施するための複数の動作ユニット；前記動作を記録するように構成された複数のカメラ；及び、前記動作の状態を検知するように構成された複数のセンサを備える、製造機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物品に対して少なくとも１つの動作を実行する製造機械を監視するための方法に関する。
【0002】
本明細書で説明される解決策は、特に、物品の製造の、及び／又はそれらの包装の産業分野に言及する。
【0003】
この文脈において、製造機械の任意の可能な誤動作を検知するための、及び／又はそれらを防止することができる適切な調整を実装すべく、誤動作の可能な発生を予測するための自動制御システムを使用することが知られている。
【0004】
上述のシステムは、例えば、センサ及びビデオカメラを活用し得る。
【0005】
この文脈において、しかしながら、発生した任意の誤動作の原因を追究すべく、機械の動作に関する診断の活動を行うように構成された監視システムの必要性が感じられる。
【0006】
今日、このタイプの活動は、それが、カメラによって取得された機械の動作のビデオ記録全体、及び、同時に、センサによって検知されたデータにアクセスし、且つ、この材料の集合を分析して、発生した任意の誤動作の原因を理解することをオペレータに要求する限りにおいて、非常に複雑で手間がかかることが判明している。
【0007】
この文脈において、本発明は、オペレータによる上述の診断の活動を容易にすることができるであろう、製造機械を監視するための解決策を提案する。
【0008】
特に、本発明は、請求項１に記載の監視方法、及び、請求項９に記載の製造機械に関する。
【0009】
特許請求の範囲は、本明細書で提供される教示の不可欠な部分を形成する。
【図面の簡単な説明】
【0010】
本発明の更なる特性及び利点は、純粋に非限定的な例として提供される添付の図面を参照して、後に続く説明から明確に現れることになり、その中で：
【図1】本発明による、製造機械の例の概略図である；及び
【発明を実施するための形態】
【0011】
後に続く説明においては、実施形態の徹底した理解を可能にすることを目的として、様々な具体的な詳細が示される。実施形態は、具体的な詳細のうちの１つ又は複数を伴うことなく、又は、他の方法、コンポーネント又は材料等を伴って提供され得る。他の場合においては、実施形態の様々な態様が不明瞭にならないように、既知の構造、材料、又は動作は、詳細に例示又は説明されていない。
【0012】
本明細書で使用される参照は、単に便宜のためだけに提供されており、ゆえに、保護の領域、又は実施形態の範囲を定義するものではない。
【0013】
上記において予期された通り、本明細書で説明される解決策は、物品に対して少なくとも１つの動作を実行するように構成された製造機械の監視に関する。
【0014】
上記の機械は、例えば、物品の製造及び／又は包装のためのラインに属し得る。
【0015】
これに関連して、図１は、第１のワークステーション２０３、第２のワークステーション２０５、及び、２つのワークステーション２０３及び２０５を横断する前進の経路Ｋに沿った、物品１００の連続的な移動のためのコンベヤ２０２を備える製造機械２００の概略図である。
【0016】
各ワークステーションは、ワークステーション自体の内部に位置する物品１００に対する動作を実施するための少なくとも１つの動作ユニット（図示せず）を備える。
【0017】
製造機械２００は、事前設定された動作モードに従って２つのワークステーション２０３、２０５の動作ユニットを統制するように構成された制御ユニット２１０を備える。
【0018】
機械２００は、ワークステーション２０３内の物品１００に対して実施された動作の動作状態を検知するための第１のセンサ２０４、及び、同様に、第２のワークステーション２０５内の物品１００に対して実施された動作の動作状態を検知するための第２のセンサ２０６、を更に備える。センサ２０４、２０６は、例えば、機械の動作ユニットの動作パラメータ（例えば、速度、力、圧力等）を検知するように、又はその他、動作を受けている物品１００の状況（例えば、位置）を検知するように構成され得る。
【0019】
好ましくは、制御ユニット２１０は、２つのワークステーション２０３、２０５の動作ユニットの動作パラメータを、２つのセンサ２０４、２０６から到来するデータの関数として調整するように構成されており、それにより、必要に応じて、実行された動作に対する補正介入を実装する。
【0020】
製造機械２００は、各ワークステーション内に少なくとも１つのカメラ２１２を更に備え、これは、ワークステーション内で遂行された動作を記録するように構成されている。ちなみに、「カメラ」という用語は、ここで、写真用カメラ、ビデオカメラ、及びテレビカメラの中からのいずれかであるものとして理解される。好ましくは、各カメラ２１２は、高速度ビデオカメラである。
【0021】
好ましくは、各カメラ２１２は、機械自体の内壁に固定された多関節アームによって、各ワークステーション内に支持されている。
【0022】
好ましくは、各カメラ２１２は、対応するワークステーション内の、オペレータ側での監視によって行き届くことが困難である位置に設置される。
【0023】
製造機械２００は、２つのカメラ２１２によって捕捉されたフレームを取得するように構成された、少なくとも１つの制御ユニット２２０を備える。
【0024】
示されたもの（図２を参照）などの１つ又は複数の好ましい実施形態において、制御ユニット２２０は、カメラ２１２によって捕捉されたフレームの取得のためのモジュール２２０Ａ、揮発性記憶媒体２２０Ｂ（例えば、バッファを有するＲＡＭ）、処理モジュール２２０Ｃ、及び、（例えば、イーサネット（登録商標）システム上の、又は無線モードにおける通信用の）通信モジュール２２０Ｄを有する。
【0025】
取り扱いを容易にするため、示された例においては、２つのカメラ２１２の各々と通信する単一の制御ユニット２２０が表されている。いずれの場合においても、１つのそれぞれの制御ユニット２２０が各カメラに関連付けられている実施形態を想定することも可能である。他方、制御ユニット２２０は、機械２００の制御ユニット２１０自体の一部を形成する制御モジュールによって定義されることさえも可能である。
【0026】
加えて、製造機械２００は、スクリーン２４２を搭載したユーザインタフェース２４０；及び、ユーザインタフェース２４０を通じてアクセス可能な不揮発性記憶媒体２５０（例えば、ＨＤＤ又はＳＳＤ記憶媒体、又はより一般的にはＰＣ）を備える。
【0027】
制御ユニット２２０は、その通信モジュール２２０Ｄによって不揮発性記憶媒体２５０と通信するように設定されている。
【0028】
本明細書で説明される解決策の重要な特性によれば、制御ユニット２２０は、各カメラ２１２を通じて、ワークステーション２０３又は２０５において実施された動作のフレームのシーケンスを含むビデオストリームを取得するように、及び、事前設定された時間間隔の間は当該ビデオストリームを揮発性記憶媒体２２０Ｂに保存するように構成されている。
【0029】
上述の間隔の後、制御ユニット２２０は、動作のフレームの新たなシーケンスを含む新たなビデオストリームで、揮発性記憶媒体２２０Ｂに以前に保存されたビデオストリームを上書きする。
【0030】
２つのカメラ２１２によって取得されたビデオストリームは、好ましくは、揮発性メモリ２２０Ｂの別個の位置に保存される。各ビデオカメラについて１つの制御ユニットが提供される、上記で言及された代替的な実施形態において、２つのカメラ２１２によって取得されたビデオストリームは、代わりに、それぞれの制御ユニット２２０の揮発性記憶媒体２２０Ｂに保存される。
【0031】
更に、センサ２０４又は２０６を通じて、監視されている動作状態の異常データが取得された場合、制御ユニット２２０は、揮発性記憶媒体２２０Ｂに保存されたビデオストリームの少なくとも一部を不揮発性記憶媒体２５０に転送するように構成されている。
【0032】
以上を踏まえ、本明細書で説明される解決策は、従って、監視された動作に関するビデオストリームを継続的に取得し、且つ、取得された最後のフレームで以前に保存されたフレームを上書きすることにより、揮発性記憶媒体２２０Ｂにそれを一時的に保存することを想定している。更に、この解決策は、監視されている動作の異常状態の発生に際してのみ、取得されたビデオストリームを、及び、好ましくは、上述の異常状態の発生と同時に取得されているビデオストリームの一部のみを、永久的な方法で不揮発性記憶媒体２５０に保存することを想定している。
【0033】
不揮発性記憶媒体２５０に保存されたビデオストリームの一部は、ユーザインタフェース２４０のスクリーン２４２上に直接的に表示されてよく、オペレータは、ゆえに、センサ２０４又は２０６によって検知された上述の異常状態の発生と同時に監視されている動作の段階を分析する即時の可能性を有する。ユーザインタフェース２４０は、好ましくは、機械２００自体のそれである。
【0034】
好ましくは、ビデオストリームの取得は、物品に対する動作の実施中のみならず、或る動作及び次の動作の間の時間間隔においても、絶え間なく行われる。
【0035】
１つ又は複数の好ましい実施形態において、２つのセンサ２０４及び２０６からデータを受信する制御ユニット２１０は、センサ２０４又は２０６から到来するデータが基準間隔の範囲から外れた値を示す場合に、取得され、且つ揮発性記憶媒体２２０Ｂに保存されたビデオストリームを不揮発性記憶媒体２５０に転送するために、制御ユニット２２０にアクティブ化信号を送信するように構成されている。
【0036】
他方、制御ユニット２２０の処理モジュール２２０Ｃは、揮発性記憶媒体２２０Ｂに保存されたビデオストリームの一部を選択するように、及び、選択されたビデオストリームの一部を、通信モジュール２２０Ｄを通じて不揮発性記憶媒体２５０に転送するように構成されている。
【0037】
概して、ビデオストリームの選択された一部は、揮発性記憶媒体２２０Ｂに保存されたフレームのサブセットであり、これは、上述の異常状態が発生した瞬間の前後の時間窓において取得されたフレームによって構成されている。このようにして、ビデオストリームの上記の一部は、異常状態の発生よりも前の、異常状態の発生と同時の、及び好ましくは異常状態の発生に後続する、監視されている動作の重大な事象を表すようなものとなる。
【0038】
好ましくは、選択されたビデオストリームの一部の最初のフレームは、上述の異常状態が検知された瞬間に対して先行した時間に基づき識別され、同様に、最後のフレームは、上述の瞬間に対して後れた時間に基づき識別される。１つ又は複数の実施形態において、選択されたビデオストリームの一部は、事前設定された長さを呈し得る。
【0039】
以上を踏まえ、上記で説明された解決策により、以下の段階を備える、製造機械２００を監視するための方法を開発することが可能になる：
－ ２つのカメラ２１２を介して、ワークステーション２０３において実施された動作のフレームのシーケンスを含む第１のビデオストリームを取得し、且つ、ワークステーション２０５において実施された動作のフレームのシーケンスを含む第２のビデオストリームを取得する段階；
－ 事前設定された時間間隔の間は第１及び第２のビデオストリームを１つの揮発性記憶媒体又は複数の揮発性記憶媒体２２０Ｂに保存し、その後、当該１つの記憶媒体又は複数の記憶媒体２２０Ｂ上で、ワークステーション２０３において実施された動作のフレームの新たなシーケンスを含む新たな第１のビデオストリーム、及び、ワークステーション２０５において実施された動作のフレームの新たなシーケンスを含む新たな第２のビデオストリームで、それぞれ、以前の第１のビデオストリーム及び以前の第２のビデオストリームを上書きする段階；
－ ２つのセンサ２０４、２０６を介して、ワークステーション２０３において実施された動作の状態を示すデータ、及び、ワークステーション２０５において実施された動作の状態を示すデータをそれぞれ取得する段階；及び
－ センサ２０４又は２０６を介して、ワークステーション２０３又は２０５において実施された動作の状態の異常データが取得された場合、揮発性記憶媒体２２０Ｂに保存された第１のビデオストリーム又は第２のビデオストリームの少なくとも一部を不揮発性記憶媒体２５０に転送する段階。
－ ２つのカメラ２１２を介して、ワークステーション２０３において実施された動作のフレームのシーケンスを含む第１のビデオストリームを取得し、且つ、ワークステーション２０５において実施された動作のフレームのシーケンスを含む第２のビデオストリームを取得する段階；
－ 事前設定された時間間隔の間は第１及び第２のビデオストリームを１つの揮発性記憶媒体又は複数の揮発性記憶媒体２２０Ｂに保存し、その後、当該１つの記憶媒体又は複数の記憶媒体２２０Ｂ上で、ワークステーション２０３において実施された動作のフレームの新たなシーケンスを含む新たな第１のビデオストリーム、及び、ワークステーション２０５において実施された動作のフレームの新たなシーケンスを含む新たな第２のビデオストリームで、それぞれ、以前の第１のビデオストリーム及び以前の第２のビデオストリームを上書きする段階；
－ ２つのセンサ２０４、２０６を介して、ワークステーション２０３において実施された動作の状態を示すデータ、及び、ワークステーション２０５において実施された動作の状態を示すデータをそれぞれ取得する段階；及び
－ センサ２０４又は２０６を介して、ワークステーション２０３又は２０５において実施された動作の状態の異常データが取得された場合、揮発性記憶媒体２２０Ｂに保存された第１のビデオストリーム又は第２のビデオストリームの少なくとも一部を不揮発性記憶媒体２５０に転送する段階。
【0040】
不揮発性記憶媒体２５０に転送されたビデオストリームの一部は、ユーザインタフェース２４０のスクリーン２４２上に表示され得る。
【0041】
当然ながら、本発明の原理を損なうことなく、構造の詳細及び実施形態は、純粋に非限定的な例として本明細書に示されているものに対して、たとえ大幅にであっても異なっていてよく、それによって、添付の特許請求の範囲によって定義された本発明の範囲から逸脱することはない。
【図1】
【図2】
【外国語明細書】