(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-05
(45)【発行日】2022-04-13
(54)【発明の名称】動画記録システム
(51)【国際特許分類】
G05B 23/02 20060101AFI20220406BHJP
G07C 11/00 20060101ALI20220406BHJP
H04N 5/91 20060101ALI20220406BHJP
H04N 5/92 20060101ALI20220406BHJP
G05B 19/418 20060101ALI20220406BHJP
【FI】
G05B23/02 301V
G07C11/00
H04N5/91
H04N5/92 010
G05B19/418 Z
(21)【出願番号】P 2019017180
(22)【出願日】2019-02-01
【審査請求日】2021-02-08
(73)【特許権者】
【識別番号】501137636
【氏名又は名称】東芝三菱電機産業システム株式会社
(74)【代理人】
【識別番号】100108062
【氏名又は名称】日向寺 雅彦
(74)【代理人】
【識別番号】100168332
【氏名又は名称】小崎 純一
(74)【代理人】
【識別番号】100146592
【氏名又は名称】市川 浩
(74)【代理人】
【識別番号】100172188
【氏名又は名称】内田 敬人
(72)【発明者】
【氏名】諸墨 享
【審査官】藤崎 詔夫
(56)【参考文献】
【文献】特開2017-162103(JP,A)
【文献】特開2014-229103(JP,A)
【文献】特開2017-228249(JP,A)
【文献】特開2012-063842(JP,A)
【文献】特開2006-252364(JP,A)
【文献】米国特許出願公開第2011/0200245(US,A1)
【文献】中国特許出願公開第107666581(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05B 23/02
G07C 11/00
H04N 5/91
H04N 5/92
G05B 19/418
(57)【特許請求の範囲】
【請求項1】
プラントの製造ラインの複数の設備の点検時の動画を撮像して動画データを生成する撮像装置と、
前記複数の設備のそれぞれの点検箇所をポイントするレーザポインタと、
前記撮像装置に接続され、前記動画データを保存する動画記録装置と、
前記動画記録装置に接続されたときに前記動画データを取得し、
前記動画データに含まれる画像に、前記レーザポインタのポイントを含むか否か判定し、
前記レーザポインタのポイントを含む画像を前記動画データの部分として抽出する動画編集装置と、
を備えた動画記録システム。
【請求項2】
前記動画記録装置は、前記複数の設備のそれぞれを識別する識別信号を前記動画データに付与する請求項1記載の動画記録システム。
【請求項3】
前記動画記録装置
では、
前記識別信号
は、第1識別信号および第2識別信号を含み、
前記第1識別信号は、前記複数の設備のそれぞれの点検が開始されたとき
に前記動画データに付与
され、
前記第2識別信号は、前記複数の設備のそれぞれの点検が完了されたとき
に前記動画データに付与
され、
前記動画編集装置は、
前記第1識別信号と前記第2識別信号との間の動画データを判定することによって、前記複数の設備のそれぞれを識別する請求項2記載の動画記録システム。
【請求項4】
前記動画編集装置に接続されて前記動画編集装置が有するデータを保存する記憶装置
をさらに備え、
前記動画編集装置は、
前記レーザポインタのポイントを含む画像の前記動画データの抽出された部分および前記レーザポインタのポイントを含まない画像の前記動画データの部分の両方を含む編集前の動画データと、
前記レーザポインタのポイントを含む画像の前記動画データの抽出された部分を含む編集後の画像データと、
を前記記憶装置に格納し、前記記憶装置から読み出す請求項1~3のいずれか1つに記載の動画記録システム。
【請求項5】
前記動画記録装置は、前記複数の設備のそれぞれの動画データを、前記動画データを取得した年月日および前記動画データを撮影した点検作業者に関連付けて保存する請求項1~4のいずれか1つに記載の動画記録システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、プラントの製造ラインの設備や機器のメンテナンスや監視業務等の状況を動画で記録する動画記録システムに関する。
【背景技術】
【0002】
近年、小型電子デバイスの発達により、動画撮影および記録が容易な環境になっている。古くから監視カメラのように動画撮影を活用することは当たり前のように行われており、それらはこれからさらに盛んになっていくと考えられる。
【0003】
ところで、プラントの設備や機器等(以下、設備等という)のメンテナンスや監視業務等(以下、メンテナンス等という)では、数百から数千の設備等の健全稼働を確認する場合がある。このようなメンテナンス等の作業は、毎日、毎週、毎月、毎年など決められた周期で実施される。メンテナンス等の作業は、多数の設備等の健全性の確認作業であり、人間の目視によって行われることが多い。
【0004】
このような目視メンテナンスに動画撮影システムを導入した自動化のアイディアはあがっているが、実用化には至っておらず、人間の目視による確認が依然として行われている。メンテナンス等の自動化が進まない理由として以下の理由が考えられる。
【0005】
最終的な製品が基準を満たしているか否かを判断する限られた条件下の製品検査の自動化と異なり、目視メンテナンスは、対象となる設備等の数が多く、設備等に応じて着目する箇所が異なっている。そのため、自動化のアルゴリズムの確立が困難であったり、可能だとしてもコストがかかったりする。また、メンテナンス等による健全性の確認は、確認作業を行う人間の感覚に頼るところが大きく、これも自動化を阻害している要因である。
【0006】
メンテナンス等の状況を動画撮影したところで、その数が多く膨大な動画データを持て余してしまうことが多い。メンテナンス等の確認は、プラントの設備等が異常なく、健全であることを常に確認している、という確証を残す作業の側面がある。そのため、撮影した動画データを単純に記録して再生するのでは、健全性の検証の効率が悪い。
【0007】
また、撮影した動画データを、設備等の異常発生時の不具合状況や原因等を検討、解析するのに利用したいとの要求があるが、対象設備の確認をどこで行っているのか、膨大かつ長大な動画データから探し出すことは困難である。
【0008】
特許文献1の技術では、撮影しやすいハードウェア構成にすることによって、ウェアラブルの動画を効率的に使用できるという利点がある。ただし、撮影開始・停止の処理は本体に取り付いたボタンがトリガーであり、この点では通常のビデオカメラと変わらない。
【0009】
特許文献2の技術では、ウェアラブルカメラとレーザポインタを使って、製品検査の補助を行っている。製品検査には有効ではあるが、アルゴリズムの中に「マスタ画像と一致?」とあるように、「あるべき姿」という事前のモデル(今回の場合はマスタ画像)がありきである。しかしながら、精度の高い事前モデルを必須とすると、設備のメンテナンスとしては使用しにくい。
【先行技術文献】
【特許文献】
【0010】
【文献】特開2016-122115号公報
【文献】特開2018-54439号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
この発明の実施形態は上記のような課題を解決するためになされたものであり、プラントの製造ラインの設備のメンテナンスや監視業務を設備ごとに、点検ポイントを容易に抽出することができる動画記録システムを提供することを目的とする。
【課題を解決するための手段】
【0012】
実施形態に係る動画記録システムは、プラントの製造ラインの複数の設備の点検時の動画を撮像して動画データを生成する撮像装置と、前記複数の設備のそれぞれの点検箇所をポイントするレーザポインタと、前記撮像装置に接続され、前記動画データを保存する動画記録装置と、前記動画記録装置に接続されたときに前記動画データを取得し、前記動画データに含まれる画像に、前記レーザポインタのポイントを含むか否か判定し、前記レーザポインタのポイントを含む画像を前記動画データの部分として抽出する動画編集装置と、を備える。
【発明の効果】
【0013】
本実施形態では、プラントの製造ラインの設備のメンテナンスや監視業務を設備ごとに、点検ポイントを容易に抽出することができる動画記録システムが実現される。
【図面の簡単な説明】
【0014】
【
図1】第1の実施形態に係る動画記録システムを例示する模式図なブロック図である。
【
図2】第1の実施形態の動画記録システムの一部を例示する模式図である。
【
図3】第1の実施形態の動画記録システムの動作を説明するための模式的なタイミングチャートである。
【
図4】
図4(a)および
図4(b)は、第2の実施形態の動画記録システムの一部を例示する模式図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しつつ、本発明の実施形態について説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して詳細な説明を適宜省略する。
【0016】
(第1の実施形態)
図1は、本実施形態に係る動画記録システムを例示する模式図なブロック図である。
図1に示すように、本実施形態の動画記録システム1は、カメラ10と、レーザポインタ12と、動画記録端末20と、動画編集装置30と、記憶装置40と、を備える。
カメラ(撮像装置)10は、被写体100の動画像を撮像し、動画データに変換する。動画データは、音声データを含んでもよい。被写体100は、プラントに設置された各種設備や機器である。なお、以下では、設備および機器をまとめて設備ということとし、設備というときには、機器を含むものとする。
【0017】
レーザポインタ12は、点検作業者がボタン14を押すことによって、レーザ光線2を発出する。レーザポインタ12は、カメラ10と別体であってもよいが、好ましくは、この例のように、カメラ10と一体となっている。カメラ10およびレーザポインタ12が一体となっている場合には、撮像の方向とレーザポインタ12が発出するレーザ光線2との方向がほぼ一致するようにできる。カメラ10と別体の場合には、操作者は、レーザポインタ12に設けられたボタンを押すことによって、レーザ光線2を発出することができる。
【0018】
レーザポインタ12は、発出したレーザ光線2を被写体100に照射する。被写体100には、レーザ光線2によるポイント3が形成される。点検作業者は、設備等の必要箇所を点検するときに、レーザポインタ12のボタン14を押して、点検の必要箇所にレーザ光線2を照射して被写体100にポイント3を形成させる。点検作業者は、ポイント3を形成している間、カメラ10を被写体100に向けて、ポイント3が動画の画面に入るようにして動画像を撮影する。
【0019】
本実施形態の動画記録システム1では、レーザポインタ12が発出するレーザ光線2を被写体100に照射することによって、点検箇所を識別する。そのため、点検箇所を指差し等で識別する場合等に比べて、十分離れた設備の点検箇所を確実に識別することができる。
【0020】
動画記録端末(動画記録装置)20は、カメラ10が撮影している動画データを記録して保存する。動画記録端末20は、プログラムによって動作する処理装置およびプログラムを格納する記憶装置を内蔵する情報処理端末である。動画記録端末20は、たとえばスマートフォンやタブレット型コンピュータ端末である。
【0021】
動画記録端末20は、プラントの製造ラインの点検箇所を列挙したチェックシートをアプリケーションプログラムとして有している。点検作業者は、製造ラインの設備等の点検を行うときに、該当するチェックシートを呼び出して、呼び出したチェックシートにしたがって、製造ラインの点検作業を行う。
【0022】
図2は、本実施形態の動画記録システムの一部を例示する模式図である。
図2は、動画記録端末20の画面21の例であり、画面21上に表示されるチェックシートの例が示されている。
図2に示すように、動画記録端末20の画面21には、該当する製造ライン(図では、xxxxラインと製造ライン名称が示されている)のチェックシートが表示されている。動画記録端末20には、1つの製造ラインに限らず、複数の製造ラインの点検用のチェックシートが保存され、点検作業者が複数の製造ラインの点検等のチェックシートの中から該当するものを選択できるようにしてもよい。
【0023】
また、この例では、“(日報)”のように表示されており、該当するチェックシートが日々の点検に用いられる日報形式のチェックシートであることが示されている。動画記録端末20には、たとえば製造ラインごとに、日報のほか、月ごとに点検する項目を列挙した月報形式のチェックシートや、1年に1度の点検に用いられるチェックシート等、複数種類が設定され、点検作業者が適切なものを選定するようにしてもよい。
【0024】
画面21上に表示されたチェックシートは、たとえばこの例では、年月日入力欄22、チェック開始用チェックボックス23およびチェック完了用チェックボックス24を含んでいる。
【0025】
年月日入力欄22には、該当する点検の点検を行う年月日を点検作業者が入力する。
【0026】
チェック開始用チェックボックス23およびチェック完了用チェックボックス24は、点検する項目、この例では、“設備1”、“設備2”…のように設備名称ごとに設けられている。
【0027】
点検作業者は、点検項目ごとに、点検を開始するときに、チェック開始用チェックボックス23にチェックを入れる。点検作業者は、点検項目ごとに点検を完了したときに、チェック完了用チェックボックス24にチェックを入れる。このチェックシートのプログラムは、チェック開始用チェックボックス23およびチェック完了用チェックボックス24にチェックを入れた時刻を記録して、チェックフラグを記録した動画とともに記録する。したがって、チェックフラグの記録時刻によって、複数の設備のそれぞれに動画データを関連付けることができる。
【0028】
図1に戻って説明を続ける。
動画編集装置30は、動画記録端末20から動画データを取得する。動画編集装置30は、この例の破線で示すように、通常時には動画記録端末20とオフラインで、動画データの転送時に動画記録端末20と接続するようしてもよい。あるいは、動画編集装置30は、動画記録端末20と常時接続されており、たとえば、動画記録端末20に保存された動画データの容量が動画記録端末20の記録容量に近づいた場合に、動画記録端末20が自動的に動画編集装置30に動画データを転送する等してもよい。
【0029】
動画編集装置30は、動画記録端末20から取得した動画データのうち、レーザポインタ12のポイント3を含む画像データを検出する。動画編集装置30は、ポイント3を含む動画データの部分を抽出する。動画編集装置30は、抽出した動画データを編集後の動画データとして記憶装置40に格納する。動画編集装置30は、編集後の動画データのほか、ポイント3を含んでいない動画データの部分を含む動画データを編集前の動画データとして記憶装置40に格納する。動画編集装置30は、いつでも記憶装置40の所望の動画データにアクセスすることができ、いつでも編集前の動画データおよび編集後の動画データを読み込んで再生し表示することができる。
【0030】
記憶装置40は、上述したように、動画編集装置30によって編集後の動画データおよび編集前の動画データを格納する。
【0031】
動画編集装置30および記憶装置40は、たとえばコンピュータ装置である。記憶装置40は、動画編集装置30に接続または内蔵された記憶装置であってもよいし、通信ネットワーク等によって接続されたデータサーバ等の記憶領域等であってもよい。
【0032】
本実施形態の動画記録システムの動作について説明する。
図3は、本実施形態の動画記録システムの動作を説明するための模式的なタイミングチャートである。
図3には、編集後の動画データに関する事項が示されており、チェック信号、記録された動画データの部分、およびレーザポインタ12のボタン14を押したことを表す信号を、同じ時間軸上に示している。
【0033】
チェック信号とは、
図2において説明したように、動画記録端末20の画面21上に表示されたチェックシートにおいて、チェック開始用チェックボックス23およびチェック完了用チェックボックス24をチェックしたときに記録された信号である。チェック信号は、動画データの時刻と関連付けられて動画データとともに保存されている。チェック信号は、動画記録端末20上のアプリケーションプログラムによって、点検対象の設備名称に関連付けられているので、2つのチェック信号(第1識別信号、第2識別信号)の間の動画データは、点検対象の設備の点検作業に関するものである。
【0034】
たとえば、
図2の“設備1”の点検を行う場合について説明する。
まず、“設備1”の点検を開始するときに、“設備1”のチェック開始用チェックボックス23にチェックを入れる。動画記録端末20は、時刻t1において、チェック開始用チェックボックス23にチェックが入ったことを表すチェック信号を記録する。
【0035】
動画記録端末20は、チェック信号の入力によって、カメラ10から送られてくる動画データの記録を開始する。動画記録端末20は、次のチェック信号の入力まで動画データを記録する。この例では、時刻t6において、“設備1”のチェック完了用チェックボックス24にチェックが入れられるとによって、チェック信号が記録され、時刻t5において、“設備1”の動画の記録が終了する。
【0036】
動画記録端末20には、2つのチェック信号が記録された時刻の間の動画が記録されており、この例では、動画記録端末20には、動画データの部分a~eが記録されている。動画データの部分a~eを含む動画データは、“設備1”および取得年月日に関連付けられて動画記録端末20に格納される。
【0037】
この動画データは、動画編集装置30に転送され、記憶装置40に格納される。他の設備についても同様に、動画データは、設備名称および取得年月日に関連付けられて動画記録端末20に格納され、動画編集装置30に転送され、記憶装置40に格納される。
【0038】
動画データの部分には、点検作業者によるレーザポインタ12のポイントデータを含むデータおよびレーザポインタ12のポイントデータを含まないデータが含まれている。動画データの部分a,dには、ポイント3が含まれておらず、動画データの部分b,c,eには、ポイント3が含まれている。
【0039】
点検作業者は、“設備1”のチェックを開始すると、レーザポインタ12のボタン14を押して、点検箇所をポイントする。記録動画b,cにはそのときのポイント3が示されている。点検作業者は、レーザポインタ12のボタン14を時刻t2~t3の期間、ボタン14を押し続けており、同一の点検箇所をチェックしている。
【0040】
点検作業者は、時刻t3の後、一旦レーザポインタ12のボタン14をオフにして、その後、時刻t4において、“設備1”の別の点検箇所をポイントする。点検作業者は、時刻t5までボタンを押し続けて、その箇所の点検を行う。
【0041】
動画編集装置30は、取得した動画データの画像データを解析して、レーザポインタ12のポイント3が画像データに含まれるか否かを判定する。動画編集装置30は、レーザポインタ12のポイント3が画像データに含まれている期間を点検期間として、編集前の動画データにフラグデータを追加する。この例では、動画編集装置30は、記録動画b,cにフラグデータを追加する。また、動画編集装置30は、記録動画eにフラグデータを追加する。
【0042】
なお、動画編集装置30は、画像データを画像解析することによって、ポイント3が画像データに含まれているか否かを判定する。一方で、カメラ10およびレーザポインタ12から被写体までの距離がまちまちであったり、被写体である設備が動いていたりする場合があり、ポイント3の大きさや明るさ等が大きく異なったり、変動したりすることがある。一方、点検作業では、同一の項目が繰り返し実施されるので、判定のためのデータを多数収集することが可能である。そのため、画像解析には、ディープラーニング技術等を導入することによって、さまざま変化し得る条件に対応して、正確にポイント3の有無判定できるようにすることができる。
【0043】
動画編集装置30は、フラグデータを追加する前の動画データを、編集前の動画データとして、記憶装置40に格納し、フラグデータを追加した動画データを編集後の動作データとして記憶装置40に格納する。
【0044】
動画編集装置30は、記憶装置40から編集前の動画データまたは編集後の動画データを読み出して再生する。動画編集装置30は、編集前の動画データが選択された場合には、点検した箇所であるかないかにかかわらず、動画記録端末20に記録された全期間にわたる動画データを再生する。動画編集装置30は、編集後の動画データが選択された場合には、ポイント3を含む動画データのみ、つまり、点検した箇所が抽出された動画データを再生する。
【0045】
いずれの動画データにも、設備名称が点検時刻を介して関連付けられているので、適切な検索プログラムを追加することによって、所望の設備の点検状況を示す動画データの部分を迅速に検索して、再生することができる。
【0046】
本実施形態の動画記録システム1の効果について説明する。
本実施形態の動画記録システム1では、動画記録端末20が点検時刻と設備名称とを関連付けているので、点検対象の設備ごとに、動画データを記録し保存することができる。そのため、動画編集装置30によって迅速に所望の設備の点検の記録を検索して再生することができる。
【0047】
動画記録システム1では、所望の設備の点検の記録を迅速に検索し、所望の設備の点検の前後の状況を含むすべての点検記録の動画データを保存し再生することが可能である。そのため、該当の製造ラインにおける不具合の発生箇所の前後を含めた動画データを検証することによって、不具合の原因究明、原因解析等に役立てることができる。
【0048】
動画記録システム1では、点検箇所をレーザポインタ12でポイントし、動画編集装置30によってポイント3を含む動画データを抽出する。抽出された動画データは、動画記録端末20によって、点検年月日と関連付けられているので、点検年月日ごとの動画データを点検項目に関する部分のみを短時間で再生し、点検の確実性等を検証することを可能にする。
【0049】
(第2の実施形態)
上述の実施形態では、点検作業者によらずに点検記録を保存し、動画データとして再生する。点検作業者が有するスキルによって、同一箇所の点検内容であっても、実質的に異なる点検内容である場合がある。本実施形態では、さらにメンテナンス等の自動化を進めるにあたり、点検内容や点検時の判定基準等についてディープラーニング技術を適用するためのデータを提供する。
【0050】
図4(a)および
図4(b)は、第2の実施形態の動画記録システムの一部を例示する模式図である。
図4(a)は、動画記録端末220の画面221の例であり、画面221に表示されたチェックシートの例が示されている。本実施形態の動画記録端末220は、上述の他の実施形態の場合の動画記録端末20とハードウェアは同一であるが、チェックシートを表示するアプリケーションプログラムが一部相違している。
図4(a)に示すように、動画記録端末220の画面221には、該当する製造ラインのチェックシートが表示されている。このチェックシートにおいては、年月日入力欄222、チェック開始用チェックボックス223およびチェック完了用チェックボックス224については、上述の他の実施形態の場合と同じである。
【0051】
このチェックシートでは、点検作業を実施する実施者の名前を入力する点検作業者入力欄225が新たに設けられている。点検作業者入力欄225は、この例では、プルダウンメニューになっており、プルダウンメニューには、あらかじめ登録された点検作業を行う者の名前が一覧されている。実際に点検作業をする者は、プルダウンメニューから自身の名前を探して設定する。
【0052】
点検作業者、点検の年月日、点検開始時刻および点検完了時刻は、設備名称ごとにすべて関連付けられる。
【0053】
図4(b)は、本実施形態の場合の動画データに関する関連付けを表すテーブルの例である。
図4(b)に示すように、テーブル242は、点検作業者欄242a、全体動画データ欄242bおよび抽出動画データ欄242cを含んでいる。たとえば、このテーブル242は、設備名称ごとに生成され、動画編集装置30によって記憶装置40に格納される。
【0054】
点検作業者欄242aには、プルダウンメニューから選択された点検作業者名が入力されている。全体動画データ欄242bには、レーザポインタ12のポイント3を含まない画像を含む動画データが入力されている。抽出動画データ欄242cには、レーザポインタ12のポイント3を含む画像が抽出された動画データが入力されている。
【0055】
本実施形態では、このように、設備ごとに、点検作業者名がすべての動画データに関連付けられて、記憶装置40に格納される。
【0056】
本実施形態の動画記録システムは、上述の他の実施形態の場合と同様に動作し、点検作業者に関連付けられたデータベースを構築して、記憶装置40に格納することができる。
【0057】
動画データには、音声データも同時に記録することができる。たとえば、点検作業者によっては、設備の点検中に、その設備あるいはその設備の周辺から異音等が生じたことを認識できる場合がある。また、動画データの画像のみでは伝わりにくい設備の異常やその前触れ等を認識して、自身の声でその内容を説明して記録することもできる。これらの状況は、点検作業者のスキルによって、認識の度合いが異なるため、一旦動画データに記録して、他者と比較等して、定量化し、自動化のためのディープラーニングプログラムを開発する場合のデータとして、利用することができる。
【0058】
以上説明した実施形態によれば、プラントの製造ラインの設備や機器のメンテナンスや監視業務を設備および機器ごとに、点検ポイントを容易に抽出することができる動画記録システムを実現することができる。
【0059】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明およびその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【0060】
1 動画記録システム、2 レーザ光線、3 ポイント、10 カメラ、12 、レーザポインタ、14 ボタン、20,220 動画記録端末、30 動画編集装置、40 記憶装置、100 被写体