特開 2017-69963 表示盤や操作盤のデータ収集システム、装置、方法、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-69963(P2017-69963A)

(43)【公開日】2017年4月6日

(54)【発明の名称】表示盤や操作盤のデータ収集システム、装置、方法、プログラムおよび記録媒体

(51)【国際特許分類】

   H04N 7/18 20060101AFI20170317BHJP

   G05B 23/02 20060101ALI20170317BHJP

   G08C 15/00 20060101ALI20170317BHJP

【ＦＩ】

   H04N7/18 D

   G05B23/02 V

   H04N7/18 U

   G08C15/00 E

【審査請求】未請求

【請求項の数】27

【出願形態】書面

【全頁数】14

(21)【出願番号】特願2016-205554(P2016-205554)

(22)【出願日】2016年9月30日

(31)【優先権主張番号】特願2015-205909(P2015-205909)

(32)【優先日】2015年9月30日

(33)【優先権主張国】JP

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．イーサネット

(71)【出願人】

【識別番号】512254405

【氏名又は名称】株式会社ソフィックス

(72)【発明者】

【氏名】只野 英志

【テーマコード（参考）】

2F073

3C223

5C054

【Ｆターム（参考）】

2F073AA01

2F073AB08

2F073BB01

2F073BB07

2F073BC01

2F073CC03

2F073CD11

2F073DD05

2F073FG01

2F073FG02

2F073FG09

2F073FG11

2F073GG01

2F073GG04

2F073GG05

2F073GG08

2F073GG09

3C223AA12

3C223BA03

3C223BB02

3C223BB08

3C223BB12

3C223CC02

3C223DD03

3C223FF04

3C223GG01

3C223HH06

5C054CA04

5C054CC02

5C054DA09

5C054EA05

5C054FC12

5C054GA01

5C054GD03

5C054HA18

(57)【要約】

【課題】 数値情報取得機能やネットワーク接続機能を持たない旧式の装置類の表示盤や操作盤に表示された、従来であれば目視で確認するしかなかった各種表示を、上記装置類に可能な限り手を加えることなくデジタルデータとして取得して、これをモノのインターネットに向けて送信出来るようにしたい。
【解決手段】 旧式の工作機械１の操作盤１０に、これを撮影するためのデジタルカメラ２０を後付けで設置しておき、このデジタルカメラ２０で前記操作盤１０を撮影し、このデジタルカメラ２０の画像を、デジタルカメラ２０が接続された画像解析処理装置２で解析処理を行ってデータ化して、現在値を取得するようにした。
【選択図】図１

【特許請求の範囲】

【請求項1】

工作機械等の表示盤や操作盤のような撮影対象と、この撮影対象に向けて設置したデジタルカメラと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理装置とから成る、表示盤や操作盤のデータ収集システム。

【請求項2】

更に前記画像解析処理装置が、前記画像の文字認識処理を行い現在値としての文字情報を得る文字認識処理部を備えている、請求項１に記載の表示盤や操作盤のデータ収集システム。

【請求項3】

更に前記画像解析処理装置が、前記画像の幾何学歪みの補正を行うための幾何学歪み補正処理手段を有する、請求項１に記載の表示盤や操作盤のデータ収集システム。

【請求項4】

前記画像解析処理装置は、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前の部分から切り出す処理を行うものである、請求項１に記載の表示盤や操作盤のデータ収集システム。

【請求項5】

前記画像解析処理装置は、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するものである、請求項４に記載の表示盤や操作盤のデータ収集システム。

【請求項6】

撮影対象に向けて設置されるデジタルカメラと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理装置とから成り、前記画像解析処理装置は前記画像の文字認識処理を行って現在値としての文字情報を得る文字認識処理部を備えていることを特徴とする、表示盤や操作盤のデータ収集装置。

【請求項7】

更に前記デジタルカメラまたは前記画像解析処理装置が、前記画像の幾何学歪みの補正を行うための幾何学歪み補正処理手段を有する、請求項６に記載の表示盤や操作盤のデータ収集装置。

【請求項8】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記画像の台形補正を行う画像補正処理部である、請求項７に記載の表示盤や操作盤のデータ収集装置。

【請求項9】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記デジタルカメラの光学系に姿勢制御可能に設けた光学レンズである、請求項７に記載の表示盤や操作盤のデータ収集装置。

【請求項10】

撮影対象に向けて設置されるデジタルカメラと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理装置とから成り、前記デジタルカメラまたは前記画像解析処理装置は前記画像の幾何学歪みの補正を行うための幾何学歪み補正処理手段を有することを特徴とする、表示盤や操作盤のデータ収集装置。

【請求項11】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記画像の台形補正を行う画像補正処理部である、請求項１０に記載の表示盤や操作盤のデータ収集装置。

【請求項12】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記デジタルカメラの光学系に姿勢制御可能に設けた光学レンズである、請求項１０に記載の表示盤や操作盤のデータ収集装置。

【請求項13】

前記画像解析処理装置は、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前の部分から切り出す処理を行うものである、請求項１０に記載の表示盤や操作盤のデータ収集装置。

【請求項14】

前記画像解析処理装置は、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するものである、請求項１３に記載の表示盤や操作盤のデータ収集装置。

【請求項15】

更に文字認識処理部を備え、前記画像を前記幾何学歪み補正処理手段で補正した後の補正済み画像に付いて文字認識処理を行って現在値としての文字情報を得る、請求項１０乃至請求項１４の何れか一に記載の表示盤や操作盤のデータ収集装置。

【請求項16】

撮影対象を撮影するためのデジタルカメラを設置しておき、このデジタルカメラで前記撮影対象を撮影するステップと、撮影された画像を画像解析処理装置の文字認識処理部で文字認識処理を行ってデータ化して、現在値としての文字情報を得るステップと、を含む表示盤や操作盤のデータ収集方法。

【請求項17】

更に前記デジタルカメラまたは前記画像解析処理装置が幾何学歪み補正処理手段を備えており、前記撮影された画像の幾何学歪みの補正を、前記幾何学歪み補正処理手段によって行うステップを含む、請求項１６に記載の表示盤や操作盤のデータ収集方法。

【請求項18】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記画像補正処理部にて台形補正を行うステップを含む、請求項１７に記載の表示盤や操作盤のデータ収集方法。

【請求項19】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記デジタルカメラの光学系に設けた光学レンズの姿勢制御によって台形補正を行うステップを含む、請求項１７に記載の表示盤や操作盤のデータ収集方法。

【請求項20】

撮影対象に向けて設置したデジタルカメラで前記撮影対象を撮影するステップと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理ステップとを含み、前記デジタルカメラで撮影するステップまたは前記画像解析処理ステップは、前記画像の幾何学歪みの補正を行う幾何学歪み補正処理を含む、表示盤や操作盤のデータ収集方法。

【請求項21】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記画像補正処理部にて台形補正を行うステップを含む、請求項２０に記載の表示盤や操作盤のデータ収集方法。

【請求項22】

前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記デジタルカメラの光学系に設けた光学レンズの姿勢制御によって台形補正を行うステップを含む、請求項２０に記載の表示盤や操作盤のデータ収集方法。

【請求項23】

前記画像解析処理ステップは、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前の部分から切り出すステップを含む、請求項２０に記載の表示盤や操作盤のデータ収集方法。

【請求項24】

前記画像解析処理ステップは、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するステップを含む、請求項２３に記載の表示盤や操作盤のデータ収集方法。

【請求項25】

更に、前記画像を前記幾何学歪み補正処理手段で補正した後の補正済み画像に付いて、文字認識処理部にて文字認識処理を行うステップを含む、請求項２０乃至請求項２４の何れか一に記載の表示盤や操作盤のデータ収集方法。

【請求項26】

請求項１６乃至請求項２５の何れか一に記載の表示盤や操作盤のデータ収集方法をコンピュータに実行させるプログラム。

【請求項27】

請求項１６乃至請求項２５の何れか一に記載の表示盤や操作盤のデータ収集方法をコンピュータに実行させるプログラムを記録した、コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ネットワーク接続機能を持たない旧式の各種機械をリアルタイムで監視し得るようにしてその稼働状況をデータ化する、表示盤や操作盤のデータ収集システム、装置、方法、プログラムおよび記録媒体に関する。

【背景技術】

【0002】

近年、様々な機械類をインターネットに接続して膨大な情報の収集と解析とを行う、いわゆるモノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ：ＩｏＴ）が普及して来た。インターネットはあらゆるモノがコミュニケーションを行うための情報伝送路となり、これを以て機械類が備える各種センサや計測器からの膨大なデジタル情報の収集が行われている。例えばプラント監視装置では、表示盤や操作盤に表示する電圧や電流等々の数値データが情報伝送路を介して送信される。

【0003】

またこれとは別に、表示盤や操作盤に於ける監視領域の映像をそのまま伝送して、表示盤や操作盤をリモートで目視し確認することが行われている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら稼働状況をデータ化するためには、表示盤や操作盤に表示する電圧や電流等々の数値データを別途取得したりこの数値データを送信したりする機能が初めから装置に組み込まれていなくてはならない。従って数値情報取得機能やネットワーク接続機能を持たない旧式のプラント監視装置や旧式の製造ラインや旧式の工作機械などでは、これ等をモノのインターネットに接続することは、現状では不可能だったのである。

【0005】

一方、表示盤や操作盤の映像をそのまま目視確認するだけのものでは、それ以上の映像の活用は不可能である。

【0006】

そこでこの発明は、数値情報取得機能やネットワーク接続機能を持たない旧式の装置類の表示盤や操作盤に表示された、従来であれば目視で確認するしかなかった各種表示を、上記装置類に可能な限り手を加えることなくデジタルデータとして取得出来るようにすることを課題とする。

【課題を解決するための手段】

【0007】

そこで当発明者は鋭意研究の結果、旧式の装置類の表示盤や操作盤を外部から撮影した映像から、電圧や電流等々の現在値を取得するようにすれば良い、と言う着想を得た。

【0008】

すなわち上記課題は、工作機械等の表示盤や操作盤と言った撮影対象を撮影するためのデジタルカメラを設置しておき、このデジタルカメラで前記撮影対象を撮影し、このデジタルカメラの画像を画像解析処理装置で解析処理を行いデータ化して現在値を取得するようにすることにより達成される。旧式の装置類の表示盤や操作盤からすれば、デジタルカメラは装置外部に設置されたものであって、両者に電気的な接続関係はない。従ってこの発明はどのような装置類に対しても適用の可能性がある。また画像解析処理装置を設けたことによって、外部カメラの画像から数値データを取り出すことが出来る。このような点にこの発明の従来にない特長が認められる。

【0009】

上述のように旧式の工作機械等を撮影するのは後付けのデジタル処理が可能なカメラであり、カメラの画像は画像解析処理装置に掛けられて上記現在値が得られる。これをインターネットなどのネットワークに接続して、上記画像解析処理装置から得られた現在値をＰＣやタブレットパソコンやスマートフォンなどから遠隔で監視したり情報処理したりすることが出来るようにするのである。なおこのデジタルカメラで撮影する画像は、静止画であっても動画であっても上記画像解析処理装置で対応し得るように設計することが可能である。

【0010】

上記デジタルカメラと画像解析処理装置とは有線あるいは無線で接続される。上記画像解析処理装置は、これを単独でインターネットに接続したり、イーサネットを介してインターネットに接続したりすることが可能である。デジタルカメラが複数である場合、これ等を１台の画像解析処理装置で処理するように設計することも、各々のカメラに付き１台の画像解析処理装置を割り当てるように設計することも可能である。後者では複数の画像解析処理装置から得られる数値データを統合する情報収集管理サーバを介して、インターネットに接続するようにすることが出来る。すなわち例えば、工場内に散在するデジタルカメラと画像解析処理装置とを上記サーバの配下として管理するのである。

【0011】

カメラの画像を上記画像解析処理装置で解析するに当たっては、好ましくは、画像の明るさを自動補正し得るようにする。指針を有する各種メータ類であれば、目盛りなどの背景を消して指針だけを残すように処理したり、背景の明るい部分や暗い部分や汚れなどを適応的閾値処理によって二値化したりする。操作盤に於けるつまみ類に関しては、色のクラスタリング処理を行ったり、二値化によって矢印の輪郭の抽出を行う。またランプの点灯／消灯でＯＮ／ＯＦＦを表すものでは、色特に輝度値により閾値を設けておき、一定以上の明るさの状態をＯＮ状態であると見做すようにする。

【0012】

また好ましくは、操作盤面に集められたＣＲＴやメータやつまみやランプの各々に関して、予め基準画像を登録しておき、上記カメラで撮影する毎に撮影画像を基準画像と比較して現在値を得るようにする。この比較に際して上記補正を行うと更に良い。

【0013】

次に、デジタルカメラの画像がＣＲＴや液晶などのディスプレイの文字表示画面である場合、画像解析処理装置の文字認識処理部はディスプレイ画像の光学文字認識処理を行って現在値としての文字情報を得ることが出来る。この発明は旧式の装置類の表示盤や操作盤に表示される電圧や電流等の数値のみならず、旧式の装置類のディスプレイに表示される文字に付いても適用可能である。文字情報はすなわち文字データである。

【0014】

次にデジタルカメラの画像に幾何学歪みを生じている場合に、画像解析処理装置の幾何学歪み補正処理手段によって上記画像の幾何学歪み補正を行って現在値を取得することが出来る。例えばデジタルカメラの設置位置に関して、表示盤や操作盤の前にオペレータが腰かけたり立つことを考えると、この作業の邪魔にならないようにするためにはデジタルカメラを撮影対象に正対させることが出来ない場合もある。このような場合にはデジタルカメラの画像に幾何学歪みを生ずるが、これを画像解析処理装置の幾何学歪み補正処理手段によって補正して、恰も撮影対象を正面から撮影したかのごとき画像に補正した上で、画像解析処理装置によって現在値を取得するようにするのである。

【0015】

この内デジタルカメラの設置位置を、表示盤や操作盤の真正面から左右方向や上下方向にずらした、斜め方向から撮影するような位置とした場合では、画像の幾何学歪みとして台形歪みを生ずることになるのであるが、このような場合に上記幾何学歪み補正処理手段に付いて、画像の台形補正を行う画像補正処理部であるものとすることが出来る。

【0016】

また同様に幾何学歪みとして台形歪みを生ずる場合に、上記幾何学歪み補正処理手段がデジタルカメラの光学系に姿勢制御可能に設けた光学レンズであるものとすることが出来る。この場合レンズそのものをデジタルカメラの設置のずれに合わせて適切に歪ませておくことで、レンズを通過する光を屈折させて台形歪みが補正された方形の画像を得ることが可能になる。なお光学レンズの姿勢を調節し得るように設計しても良い。

【0017】

なお上記幾何学歪みには魚眼レンズや球面ミラーを介して撮影することによる球面歪み等も含まれるが、これにより生ずる画像の球面歪みなども適切に補正すれば良い。このような幾何学歪みを補正する仕組みそのものは一般的な技術であるため、説明が煩雑となるのを避けるべく省略する。

【0018】

次に前記画像解析処理装置は、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前に遡ってその部分から切り出す処理を行うようにすることが出来る。上記デジタルカメラは、工作機械等の表示盤や操作盤と言った撮影対象を撮影しているから、表示盤上や操作盤上で、例えば赤色のエラーランプの点灯、ＣＲＴに「開扉エラー」などの文字列の表示が起こった場合、予め定めておけば画像解析処理装置はこの変化を特定の変化として捉えることが出来る。この際に、表示盤上や操作盤上で誤操作が行われた場合に、同じ表示盤上や操作盤上でエラーランプを点灯させると言うような設定では、画像解析処理装置はエラーの発生を捉えることが出来るのと同時に、表示盤上や操作盤上で行われた誤操作そのものを画像として捉えることが出来る。

【0019】

これに対して、表示盤上や操作盤上で例えばエラーランプを点灯させるとしても、上記デジタルカメラには写らない場所で事前に決めておいた事象が発生するような場合では、これを上記デジタルカメラとは別のデジタルカメラを設置しておいて撮影するようにすれば良い。従って別のデジタルカメラの設置は別室に、別棟にと言う設計もあり得るのであり、必要に応じて自由に設計することが可能である。

【0020】

このような遡及再生用の画像は記憶装置に記録しておくと良い。またこのような仕組みを導入することによって次のようなことが実現出来る。例えば工作機械にあって、機械の内部にアクセスする際には停止ボタンを押してから扉を開くこと、とのプロシージャーが厳に決められている場合であっても、停止ボタンを押すことなく扉を開けてしまうことが起こり得る。このような場合にどこでミスをしてしまったかやなぜそのようなミスを犯してしまったかが過去に遡って分かると必要な対策が取りやすくなる。そこで画像解析処理装置は撮影された画像を保持しておき、例えば予め決めておいた箇所にある赤色のエラーランプの点灯と言う変化を捉えたならば、点灯した時間から３０秒なり１分なりその現場の状況に必要な時間を定めておいて、その時間まで遡り、その遡った時点から上記点灯までの画像を、あるいはさらにその先の画像までを、記憶部に記録するのである。

【0021】

次に前記画像解析処理装置は、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するようにしても良い。すなわちコマ数を減数して再生したり、コマ数を減数した動画を生成して記憶装置に記録したりする。デジタルカメラは静止画像や動画像を撮ることが可能であるが、動画の場合にあっては、上記特定の変化が生じた時間から遡ること例えば３０秒間が保持されているので、エラーの原因を特定するのにこの３０秒間分をそのまま再生してチェックするのでは時間的な効率が悪いと言う場合も出てくる。そこでコマ数を減数し再生したり、コマ数を減数した動画として記憶装置に記録したものを後から再生したりしてチェックすることで、効率アップを実現することが出来るのである。例えばデジタルカメラで１秒間に付き３０フレームを撮影する設計であれば、１秒間に付き１／３０の１フレームにコマ数を減数する設定とするのである。なおこの減数処理で残されたフレームの間隔は等間隔であっても、例えばエラーが発生した時点に近づくほど間隔が狭まるような不等間隔であっても良い。このようなことは任意に設計し得る。

【0022】

なお上記では特定の変化に付いて赤色のエラーランプの点灯やＣＲＴの「開扉エラー」の表示を上げたが、特にこれ等に限定されない。またこれ等はデジタルカメラおよび上記画像解析処理装置で取り扱い得るデータであるが、他にもスピーカの警報音を拾うためのマイクや温度変化を監視するための温度センサと、これ等からのデータの解析処理装置を備えることで、更に幅広いエラー対応が可能になる。

【0023】

さて上記の表示盤や操作盤のデータ収集方法をコンピュータに実行させるプログラムとして提供することが出来る。またこのプログラムを記録したコンピュータ読み取り可能な記録媒体として提供することが可能である。

【発明の効果】

【0024】

この発明は、表示盤などの撮影対象を撮影するためのデジタルカメラを設置しておき、このデジタルカメラで撮影対象を撮影し、画像解析処理装置で撮影画像の解析処理を行いデータ化して現在値を取得する点に特徴を有する。これにより数値情報取得機能やネットワーク接続機能を持たない旧式の装置類の表示盤や操作盤に表示された従来であれば目視するしかなかった文字表示や電圧や電流等の数値を、コンピュータ処理が可能なデジタルデータとして取得することが容易に行えるようになった。このようにして取得した現在値はネットワークに向けて送信することが可能である。

【図面の簡単な説明】

【0025】

【図1】 実施例１のシステムを模式的に表す説明図である。

【図2】 実施例１の画像解析処理装置をブロック図で表した説明図である。

【図3】 実施例１の操作盤を模式的に表す説明図である。

【図4】 実施例１の初期設定時の処理ステップを表す説明図である。

【図5】 実施例１の画像解析処理装置の処理ステップを表す説明図である。

【図6】 実施例１の情報収集管理サーバの処理ステップを表す説明図である。

【図7】 実施例１の画像解析処理により得られたデータを表す説明図である。

【図8】 実施例２の文字認識の処理ステップを表す説明図である。

【図9】 実施例３の台形補正処理を模式的に表す説明図である。

【図10】 実施例３の台形補正の処理ステップを表す説明図である。

【図11】 実施例４の台形補正処理を模式的に表す説明図である。

【図12】 実施例５のメータ指針抽出補正の処理ステップを表す説明図である。

【図13】 実施例６の遡及再生の処理ステップを表す説明図である。

【図14】 実施例７の遡及再生の処理ステップを表す説明図である。

【発明を実施するための形態】

【0026】

以下ではこの発明の７つの実施例を図面を用いて説明するが、この発明はこれ等の実施例に限定されるものではなく、この発明の思想の範囲内に於いて自由な設計をすることが可能であり、これ等もまたこの発明の権利範囲内のものである。

【実施例1】

【0027】

図１乃至図７でこの実施例を説明する。この実施例のデータ収集システムは、図１の模式図で示すように、ネットワーク接続機能を持たない旧式の工作機械１の操作盤１０を、後付けのデジタル処理が可能なデジタルカメラ２０で操作盤１０の斜め上方から撮影して得られる画像を、デジタルカメラ２０が接続された画像解析処理装置２で解析することにより、図７のデータ表５で表わされる各種のデジタルデータを得ようと言うものである。このようなデジタルカメラ２０が接続された画像解析処理装置２の複数台がイーサネット３０を介して情報収集管理サーバ３に接続されており、情報収集管理サーバ３には上記データ表５が蓄積されると共に、各種のデジタルデータはスマートフォンＳなどからインターネットＮ越しに閲覧可能となるように情報収集管理サーバ３にて公開される。デジタルカメラ２２およびディスプレイ２３に付いては後述する。

【0028】

上記画像解析処理装置２には、一般的なＰＣに画像解析処理に必要な各種プログラムが図示せぬＣＤ−ＤＶＤドライブを介してＣＤ−ＲＯＭ２１（記録媒体である）からインストールされたものである。すなわち画像解析処理装置２が標準的に備えるハードディスクにはオペレーティングシステムのほか、デジタルカメラ２０を動作させる画像撮影プログラム、このデジタルカメラ２０の画像をデータ化して現在値を取得する画像解析処理プログラム、この解析結果のデジタルデータをイーサネット３０に送信するためのデータ送信プログラムが記録されている。またこのハードディスクには操作盤１０のＣＲＴやメータやランプの各々の基準画像となる画像を記録している比較画像情報記憶部が設けられている。これ等のプログラムをＣＰＵで動作させることで図２で表した画像解析処理装置４が実現される。すなわち画像解析処理装置４は、画像撮影部４０と画像解析処理部４１と比較情報記憶部４２とデータ送信部４３とから成る。ハードディスク上には所要の記憶部を設けることが出来る。なお画像撮影部４４と画像表示部４５とに付いては後述する。

【0029】

さてネットワーク接続機能を持たない旧式の工作機械１の操作盤１０を模式的に表わしたものが図３であるが、ＡはＣＲＴの文字表示エリアであり、Ｂ１〜Ｂ４はランプのＯＮ／ＯＦＦ表示エリアであり、Ｃ１、Ｃ２はメータの指示エリアである。またＤ１は実施例６で説明されるエラー表示ランプのＯＮ／ＯＦＦ表示エリアである。この操作盤１０に対して斜め上方から撮影するための後付けのデジタルカメラ２０を設置しておき、先ずは初期設定として基準画像を撮影して登録したり、エリアとその属性とを設定したりするのであるが、これを図４の処理フローで説明する。デジタルカメラ２０で操作盤１０を撮影して（ステップＳ１）、画像解析処理部４１はこの撮影画像を基準画像として登録し（ステップＳ２）、この撮影画像の内の文字表示エリアＡと、ＯＮ／ＯＦＦ表示エリアＢ１、Ｂ２、Ｂ３、Ｂ４と、メータ指示エリアＣ１、Ｃ２を監視エリアとして設定し（ステップＳ３）、各々の監視エリア毎に属性の設定を行う（ステップＳ４）。この属性の設定とは文字表示エリアＡに付いては文字認識処理を行い、ＯＮ／ＯＦＦ表示エリアＢに付いては明暗の閾値処理を行い、またメータ指示エリアＣに付いては背景除去処理を行うと言うように、取得したい情報の種類を指定することである。なお図３の各表示エリアには、初期設定時ではなく、通常動作時に於ける表示例が模式的に表されている。すなわち文字表示エリアＡではＧコードが、ＯＮ／ＯＦＦ表示エリアではＢ１、Ｂ３に於いてランプが点灯している状態が、メータ指示エリアＣではＣ１、Ｃ２で異なる目盛りを指している状態が表されている。

【0030】

次にこのデータ収集システムでデジタルデータを収集運用する段に付き、図５及び図６を用いて説明する。画像解析処理部４１は、所定の時間に旧式の工作機械１の操作盤１０をデジタルカメラ２０で撮影したデジタル画像を取得し（ステップＳ５）、この画像を登録してある上記基準画像に照らし合わせて、上記撮影画像から監視エリアを切り出して、各々の監視エリアの画像に付き適正なる補正処理を行う（ステップＳ６）。上述したように文字表示エリアＡでは画像の明るさを補正し、メータ指示エリアＣでは背景除去処理を行う。この補正処理に続き各々の監視エリアを解析して各々のデジタルデータを取得する（ステップＳ７）。すなわち文字表示エリアＡに付いては文字認識処理を行い、ＯＮ／ＯＦＦ表示エリアＢでは色（ＨＳＶ）による閾値処理を行い、メータ指示エリアＣに関しては一定長以上の線分を抽出してその傾斜角を計るようにする。この解析処理に続きこれ等のデジタルデータを上記ハードディスクに記録するとともに、イーサネット３０を介して情報収集管理サーバ３にアップロードする（ステップＳ８）。なおステップＳ５はステップＳ４に続くステップを表すものではない。

【0031】

そして情報収集管理サーバ３では、各々の画像解析処理装置２から上記デジタルデータを収集し（ステップＳ９）、これ等を図示せぬデータベースに登録し（ステップＳ１０）、またこれ等を閲覧用データに加工する（ステップＳ１１）。なおこの閲覧用データの一例を図７のデータ表５に示す。種別項は監視エリアＡ、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｃ１、Ｃ２、Ｄ１を指し、名称項は取得したい情報の種類である。認識項は各々の監視エリアに於ける画像解析処理の可否を表示し、状態項には取得したデジタルデータを表示している。これ等はこの画像解析処理装置２の現在値を表しており、このデータ表５は許可された担当者のみに向けて、この実施例ではＷＷＷ公開される。

【実施例2】

【0032】

図８でこの実施例を説明するが、この実施例は図１の監視エリアＡの文字認識処理に関するものである。画像解析処理部４１は、デジタルカメラ２０で撮影した操作盤１０のデジタル画像を取得し（ステップＳ１２）、この撮影画像からＣＲＴエリアすなわち監視エリアＡを切り出して（ステップＳ１３）、このエリアの画像に付き文字認識処理を行って文字データを取得すると共に文字データの形態素解析処理にてキーワードを取得し（ステップＳ１４）、文字データとキーワードとを情報収集管理サーバ３にアップロードする（ステップＳ１５）。文字データやキーワードは後にビッグデータの使用に供されるものである。

【実施例3】

【0033】

図９及び図１０でこの実施例を説明する。この実施例は台形補正処理に関するものである。上述した実施例１では、操作盤１０に対して斜め上方から撮影するための後付けのデジタルカメラ２０を設置していたが、この撮影画像は操作盤１０を真正面から撮影した場合の方形のエリアＡに対して、図９で示すように幾何学歪みとしての台形歪みを生じた撮影画像ａとなっている。従ってこれを方形の画像に補正してから文字認識処理を行うことが望ましい。

【0034】

そこでこの実施例では次のような処理を行う。画像解析処理部４１は、デジタルカメラで撮影した操作盤１０のデジタル画像を取得して（ステップＳ１６）、歪んだ撮影画像の台形補正処理を行い（ステップＳ１７）、この台形補正処理後の画像からＣＲＴエリアすなわち監視エリアＡを切り出し（ステップＳ１８）、この監視エリアＡの文字認識処理を行ってコンピュータで扱い得る文字データを取得する（ステップＳ１９）。なおデジタルカメラ自体に上記補正処理機能を備えるようなデジタルカメラを使用して、このデジタルカメラ内で上記補正処理を行い、その結果を利用して監視エリアの切り出し以降の処理を実行するように設計しても良い。

【実施例4】

【0035】

図１１でこの実施例を説明するが、実施例３での幾何学歪みの処理がコンピュータ内で実行されるのに対して、この実施例では図示せぬモータ駆動の光学レンズを光軸に対して姿勢制御することで幾何学歪みを補正する処理を行う点に特徴を有する。

【0036】

画像解析処理部４１はデジタルカメラで撮影した操作盤１０のデジタル画像を取得し（ステップＳ２０）、この撮影画像を登録してある基準画像に照らし合わせて、撮影画像が歪んでいるか、否かの判定処理を行い（ステップＳ２１）、歪みが許容範囲内であればこの撮影画像からＣＲＴエリアすなわち監視エリアＡを切り出して（ステップＳ２２）、この監視エリアＡの文字認識処理を行い文字データを取得する（ステップＳ２３）。一方歪みが許容範囲外であると判定した場合には、例えば図９で示すように撮影画像ａのような台形歪みを生じている場合には、操作盤１０を真正面から撮影した場合の方形のエリアＡとなるように撮影画像を補正する。この補正処理には、所要の補正量を割り出し、電動モータを作動させて光学レンズの位置を変化させることを行う（ステップＳ２４）。このように光学レンズの姿勢を補正した上で、操作盤１０を撮影してデジタル画像を取得するのである（ステップＳ２０）。なお歪みが許容範囲内に収まるまでは上記ルーチンを繰り返すことになる。

【実施例5】

【0037】

図１２でこの実施例を説明する。この実施例では指針を有する各種メータ類に付いて、目盛りなどの背景を消して指針だけを画像中に残すと言う、メータ指針抽出補正処理を行っている。画像解析処理部４１は、カメラで撮影した操作盤１０のデジタル画像を取得し、メータ指示エリアＣ１及びＣ２を切り出して（ステップＳ２５）、各々一定長以下の線分に付いては目盛りと判断し、これに対して一定長以上の線分を検出してメータ指針と見做す補正処理を行い（ステップＳ２６）、検出したメータ指針の角度データを取得する（ステップＳ２７）。

【実施例6】

【0038】

図１３でこの実施例を説明する。この実施例では、実施例１で上げていた操作盤１０を撮影してデジタル画像を取得するデジタルカメラ２０の他に、工作機械１の異なる部位をデジタルカメラ２０とは異なる位置から撮影して監視画像を取得するデジタルカメラ２２と、この監視画像を表示するディスプレイ２３とを備える。またこの実施例では画像解析処理装置４に、実施例１で上げていた画像撮影部４０と画像解析処理部４１と比較情報記憶部４２とデータ送信部４３との他に、画像撮影部４４と画像表示部４５とを備える。画像撮影部４０はデジタルカメラ２０を制御して上記画像を撮影するが、これに対して画像撮影部４４はデジタルカメラ２２を制御して監視画像を撮影する。なお画像撮影部４０と画像撮影部４４とを一つに纏める設計もあり得る。ハードディスクには所要の記憶部を設けることが出来る。また画像表示部４５はデジタルカメラ２２の監視画像をディスプレイ２３に表示して見せることが出来る。

【0039】

画像解析処理部４１は、デジタルカメラ２０で撮影した操作盤１０のデジタル画像を取得し、登録してある基準画像に照らし合わせて、上記撮影画像から監視エリアを切り出して、各々の監視エリアの画像に付き適正なる補正処理を行った後、所要のデジタルデータを収集する。この内で特にこの実施例で重要な点は、ＯＮ／ＯＦＦ表示エリアＤ１では色（ＨＳＶ）による閾値処理を行い、この解析処理の結果Ｄ１がＯＮになったと言うデジタルデータが得られた場合には、図１３にて表した遡及再生の処理ステップを実行する。ところで上記デジタルカメラ２２は、デジタルカメラ２０とは異なる位置から工作機械の扉（図示せず）を監視していて、監視画像を上記標準的に備えるハードディスクに先入先出の形態で順次記録し消去している。

【0040】

そこで上述したようにＤ１がＯＮになったならば（ステップＳ２８）、これをトリガーとして画像解析処理部４１は、画像撮影部４４がデジタルカメラ２２を制御して撮影しハードディスクに一時的に記録していた扉周りの監視画像に付いてこれをハードディスクから取得し（ステップＳ２９）、上記Ｄ１がＯＮになった時刻から１５秒間遡った過去の時点までの画像を切り出し（ステップＳ３０）、この切り出した画像を画像表示部４５によってディスプレイ２３に表示し得るように、ハードディスクに保存する（ステップＳ３１）。この過去に遡って切り出された監視画像を監視員が目で見ることにより、現場の実際を具に観察し確認することが出来る。なおこの監視画像はイーサネット３０を介して情報収集管理サーバ３にアップロードすることが可能である。なお上述の１５秒間と言う設定は適宜変更し得る。

【実施例7】

【0041】

次に図１４でこの実施例を説明する。Ｄ１がＯＮになったならば（ステップＳ３２）、これをトリガーとして画像解析処理部４１は、ハードディスクに一時的に記録していた扉周りの監視画像を取得し（ステップＳ３３）、Ｄ１がＯＮになった時刻から１５秒間だけ遡った時点までの画像を切り出し（ステップＳ３４）、この切り出した画像は１秒間に付き３０フレームで構成されている所、１秒間に１フレームとなるように、１５秒間の画像から各秒毎に１フレームを取り出し、すなわち各秒毎にこの１フレームに続く残りの２９フレームを間引いて、全体を３０分の１の１５フレームに減数して（ステップＳ３５）、この減数した画像を画像表示部４５によってディスプレイ２３に表示し得るようにハードディスクに記録する（ステップＳ３６）。この過去に遡って切り出された監視画像の再生は、いわゆるパラパラ漫画を見るようであるが、エラーの原因を確認するには十分である場合が多いことが分かっている。

【産業上の利用可能性】

【0042】

この発明は、例えばオペレータがホワイトボードに手書きで書き込む時々刻々と変化するデータをコンピュータに取り込むべく、上記撮影対象をホワイトボードにするなどの利用も可能である。また工場内を移動可能に設計されたロボットなどのカメラに付いて適用することも可能である。一般家庭でもこの発明を利用する可能性がある。これ等もまたこの発明の権利範囲内にある。

【符号の説明】

【0043】

１：工作機械
１０：操作盤
２：画像解析処理装置
２０：デジタルカメラ
２１：ＣＤ―ＲＯＭ
２２：デジタルカメラ
２３：ディスプレイ
３：情報収集管理サーバ
３０：イーサネット
４：画像解析処理装置
４０：画像撮影部
４１：画像解析処理部
４２：比較情報記憶部
４３：データ送信部
４４：画像撮影部
４５：画像表示部
５：データ表

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】