特許 6768572 画像処理システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6768572

(24)【登録日】2020年9月25日

(45)【発行日】2020年10月14日

(54)【発明の名称】画像処理システム及び画像処理方法

(51)【国際特許分類】

   H04N 5/77 20060101AFI20201005BHJP

   G06Q 50/04 20120101ALI20201005BHJP

   G01N 21/89 20060101ALI20201005BHJP

   G06T 1/00 20060101ALI20201005BHJP

【ＦＩ】

   H04N5/77

   G06Q50/04

   G01N21/89 Z

   G06T1/00 300

【請求項の数】12

【全頁数】27

(21)【出願番号】特願2017-57451(P2017-57451)

(22)【出願日】2017年3月23日

(65)【公開番号】特開2018-160820(P2018-160820A)

(43)【公開日】2018年10月11日

【審査請求日】2020年1月14日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100189913

【弁理士】

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】明井 正治

【審査官】 松元 伸次

(56)【参考文献】

【文献】 国際公開第２０１０／０３２５６２（ＷＯ，Ａ１）

【文献】 国際公開第０１／０３８８６０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ２１／８４−２１／９５８

Ｇ０６Ｆ１９／００

Ｇ０６Ｑ１０／００−１０／１０

３０／００−３０／０８

５０／００−５０／２０

５０／２６−９９／００

Ｇ０６Ｔ１／００−１／４０

３／００−９／４０

Ｈ０１Ｌ２１／６４−２１／６６

Ｈ０４Ｎ５／７６−５／７７５

５／８０−５／９０７

(57)【特許請求の範囲】

【請求項1】

製品を含む対象物の撮影を行う機能を有する少なくとも１つの撮影器と、前記撮影器が生成した画像情報を取得して保存する機能を有する処理器と、から構成される画像処理システムにおいて、
前記撮影器は、
撮影した撮影画像を画像処理することによって当該撮影画像よりも容量の小さい情報である前記製品の状態を表す製品の状態情報を生成して前記処理器に送出するとともに、前記撮影画像を含む画像情報を所定の記録媒体に記録する処理を行う手段と、前記処理器から製品の品質評価への影響度を示す状態指標を受領し、受領した状態指標に基づいて前記所定の記録媒体に記録されている無意な画像情報を選択して削除する処理を行う手段とを備え、
前記処理器は、
前記撮影器から製品の状態情報を受領し、受領した状態情報に基づいて前記状態指標を生成して前記撮影器に送出する手段と、前記撮影器から前記所定の記録媒体に記録されている画像情報を取得して別の記録媒体に記録する手段とを備えている、
画像処理システム。

【請求項2】

前記撮影器は、
受領した状態指標に基づいて前記所定の記録媒体に記録されている有意な画像情報を選択して前記処理器に送出する手段を備えている、
請求項１に記載の画像処理システム。

【請求項3】

前記撮影器は、所定の検知に応じて、前記所定の記録媒体に記録されている画像情報のケーブルへの出力又は別の記録媒体への書き出しを行う手段を備えている、
請求項１に記載の画像処理システム。

【請求項4】

各画像情報は、撮影画像本体を含むほか、撮影日時を示す情報、撮影位置を示す情報、撮影時に用いられた撮影パラメータを示す情報、状態情報の識別子を示す情報を含む、
請求項１乃至３のいずれか１項に記載の画像処理システム。

【請求項5】

前記処理器は、前記撮影器から取得して記録媒体に記録した画像情報を、製品の品質評価に使用される情報として外部に出力する手段を備えている、
請求項１乃至４のいずれか１項に記載の画像処理システム。

【請求項6】

前記処理器は、前記撮影器から取得した画像情報を、対応する状態情報及び状態指標と共に、関連付けした状態で記録媒体に記録する手段を備えている、
請求項１乃至５のいずれか１項に記載の画像処理システム。

【請求項7】

前記撮影器は、前記所定の記録媒体の保存容量が一定値を超えた場合に、前記所定の記録媒体に記録されている画像情報を古いものから優先的に削除する手段を備えている、
請求項１乃至６のいずれか１項に記載の画像処理システム。

【請求項8】

前記撮影器は、前記所定の記録媒体の保存容量が一定値を超えた場合に、前記所定の記録媒体に記録されている画像情報を撮影日時が古く且つより無意に近いものから優先的に削除する手段を備えている、
請求項１乃至７のいずれか１項に記載の画像処理システム。

【請求項9】

前記撮影器は、
前記処理器に送出する状態情報として、前記撮影画像から得られる二値化画像、エッジ検出結果、参照画像との差分画像のいずれか一つ又は複数の組み合わせを適用する手段を備えている、
請求項１乃至８のいずれか１項に記載の画像処理システム。

【請求項10】

前記撮影器は、
前記処理器に送出する状態情報として、予め決められた図形要素の有無、予め決められた位置からの製品の傾き、ズレの検出結果のいずれか一つ又は複数の組み合わせを適用する手段を備えている、
請求項１乃至８のいずれか１項に記載の画像処理システム。

【請求項11】

前記撮影器は、
前記処理器に送出する状態情報として、撮影範囲の予め決められた単一又は複数の領域内への物体の侵入検知結果、予め決められた製品の移動経路又は所定位置からのズレ量、区分された領域の通過位置の情報のいずれか一つ又は複数の組み合わせを適用する手段を備えている、
請求項１乃至８のいずれか１項に記載の画像処理システム。

【請求項12】

製品を含む対象物の撮影を行う機能を有する少なくとも１つの撮影器と、前記撮影器が生成した画像情報を取得して保存する機能を有する処理器と、から構成される画像処理システムに適用される画像処理方法であって、
前記撮影器により、撮影した撮影画像を画像処理することによって当該撮影画像よりも容量の小さい情報である前記製品の状態を表す製品の状態情報を生成して前記処理器に送出するとともに、前記撮影画像を含む画像情報を所定の記録媒体に記録する処理を行い、
前記処理器により、前記撮影器から製品の状態情報を受領し、受領した状態情報に基づいて製品の品質評価への影響度を示す状態指標を生成して前記撮影器に送出し、
前記撮影器により、前記処理器から前記状態指標を受領し、受領した状態指標に基づいて前記所定の記録媒体に記録されている無意な画像情報を選択して削除する処理を行い、
前記処理器により、前記撮影器から前記所定の記録媒体に記録されている画像情報を取得して別の記録媒体に記録する、
ことを含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理システム及び画像処理方法に関する。

【背景技術】

【0002】

撮影した動画／静止画から、製品等の対象物の品質判定に用いる情報を収集するシステムが知られている。例えば、撮影を行う撮影器から外部への通信には、撮影された画像を用い、それにつながる処理器により品質判定を実施するものがある。また、記録として残すための画像情報を、画像を撮影する機器から、独立した通信経路により記録器に出力させるものがある。また、通信量削減及び記録量削減を目的として、データを圧縮する技術を利用したものがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第０１／０３８８６０号パンフレット

【特許文献2】国際公開第０２／０２３４８０号パンフレット

【特許文献3】国際公開第２０１０／０３２５６２号パンフレット

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、品質判定を実施するまで、動画／静止画の破棄を行わないため、品質判定を行わずに情報を収集する場合、撮影器と外部につながる処理器との間において連続的に取得される動画／静止画を送受信するための通信量、及び処理器における情報の記録量が、非常に大きなものとなる。これにより、ハードウェアに対する性能要求が高くなり、機器の小型化、調達のコストに影響を与えることになる。

【0005】

また、最終製品の品質判定結果との関連性の検証においては、蓄積された膨大な動画／静止画を処理対象とするため、作業員の作業又は計算機上のソフトウェアによる処理において、多大な時間を要するものとなり、品質改善に至るまでに長時間を必要とする結果となる。

【0006】

発明が解決しようとする課題は、情報の通信量や記録量を低減することが可能な画像処理システム及び画像処理方法を提供することにある。

【課題を解決するための手段】

【0007】

実施形態の画像処理システムは、製品を含む対象物の撮影を行う機能を有する少なくとも１つの撮影器と、前記撮影器が生成した画像情報を取得して保存する機能を有する処理器と、から構成される画像処理システムにおいて、前記撮影器は、撮影した撮影画像を画像処理することによって当該撮影画像よりも容量の小さい情報である前記製品の状態を表す製品の状態情報を生成して前記処理器に送出するとともに、前記撮影画像を含む画像情報を所定の記録媒体に記録する処理を行う手段と、前記処理器から製品の品質評価への影響度を示す状態指標を受領し、受領した状態指標に基づいて前記所定の記録媒体に記録されている無意な画像情報を選択して削除する処理を行う手段とを備え、前記処理器は、前記撮影器から製品の状態情報を受領し、受領した状態情報に基づいて前記状態指標を生成して前記撮影器に送出する手段と、前記撮影器から前記所定の記録媒体に記録されている画像情報を取得して別の記録媒体に記録する手段とを備えている。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る画像処理システムが適用される利用シーンの一例を示す図。

【図2】同実施形態に係る画像処理システムの機能構成の一例を示す図。

【図3】同実施形態に係る画像処理システムの変形例を示す図。

【図4】図形要素の有無、傾き、ずれの検知を説明するための図。

【図5】領域内の侵入、移動経路からのずれ、位置ずれ、通過位置の情報を説明するための図。

【図6】状態情報、状態指標、画像情報のデータ構造の例を示す表。

【図7】画像処理システム全体の動作を示すフローチャート。

【図8】画像処理部１２の動作を示すフローチャート。

【図9】画像状態指標生成処理部２１の動作の一例を示すフローチャート。

【図10】画像情報選択処理部１４の動作を示すフローチャート。

【図11】画像情報送出処理部１５の動作を示すフローチャート。

【図12】画像取得処理部２２の動作を示すフローチャート。

【図13】画像情報生成処理部１３の動作を示すフローチャート。

【図14A】一時記録処理部１６の動作の一部（画像処理部１２からの入力の処理）を示すフローチャート。

【図14B】一時記録処理部１６の動作の一部（画像情報選択処理部１４からの入力の処理）を示すフローチャート。

【図14C】一時記録処理部１６の動作の一部（画像情報送出処理部１５からの入力の処理）を示すフローチャート。

【図14D】一時記録処理部１６の動作の一部（適切なタイミングにおける空き容量確保の処理）を示すフローチャート。

【図14E】一時記録処理部１６の動作の一部（空き容量確保の処理のサブフロー）を示すフローチャート。

【図15】図３の構成による画像処理システム全体の動作を示すフローチャート。

【図16】画像情報読み出し処理部１７の動作を示すフローチャート。

【図17】第１の実施例における利用シーンを示す図。

【図18】製品の傾きを説明するための図。

【図19】４Ｋビデオを保存する場合と第１の実施例を適用した場合の通信量／記録量の比較を示す表。

【図20】状態指標値の生成の動作の一例を示すフローチャート。

【図21】状態指標値の生成の動作の別の例を示すフローチャート。

【図22A】処理器における閾値設定用画面の一部分を示す図。

【図22B】処理器における閾値設定用画面の一部分を示す図。

【図23】第２の実施例における利用シーンを示す図。

【図24】第３の実施例における利用シーンを示す図。

【図25】第３の実施例における関連性検証の動作を示すフローチャート。

【図26】第３の実施例における関連性検証の表示の例を示す図。

【発明を実施するための形態】

【0009】

以下、実施形態について図面を用いて説明する。
（実施形態の概要）
本実施形態では、動画／静止画撮影器において、製品を含む対象物を撮影して得られる動画／静止画よりも通信量がはるかに小さくなる“製品の状態情報”（製品の状態を表す情報）を生成し、これを処理器へ送信することで、通信量を削減するとともに、処理器において、後の詳細な検証及び品質判定結果との関連性検証の実施のために、“状態指標”（製品の品質評価への影響度を示す情報）を生成し、これに基づいて、品質上の問題を含んでいる可能性のある動画／静止画情報を限定的に取得・記録することで、通信量／記録量の削減を実現する。これにより１つのみならず多数の動画／静止画撮影器から構成されるシステムにおいても大幅な通信量削減及び記録量削減を達成し、コスト的に優位なシステムを実現する。

【0010】

また、品質判定結果との関連性検証において、逐次得られる製品の状態情報と、品質上の問題を含んでいる可能性のある動画／静止画の部分を含む画像情報を、対象とすることで、記録量を削減し、最終的な製品の品質判定結果との関連性検証に要する時間の削減を可能にする。

【0011】

また、記録容量に制限がある動画／静止画撮影器による撮影を行うに際し、環境条件などに起因する観測時間の制限、不十分な通信回線容量などにより、撮影された動画／静止画の取得が、観測終了後等の特定のタイミングに制限される場合でも、状態情報を用いて重要度の高い動画／静止画情報を優先的に取得・記録することが可能となるシステムを実現する。

【0012】

（画像処理システムの利用シーン）
図１は、実施形態に係る画像処理システムが適用される利用シーンの一例を示す図である。

【0013】

ここでは利用シーンとして、複数の作業ステップからなる製造ライン上を製品等が連続的に移動して加工される場合を例示する。なお、その具体的な実施例については後で詳述することとし、ここではその概要について簡単に説明する。

【0014】

本実施形態に係る画像処理システムは、少なくとも１つの動画／静止画撮影器１０及び処理器２０を含む。各動画／静止画撮影器１０は、製品等を含む対象物を撮影して画像情報を生成するものであり、処理器２０は、各動画／静止画撮影器１０が生成した画像情報を取得して保存するものである。

【0015】

図１に示す利用シーンでは、製造ライン上を連続的に移動して加工され製造される製品等について、稀に発生する予測困難な品質上の問題に対処するため、品質判定に必要となる情報の取得を目的として、製造ラインに沿って複数の動画／静止画撮影器１０（動画／静止画撮影器（Ａ）〜（Ｄ））を設置するとともに、品質上の問題に関連する可能性のある製品状態の検証のために使用する動画／静止画を取得・記録する処理器２０が設置される。

【0016】

なお、この利用シーンでは、更に、処理器２０で得られた画像情報や他の手段で収集された情報と、製品の最終的な品質判定の結果との関連性をオフライン処理により検証し、観測対象／改善対象を明確にしたのちに、品質改善を行う処理があることを想定しているが、これら処理は本実施形態に係る画像処理システムの範囲外とする。

【0017】

（画像処理システムの構成と動作）
図２は、本実施形態に係る画像処理システムの機能構成の一例を示す図である。
ここでは、説明を簡単にするため、１つの動画／静止画撮影器１０と処理器２０とが図示されている。勿論、動画／静止画撮影器１０が複数の場合においても、動画／静止画撮影器１０と処理器２０との関係は同一である。なお、図２の点線内の要素は、本実施形態に係る画像処理システムの範囲外である。

【0018】

動画／静止画撮影器１０は、カメラ１１で撮影して得られる動画もしくは静止画（以下、撮影画像）を画像処理部１２により画像処理することによって当該撮影画像よりも容量の小さい情報である製品の状態情報を生成し、この製品の状態情報を処理器２０に送出するとともに、前記撮影画像と前記状態情報の識別子とを含む画像情報を画像情報生成処理部１３により生成し、生成した画像情報を一時記録処理部１６により所定の記録媒体（例えば、動画／静止画撮影器１０に備えられる記録媒体）に記録する処理を行う機能を有する。なお、カメラ１１は、動画／静止画撮影器１０の構成に含めずに外付けの構成としてもよい。

【0019】

また、動画／静止画撮影器１０は、処理器２０から製品の品質評価への影響度を示す状態指標を受領し、画像情報選択処理部１４により前記受領した状態指標に基づいて前記所定の記録媒体に記録されている各画像情報について無意か有意かの判定を行い、無意な画像情報についてはその削除を一時記録処理部１６に要求（画像情報削除要求）して削除を実施し、一方、有意な画像情報についてはその状態指標を画像情報送出処理部１５に通知する機能を備えている。

【0020】

また、動画／静止画撮影器１０は、画像情報送出処理部１５により、画像情報選択処理部１４から通知された状態指標を用いて、一時記録処理部１６から該当する画像情報を選択し、処理器２０へ送出する機能を備えている。

【0021】

また、動画／静止画撮影器１０は、画像情報送出処理部１５により、処理器２０への画像情報の送出が完了した場合には、該当する画像情報の削除を一時記録処理部１６に要求（画像情報削除要求）して削除を実施する機能を備えている。

【0022】

一方、処理器２０は、動画／静止画撮影器１０から製品の状態情報を受領し、受領した状態情報に基づいて前記状態指標を生成して各動画／静止画撮影器１０に送出する機能を備えている。

【0023】

更に、処理器２０は、動画／静止画撮影器１０から、前記所定の記録媒体に記録されている画像情報を動画／静止画撮影器１０との通信などにより取得し、別の記録媒体（例えば動画／静止画撮影器１０に備えられる記録媒体）に記録する機能を備えている。

【0024】

なお、処理器２０により保存された画像情報（動画／静止画、状態情報など）は、検査装置等からの製品の品質判定結果との関連性検証のために、別の処理器３０内の関連性検証処理部３１に入力され使用されることになる。この関連性検証の結果から、観測対象／改善対象が明確にされ、品質改善が実施されることとなる。

【0025】

また、各画像情報は、撮影画像本体を含むほか、撮影日時を示す情報、撮影位置を示す情報、撮影時に用いられた撮影パラメータを示す情報、状態情報の識別子を示す情報を含むものであってもよい。

【0026】

また、動画／静止画撮影器１０は、受領した状態指標に基づいて前記所定の記録媒体に記録されている有意な画像情報を選択して処理器２０に送出する機能を備えている。

【0027】

また、動画／静止画撮影器１０は、所定の検知に応じて、前記所定の記録媒体に記録されている画像情報の処理器２０につながるケーブル等への出力（又は別の記録媒体への書き出し）を行う機能を備えている。

【0028】

また、処理器２０は、動画／静止画撮影器１０から取得して記録媒体に記録した画像情報を、製品の品質評価に使用される情報として外部に出力する機能を備えている、
また、処理器２０は、動画／静止画撮影器１０から取得した画像情報を、対応する状態情報及び状態指標と共に、関連付けした状態で記録媒体に記録する機能を備えている。

【0029】

また、動画／静止画撮影器１０は、前記所定の記録媒体の保存容量が一定値を超えた場合に、前記所定の記録媒体に記録されている画像情報を古いものから優先的に削除する機能を備えている。

【0030】

また、動画／静止画撮影器１０は、前記所定の記録媒体の保存容量が一定値を超えた場合に、前記所定の記録媒体に記録されている画像情報を撮影日時が古く且つより無意に近いものから優先的に削除する機能を備えている。

【0031】

また、動画／静止画撮影器１０は、処理器２０に送出する状態情報として、前記撮影画像から得られる二値化画像、エッジ検出結果、参照画像との差分画像のいずれか一つ又は複数の組み合わせを適用する機能を備えている。

【0032】

また、動画／静止画撮影器１０は、処理器２０に送出する状態情報として、予め決められた図形要素の有無、予め決められた位置からの製品の傾き、ズレの検出結果のいずれか一つ又は複数の組み合わせを適用する機能を備えている。

【0033】

また、動画／静止画撮影器１０は、処理器２０に送出する状態情報として、撮影範囲の予め決められた単一又は複数の領域内への物体の侵入検知結果、予め決められた製品の移動経路又は所定位置からのズレ量、区分された領域の通過位置の情報のいずれか一つ又は複数の組み合わせを適用する機能を備えている。

【0034】

なお、動画／静止画撮影器１０から処理器２０への通信回線が画像情報の送出に適さない場合は、図１の構成の代わりに図３のような構成を採用し、画像送出処理部１５による画像情報の処理器２０への送出を行わずに、動画／静止画撮影器１０の記録内容を、画像情報読み出し処理部１７により、別途高速無線環境、有線接続を利用した高速通信、又は記録メディアを利用して読み出すようにしてもよい。

【0035】

（画像処理部１２が生成する情報）
図４及び図５は、画像処理部１２で行われる画像処理の一部を説明するための図である。以下では、この画像処理から得られる処理結果を「状態情報本体」と呼ぶ。

【0036】

画像処理部１２は、入力された撮影画像に対して画像処理を実施することにより、二値化画像、エッジ検出結果、参照画像との差分画像等の処理後画像を生成する機能を有する。

【0037】

また、画像処理部１２は、入力された撮影画像に対して画像処理を実施することにより、図４（ａ）〜（ｄ）示すような要素解析結果を生成する機能を有する。図４（ａ）は図面要素の欠落Ｐの検知を示している。図４（ｂ）は図形要素の不要要素Ｐの検知を示している。図４（ｃ）は図形要素の傾きＰの検知を示している。図４（ｄ）は図形要素のズレＰの検知を示している。

【0038】

また、画像処理部１２は、入力された撮影画像に対して画像処理を実施することにより、図５（ａ）〜（ｄ）示すような要素解析結果を生成する機能を有する。図５（ａ）は製品の所定の領域内への侵入部分Ｐの検知を示している。図５（ｂ）は所定の移動経路からのズレｄＹ（Ｙ軸方向のズレ量）の検知を示している。図５（ｃ）は所定の位置からのズレｄＸ（Ｘ軸方向のズレ量）及びズレｄＹ（Ｙ軸方向のズレ量）の検知を示している。図５（ｄ）は区分された通過位置の情報（各通過位置を通過する製品の数などの情報）を示している。

【0039】

更に、画像処理部１２は、このようにして生成した「状態情報本体」に対して一意となる状態情報の識別子である「状態識別子」、及び対象となる撮影画像の識別子である「撮影画像識別子」を生成し、それらを含む製品の「状態情報」を生成する機能を有する。「状態情報」のデータ構造を図６（ａ）の表に示す。

【0040】

（画像状態指標生成処理部２１が生成する情報）
画像状態指標生成処理部２１は、通信回線経由で受信した状態情報中の状態情報本体を入力として、「状態指標値」を算出する機能を有する。「状態指標値」は、撮影された画像の品質評価への影響度を数値化したものであり、例えば大きな数字ほど有意なものであり、小さな数字ほど無意なものでることを意味する。数値化の手法については、対象とする製品の形状／材質及び品質判定方法等に依存するものであり、本実施形態の範囲外とし、一部の例を後述する実施例に示す。

【0041】

画像状態指標生成処理部２１は、このようにして生成した「状態指標値」と、前述した状態情報に含まれる「状態識別子」と「撮影画像識別子」とを含む、「状態指標」を生成する。「状態指標」のデータ構造を図６（ｂ）の表に示す。

【0042】

（画像情報生成処理部１３が生成する情報）
画像情報生成処理部１３は、カメラ１１から入力される撮影画像及び画像処理部１２から入力される状態識別子に基づき、入力された撮影画像の内で、画像処理部１２において製品の状態情報を生成するために用いられた画像を画像単位でまとめた「撮影画像本体」のほか、撮影した「撮影日時」などの画像処理部１２の画像処理内容を示す各種情報や、画像処理部１２から入力する「状態識別子」や「撮影画像識別子」を含む、「画像情報」を生成し、一時記録処理部１６に出力する。また、日時情報に加えて、別手段により得られた位置情報や、絞り／シャッタースピード等の「撮影パラメータ」を「画像情報」に含めてもよいし、状態識別子に対応する状態情報を「画像情報」に含めてもよい。「画像情報」のデータ構造を図６（ｃ）の表に示す。

【0043】

（システム全体の動作）
次に、図７を参照して、画像処理システムの全体の動作を説明する。

【0044】

動画／静止画撮影器１０は、カメラ１１で撮影して得られた撮影画像を画像処理部１２により画像処理することによって当該撮影画像よりも容量の小さい情報である製品の状態情報を生成し、この製品の状態情報を処理器２０に送出する（Ｓ１１）。

【0045】

すると、処理器２０は、動画／静止画撮影器１０から状態情報を受領し、受領した状態情報に基づいて前記状態指標を生成して各動画／静止画撮影器１０に送出する（Ｓ１２）。

【0046】

動画／静止画撮影器１０は、処理器２０から状態指標を受領し、画像情報選択処理部１４により状態指標に基づいて前記所定の記録媒体に記録されている該当する画像情報について無意か有意かの判定を行う（Ｓ１３）。

【0047】

その一方で、動画／静止画撮影器１０は、カメラ１１で撮影して得られた撮影画像と、状態情報の識別子（状態識別子）とを含む画像情報を、画像情報生成処理部１３により生成し（Ｓ１４）、生成した画像情報を一時記録処理部１６により所定の記録媒体（例えば、動画／静止画撮影器１０に備えられる記録媒体）に記録する（Ｓ１５）。

【0048】

ステップＳ１６での判定結果が有意を示す場合（Ｓ１６のＹＥＳ）、動画／静止画撮影器１０は、前記所定の記録媒体に記録されている該当する画像情報を画像情報送出処理部１５によって処理器２０への送出する（Ｓ１７）。すると、処理器２０は、画像取得処理部２２によって動画／静止画撮影器１０からの画像情報を受領し、受領した画像情報を別の記録媒体（例えば動画／静止画撮影器１０に備えられる記録媒体）に記録する（Ｓ１８）。

【0049】

一方、ステップＳ１６での判定結果が無意を示す場合（Ｓ１６のＮＯ）、動画／静止画撮影器１０は、ステップＳ１７及びＳ１８の処理は行わず、一時記録処理部１６により前記所定の記録媒体に記録されている該当する画像情報を削除する（Ｓ１９）。

【0050】

この後も上述した処理を継続して行う場合（Ｓ２０のＹＥＳ）、当該処理を繰り返す。一方、処理を継続して行う必要がなければ（Ｓ２０のＮＯ）、全ての処理を終了する。

【0051】

画像処理部１２の処理フローを図８に示す。

【0052】

画像処理部１２は、入力される撮影画像から続く処理に合わせて必要な画像の切り出しを行い（Ｓ２１）、使用した撮影画像の情報を出力する。例えば、画像処理部１２は、撮影画像に対し、例えば以下の３つのいずれか一つ又は複数を生成する処理を行い（Ｓ２２、Ｓ２３Ａ〜Ｓ２３Ｃ）、入力となる動画／静止画より、処理後の結果の容量が削減されたものにする。なお、容量が削減されるものであれば、処理内容は以下に限定されない。

【0053】

・撮影画像から得られる二値化画像、エッジ検出結果、参照画像との差分画像等の処理後画像のいずれか一つ又は複数の組み合わせ（Ｓ２３Ａ）
・撮影画像の要素解析結果として、予め決められた図形要素の有無、予め決められた位置からの製品の傾き、ズレの検出結果（図４参照）のいずれか一つ又は複数の組み合わせ（Ｓ２３Ｂ）
・撮影範囲の予め決められた単一又は複数の領域内への物体の侵入検知結果、予め決められた製品の移動経路又は所定位置からのズレ量、区分された領域の通過位置の情報（図５参照）のいずれか一つ又は複数の組み合わせ（Ｓ２３Ｃ）
また、画像処理部１２は、状態情報の識別子（状態識別子）及び撮影画像の識別子（撮影画像識別子）を生成し（Ｓ２４、Ｓ２５）、それらを含む状態情報を生成する（Ｓ２６）。

【0054】

画像処理部１２は生成した状態情報の識別子（状態識別子）及び撮影画像の識別子（撮影画像識別子）を画像情報生成処理部１３に送出するとともに（Ｓ２７）、生成した状態情報を通信回線経由で処理器２０へ送出する（Ｓ２８）。

【0055】

このように、動画／静止画撮影器１０は、撮影画像に比べて容量の削減された状態情報を、処理器２０に対して送出することで、通信回線を経由して出力される通信量を削減する。これにより、通信回線にかかるコストを低減することができる。

【0056】

画像状態指標生成処理部２１の処理フローを図９に示す。

【0057】

画像状態指標生成処理部２１は、通信回線経由で受信した状態情報中の状態情報本体を入力として状態指標値を算出する（Ｓ３１、Ｓ３２）。

【0058】

また、画像状態指標生成処理部２１は、算出した状態指標値と、上記状態情報に含まれていた識別子（状態識別子）と撮影画像の識別子（撮影画像識別子）とを含む、状態指標を生成し（Ｓ３３）、通信回線を経由して動画／静止画撮影器１０に送出する（Ｓ３４）。

【0059】

画像情報選択処理部１４の処理フローを図１０に示す。

【0060】

画像情報選択処理部１４は、処理器２０からの状態指標を入力し（Ｓ４１）、入力した状態指標の状態指標値と、予め設定された判定基準とを比較し（Ｓ４２）、有意と判定したものについて（Ｓ４２のＹＥＳ）、画像情報送出処理部１５へ状態指標を出力する（Ｓ４３）。無意と判定したものについては（Ｓ４２のＮＯ）、状態指標中の撮影画像識別子を用いて、一時記録処理部１６に対し、画像情報の削除を要求する（Ｓ４４）。

【0061】

なお、判定基準は、例えば動画／静止画撮影器１０に備えられるスイッチの操作又は処理器２０からの遠隔操作により設定されるものとし、複数台の動画／静止画撮影器１０が存在する場合、照明状態やカメラアングル等の個別の設置環境に合わせて調整が行われる。

【0062】

動画／静止画撮影器１０は、状態指標を用いて無意と判定した画像情報を記録から削除することで、動画／静止画撮影器１０に要求される記録量を削減することができる。これにより、動画／静止画撮影器１０に対するハードウェアへの要求を低減し、低コスト及び小型化を実現することが可能となる。

【0063】

画像情報送出処理部１５の処理フローを図１１に示す。

【0064】

画像情報送出処理部１５は、画像情報選択処理部１４からの状態指標を入力すると（Ｓ５１）、入力した状態指標から撮影画像識別子を取り出し（Ｓ５２）、その撮影画像識別子を用いて、一時記録処理部１６から該当する画像情報を取得し（Ｓ５３）、処理器２０へ送出する（Ｓ５４）。

【0065】

次いで、画像情報送出処理部１５は、処理器２０からの受信確認応答の有無を確認する（Ｓ５５）。処理器２０からの受信確認応答が未受領の場合は（Ｓ５６のＮＯ）、画像情報送出処理部１５は、状態指標とともに画像情報一時保存要求を一時記録処理部１６に出力することにより（Ｓ５７）、画像情報の送信に失敗した場合も、可能な限り、後にデータの取り出しを行える状態にしておく。一方、処理器２０からの受信確認応答を受領し、処理器２０への送出が完了した場合は（Ｓ５６のＹＥＳ）、画像情報送出処理部１５は、該当する画像情報を状態指標とともに削除する画像情報削除要求を一時記録処理部１６に出力する（Ｓ５８）。

【0066】

このように、動画／静止画撮影器１０が、全ての撮影画像の内から選択された一部を、処理器２０に対して送出する。これにより、通信回線を経由して出力される通信量を削減することが可能となる。

【0067】

画像取得処理部２２の処理フローを図１２に示す。

【0068】

画像取得処理部２２は、通信回線経由で画像情報を受信すると（Ｓ６１）、受信した画像情報を、記録処理部２３に出力する（Ｓ６２）。
記録処理部２３は、画像取得処理部２２の画像情報を入力すると、入力した画像情報を記録する。ここで記録された画像情報は、別手段で得られる品質判定結果との関連性の検証を実施するために用いられる。

【0069】

記録処理部２３において記録された画像情報は、無意と判定されたものを含まず、記録量が削減されたものとなっており、処理器２０における情報の記録量の削減及び、後の関連性検証処理部３１における関連性検証の処理時間の削減を実現する。これにより、処理器２０に対するハードウェアへの要求を低減することができ、低コスト及び小型化を実現することが可能となる。

【0070】

画像情報生成処理部１３の処理フローを図１３に示す。

【0071】

画像情報生成処理部１３は、画像処理部１２から動画／静止画を入力し（Ｓ７１）、画像の切り出しを行うとともに（Ｓ７２）、画像処理部１２から状態情報の識別子（状態識別子）及び撮影画像の識別子（撮影画像識別子）を入力し、それらを含む画像情報を生成して（Ｓ７３）、一時記録処理部１６に出力する（Ｓ７４）。

【0072】

一時記録処理部１６の処理フローを図１４Ａ〜図１４Ｅに示す。

【0073】

図１４Ａは、画像処理部１２からの入力の処理の処理フローを示すものである。
図１４Ａに示すように、一時記録処理部１６は、画像情報生成処理部１３から入力される画像情報を受領すると（Ｓ８１）、画像情報を記録するための空き容量を確認し（Ｓ８２）、空き容量を記録媒体上に確保した上で（Ｓ８３）、画像情報の記録を行う（Ｓ８４）。

【0074】

図１４Ｂは、画像情報選択処理部１４からの入力の処理の処理フローを示すものである。
図１４Ｂに示すように、一時記録処理部１６は、画像情報選択処理部１４から無意と判定された画像情報の削除要求を入力すると（Ｓ９１）、対応する状態指標に含まれる撮影画像識別子を用いて、該当する画像情報の削除を行う（Ｓ９２）。

【0075】

図１４Ｃは、画像情報送出処理部１５からの入力の処理の処理フローを示すものである。
図１４Ｃに示すように、一時記録処理部１６は、画像情報送出処理部１５から要求を入力すると（Ｓ１０１）、その要求が画像情報の削除要求であるか一時保持要求であるかを判定する（Ｓ１０２）。

【0076】

一時記録処理部１６は、画像情報削除要求に対しては、その要求に含まれる状態指標中の撮影画像識別子を用いて、該当する画像情報の削除を行う（Ｓ１０３）。一方、画像情報一時保存要求に対しては、該当する画像情報の保存を維持し（Ｓ１０４）、入力される状態指標を保持することで、通信以外の手段による画像情報の取り出しに備える。

【0077】

図１４Ｄは、適切なタイミングにおける空き容量確保の処理の処理フローを示すものである。
図１４Ｄに示すように、一時記録処理部１６は、適切なタイミングで、又は画像情報生成処理部１３から画像情報が入力された際に、画像情報を記録するための空き容量を確保するための処理を実施し（Ｓ１１１）、必要に応じて同じ処理を繰り返す。

【0078】

図１４Ｅは、図１４Ｄ中の空き容量確保の処理のサブフローを示すものである。
図１４Ｅに示すように、一時記録処理部１６は、画像情報を記録するための空き容量を確認する（Ｓ１２１）。

【0079】

一時記録処理部１６は、あらかじめ設定された空き容量の下限値を用いて、空き容量の判定を行う（Ｓ１２２）。空き容量が下限値以上であれば特に処理は行わないが、空き容量が下限値未満又は新たな画像情報の記録に不十分な場合は、記録済みの画像情報を確認の上（Ｓ１２３）、一時保存要求対象となっている画像情報の撮影日時が古いもの順に、空き容量が空き容量下限値を超えるまで削除を繰り返す（Ｓ１２４）。

【0080】

一時記録処理部１６は、再度、画像情報を記録するための空き容量を確認し（Ｓ１２５）、あらかじめ設定された空き容量の下限値を用いて、空き容量の判定を行う（Ｓ１２６）。空き容量が下限値以上であれば特に処理は行わないが、空き容量が下限値未満又は新たな画像情報の記録に不十分な場合は、一時保存要求対象となっている画像情報の撮影日時が古いもの順、且つ状態指標に含まれる状態指標値が小さいもの順に、空き容量が空き容量下限値を超えるまで削除を繰り返す（Ｓ１２７）。

【0081】

これにより、動画／静止画撮影器１０における情報の記録量を少なくし、ハードウェアに対する要求を低減することができ、低コスト及び小型化を実現できるとともに、画像情報送出処理部１５において処理器２０との通信失敗時等の処理器２０からの受信確認応答が未確認の場合でも、可能な限り画像情報を入手することができる。

【0082】

図３の構成による画像処理システム全体の処理フローを図１５に示す。

【0083】

前述したように、動画／静止画撮影器１０から処理器２０への通信回線が画像情報の送出に適さない場合は、図１の構成の代わりに図３のような構成を採用し、画像送出処理部１５による画像情報の処理器２０への送出を行わずに、動画／静止画撮影器１０の記録内容を、画像情報読み出し処理部１７により、別途高速無線環境、有線接続を利用した高速通信、又は記録メディアを利用して読み出すようにしてもよい。

【0084】

この場合、前述した図７の処理フローは、図１５の処理フローのように変わる。

【0085】

図１５中のＳ１３１〜Ｓ１３３及びＳ１３４〜Ｓ１３５の処理は、図３のＳ１１〜Ｓ１３及びＳ１４〜Ｓ１５の処理と基本的に同じである。但し、図１５のＳ１３４において、動画／静止画撮影器１０は、画像情報生成処理部１３により画像情報を生成するに際し、画像情報を記録するための空き容量の確認を実施することが望ましい。

【0086】

また、図１５中のＳ１３６〜１３８と、図７中のＳ１６〜Ｓ２０とを対比すると、図１５中には、図７のＳ１７、Ｓ１８に相当する処理が無い。

【0087】

図１５の処理フローでは、Ｓ１３８において繰り返しの処理が終わると（Ｓ１３８のＹＥＳ）、その後、動画／静止画撮影器１０は、画像情報読み出し処理部１７により、動画／静止画撮影器１０の記録内容を読み出す（Ｓ１３９）。この場合、動画／静止画撮影器１０の記録内容は、例えば、別途高速無線環境、有線接続を利用した高速通信、又は記録メディアを利用して読み出される。

【0088】

一方、処理器２０は、接続されたケーブルから入力される画像情報又は記録メディアから画像情報を、画像取得処理部２２によって取得し、記録処理部２３によって所定の記録媒体に記録する（Ｓ１４０）。

【0089】

画像情報読み出し処理部１７の処理フローを図１６に示す。

【0090】

画像情報読み出し処理部１７は、動画／静止画撮影器１０に備得られるスイッチ操作、ケーブルの接続検知又は記録メディアの挿入の検知により、一時記録処理部１６から、記録している画像情報を読み出し（Ｓ１４１）、ケーブルへの出力又は記録メディアへの書き出しを行う（Ｓ１４２）。

【0091】

これにより、動画／静止画撮影器１０における情報の記録量を少なくし、ハードウェアに対する要求を低減することができ、低コスト及び小型化を実現できる。

【0092】

以下、各実施例について説明する。

【0093】

（第１の実施例）
図１７は、第１の実施例において画像処理システムが適用される利用シーンの一例を示す図である。

【0094】

ここでは利用シーンとして、複数の作業ステップからなる製造ライン上を製品等が連続的に移動して加工される場合の具体例を示す。なお、図１７に示される作業場所１〜３及び検査装置４０は、製品の製造に寄与するものであり、画像処理システムの構成には含まれない。

【0095】

本実施例のシステムでは、前述した動画／静止画撮影器１０は、図１７に示すように各作業場所の間に複数台設置され、処理器２０は一つのみが設置される。

【0096】

作業場所１〜３は、ライン上を流れてくる製品に対して、機械又は作業員により、各種加工を行う場所であり、検査装置４０は、最終的な製品の品質を判定するものである。

【0097】

ここで、作業場所１〜３を含む製造ライン上を例えば３０台／分の速度で流れてくる半加工状態の製品の状態と、検査装置４０における品質判定結果との関連性を検証することを考える。

【0098】

複数の動画／静止画撮影器１０（動画／静止画撮影器（Ａ）〜（Ｄ））は、それぞれ、製造ライン上を移動していく製品の映像を、図２に示すように、カメラ１１により撮影して得られる画像情報として画像処理部１２及び画像情報生成処理部１３に送出する。

【0099】

画像情報生成処理部１３は、入力された映像を一時的に保持し、画像処理部１２から入力される撮影日時を用いて、画像情報を特定できるようにし、動画から切り出した静止画を撮影画像本体として、画像情報を生成し、一時記録処理部１６に出力する。

【0100】

なお、撮影画像本体は、動画／静止画撮影器１０における情報の記録量や、処理器との通信量を反映した時間幅を持つ、指定される撮影日時を含む部分動画でもよいものとする。

【0101】

画像処理部１２は、入力された映像を用いて、前述した図８の処理を行う。なお、状態情報の生成に使用した映像の撮影日時を画像情報生成処理部１３に出力し、後に状態情報の詳細な検証を行うための画像情報の生成を可能にしておく。なお、本実施例における画像処理部１２の詳細については、後で、図１８、図１９を用いて説明する。

【0102】

処理器２０は、画像状態指標生成処理部２１により、図２０に示すように、受信した状態情報から、状態情報本体を取り出し（Ｓ１５１）、その状態情報本体（ＡＢＳ）があらかじめ指定された閾値を超えるか否かを判定する（Ｓ１５２）。閾値を超えていなければ状態指標値を０とし（Ｓ１５３）、一方、超えていれば状態指標値を状態情報本体の値とする（Ｓ１５４）。そして、処理器２０は、この状態指定値と、状態識別子及び撮影画像識別子とを含む、状態指標を生成し（Ｓ１５５）、動画／静止画撮影器１０に送信する。なお、閾値は、各動画／静止画撮影器１０に対して個別に異なる値が設定されていてもよい。

【0103】

動画／静止画撮影器１０は、画像情報選択処理部１４により、受信した状態指標中の状態指標値に対して、前述した図１０の処理を行う。ここで、状態指標値の有意／無為判定は、例えば判定基準として数値を用いて、下式の比較により行われる。

【0104】

状態指標値＞判定基準値 ： 有意
状態指標値≦判定基準値 ： 無意
有意／無為判定の結果は、画像情報送出処理部１５に入力される。

【0105】

なお、判定基準値は、各動画／静止画撮影器１０で個別に異なる値が設定されていてもよい。

【0106】

動画／静止画撮影器１０は、画像情報送出処理部１５により、前述した図１１の処理を行い、画像情報を処理器２０へ送出する。

【0107】

処理器２０は、画像取得処理部２２により、前述した図１２の処理により、動画／静止画撮影器１０からの画像情報を取得し、取得した画像情報を記録処理部２３により記録媒体に記録保存する。

【0108】

次に、実施例における画像処理部１２の詳細及びその効果を以下に示す。

【0109】

画像処理部１２において生成される状態情報の内容として、前記二値化等の処理後画像、図形要素の有無、傾き、ズレ検知、領域内の侵入、移動経路からのズレ、位置ずれ、通過位置情報のいずれか、または組み合わせが挙げられるが、その選択については、対象製品の形状、各作業場所での加工内容に合わせて個別に設定される。

【0110】

ここでは、動画／静止画撮影器１０の出力する状態情報として、前述した図４（ｃ）に示される図形要素の傾きを選択するものとする。この場合の傾きの状況を図１８に示す。

【0111】

図１８の例は、製造ライン上を流れていく製品が、所定の傾き（図１８では鉛直方向の点線の向き）に対して、左回りを正として、角度θの傾きを持つことを示している。

【0112】

ここで、角度θの測定分解能を０．１度とした場合を考える。この時、動画／静止画撮影器１０の撮影範囲の縦方向が、製造ラインの縦方向（図１８のＬで示す方向）と一致し、製品がＬ／３の縦寸法を持つ場合に、必要最小画素数は以下の様に求められる。

【0113】

Ｌ＝（3／tan0.1°）〜1718.9
よって、動画／静止画撮影器１０における縦方向の画角サイズは、１７１８．９以上が求められることになり、一般的な画像サイズとして４Ｋ（３８４０＊２１６０）以上が求められることになる。なお、より小さな製品に対して又はより小さな測定分解能を要求した場合には、より大きな画像サイズが求められることになる。

【0114】

ここで、本実施例のシステムでは、動画／静止画撮影器１０において、図６（ａ）の表に示される状態情報の内、状態情報本体として０．１度分解能の傾きを出力することを考える。状態情報本体の値域を［−１８０，１８０）とした場合、符号付きの１３ビットの整数であればよい。よって、ここでは状態情報本体として、２バイト符号付きの整数のデータとする。撮影画像識別子、状態識別子は、製造ライン上を流れる製品単位に対応すればよいため、３０台／分の速度の場合は、一日間記録する場合に対して符号なし１６ビット、一年間に対して符号なし２４ビットのデータで対応可能である。ここでは、一日間記録する場合を考え、動画／静止画撮影器１０から処理器へ送出する状態情報として６バイトのデータ量となる。

【0115】

画像情報選択処理部１４において有意と判定されたものがない場合について、４Ｋビデオを保存する場合の通信量／記録量と、本実施例を適用した場合の通信量／記録量とを比較して図１９の表に示す。この表から本実施例を適用した場合は、通信量及び記録量を３万２千分の１に削減できることがわかる。

【0116】

画像情報選択処理部１４において有意と判定された場合は、該当する画像情報が動画／静止画撮影器１０から処理器２０へ送出される。この判定は、処理器における状態指標の算出用の閾値及び動画／静止画撮影器１０における判定基準の設定により有意なものの情報のみを送受するため、本実施例を適用した場合、４Ｋビデオを送出することに比べ通信量／記録量が削減されることは自明である。

【0117】

また、４Ｋビデオの伝送に専用ケーブルを用いる案も考えられるが、本実施例と適用した場合、通信量を抑えることで、他の各種センサを合わせてＬＡＮ通信網を使用してシステムを構成することが可能となり、ケーブル敷設にかかるコスト／時間を削減することが可能となる。

【0118】

また、記録保存された情報から、製造ライン上を移動する製品の状況確認を再検証する場合、多量の４Ｋビデオを対象とする場合に比べて、本実施例を適用した場合は着目している製品の傾き状況に合わせて絞り込んで記録された記録量が削減された情報を対象とすることで、再検証にかかる時間の削減、再検証機材に対する要求を低減することが可能となる。

【0119】

前述したように各動画／静止画撮影器１０の設置個所における製品の傾きと画像情報を収集し、検査装置４０における品質判定結果との関連性検証を、例えば時間に関する相関性を確認することで行うことができる。例えば、動画／静止画撮影器１０（Ａ）における製品の傾き値が正であることと、品質判定結果が不良となる関連性あった場合、対応する画像情報を確認することで、単純に傾きだけが関連性をもつものか、傾きに関連して生じている事象が存在するか等の、より詳細な検討が可能となる。ここで得られた情報をもとに、例えば動画／静止画撮影器１０（Ａ）の監視箇所での製品の傾きを補正する仕組みを設ける等することで、製品の品質改善が可能となる。

【0120】

また、本実施例を適用した場合に、検査装置４０における品質判定結果の関連性の検証結果を反映することで、更に通信量／記録量の削減が可能となる例を次に示す。

【0121】

製品の傾きと検査装置における品質判定結果から、製品の傾きが負である場合と品質判定結果が否となる場合に関連性がないと判定された状況を考える。この場合は、関連性に関するより詳細な検証においても、また、継続して製造ラインを監視する上でも、製品の傾きが負である場合について情報を記録保存する必要性がなくなる。

【0122】

これに対応して、状態情報本体の値を用いて、処理器の画像状態指標生成処理部２１において状態指標値を算出する図２０の処理において、図２１の点線枠内に示すように状態指標値の正負を判定する処理（Ｓ１５６）を追加で設けて、負の場合に状態指標値を０とするように変更する。

【0123】

このように、本実施例を適用したシステムでは、不要と判定された傾きが負である情報について、複数ある動画／静止画撮影器１０を改変することなく、処理器側の修正のみで、通信量／記録量を削減することが可能である。

【0124】

また、本実施例を適用した場合に、記録量を判断しつつ、記録保存すべき画像情報を制御する方法について、一例を次に示す。

【0125】

検査装置における品質判定結果と製品の傾きとの関連性検証の初期において、製品の傾き情報を収集する場合を考える。初期段階においては、可能な限り情報を多く収集することが、後の検証作業での結果の精度に優位である。

【0126】

ここでは、図１７に示す複数の動画／静止画撮影器１０（動画／静止画撮影器（Ａ）〜（Ｄ））の、図１０に示す判定基準は、初期状態として固定値、例えば０が与えられた状況を考える。多くの情報を収集するためには、図９、図１０、図２０、図２１で使用される閾値はできるだけ小さな値であることが望ましい。

【0127】

本実施例を適用したシステムでは、例えば図２２Ａ及び図２２Ｂに示すような画面を操作員に提供し、操作員が記録保存済みの情報の記録量と、傾き量の変化を監視し、設定された閾値を用いた場合に予想される記録量の増加を予測しながら閾値を制御することで、記録量を制御可能とする。

【0128】

図２２Ａ及び図２２Ｂの構成要素について説明する。
図２２Ａの画面上には、時間方対傾き値について、動画／静止画撮影器１０（動画／静止画撮影器（Ａ）〜（Ｄ））の結果表示と、検査装置４０からの品質判定結果とを、チャート表示する部分があり、順次新たな結果を処理器２０が受領しだい、横方向にスクロール表示しながら、表示を更新する。

【0129】

なお、各動画／静止画撮影器１０と検査装置間では、同じ製品に対する観測時間が製造ラインの速度に応じたズレを持つため、表示上で縦方向に同じ製品の表示が揃うように補正されているものとする。また、時間方対傾き値のチャートには、操作員により指定された閾値を示すカーソルＫを表示し、同時に閾値をチャート上に表示し、閾値を超えた傾き値のデータＹを塗りつぶし表示により、閾値を超えない傾き値のデータＭの表示と容易に区別できるように表示する。また、検査装置４０からの品質判定結果に欠陥がある場合には、欠陥を示すデータＦを表示する。

【0130】

図２２Ｂの画面上には、情報保持のために利用可能な全記録容量と、既に記録保存済みの情報の記録容量と、操作員の指定した閾値の設定を用いた場合の例えば１日の推定消費量と、推定空き容量とが表示される。推定消費量は、既に記録した情報から例えば以下の式により算出される。

【0131】

（一日の推定消費量）
＝（一時間当たりに閾値を超えたデータ点数）×（画像情報の平均サイズ）×２４
上記のように、操作員は、指定する閾値に連動して、画像情報が記録されるデータ点が時間方向にどのような分布になるかを視認しながら、推定される消費量を確認し、閾値を決定することで、記録保存される画像情報を制御することが可能となる。

【0132】

（第２の実施例）
第２の実施例では、図２３で示すような、地理的に離れた場所に存在する複数の部品工場と１つの組立工場とからなる製造体制に画像処理システムを適用した例について示す。

【0133】

各部品工場及び組立工場は、それぞれ、第１の実施例に示したのと同様の製造ラインを持ち、第１の実施例と同様に動画／静止画撮影器１０が各所に配置され、処理器２０が一つだけ配置されているものとする。各部品工場の動画／静止画撮影器１０は通信回線Ｔ１を介して処理器２０に接続され、組立工場の動画／静止画撮影器１０は通信回線Ｔ２を介して処理器２０に接続される。

【0134】

ここで、各部品工場から組立工場に出荷される部品の品質だけではなく、組立工場の検査装置における品質判定結果と各組立工場の作業ステップにおける部品の状態について画像情報を用いて取得し、関連性を検証することを考える。

【0135】

この場合、第１の実施例に示す場合と同様に、本実施例を適用したシステムでは、各動画／静止画撮影器１０から処理器２０への通信量の削減と、処理器２０における情報の記録量の削減が可能となる。

【0136】

特に本実施例では、地理的に離れた場所に存在する工場を想定しているため、処理器２０への通信は、通信業者の通信量に応じてコストが変動する通信回線を用いることが想定され、本実施例を適用したシステムでの、コスト面での優位性が第１の実施例よりも大きくなる。

【0137】

また、対象となる動画／静止画撮影器１０も数量が増加するため、必要とする画像の記録量の削減量、及びハードウェアに対するコストの削減量は、第１の実施例に対して更に大きくなる。

【0138】

（第３の実施例）
第３の実施例では、対象製品として小型の多数の製品が製造ライン上を流れていく状況に画像処理システムを適用した例を示す。

【0139】

検査装置の品質判定結果との関連性を検証する対象として、図２４に示す様な製造ライン上で複数の範囲に区分された位置の製品の一分間あたりの通過量が選択された場合を考える。

【0140】

通過量の計測は、図２４に示される通過計測線を通過した製品の個数を、区分ごとに集計して行うものとする。

【0141】

この場合、状態情報に含まれる状態情報本体として、図２４に示される、区分ごとの一分間の製品の通過個数とする。

【0142】

動画／静止画撮影器１０の画像処理部１２では、図２４に示す各区分を通過する製品の個数を一分間単位で計測し、以下の内容を状態情報本体とする。

【0143】

（区分１、区分１の通過個数）
（区分２、区分２の通過個数）
（区分３、区分３の通過個数）
一般に、小型で多数の製品が流れることを想定すると、区分単位の通過個数に対して閾値を設定し、記録保存する画像情報を絞り込むためには、区分ごとに閾値を変えながら情報を収集するなどを行う必要があり、また検査装置で稀に発生する品質不良の結果との関連性を見出すことは、非常に困難である。

【0144】

これに対し、本実施例を適用したシステムでは、通信量／記録量を低減しながら、品質判定結果との関連性を検証することを可能にする手段を提供する。この手段による処理の手順を図２５に示す。

【0145】

最初、処理器２０の画像状態指標生成処理部２１における各区分に対する通過個数の閾値が、非常に大きな値、例えば製造ライン上を一分間に流れる製品の全個数より少し小さな値に設定する（Ｓ１６１）。

【0146】

これにより、一回目の製造ラインを撮影して実施する情報収集では、各動画／静止画撮影器１０からの画像情報の送出をほとんどの場合において停止させ、状態情報本体である区分ごとの通過量のみを取得する（Ｓ１６２）。

【0147】

本実施例を適用したシステムでは、前述した閾値の設定により、単純に画像情報の送出を停止させる場合に比べて、ある区分に集中的に製品が流れるような異常な状態についても画像情報を記録保存し、後に状況を確認することが可能となる。

【0148】

続いて、検査装置の品質判定結果と、記録された状態情報中の区分ごとの製品の通過個数の関連性を検証する（Ｓ１６３）。例えば図２６のような表示により、検査装置における判定結果と、各区分を通過する個数の関連性有無を判定する。なお、図２６において、記号Ｈ１及びＨ２は、二個存在する検査装置の品質判定結果の各々に関連する判定された箇所を示す。

【0149】

例えば区分１の通過量の増加に関連性ありとなった場合、区分２、区分３に対する閾値を上記と同じ値として、区分１に対する閾値のみを、第１の実施例に示したように記録量を考慮した値とする（Ｓ１６４）。これにより、二回目の情報収集（Ｓ１６５）では、検査装置の品質判定結果との関連性が疑われた区分１を通過する個数と対応する画像情報が収集され、次に行うより詳細な検証、例えば検査装置の品質判定結果と区分１の製品の通過個数との関連性を検証（Ｓ１６６）に要する情報を提供することが可能になる。

【0150】

上記のように本実施例を適用したシステムでは、記録する画像情報の絞り込みを容易に実現する手段を提供し、通信量／記録量の削減を実現することができる。

【0151】

（第４の実施例）
第４の実施例では、動画／静止画撮影器１０と処理器２０との間の通信回線を画像情報の転送に使用できない環境に画像処理装置を適用した例について示す。

【0152】

例えば、図１７に示すような既存の製造ラインにおいて、利用可能な既存の通信回線が低速小容量であり、画像情報の送受に支障がある場合、又は図２３に示すような複数工場間での通信回線に、画像情報の送受用の新たなコスト追加が困難な場合を想定する。

【0153】

本実施例では、動画／静止画撮影器１０及び処理器内の機能構成は図３に示す通りであり、その処理フローは図１５に示す通りである。

【0154】

以下、第１の実施例との違いを示す。

【0155】

なお、画像情報取得処理部２２、画像処理部１２、及び画像状態指標生成処理部２１の動作は第１の実施例と同様である。

【0156】

一時記録処理部１６は、適切なタイミングで又は画像情報生成処理部１３から画像情報が入力された際に、動画／静止画撮影器１０の記録容量を確認し、空き容量があらかじめ設定された下限値未満又は新たな画像情報の記録に不十分な場合は状態指標に含まれる状態指標値に基づき、撮影日時が古くより無意に近い画像情報から優先的に削除する。

【0157】

画像情報読み出し処理部１７は、動画／静止画撮影器１０に備わるスイッチ操作、ケーブルの接続検知、又は記録メディアの挿入の検知により、一時記録処理部１６から、記録保存している画像情報を読み出し、ケーブルへの出力又は記録メディアへの書き出しを行う。

【0158】

画像取得処理部２２は、接続されたケーブルから入力される画像情報又は記録メディアから画像情報を取得し、記録保存する。

【0159】

これにより、本実施例を適用したシステムでは、通信回線に依存せず、画像情報を処理器へ入力する手段を提供し、検査装置の品質判定結果との関連の検証を可能とし、また動画／静止画撮影器１０の記録容量に合わせて、重要度の高い情報を優先的に入手することが可能となる。

【0160】

以上詳述したように、実施形態によれば、情報の通信量や記録量を低減することが可能となる。

【0161】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0162】

１〜３…作業場所、１０…動画／静止画撮影器、２０…処理器、３０…別の処理器、４０…検査装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】

【図14E】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【図24】

【図25】

【図26】