特許 7477783 画像処理システム、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-23

(45)【発行日】2024-05-02

(54)【発明の名称】画像処理システム、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240424BHJP

   G06T 5/50 20060101ALI20240424BHJP

【ＦＩ】

G06T7/00 610Z

G06T5/50

【請求項の数】 6

(21)【出願番号】P 2022050020

(22)【出願日】2022-03-25

(65)【公開番号】P2023142894

(43)【公開日】2023-10-06

【審査請求日】2023-03-06

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】林 亮太

(72)【発明者】

【氏名】大澤 正典

(72)【発明者】

【氏名】森 大輔

(72)【発明者】

【氏名】岸田 啓史

(72)【発明者】

【氏名】北村 正樹

(72)【発明者】

【氏名】田中 勝也

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２０１６－１２８１８３（ＪＰ，Ａ）

【文献】特開２００９－０４８２４０（ＪＰ，Ａ）

【文献】特開２０１０－２２００４２（ＪＰ，Ａ）

【文献】特開２０１１－１７４６４８（ＪＰ，Ａ）

【文献】特開２００３－２６９９３９（ＪＰ，Ａ）

【文献】特開２０１１－２５２７４３（ＪＰ，Ａ）

【文献】特開２００７－３１５７７７（ＪＰ，Ａ）

【文献】特開２００１－０５０８６６（ＪＰ，Ａ）

【文献】特開平１０－１４８５９９（ＪＰ，Ａ）

【文献】特開平３－２５３７６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

画像センサと、制御部とを含む画像処理システムであって、
前記制御部は、
前記画像センサで噴霧前に撮像した所定の数の背景画像と、前記画像センサで薬品又は加工油を噴霧対象物に噴霧中に撮像した噴霧画像とを取得し、
前記所定の数の背景画像から統計的方法により閾値を設け、
前記噴霧画像の各画素の画素値が前記閾値の範囲内であるか否かを示す差分情報を作成し、
前記差分情報に基づいて、前記薬品又は加工油の噴霧状態を定量化又は可視化する情報を出力する、
画像処理システム。

【請求項2】

前記制御部は、背景差分法を用いて前記閾値を決定する、請求項１に記載の画像処理システム。

【請求項3】

前記制御部は、前記所定の数の背景画像の所定位置における画素値の誤差の揺らぎが確率分布に従うと仮定して、前記所定の数の背景画像の画素値平均と標準偏差に基づいて前記閾値を設ける、請求項１又は２に記載の画像処理システム。

【請求項4】

前記制御部は、前記噴霧画像のフレームごとに取得した前記差分情報を累積加算した差分累積情報を出力する、請求項１乃至３のいずれか一項に記載の画像処理システム。

【請求項5】

画像処理装置が、
画像センサで噴霧前に撮像した所定の数の背景画像と、前記画像センサで薬品又は加工油を噴霧対象物に噴霧中に撮像した噴霧画像とを取得し、
前記所定の数の背景画像から統計的方法により閾値を設け、
前記噴霧画像の各画素の画素値が前記閾値の範囲内であるか否かを示す差分情報を作成し、
前記差分情報に基づいて、前記薬品又は加工油の噴霧状態を定量化又は可視化する情報を出力する、
画像処理方法。

【請求項6】

コンピュータに、
画像センサで噴霧前に撮像した所定の数の背景画像と、前記画像センサで薬品又は加工油を噴霧対象物に噴霧中に撮像した噴霧画像とを取得させ、
前記所定の数の背景画像から統計的方法により閾値を設けさせ、
前記噴霧画像の各画素の画素値が前記閾値の範囲内であるか否かを示す差分情報を作成させ、
前記差分情報に基づいて、前記薬品又は加工油の噴霧状態を定量化又は可視化する情報を出力させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理システム、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

液体を噴霧する噴霧装置において、画像処理で噴霧の濃度分布を検査する検査装置が知られている。例えば、光源から噴霧に光を照射して、噴霧の反射光又は透過光を撮像し、画素ごとに輝度値を足し合わせた総和データを出力して噴霧の濃度分布を測定する噴霧検査装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－５０８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示された技術では、例えば、撮影環境、背景の変化等により、噴霧状態を表す輝度値が影響を受け易いという問題がある。

【0005】

本開示は、薬品又は加工油の噴霧状態を定量化又は可視化する画像処理システムにおいて、撮影環境、又は背景の変化等による影響を低減する。

【課題を解決するための手段】

【0006】

本開示の第１の態様に係る画像処理システムは、画像センサと、薬品又は加工油の噴霧状態を定量化又は可視化する制御部とを含む画像処理システムであって、前記制御部は、前記画像センサで噴霧前に撮像した背景画像と、前記画像センサで前記薬品又は加工油を噴霧対象物に噴霧中に撮像した噴霧画像とを取得し、前記背景画像と前記噴霧画像との差分情報に基づいて、前記噴霧状態を定量化又は可視化する情報を出力する。

【0007】

本開示の第１の態様によれば、薬品又は加工油の噴霧状態を定量化又は可視化する画像処理システムにおいて、撮影環境、又は背景の変化等による影響を低減することができる。

【0008】

本開示の第２の態様は、第１の態様に記載の画像処理システムであって、前記制御部は、背景差分法を用いて前記差分情報を求める。

【0009】

本開示の第３の態様は、第１又は第２の態様に記載の画像処理システムであって、前記制御部は、前記噴霧画像と前記背景画像との前記差分情報を求め、前記差分情報の各画素の画素値が、予め設定した閾値の範囲内であるか否かを示す前記差分情報を作成する。

【0010】

本開示の第４の態様は、第１又は第２の態様に記載の画像処理システムであって、前記制御部は、前記画像センサで所定の数の前記背景画像を撮像し、前記所定の数の背景画像の所定位置における画素値の誤差の揺らぎが確率分布に従うと仮定して、前記所定の数の背景画像の画素値平均と標準偏差に基づいて閾値を設け、前記噴霧画像の各画素の画素値が前記閾値の範囲内であるか否かを示す前記差分情報を作成する。

【0011】

本開示の第５の態様は、第１～第４の態様に記載の画像処理システムであって、前記制御部は、前記噴霧画像のフレームごとに取得した前記差分情報を累積加算した差分累積情報を出力する。

【0012】

本開示の第６の態様に係る画像処理方法は、薬品又は加工油の噴霧状態を定量化又は可視化する画像処理装置が、画像センサで噴霧前に撮像した背景画像と、前記画像センサで前記薬品又は加工油を噴霧対象物に噴霧中に撮像した噴霧画像とを取得し、前記背景画像と前記噴霧画像との差分情報に基づいて、前記噴霧状態を定量化又は可視化する情報を出力する。

【0013】

本開示の第７の態様に係るプログラムは、薬品又は加工油の噴霧状態を定量化又は可視化するコンピュータに、画像センサで噴霧前に撮像した背景画像と、前記画像センサで前記薬品又は加工油を噴霧対象物に噴霧中に撮像した噴霧画像とを取得させ、前記背景画像と前記噴霧画像との差分情報に基づいて、前記噴霧状態を定量化又は可視化する情報を出力させる。

【図面の簡単な説明】

【0014】

【図1】一実施形態に係る画像処理システム構成の例を示す図である。

【図2】一実施形態に係る処理の概要について説明するための図である。

【図3】一実施形態に係る画像処理装置のハードウェア構成の例を示す図である。

【図4】第１の実施形態に係る画像処理の例を示すフローチャートである。

【図5】第１の実施形態に係る閾値の決定方法について説明するための図である。

【図6】第１の実施形態に係る差分画像の作成処理の例を示すフローチャートである。

【図7】第２の実施形態に係る画像処理の例を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0016】

＜システム構成＞
図１は、一実施形態に係る画像処理システムのシステム構成の例を示す図である。画像処理システム１は、例えば、薬品又は加工油等の液体の噴霧状態を撮像する１つ以上のカメラ１０１と、カメラ１０１で撮像した撮像画像を画像処理して、液体の噴霧状態を定量化又は可視化する画像処理装置１００とを含む。

【0017】

画像処理システム１は、一例として、空気調和システムの熱交換器２０の製造過程において、フラックス塗布装置１０が、複数のノズル１１で、熱交換器２０に噴霧するフラックスの噴霧状態を定量化又は可視化する情報を出力する。フラックスは、熱交換器２０の製造過程において、熱交換器２０を構成するフィンとチューブとをロウ付けする際に、塗布する薬品である。なお、熱交換器２０は、噴霧対象となる噴霧対象物の一例である。また、画像処理システム１は、フラックス塗布装置１０以外の噴霧装置が、フラックス以外の薬品又は加工油等の液体を噴霧する噴霧状態を可視化するものであってもよい。

【0018】

カメラ（画像センサ）１０１は、例えば、フラックス塗布装置１０の開口部１２に向けて設置され、フラックス塗布装置１０内でフラックスが噴霧される熱交換器２０を撮像する画像センサである。なお、画像処理システム１は、熱交換器２０の大きさに応じて、複数のカメラ１０１を用いて熱交換器２０を撮像してもよい。

【0019】

画像処理装置１００は、コンピュータの構成を有しており、所定のプログラムを実行することにより、カメラ１０１で噴霧前の背景画像と噴霧中の噴霧画像とを撮像し、背景画像と噴霧画像との差分情報に基づいて、噴霧状態を定量化又は可視化する情報を出力する。

【0020】

（処理の概要）
図２は、一実施形態に係る処理の概要について説明するための図である。画像処理装置１００は、フラックス塗布装置１０が、フラックスの噴霧を停止している状態で、カメラ１０１を用いて、背景画像２０１を撮像する。

【0021】

次に、画像処理装置１００は、フラックス塗布装置１０がフラックスを噴霧中に、カメラ１０１を用いて、噴霧画像（動画像）を撮像する。また、撮像した噴霧画像の各フレームに対して、背景画像２０１と、噴霧画像（ｔフレーム目）２０２との差分を表す差分画像（ｔフレーム目）２０３を作成する。ここで、ｔは、フレーム数（フレーム番号）を表す１以上の整数である。

【0022】

さらに、画像処理装置１００は、作成した差分画像を累積した差分累積画像を作成し、作成した差分累積画像を正規化して、差分累積画像のヒートマップ２０４を作成し、出力する。例えば、画像処理装置１００は、作成した差分累積画像を０～２５５の値に正規化して、２５６色の色、又は２５６階調のグレースケール等でフラックスの噴霧状態を可視化するヒートマップを作成してもよい。

【0023】

なお、画像処理装置１００は、背景画像２０１と、噴霧画像（ｔフレーム目）２０２との差分を表す差分画像（ｔフレーム目）２０３に代えて、差分情報を作成し、作成した差分情報を累積した差分累積情報を、例えば、数値、グラフ等で定量化して出力してもよい。

【0024】

このように、本実施形態によれば、背景画像と噴霧画像との差分情報に基づいて、噴霧状態を可視化するので、撮影環境、又は背景の変化等による影響を低減することができる。

【0025】

＜ハードウェア構成＞
図３は、一実施形態に係る画像処理装置のハードウェア構成の例を示す図である。画像処理装置１００は、一般的なコンピュータの構成を有しており、例えば、制御部３０１、メモリ３０２、ストレージデバイス３０３、通信装置３０４、表示装置３０５、入力装置３０６、ドライブ装置３０７、及びバス３０９等を含む。

【0026】

制御部３０１は、例えば、ストレージデバイス３０３、又はメモリ３０２等の記憶媒体に記憶した所定のプログラムを実行することにより、様々な機能を実現するＣＰＵ（Central Processing Unit）等のプロセッサである。なお、制御部３０１は、ＣＰＵ以外にも、ＧＰＵ（Graphics Processing Unit）、又はＤＳＰ（Digital Signal Processor）等のプロセッサを含んでいてもよい。また、制御部３０１は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等のデバイスであってもよい。

【0027】

メモリ３０２は、例えば、制御部３０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、及び制御部３０１の起動用のプログラム等を記憶する不揮発性のメモリであるＲＯＭ（Read Only Memory）等を含む。ストレージデバイス３０３は、ＯＳ（Operating System）、アプリケーション等のプログラム、及び各種のデータ、情報等を記憶する大容量の記憶装置であり、例えば、ＳＳＤ（Solid State Drive）、又はＨＤＤ（Hard Disk Drive）等によって実現される。

【0028】

通信装置３０４は、例えば、カメラ１０１等の外部装置と通信するための通信インタフェース、又はデバイスである。例えば、通信装置３０４は、画像処理装置１００を通信ネットワークに接続して、他の装置と通信するためのＮＩＣ（Network Interface Card）等のデバイスであってもよい。また、通信装置３０４は、例えば、画像処理装置１００にカメラ１０１等の外部装置を接続するための各種のインタフェースであってもよい。

【0029】

表示装置３０５は、表示画面を表示する表示デバイスであり、噴霧状態を定量化又は可視化する情報を出力する出力装置の一例である。入力装置３０６は、例えば、タッチパネル、キーボード、又はポインティングデバイス等の外部からの入力を受け付ける入力デバイスである。なお、表示装置３０５と入力装置３０６は、例えば、タッチパネルディスプレイのように、一体化された表示入力装置であってもよい。

【0030】

ドライブ装置３０７は、記憶媒体３０８を画像処理装置１００に接続するためのデバイスである。ここでいう記憶媒体３０８には、例えば、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体３０８には、例えば、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。バス３０９は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0031】

＜処理の流れ＞
続いて、本実施形態に係る画像処理方法の処理の流れについて説明する。

【0032】

［第１の実施形態］
図４は、第１の実施形態に係る画像処理の例を示すフローチャートである。この処理は、図１で説明した画像処理システム１において、画像処理装置１００が実行する処理の具体的な一例を示している。

【0033】

ステップＳ４０１において、画像処理装置１００の制御部３０１は、カメラ１０１を用いて、図２で説明した噴霧前の背景画像２０１を所定数撮像し、噴霧の有無を判定する閾値を決定する。

【0034】

図５は、第１の実施形態に係る閾値の決定方法について説明するための図である。制御部３０１は、例えば、統計的背景差分法により、噴霧の有無を判定する閾値を決定する。具体的には、制御部３０１は、背景画像２０１の所定位置における画素値の誤差の揺らぎが確率分布（例えば正規分布）に従うと仮定し、背景画像２０１の画素値平均μと標準偏差σとを求める。また、制御部３０１は、背景画像２０１の画素値平均μと標準偏差σとから、図５に示す（式１）に示すように、閾値（threshold）を標準偏差の定数ｋ倍に設定する。例えば、制御部３０１は、画素値の誤差の揺らぎが正規分布に従う場合、定数ｋを２～３程度（例えば２．５）に設定する。

【0035】

ステップＳ４０２において、制御部３０１は、カメラ１０１を用いて、フラックス塗布装置１０がフラックスを噴霧中に噴霧画像（動画像）を撮像する。

【0036】

ステップＳ４０３において、制御部３０１は、フレーム数をカウントするカウンタｔを１に初期化して、ステップＳ４０４以降の処理を実行する。

【0037】

ステップＳ４０４において、制御部３０１は、図２で説明した、背景画像２０１と噴霧画像（ｔフレーム目）２０２との差分画像（ｔフレーム目）２０３を作成する。例えば、制御部３０１は、図６に示すような、差分画像の作成処理を実行する。

【0038】

図６は、第１の実施形態に係る差分画像の作成処理の例を示すフローチャートである。この処理は、例えば、図７のステップＳ４０５において、制御部３０１が実行する差分画像の作成処理の一例を示している。

【0039】

ステップＳ６０１において、制御部３０１は、ｔフレーム目の噴霧画像（ｔフレーム目）２０２を取得する。

【0040】

ステップＳ６０２において、制御部３０１は、噴霧画像（ｔフレーム目）２０２の各画素の輝度値を、図５で説明した閾値（threshold）と比較する。

【0041】

ステップＳ６０３において、制御部３０１は、噴霧画像（ｔフレーム目）２０２の各画素の輝度値が、閾値の範囲内であれば噴霧なし（例えば黒色）、閾値の範囲外であれば噴霧あり（例えば白色）として、差分画像（ｔフレーム目）２０３を作成する。ここで作成した差分画像（ｔフレーム目）２０３は、例えば、各画素が噴霧のあり、なしを表す差分情報の一例である。

【0042】

ここで、図４に戻り、画像処理の例を示すフローチャートの説明を続ける。ステップＳ４０５において、制御部３０１は、作成した差分画像（ｔフレーム目）２０３を累積した差分累積画像を作成する。例えば、制御部３０１は、作成した差分画像（ｔフレーム目）２０３の各画素のうち、噴霧ありとした画素の画素値を「１」、噴霧なしとした画素の画素値を「０」として、累積加算した差分累積画像を作成する。

【0043】

ステップＳ４０６において、制御部３０１は、作成した差分累積画像を正規化して、図２で説明した差分累積画像のヒートマップ２０４を作成する。例えば、制御部３０１は、差分累積画像の各画素の画素値を、所定の範囲（例えば０～２５５）の値に正規化して、色、又は階調で噴霧状態を表すヒートマップ２０４を作成し、作成したヒートマップ２０４を、表示装置３０５等の表示部に表示（出力）する。

【0044】

ステップＳ４０７において、制御部３０１は、撮像した噴霧画像の全フレームについて、処理を終了したか否かを判断する。全フレームについて処理を終了していない場合、制御部３０１は、処理をステップＳ４０８に移行させる。一方、全フレームについて処理を終了した場合、制御部３０１は、図４の処理を終了する。

【0045】

ステップＳ４０８に移行すると、制御部３０１は、カウンタｔに１を加算して、処理をステップＳ４０４に戻す。

【0046】

図４の処理により、画像処理システム１は、噴霧状態を可視化するヒートマップ２０４をリアルタイムに更新しながら、表示部に表示することができる。

【0047】

なお、噴霧状態を可視化するヒートマップ２０４は一例であり、画像処理システム１は、噴霧状態を定量化、又は可視化するヒートマップ２０４以外の情報を出力してもよい。

【0048】

［第２の実施形態］
第２の実施形態では、画像処理システム１が、噴霧状態を定量化、又は可視化する情報を出力する場合の処理の例について説明する。

【0049】

図７は、第２の実施形態に係る画像処理の例を示すフローチャートである。なお、図７に示す処理のうち、ステップＳ４０１～Ｓ４０３、Ｓ４０７、Ｓ４０８の処理は、図４で説明した第１の実施形態に係る画像処理と同様なので、ここでは説明を省略する。

【0050】

ステップＳ７０１において、制御部３０１は、背景画像２０１と噴霧画像（ｔフレーム目）２０２との差分を表す差分情報を作成する。例えば、制御部３０１は、噴霧画像（ｔフレーム目）２０２の各画素の輝度値と、図５で説明した閾値とを比較して、各画素が噴霧あり（例えば「１」）であるか、噴霧なし（例えば「０」）であるかを示す差分情報を作成する。

【0051】

ステップＳ７０２において、制御部３０１は、作成した差分情報を累積加算した差分累積情報を作成する。

【0052】

ステップＳ７０３において、制御部３０１は、作成した累積加算情報に基づいて、噴霧状態を定量化、又は可視化する情報を出力する。例えば、制御部３０１は、噴霧状態を示す噴霧状態データを作成し、ストレージデバイス３０３等の記憶部に出力してもよいし、通信装置３０４を介して、外部の情報処理装置に出力してもよい。また、制御部３０１は、噴霧状態を示す噴霧状態データを、数値として、又はグラフ化して、表示装置３０５に出力して表示させてもよい。

【0053】

以上、本開示の各実施形態によれば、フラックスの噴霧状態を定量化又は可視化する画像処理システム１において、撮影環境または背景の変化等による影響を低減することができる。

【0054】

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

【0055】

例えば、本開示の各実施形態は、フラックスに限られず、フラックス以外の薬品、又は加工油等の液体の噴霧状態を可視化する様々な画像処理システムに適用することができる。

【符号の説明】

【0056】

１ 画像処理システム
１００ 画像処理装置
１０１ カメラ（画像センサ）
２０１ 背景画像
２０２ 噴霧画像（ｔフレーム目）
２０３ 差分画像（ｔフレーム目）（差分情報の一例）
２０４ 差分累積画像のヒートマップ（噴霧状態を可視化する情報の一例）
３０１ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】