ホーム > 特許ランキング > 東京エレクトロン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024152292
(43)【公開日】2024-10-25
(54)【発明の名称】監視方法、監視装置及びコンピュータ記憶媒体
(51)【国際特許分類】
H04N 7/18 20060101AFI20241018BHJP
【ＦＩ】
H04N7/18 D
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023066404
(22)【出願日】2023-04-14
(71)【出願人】
【識別番号】000219967
【氏名又は名称】東京エレクトロン株式会社
(74)【代理人】
【識別番号】100096389
【弁理士】
【氏名又は名称】金本 哲男
(74)【代理人】
【識別番号】100101557
【弁理士】
【氏名又は名称】萩原 康司
(74)【代理人】
【識別番号】100167634
【弁理士】
【氏名又は名称】扇田 尚紀
(74)【代理人】
【識別番号】100187849
【弁理士】
【氏名又は名称】齊藤 隆史
(74)【代理人】
【識別番号】100212059
【弁理士】
【氏名又は名称】三根 卓也
(72)【発明者】
【氏名】大神 官公
(72)【発明者】
【氏名】赤田 光
【テーマコード（参考）】
5C054
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FE14
5C054HA19
(57)【要約】
【課題】透明なグレーチングが取り外された開口部を検知する。
【解決手段】床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法であって、前記グレーチングは透明なグレーチングを含み、前記透明なグレーチングは貼付体が貼り付けられ、撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む。
【選択図】図７
【解決手段】床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法であって、前記グレーチングは透明なグレーチングを含み、前記透明なグレーチングは貼付体が貼り付けられ、撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、監視方法。
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、監視方法。
【請求項2】
前記貼付体は、色が非黒系であり且つ透明なカラーフィルムである、請求項１に記載の監視方法。
【請求項3】
前記貼付体は、色が非黒系であり且つ前記開口部より面積が小さいシールである、請求項１に記載の監視方法。
【請求項4】
前記検知する工程は、
（Ａ）検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する工程と、
（Ｂ）前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する工程と、
（Ｃ）次いで、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る工程と、を含む、請求項１～３のいずれか１項に記載の監視方法。
（Ａ）検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する工程と、
（Ｂ）前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する工程と、
（Ｃ）次いで、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る工程と、を含む、請求項１～３のいずれか１項に記載の監視方法。
【請求項5】
前記（Ｃ）工程は、前記検知対象の前記画像における色が白系の前記開口候補と、前記検知対象の前記画像における色が非白系且つ非黒系の前記開口候補と、を除去する、請求項４に記載の監視方法。
【請求項6】
（Ｄ）前記（Ｃ）工程後、前記移動体に相当する部分を、前記開口候補から除去する工程をさらに含み、
前記（Ｃ）工程及び前記（Ｄ）工程はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記開口候補から除去し、
前記（Ｄ）工程で用いる前記画像が占める時間が、前記（Ｃ）工程で用いる前記画像が占める時間より長い、請求項４に記載の監視方法。
前記（Ｃ）工程及び前記（Ｄ）工程はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記開口候補から除去し、
前記（Ｄ）工程で用いる前記画像が占める時間が、前記（Ｃ）工程で用いる前記画像が占める時間より長い、請求項４に記載の監視方法。
【請求項7】
床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法を監視装置によって実行させるように、当該監視装置を制御する制御部のコンピュータ上で動作するプログラムを格納した読み取り可能なコンピュータ記憶媒体であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
前記監視方法は、撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、コンピュータ記憶媒体。
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
前記監視方法は、撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、コンピュータ記憶媒体。
【請求項8】
床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視装置であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールにされた前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する検知部を有する、監視装置。
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールにされた前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する検知部を有する、監視装置。
【請求項9】
前記貼付体は、色が非黒系であり且つ透明なカラーフィルムである、請求項８に記載の監視装置。
【請求項10】
前記貼付体は、色が非黒系であり且つ前記開口部より面積が小さいシールである、請求項８に記載の監視装置。
【請求項11】
前記検知部は、
検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する抽出部と、
前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する移動体除去部と、
前記移動体除去部による前記開口候補の除去後、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る特定色除去部と、を有し、請求項８～１０のいずれか１項に記載の監視装置。
検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する抽出部と、
前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する移動体除去部と、
前記移動体除去部による前記開口候補の除去後、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る特定色除去部と、を有し、請求項８～１０のいずれか１項に記載の監視装置。
【請求項12】
前記特定色除去部は、前記検知対象の前記画像における色が白系の前記開口候補と、前記検知対象の前記画像における色が非白系且つ非黒系の前記開口候補と、を除去する、請求項１１に記載の監視装置。
【請求項13】
前記特定色除去部による前記開口候補の絞りの後、前記移動体に相当する部分を、前記開口候補から除去する別の移動体除去部をさらに有し、
前記移動体除去部及び前記別の移動体除去部はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記候補から除去し、
前記別の移動体除去部で用いる前記画像が占める時間が、前記移動体除去部で用いる前記画像が占める時間より長い、請求項１１に記載の監視装置。
前記移動体除去部及び前記別の移動体除去部はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記候補から除去し、
前記別の移動体除去部で用いる前記画像が占める時間が、前記移動体除去部で用いる前記画像が占める時間より長い、請求項１１に記載の監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、監視方法、監視装置及びコンピュータ記憶媒体に関する。
【背景技術】
【0002】
特許文献１には、床部に取り外し可能な床面が配置されたクリーンルームの内部を監視するためのクリーンルームの監視装置が開示されている。この監視装置は、作業員が通行可能な通路の前記取り外し可能な床面を撮像する監視カメラを備え、監視カメラで得られた画像信号から取り外し可能な床面が取り外された開口部の有無を検出し、開口部が有る場合は当該開口部に接近する作業員の有無を監視カメラの画像信号から検出する。また、この監視装置では、作業員が検出された際に警報信号を出力する監視部と、監視部から警報信号を受け、警報を発する警報発生手段とを備えている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－１６７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示にかかる技術は、透明なグレーチングが取り外された開口部を検知する。
【課題を解決するための手段】
【0005】
本開示の一態様は、床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法であって、前記グレーチングは透明なグレーチングを含み、前記透明なグレーチングは貼付体が貼り付けられ、撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む。
【発明の効果】
【0006】
本開示によれば、透明なグレーチングが取り外された開口部を検知することができる。
【図面の簡単な説明】
【0007】
【図1】本実施形態にかかる監視装置を備える監視システムの概略構成を示すブロック図である。
【図2】クリーンルーム内の床部の構成及び監視カメラの配置を説明するための図である。
【図3】カラーフィルムが貼り付けられた状態の透明なグレーチングの概略を示す断面図である。
【図4】監視カメラにより撮像される画像の一例を示す図である。
【図5】監視カメラにより撮像される画像の一例を示す図である。
【図8】検知対象画像の例を示す図である。
【図9】検知対象画像にかかる二値化差分画像の一例を示す図である。
【図10】第１除去後画像の一例を示す図である。
【図11】第１置換画像の一例を示す図である。
【図12】第２除去後画像の一例を示す図である。
【図13】第３除去後画像の一例を示す図である。
【図14】監視装置による監視フローで検出される物体の例を示す図である。
【図15】開口候補の基準の設定例を説明するための図である。
【図16】検知対象のクリーンルームの画像から開口候補を抽出する形態の他の例を説明するための図である。
【図17】開口候補の抽出対象の領域を設定するための操作画面の一例を示す図である。
【図18】貼付体の他の例を示す図である。
【図19】シールが貼り付けられた透明グレーチングによる開口部が形成されていない場合の画像の一例を示す図である。
【図20】シールが貼り付けられた透明グレーチングによる開口部が形成されていた合の画像の一例を示す図である。
【発明を実施するための形態】
【0008】
従来から、例えば半導体装置を製造するための半導体製造ラインでは、多数の半導体製造装置が、清浄雰囲気とされたクリーンルーム内に配設されている。このようなクリーンルームでは、床部に、多数の格子状の通気部を有するグレーチングが配設されている。また、グレーチングの下部空間には、配管や各種電気機器、ポンプ類、薬液タンク等が収容されている。さらに、これら配管や各種電気機器、ポンプ類等の設置や保守、故障時に作業員がグレーチングの下部空間に降りて作業をすること等を目的として、グレーチングは取り外し自在となっている。
【0009】
このようにグレーチングを取り外した状態でグレーチング下部の空間に作業員が入り作業を行えるようになっている。しかしながら、グレーチングを取り外した場合、多数のグレーチングによって形成されているクリーンルームの床部に開口部が形成されるため、作業員がこの開口部から下部空間すなわち床下部へと落下する危険性がある。とりわけグレーチング上で他の作業を行なっている作業員にとっては、開口部が形成されていることを知らずに作業をしていることがあり、従来から作業員に注意を促すことが行われている。
【0010】
特許文献１に記載の技術は、グレーチングを撮像する監視カメラで得られた画像信号に基づいて、グレーチングが取り外された開口部の有無を検出し、開口部が有る場合は作業員の有無を検出し、作業員が検出された際に、警報信号を出力するようにしている。
【0011】
ところで、グレーチングとして、透明なグレーチングが用いられる場合がある。具体的には、平面視における略全体が無色透明なグレーチングが用いられる場合がある。透明なグレーチングは当該グレーチングを取り付けた状態で床下部の状態を視認すること等を目的として用いられる。
【0012】
透明なグレーチングが用いられる場合に、カメラで撮像した画像に基づいて開口部を検知する方法を採用すると、非透明なグレーチングによる開口部は検知できたとしても透明なグレーチングによる開口部を検知できないことがある。なぜならば、非透明なグレーチングに対応する部分の撮像結果が、当該グレーチングが取り外された状態であるか否かに応じて大きく変化するが、透明なグレーチングに対応する部分は、当該グレーチングが取り外された状態であるか否かに応じては変化があまり生じないため、である。
【0013】
そこで、本開示にかかる技術は、透明なグレーチングが取り外された開口部を検知し、より具体的には、クリーンルームを撮像した画像に基づいて、透明なグレーチングが取り外された開口部を検知する。
【0014】
以下、本実施形態にかかる監視方法及び監視装置を、図面を参照しながら説明する。なお、本明細書において、実質的に同一の機能構成を有する要素においては、同一の符号を付することにより重複説明を省略する。
【0015】
＜監視システム＞
図１は、本実施形態にかかる監視装置を備える監視システムの概略構成を示すブロック図である。図２は、クリーンルーム内の床部の構成及び後述の監視カメラの配置を説明するための図である。図３は、後述のカラーフィルムが貼り付けられた状態の透明なグレーチングの概略を示す断面図である。図４及び図５はそれぞれ、監視カメラにより撮像される画像の一例を示す図である。
図１は、本実施形態にかかる監視装置を備える監視システムの概略構成を示すブロック図である。図２は、クリーンルーム内の床部の構成及び後述の監視カメラの配置を説明するための図である。図３は、後述のカラーフィルムが貼り付けられた状態の透明なグレーチングの概略を示す断面図である。図４及び図５はそれぞれ、監視カメラにより撮像される画像の一例を示す図である。
【0016】
図１の監視システム１は、クリーンルーム内の床部を監視する監視装置１０と、クリーンルーム内の床部を撮像する撮像モジュールとしての監視カメラ２０とを備える。この監視システム１は、図２に示すようにクリーンルームの床部に取り付けれられたグレーチングＧが透明グレーチングＧｔを少なくとも一部に含む場合に用いられるものである。なお、以下では、透明グレーチングＧｔ以外のグレーチングＧを非透明グレーチングＧｎといい、透明グレーチングＧｔ及び非透明グレーチングＧｎを総称してグレーチングＧという。
【0017】
監視システム１の監視対象の床部に設けられた透明グレーチングＧｔそれぞれには、貼付体としてのカラーフィルムＣＦが貼り付けられている。
【0018】
透明グレーチングＧｔは、透明であり、具体的には、無色透明であり、その本体部Ｇ１が無色透明である。なお、透明グレーチングＧｔは、本体部Ｇ１を保持するフレームＧ２も有する。
【0019】
カラーフィルムＣＦは、透明グレーチングＧｔの略全体（例えば９０％以上）を覆うように透明グレーチングＧｔに貼り付けられる。具体的には、カラーフィルムＣＦは、透明グレーチングＧｔの本体部Ｇ１の略全体（例えば９０％以上）を覆うように、本体部Ｇ１に貼り付けられる。
【0020】
カラーフィルムＣＦは、透明グレーチングＧｔと同様、透明である。具体的には、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔが取り付けられた状態で作業員が床下部の状態を視認することができる程度な透明性を、カラーフィルムＣＦを有する。
ただし、カラーフィルムＣＦは、透明グレーチングＧｔと異なり、非黒系色を有する。
なお、透明グレーチングＧｔにカラーフィルムＣＦが貼り付けられた状態で作業員がカラーフィルムＣＦに躓くこと等がないよう、カラーフィルムＣＦは薄く形成される。例えば、カラーフィルムＣＦの厚さは０．１ｍｍ以下である。
ただし、カラーフィルムＣＦは、透明グレーチングＧｔと異なり、非黒系色を有する。
なお、透明グレーチングＧｔにカラーフィルムＣＦが貼り付けられた状態で作業員がカラーフィルムＣＦに躓くこと等がないよう、カラーフィルムＣＦは薄く形成される。例えば、カラーフィルムＣＦの厚さは０．１ｍｍ以下である。
【0021】
監視システム１は図１に示すようにカラーフィルムＣＦを含んでもよい。
【0022】
監視装置１０は、本体部１１、表示部１２、警報部１３、入力部１４とを有する。
【0023】
本体部１１は、例えばＣＰＵ等のプロセッサやメモリ等を備えたコンピュータであり、記憶部１１ａと、制御部１１ｂとを有する。
記憶部１１ａは、各種情報を記憶するものであり、ＲＡＭ等のメモリやＨＤＤ等のストレージデバイスを有する。記憶部１１ａには、後述の監視フローを実行するための指令を含むプログラム等が記憶されている。上記プログラムは、コンピュータに読み取り可能な記憶媒体Ｈに記録されていたものであって、当該記憶媒体Ｈから本体部１１にインストールされたものであってもよい。また、上記記憶媒体Ｈは、一時的なものであっても非一時的なものであってもよい。
記憶部１１ａは、各種情報を記憶するものであり、ＲＡＭ等のメモリやＨＤＤ等のストレージデバイスを有する。記憶部１１ａには、後述の監視フローを実行するための指令を含むプログラム等が記憶されている。上記プログラムは、コンピュータに読み取り可能な記憶媒体Ｈに記録されていたものであって、当該記憶媒体Ｈから本体部１１にインストールされたものであってもよい。また、上記記憶媒体Ｈは、一時的なものであっても非一時的なものであってもよい。
【0024】
表示部１２は、各種画像を表示するものであって、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等から構成されている。
【0025】
警報部１３は、光または音の少なくともいずれか一方により警報を発する。音による警報は、警報音を発する形態であっても、音声によって警告メッセージを読み上げる形態であってもよい。この警報部１３は例えば監視対象のクリーンルーム内の半導体製造装置ＳＡ（図２参照）に設けられる。
【0026】
入力部１４は、作業員が指示を入力するためのものであり、例えば、タッチパネルやキーボードを含む。
【0027】
監視カメラ２０は、図２に示すように、グレーチングＧが着脱自在に取り付けられるクリーンルーム内の床部を撮像する。監視カメラ２０の監視対象のクリーンルーム内の床部には、塗布現像装置等の半導体製造装置ＳＡが載置される。
監視カメラ２０は、少なくとも、クリーンルーム内の床部における半導体製造装置ＳＡが載置されない領域すなわち作業員が通行する領域を撮像可能に、配設されている。例えば、平面視において半導体製造装置ＳＡの各辺部に沿う床部と平面視において半導体製造装置ＳＡの各角部と対向する床部とを撮像するように、６つの監視カメラ２０が設けられている。また、６つの監視カメラ２０は、半導体製造装置ＳＡの周囲の全てのグレーチングＧが監視カメラ２０の視野内に入るように配設されている。
監視カメラ２０は、少なくとも、クリーンルーム内の床部における半導体製造装置ＳＡが載置されない領域すなわち作業員が通行する領域を撮像可能に、配設されている。例えば、平面視において半導体製造装置ＳＡの各辺部に沿う床部と平面視において半導体製造装置ＳＡの各角部と対向する床部とを撮像するように、６つの監視カメラ２０が設けられている。また、６つの監視カメラ２０は、半導体製造装置ＳＡの周囲の全てのグレーチングＧが監視カメラ２０の視野内に入るように配設されている。
【0028】
監視カメラ２０は例えば半導体製造装置ＳＡに取り付けられる。なお、監視カメラ２０の少なくとも一部は、半導体製造装置ＳＡ以外に取り付けられてもよく、具体的には、例えば、クリーンルームの天井部や壁部、クリーンルーム内の他の装置に取り付けられていてもよい。
【0029】
また、監視カメラ２０はそれぞれ、視野内のクリーンルームをカラーで撮像する。
監視カメラ２０それぞれで撮像されたクリーンルームの画像（具体的には床部を含むクリーンルームのカラー画像）は、監視装置１０に出力され記憶部１１ａに記憶される。
監視カメラ２０それぞれで撮像されたクリーンルームの画像（具体的には床部を含むクリーンルームのカラー画像）は、監視装置１０に出力され記憶部１１ａに記憶される。
【0030】
監視装置１０は、監視カメラ２０毎に、撮像されたクリーンルームの画像を用いて、クリーンルームの監視を行う。監視装置１０による監視中、監視カメラ２０はそれぞれ順次撮像を行う。
また、監視カメラ２０はそれぞれ、監視装置１０による監視の開始前に、すなわち、事前に、以下の条件を満たす状態で、クリーンルーム内をカラーで撮像する。
・視野内のグレーチングＧが全て取り付けられている（すなわち視野内にグレーチングＧが取り外された開口部が存在しない）。
・クリーンルーム内を移動する移動体（例えば作業者等）が視野内に存在しない。
また、監視カメラ２０はそれぞれ、監視装置１０による監視の開始前に、すなわち、事前に、以下の条件を満たす状態で、クリーンルーム内をカラーで撮像する。
・視野内のグレーチングＧが全て取り付けられている（すなわち視野内にグレーチングＧが取り外された開口部が存在しない）。
・クリーンルーム内を移動する移動体（例えば作業者等）が視野内に存在しない。
【0031】
この状態で撮像された図４で例示する画像Ｉ０は、監視の基準となる基準画像（以下、基準画像Ｉ０）として、監視カメラ２０の記憶部１１ａに記憶される。なお、図４の基準画像Ｉ０には、グレーチングＧの他、床部上の半導体製造装置ＳＡ、クリーンルームの壁部Ｗ等が示されている。この基準画像Ｉ０も監視装置１０によるクリーンルームの監視に用いられる。
【0032】
なお、図５で例示する画像Ｉｅは、非透明グレーチングＧｎによる開口部Ｏｐ１及びカラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２が形成された状態のクリーンルーム内が撮像されたものである。
【0033】
以下では、説明の簡易化のため、監視カメラ２０は１台であるものとする
【0034】
上述のように構成される監視システム１において、監視装置１０は、クリーンルームの監視の一環として、グレーチングＧが取り外された開口部の検知を行う。具体的には、監視装置１０の制御部１１ｂが、監視カメラ２０で撮像されたクリーンルームの画像に基づいて開口部を検知する。より具体的には、監視装置１０の制御部１１ｂが、監視中に監視カメラ２０で撮像されたクリーンルームの画像と、上述の基準画像Ｉ０とに基づいて、開口部を検知する。
【0035】
監視中に非透明グレーチングＧｎによる開口部Ｏｐ１が形成された場合、監視カメラ２０で撮像されるクリーンルームの画像は、図５の画像Ｉｅで例示するように、開口部Ｏｐ１が形成されていない状態で撮像された基準画像Ｉ０から、開口部Ｏｐ１に対応する部分が変化する。
そのため、監視装置１０の制御部１１ｂは、監視中に監視カメラ２０で撮像されたクリーンルームの画像と、上述の基準画像Ｉ０と、の比較結果に基づいて、非透明グレーチングＧｎによる開口部Ｏｐ１を検知する。
そのため、監視装置１０の制御部１１ｂは、監視中に監視カメラ２０で撮像されたクリーンルームの画像と、上述の基準画像Ｉ０と、の比較結果に基づいて、非透明グレーチングＧｎによる開口部Ｏｐ１を検知する。
【0036】
一方、監視中にカラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２が形成された場合も、監視カメラ２０で撮像されるクリーンルームの画像は、図５の画像Ｉｅで例示するように、開口部Ｏｐ２が形成されていない状態で撮像された基準画像Ｉ０から、開口部Ｏｐ２に対応する部分が変化する。
そのため、監視装置１０の制御部１１ｂは、監視中に監視カメラ２０で撮像されたクリーンルームの画像と、上述の基準画像Ｉ０と、の比較結果に基づいて、透明グレーチングＧｔによる開口部Ｏｐ２も検知する。
そのため、監視装置１０の制御部１１ｂは、監視中に監視カメラ２０で撮像されたクリーンルームの画像と、上述の基準画像Ｉ０と、の比較結果に基づいて、透明グレーチングＧｔによる開口部Ｏｐ２も検知する。
【0037】
＜監視装置１０の制御部１１ｂ＞
図６は、クリーンルームの画像に基づく監視に関する監視装置１０の制御部１１ｂの機能ブロック図である。
制御部１１ｂは、図６に示すように、ＣＰＵ等のプロセッサが記憶部１１ａに記憶されたプログラムを読み出して実行することにより実現される、取得部１００と、検知部２００と、報知制御部３００と、を有する。
図６は、クリーンルームの画像に基づく監視に関する監視装置１０の制御部１１ｂの機能ブロック図である。
制御部１１ｂは、図６に示すように、ＣＰＵ等のプロセッサが記憶部１１ａに記憶されたプログラムを読み出して実行することにより実現される、取得部１００と、検知部２００と、報知制御部３００と、を有する。
【0038】
取得部１００は、記憶部１１ａに記憶された、監視カメラ２０に順次撮像されたクリーンルームの画像の中から、検知部２００による検知対象の画像を選択し取得する。取得部１００は、検知対象の画像を時系列に選択する。具体的には、取得部１００は、記憶部１１ａに記憶された、監視カメラ２０に順次撮像されたクリーンルームの画像を、ｎ（ｎは１以上の整数）枚毎に抽出すなわち選択し、取得する。
【0039】
検知部２００は、取得部１００に取得された検知対象のクリーンルームの画像（以下、検知対象画像と省略する場合がある。）に基づいて、グレーチングＧが取り外された開口部を検知する。検知部２００は、抽出部２１０と、除去部２２０と、を有する。
【0040】
抽出部２１０は、検知対象画像から、開口部の候補に相当する部分（以下、開口候補と省略する場合がある。）を抽出する。具体的には、抽出部２１０は、前述の基準画像と検知対象画像とに基づいて、両画像間で画素値に差が生じている画素すなわち部分を、開口候補として、抽出する。
【0041】
より具体的には、抽出部２１０は、カラーの検知対象画像をグレースケール化し、検知対象グレースケール画像を生成する。そして、抽出部２１０は、検知対象グレースケール画像において、輝度値が基準グレースケール画像に比べて所定の閾値以上低い画素すなわち基準グレースケール画像に比べて暗い部分を、開口候補として抽出する。基準グレースケール画像は、カラーの基準画像をグレースケール化したものであり、例えば、予め生成され記憶部１１ａに記憶されている。
このように基準グレースケール画像に比べて暗い部分を開口候補として抽出する理由は、基準グレースケール画像において非透明グレーチングＧｎは比較的明るく示されるのに対し、開口部が形成される場合、検知対象グレースケール画像において開口部が比較的暗く示されるから、である。
このように基準グレースケール画像に比べて暗い部分を開口候補として抽出する理由は、基準グレースケール画像において非透明グレーチングＧｎは比較的明るく示されるのに対し、開口部が形成される場合、検知対象グレースケール画像において開口部が比較的暗く示されるから、である。
【0042】
なお、以下の例では、カラーの検知対象画像及びカラーの基準画像の各色の階調と、検知対象グレースケール画像及び基準グレースケール画像の階調はそれぞれ２５６であるものとする。
【0043】
除去部２２０は、抽出部２１０により抽出された検知対象画像内の開口候補から、特定の開口候補を除去する。除去部２２０は、移動体除去部２２１と、特定色除去部２２２と、物体単位除去部と、を有する。
【0044】
移動体除去部２２１は、検知対象画像を含む時系列に並ぶ複数のクリーンルームの画像に基づいて、移動体に相当する開口候補を除去する。上記時系列に並ぶ複数のクリーンルームの画像とは、具体的には、現在の検知対象画像を含む、取得部１００が順次取得した複数の検知対象画像である。また、移動体には、短時間で閉じられる開口部も含まれる。
この移動体除去部２２１は、第１除去部２２１ａ及び第２除去部２２１ｂを有する。
この移動体除去部２２１は、第１除去部２２１ａ及び第２除去部２２１ｂを有する。
【0045】
第１除去部２２１ａは、上記時系列に並ぶ複数のクリーンルームの画像の比較結果に基づいて、移動体に相当する部分を開口候補から除去する。具体的には、第１除去部２２１ａは、現在の検知対象画像を含む時系列に並ぶ３つの検知対象画像に亘って連続して存在しない開口候補を、移動体として除去する。すなわち、第１除去部２２１ａは、上記時系列に並ぶ３つの検知対象画像全てに存在する開口候補のみが残るよう、該当しない開口候補を移動体として除去する。
【0046】
第２除去部２２１ｂは、第１除去部２２１ａと同様、上記時系列に並ぶ複数のクリーンルームの画像の比較結果に基づいて、移動体に相当する開口候補を除去する。ただし、第２除去部２２１ｂは、比較に用いる、上記時系列に並ぶ複数のクリーンルームの画像が占める時間が、第１除去部２２１ａと異なる。
【0047】
具体的には、第２除去部２２１ｂで上記比較に用いる上記時系列に並ぶ複数のクリーンルームの画像が占める時間は、第１除去部２２１ａで用いる３つの検知対象画像が占める時間より長い。
第２除去部２２１ｂは、より具体的には、第１除去部２２１ａ、後述の特定色除去部２２２及び物体単位除去部２２３による除去後の開口候補が、現在の検知対象画像を含む所定時間に相当する所定の数以上の検知対象画像に亘って連続して存在しない場合、当該開口候補を除去する。
第２除去部２２１ｂは、より具体的には、第１除去部２２１ａ、後述の特定色除去部２２２及び物体単位除去部２２３による除去後の開口候補が、現在の検知対象画像を含む所定時間に相当する所定の数以上の検知対象画像に亘って連続して存在しない場合、当該開口候補を除去する。
【0048】
特定色除去部２２２は、第１除去部２２１ａによる開口候補の除去後、検知対象のクリーンルームの画像における開口候補の色によって、開口候補を絞る。すなわち、特定色除去部２２２は、検知対象画像内の開口候補のうち、カラーの検知対象画像において特定の色を示す開口候補を除去する。開口候補を絞るということは、開口候補を少ない或いは小さい範囲に限定すること、または開口部を特定することと言い換えることができる。
具体的には、監視カメラ２０が撮像するクリーンルームの画像には、開口部が黒系色で示され非透明グレーチングＧｎが非黒系色で示されるため、特定色除去部２２２は、カラーの検知対象画像における色が黒系の開口候補のみが残るよう、開口候補を除去する。すなわち、特定色除去部２２２は、カラーの検知対象画像における色が白系の開口候補と、同画像における色が非白系且つ非黒系すなわち色付きの開口候補を除去する。
具体的には、監視カメラ２０が撮像するクリーンルームの画像には、開口部が黒系色で示され非透明グレーチングＧｎが非黒系色で示されるため、特定色除去部２２２は、カラーの検知対象画像における色が黒系の開口候補のみが残るよう、開口候補を除去する。すなわち、特定色除去部２２２は、カラーの検知対象画像における色が白系の開口候補と、同画像における色が非白系且つ非黒系すなわち色付きの開口候補を除去する。
【0049】
なお、「白系」とは、例えば、画素値のＲ成分、Ｇ成分、Ｂ成分のいずれかが所定の閾値（例えば１００）を超えるという条件（以下、条件Ａ）を満たすことを意味する。また、「非白系且つ非黒系すなわち色付き」であるとは、画素値のＲ成分とＧ成分との差の絶対値、画素値のＲ成分とＧ成分との差の絶対値または画素値のＲ成分とＧ成分との差の絶対値の少なくともいずれか１つが所定の閾値（例えば２０）を超えるという条件（以下、条件Ｂ）を満たすことを意味する。さらに、「非黒系」とは、上記条件Ａまたは条件Ｂの少なくともいずれか一方を満たすことを意味する。以下では、「白色」とは、画素値のＲ成分、Ｇ成分、Ｂ成分の全ての輝度値が２５５であることを意味し、「黒色」とは、画素値のＲ成分、Ｇ成分、Ｂ成分の全ての輝度値が０であることを意味する。
【0050】
物体単位除去部２２３は、検知対象画像内の開口候補の集合を物体として検出し、且つ、検出した物体すなわち開口候補の集合が開口部であり得るかの機械学習による判定を行い、判定の結果に基づいて、開口候補を絞る。
物体単位除去部２２３は、物体検出部２２３ａ、面積除去部２２３ｂ及び判定部２２３ｃを有する。
物体単位除去部２２３は、物体検出部２２３ａ、面積除去部２２３ｂ及び判定部２２３ｃを有する。
【0051】
物体検出部２２３ａは、検知対象画像内の開口候補の集合を、すなわち、検知対象画像内の開口候補である画素の塊を、物体として検出する。この物体検出には、例えば輪郭検出及びブロブ検出が用いられる。
【0052】
面積除去部２２３ｂは、物体検出部２２３ａが検出した物体のうち、面積が所定の第１閾値以下のものと、面積が所定の第２閾値（＞第１閾値）以上のものとを除去する。
これにより、検知対象画像内の開口候補の画素の塊のうち、その面積がクリーンルームの画像中の開口部より明らかに大きいものや明らかに小さいものが除去される。
これにより、検知対象画像内の開口候補の画素の塊のうち、その面積がクリーンルームの画像中の開口部より明らかに大きいものや明らかに小さいものが除去される。
【0053】
判定部２２３ｃは、検知対象画像内における物体検出部２２３ａが検出した物体毎すなわち開口候補の集合毎に、当該物体すなわち開口候補の集合が開口部の画像であり得るかを、機械学習により予め作成されたモデルに基づいて判定する。
【0054】
物体単位除去部２２３は、判定部２２３ｃにおいて開口部の画像であり得ると判定されなかった物体すなわち開口候補の集合に含まれる開口候補を、検知対象画像内の開口候補から除去する。
【0055】
報知制御部３００は、除去部２２０による除去後に検知対象画像内の開口候補が残っていた場合に、検知部２００により開口部が検知されたものとして、表示部１２及び警報部１３を制御して、報知させる。この場合、警報部１３は、報知制御部３００の制御の下、光または音の少なくともいずれか一方により警報を発する。また、この場合、表示部１２は、報知制御部３００の制御の下、開口部が検知されたことを示す画像または開口部の位置を示す画像の少なくともいずれか一方を表示する。開口部の位置を示す画像は、例えば、除去部２２０による除去後に残っている検知対象画像内の開口候補の情報に基づいて生成される。
【0056】
＜監視フロー＞
次に、監視装置１０による監視フローの一例を、図４を参照し、図７～図１３を用いて、説明する。図７は、監視装置１０による監視フローの一例を説明するためのフローチャートである。図８は、検知対象画像の例を示す図である。図９は、検知対象画像にかかる後述の二値化差分画像の一例を示す図である。図１０は、後述の第１除去後画像の一例を示す図である。図１１は、後述の第１置換画像の一例を示す図である。図１２は、後述の第２除去後画像の一例を示す図である。図１３は、後述の第３除去後画像の一例を示す図である。図１２は、監視装置１０による監視フローで検出される物体の例を示す図である。
次に、監視装置１０による監視フローの一例を、図４を参照し、図７～図１３を用いて、説明する。図７は、監視装置１０による監視フローの一例を説明するためのフローチャートである。図８は、検知対象画像の例を示す図である。図９は、検知対象画像にかかる後述の二値化差分画像の一例を示す図である。図１０は、後述の第１除去後画像の一例を示す図である。図１１は、後述の第１置換画像の一例を示す図である。図１２は、後述の第２除去後画像の一例を示す図である。図１３は、後述の第３除去後画像の一例を示す図である。図１２は、監視装置１０による監視フローで検出される物体の例を示す図である。
【0057】
（ステップＳ１：取得工程）
まず、図７に示すように、監視装置１０の制御部１１ｂの取得部１００が、記憶部１１ａに記憶された、監視カメラ２０に順次撮像されたクリーンルームの画像の中から、後段のステップＳ２での次の検知対象として、ｎ（ｎは３以上の整数）番目の検知対象画像Ｉｎを取得する。
以下の説明では、ｎ番目の検知対象画像Ｉｎには、図８に示すように、図４の基準画像Ｉ０には存在しない画像Ｐ１～Ｐ４が示されているものとする。また、以下の説明では、画像Ｐ１は、非透明グレーチングＧｎによる開口部Ｏｐ１を示し、時系列順で検知対象画像Ｉｎより１つ前すなわちｎ－１番目の検知対象画像Ｉｎ－１、２つ前すなわちｎ－２番目の検知対象画像Ｉｎ－２にも示されているものとする。さらに、画像Ｐ２は、グレーチングＧや開口部ではなくグレーチングＧ上に存在するものを示し、検知対象画像Ｉｎ－１及び検知対象画像Ｉｎ－２に示されているものとする。さらにまた、画像Ｐ３は、画像Ｐ２と同様、グレーチングＧ上に存在するものを示すが、検知対象画像Ｉｎ－１にのみ示され検知対象画像Ｉｎ－１には示されていないものとする。また、画像Ｐ４は、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２を示し、検知対象画像Ｉｎ－１及び検知対象画像Ｉｎ－２に示されているものとする。
まず、図７に示すように、監視装置１０の制御部１１ｂの取得部１００が、記憶部１１ａに記憶された、監視カメラ２０に順次撮像されたクリーンルームの画像の中から、後段のステップＳ２での次の検知対象として、ｎ（ｎは３以上の整数）番目の検知対象画像Ｉｎを取得する。
以下の説明では、ｎ番目の検知対象画像Ｉｎには、図８に示すように、図４の基準画像Ｉ０には存在しない画像Ｐ１～Ｐ４が示されているものとする。また、以下の説明では、画像Ｐ１は、非透明グレーチングＧｎによる開口部Ｏｐ１を示し、時系列順で検知対象画像Ｉｎより１つ前すなわちｎ－１番目の検知対象画像Ｉｎ－１、２つ前すなわちｎ－２番目の検知対象画像Ｉｎ－２にも示されているものとする。さらに、画像Ｐ２は、グレーチングＧや開口部ではなくグレーチングＧ上に存在するものを示し、検知対象画像Ｉｎ－１及び検知対象画像Ｉｎ－２に示されているものとする。さらにまた、画像Ｐ３は、画像Ｐ２と同様、グレーチングＧ上に存在するものを示すが、検知対象画像Ｉｎ－１にのみ示され検知対象画像Ｉｎ－１には示されていないものとする。また、画像Ｐ４は、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２を示し、検知対象画像Ｉｎ－１及び検知対象画像Ｉｎ－２に示されているものとする。
【0058】
（ステップＳ２：検知工程）
次いで、検知部２００が、ステップＳ１で取得された検知対象画像Ｉｎに基づいて、開口部を検知する。このステップＳ２の検知工程は、抽出工程（ステップＳ１１）と、除去工程（ステップＳ１２）と、を含む。
次いで、検知部２００が、ステップＳ１で取得された検知対象画像Ｉｎに基づいて、開口部を検知する。このステップＳ２の検知工程は、抽出工程（ステップＳ１１）と、除去工程（ステップＳ１２）と、を含む。
【0059】
（ステップＳ１１：抽出工程）
本工程では、抽出部２１０が、ステップＳ１で取得された検知対象画像Ｉｎから、開口候補を抽出する。
具体的には、抽出部２１０が、カラーの検知対象画像Ｉｎについて、グレースケール化し、検知対象グレースケール画像Ｉｇ、ｎを生成する。そして、抽出部２１０が、検知対象グレースケール画像Ｉｇ、ｎにおいて、グレースケール化した基準画像Ｉ０すなわち基準グレースケール画像Ｉｇ、０に比べて輝度値が所定の閾値以上低い画素を、開口候補として抽出する。
本工程では、抽出部２１０が、ステップＳ１で取得された検知対象画像Ｉｎから、開口候補を抽出する。
具体的には、抽出部２１０が、カラーの検知対象画像Ｉｎについて、グレースケール化し、検知対象グレースケール画像Ｉｇ、ｎを生成する。そして、抽出部２１０が、検知対象グレースケール画像Ｉｇ、ｎにおいて、グレースケール化した基準画像Ｉ０すなわち基準グレースケール画像Ｉｇ、０に比べて輝度値が所定の閾値以上低い画素を、開口候補として抽出する。
【0060】
より具体的には、抽出部２１０が、基準グレースケール画像Ｉｇ、０と検知対象グレースケール画像Ｉｇ、ｎとの差分画像Ｉｄ、ｎを生成する。それと共に、抽出部２１０が、差分画像Ｉｄ、ｎにおいて輝度値が所定の閾値以下の画素すなわち開口候補のみが白色となりそれ以外の画素が黒色となるよう、差分画像Ｉｄ、ｎを二値化処理し、図９で例示する検知対象画像Ｉｎについての二値化差分画像Ｉｔ、ｎを生成する。すなわち、二値化差分画像Ｉｔ、ｎにおいて白色の画素は開口候補である。この二値化差分画像Ｉｔ、ｎにおいて、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分が白色となるよう、カラーフィルムＣＦの色は非黒系色の中から選択される。そのため、二値化差分画像Ｉｔ、ｎには、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部ｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分ｐ４も、白色の画素すなわち開口候補として存在する。
【0061】
（ステップＳ１２：除去工程）
本工程では、除去部２２０が、ステップＳ１１で抽出された検知対象画像Ｉｎ内の開口候補から、特定の開口候補を除去する。このステップＳ１２の除去工程は、移動体除去工程（ステップＳ２１）と、特定色除去工程（ステップＳ２２）と、物体単位除去工程（ステップＳ２３）と、時間判定工程（ステップＳ２４）と、を含む。
本工程では、除去部２２０が、ステップＳ１１で抽出された検知対象画像Ｉｎ内の開口候補から、特定の開口候補を除去する。このステップＳ１２の除去工程は、移動体除去工程（ステップＳ２１）と、特定色除去工程（ステップＳ２２）と、物体単位除去工程（ステップＳ２３）と、時間判定工程（ステップＳ２４）と、を含む。
【0062】
（ステップＳ２１：移動体除去工程）
本工程では、第１除去部２２１ａが、検知対象画像Ｉｎを含む複数のクリーンルームの画像の比較結果に基づいて、移動体に相当する部分を開口候補から除去する。
具体的には、第１除去部２２１ａが、現在の検知対象画像Ｉｎを含む検知対象画像Ｉｎ、Ｉｎ－１、Ｉｎ－２内に、これら３つの画像全てに亘って連続して存在しない開口候補を、移動体として除去する。
より具体的には、第１除去部２２１ａが、検知対象画像Ｉｎの二値化差分画像Ｉｔ、ｎの白色の画素のうち、検知対象画像Ｉｎ－１、Ｉｎ－２についての二値化差分画像Ｉｔ、ｎ－１、Ｉｔ、ｎ－２のいずれかで黒色となっている画素を黒色化し、図１０で例示する第１除去後画像Ｉｒ１、ｎを生成する。第１除去後画像Ｉｒ１、ｎにおいても白色の画素は開口候補である。また、第１除去後画像Ｉｒ１、ｎには、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部ｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分ｐ４も、除去されずに、白色の画素すなわち開口候補として残る。
本工程では、第１除去部２２１ａが、検知対象画像Ｉｎを含む複数のクリーンルームの画像の比較結果に基づいて、移動体に相当する部分を開口候補から除去する。
具体的には、第１除去部２２１ａが、現在の検知対象画像Ｉｎを含む検知対象画像Ｉｎ、Ｉｎ－１、Ｉｎ－２内に、これら３つの画像全てに亘って連続して存在しない開口候補を、移動体として除去する。
より具体的には、第１除去部２２１ａが、検知対象画像Ｉｎの二値化差分画像Ｉｔ、ｎの白色の画素のうち、検知対象画像Ｉｎ－１、Ｉｎ－２についての二値化差分画像Ｉｔ、ｎ－１、Ｉｔ、ｎ－２のいずれかで黒色となっている画素を黒色化し、図１０で例示する第１除去後画像Ｉｒ１、ｎを生成する。第１除去後画像Ｉｒ１、ｎにおいても白色の画素は開口候補である。また、第１除去後画像Ｉｒ１、ｎには、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部ｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分ｐ４も、除去されずに、白色の画素すなわち開口候補として残る。
【0063】
（ステップＳ２２：特定色除去工程）
本工程では、特定色除去部２２２が、カラーの検知対象画像Ｉｎにおける色によって、検知対象画像Ｉｎ内の開口候補を絞る。このステップＳ２２の特定色除去工程は、色付き候補除去工程（ステップＳ２２ａ）と、白色候補除去工程（ステップＳ２２ｂ）と、を含む。
本工程では、特定色除去部２２２が、カラーの検知対象画像Ｉｎにおける色によって、検知対象画像Ｉｎ内の開口候補を絞る。このステップＳ２２の特定色除去工程は、色付き候補除去工程（ステップＳ２２ａ）と、白色候補除去工程（ステップＳ２２ｂ）と、を含む。
【0064】
（ステップＳ２２ａ：色付き候補除去工程）
本工程では、特定色除去部２２２が、検知対象画像Ｉｎ内の開口候補から、カラーの検知対象画像Ｉｎにおける色が非白系且つ非黒系すなわち色付きの開口候補を除去する。
具体的には、特定色除去部２２２が、カラーの検知対象画像Ｉｎにおいて、画素値のＲ成分とＧ成分との差の絶対値、画素値のＲ成分とＧ成分との差の絶対値または画素値のＲ成分とＧ成分との差の絶対値の少なくともいずれか１つが所定の閾値を超える画素を、検知対象画像Ｉｎ内の開口候補から除去する。
本工程では、特定色除去部２２２が、検知対象画像Ｉｎ内の開口候補から、カラーの検知対象画像Ｉｎにおける色が非白系且つ非黒系すなわち色付きの開口候補を除去する。
具体的には、特定色除去部２２２が、カラーの検知対象画像Ｉｎにおいて、画素値のＲ成分とＧ成分との差の絶対値、画素値のＲ成分とＧ成分との差の絶対値または画素値のＲ成分とＧ成分との差の絶対値の少なくともいずれか１つが所定の閾値を超える画素を、検知対象画像Ｉｎ内の開口候補から除去する。
【0065】
より具体的には、例えば、まず、特定色除去部２２２が、第１除去後画像Ｉｒ１、ｎにおける白色の画素の画素値を、カラーの検知対象画像Ｉｎの画素値で置き換えると共に、第１除去後画像Ｉｒ、ｎにおける黒色の画素の画素値を、最高の輝度値（２５５）のＲ成分、Ｇ成分またはＢ成分のみを有する色に置き換える。これにより、特定色除去部２２２は、図１１で例示する第１置換画像Ｉｃ１、ｎを生成する。
次いで、特定色除去部２２２は、第１置換画像Ｉｃ１、ｎからＲ成分、Ｇ成分及びＢ成分それぞれのみを抽出した画像を生成する。すなわち、特定色除去部２２２は、第１置換画像Ｉｃ１、ｎについて、Ｒ成分の輝度画像ＩRｃ、ｎ、Ｇ成分の輝度画像ＩGｃ、ｎ及びＢ成分の輝度画像ＩBｃ、ｎを生成する。
その後、特定色除去部２２２は、Ｒ成分の輝度画像ＩRｃ、ｎとＧ成分の輝度画像ＩGｃ、ｎとの差分画像ＩＲ－Ｇ、ｄ、ｎを生成する。それと共に、特定色除去部２２２が、差分画像ＩＲ－Ｇ、ｄ、ｎにおいて輝度値が所定の閾値以下の画素が白色となりそれ以外の画素が黒色となるよう、差分画像ＩＲ－Ｇ、ｄ、ｎを二値化処理し、Ｒ成分とＧ成分とについての二値化差分画像ＩＲ－Ｇ、ｔ、ｎを生成する。
同様に、特定色除去部２２２は、Ｇ成分の輝度画像ＩＧｃ、ｎとＧ成分の輝度画像ＩＢｃ、ｎとに基づいて、Ｇ成分とＢ成分とについての二値化差分画像ＩＧ－Ｂ、ｔ、ｎを生成する。また、特定色除去部２２２は、Ｂ成分の輝度画像ＩＢｃ、ｎとＲ成分の輝度画像ＩＲｃ、ｎとに基づいて、Ｂ成分とＲ成分とについての二値化差分画像ＩＢ－Ｇ、ｔ、ｎを生成する。
そして、特定色除去部２２２は、二値化差分画像ＩＲ－Ｇ、ｔ、ｎ、ＩＧ－Ｂ、ｔ、ｎ、ＩＲ－Ｇ、ｔ、ｎの全てで白色となる画素を抽出する。すなわち、特定色除去部２２２は、図１２で例示する第２除去後画像Ｉｒ２、ｎを生成する。第２除去後画像Ｉｒ２、ｎは、二値化差分画像ＩＲ－Ｇ、ｔ、ｎ、ＩＧ－Ｂ、ｔ、ｎ、ＩＲ－Ｇ、ｔ、ｎの全てで白色となる画素のみが白色となり、それ以外の画素が黒色となっている。また、第２除去後画像Ｉｒ２、ｎは、白色の画素が開口候補であり、第１除去後画像Ｉｒ１、ｎから色付きの開口候補に対応する白色の画素群Ｐ２１を除いたものである。また、第２除去後画像Ｉｒ２、ｎには、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部ｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分ｐ４も、除去されずに、白色の画素すなわち開口候補として残る。
次いで、特定色除去部２２２は、第１置換画像Ｉｃ１、ｎからＲ成分、Ｇ成分及びＢ成分それぞれのみを抽出した画像を生成する。すなわち、特定色除去部２２２は、第１置換画像Ｉｃ１、ｎについて、Ｒ成分の輝度画像ＩRｃ、ｎ、Ｇ成分の輝度画像ＩGｃ、ｎ及びＢ成分の輝度画像ＩBｃ、ｎを生成する。
その後、特定色除去部２２２は、Ｒ成分の輝度画像ＩRｃ、ｎとＧ成分の輝度画像ＩGｃ、ｎとの差分画像ＩＲ－Ｇ、ｄ、ｎを生成する。それと共に、特定色除去部２２２が、差分画像ＩＲ－Ｇ、ｄ、ｎにおいて輝度値が所定の閾値以下の画素が白色となりそれ以外の画素が黒色となるよう、差分画像ＩＲ－Ｇ、ｄ、ｎを二値化処理し、Ｒ成分とＧ成分とについての二値化差分画像ＩＲ－Ｇ、ｔ、ｎを生成する。
同様に、特定色除去部２２２は、Ｇ成分の輝度画像ＩＧｃ、ｎとＧ成分の輝度画像ＩＢｃ、ｎとに基づいて、Ｇ成分とＢ成分とについての二値化差分画像ＩＧ－Ｂ、ｔ、ｎを生成する。また、特定色除去部２２２は、Ｂ成分の輝度画像ＩＢｃ、ｎとＲ成分の輝度画像ＩＲｃ、ｎとに基づいて、Ｂ成分とＲ成分とについての二値化差分画像ＩＢ－Ｇ、ｔ、ｎを生成する。
そして、特定色除去部２２２は、二値化差分画像ＩＲ－Ｇ、ｔ、ｎ、ＩＧ－Ｂ、ｔ、ｎ、ＩＲ－Ｇ、ｔ、ｎの全てで白色となる画素を抽出する。すなわち、特定色除去部２２２は、図１２で例示する第２除去後画像Ｉｒ２、ｎを生成する。第２除去後画像Ｉｒ２、ｎは、二値化差分画像ＩＲ－Ｇ、ｔ、ｎ、ＩＧ－Ｂ、ｔ、ｎ、ＩＲ－Ｇ、ｔ、ｎの全てで白色となる画素のみが白色となり、それ以外の画素が黒色となっている。また、第２除去後画像Ｉｒ２、ｎは、白色の画素が開口候補であり、第１除去後画像Ｉｒ１、ｎから色付きの開口候補に対応する白色の画素群Ｐ２１を除いたものである。また、第２除去後画像Ｉｒ２、ｎには、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部ｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分ｐ４も、除去されずに、白色の画素すなわち開口候補として残る。
【0066】
（ステップＳ２２ｂ：白系候補除去工程）
本工程では、特定色除去部２２２が、検知対象画像Ｉｎ内の開口候補から、カラーの検知対象画像Ｉｎにおける色が白系の開口候補を除去する。
具体的には、カラーの検知対象画像Ｉｎにおいて、画素値のＲ成分、Ｇ成分、Ｂ成分のいずれかが所定の閾値（例えば２０）を超える画素を、検知対象画像Ｉｎ内の開口候補から除去する。
本工程では、特定色除去部２２２が、検知対象画像Ｉｎ内の開口候補から、カラーの検知対象画像Ｉｎにおける色が白系の開口候補を除去する。
具体的には、カラーの検知対象画像Ｉｎにおいて、画素値のＲ成分、Ｇ成分、Ｂ成分のいずれかが所定の閾値（例えば２０）を超える画素を、検知対象画像Ｉｎ内の開口候補から除去する。
【0067】
より具体的には、例えば、まず、特定色除去部２２２が、第２除去後画像Ｉｒ２、ｎにおける白色の画素の画素値を、カラーの検知対象画像Ｉｎの画素値で置き換えると共に、第１除去後画像Ｉｒ、ｎにおける黒色の画素の画素値を、白色に置き換える。これにより、特定色除去部２２２は、第２置換画像Ｉｃ２、ｎを生成する。
次いで、特定色除去部２２２は、画素値のＲ成分、Ｇ成分、Ｂ成分のいずれかが所定の閾値（例えば２０）を超える画素が黒色となりそれ以外が白い色となるよう、第２置換画像Ｉｃ２、ｎを変換し、図１３で例示する第３除去後画像Ｉｒ３、ｎを生成する。第３除去後画像Ｉｒ３、ｎにおいても白色の画素が開口候補である。また、第３除去後画像Ｉｒ３、ｎは、第２除去後画像Ｉｒ２、ｎから白系の開口候補に対応する白色の画素群Ｐ２２を除いたものである。さらに、第３除去後画像Ｉｒ３、ｎには、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部ｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分ｐ４も、除去されずに、白色の画素すなわち開口候補として残る。
次いで、特定色除去部２２２は、画素値のＲ成分、Ｇ成分、Ｂ成分のいずれかが所定の閾値（例えば２０）を超える画素が黒色となりそれ以外が白い色となるよう、第２置換画像Ｉｃ２、ｎを変換し、図１３で例示する第３除去後画像Ｉｒ３、ｎを生成する。第３除去後画像Ｉｒ３、ｎにおいても白色の画素が開口候補である。また、第３除去後画像Ｉｒ３、ｎは、第２除去後画像Ｉｒ２、ｎから白系の開口候補に対応する白色の画素群Ｐ２２を除いたものである。さらに、第３除去後画像Ｉｒ３、ｎには、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部ｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分ｐ４も、除去されずに、白色の画素すなわち開口候補として残る。
【0068】
（ステップＳ２３：物体単位除去工程）
本工程では、物体単位除去部２２３が、検知対象画像Ｉｎ内の開口候補の集合を物体として検出し、且つ、検出した物体すなわち開口候補の集合が開口部であり得るかの機械学習による判定を行い、判定の結果に基づいて、開口候補を絞る。このステップＳ２３の物体単位除去工程は、物体検出工程（ステップＳ２３ａ）と、面積除去工程（ステップＳ２３ｂ）と、開口判定工程（ステップＳ２３ｃ）と、を含む。
本工程では、物体単位除去部２２３が、検知対象画像Ｉｎ内の開口候補の集合を物体として検出し、且つ、検出した物体すなわち開口候補の集合が開口部であり得るかの機械学習による判定を行い、判定の結果に基づいて、開口候補を絞る。このステップＳ２３の物体単位除去工程は、物体検出工程（ステップＳ２３ａ）と、面積除去工程（ステップＳ２３ｂ）と、開口判定工程（ステップＳ２３ｃ）と、を含む。
【0069】
（ステップＳ２３ａ：物体検出工程）
本工程では、物体検出部２２３ａが、検知対象画像Ｉｎ内の開口候補の集合を物体として検出する。
具体的には、物体検出部２２３ａが、第３除去後画像Ｉｒ３、ｎに対し、輪郭検出及びブロブ検出を行い、第３除去後画像Ｉｒ３、ｎ内の開口候補である白色の画素の塊を、物体として検出する。これにより、第３除去後画像Ｉｒ３、ｎから例えば図１４に示すように物体Ｂ１、Ｂ２、Ｂ４が検出される。物体Ｂ１は、非透明グレーチングＧｎによる開口部Ｏｐに対応し、物体Ｂ４は、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する。
本工程では、物体検出部２２３ａが、検知対象画像Ｉｎ内の開口候補の集合を物体として検出する。
具体的には、物体検出部２２３ａが、第３除去後画像Ｉｒ３、ｎに対し、輪郭検出及びブロブ検出を行い、第３除去後画像Ｉｒ３、ｎ内の開口候補である白色の画素の塊を、物体として検出する。これにより、第３除去後画像Ｉｒ３、ｎから例えば図１４に示すように物体Ｂ１、Ｂ２、Ｂ４が検出される。物体Ｂ１は、非透明グレーチングＧｎによる開口部Ｏｐに対応し、物体Ｂ４は、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する。
【0070】
（ステップＳ２３ｂ：面積除去工程）
本工程では、面積除去部２２３ｂが、ステップＳ２３ａで検出された第３除去後画像Ｉｒ３、ｎ内の物体（すなわち白色の画素の塊）のうち、面積が所定の第１閾値以下のものと、面積が所定の第２閾値（＞第１閾値）以上のものとを、それを除去する。なお、該当する物体がなければ、物体の除去は行われない。
本工程では、面積除去部２２３ｂが、ステップＳ２３ａで検出された第３除去後画像Ｉｒ３、ｎ内の物体（すなわち白色の画素の塊）のうち、面積が所定の第１閾値以下のものと、面積が所定の第２閾値（＞第１閾値）以上のものとを、それを除去する。なお、該当する物体がなければ、物体の除去は行われない。
【0071】
（ステップＳ２３ｃ：開口判定工程）
本工程では、判定部２２３ｃが、ステップＳ２３ｃで検出された物体毎に、当該物体が開口部の画像であり得るかを、機械学習により予め作成されたモデルに基づいて判定する。
具体的には、判定部２２３ｃが、ステップＳ２３ａで検出されステップＳ２３ｂ後も残った物体毎に、当該物体が開口部の画像であり得るかを、機械学習により予め作成されたモデルに基づいて判定する。例えば、判定部２２３ｃが、図１４の物体Ｂ１、Ｂ２、Ｂ４それぞれについて、開口部の画像であり得るかを、機械学習により予め作成されたモデルに基づいて判定する。
本工程では、判定部２２３ｃが、ステップＳ２３ｃで検出された物体毎に、当該物体が開口部の画像であり得るかを、機械学習により予め作成されたモデルに基づいて判定する。
具体的には、判定部２２３ｃが、ステップＳ２３ａで検出されステップＳ２３ｂ後も残った物体毎に、当該物体が開口部の画像であり得るかを、機械学習により予め作成されたモデルに基づいて判定する。例えば、判定部２２３ｃが、図１４の物体Ｂ１、Ｂ２、Ｂ４それぞれについて、開口部の画像であり得るかを、機械学習により予め作成されたモデルに基づいて判定する。
【0072】
そして、判定の結果、開口部の画像であり得ると判定されなかった場合、物体単位除去部２２３は、該当する物体すなわち開口候補の集合に含まれる開口候補を、検知対象画像Ｉｎ内の開口候補から除去する。例えば、物体Ｂ２については、開口部の画像であり得ると判定されないため、物体単位除去部２２３は、物体Ｂ２に含まれる開口候補を、検知対象画像Ｉｎ内の開口候補から除去する。
一方、判定の結果、開口部の画像であり得ると判定された場合、物体単位除去部２２３は、該当する物体すなわち開口候補の集合に含まれる開口候補を、検知対象画像Ｉｎ内の開口候補から除去しない。例えば、物体Ｂ１、Ｂ４については、開口部の画像であり得ると判定されるため、物体単位除去部２２３は、物体Ｂ１、Ｂ４に含まれる開口候補を、検知対象画像Ｉｎ内の開口候補から除去しない。
一方、判定の結果、開口部の画像であり得ると判定された場合、物体単位除去部２２３は、該当する物体すなわち開口候補の集合に含まれる開口候補を、検知対象画像Ｉｎ内の開口候補から除去しない。例えば、物体Ｂ１、Ｂ４については、開口部の画像であり得ると判定されるため、物体単位除去部２２３は、物体Ｂ１、Ｂ４に含まれる開口候補を、検知対象画像Ｉｎ内の開口候補から除去しない。
【0073】
（ステップＳ２４：時間判定工程）
本工程では、ステップＳ２３ｃ後も、検知対象画像Ｉｎ内の開口候補が残っている場合、第２除去部２２１ｂが、当該開口候補が所定時間以上連続して存在するか否か判定する。上記所定時間は、少なくとも、時系列に並ぶ３つの検知対象画像Ｉｎ、Ｉｎ－１、Ｉｎ－２が占める時間よりも長く、例えば１０秒である。
本工程では、具体的には、ステップＳ２３ｃ後も、検知対象画像Ｉｎ内の開口候補が残っている場合、第２除去部２２１ｂが、例えば、当該開口候補が、時系列に並び且つ検知対象画像Ｉｎを含む、上記所定時間に相当する以上の数の検知対象画像に亘って連続して存在するか否か判定する。
つまり、この判定は、検知対象画像Ｉｎを含む時系列に並ぶ複数の検知対象画像の比較結果に基づいて行われ、また、この判定に用いられる検知対象画像の総数は、上記所定時間に相当する数以上である。
本工程では、ステップＳ２３ｃ後も、検知対象画像Ｉｎ内の開口候補が残っている場合、第２除去部２２１ｂが、当該開口候補が所定時間以上連続して存在するか否か判定する。上記所定時間は、少なくとも、時系列に並ぶ３つの検知対象画像Ｉｎ、Ｉｎ－１、Ｉｎ－２が占める時間よりも長く、例えば１０秒である。
本工程では、具体的には、ステップＳ２３ｃ後も、検知対象画像Ｉｎ内の開口候補が残っている場合、第２除去部２２１ｂが、例えば、当該開口候補が、時系列に並び且つ検知対象画像Ｉｎを含む、上記所定時間に相当する以上の数の検知対象画像に亘って連続して存在するか否か判定する。
つまり、この判定は、検知対象画像Ｉｎを含む時系列に並ぶ複数の検知対象画像の比較結果に基づいて行われ、また、この判定に用いられる検知対象画像の総数は、上記所定時間に相当する数以上である。
【0074】
本工程では、より具体的には、第２除去部２２１ｂが、上記所定時間に相当する以上の数の検知対象画像の全てにおいて、該当する開口候補がステップＳ２３ｃ後も存在するか否か判定する。
【0075】
判定の結果、ステップＳ２３ｃ後も残っていた開口候補が所定時間以上連続して存在していると判定されなかった場合（ＮＯの場合）、ステップＳ２３ｃ後も残っていた開口候補を全て第２除去部２２１ｂが移動体として除去したように検知部２００が処理する。そして、検知部２００により開口部が検知されていないものとして、監視フローがステップＳ１に戻される
【0076】
一方、ステップＳ２４での判定の結果、ステップＳ２３ｃ後も残っていた開口候補が所定時間以上連続して存在していると判定された場合（ＮＯの場合）、除去部２２０による除去後も開口候補が残っており検知部２００により開口部が検知されたものとして、監視フローがステップＳ３に進められる。
【0077】
（ステップＳ３：報知）
そして、報知制御部３００が、表示部１２及び警報部１３を制御して、開口部が検知されたことを報知させる。
具体的には、報知制御部３００の制御の下、警報部１３が、光または音の少なくともいずれか一方により警報を発する。また、報知制御部３００の制御の下、表示部１２が、例えば、開口部の位置を示す画像の少なくともいずれか一方を表示する。開口部の位置を示す画像は、例えば、監視カメラ２０で現在撮像しているクリーンルームの画像に、ステップＳ２３ｃの開口判定工程で開口部の画像であり得ると判定された物体の輪郭を強調色で重ねた画像である。
そして、報知制御部３００が、表示部１２及び警報部１３を制御して、開口部が検知されたことを報知させる。
具体的には、報知制御部３００の制御の下、警報部１３が、光または音の少なくともいずれか一方により警報を発する。また、報知制御部３００の制御の下、表示部１２が、例えば、開口部の位置を示す画像の少なくともいずれか一方を表示する。開口部の位置を示す画像は、例えば、監視カメラ２０で現在撮像しているクリーンルームの画像に、ステップＳ２３ｃの開口判定工程で開口部の画像であり得ると判定された物体の輪郭を強調色で重ねた画像である。
【0078】
上記監視フローによれば、上述から明らかなように、検知対象画像Ｉｎにおける開口候補として、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２に対応する部分が、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部分と同様に、抽出され且つ残り続ける。したがって、上記監視フローでは、非透明グレーチングＧｎによる開口部Ｏｐ１だけでなく、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２も検出することができる。
【0079】
＜主な効果＞
上述のように、本実施形態にかかる、床部にグレーチングＧが配置されたクリーンルーム内を監視するための監視方法は、監視カメラ２０に撮像されたクリーンルームの画像に基づいて、グレーチングＧが取り外された開口部を検知する工程を含む。また、グレーチングＧが透明グレーチングＧｔを含む。そして、透明グレーチングＧｔにカラーフィルムＣＦが貼り付けられている。そのため、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２が形成された場合と形成されていない場合とで、監視カメラ２０で撮像されるクリーンルームの画像は、開口部Ｏｐ２に対応する部分が変化する。したがって、検知する工程において、透明グレーチングＧｔによる開口部Ｏｐ２を検知することができる。
上述のように、本実施形態にかかる、床部にグレーチングＧが配置されたクリーンルーム内を監視するための監視方法は、監視カメラ２０に撮像されたクリーンルームの画像に基づいて、グレーチングＧが取り外された開口部を検知する工程を含む。また、グレーチングＧが透明グレーチングＧｔを含む。そして、透明グレーチングＧｔにカラーフィルムＣＦが貼り付けられている。そのため、カラーフィルムＣＦが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ２が形成された場合と形成されていない場合とで、監視カメラ２０で撮像されるクリーンルームの画像は、開口部Ｏｐ２に対応する部分が変化する。したがって、検知する工程において、透明グレーチングＧｔによる開口部Ｏｐ２を検知することができる。
【0080】
また、本実施形態にかかる監視方法は、上記検知する工程が、（Ａ）検知対象のクリーンルームの画像すなわち検知対象画像から開口候補を抽出する工程と、（Ｂ）検知対象画像を含む時系列に並ぶ複数の画像に基づいて、移動体に相当する開口候補を除去する工程と、（Ｃ）次いで、検知対象画像における開口候補の色によって開口候補を絞る工程と、を含む。
したがって、本実施形態によれば、監視カメラ２０に撮像されたクリーンルームの画像に基づいてグレーチングＧが取り外された開口部を検知する際に、移動体が開口部として検知されるのを抑制することができる。すなわち、本実施形態によれば、開口部をより適切に検知することができる。
したがって、本実施形態によれば、監視カメラ２０に撮像されたクリーンルームの画像に基づいてグレーチングＧが取り外された開口部を検知する際に、移動体が開口部として検知されるのを抑制することができる。すなわち、本実施形態によれば、開口部をより適切に検知することができる。
【0081】
また、本実施形態では、移動体に該当する開口候補の除去手法として、現在の検知対象のクリーンルームの画像を含む時系列に並ぶ３つの検知対象画像に亘って連続して存在しない開口候補を移動体として除去する手法を採用している。
本実施形態と異なる、移動体の除去手法としては、時系列に並ぶ検知対象画像間で開口候補の集合の重心が移動していた場合に、その開口候補の集合全体を除去する手法がある。この手法では、移動体と開口部が重なると、開口候補の集合全体除去した際に、開口部に該当する開口候補も一緒に除去されてしまう。この手法に比べて、本実施形態が採用する、移動体に該当する開口候補の除去手法は、実際に開口部に該当する開口候補が除去されるのを抑制することができる。
本実施形態と異なる、移動体の除去手法としては、時系列に並ぶ検知対象画像間で開口候補の集合の重心が移動していた場合に、その開口候補の集合全体を除去する手法がある。この手法では、移動体と開口部が重なると、開口候補の集合全体除去した際に、開口部に該当する開口候補も一緒に除去されてしまう。この手法に比べて、本実施形態が採用する、移動体に該当する開口候補の除去手法は、実際に開口部に該当する開口候補が除去されるのを抑制することができる。
【0082】
さらに、本実施形態にかかる監視方法では、開口候補の集合単位すなわち検知対象画像内の一部である物体単位で、当該物体が開口部の画像であり得るかの機械学習による判定を行っている。そのため、本実施形態では、検知対象画像単位で開口部が存在するかの機械学習による判定を行う場合に比べて、判定に要する演算量が少ない。したがって、本実施形態にかかる監視方法はリアルタイムの監視に好適に用いることができる。
また、検知対象画像単位で開口部が存在するかの機械学習による判定を行う場合、開口部が存在すると判定されたとしても、開口部が形成されている場所を特定するのは難しい。それに対し、本実施形態のように、検知対象画像内の物体単位で開口部であり得るかの機械学習による判定を行う場合、開口部が形成されている場所を特定するのは容易である。
また、検知対象画像単位で開口部が存在するかの機械学習による判定を行う場合、開口部が存在すると判定されたとしても、開口部が形成されている場所を特定するのは難しい。それに対し、本実施形態のように、検知対象画像内の物体単位で開口部であり得るかの機械学習による判定を行う場合、開口部が形成されている場所を特定するのは容易である。
【0083】
さらにまた、本実施形態にかかる監視方法では、移動体に相当する開口候補等を除去して開口候補を絞った後に、開口候補の集合単位すなわち物体単体で、上述の機械学習による判定を行っている。したがって、開口候補を絞らずに上述の機械学習による判定を行う場合に比べて、判定に要する演算量を減らすことができる。
【0084】
＜開口候補の基準の設定例＞
開口候補の基準（具体的には、例えば、ステップＳ１１の抽出工程における二値化で用いられる閾値またはステップＳ２３ｂの面積除去工程で用いられる第１の閾値の少なくともいずれか一方）は、例えば以下のように設定される。
開口候補の基準（具体的には、例えば、ステップＳ１１の抽出工程における二値化で用いられる閾値またはステップＳ２３ｂの面積除去工程で用いられる第１の閾値の少なくともいずれか一方）は、例えば以下のように設定される。
【0085】
すなわち、まず、図１５に示すように、検知対象画像内に含まれる範囲すなわち監視カメラ２０の視野Ｆ内で監視カメラ２０から最も遠いグレーチングＧｌ上に、基準設定用の部材である調整治具Ｚが載置される。調整治具Ｚは、シート状の薄い部材であり、開口部と同系色を有する。また、調整治具Ｚのサイズはグレーチング１枚分と略等しく、調整治具Ｚは上記最も遠いグレーチングＧｌ全体を覆うように載置される。
【0086】
調整治具Ｚの載置後、クリーンルーム内が監視カメラ２０より撮像される。
そして、監視カメラ２０による撮像結果に基づいて、上述の開口候補の基準が設定される。具体的には、例えば、監視カメラ２０により撮像されたクリーンルームの画像内における調整治具Ｚの画素値に基づいて、ステップＳ１１の抽出工程における二値化で用いられる閾値が設定される。また、例えば、監視カメラ２０により撮像されたクリーンルームの画像内における調整治具Ｚの面積に基づいて、ステップＳ２３ｂの面積除去工程で用いられる第１の閾値が設定される。
そして、監視カメラ２０による撮像結果に基づいて、上述の開口候補の基準が設定される。具体的には、例えば、監視カメラ２０により撮像されたクリーンルームの画像内における調整治具Ｚの画素値に基づいて、ステップＳ１１の抽出工程における二値化で用いられる閾値が設定される。また、例えば、監視カメラ２０により撮像されたクリーンルームの画像内における調整治具Ｚの面積に基づいて、ステップＳ２３ｂの面積除去工程で用いられる第１の閾値が設定される。
【0087】
このように開口候補の基準が設定されることで、監視カメラ２０の設置環境（具体的にはクリーンルーム内の照度やクリーンルームに用いられる光源の種類、監視カメラ２０の設置位置）によらず、監視カメラ２０によるクリーンルームの撮像画像に基づく開口部の検知をより適切に行うことができる。
【0088】
＜検知対象画像から開口候補を抽出する形態の他の例＞
以上の例では、抽出部２１０が、検知対象画像全体から開口候補を抽出していた。すなわち、以上の例では、抽出部２１０による開口候補の抽出対象の領域が検知対象画像全体であった。
これに代えて、監視カメラ２０で撮像されるクリーンルームの画像を縦横複数に分割した小領域を分割領域としたとき、以下のようにしてもよい。抽出部２１０が、図１６に示すように、分割領域ＳＲのうち予め選択されたグレーチングＧを含まない分割領域ＳＲＮが除外された、検知対象画像Ｉｎから、開口候補を抽出してもよい。すなわち、抽出部２１０による開口候補の抽出対象の領域から、予め選択されたグレーチングＧを含まない分割領域ＳＲＮが除外すなわちマスクされてもよい。具体的には、ステップＳ１１の抽出工程で抽出部２１０が検知対象グレースケール画像との差分を算出する領域から、予め選択されたグレーチングＧを含まない分割領域ＳＲＮが除外されてもよい。
これにより、開口候補の抽出に要する演算量を減らすことができる。また、これにより、予め選択されたグレーチングＧを含まない分割領域ＳＲＮに対し、開口候補の抽出以外の処理（例えば判定部２２３ｃの機械学習による判定処理）も行われないため、この観点でも演算量を減らすことができる。。
以上の例では、抽出部２１０が、検知対象画像全体から開口候補を抽出していた。すなわち、以上の例では、抽出部２１０による開口候補の抽出対象の領域が検知対象画像全体であった。
これに代えて、監視カメラ２０で撮像されるクリーンルームの画像を縦横複数に分割した小領域を分割領域としたとき、以下のようにしてもよい。抽出部２１０が、図１６に示すように、分割領域ＳＲのうち予め選択されたグレーチングＧを含まない分割領域ＳＲＮが除外された、検知対象画像Ｉｎから、開口候補を抽出してもよい。すなわち、抽出部２１０による開口候補の抽出対象の領域から、予め選択されたグレーチングＧを含まない分割領域ＳＲＮが除外すなわちマスクされてもよい。具体的には、ステップＳ１１の抽出工程で抽出部２１０が検知対象グレースケール画像との差分を算出する領域から、予め選択されたグレーチングＧを含まない分割領域ＳＲＮが除外されてもよい。
これにより、開口候補の抽出に要する演算量を減らすことができる。また、これにより、予め選択されたグレーチングＧを含まない分割領域ＳＲＮに対し、開口候補の抽出以外の処理（例えば判定部２２３ｃの機械学習による判定処理）も行われないため、この観点でも演算量を減らすことができる。。
【0089】
グレーチングＧを含まない分割領域ＳＲＮの作業員による選択は、例えば、図１７で例示する操作画面Ｕを介して行われ、具体的には、操作画面Ｕを表示部１２に表示した状態で、入力部１４を介して入力される。操作画面Ｕは、監視カメラ２０で撮像されたクリーンルームの画像を各分割領域を視認可能に表示する領域Ｕ１と、各分割領域を開口候補の抽出対象の領域から除外するかしないかを切り替える切替ボタンを表示する領域Ｕ２とを含む。
【0090】
＜貼付体の他の例＞
図１８は、貼付体の他の例を示す図である。
透明グレーチングＧｔに貼り付けられる貼付体は、カラーフィルムＣＦに限られず、図１８に示すようなシールＳＬであってもよい。
シールＳＬは、カラーフィルムＣＦと同様、非黒系色を有する。
ただし、シールＳＬは、カラーフィルムＣＦと異なり、不透明である。そのため、シールＳＬは、透明グレーチングＧｔを介した床下空間の視認性を損なわないよう透明グレーチングＧｔの一部のみを覆うように、透明グレーチングＧｔに貼り付けられる。すなわち、シールＳＬはグレーチングＧによる開口部より面積が小さく、具体的には、平面視における透明グレーチングＧｔの本体部Ｇ１の面積より小さい。シールＳＬの面積は、例えば、平面視における透明グレーチングＧｔの面積（具体的には本体部Ｇ１の面積）の３０％以下である。
図１８は、貼付体の他の例を示す図である。
透明グレーチングＧｔに貼り付けられる貼付体は、カラーフィルムＣＦに限られず、図１８に示すようなシールＳＬであってもよい。
シールＳＬは、カラーフィルムＣＦと同様、非黒系色を有する。
ただし、シールＳＬは、カラーフィルムＣＦと異なり、不透明である。そのため、シールＳＬは、透明グレーチングＧｔを介した床下空間の視認性を損なわないよう透明グレーチングＧｔの一部のみを覆うように、透明グレーチングＧｔに貼り付けられる。すなわち、シールＳＬはグレーチングＧによる開口部より面積が小さく、具体的には、平面視における透明グレーチングＧｔの本体部Ｇ１の面積より小さい。シールＳＬの面積は、例えば、平面視における透明グレーチングＧｔの面積（具体的には本体部Ｇ１の面積）の３０％以下である。
【0091】
また、シールＳＬは例えば平面視矩形状に形成されている。例えば、シールＳＬの厚さは、カラーフィルムＣＦと同様、０．１ｍｍ以下である。
【0092】
このシールＳＬが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ３が形成された場合と形成されていない場合とで、監視カメラ２０で撮像されるクリーンルームの画像は、上記開口部Ｏｐ３におけるシールＳＬが位置していた領域に対応する部分が、変化する。したがって、監視カメラ２０で撮像されるクリーンルームの画像に基づいて、グレーチングＧが取り外された開口部を検知する工程において、シールＳＬが貼り付けられた透明グレーチングＧｔによる開口部Ｏｐ３を検知することができる。具体的には、上記検知する工程において、シールＳＬが位置していた領域を上記開口部として検知することができる。
なお、上記開口部Ｏｐ３が形成されていない場合の画像Ｉｓ１と、形成されていた場合の画像Ｉｓ２はそれぞれ、例えば、図１９及び図２０に示すようになる。また、画像Ｉｓ１と画像Ｉｓ２との差分画像を二値化した二値化差分画像Ｉｓｔは図２１に示すようになる。図２１の二値化差分画像Ｉｓｔにおいて白い画素は、シールＳＬが位置していた領域に対応し、前述の監視フローでは、開口候補として検知され得る。
なお、上記開口部Ｏｐ３が形成されていない場合の画像Ｉｓ１と、形成されていた場合の画像Ｉｓ２はそれぞれ、例えば、図１９及び図２０に示すようになる。また、画像Ｉｓ１と画像Ｉｓ２との差分画像を二値化した二値化差分画像Ｉｓｔは図２１に示すようになる。図２１の二値化差分画像Ｉｓｔにおいて白い画素は、シールＳＬが位置していた領域に対応し、前述の監視フローでは、開口候補として検知され得る。
【0093】
また、前述の監視フローを採用した場合、検知対象画像Ｉｎにおける開口候補として、上記開口部Ｏｐ３におけるシールＳＬが位置していた領域に対応する部分が、非透明グレーチングＧｎによる開口部Ｏｐ１に対応する部分と同様に、抽出され且つ残り続ける。したがって、前述の監視フローを採用した場合、非透明グレーチングＧｎによる開口部Ｏｐ１だけでなく、上記開口部Ｏｐ３の形成前すなわち透明グレーチングＧｔの取り外し前にシールＳＬが位置していた領域を、開口部として検知することができる。
【0094】
シールＳＬを用いる場合、検知対象画像Ｉｎにおいて、開口部として検知された領域に連続する領域が黒系色であるときは、上記隣接する領域も開口部であると、制御部１１ｂが判定してもよい。
なお、一部の透明グレーチングＧｔにはシールＳＬが貼り付けられ、他の透明グレーチングＧｔにはカラーフィルムＣＦが貼り付けられてもよい。
なお、一部の透明グレーチングＧｔにはシールＳＬが貼り付けられ、他の透明グレーチングＧｔにはカラーフィルムＣＦが貼り付けられてもよい。
【0095】
＜変形例＞
以上の例では、色付き候補除去工程後に白系候補除去工程が行われていたが、白系候補除去工程後に、色付き候補除去工程が行われてもよい。
また、監視フローに含まれる工程全てを単一の装置で行う必要はない。例えば、監視フローに含まれる前半の工程を、作業員の携帯端末による制御部により行い、機械学習による判定を含む後半の工程を、半導体製造装置ＳＡを含むクリーンルーム内の装置全体を制御する管理用コンピュータによる制御部により行ってもよい。
以上の例では、色付き候補除去工程後に白系候補除去工程が行われていたが、白系候補除去工程後に、色付き候補除去工程が行われてもよい。
また、監視フローに含まれる工程全てを単一の装置で行う必要はない。例えば、監視フローに含まれる前半の工程を、作業員の携帯端末による制御部により行い、機械学習による判定を含む後半の工程を、半導体製造装置ＳＡを含むクリーンルーム内の装置全体を制御する管理用コンピュータによる制御部により行ってもよい。
【0096】
本実施形態にかかる監視方法は、クリーンルーム内における監視カメラ２０の視野内に半導体製造装置ＳＡを載置する前から適用することができる。
【0097】
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。上記の実施形態は、添付の請求の範囲及びその主旨を逸脱することなく、様々な形態で省略、置換、変更されてもよい。例えば、上記実施形態の構成要件は任意に組み合わせることができる。当該任意の組み合せからは、組み合わせにかかるそれぞれの構成要件についての作用及び効果が当然に得られるとともに、本明細書の記載から当業者には明らかな他の作用及び他の効果が得られる。
【0098】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0099】
なお、以下のような構成例も本開示の技術的範囲に属する。
（１）床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、監視方法。
（２）前記貼付体は、色が非黒系であり且つ透明なカラーフィルムである、前記（１）に記載の監視方法。
（３）前記貼付体は、色が非黒系であり且つ前記開口部より面積が小さいシールである、前記（１）または（２）に記載の監視方法。
（４）前記検知する工程は、
（Ａ）検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する工程と、
（Ｂ）前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する工程と、
（Ｃ）次いで、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る工程と、を含む、前記（１）～（３）のいずれか１に記載の監視方法。
（５）前記（Ｃ）工程は、前記検知対象の前記画像における色が白系の前記開口候補と、前記検知対象の前記画像における色が非白系且つ非黒系の前記開口候補と、を除去する、前記（４）に記載の監視方法。
（６）（Ｄ）前記（Ｃ）工程後、前記移動体に相当する部分を、前記開口候補から除去する工程をさらに含み、
前記（Ｃ）工程及び前記（Ｄ）工程はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記開口候補から除去し、
前記（Ｄ）工程で用いる前記画像が占める時間が、前記（Ｃ）工程で用いる前記画像が占める時間より長い、前記（４）または（５）に記載の監視方法。
（７）床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法を監視装置によって実行させるように、当該監視装置を制御する制御部のコンピュータ上で動作するプログラムを格納した読み取り可能なコンピュータ記憶媒体であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
前記監視方法は、撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、コンピュータ記憶媒体。
（８）床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視装置であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールにされた前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する検知部を有する、監視装置。
（９）前記貼付体は、色が非黒系であり且つ透明なカラーフィルムである、前記（８）に記載の監視装置。
（１０）前記貼付体は、色が非黒系であり且つ前記開口部より面積が小さいシールである、前記（８）または（９）に記載の監視装置。
（１１）前記検知部は、
検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する抽出部と、
前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する移動体除去部と、
前記移動体除去部による前記開口候補の除去後、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る特定色除去部と、を有し、前記（８）～（１０）のいずれか１に記載の記載の監視装置。
（１２）前記特定色除去部は、前記検知対象の前記画像における色が白系の前記開口候補と、前記検知対象の前記画像における色が非白系且つ非黒系の前記開口候補と、を除去する、前記（１１）に記載の監視装置。
（１３）前記特定色除去部による前記開口候補の絞りの後、前記移動体に相当する部分を、前記開口候補から除去する別の移動体除去部をさらに有し、
前記移動体除去部及び前記別の移動体除去部はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記候補から除去し、
前記別の移動体除去部で用いる前記画像が占める時間が、前記移動体除去部で用いる前記画像が占める時間より長い、前記（１１）または（１２）に記載の監視装置。
（１）床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、監視方法。
（２）前記貼付体は、色が非黒系であり且つ透明なカラーフィルムである、前記（１）に記載の監視方法。
（３）前記貼付体は、色が非黒系であり且つ前記開口部より面積が小さいシールである、前記（１）または（２）に記載の監視方法。
（４）前記検知する工程は、
（Ａ）検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する工程と、
（Ｂ）前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する工程と、
（Ｃ）次いで、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る工程と、を含む、前記（１）～（３）のいずれか１に記載の監視方法。
（５）前記（Ｃ）工程は、前記検知対象の前記画像における色が白系の前記開口候補と、前記検知対象の前記画像における色が非白系且つ非黒系の前記開口候補と、を除去する、前記（４）に記載の監視方法。
（６）（Ｄ）前記（Ｃ）工程後、前記移動体に相当する部分を、前記開口候補から除去する工程をさらに含み、
前記（Ｃ）工程及び前記（Ｄ）工程はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記開口候補から除去し、
前記（Ｄ）工程で用いる前記画像が占める時間が、前記（Ｃ）工程で用いる前記画像が占める時間より長い、前記（４）または（５）に記載の監視方法。
（７）床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視方法を監視装置によって実行させるように、当該監視装置を制御する制御部のコンピュータ上で動作するプログラムを格納した読み取り可能なコンピュータ記憶媒体であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
前記監視方法は、撮像モジュールに撮像された前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する工程を含む、コンピュータ記憶媒体。
（８）床部に取り外し可能なグレーチングが配置されたクリーンルーム内を監視するための監視装置であって、
前記グレーチングは透明なグレーチングを含み、
前記透明なグレーチングは貼付体が貼り付けられ、
撮像モジュールにされた前記クリーンルームの画像に基づいて、前記透明なグレーチングが取り外された開口部を検知する検知部を有する、監視装置。
（９）前記貼付体は、色が非黒系であり且つ透明なカラーフィルムである、前記（８）に記載の監視装置。
（１０）前記貼付体は、色が非黒系であり且つ前記開口部より面積が小さいシールである、前記（８）または（９）に記載の監視装置。
（１１）前記検知部は、
検知対象の前記画像から、前記開口部の候補に相当する部分である開口候補を抽出する抽出部と、
前記検知対象の前記画像を含む時系列に並ぶ複数の前記画像に基づいて、前記クリーンルーム内を移動する移動体に相当する前記開口候補を除去する移動体除去部と、
前記移動体除去部による前記開口候補の除去後、前記検知対象の前記画像における前記開口候補の色によって前記開口候補を絞る特定色除去部と、を有し、前記（８）～（１０）のいずれか１に記載の記載の監視装置。
（１２）前記特定色除去部は、前記検知対象の前記画像における色が白系の前記開口候補と、前記検知対象の前記画像における色が非白系且つ非黒系の前記開口候補と、を除去する、前記（１１）に記載の監視装置。
（１３）前記特定色除去部による前記開口候補の絞りの後、前記移動体に相当する部分を、前記開口候補から除去する別の移動体除去部をさらに有し、
前記移動体除去部及び前記別の移動体除去部はそれぞれ、前記複数の前記画像の比較結果に基づいて、前記移動体に相当する部分を前記候補から除去し、
前記別の移動体除去部で用いる前記画像が占める時間が、前記移動体除去部で用いる前記画像が占める時間より長い、前記（１１）または（１２）に記載の監視装置。
【符号の説明】
【0100】
１０ 監視装置
２０ 監視カメラ
２００ 検知部
ＣＦ カラーフィルム
Ｇ グレーチング
Ｇｎ 非透明グレーチング
Ｇｔ 透明グレーチング
Ｉｎ ｎ枚目の検知対象画像
２０ 監視カメラ
２００ 検知部
ＣＦ カラーフィルム
Ｇ グレーチング
Ｇｎ 非透明グレーチング
Ｇｔ 透明グレーチング
Ｉｎ ｎ枚目の検知対象画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】