知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社日立製作所の特許一覧 ▶ ダイキン工業株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-23
(45)【発行日】2023-03-31
(54)【発明の名称】画像解析装置
(51)【国際特許分類】
G06T 7/90 20170101AFI20230324BHJP
G05B 23/02 20060101ALI20230324BHJP
G06T 7/254 20170101ALI20230324BHJP
G06T 7/62 20170101ALI20230324BHJP
【ＦＩ】
G06T7/90 D
G05B23/02 301T
G06T7/254 A
G06T7/62
【請求項の数】
10
(21)【出願番号】P 2019052602
(22)【出願日】2019-03-20
(65)【公開番号】P2020064589
(43)【公開日】2020-04-23
【審査請求日】2021-10-21
(31)【優先権主張番号】P 2018192862
(32)【優先日】2018-10-11
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(73)【特許権者】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】梅木 春男
(72)【発明者】
【氏名】掛布 修弘
(72)【発明者】
【氏名】京谷 繁明
(72)【発明者】
【氏名】永吉 洋登
(72)【発明者】
【氏名】栗原 恒弥
(72)【発明者】
【氏名】小川 忠士
(72)【発明者】
【氏名】設楽 善彦
【審査官】佐藤 実
(56)【参考文献】
【文献】梅木春男 他４名，センシング技術を活用した製造現場ノウハウのデジタルカプセル化，日立評論，日立評論社，2017年12月20日，第99巻 第6号，pp. 56-61
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０５Ｂ ２３／０２
(57)【特許請求の範囲】
【請求項1】
化学品を時系列的に撮像する撮像部と、前記撮像部により撮像された画像を解析する画像解析部と、
前記画像解析部の解析結果に基づいて、前記化学品の製造における設定値を制御する制御部と、
前記画像解析部の解析結果に基づいて、前記化学品の製造におけるプロセスの異常点および／または終点を判定する判定部を備え、
前記画像解析部は、
異なる時刻に撮像された少なくとも２つの画像の計測領域における差分画像を生成し、
前記差分画像に基づいて、前記画像上で動画素を特定し、
前記画像の計測領域において前記動画素の比率を算出し、
前記判定部は、前記画像解析部による前記動画素の比率の算出結果に基づいて、前記化学品のプロセスの異常点を判定する画像解析装置。
【請求項2】
化学品を時系列的に撮像する撮像部と、
前記撮像部により撮像された画像を解析する画像解析部と、
前記画像解析部の解析結果に基づいて、前記化学品の製造における設定値を制御する制御部と、
前記画像解析部の解析結果に基づいて、前記化学品の製造におけるプロセスの異常点および／または終点を判定する判定部を備え、
前記画像解析部は、
前記化学品が液体であるときに、異なる時刻に撮像された前記化学品の第１液面画像と第２液面画像の差分画像を生成し、
前記差分画像に基づいて、前記化学品の液面画像の動き領域を特定し、
前記動き領域の特定結果に基づいて、前記化学品の液面の輪郭領域を抽出し、
前記化学品の液面の輪郭領域を楕円近似し、前記楕円近似した楕円の中心位置を算出し、
前記楕円の中心位置を前記液面の高さに変換し、
前記判定部は、前記画像解析部から出力された前記液面の高さに基づいて、前記化学品のプロセスの終点を判定する画像解析装置。
【請求項3】
前記判定部による判定結果に基づいて、前記化学品の製造におけるプロセスの異常および／または終了を通知する通知部をさらに備える請求項１または２に記載の画像解析装置。
【請求項4】
前記画像解析部は、前記撮像部から出力された画像データに基づいて、前記化学品のプロセス状態に関連する数値化データを生成し、前記判定部は、前記数値化データと閾値との比較結果に基づいて、前記化学品のプロセスの異常点を判定し、
前記制御部は、前記化学品のプロセスの異常点の判定結果に基づいて、前記化学品のプロセス条件を変更する請求項１～３のいずれか１項に記載の画像解析装置。
【請求項5】
前記画像解析部は、前記撮像部から出力された画像データに基づいて、前記化学品のプロセス状態に関連する数値化データを生成し、前記判定部は、前記数値化データと閾値との比較結果に基づいて、前記化学品のプロセスの終点を判定し、
前記制御部は、前記化学品のプロセスの終点の判定結果に基づいて、前記化学品のプロセスを終了させる請求項１～４のいずれか１項に記載の画像解析装置。
【請求項6】
前記画像解析部は、前記撮像部で生成された各画像の計測領域のＲＧＢ信号を他の色空間信号に変換し、前記判定部は、
前記他の色空間信号で特定される現在色と基準色とを比較し、
前記現在色と基準色との比較結果に基づいて、前記化学品のプロセスの終点を判定する請求項１～５のいずれか１項に記載の画像解析装置。
【請求項7】
前記ＲＧＢ信号以外の他の色空間信号は、ＸＹ、マンセル表色系、ＣＩＥＬ＊ａ＊ｂ＊、ＨＬＳである請求項６に記載の画像解析装置。
【請求項8】
前記画像解析部は、前記撮像部から出力された画像データに基づいて特定色の画素を計測領域から抽出し、
前記計測領域において前記特定色の画素の面積比を算出し、
前記判定部は、前記画像解析部による前記特定色の画素の面積比の算出結果に基づいて、前記化学品のプロセスの異常点を判定する請求項１～５のいずれか１項に記載の画像解析装置。
【請求項9】
前記画像解析部は、前記撮像部から出力された画像データに基づいて、前記化学品のプロセス状態に関連する数値化データを生成し、前記判定部は、前記数値化データと閾値との比較結果に基づいて、前記化学品のプロセスの異常点を判定し、
前記数値化データに対して前記化学品のプロセスの異常点の判定結果を正解データとして与えることで、前記閾値を学習する機械学習部をさらに備える請求項１から５のいずれか１項に記載の画像解析装置。
【請求項10】
前記画像解析部は、前記撮像部から出力された画像データに基づいて、前記化学品のプロセス状態に関連する数値化データを生成し、前記判定部は、前記数値化データと閾値との比較結果に基づいて、前記化学品のプロセスの終点を判定し、
前記数値化データに対して前記化学品のプロセスの終点の判定結果を正解データとして与えることで、前記閾値を学習する機械学習部をさらに備える請求項１から５のいずれか１項に記載の画像解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、化学品の製造におけるプロセス状態を解析することが可能な画像解析装置および画像解析方法に関する。
【背景技術】
【0002】
小規模な化学プラントの製造工程では、ＤＣＳ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ）などによるシステム化が困難な場合があり、主に人手によって作業が行われることがある。この場合、プロセスデータの管理は、作業員の目視等による定点管理および帳票への作業記録が中心になる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、人手によるプロセスデータの管理では、同一条件で製造しても、検査結果が異なる理由が不明であるなど、製造品質の安定化を図るのが困難だった。また、作業員の製造監視の頻度を上げると、作業工数の増加につながり、生産性の向上の阻害要因となっていた。
【0004】
本発明は、上記事情に鑑みなされたものであり、その目的は、人手による作業工数の増大を抑制しつつ、製造品質を安定化させることが可能な画像解析装置および画像解析方法を提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するため、第１の観点に係る画像解析装置は、化学品の製造におけるプロセス状態を時系列的に撮像する撮像部と、前記撮像部により撮像された画像を解析する画像解析部と、前記画像解析部の解析結果に基づいて、前記化学品の製造におけるプロセス条件を制御する制御部とを備える。
【発明の効果】
【0006】
本発明によれば、人手による作業工数の増大を抑制しつつ、製造品質を安定化させることができる。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0009】
図１は、第１実施形態に係る画像解析装置が適用される化学プラントの構成を示す図である。なお、以下の実施形態では、化学プラントの留去工程を例にとって説明する。
図１において、この化学プラントは、フラスコ１１１、１１９を備え、フラスコ１１１、１１９は、ト字管１１７を介して接続されている。フラスコ１１１は、ガラスなどの透明材料で構成される。フラスコ１１１には、製造対象物である化学品１３１が保持される。フラスコ１１９には、留去により化学品１３１から分離された特定成分が保持される。
図１において、この化学プラントは、フラスコ１１１、１１９を備え、フラスコ１１１、１１９は、ト字管１１７を介して接続されている。フラスコ１１１は、ガラスなどの透明材料で構成される。フラスコ１１１には、製造対象物である化学品１３１が保持される。フラスコ１１９には、留去により化学品１３１から分離された特定成分が保持される。
【0010】
ト字管１１７の下流端には、減圧装置１２２が接続されている。減圧装置１２２は、ト字管１１７を介してフラスコ１１１内を減圧する。また、ト字管１１７の下流側には、冷却管１１８が取り付けられている。冷却管１１８は、例えば、ジムロート管を用いることができる。冷却管１１８は、留去により化学品１３１から分離された特定成分を凝縮させ、フラスコ１１９内に溜められるようにする。
【0011】
フラスコ１１１の下部は、マントルヒータ１１２で覆われている。マントルヒータ１１２は、フラスコ１１１内の化学品１３１を加熱する。また、フラスコ１１１には、攪拌棒１１５および温度センサ１１６が挿入されている。攪拌棒１１５は、フラスコ１１１内の化学品１３１を攪拌する。攪拌棒１１５は、取付部１１４を介してモータ１１３に接続されている。温度センサ１１６は、フラスコ１１１内の化学品１３１の温度を計測する。温度センサ１１６は、例えば、熱電対を用いることができる。
【0012】
フラスコ１１９は、容器１２０内に保持される。容器１２０内には、冷却材１２１が入れられている。冷却材１２１は、例えば、氷またはドライアイスを用いることができる。
【0013】
画像解析装置は、撮像部１０１、画像解析部１０２、判定部１０３、制御部１０４および通知部１０５を備える。撮像部１０１は、化学品１３１の製造におけるプロセス状態を時系列的に撮像する。例えば、撮像部１０１は、フラスコ１１１を通して化学品１３１の液面１３２を時系列的に撮像することができる。このとき、撮像部１０１は、フラスコ１１１の斜め上方に設置することができる。撮像部１０１は、例えば、ＩＰカメラを用いることができる。なお、フラスコ１１１内の化学品１３１のプロセス状態を撮像する場合、フラスコ１１１内の化学品１３１に所定の波長域の光を照射するようにしてもよい。
【0014】
画像解析部１０２は、撮像部１０１により撮像された画像を解析する。このとき、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、化学品１３１のプロセス状態に関連する数値化データを時系列的に生成することができる。例えば、画像解析部１０２は、化学品１３１の液面１３２の画像データに基づいて、化学品１３１の液面１３２の色または動きに関する数値化データを生成し、化学品１３１のプロセス状態を解析することができる。
【0015】
判定部１０３は、画像解析部１０２の解析結果、モータ１１３の回転速度および温度センサ１１６の計測値に基づいて、化学品１３１の製造におけるプロセスの異常点および／または終点を判定する。プロセスの終点は、今回のプロセスにおける化学品１３１の製造工程が終了した点である。プロセスの終点では、今回のプロセスに用いられる製造機器が停止される。プロセスの異常点は、プロセスの終点が検出されるまでに、プロセス条件を変更させる必要がある点である。このとき、判定部１０３は、化学品１３１のプロセス状態に関連する数値化データと閾値との比較結果に基づいて、化学品１３１のプロセスの異常点および／または終点を判定することができる。また、判定部１０３は、化学品１３１のプロセスの異常点および／または終点を判定する場合、必要に応じてモータ１１３の回転速度または温度センサ１１６の計測値を参照することができる。
【0016】
制御部１０４は、画像解析部１０２の解析結果に基づいて、化学品１３１の製造におけるプロセス条件を制御する。制御部１０４は、判定部１０３、マントルヒータ１１２、モータ１１３および減圧装置１２２に接続されている。制御部１０４は、制御対象となるプロセス条件の設定値を判定部１０３に通知することができる。制御対象となるプロセス条件の設定値は、例えば、モータ１１３の設定速度、減圧装置１２２の設定圧力およびマントルヒータ１１２の設定温度である。
【0017】
ここで、制御部１０４は、化学品１３１のプロセスの異常点の判定結果に基づいて、化学品１３１のプロセス条件を変更することができる。化学品１３１のプロセス条件は、例えば、フラスコ１１１内の減圧度、フラスコ１１１内の減圧タイミング、攪拌棒１１５の回転数、攪拌棒１１５の回転タイミングまたはフラスコ１１１内の化学品１３１の温度である。
【0018】
あるいは、制御部１０４は、化学品１３１のプロセスの終点の判定結果に基づいて、化学品１３１のプロセスを終了させることができる。化学品１３１のプロセスの終了させる場合、制御部１０４は、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を停止させることができる。
【0019】
通知部１０５は、判定部１０３による判定結果に基づいて、化学品１３１の製造におけるプロセスの異常および／または終了を通知する。化学品１３１のプロセスの異常および／または終了の通知時には、通知部１０５は、化学品１３１のプロセス状態が撮像された履歴画像に表示するようにしてもよいし、化学品１３１のプロセスの異常時または終了時に作業員が行うべきイベントを表示するようにしてもよいし、化学品１３１のプロセス状態に関連する数値化データのトレンドグラフを表示するようにしてもよい。
【0020】
化学プラントの留去工程では、フラスコ１１１内に入れられた化学品１３１がマントルヒータ１１２にて加熱され、所定の温度に維持される。また、モータ１１３にて攪拌棒１１５が回転されることで化学品１３１が攪拌され、化学品１３１の温度分布が均一化される。さらに、減圧装置１２２にてフラスコ１１１内が減圧されることで、化学品１３１に含まれる特定成分が気化され、この特定成分が化学品１３１から分離される。
【0021】
化学品１３１に含まれる特定成分は、例えば、化学品１３１の溶媒または不純物である。このとき、化学品１３１より沸点が低い特定成分が化学品１３１からの分離対象とされる。化学品１３１から分離された特定成分は、ト字管１１７内で冷却されることで凝縮され、フラスコ１１９内に溜められる。フラスコ１１９内に溜められた特定成分は、冷却材１２１で冷却されることで容器１２０内に保持される。この化学品１３１の留去工程によって、化学品１３１を濃縮したり、化学品１３１を精製したりすることができる。
【0022】
このとき、撮像部１０１は、化学品１３１の液面１３２を時系列的に撮像し、化学品１３１の液面１３２の画像データを画像解析部１０２に出力する。画像解析部１０２は、撮像部１０１から出力された画像データを数値化し、化学品１３１のプロセス状態に関連する数値化データを生成する。
【0023】
このとき、化学品１３１の留去工程において、減圧作業の終盤で化学品１３１の色が変化することがある。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、化学品１３１の色を示す数値化データを生成し、判定部１０３に出力する。
【0024】
そして、判定部１０３は、画像解析部１０２から出力された化学品１３１の色を示す数値化データを閾値と比較することで、化学品１３１のプロセスの終点を判定し、その判定結果を制御部１０４および通知部１０５に出力する。このとき、制御部１０４は、化学品１３１のプロセスの終点通知を受けるまでは、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を継続させ、化学品１３１のプロセスの終点通知を受けると、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を停止させることができる。
【0025】
通知部１０５は、化学品１３１のプロセスの終点通知を受けると、化学品１３１のプロセスの終点を知らせるアラームを発生させ、作業員がそのアラームを確認することで、次工程に進めることができる。
【0026】
また、化学品１３１の留去工程において、減圧作業の終盤で化学品１３１の色が変化するものについて、プロセスの何らかの異常によって、正常時とは異なるタイミングで、色変化が発生することがある。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、化学品１３１の色を示す数値化データを生成し、判定部１０３に出力する。
【0027】
そして、判定部１０３は、画像解析部１０２から出力された化学品１３１の色を示す数値化データを基準値、および反応開始からの時間を基準時間と比較し、色変化が発生した時間が基準時間の間でない場合、プロセス異常と判定する。
【0028】
通知部１０５は、化学品１３１のプロセスの異常通知を受けると、化学品１３１のプロセスの異常を知らせるアラームを発生させ、作業員がそのアラームを確認することで、異常プロセスに対処することができる。
【0029】
また、化学品１３１の留去工程において、減圧作業中に化学品１３１が突沸することがある。化学品１３１の突沸時には、化学品１３１の液面１３２に泡が発生する。この泡は、色によって化学品１３１の液面１３２と区別することができる。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、化学品１３１の液面１３２に発生した泡の面積比を示す数値化データを生成し、判定部１０３に出力する。
【0030】
そして、判定部１０３は、画像解析部１０２から出力された泡の面積比を示す数値化データを閾値と比較することで、化学品１３１のプロセスの突沸を検知し、突沸の検知結果を制御部１０４および通知部１０５に出力する。このとき、制御部１０４は、突沸の検知結果を受けると、減圧装置１２２の設定圧力を上げるか、減圧装置１２２の動作を停止させることができる。
【0031】
通知部１０５は、突沸の検知結果を受けると、化学品１３１のプロセスの異常を知らせるアラームを発生させ、作業員がそのアラームを確認することで、化学品１３１の突沸に対処することができる。
【0032】
また、化学品１３１の留去工程において、減圧作業時に化学品１３１に泡を伴う反応が見られることがある。化学品１３１に対する減圧時には、化学品１３１の液面１３２に泡が発生する。この泡は基準時間の間存在し、やがて消滅する。液面１３２の泡は、消滅した時点で、減圧装置１２２の設定圧力を操作する判断に使われることがある。また、減圧装置１２２の設定圧力が下限値だった場合、泡の消滅をもってプロセスの終了の判断をすることがある。この泡は、色によって化学品１３１の液面１３２と区別することができる。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、化学品１３１の液面１３２に発生した泡の面積比を示す数値化データを生成し、判定部１０３に出力する。
【0033】
そして、判定部１０３は、画像解析部１０２から出力された泡の面積比を示す数値化データを閾値と比較することで、化学品１３１の泡の消滅を検知し、泡の消滅の検知結果を制御部１０４に出力する。このとき、制御部１０４は、泡の消滅の検知結果を受けると、減圧装置１２２の設定圧力を下げることができる。また、泡の消滅時に、減圧装置１２２の設定圧力が下限値だった場合は、判定部１０３によってプロセスの終了を検知したと判定する。
【0034】
通知部１０５は、プロセスの終了検知結果を受けると、化学品１３１のプロセスの終点を知らせるアラームを発生させ、作業員がそのアラームを確認することで、次工程に進めることができる。
【0035】
また、化学品１３１の留去工程において、攪拌棒１１５の脱落や緩みが発生し、化学品１３１が十分に攪拌されないことがある。攪拌速度と液面１３２の動きには対応関係があり、攪拌速度が遅くなると、液面１３２の動きが小さくなる。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、動画素の比率を示す数値化データを生成し、判定部１０３に出力する。
【0036】
そして、判定部１０３は、画像解析部１０２から出力された動画素の比率を示す数値化データを閾値と比較することで、攪拌異常を検知し、攪拌異常の検知結果を制御部１０４および通知部１０５に出力する。
【0037】
通知部１０５は、攪拌異常の検知結果を受けると、化学品１３１の攪拌異常を知らせるアラームを発生させ、作業員がそのアラームを確認することで、化学品１３１の攪拌異常に対処することができる。
【0038】
また、化学品１３１の留去工程の終点において、化学品１３１の攪拌速度を減少あるいは停止させることがある。攪拌速度と液面１３２の動きには対応関係があり、攪拌速度が遅くなると、液面１３２の動きが小さくなる。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、動画素の比率を示す数値化データを生成し、判定部１０３に出力する。
【0039】
そして、判定部１０３は、画像解析部１０２から出力された動画素の比率を示す数値化データとその閾値、およびモータ１１３の設定速度と比較することで、プロセス終了を検知し、プロセス終了の検知結果を制御部１０４および通知部１０５に出力する。このとき、制御部１０４は、化学品１３１のプロセスの終点通知を受けるまでは、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を継続させ、化学品１３１のプロセスの終点通知を受けると、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を停止させることができる。
【0040】
通知部１０５は、化学品１３１のプロセスの終点の検知結果を受けると、化学品１３１の攪拌異常を知らせるアラームを発生させ、作業員がそのアラームを確認することで、化学品１３１の攪拌異常に対処することができる。
【0041】
また、作業員は、化学品１３１からの留去量によってフラスコ１１９の交換を行ったり、化学品１３１の留去の終点を判断したりすることができる。このとき、化学品１３１の留去の進行に伴って、フラスコ１１１内の化学品１３１の液面１３２の高さが減少する。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、液面１３２の位置を検出し、液面１３２の位置を液面１３２の高さに変換した数値化データを生成し、判定部１０３に出力する。
【0042】
そして、判定部１０３は、画像解析部１０２から出力された液面１３２の高さを示す数値化データを閾値と比較することで、化学品１３１のプロセスの終点を判定し、その判定結果を制御部１０４および通知部１０５に出力する。このとき、制御部１０４は、化学品１３１のプロセスの終点通知を受けるまでは、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を継続させ、化学品１３１のプロセスの終点通知を受けると、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を停止させることができる。
【0043】
通知部１０５は、化学品１３１のプロセスの終点通知を受けると、化学品１３１のプロセスの終点を知らせるアラームを発生させ、作業員がそのアラームを確認することで、次工程に進めることができる。
【0044】
また、作業員は、化学品１３１からの留去量が基準時間内に減少しないこと、あるいは基準時間よりも早く減少することで、プロセスの異常を判断することがある。このため、画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、液面１３２の位置を検出し、液面１３２の位置を液面１３２の高さに変換した数値化データを生成し、判定部１０３に出力する。
【0045】
そして、判定部１０３は、画像解析部１０２から出力された基準時間内の液面１３２の高さを示す数値化データを閾値と比較することで、化学品１３１のプロセスの異常を判定し、その判定結果を制御部１０４および通知部１０５に出力する。このとき、制御部１０４は、化学品１３１のプロセスの異常通知を受けるまでは、マントルヒータ１１２、モータ１１３および減圧装置１２２の動作を継続させ、化学品１３１のプロセスの異常通知を受けると、通知部１０５に異常通知を出力する。
【0046】
通知部１０５は、プロセス異常の検知結果を受けると、化学品１３１のプロセス異常を知らせるアラームを発生させ、作業員がそのアラームを確認することで、化学品１３１の攪拌異常に対処することができる。
【0047】
以上説明したように、上述した実施形態によれば、化学品１３１のプロセス状態が時系列的に撮像された画像を解析し、その解析結果を作業員に通知することにより、作業員は、その通知を受けてから、化学品１３１のプロセス状態の異常や終了に対処することができる。このため、作業員は、化学品１３１のプロセス状態の異常や終了に対処するために、化学品１３１のプロセス状態を常時監視する必要がなくなり、作業員の負担を軽減することができる。また、化学品１３１のプロセス状態が時系列的に撮像された画像を解析し、その解析結果に基づいてプロセス条件を制御することにより、製造品質の安定化を図ることができる。
【0048】
以下、化学品１３１がフッ素系化合物であるときの留去工程を例にとって、化学品１３１のプロセス状態の画像解析方法の４つの具体例について説明する。
【0049】
図２は、第２実施形態に係る画像解析方法に適用される色空間上の現在色と基準色の関係を示す図である。
図２において、図１の画像解析部１０２は、化学品１３１の色を色空間上で表現することができる。色空間は、特定の色を数値などのパラメータで表現したものである。このとき、画像解析部１０２は、撮像部１０１から出力されたＲＧＢ信号を他の色空間信号に変換する。他の色空間は、例えば、ｘｙ、マンセル表色系、ＣＩＥＬ＊ａ＊ｂ＊、ＨＬＳである。図２の例では、他の色空間としてｘｙ色空間を示した。そして、画像解析部１０２は、他の色空間信号で特定される現在色２０１と基準色２０２とを他の色空間に配置する。ここで、減圧作業の終盤では、化学品１３１の色が白濁化する。このため、白濁化した化学品１３１の色を基準色２０２とすることができる。このとき、基準色２０２は、例えば、複数のバッチから得られた減圧作業の終盤の化学品１３１の色の平均値に設定することができる。
図２において、図１の画像解析部１０２は、化学品１３１の色を色空間上で表現することができる。色空間は、特定の色を数値などのパラメータで表現したものである。このとき、画像解析部１０２は、撮像部１０１から出力されたＲＧＢ信号を他の色空間信号に変換する。他の色空間は、例えば、ｘｙ、マンセル表色系、ＣＩＥＬ＊ａ＊ｂ＊、ＨＬＳである。図２の例では、他の色空間としてｘｙ色空間を示した。そして、画像解析部１０２は、他の色空間信号で特定される現在色２０１と基準色２０２とを他の色空間に配置する。ここで、減圧作業の終盤では、化学品１３１の色が白濁化する。このため、白濁化した化学品１３１の色を基準色２０２とすることができる。このとき、基準色２０２は、例えば、複数のバッチから得られた減圧作業の終盤の化学品１３１の色の平均値に設定することができる。
【0050】
判定部１０３は、ＲＧＢ信号から変換された他の色空間信号で特定される現在色２０１と基準色２０２とを他の色空間上で比較し、現在色２０１と基準色２０２との比較結果に基づいて、化学品１３１のプロセスの異常点および／または終点を判定することができる。このとき、減圧作業の終盤になると、化学品１３１の現在色２０１が基準色２０２に近づく。そして、判定部１０３は、化学品１３１の現在色２０１が基準色２０２にある程度以上近づいたときに、化学品１３１のプロセスの終点を判定することができる。また、基準時間内に、現在色２０１が基準色２０２に近づかない場合、化学品１３１のプロセス異常と判定することができる。
【0051】
なお、基準時間内に、現在色２０１が基準色２０２に近づかないときに、化学品１３１のプロセス異常と判定する方法以外にも、現在色２０１が異常色を示した場合に化学品１３１のプロセス異常と判定するようにしてもよい。なお、異常色は、化学品１３１のプロセスが正常である場合に発現しない色である。例えば、現在色２０１と基準色２０２との間のマハラノビス距離を算出し、現在色２０１と基準色２０２との間のマハラノビス距離が閾値を超えたときに化学品１３１のプロセス異常と判定するようにしてもよい。
【0052】
図３は、第２実施形態に係る画像解析方法に適用される現在色と基準色との距離の時間的な変化を示す図である。
図３において、図１の画像解析部１０２は、図２のｘｙ色空間での現在色２０１と基準色２０２との間の距離を数値化データとして算出することができる。そして、判定部１０３は、ｘｙ色空間での現在色２０１と基準色２０２との間の距離を閾値Ｔｈ１と比較し、現在色２０１と基準色２０２との間の距離が閾値Ｔｈ１以下となった時間をプロセスの終点Ｐ１と判定することができる。また、基準時間ＴＭ１の間に閾値Ｔｈ１以下にならない場合、あるいは基準時間ＴＭ１よりも早く閾値Ｔｈ１以下となった場合、プロセス異常と判定することができる。
図３において、図１の画像解析部１０２は、図２のｘｙ色空間での現在色２０１と基準色２０２との間の距離を数値化データとして算出することができる。そして、判定部１０３は、ｘｙ色空間での現在色２０１と基準色２０２との間の距離を閾値Ｔｈ１と比較し、現在色２０１と基準色２０２との間の距離が閾値Ｔｈ１以下となった時間をプロセスの終点Ｐ１と判定することができる。また、基準時間ＴＭ１の間に閾値Ｔｈ１以下にならない場合、あるいは基準時間ＴＭ１よりも早く閾値Ｔｈ１以下となった場合、プロセス異常と判定することができる。
【0053】
【0054】
次に、画像解析部１０２は、撮像部１０１から入力されたＲＧＢ信号をｘｙ色空間信号に変換する（Ｓ１２）。次に、画像解析部１０２は、図２のｘｙ色空間での現在色２０１と基準色２０２との間の距離を数値化データとして算出する（Ｓ１３）。なお、画像解析部１０２は、液面１３２の画像の所定範囲のｘｙ色空間信号の平均をとることで、液面１３２の現在色２０１を算出することができる。あるいは、画像解析部１０２は、液面１３２の画像の所定範囲のＲＧＢ信号の平均をとってから、ｘｙ色空間信号に変換することで、液面１３２の現在色２０１を算出するようにしてもよい。
【0055】
次に、判定部１０３は、ｘｙ色空間での現在色２０１と基準色２０２との間の距離が閾値Ｔｈ１以下かどうかを判定する（Ｓ１４）。閾値Ｔｈ１以下であれば、判定部１０３は、基準時間ＴＭ１の間であるか判定し（Ｓ１７Ａ）、基準時間ＴＭ１の間であれば、通知部１０５は、化学品１３１のプロセスの終了を通知し（Ｓ１５）、制御部１０４は、今回のプロセスに用いられる製造機器を停止させ、今回のプロセスを終了させる（Ｓ１６）。
【0056】
一方、基準時間ＴＭ１の間でなければ、判定部１０３は、プロセスの異常とみなし、通知部１０５は、作業員にプロセスの異常を通知する（Ｓ１８）。通知を受けた作業員は、事象に対して何らかの対処を行った上で（Ｓ１９）、プロセスを終了する（Ｓ１６）。
【0057】
一方、現在色２０１と基準色２０２との間の距離が閾値Ｔｈ１以下でない場合、判定部１０３は、基準時間ＴＭ１よりあとでないかを判定し（Ｓ１７Ｂ）、基準時間ＴＭ１よりあとでなければ、処理をＳ１１に戻し、基準時間ＴＭ１よりあとであれば、プロセスの異常とみなし、通知部１０５は、作業員にプロセスの異常を通知する（Ｓ１８）。通知を受けた作業員は、事象に対して何らかの対処を行った上で（Ｓ１９）、プロセスを終了する（Ｓ１６）。
【0058】
図５は、第３実施形態に係る画像解析方法に用いられる画像の一例を示す図である。
図５において、図１の撮像部１０１で化学品１３１の液面１３２が撮像されることで、液面画像２１１が生成される。ここで、化学品１３１が突沸すると、液面１３２に泡が発生し、液面画像２１１内に泡画像２１２が生じる。このとき、画像解析部１０２は、液面画像２１１の計測領域２１３から白色画素を抽出することで、泡画像２１２を検出することができる。
図５において、図１の撮像部１０１で化学品１３１の液面１３２が撮像されることで、液面画像２１１が生成される。ここで、化学品１３１が突沸すると、液面１３２に泡が発生し、液面画像２１１内に泡画像２１２が生じる。このとき、画像解析部１０２は、液面画像２１１の計測領域２１３から白色画素を抽出することで、泡画像２１２を検出することができる。
【0059】
図６は、第３実施形態に係る画像解析方法に適用される白色画素の面積比の時間的な変化を示す図である。
図６において、図１の画像解析部１０２は、図５の液面画像２１１に計測領域２１３を設定する。そして、画像解析部１０２は、計測領域２１３に対する白色画素の面積比を数値化データとして算出することができる。そして、判定部１０３は、計測領域２１３に対する白色画素の面積比を閾値Ｔｈ２および閾値Ｔｈ３と比較し、計測領域２１３に対する白色画素の面積比が閾値Ｔｈ２以上となった時間を突沸の検知点Ｐ２と判定することができ、閾値Ｔｈ３未満となった値を泡の消滅点Ｐ３と判定することができる。
図６において、図１の画像解析部１０２は、図５の液面画像２１１に計測領域２１３を設定する。そして、画像解析部１０２は、計測領域２１３に対する白色画素の面積比を数値化データとして算出することができる。そして、判定部１０３は、計測領域２１３に対する白色画素の面積比を閾値Ｔｈ２および閾値Ｔｈ３と比較し、計測領域２１３に対する白色画素の面積比が閾値Ｔｈ２以上となった時間を突沸の検知点Ｐ２と判定することができ、閾値Ｔｈ３未満となった値を泡の消滅点Ｐ３と判定することができる。
【0060】
【0061】
次に、画像解析部１０２は、撮像部１０１から入力された画像データから特定色の画素を抽出する。例えば、液面の泡を抽出する場合、特定色は白色に設定する。このとき、画像解析部１０２は、撮像部１０１から入力された画像データから白色画素を抽出する（Ｓ２２）。次に、画像解析部１０２は、図５の計測領域２１３に対する白色画素の面積比を数値化データとして算出する（Ｓ２３）。
【0062】
次に、判定部１０３は、計測領域２１３に対する白色画素の面積比が閾値Ｔｈ２以上かどうかを判定する（Ｓ２４）。そして、計測領域２１３に対する白色画素の面積比が閾値Ｔｈ２以上の場合、通知部１０５は、化学品１３１の突沸検知を通知し（Ｓ２５）、制御部１０４は、化学品１３１の減圧条件を変更する（Ｓ２６Ａ）。
【0063】
一方、計測領域２１３に対する白色がその面積比が閾値Ｔｈ２以上でない場合、判定部１０３は、化学品１３１の発泡面積が閾値Ｔｈ３以下であるかどうかを判定する（Ｓ２７）。閾値Ｔｈ３以下でない場合、処理をＳ２１に戻す。
【0064】
一方、発泡面積が閾値Ｔｈ３以下である場合、判定部１０３は、減圧装置１２２の設定圧力が下限値かどうかを判断する（Ｓ２８）。下限値であれば、通知部１０５は、化学品１３１のプロセスの終了を通知し（Ｓ２９）、制御部１０４は、今回のプロセスに用いられる製造機器を停止させ、今回のプロセスを終了させる（Ｓ３０）。下限値でなければ、制御部１０４は、化学品１３１の減圧条件を変更し（Ｓ２６Ｂ）、処理をＳ２１に戻す。
【0065】
図８は、第４実施形態に係る画像解析方法に適用される動画素比率の時間的な変化を示す図である。
図８において、図１の画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、動画素の比率を示す数値化データを生成する。そして、判定部１０３は、計測領域に対する動画素の比率を閾値Ｔｈ４と比較し、計測領域に対する動画素の比率が閾値Ｔｈ４以下となった時間を攪拌異常の検知点または攪拌の終了点Ｐ４と判定することができる。
図８において、図１の画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、動画素の比率を示す数値化データを生成する。そして、判定部１０３は、計測領域に対する動画素の比率を閾値Ｔｈ４と比較し、計測領域に対する動画素の比率が閾値Ｔｈ４以下となった時間を攪拌異常の検知点または攪拌の終了点Ｐ４と判定することができる。
【0066】
【0067】
次に、画像解析部１０２は、撮像部１０１から入力された画像のフレーム間差分を用いて液面画像から動画素を抽出する（Ｓ３２）。次に、画像解析部１０２は、計測領域に対する動画素の比率を数値化データとして算出する（Ｓ３３）。
【0068】
次に、判定部１０３は、計測領域に対する動画素の比率が閾値Ｔｈ４以下かどうかを判定する（Ｓ３４）。そして、計測領域に対する動画素の比率が閾値Ｔｈ４以下でない場合、処理をＳ３１に戻す。
【0069】
一方、計測領域に対する動画素の比率が閾値Ｔｈ４以下の場合、判定部１０３は、モータ１１３の回転速度が指定の速度未満か判断する（Ｓ３５）。モータ１１３の回転速度が指定の速度未満でない場合は、トルクが攪拌棒１１５に伝達されていないことから、判定部１０３は、攪拌のプロセス異常と判断し、プロセスの異常を通知部１０５に出力する。通知部１０５は、化学品１３１の攪拌のプロセス異常を通知し（Ｓ３８）、作業員による機器の緩みを締め直すなどの対処が行われ（Ｓ３９）、処理Ｓ３１に戻す。
【0070】
一方、モータ１１３の回転速度が指定の速度未満の場合、判定部１０３は、プロセスの終了を判断し、制御部１０４は、今回のプロセスに用いられる製造機器を停止させ、今回のプロセスを終了させる（Ｓ３６）。ここで、判定部１０３は、計測領域に対する動画素の比率が閾値Ｔｈ４以下の場合かつモータ１１３の回転速度が指定の速度未満になったことを検知することで、モータ１１３の回転速度を減少させる操作を検知することができ、化学品１３１のプロセスの終点を判定することができる。
【0071】
図１０は、第５実施形態に係る画像解析方法に適用される液面の高さの算出方法を示す図である。
図１０（ａ）において、図１の撮像部１０１は、化学品１３１の液面１３２を斜め上から撮像することにより、異なる時刻に撮像された化学品１３１の液面画像を生成し、それらの液面画像の画像データを画像解析部１０２に出力する。
図１０（ａ）において、図１の撮像部１０１は、化学品１３１の液面１３２を斜め上から撮像することにより、異なる時刻に撮像された化学品１３１の液面画像を生成し、それらの液面画像の画像データを画像解析部１０２に出力する。
【0072】
画像解析部１０２は、撮像部１０１から入力された液面画像のフレーム間差分を用いることにより、差分画像２２１を生成し、液面画像の動き領域２２２を抽出する。ここで、差分画像２２１には、化学品１３１の攪拌に伴って動き領域２２２と静止領域２２３が生じる。静止領域２２３は、液面画像のフレーム間で画素値が変化しない。このため、静止領域２２３では、差分画像２２１の値が０になる。
【0073】
一方、動き領域２２２は、液面画像のフレーム間で画素値が変化する。このため、動き領域２２２では、差分画像２２１の値が静止領域２２３よりも大きくなる。この結果、液面画像のフレーム間の差分をとることにより、液面画像の動き領域２２２と静止領域２２３を区別することができる。また、化学品１３１の攪拌時には、液面１３２の縁の動きが内側の領域に比べて激しくなる。このため、液面画像のフレーム間の差分をとることにより、液面画像から液面１３２の輪郭を抽出することが可能となる。
【0074】
次に、図１０（ｂ）に示すように、画像解析部１０２は、過去のＮ（Ｎは２以上の整数）フレーム分の画像を用いて多数決等の処理を行うことにより、差分画像２２１を平滑化した平滑化画像２２４を生成する。
【0075】
次に、図１０（ｃ）に示すように、画像解析部１０２は、平滑化画像２２４から抽出した輪郭領域２２５に対して最小二乗法等を適用することにより、輪郭領域２２５を近似した楕円２２６を算出する。
【0076】
次に、図１０（ｄ）に示すように、画像解析部１０２は、楕円２２６の中心位置Ｃを液面の高さＨに変換する。楕円２２６の中心位置Ｃを液面の高さＨに変換するために、楕円２２６の中心位置Ｃと液面の高さＨとの対応関係を登録したテーブルを用いることができる。
【0077】
ここで、液面の高さＨが変化すると、楕円２２６の中心位置Ｃが変化する。このため、楕円２２６の中心位置Ｃを求めることにより、液面の高さＨを求めることができる。例えば、図１０（ｅ）に示すように、液面の高さがＨＡのときは、そのときの液面の輪郭を近似した楕円は２２６Ａとなり、その楕円２２６Ａの中心位置はＣＡとなる。液面の高さがＨＢのときは、そのときの液面の輪郭を近似した楕円は２２６Ｂとなり、その楕円２２６Ｂの中心位置はＣＢとなる。この結果、輪郭領域２２５を近似した楕円２２６の中心位置Ｃの変化量を求めることで、液面の高さＨの変化量を求めることができる。
【0078】
ここで、化学品１３１の液面を斜め上から撮像することにより、化学品１３１の液面の輪郭が円形であっても、液面画像から求めた液面の輪郭を楕円形にすることができる。このため、液面の高さの変化に応じて、楕円近似された輪郭の中心位置を変化させることができ、液面画像から液面の高さを求めることができる。
【0079】
図１１は、第５実施形態に係る画像解析方法に適用される液面の高さの時間的な変化を示す図である。
図１１において、図１の画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、液面の高さＨを示す数値化データを生成する。そして、判定部１０３は、液面の高さＨを閾値Ｔｈ５と比較し、液面の高さＨが閾値Ｔｈ５以下となった時間をプロセスの終点Ｐ５と判定することができる。また、判定部１０３は、基準時間ＴＭ２の間に、液面の高さＨの低下が見られない場合、あるいは基準時間ＴＭ２より早く液面の高さＨが低下した場合、プロセスの異常と判定することができる。
図１１において、図１の画像解析部１０２は、撮像部１０１から出力された画像データに基づいて、液面の高さＨを示す数値化データを生成する。そして、判定部１０３は、液面の高さＨを閾値Ｔｈ５と比較し、液面の高さＨが閾値Ｔｈ５以下となった時間をプロセスの終点Ｐ５と判定することができる。また、判定部１０３は、基準時間ＴＭ２の間に、液面の高さＨの低下が見られない場合、あるいは基準時間ＴＭ２より早く液面の高さＨが低下した場合、プロセスの異常と判定することができる。
【0080】
【0081】
次に、画像解析部１０２は、撮像部１０１から入力された画像のフレーム間差分を用いて液面画像の差分画像２２１を生成し、液面画像から動き領域２２２を抽出する（Ｓ４２）。次に、画像解析部１０２は、過去のＮフレーム分の画像を用いて差分画像を平滑化する（Ｓ４３）。
【0082】
次に、画像解析部１０２は、平滑化画像２２４から抽出した輪郭領域２２５を楕円近似する（Ｓ４４）。次に、画像解析部１０２は、輪郭領域２２５を近似した楕円２２６の中心位置Ｃを液面の高さＨに変換する（Ｓ４５）。
【0083】
次に、判定部１０３は、液面の高さＨが閾値Ｔｈ５以下かどうかを判定する（Ｓ４６）。そして、液面の高さＨが閾値Ｔｈ５以下である場合、判定部１０３は、基準時間ＴＭ２の間であるかを判定する（Ｓ４９Ａ）。基準時間ＴＭ２の間であれば、通知部１０５は、プロセスの終了を通知し（Ｓ４７）、制御部１０４は、今回のプロセスに用いられる製造機器を停止させ、今回のプロセスを終了させる（Ｓ４８）。
【0084】
一方、基準時間ＴＭ２の間でなければ、判定部１０３は、プロセスの異常とみなし、通知部１０５は、作業員にプロセスの異常を通知する（Ｓ５０）。通知を受けた作業員は、事象に対して何らかの対処を行った上で（Ｓ５１）、プロセスを終了する（Ｓ４８）。
【0085】
一方、液面の高さＨがＴｈ５以下でない場合は、判定部１０３は、基準時間ＴＭ２よりあとでないかを判定する（Ｓ４９Ｂ）。判定部１０３は、基準時間ＴＭ２よりあとでなければ、処理をＳ４１に戻し、基準時間ＴＭ２よりあとであれば、プロセスの異常とみなし、通知部１０５は、作業員にプロセスの異常を通知する（Ｓ５０）。通知を受けた作業員は、事象に対して何らかの対処を行った上で（Ｓ５１）、プロセスを終了する（Ｓ４８）。
【0086】
上述した実施形態では、化学品１３１のプロセス状態の画像解析方法について、フッ素系化合物の留去工程に関する４つの具体例を説明したが、本発明は、フッ素系化合物の留去工程に限定されることなく、フッ素系化合物以外の化学品に適用してもよいし、留去以外にも、酸化、還元、メチル化、シラン化またはメトキシ化などの反応状態の画像解析に適用してもよい。
【0087】
また、上述した実施形態では、可視光を用いた撮像画像の解析方法について説明したが、本発明は、可視光を用いた撮像画像の解析方法に限定されることなく、例えば、赤外光を用いた撮像画像の解析方法に適用してもよい。赤外光を用いた画像解析では、例えば、赤外光を用いた撮像画像から、化学品１３１の液面１３２の温度分布を算出し、その温度分布が均一化されるように化学品１３１の攪拌条件、温度条件または減圧条件を制御するようにしてもよい。
【0088】
また、図１の画像解析装置は、図４の処理と、図７の処理と、図９の処理と、図１２の処理を並行して実行してもよい。これにより、化学品１３１の留去工程において、プロセスの異常検出および終点検出を実現することが可能となる。
【0089】
図１３は、第６実施形態に係る画像解析装置が適用される化学プラントの構成を示す図である。
図１３において、この画像解析装置は、図１の画像解析装置の構成に加え、機械学習部１０６を備える。機械学習部１０６は、化学品１３１のプロセスの異常点または終点の判定に用いられる閾値を学習する。機械学習部１０６は、例えば、ニューラルネットワークを用いるようにしてもよいし、サポートベクターマシンを用いるようにしてもよい。
図１３において、この画像解析装置は、図１の画像解析装置の構成に加え、機械学習部１０６を備える。機械学習部１０６は、化学品１３１のプロセスの異常点または終点の判定に用いられる閾値を学習する。機械学習部１０６は、例えば、ニューラルネットワークを用いるようにしてもよいし、サポートベクターマシンを用いるようにしてもよい。
【0090】
このとき、機械学習部１０６には、画像解析部１０２から出力された過去の数値化データに対する化学品１３１のプロセスの異常点または終点の判定結果が正解データＤＲとして与えられる。そして、機械学習部１０６は、正解データＤＲに基づいて、プロセスの異常点または終点の判定される数値化データの閾値を学習し、判定部１０３に出力する。
【0091】
図１４は、第６実施形態に係る画像解析に用いられる閾値の学習例を示すブロック図である。
図１４において、画像解析サーバ３０３は、図１３の画像解析部１０２を備える。画像解析サーバ３０３は、カメラ３０２に接続されている。
図１４において、画像解析サーバ３０３は、図１３の画像解析部１０２を備える。画像解析サーバ３０３は、カメラ３０２に接続されている。
【0092】
画像解析サーバ３０３にて解析された化学品１３１の色や動きなどのデータは、製造実績データ３０４として保持される。このとき、製造実績データ３０４は、センサ３０１による計測データも画像解析サーバ３０３による解析データとともに保持する。センサ３０１による計測データは、例えば、化学品１３１の温度やモータ１１３の回転速度である。
【0093】
また、化学品１３１が製品として完成すると、その化学品１３１について品質検査が行われ、その品質検査の結果は品質検査データ３０５として保持される。図１３の機械学習部１０６は、製造実績データ３０４および品質検査データ３０５に基づいて、機械学習・分析３０６を行うことにより、化学品１３１のプロセス状態と化学品１３１の品質との相関関係を調べ、化学品１３１の製造手順３０７およびプロセスの異常点または終点の閾値設定３０８にフィードバックする。
【0094】
図１５は、図１の画像解析装置のハードウェア構成例を示すブロック図である。
図１５において、画像解析装置１００は、プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および外部記憶デバイス１５を備える。プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および外部記憶デバイス１５は、内部バス１６を介して相互に接続されている。主記憶デバイス１４および外部記憶デバイス１５は、プロセッサ１１からアクセス可能である。
図１５において、画像解析装置１００は、プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および外部記憶デバイス１５を備える。プロセッサ１１、通信制御デバイス１２、通信インターフェース１３、主記憶デバイス１４および外部記憶デバイス１５は、内部バス１６を介して相互に接続されている。主記憶デバイス１４および外部記憶デバイス１５は、プロセッサ１１からアクセス可能である。
【0095】
また、画像解析装置１００は、入出力インターフェース１７を介してカメラ２０、表示装置２１および化学プラントの各種機器２２に接続されている。各種機器２２は、例えば、図１のマントルヒータ１１２、モータ１１３、減圧装置１２２および温度センサ１１６である。
【0096】
プロセッサ１１は、画像解析装置１００全体の動作制御を司るハードウェアである。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。プロセッサ１１は、シングルコアロセッサであってもよいし、マルチコアロセッサであってもよい。プロセッサ１１は、処理の一部または全部を行うハードウェア回路（例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））を備えていてもよい。プロセッサ１１は、ニューラルネットワークを備えていてもよい。
【0097】
主記憶デバイス１４は、例えば、ＳＲＡＭまたはＤＲＡＭなどの半導体メモリから構成することができる。主記憶デバイス１４には、プロセッサ１１が実行中のプログラムを格納したり、プロセッサ１１がプログラムを実行するためのワークエリアを設けたりすることができる。
【0098】
外部記憶デバイス１５は、大容量の記憶容量を有する記憶デバイスであり、例えば、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。外部記憶デバイス１５は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。外部記憶デバイス１５には、画像解析プログラム１５Ａを格納することができる。画像解析プログラム１５Ａは、画像解析装置１００にインストール可能なソフトウェアであってもよいし、画像解析装置１００にファームウェアとして組み込まれていてもよい。
【0099】
通信制御デバイス１２は、外部との通信を制御する機能を有するハードウェアである。通信制御デバイス１２は、通信インターフェース１３を介してネットワーク１９に接続される。ネットワーク１９は、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷｉＦｉまたはイーサネット（登録商標）などのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷＡＮとＬＡＮが混在していてもよい。
【0100】
入出力インターフェース１７は、カメラ２０および各種機器２２から入力されるデータをプロセッサ１１が処理可能なデータ形式に変換したり、プロセッサ１１から出力されるデータを表示装置２１および各種機器２２が処理可能なデータ形式に変換したりする。
【0101】
プロセッサ１１が画像解析プログラム１５Ａを主記憶デバイス１４に読み出し、画像解析プログラム１５Ａを実行することにより、化学品のプロセス状態が時系列的に撮像された画像を解析し、その解析結果に基づいて化学品のプロセス状態を制御したり、化学品のプロセスの異常または終了を通知したりすることができる。
【0102】
このとき、画像解析プログラム１５Ａは、色変化解析アルゴリズム、発泡解析アルゴリズム、攪拌状態解析アルゴリズムおよび液面高さ解析アルゴリズムを実行するようにしてもよい。色変化解析アルゴリズムは、図４の処理をプロセッサ１１に実行させ、発泡解析アルゴリズムは、図７の処理をプロセッサ１１に実行させ、攪拌状態解析アルゴリズムは、図９の処理をプロセッサ１１に実行させ、液面高さ解析アルゴリズムは、図１２の処理をプロセッサ１１に実行させることができる。
【0103】
なお、画像解析プログラム１５Ａの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ１１は、ネットワーク１９を介してクラウドコンピュータなどに画像解析プログラム１５Ａの全部または一部の実行を指示し、その実行結果を受け取るようにしてもよい。
【0104】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の実施例を複合的に組み合わせ、プロセスの判断に用いることも可能である。例えば、フラスコの内温がある規定の温度になり、かつ色変化が確認された状態の場合にプロセスの終了と判断する、といった画像解析結果およびセンサ値の複合条件にて、プロセスの判断を行うことを可能とする。
【符号の説明】
【0105】
１０１ 撮像部、１０２ 画像解析部、１０３ 判定部、１０４ 制御部、１０５ 通知部、１０６ 機械学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】