(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024065826
(43)【公開日】2024-05-15
(54)【発明の名称】検査装置、判定装置、検査方法及びコンピュータープログラム
(51)【国際特許分類】
G01N 21/88 20060101AFI20240508BHJP
C12Q 1/04 20060101ALI20240508BHJP
G06V 20/69 20220101ALI20240508BHJP
G06V 10/70 20220101ALI20240508BHJP
G06V 10/143 20220101ALI20240508BHJP
G06T 7/00 20170101ALI20240508BHJP
C12M 1/34 20060101ALI20240508BHJP
【FI】
G01N21/88 K
C12Q1/04
G06V20/69
G06V10/70
G06V10/143
G06T7/00 610C
G06T7/00 350B
C12M1/34 B
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022174881
(22)【出願日】2022-10-31
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和4年度、国立研究開発法人科学技術振興機構、創発的研究支援事業「生と死を瞬時に可視化するイメージングAIで解明する細胞死の意味」委託研究、産業技術力強化法第17条の適用を受ける特許出願、および、令和4年度、国立研究開発法人科学技術振興機構、研究成果展開事業「大学発新産業創出プログラム 社会還元加速プログラム(SCORE)大学推進型」、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】八幡 穣
(72)【発明者】
【氏名】チョウ ヤクウン
(72)【発明者】
【氏名】岩井 友香
(72)【発明者】
【氏名】野村 暢彦
(72)【発明者】
【氏名】原 克樹
(72)【発明者】
【氏名】鈴木 慧
(72)【発明者】
【氏名】塩原 旺
(72)【発明者】
【氏名】熊谷 彩純
【テーマコード(参考)】
2G051
4B029
4B063
5L096
【Fターム(参考)】
2G051AA01
2G051AB01
2G051BA04
2G051BA10
2G051CA04
2G051CB05
2G051EB05
4B029AA07
4B029BB01
4B029FA02
4B063QA01
4B063QQ06
4B063QQ10
4B063QQ16
4B063QQ17
4B063QR74
4B063QR79
4B063QS39
4B063QX02
5L096AA06
5L096BA03
5L096CA02
5L096CA17
5L096DA02
5L096DA03
5L096EA35
5L096FA02
5L096FA52
5L096FA69
5L096GA08
5L096GA19
5L096HA08
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
【課題】対象物における異物の存在についてより早く検査すること。
【解決手段】既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査する制御部、を備える検査装置。
【選択図】
図1
【特許請求の範囲】
【請求項1】
既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査する制御部、を備える検査装置。
【請求項2】
前記制御部は、前記対象情報を用いて予め学習処理を行うことによって得られた学習済モデルを用いて検査する、請求項1に記載の検査装置。
【請求項3】
前記学習済モデルは、前記対象情報と、前記対象情報における前記対象異物の有無に関する情報と、を用いて予め学習処理を行うことによって得られる、請求項2に記載の検査装置。
【請求項4】
前記散乱光は、前記対象異物から発せられる自家蛍光である、請求項1又は2に記載の検査装置。
【請求項5】
前記対象物は、生物が経口摂取する物である、請求項1又は2に記載の検査装置。
【請求項6】
前記対象異物は微生物である、請求項1又は2に記載の検査装置。
【請求項7】
前記対象情報は、それぞれ異なる波長の励起光で取得された第一対象情報及び第二対象情報を含み、
前記入力情報は、前記第一対象情報と同じ波長の励起光で取得された第一入力情報と、前記第二対象情報と同じ波長の励起光で取得された第二入力情報と、を含み、
前記制御部は、前記第一対象情報及び前記第二対象情報の差分情報と、前記第一入力情報及び前記第二入力情報の差分情報と、に基づいて検査する、請求項1又は2に記載の検査装置。
【請求項8】
前記制御部は、前記対象異物の数を判定する、請求項1又は2に記載の検査装置。
【請求項9】
前記制御部は、前記対象異物について所定の条件が満たされた場合に警告を出力する、請求項1又は2に記載の検査装置。
【請求項10】
前記対象物の製造過程又は出荷過程で前記対象物が通過する経路に設置される請求項1又は2に記載の検査装置。
【請求項11】
既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査し、対象異物の有無に関する判定結果を出力する制御部、を備える判定装置。
【請求項12】
既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査する、検査方法。
【請求項13】
既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査する制御部、を備える検査装置、としてコンピューターを機能させるためのコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査装置、判定装置、検査方法及びコンピュータープログラムに関する。
【背景技術】
【0002】
従来から、食品や医薬品において細菌を検出する技術がある。例えば特許文献1には食品試料を対象としてウエルシュ菌を培養して検出する技術が開示されている。このような技術を用いることで、人体に有害な細菌を検出して流通してしまうことを防止することが可能となる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、細菌の存在の検査に時間がかかってしまうという問題があった。このような問題は細菌の検査に限られず、様々な異物(例えば毛髪、プラスチック、金属等)の検査に共通する問題である。
【0005】
本発明は、上述した事情に鑑みてなされたものであり、対象物における異物の存在についてより早く検査することを可能とする技術を提供するものである。
【課題を解決するための手段】
【0006】
(1)本発明の一態様は、既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査する制御部、を備える検査装置である。
【0007】
(2)本発明の一態様は、上記(1)に記載の検査装置であって、前記制御部は、前記対象情報を用いて予め学習処理を行うことによって得られた学習済モデルを用いて検査する。
【0008】
(3)本発明の一態様は、上記(2)に記載の検査装置であって、前記学習済モデルは、前記対象情報と、前記対象情報における前記対象異物の有無に関する情報と、を用いて予め学習処理を行うことによって得られる。
【0009】
(4)本発明の一態様は、上記(1)又は(2)に記載の検査装置であって、前記散乱光は、前記対象異物から発せられる自家蛍光である。
【0010】
(5)本発明の一態様は、上記(1)又は(2)に記載の検査装置であって、前記対象物は、生物が経口摂取する物である。
【0011】
(6)本発明の一態様は、上記(1)又は(2)に記載の検査装置であって、前記対象異物は微生物である。
【0012】
(7)本発明の一態様は、上記(1)又は(2)に記載の検査装置であって、前記対象情報は、それぞれ異なる波長の励起光で取得された第一対象情報及び第二対象情報を含み、前記入力情報は、前記第一対象情報と同じ波長の励起光で取得された第一入力情報と、前記第二対象情報と同じ波長の励起光で取得された第二入力情報と、を含み、前記制御部は、前記第一対象情報及び前記第二対象情報の差分情報と、前記第一入力情報及び前記第二入力情報の差分情報と、に基づいて検査する。
【0013】
(8)本発明の一態様は、上記(1)又は(2)に記載の検査装置であって、前記制御部は、前記対象異物の数を判定する。
【0014】
(9)本発明の一態様は、上記(1)又は(2)に記載の検査装置であって、前記制御部は、前記対象異物について所定の条件が満たされた場合に警告を出力する。
【0015】
(10)本発明の一態様は、上記(1)又は(2)に記載の検査装置であって、前記対象物の製造過程又は出荷過程で前記対象物が通過する経路に設置される。
【0016】
(11)本発明の一態様は、既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査し、対象異物の有無に関する判定結果を出力する制御部、を備える判定装置。
【0017】
(12)本発明の一態様は、既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査する、検査方法である。
【0018】
(13)本発明の一態様は、既知の対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる対象情報に基づいて、対象物に対して前記所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる入力情報において対象異物の有無を検査する制御部、を備える検査装置、としてコンピューターを機能させるためのコンピュータープログラムである。
【発明の効果】
【0019】
本発明により、対象物における異物の存在についてより早く検査することが可能となる。
【図面の簡単な説明】
【0020】
【
図1】本発明の判定システム100のシステム構成を示す概略ブロック図である。
【
図2】端末装置10の機能構成の具体例を示す概略ブロック図である。
【
図3】画像入力部14に入力される画像の取得の一具体例を示す図である。
【
図4】学習装置20の機能構成の具体例を示す概略ブロック図である。
【
図7】前処理済学習データの具体例を示す図である。
【
図8】学習装置20の処理の具体例を示すフローチャートである。
【
図9】判定装置30の機能構成の具体例を示す概略ブロック図である。
【
図10】判定装置30の処理の具体例を示すフローチャートである。
【
図11】本実施形態に適用される情報処理装置90のハードウェア構成例の概略を示す図である。
【発明を実施するための形態】
【0021】
図1は、本発明の判定システム100のシステム構成を示す概略ブロック図である。判定システム100は、本願発明の検査システムの一具体例である。検査システム100は、対象物において対象異物の存在を検査する際に使用される。以下、判定システム100について説明する。
【0022】
判定システム100は、対象物において対象異物の存在を判定する際に使用される。以下、このような判定を行うための操作をする者をユーザーと呼ぶ。対象物は、対象異物が付着しているか否かの判定の対象となる物である。対象物は、例えば食品、医薬品、再生医薬品、医療器具、調理器具、工場やプラントに設置される設備(例えばコンベア等)、什器等の物体である。対象物は、特に異物が存在してしまうことが問題となる物体であってもよい。例えば、上述した食品や医療品のように生物(例えば人)が経口摂取する物が対象物であってもよい。例えば、上述した医薬品や再生医薬品や医療器具や調理器具のように衛生に関して所定の基準を満たすことが望まれる物が対象物であってもよい。
【0023】
対象物は、包装された物であっても良いし、包装されていない物であっても良い。ただし、対象物が包装されている場合には、その包装の一部又は全部において後述する所定波長の光(励起光)と、それに応じて対象物や対象異物から発せられる自家蛍光を過度に減衰させることなく透過させる部位が設けられていることが必要である。上述した透過させる部位が設けられる場合には、透明な(励起光及び自家蛍光を過度に減衰させることなく透過させる)部分(一部の場合には窓等でもよい)が設けられても良い。このような透過させる部位には、例えば熱可塑性樹脂が用いられてもよい。このような熱可塑性樹脂の具体例として、低密度ポリエチレン、ポリプロピレン、ポリエチレンテレフタラートがあるが、これに限定されるものではない。透過させる部位の厚みは、例えば対物レンズのワーキングディスタンスに収まれば良い。過度に減衰させることなく透過させるとは、結果として対象物及び対象異物から発せられる自家蛍光を撮像装置において撮像可能な強度で受光できる程度に励起光及び自家蛍光が透過されることをいう。
【0024】
対象異物は、判定対象となる異物である。対象異物は、対象物において存在することが好ましくない異物である。対象異物には、例えば微生物(例えば細菌、ウイルス)、プラスチックの破片、金属の破片、人の毛髪や動物の毛などがある。
【0025】
判定システム100は、端末装置10と学習装置20と判定装置30とを含む。端末装置10と判定装置30とは、ネットワーク70を介して通信可能に接続される。学習装置20と判定装置30とは、ネットワーク70を介して通信可能に接続されもよい。ネットワーク70は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク70は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク(LAN)を用いて構成されてもよい。ネットワーク70は、複数のネットワークが組み合わされて構成されてもよい。
【0026】
図2は、端末装置10の機能構成の具体例を示す概略ブロック図である。端末装置10は、例えばスマートフォン、タブレット、パーソナルコンピューター、専用機器などの情報機器を用いて構成される。端末装置10は、通信部11、操作部12、出力部13、画像入力部14、記憶部15及び制御部16を備える。
【0027】
通信部11は、通信機器である。通信部11は、例えばネットワークインターフェースとして構成されてもよい。通信部11は、制御部16の制御に応じて、ネットワーク70を介して他の装置とデータ通信する。通信部11は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
【0028】
操作部12は、キーボード、ポインティングデバイス(マウス、タブレット等)、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部12は、ユーザーの指示を端末装置10に入力する際にユーザーによって操作される。操作部12は、入力装置を端末装置10に接続するためのインターフェースであっても良い。この場合、操作部12は、入力装置においてユーザーの入力に応じ生成された入力信号を端末装置10に入力する。操作部12は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部12はユーザーによって発話された文言を音声認識し、認識結果の文字列情報を端末装置10に入力する。この場合、操作部12は音声の入力のみを行い、音声認識は制御部16によって実行されてもよい。操作部12は、ユーザーの指示を端末装置10に入力可能な構成であればどのように構成されてもよい。
【0029】
出力部13は、情報をユーザーが認知可能な形で出力する。出力部13は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置であってもよい。出力部13は、画像表示装置を端末装置10に接続するためのインターフェースであっても良い。この場合、出力部13は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。出力部13は、スピーカー等の音響を出力する装置であってもよい。出力部13は、スピーカーやヘッドホン等の音響出力装置を端末装置10に接続するためのインターフェースであってもよい。この場合、出力部13は、音響データを再生するための音響信号を生成し、自身に接続されている音響出力装置に音響信号を出力する。
【0030】
画像入力部14は、端末装置10に対して入力される画像のデータを受け付ける。画像入力部14は、情報入力部の一態様である。情報入力部は、対象異物及び対象物に対して所定の波長の励起光を照射することによって生じる散乱光を取得することによって得られる情報(対象情報、入力情報)の入力を受け付ける。以下、これらの情報が画像として撮像によって得られる場合の具体例について説明する。
【0031】
画像入力部14は、例えばCD-ROMやUSBメモリー(Universal Serial Bus Memory)等の記録媒体に記録された画像のデータを読み出しても良い。画像入力部14は、スチルカメラやビデオカメラによって撮像された画像を、カメラから取得しても良い。カメラから画像が取得される場合には、例えばUSBケーブルやLANケーブル等の通信ケーブルを経由した有線通信が行われても良いし、無線LANやBlue Tooth等の無線通信が行われても良い。画像入力部14は、スチルカメラやビデオカメラ等の撮像装置として構成されてもよい。画像入力部14は、ネットワークを介して他の情報処理装置から画像のデータを受信しても良い。画像入力部14は、画像のデータの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。画像入力部14によって入力された画像のデータは、記憶部15によって記憶されても良い。
【0032】
図3は、画像入力部14に入力される画像の取得の一具体例を示す図である。
図3に示される具体例では、対象物はスライスされたロースハム71であり、複数枚(例えば9枚)のロースハム71が包装フィルム70を用いてパッケージされている。包装フィルム70は、包装フィルム70は、励起光と自家蛍光とを過度に減衰させることなく透過させるフィルムを用いて構成されている。パッケージされたロースハム71は、ベルトコンベア81上に乗っている。ベルトコンベア81の動作に応じて、各ロースハム71はベルトコンベア81の下流へ流れていく。その途中で、ベルトコンベア81上の所定の領域を撮像範囲とした撮像装置82が設置されている。撮像装置82は、画像入力部14に接続されている。撮像装置82によって撮像された画像は、画像入力部14を介して端末装置10に入力される。撮像装置82は、後述するように所定波長の光(励起光)を発光し、それに応じて対象物や対象異物から発せられる自家蛍光を受光して画像を生成する。
【0033】
記憶部15は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部15は、制御部16によって使用されるデータを記憶する。記憶部15は、制御部16が処理を行う際に必要となるデータを記憶する。
【0034】
制御部16は、CPU(Central Processing Unit)等のプロセッサーとメモリー(主記憶装置)とを用いて構成される。制御部16は、プロセッサーがプログラムを実行することによって機能する。なお、制御部16の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD:Solid State Drive)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
【0035】
制御部16は、例えば予め自装(端末装置10)にインストールされたアプリケーションを実行してもよい。このようなアプリケーションの具体例として、判定システム100の専用アプリケーションとして端末装置10に提供されるアプリケーションがある。このようなアプリケーションの他の具体例として、WEBブラウザーのアプリケーションがある。制御部16は、実行中のアプリケーションのプログラムにしたがって動作する。
【0036】
制御部16は、ユーザーの操作や判定装置30から受信される情報に応じて端末装置10を制御する。例えば、制御部16は、ユーザーが操作部12を操作することによって入力された情報を、通信部11を用いることによって判定装置30へ送信する。例えば、制御部16は、画像入力部14から入力された画像のデータを、通信部11を用いることによって判定装置30へ送信する。例えば、制御部16は、判定装置30から送信された情報がネットワーク70を介して通信部11で受信されると、受信された情報に基づいて画面データを生成し、出力部13に画面データを表示させる。このような画面データには、判定装置30から送信された画像や文字が含まれる。例えば、制御部16は、判定装置30から送信された情報がネットワーク70を介して通信部11で受信されると、受信された情報に基づいて音声データを生成し、出力部13から音声データを出力させる。
【0037】
以下、制御部16の動作の具体例について説明する。以下の例では、出力部13の具体例として画像表示装置が用いられる。ただし、上述したように出力部13は画像表示装置を用いて構成される必要はなく、音声出力装置を用いて構成されてもよいし、画像表示装置及び音声出力装置の両方を用いて構成されてもよい。
【0038】
制御部16は、判定装置30が判定処理を実行するために必要となる情報を入力することをユーザーに対して指示する文字や画像を有した画面データを生成する。制御部16は、生成した画面データを出力部13に表示させる。制御部16は、例えば判定対象となる画像を選択することを指示してもよい。ユーザーは、操作部12を操作することによって、求められた画像を示す情報を端末装置10に入力する。制御部16は、入力された情報に応じた画像のデータを、通信部11を用いて判定装置30に送信する。制御部16は、判定装置30から判定結果を受信する。制御部16は、判定結果を示す情報を示す画面データを生成する。制御部16は、生成した画面データを出力部13に表示させる。
【0039】
図4は、学習装置20の機能構成の具体例を示す概略ブロック図である。学習装置20は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。学習装置20は、通信部21、記憶部22及び制御部23を備える。
【0040】
通信部21は、通信機器である。通信部21は、例えばネットワークインターフェースとして構成されてもよい。通信部21は、制御部23の制御に応じて、ネットワーク70を介して他の装置とデータ通信する。通信部21は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
【0041】
記憶部22は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部22は、制御部23によって使用されるデータを記憶する。記憶部22は、例えば学習データ記憶部221、前処理済学習データ記憶部222及び学習済モデル記憶部223として機能してもよい。
【0042】
学習データ記憶部221は、学習装置20において実行される学習処理に用いられる学習データを記憶する。学習データ記憶部221が記憶する学習データは、対象物と対象異物とが撮像された画像を含む。以下、学習データに含まれる画像(以下「対象画像」という。)の具体例について説明する。
【0043】
対象画像は、1又は複数の波長の励起光を対象物及び対象異物に対して照射することによって生じる自家蛍光を撮像することによって得られる。このような撮像は、例えば以下に示す文献に記載された技術を用いることによって行われてもよい。また、撮像においてフェムト秒レーザー装置が使用されてもよい。
参考文献:特許第6422616号
【0044】
対象画像には、第一対象画像と第二対象画像とが含まれる。第一対象画像及び第二対象画像は、同じ状態の対象物及び対象異物を、同一の撮像パラメータ(同一視点及び同一視野)で励起光のパラメータのみが異なる環境で撮像された画像である。第一対象画像は、対象物と対象異物とがそれぞれ異なる波長で所定値以上の輝度の散乱光を発している様子が撮像された画像である。第二対象画像は、対象物と対象異物との区別が難しい画像である。
【0045】
第二対象画像は、例えば対象物と対象異物とがそれぞれ所定の範囲内の近い波長の散乱光を発している様子が撮像された画像であってもよいし、対象異物から発せられる散乱光の輝度が所定値未満(ゼロを含む)である状態が撮像された画像であってもよい。なお、上記の散乱光は、対象異物が発光することによって得られる光でもよいし、対象異物が光を反射することによって得られる光であってもよい。散乱光の具体例として、例えば自家蛍光がある。自家蛍光を用いた第一対象画像の撮像においては、対象物と対象異物とがそれぞれ異なる波長で所定値以上の輝度の自家蛍光を発するための励起光が照射されて撮像されることが好ましい。自家蛍光を用いた第二対象画像の撮像においては、対象物と対象異物とがそれぞれ所定の範囲内の近い波長の自家蛍光を発するための励起光が照射されて撮像されるか、対象異物から発せられる自家蛍光の輝度が所定値未満となるような励起光が照射されて撮像されることが好ましい。
【0046】
図5は、第一対象画像の一具体例を示す図である。
図5に示される第一対象画像は、大腸菌が表面に付着したロースハムの自家蛍光スペクトル画像である。ロースハムは包装フィルムごと焦点レーザー顕微鏡のステージ上に設置され、488nmの波長の励起光を照射することによって撮像された。包装フィルムは例えば約0.07mmの厚さを持ったポリエチレンなどが用いられるがこれに限るものではない。488nmの波長の励起光が照射されると、ロースハムは主に赤色の自家蛍光を発し、大腸菌は主に緑色の自家蛍光を発する。第一対象画像では、ロースハム及び大腸菌それぞれから発せられた自家蛍光の光が所定値以上の輝度で撮像されており、判別可能な輝度で撮像されている。
【0047】
図6は、第二対象画像の一具体例を示す図である。
図6に示される第二対象画像は、第一対象画像と同じ状態の対象物及び対象異物を、同一の撮像パラメータ(同一視点及び同一視野)で励起光のパラメータのみが異なる環境で撮像された画像である。第二対象画像は、例えば561nmの波長の励起光を照射することによって撮像された。561nmの波長の励起光が照射されると、ロースハムは主に赤色の自家蛍光を発するが、大腸菌から発せられる自家蛍光の輝度は非常に低い。すなわち、第二対象画像では、ロースハムから発せられた自家蛍光の光が所定値以上の輝度で撮像されているが、大腸菌から発せられた自家蛍光の光は所定値未満の輝度で撮像されている。そのため、大腸菌は判別が難しい輝度で撮像されている。
【0048】
学習制御部233によって実行される学習処理が教師なし学習である場合には、上述した第一対象画像及び第二対象画像のみが学習データとして用いられても良い。一方で、学習制御部233によって実行される学習処理が教師あり学習である場合には、上述した第一対象画像及び第二対象画像に加えてさらにラベル情報が学習データに含まれる。ラベル情報は、第一対象画像及び第二対象画像の組み合わせに対し、撮像されている対象異物に関する情報である。例えばラベル情報は、その対象画像に対象異物が撮像されているか否かを示す情報であってもよい。例えばラベル情報は、その対象画像に撮像されている対象異物の位置を示す情報であってもよい。
【0049】
前処理済学習データ記憶部222は、前処理制御部232によって実行される前処理によって得られた情報を記憶する。例えば、第一対象画像から第二対象画像を減算することによって得られた減算画像のデータが前処理済学習データとして記憶されてもよい。
【0050】
学習済モデル記憶部223は、学習データ記憶部221に記憶されている学習データや前処理済学習データ記憶部222に記憶される前処理済学習データを用いた学習処理によって得られる学習済モデルを記憶する。
【0051】
制御部23は、CPU等のプロセッサーとメモリーとを用いて構成される。制御部23は、プロセッサーがプログラムを実行することによって、情報制御部231、前処理制御部232及び学習制御部233として機能する。なお、制御部23の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
【0052】
情報制御部231は、情報の入出力を制御する。例えば、情報制御部231は、他の機器(情報処理装置や記憶媒体)から学習データを取得し、学習データ記憶部221に記録する。情報制御部231は、例えば対象物の製造ラインに設置された撮像装置から学習データに相当するデータを取得してもよい。例えば、情報制御部231は、学習済モデル記憶部223に記憶されている学習済モデルを、他の装置(例えば判定装置30)に対して送信する。
【0053】
前処理制御部232は、学習データに対して所定の前処理を実行することによって、前処理済学習データを生成する。前処理制御部232は、例えば第一対象画像から第二対象画像を減算することによって前処理済学習データを生成してもよい。具体的には、第一対象画像の各画素の画素値から、第二対象画像の対応する各画素の画素値を減算する処理が行われても良い。このとき、第二対象画像の各画素の画素値に対し係数を乗算することによって得られる値が減算されてもよい。係数は、第二対象画像における対象物の画素値が、第一対象画像における対象物の画素値と近い値になるように定義される値である。
【0054】
このような係数は、予め固定した値として前処理制御部232に与えられていても良い。この場合、例えば対象物及び対象異物の組み合わせ毎に係数が固定値として与えられても良い。係数は、処理の対象となる学習データに応じて動的に得られても良い。動的に得られる場合には、例えば第一対象画像の画像全体の画素値の平均値と、第二対象画像の画像全体の画素値の平均値と、の比に基づいて係数が定められても良い。すなわち、両画像の画素値の平均値が一致するように係数が定められても良い。このような係数は、画素値の要素毎に付与されてもよい。例えば画像がRGB画像である場合には、Rの係数と、Gの係数と、Bの係数とがそれぞれ独立した値として付与されてもよい。なお、上述した前処理制御部232の処理では、第二対象画像の画素値に対して係数が乗じられているが、第一対象画像の画素値に対して係数が乗じられてもよい。この場合は、このような処理に合わせて係数が付与される。
【0055】
図7は、前処理済学習データの具体例を示す図である。
図7に示される前処理済学習データでは、
図5に示される学習データに比べて、S/N比が改善されており、対象異物(大腸菌)がより明確に示されている。
【0056】
学習制御部233は、前処理済学習データ記憶部222に記憶されている前処理済学習データを用いて学習処理を実行する。このような学習処理の具体例として、例えば、クラスター分析等の教師なし学習が用いられてもよいし、サポートベクトルマシンやニューラルネットワーク等の分類のための教師あり学習が用いられてもよい。学習制御部233は、例えば教師あり学習を行うことによって、入力される画像に基づいて対象異物の有無や、対象異物の位置を出力するための学習済モデルを生成する。学習制御部233は、生成された学習済モデルを学習済モデル記憶部223に記録する。学習制御部233によって得られた学習済モデルは、判定装置30に対して送信され、判定装置30の学習済モデル記憶部321に記録されてもよい。このような学習済モデルは、入力として対象物の画像を与えることによって、出力として対象異物の有無や対象異物の位置を示す値を得ることが可能である。
【0057】
図8は、学習装置20の処理の具体例を示すフローチャートである。まず、情報制御部231は学習データを取得する(ステップS101)。学習データは、例えばユーザーによって入力されてもよいし、他の情報機器から通信によって取得されてもよいし、学習装置20に接続された記録媒体から取得されてもよい。前処理制御部232は、学習データに対して所定の前処理を実行する(ステップS102)。学習制御部233は、前処理済学習データを用いて学習処理を実行し、学習済モデルを学習済モデル記憶部223に記録する(ステップS103)。
【0058】
図9は、判定装置30の機能構成の具体例を示す概略ブロック図である。判定装置30は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。判定装置30は、通信部31、記憶部32及び制御部33を備える。
【0059】
通信部31は、通信機器である。通信部31は、例えばネットワークインターフェースとして構成されてもよい。通信部31は、制御部33の制御に応じて、ネットワーク70を介して他の装置とデータ通信する。通信部31は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。
【0060】
記憶部32は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部32は、制御部33によって使用されるデータを記憶する。記憶部32は、例えば学習済モデル記憶部321として機能してもよい。
【0061】
学習済モデル記憶部321は、予め学習処理によって生成された学習済モデルの情報を記憶する。このような学習処理は、例えば他の装置(例えば学習装置20)によって実行されてもよいし、自装置(判定装置30)によって実行されてもよい。
【0062】
制御部33は、CPU等のプロセッサーとメモリーとを用いて構成される。制御部33は、プロセッサーがプログラムを実行することによって、情報制御部331、前処理制御部332及び判定部333として機能する。なお、制御部33の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
【0063】
情報制御部331は、端末装置10等の他の装置から画像を取得する。取得される画像は異物が含まれているか否かの判定の対象となる対象物が撮像された画像である。取得される画像は、学習処理において用いられた画像の撮像方法と同じ撮像方法で撮影される。例えば、上述した第一対象画像と同じ撮像条件で撮像された対象物の画像(以下「第一入力画像」という。)と、上述した第二対象画像と同じ撮像条件で撮像された対象物の画像(以下「第二入力画像」という。)と、が取得される。
【0064】
情報制御部331は、前処理制御部332によって得られた前処理済入力画像や、判定部333によって得られた判定結果を示す情報を、端末装置10等の他の装置に対して情報を送信する。このような情報制御部331による他の装置との間の情報のやりとりは、例えば通信部31による通信によって行われてもよい。判定装置30の制御部33は、このように通信部31によって他の装置へ判定結果を送信することによって判定結果を出力してもよい。
【0065】
前処理制御部332は、情報制御部331によって取得された第一入力画像と第二入力画像とを用いて所定の前処理を実行することで前処理済入力画像を生成する。前処理制御部332が実行する前処理は、判定部333によって使用される学習済モデルを生成する際の前処理と同様の処理である。前処理制御部332が第一入力画像及び第二入力画像に対して行う処理は、前処理制御部232が第一対象画像及び第二対象画像に対して行う処理と同じである。前処理制御部332は、このような前処理を行うことによって前処理済入力画像を生成する。
【0066】
判定部333は、学習済モデル記憶部321に記憶される学習済モデルと、前処理済入力画像と、を用いて判定処理を行う。判定処理によって、第一入力画像に写っている対象物において対象異物が存在しているか否か判定される。判定部333は、少なくとも第一入力画像に写っている対象物において対象異物が存在しているか否かの判定結果を出力する。また、判定部333は、さらに第一入力画像に写っている対象異物の量に関する情報(例えば数、単位面積当たりの数など)について判定してもよい。
【0067】
判定部333は、学習済モデルから上述した対象異物の量に関する情報が出力として得られる場合には、その値を判定結果として取得してもよい。判定部333は、学習済モデルから上述した対象異物の量に関する情報が出力として得られない場合には、量に関する情報を得るための処理をさらに実行してもよい。例えば、判定部333は、学習済モデルから上述した対象異物の位置に関する情報が出力として得られる場合には、その位置の数を計数することによって量に関する情報を取得してもよい。例えば、判定部333は、後述するように入力画像を複数のグリッドに分割して判定処理を行う場合には、対象異物が存在すると判定されたグリッドの数を対象異物の数として判定してもよい。判定部333が対象異物の量に関する情報を取得するための処理は、上述したものに限定される必要はない。
【0068】
図10は、判定装置30の処理の具体例を示すフローチャートである。まず、情報制御部331は端末装置10から入力画像(第一入力画像及び第二入力画像)を取得する(ステップS201)。前処理制御部332は、入力画像に対して前処理を行うことによって前処理済入力画像を生成する(ステップS202)。判定部333は、前処理済入力画像を用いて判定処理を行う(ステップS203)。判定部333は、判定結果を示す情報を端末装置10に送信する(ステップS204)。
【0069】
このように構成された判定システム100では、対象物における異物の存在についてより早く判定することが可能となる。具体的には以下の通りである。判定システム100では、対象物について撮像された第一対象画像及び第二対象画像を用いて生成された前処理済対象画像を用いて学習処理が実行され、学習済モデルが得られる。そして、判定システム100では、判定対象となる新たな対象物について第一入力画像及び第二入力画像が取得され、それに基づいて前処理済入力画像が取得される。前処理済入力画像では、第一入力画像に比べて、対象異物の画像がより判別しやすい状態で示される。そのため、より精度よく対象異物の存在を判定することが可能となる。
【0070】
また、上述したように第一入力画像及び第二入力画像を取得することで対象異物を画像で判定することができる。そのため、対象異物の撮像以外の処理が基本的に不要である。例えば、対象異物が最近(例えば大腸菌)である場合は、従来は培養する必要があった。しかし、判定システム100では培養をする必要がない。そのため、対象物における異物の存在についてより早く判定することが可能となる。このように早く判定することが可能となるため、例えば対象物が商品である場合には、その商品の製造過程や出荷過程等において時間をかけずに(いわゆるリアルタイムで)対象異物の存在を判定することが可能となる。このような場合には、判定装置30は製造過程や出荷過程で商品が通過する経路に撮像装置と共に設置されてもよい。このように構成されることによって、インライン検査を行うことが可能となる。
【0071】
また、上述したように第一入力画像及び第二入力画像を取得することで対象異物を画像で判定することができる。そのため、対象異物がたとえ包装されていたとしても開封することなく対象異物の混入を精度よく判定することが可能となる。
【0072】
図11は、本実施形態に適用される情報処理装置90のハードウェア構成例の概略を示す図である。情報処理装置90は、プロセッサー91、主記憶装置92、通信インターフェース93、補助記憶装置94、入出力インターフェース95及び内部バス96を備える。プロセッサー91、主記憶装置92、通信インターフェース93、補助記憶装置94及び入出力インターフェース95は、内部バス96を介して互いに通信可能に接続される。情報処理装置90は、例えば学習装置20及び判定装置30に適用されてもよい。この場合、例えば通信部21及び通信部31は通信インターフェース93を用いて構成されてもよい。例えば記憶部22及び記憶部32は補助記憶装置94を用いて構成されてもよい。また、制御部23及び制御部33は、プロセッサー91及び主記憶装置92を用いて構成されてもよい。
【0073】
(変形例)
上述した実施形態では、学習データは少なくとも第一対象画像と第二対象画像とを含む。しかしながら、学習データは、少なくとも第一対象画像を含み、第二対象画像を含まないように構成されてもよい。この場合、上述した前処理(第一対象画像と第二対象画像との減算処理)は実行されない。この場合、前処理済学習データではなく学習データ(第一対象画像)を用いて学習処理が実行される。この場合、判定装置30の処理は、前処理済入力画像ではなく第一入力画像を用いて行われる。
【0074】
第一対象画像及び第二対象画像は、1つの対象異物が撮像されている部分画像として構成されてもよい。この場合、部分画像の大きさは、実際に撮像装置が対象物を撮像することによって得られる画像よりも小さい画像である。例えば、人の目や画像処理によって、実際に撮像装置が対象物を撮像することによって得られる画像から対象異物が映っている領域を切り出すことによって部分画像が生成されてもよい。ただし、各部分画像の大きさは統一されていることが望ましい。
【0075】
このように第一対象画像及び第二対象画像が部分画像として構成される場合、判定装置30の処理は以下のようになる。前処理制御部332は、処理対象の入力画像(例えば第一入力画像や、前処理済入力画像)を、予め定められた複数の領域(グリッド)に分割する。各グリッドの大きさは、学習に用いられる部分画像の大きさと同じであることが望ましい。判定装置30は、各グリッドの入力画像に対して、学習済モデルを用いてその入力画像内に対象異物が映っているか否か判定する。判定装置30は、例えば全てのグリッドについて判定処理を行ってもよい。
【0076】
上述した実施形態では、判定装置30は対象異物について判定処理を実行している。これに対し、判定装置30に相当する装置は、判定処理を実行せずに前処理済入力画像を出力する(例えば端末装置10等の他装置に送信する)ように構成されてもよい。このような構成であっても、前処理済入力画像を用いて他の装置やユーザー等が対象異物の存在について容易に判定することが可能になるという効果が得られる。
【0077】
本実施形態では、端末装置10と判定装置30とが異なる装置として構成されているが、一体の装置として構成されてもよい。
図12は、このように構成された判定装置30の変形例を示す図である。
図12に示される判定装置30は、操作部34、出力部35及び画像入力部36を備える。
図12に示される判定装置30の操作部34、出力部35及び画像入力部36は、それぞれ端末装置10の操作部12、出力部13及び画像入力部14と同様に機能する。制御部33は、操作部34に対する操作に応じて動作し、画像入力部36によって入力された画像を用いて判定処理を行い、出力部35を用いて情報を出力する。このように構成されることによって、入力画像の取得から判定結果の出力までを人の手を介することなく自動的に実行することが可能となる。判定装置30の制御部33は、このように出力部35によって情報を出力することによって判定結果を出力してもよい。
【0078】
本実施形態では、学習装置20と判定装置30とが異なる装置として構成されているが、一体の装置として構成されてもよい。
図13は、このように構成された判定装置30の変形例を示す図である。
図13に示される判定装置30の記憶部32は、学習データ記憶部322及び前処理済学習データ記憶部323としても機能する。
図13に示される判定装置30の制御部33は、前処理制御部332及び学習制御部334としても機能する。学習データ記憶部322及び前処理済学習データ記憶部323は、それぞれ学習装置20の学習データ記憶部221及び前処理済教師データ記憶部222と同様に機能する。前処理制御部332は、判定装置30の前処理(入力画像に対する前処理)のみではなく、学習装置20の前処理(対象画像に対する前処理)も実行する。学習制御部334は、学習装置20の学習制御部233と同様に機能する。
【0079】
学習装置20は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて学習装置20が実装されてもよい。例えば、学習装置20において、記憶部22と制御部23とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、学習装置20の記憶部22が複数の情報処理装置に分散して実装されてもよい。判定装置30は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて判定装置30が実装されてもよい。例えば、判定装置30において、記憶部32と制御部33とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、判定装置30の記憶部32が複数の情報処理装置に分散して実装されてもよい。
【0080】
学習装置20は、複数の励起光の波長に関して、励起光の波長ごとに対象画像(例えば第一対象画像及び第二対象画像)を取得し、励起光の波長ごとに学習済モデルを生成してもよい。この場合、判定装置30の学習済モデル記憶部321は、励起光の波長毎に学習済モデルを記憶する。情報制御部331は、励起光の波長毎に入力画像を取得する。前処理制御部332は、励起光の波長毎に前処理を行い、励起光の波長毎に前処理済入力画像を生成する。判定部333は、励起光の波長毎に判定処理を行い、判定結果を生成する。
【0081】
学習済モデル記憶部321は、励起光の波長に対し、その波長の励起光で所定の強度以上の自家蛍光を発する対象異物を示す情報を対応づけて記憶してもよい。判定部333は、各判定結果に対して対応する対象異物を示す情報を対応づけて出力してもよい。
【0082】
判定部333は、所定の条件が満たされたことに応じて、警告を発するように構成されてもよい。警告は、判定装置30が備える出力装置(例えば照明、画像表示装置、音響出力装置など)を動作させることによって行われても良いし、他の機器(例えば端末装置10)に対して警告を示す情報を送信することによって行われても良いし、他の態様で行われても良い。所定の条件は、例えば入力画像において異物が有ると判定されたことであってもよいし、入力画像において所定の数以上の異物が有ると判定されたことであってもよいし、異物が有ることに関する他の条件であってもよい。
【0083】
前述した通り、上記画像(対象画像や入力画像)は情報の一具体例である。画像以外の情報としては、例えば取得された散乱光に関する情報を画像以外の態様(例えば信号や数値や時系列情報やスペクトルデータ)で示した情報がある。このような情報は、例えば点スキャン装置やラインスキャン装置を用いて取得されてもよい。このような情報を用いることで、判定部333は、対象異物が存在するか否かについて判定してもよい。さらに、判定部333は、取得された散乱光のスペクトルデータに基づいて、対象異物の種別について判定してもよい。例えば、対象異物が菌である場合には、菌の種別がスペクトルデータに基づいて判定されてもよい。この場合、1種類の波長の励起光を照射することによって、複数種類の対象異物(例えば菌)を判定することが可能となる。
【0084】
前処理として、以下の様な処理がさらに実行されてもよい。
・機械学習モデルを用いて、対象画像及び入力画像において色合いの値(例えば色相の値や彩度の値)に基づいてバックグラウンドのノイズを除去する処理。
・対象画像及び入力画像において、輪郭抽出処理を実行し、抽出された輪郭に対して細胞領域のセグメンテーションを実行する処理。
・セグメンテーションされた各領域について、その領域のサイズに基づいて細胞を更に選別する処理。
・ダークカウントによって生じるノイズを取り除く処理。このような処理は、例えば、画像をフーリエ変換し高周波数領域を取り除くことによって行われても良い。
・観察容器や基質によって生じる背景信号のスペクトルの特徴及び強度が既知の場合には、これを減算することにより背景信号の強度を軽減する処理。
・視野内の夾雑物をとり除く処理。このような処理は、例えば、検出領域の面積や直径、アスペクト比を予想される細胞のそれらの特性と比較し、基準を満たさない場合に解析から除くことによって行われても良い。
【0085】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0086】
100…判定システム(検査システム), 10…端末装置, 11…通信部, 12…操作部, 13…出力部, 14…画像入力部(情報入力部)、 15…記憶部, 16…制御部, 20…学習装置, 21…通信部, 22…記憶部, 221…学習データ記憶部, 222…前処理済学習データ記憶部, 223…学習済モデル記憶部, 23…制御部, 231…情報制御部, 232…前処理制御部, 233…学習制御部, 30…判定装置(検査装置), 31…通信部, 32…記憶部, 321…学習済モデル記憶部, 33…制御部, 331…情報制御部, 332…前処理制御部, 333…判定部(検査部)