特許 7496543 異物の混入時期特定方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-30

(45)【発行日】2024-06-07

(54)【発明の名称】異物の混入時期特定方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240531BHJP

【ＦＩ】

G06T7/00 300F

【請求項の数】 6

(21)【出願番号】P 2020082520

(22)【出願日】2020-05-08

(65)【公開番号】P2021177327

(43)【公開日】2021-11-11

【審査請求日】2023-04-26

(73)【特許権者】

【識別番号】594120157

【氏名又は名称】アース環境サービス株式会社

(73)【特許権者】

【識別番号】304020292

【氏名又は名称】国立大学法人徳島大学

(74)【代理人】

【識別番号】100081558

【弁理士】

【氏名又は名称】齋藤 晴男

(74)【代理人】

【識別番号】100154287

【弁理士】

【氏名又は名称】齋藤 貴広

(72)【発明者】

【氏名】松本 吉雄

(72)【発明者】

【氏名】美山 和宏

(72)【発明者】

【氏名】篠崎 賢次

(72)【発明者】

【氏名】守屋 紀康

(72)【発明者】

【氏名】寺田 賢治

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－０７１５５２（ＪＰ，Ａ）

【文献】特開２０１６－１６９９６５（ＪＰ，Ａ）

【文献】特開２０１１－２１５０６１（ＪＰ，Ａ）

【文献】特開２０１４－１５３９０６（ＪＰ，Ａ）

【文献】特開平１０－１９７５２２（ＪＰ，Ａ）

【文献】写真絵画変換 写真が絵画風に変換！？，第２回ＡＩ・人工知能ＥＸＰＯ，ロボケン アース環境サービス株式会社，2018年

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するための方法であって、
前記混入異物の切片画像を作成するステップと、
前記切片画像に対し、一次基準点を複数選択し、前記一次基準点を中心とする任意サイズの一次観察領域画像を前記一次基準点ごとに取得する一次観察領域画像選択ステップと、
前記一次基準点を含む矩形内の任意の箇所に二次基準点を複数選択し、前記二次基準点を中心とする任意サイズの二次観察領域画像を前記二次基準点ごとに取得する二次観察領域画像選択ステップと、
前記一次観察領域画像から、組織と組織間の間隙とを識別して前記組織の抽出を行なう一次組織抽出ステップと、
前記二次観察領域画像から、前記一次組織抽出ステップにおいて用いた閾値を利用して組織の抽出を行う二次組織抽出ステップと、
前記一次組織抽出ステップ及び前記二次組織抽出ステップにおいて抽出した組織について、その特徴量を抽出する特徴量抽出ステップと、
抽出された前記特徴量を、学習モデルにおける前記特徴量と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定ステップと、
から成ることを特徴とする異物の混入時期特定方法。

【請求項2】

前記切片画像は、検体切り出し工程、検体包埋工程、検体凍結工程、切片作製工程、切片伸展乾燥工程、固定液による固定工程、切片染色工程、及び、封入剤による封入工程を経て得た昆虫の切片の画像である、請求項１に記載の異物の混入時期特定方法。

【請求項3】

前記組織の特徴量は、切片画像中のすべての組織の数、総面積及び面積割合（孤立組織面積／組織面積）、組織のサイズの変動係数、組織のＧ値の変動係数及びＧ値のヒストグラムの山幅、組織の円形度、組織の彩度平均、組織のエッジ領域の色情報のＲ値の変動係数のうちの１又は複数である、請求項１又は２に記載の異物の混入時期特定方法。

【請求項4】

混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するためのシステムであって、
撮影装置と、前記撮影装置により撮影された前記混入異物の画像を読み込む画像読み込み手段と、前記画像読み込み手段によって読み込まれた画像を解析して当該混入異物の混入時期を特定する解析装置と、前記解析装置において特定された結果を出力する出力手段とから成り、
前記解析装置は、前記画像読み込み手段によって読み込まれた切片画像から、組織領域を抽出するための観察領域画像を選択する観察領域画像選択手段と、選択された前記観察領域画像から組織の特徴量を抽出する特徴量抽出手段と、前記組織の特徴量から加熱・未加熱の判定を行なう加熱・未加熱判定手段と、前記加熱・未加熱の判定を行なうための学習モデルの特徴量データを記憶する記憶手段とを含み、
前記組織の特徴量は、切片画像中のすべての組織の数、総面積及び面積割合（孤立組織面積／組織面積）、組織のサイズの変動係数、組織のＧ値の変動係数及びＧ値のヒストグラムの山幅、組織の円形度、組織の彩度平均、組織のエッジ領域の色情報のＲ値の変動係数のうちの１又は複数であることを特徴とする異物の混入時期特定システム。

【請求項5】

混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するための方法であって、
前記混入異物の切片画像の読み込みステップと、読み込んだ前記切片画像から、組織中の孔候補を抽出する孔候補抽出ステップと、前記孔候補から円形度の高い孔を抽出する円形孔抽出ステップと、抽出された前記円形度の高い孔の数をカウントする孔数カウントステップと、カウントされた円形孔数を学習モデルにおける円形孔数と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定ステップとを含むことを特徴とする異物の混入時期特定方法。

【請求項6】

混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するためのシステムであって、
撮影装置と、前記撮影装置により撮影された混入異物の画像を読み込む画像読み込み手段と、前記画像読み込み手段によって読み込まれた画像を解析して当該混入異物の混入時期を特定する解析装置と、前記解析装置において特定された結果を出力する出力手段とから成り、
前記解析装置は、前記画像読み込み手段によって読み込まれた切片画像から、組織領域を抽出するための観察領域画像を選択する観察領域画像選択手段と、選択された前記観察領域画像から組織中の孔候補を抽出する孔候補抽出手段と、前記孔候補から円形度の高い孔を抽出する円形孔抽出手段と、抽出された前記円形度の高い孔の数をカウントする孔数カウント手段と、カウントされた円形孔数を学習モデルにおける円形孔数と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定手段と、前記加熱・未加熱の判定を行なうための学習モデルの孔数データを記憶する記憶手段とを含むことを特徴とする異物の混入時期特定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異物の混入時期特定方法及びシステムに関するものであり、より詳細には、医薬品や食品等の加熱工程を含む製造加工過程等において混入した可能性のある異物（本発明の場合は昆虫）の混入時期を特定するための方法及びシステムに関するものである。

【背景技術】

【0002】

医薬品や食品、あるいは、包装材料などの製品に昆虫等の全体又は一部が混入した場合は大きな社会問題となり、その対策を講じるために、その混入時期や混入経路を究明することが不可欠となる。昆虫等の混入時期や経路を推定するためには、先ず、昆虫等の種類や状態、発見状況、あるいは、製造記録や昆虫の捕獲状況等を総合的に把握することが必要となる。

【0003】

加熱工程を含む医薬品や食品の製造過程において、昆虫等の異物が加熱前に混入したものか、加熱後に混入したものかを判断するための判断方法の一つとして、カタラーゼ反応テストが提案され、加熱の有無を判断する簡便な方法であることから、多く利用されてきている。

【0004】

このカタラーゼ反応テストは、動物、植物、微生物のいずれかを問わず、酸素呼吸をする細胞に存在するカタラーゼの性質を利用するテストであり、昆虫等をわずかに傷付けて過酸化水素水に浸すと、酸素ガスと水が発生することを利用したものである。即ち、加熱などの加工が加えられた場合には昆虫体内のカタラーゼが失活するので、酸素の泡を観察することで、加熱前に混入したものか加熱後に混入したものかの判定を行うことができるのである。この方法は、発泡状態を目視で観察でき、写真撮影も可能であり、検査対象としての昆虫の証拠、原型保全もできるという利点のある、簡便な方法である。

【0005】

しかし、このカタラーゼ反応テストについては、以下のような問題が指摘されている。
１）カタラーゼはカビのような好気性微生物にも反応することから、たとえ加熱されていたとしても、発見されるまでの種々の環境、あるいは、保管している間の環境下で、昆虫の体表面に微生物が付着していれば、一度活性を失った昆虫の体表面からも活性が見られることがある。
２）対象となる昆虫の死体が古い場合には、たとえ加熱を受けていない場合においても、カタラーゼ反応テストは不活性となる（失活は死後２カ月程度のものから見られる）。
３）低ｐＨやエタノールなどに昆虫が浸漬されている条件下においては、未加熱であってもカタラーゼは失活する。

【0006】

昆虫の混入時期を判定するための他の方法として、動物体内のコリンエステラーゼという酵素の失活を利用する方法が提案されている。この方法は、生物体、器官あるいは組織を、緩衝液を加えてホモジナイザーですり潰して均一化したもの、あるいは、更に精製してより純粋に酵素だけにしたものの酵素活性を測定するものである。

【0007】

しかし、この方法の場合には、次のような問題が指摘されている。
１）昆虫全体をすり潰してしまうため、問題の検査対象としての昆虫の原型保全ができなくなる。
２）検査対象としての昆虫は、比較的大きなものである必要がある。
３）ホモジナイザーに加え、恒温装置や振還装置等の装置、並びに、反応させる物質の調整、発生物質の量の測定、そのための発色又は電磁波吸収測定など、種々の技法が必要となる。

【0008】

このように、従来行われているカタラーゼ反応テストやコリンエステラーゼという酵素の失活を利用する方法の場合には、種々の問題点が指摘されており、それらに変わる方法の提案が求められていた。このような要望に応えるために、本願出願人は先に、酵素活性を測定するという間接的な方法ではなく、検査対象としての昆虫の筋組織を迅速且つ簡易に、直接観察することによって被加熱履歴を判定することができる、昆虫の混入時期特定方法を提示している。

【0009】

その方法は、昆虫の観察部位を切り出して検体を得る工程と、前記検体を包埋剤で包埋する工程と、包埋した前記検体を凍結する工程と、凍結した前記検体を薄切りして切片を作製する工程と、前記切片を伸展乾燥させる工程と、前記切片を顕微鏡観察する固定前観察工程と、前記切片を固定液により固定する固定工程と、前記切片を染色する工程と、染色した切片を顕微鏡観察する工程とから成ることを特徴とする昆虫の混入時期特定方法である（特許文献４：特許第６３２９５０１号）。

【先行技術文献】

【特許文献】

【0010】

【文献】特開２０１０―１９０８８１号公報

【文献】特開２００５―５５２５２号公報

【文献】特開２００４―３３１１２号公報

【文献】特許第６３２９５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

上記特許文献４の発明の場合、検査対象としての昆虫の筋組織や核を迅速且つ容易に、直接観察することによって被加熱履歴を判定することができる効果があるが、昆虫の混入時期の判定は、顕微鏡観察による人的判断に基づいて行われるので、判断にばらつきが生ずる可能性がある。

【0012】

そこで本発明は、検査対象の昆虫等の異物の切片の加熱・未加熱の判定を、切片の画像処理に基づいて行うことにより、当該異物の混入時期の特定処理を迅速且つ画一的に行うことを可能にする、異物の混入時期特定方法及びシステムを提供することを課題とする。

【課題を解決するための手段】

【0014】

上記課題を解決するための請求項１に係る発明は、混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するための方法であって、
前記混入異物の切片画像を作成するステップと、
前記切片画像に対し、一次基準点を複数選択し、前記一次基準点を中心とする任意サイズの一次観察領域画像を前記一次基準点ごとに取得する一次観察領域画像選択ステップと、
前記一次基準点を含む矩形内の任意の箇所に二次基準点を複数選択し、前記二次基準点を中心とする任意サイズの二次観察領域画像を前記二次基準点ごとに取得する二次観察領域画像選択ステップと、
前記一次観察領域画像から、組織と組織間の間隙とを識別して前記組織の抽出を行なう一次組織抽出ステップと、
前記二次観察領域画像から、前記一次組織抽出ステップにおいて用いた閾値を利用して組織の抽出を行う二次組織抽出ステップと、
前記一次組織抽出ステップ及び前記二次組織抽出ステップにおいて抽出した組織について、その特徴量を抽出する特徴量抽出ステップと、
抽出された前記特徴量を、学習モデルにおける前記特徴量と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定ステップと、
から成ることを特徴とする異物の混入時期特定方法である。

【0015】

一実施形態においては、前記切片画像は、検体切り出し工程、検体包埋工程、検体凍結工程、切片作製工程、切片伸展乾燥工程、固定液による固定工程、切片染色工程、及び、封入剤による封入工程を経て得た異物の切片の画像である。また、一実施形態においては、前記組織の特徴量は、切片画像中のすべての組織の数、総面積及び面積割合（孤立組織面積／組織面積）、組織のサイズの変動係数、組織のＧ値の変動係数及びＧ値のヒストグラムの山幅、組織の円形度、組織の彩度平均、組織のエッジ領域の色情報のＲ値の変動係数のうちの１又は複数である。

【0016】

上記課題を解決するための請求項４に係る発明は、混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するためのシステムであって、
撮影装置と、前記撮影装置により撮影された前記混入異物の画像を読み込む画像読み込み手段と、前記画像読み込み手段によって読み込まれた画像を解析して当該混入異物の混入時期を特定する解析装置と、前記解析装置において特定された結果を出力する出力手段とから成り、
前記解析装置は、前記画像読み込み手段によって読み込まれた切片画像から、組織領域を抽出するための観察領域画像を選択する観察領域画像選択手段と、選択された前記観察領域画像から組織の特徴量を抽出する特徴量抽出手段と、前記組織の特徴量から加熱・未加熱の判定を行なう加熱・未加熱判定手段と、前記加熱・未加熱の判定を行なうための学習モデルの特徴量データを記憶する記憶手段とを含み、
前記組織の特徴量は、切片画像中のすべての組織の数、総面積及び面積割合（孤立組織面積／組織面積）、組織のサイズの変動係数、組織のＧ値の変動係数及びＧ値のヒストグラムの山幅、組織の円形度、組織の彩度平均、組織のエッジ領域の色情報のＲ値の変動係数のうちの１又は複数であることを特徴とする異物の混入時期特定システムである。

【0017】

上記課題を解決するための請求項５に係る発明は、混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するための方法であって、
前記混入異物の切片画像の読み込みステップと、読み込んだ前記切片画像から、組織中の孔候補を抽出する孔候補抽出ステップと、前記孔候補から円形度の高い孔を抽出する円形孔抽出ステップと、抽出された前記円形度の高い孔の数をカウントする孔数カウントステップと、カウントされた円形孔数を学習モデルにおける円形孔数と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定ステップとを含むことを特徴とする異物の混入時期特定方法である。

【0018】

上記課題を解決するための請求項６に係る発明は、混入異物である昆虫が加熱されているか否かを判定することによって当該異物の混入時期を特定するためのシステムであって、
撮影装置と、前記撮影装置により撮影された混入異物の画像を読み込む画像読み込み手段と、前記画像読み込み手段によって読み込まれた画像を解析して当該混入異物の混入時期を特定する解析装置と、前記解析装置において特定された結果を出力する出力手段とから成り、
前記解析装置は、前記画像読み込み手段によって読み込まれた切片画像から、組織領域を抽出するための観察領域画像を選択する観察領域画像選択手段と、選択された前記観察領域画像から組織中の孔候補を抽出する孔候補抽出手段と、前記孔候補から円形度の高い孔を抽出する円形孔抽出手段と、抽出された前記円形度の高い孔の数をカウントする孔数カウント手段と、カウントされた円形孔数を学習モデルにおける円形孔数と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定手段と、前記加熱・未加熱の判定を行なうための学習モデルの孔数データを記憶する記憶手段とを含むことを特徴とする異物の混入時期特定システムである。

【発明の効果】

【0019】

本発明に係る異物の混入時期特定方法及びシステムは上記のとおりであって、検査対象の昆虫等の切片の加熱・未加熱の判定を、切片の画像処理に基づいて行うことにより、昆虫等の異物の混入時期特定処理を迅速且つ画一的に行うことが可能となる効果がある。

【図面の簡単な説明】

【0020】

【図1】本発明に係る異物の混入時期特定システムの第１の実施形態の構成を示す概略ブロック図である。

【図2】本発明に係る異物の混入時期特定方法の第１の実施形態における処理の流れを示す概略フロー図である。

【図3】本発明に係る異物の混入時期特定方法における一次観察領域画像取得ステップを説明するための切片画像図である。

【図4】本発明に係る異物の混入時期特定方法における二次観察領域画像取得ステップを説明するための切片画像図である。

【図5】本発明に係る異物の混入時期特定方法における二次観察領域画像取得ステップを説明するための切片画像図である。

【図6】本発明に係る異物の混入時期特定方法における一次及び二次観察領域画像取得ステップを説明するための画像図である。

【図7】本発明に係る異物の混入時期特定方法における組織抽出ステップを説明するための図である。

【図8】本発明に係る異物の混入時期特定方法における加熱分布の作成方法を示す画像図である。

【図9】本発明に係る異物の混入時期特定方法における加熱分布の作成方法を示す画像図である。

【図10】本発明に係る異物の混入時期特定方法における加熱分布の作成方法を示す画像図である。

【図11】加熱切片の場合は組織中に円形度の高い孔の数が少ないことを示す図である。

【図12】本発明に係る異物の混入時期特定システムの第２の実施形態の構成を示す概略ブロック図である。

【図13】本発明に係る異物の混入時期特定方法の第２の実施形態における処理の流れを示す概略フロー図である。

【図14】本発明に係る異物の混入時期特定方法の第２の実施形態における孔候補抽出ステップの説明図である。

【図15】本発明に係る異物の混入時期特定方法の第２の実施形態における接線情報の抽出処理方法の説明図である。

【図16】本発明に係る異物の混入時期特定方法の第２の実施形態における接線情報の抽出処理方法の説明図である。

【図17】本発明に係る異物の混入時期特定方法の第２の実施形態における接線情報の抽出処理方法の説明図である。

【図18】本発明に係る異物の混入時期特定方法の一実施形態において作成される、組織のエッジ領域の色情報のＲ値の偏りを見るためのヒストグラムの例を示す図である。

【発明を実施するための形態】

【0021】

本発明を実施するための形態について、図面を参照しつつ詳細に説明する。本発明に係る異物の混入時期特定方法は、混入異物が加熱されているか否かを判定することによって当該異物の混入時期を特定するための方法であり、その第１の実施形態は、混入異物の切片画像から観察領域を選択し、前記観察領域内において組織を抽出し、抽出された組織について、その数及び面積を含む特徴量を抽出し、前記特徴量を学習モデルの特徴量と比較することにより、加熱・未加熱の判定を行なうことを特徴とする。

【0022】

この第１の実施形態は、より詳細には、
混入異物の切片画像を作成するステップと、
前記切片画像に対し、一次基準点を複数選択し、前記一次基準点を中心とする任意サイズの一次観察領域画像を前記一次基準点ごとに取得する一次観察領域画像選択ステップと、
前記一次基準点を含む矩形内の任意の箇所に二次基準点を複数選択し、前記二次基準点を中心とする任意サイズの二次観察領域画像を前記二次基準点ごとに取得する二次観察領域画像選択ステップと、
前記一次観察領域画像から、組織と組織間の間隙とを識別して前記組織の抽出を行なう一次組織抽出ステップと、
前記二次観察領域画像から、一次組織抽出ステップにおいて用いた閾値を利用して組織の抽出を行う二次組織抽出ステップと、
前記一次組織抽出ステップ及び前記二次組織抽出ステップにおいて抽出した組織について、その数及び面積を含む特徴量を抽出する特徴量抽出ステップと、
抽出された前記特徴量を、学習モデルにおける前記特徴量と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定ステップとから成る。

【0023】

前記切片画像は、後述するように、検体切り出し工程、検体包埋工程、検体凍結工程、切片作製工程、切片伸展乾燥工程、固定液による固定工程、切片染色工程、及び、封入剤による封入工程を経て得た異物の切片の画像である。

【0024】

図１は、この第１の実施形態の異物混入時期特定方法を実施するためのシステムの簡略ブロック図で、そのシステムは、撮影装置１と、撮影装置１により撮影された混入異物の画像を読み込む画像読み込み手段２と、画像読み込み手段２によって読み込まれた画像を解析して当該混入異物の混入時期、即ち、加熱工程を含む医薬品や食品の製造工程において、混入していた昆虫等の異物が加熱前に混入したものか、加熱後に混入したものかを特定する解析装置３と、解析装置３において特定された結果を出力する出力手段４とを含んで構成される。

【0025】

解析装置３は、画像読み込み手段２によって読み込まれた異物の切片画像から、組織領域を抽出するための観察領域画像を選択する観察領域画像選択手段５と、選択された観察領域画像から組織の特徴量を抽出する特徴量抽出手段６と、前記組織の特徴量から加熱・未加熱の判定を行なう加熱・未加熱判定手段７と、加熱・未加熱の判定を行なうための学習モデルの特徴量を記憶する記憶手段８と、加熱・未加熱の判定結果を外部報告するための報告書作成手段９とを含んで構成される。

【0026】

以下に、上記システムを利用した本発明に係る異物の混入時期特定方法につき、図２に示すフロー図を参照しつつ、処理ステップごとに詳述する。なお、図２のフロー図には、画像読み込み手段２による処理から、読み込み画像を解析して加熱・未加熱を判定するまでのステップが示されている。

【0027】

＜切片作製ステップ＞
切片作製ステップは、加熱・未加熱の判定対象となる昆虫等の異物（以下単に「昆虫」とする）の切片を作製するステップであり、このステップは、以下に述べる検体切り出し工程、検体包埋工程、検体凍結工程、切片作製工程、切片伸展乾燥工程、固定液による固定工程、切片染色工程、及び、封入剤による封入工程を含む。

【0028】

検体切り出し工程
この工程は、ピンセットやメス等を用い、昆虫の観察部位を残すようにして昆虫の両端部を切除して検体を得る工程である。観察部位である検体は、筋組織を含む胸部や脚部である。

【0029】

検体包埋工程
この包埋工程は、上記工程で得た検体を包埋処理剤に入れて包埋処理する工程である。この包埋処理は、組織片である検体を一定で均等な硬度にし、組織内の空間部を包埋剤で充填することで強度を持たせて、後述の薄切り切片作製に耐え得るようにするために行われる。包埋剤としては、市販の種々のものを用いることができる。

【0030】

検体は凍結切片用トレー（クリオディッシュ等）内に入れ、包埋剤で満たす。その際に気泡が生じた場合は、ピンセットや針等を用いて取り除いておく。気泡が残ったままであると、切片の作製が困難となる。なお、切片作製時の面出しの際に出てくる面を把握するため、換言すれば、切片の切り出し位置が分かるようにするため、トレー内における切片作製部位の向きに配慮する必要がある。

【0031】

検体凍結工程
次いで、トレーを凍結させ、凍結完了まで、トレー内の検体が傾倒することなく垂直状態を維持していることを監視する。ここにおいて垂直状態を維持させるのは、次工程の切片作製を可能且つ容易にするためである。次に、トレーを試料チャックに台付けする。

【0032】

切片作製工程
台付け終了後、試料チャックに台付けした検体をクリオスタット内のミクロトーム部分に移し、そこにおいてミクロトームにより、例えば、１０μの厚さに薄切りして切片を作製する。

【0033】

切片伸展乾燥工程
この工程は、作製した切片をスライドガラス上に拡げて伸展し、そのまま約５～１５分間放置して表面を乾燥させる工程である。具体的には、切片をスライドガラス上に拡げ、スライドガラスの裏面に指を当てて凍結している切片を体温で溶かしつつ伸展し、切片がスライドガラス上に密着するようにする。

【0034】

固定液による固定工程
この工程は、スライドガラス上に密着させた切片を、４％パラホルムアルデヒドりん酸緩衝液又は１０％ホルマリン液等の固定液に、約３分浸漬して固定する工程である。そして、更に純水に約３分間浸漬した後に純水で流すことにより、固定液及び包埋剤を除去する。この処理は、固定液や包埋剤が残ると、切片観察上支障をきたすおそれがあるために行うものである。

【0035】

切片染色工程
この工程は、ヘマトキシリン・エオシン染色によって、切片を染色する工程である。ヘマトキシリン・エオシン染色は、病理組織構造の光顕レベルでの全体像の把握を目的として行われる、一般的な染色法である。具体的には、上記工程で流水処理した切片を、マイヤーヘマトキシリン液に約２分間浸漬して切片中の核を青紫色に染色し、その後、純水で洗浄してマイヤーヘマトキシリン液を除去し、更に、発色をよくするために、４０℃程の温水に約５分間浸漬する。次いで、エオシンＹ液に約３０～６０秒浸漬し、切片中の筋組織を赤色に二重染色する。そしてその後、染色した切片を、７０％程度のエタノール溶液に約２分間浸漬し、更に、１００％近くのエタノール溶液に約３分間浸漬する。この処理は、切片の余剰エオシンＹ液を分離させ、顕微鏡観察に適した切片とするために行うものである。

【0036】

封入剤による封入工程
この工程は、エタノール浸漬した切片を、必要に応じて、封入剤を用いてカバーガラスで封入する工程である。

【0037】

＜画像読み込みステップ＞（Ｓ１）
このステップは、上記封入剤による封入工程を経た切片を撮影装置１で撮影し、その画像を画像読み込み手段（画像入力装置）２に読み込ませるステップである。

【0038】

＜一次領域画像選択ステップ＞（Ｓ２）
このステップは、観察領域画像選択手段５により、読み込まれた画像（以下「切片画像１１」という）から、複数の観察領域画像が選択されるステップである。この観察領域画像の選択は、二段階に分けて行なわれる。先ず、通例、手動操作で混入異物の切片画像１１において、一次基準点１２が複数設定され、その一次基準点を中心とする任意サイズの一次観察領域画像が、一次基準点１２ごとに生成される（図３）。図示した例では、一次基準点１２が３箇所選択され、一次基準点１２を中心として、縦横サイズがそれぞれ画像サイズの５分の１である一次観察領域画像１３が３つ選択されている。

【0039】

＜二次領域画像選択ステップ＞（Ｓ３）
次いで、観察領域画像選択手段５により、すべての一次基準点１２を含んで（結んで）生成される矩形１４内の任意の箇所に二次基準点１５が複数選択され、その二次基準点１５を中心とする任意サイズの二次観察領域画像１６が、二次基準点１５ごとに生成される（図４，５）。図示した例では、１２個の二次基準点１５が選択されており、右端の二次基準点１５を中心とする二次観察領域画像１６のみが示されている。各二次観察領域画像１６は、他の二次観察領域画像１６と部分的に重なり合うことになる。このようにして、３つの一次観察領域画像１３と、１２の二次観察領域画像１６が選択される（図６）。

【0040】

＜一次組織抽出ステップ＞（Ｓ４）
このステップは、一次観察領域画像１３から、組織と組織間の間隙（背景領域）とを識別し、間隙を削除して組織の抽出を行なうステップである。３つの一次観察領域画像１３における組織の抽出は、例えば、任意の箇所の間隙部位と組織部位のそれぞれにつき、ＲＧＢ値を取得することにより行う（図７）。即ち、ＲＧＢ値が、取得した間隙のＲＧＢ値と同じ又は近い色の領域は、間隙として除去し、また、組織のＧ値から遠い色の領域も、間隙として除去することにより、一次組織を抽出する。

【0041】

＜二次組織抽出ステップ＞（Ｓ５）
次いで、二次観察領域画像１６から、一次組織抽出ステップ（Ｓ４）において用いたＲＧＢ値の閾値を利用して組織の抽出を行う。

【0042】

＜特徴量抽出ステップ＞（Ｓ６）
このステップは、特徴量抽出手段６において、一次組織抽出ステップ（Ｓ４）において抽出した一次組織、及び、二次組織抽出ステップ（Ｓ５）において抽出した二次組織について、特徴量（組織情報）を抽出するステップである。

【0043】

加熱切片の場合の組織は、以下のような特徴を有している。
Ａ．加熱により収縮し、ばらけて孤立組織（画像の端に接していない組織）となる。
Ｂ．孤立組織のサイズは比較的均一で、その変動係数（スケールが違うデータの散らばり具合の比較：標準偏差／平均値）は小さい。
Ｃ．色は濃く、均一で、Ｇ値のヒストグラム山幅は小さい。
Ｄ．円形度（円らしさ）が高く、凹凸が少ない。
Ｅ．組織のエッジがはっきりしている。
Ｆ．彩度平均値（鮮やかさ）が高い。
一方、未加熱切片の組織は、以下のような特徴を有している。
ａ．膨張して繋がっていて、孤立組織は少ない。
ｂ．サイズは不揃いで、その変動係数は大きい（算出されない）。
ｃ．色に濃薄があり、Ｇ値のヒストグラム山幅は大きい。
ｄ．円形度（円らしさ）が低く、凹凸が多い。
ｅ．組織のエッジがぼやけている。
ｆ．彩度平均値（鮮やかさ）が低い。

【0044】

加熱切片と未加熱切片の組織には、上記のような異なった特徴があるところから、本ステップにおいては、特徴量（パラメータ）として、切片画像中のすべての組織の数、総面積及び面積割合（孤立組織面積／組織面積）、組織のサイズの変動係数、組織のＧ値の変動係数及びＧ値のヒストグラムの山幅、組織の円形度、組織の彩度平均、組織のエッジ領域の色情報のＲ値の変動係数のうちの１又は複数を採用する。

【0045】

＜加熱・未加熱判定ステップ＞（Ｓ７）
このステップは、加熱・未加熱判定手段７において、抽出された上記特徴量から、加熱・未加熱の判定を行うステップである。加熱・未加熱判定手段７における加熱時期の判定（混入時期の特定）に用いる学習モデルは、分類器（通例、特徴量が少ない場合はＳＶＭを用い、多い場合はランダムフォレストを用いる。）を用いて予め作成され、そのデータは解析装置３の記憶手段８に記憶され、加熱・未加熱の判定に際し、加熱・未加熱判定手段７によって呼び出される。

【0046】

ＳＶＭを用いた学習モデルの作成方法は、学習データの用意工程と、学習モデル選択工程と、評価検証工程とから成る。学習データの用意工程は、分類の見本となる学習データを用意する工程である。本発明者らは、学習データとして、加熱組織のデータと未加熱組織のデータをそれぞれ１３３５点用意した。

【0047】

学習モデル選択工程においては、カーネル関数とモデルのパラメータの選択を行なう。カーネル関数には、ＲＢＦカーネル、線形カーネル、多項式カーネル、シグモイドカーネル等があるが、最も基本的なＲＢＦカーネルを用いることが推奨される。ＲＢＦカーネルの場合のパラメータは、コストパラメータＣとＲＢＦカーネルのパラメータγである（本発明の場合、コストパラメータＣ：２０、ＲＢＦカーネルのパラメータγ：８．０）。

【0048】

評価検証工程においては、交差検証法（ｋ－ｆｏｌｄ）を用い、データを組み替えて精度評価を複数回行ない、最も精度が高くなった値を使用する。この方法は、推定精度の誤差が少なく、データ量が少ない場合でも精度の信頼性を保てるという利点がある。本発明においては、１０－分割交差検証が採用された。かくして作成された学習モデルの特徴量についてのデータは、解析装置３の記憶手段８に記憶される。

【0049】

加熱・未加熱判定ステップ（Ｓ７）における加熱・未加熱の判定は、先ず、上述した３つの一次観察領域画像１３と１２の二次観察領域画像１６の１５領域画像のすべてにつき、それぞれ抽出した特徴量と学習モデルの特徴量とを比較することにより行われ、加熱と判定された領域画像数と未加熱と判定された領域画像数の多数決で、加熱・未加熱の最終判定を行ない、加熱判定の場合は、当該昆虫は加熱工程前に混入したと特定され、未加熱判定の場合は、当該昆虫は加熱工程後に混入したと特定される。

【0050】

また、上記１５領域画像につき、それぞれの特徴量の平均値を以て加熱・未加熱の判定を行ない、加熱と判定された領域画像数と未加熱と判定された領域画像数の多数決で、加熱・未加熱の最終判定を行なうこともできる。

【0051】

更に、上記１５領域画像につき、それぞれ加熱分布を作成し、それに基づいて加熱・未加熱の最終判定を行なうこともできる。その場合は先ず、切片画像から判定対象領域を選択し、その判定対象領域を小ブロック２１に分割し（図８では、２０×２０＝４００の小ブロック２１に分割している。）、更に、４×４の１６の小ブロック２１で以て、大ブロック２２を生成し、この大ブロック２２単位で、加熱・未加熱の判定を行なっていく。

【0052】

次に、大ブロック２２を小ブロック２１分ずつずらして走査し、その都度、当該大ブロック２２に対し、加熱・未加熱の判定を行なう。そして、加熱と判定された大ブロック２２内の小ブロック２１に１ポイントを加算する処理を反復し、ポイントが多い小ブロック２１を加熱ブロックと判定して、加熱分布を作成する。図９では、第１の判定（加熱判定）の結果、１６個の小ブロック２１に１ポイントが付与され、１ブロックシフトして行った第２の判定（加熱判定）の結果、左側１２個の小ブロック２１に１ポイントが加算されている。そして、図１０では、ポイントが１０以上の小ブロック２１が加熱ブロックと判定されている。

【0053】

また、すべての小ブロック２１につき、組織の面積率が２５％以上か以下かが識別され、組織面積率が２５％以上の小ブロック２１について、加熱ブロックと判定された小ブロック２１の数と、未加熱ブロックと判定された小ブロック２１の数とを比較し、多数決で以て、加熱・未加熱の最終判定が行なわれ、昆虫の混入時期が特定される。

【0054】

本発明の第２の実施形態の異物の混入時期特定方法は、組織中の孔の円形度（円らしさを表わすもので、円形度＝４Π×面積／（周囲長×周囲長）の式から算出される。）に着目したものである。即ち、本発明者らは、種々試験研究を重ねた結果、加熱切片の場合は組織中の孔、特に円形度の高い孔の数が少ないとの知見を得て第２の実施形態に係る方法を確立させたものである（図１１参照）。

【0055】

この第２の実施形態は、混入異物の切片画像取得ステップ（Ｓ１１）と、取得した混入異物の切片画像から、組織中の孔候補を抽出する孔候補抽出ステップ（Ｓ１２）と、前記孔候補から円形度の高い孔を抽出する円形孔抽出ステップ（Ｓ１３）と、抽出された前記円形度の高い孔の数をカウントする孔数カウントステップ（Ｓ１４）と、カウントされた円形孔数を学習モデルにおける円形孔数と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定ステップ（Ｓ１５）とを含む（図１３参照）。

【0056】

図１２は、この第２の実施形態の異物混入時期特定方法を実施するためのシステムの簡略ブロック図で、そのシステムは、第１の実施形態の場合と同様に、撮影装置１と、撮影装置１により撮影された混入異物の画像を読み込む画像読み込み手段２と、画像読み込み手段２によって読み込まれた画像を解析して当該混入異物の混入時期、即ち、加熱工程を含む医薬品や食品の製造工程において、混入していた昆虫等の異物が加熱前に混入したものか、加熱後に混入したものかを特定する解析装置３と、解析装置３において特定された結果を出力する出力手段４とを含んで構成される。

【0057】

そして、解析装置３は、画像読み込み手段２によって読み込まれた切片画像から、組織領域を抽出するための観察領域画像を選択する観察領域画像選択手段５と、選択された観察領域画像から組織中の孔候補を抽出する孔候補抽出手段６ａと、孔候補から円形度の高い孔を抽出する円形孔抽出手段６ｂと、抽出された円形度の高い孔の数をカウントする孔数カウント手段６ｃと、カウントされた円形孔数を学習モデルにおける円形孔数と比較することにより、加熱・未加熱の判定を行う加熱・未加熱判定手段７と、加熱・未加熱の判定を行なうための学習モデルの孔数データを記憶する記憶手段８とを含む。

【0058】

以下に、このシステムを用いて行なう第２の実施形態に係る異物混入時期特定方法について、各ステップごとに説明する。

【0059】

＜切片画像読み込みステップ＞（Ｓ１１）
切片画像の作製及び画像読み込み手段２による切片画像の読み込みは、第１の実施形態の場合と同じ方法で行うことが好ましいが、これに限られる訳ではなく、これに準じた種々の方法を用いることができる。

【0060】

＜孔候補抽出ステップ＞（Ｓ１２）
孔候補抽出ステップ（Ｓ１２）は、孔候補抽出手段６ａにおいて、取得した混入異物の切片画像から、組織中の孔候補を抽出するステップである。組織中の孔候補を抽出するために、ラベリング処理を行う。ここにおけるラベリング処理は、例えば、第１の実施形態における小ブロック２１（図１０）のようにブロック分けし、先ず、端に接していない小ブロック２１が選択され、次いでそれらにつき組織面積率が算出され、組織面積率が２０％以上である場合に孔候補３１として抽出される（図１４参照）。

【0061】

＜円形孔抽出ステップ＞（Ｓ１３）
円形孔抽出ステップ（Ｓ１３）は、円形孔抽出手段６ｂにおいて、抽出された孔候補３１から円形度の高い孔が抽出されるステップである。孔候補３１から円形度の高い孔を抽出するために、境界追跡、換言すれば、接線情報抽出処理が行われる。

【0062】

図１５～１７は、接線情報の抽出処理方法を示すもので、注目画素３２とその１つ前の境界画素３３を通る画素間の直線を接線３４とする境界追跡を行なって、接線情報を得る。そして、１つ前の接線を表わすベクトルをａとし、注目画素の接戦を表わすベクトルをｂとするとき、ベクトルａとベクトルｂのなす角度θが９０°≦θ≦２７０°の場合は凹凸とみなし、その数をカウントした数値を特徴量として扱って円形度の高低判定を行なうことにより、円形孔を抽出する。

【0063】

＜円形孔数カウントステップ＞（Ｓ１４）
円形孔数カウントステップ（Ｓ１４）は、孔数カウント手段６ｃにおいて、抽出された円形度の高い孔の数がカウントされるステップである。

【0064】

＜加熱・未加熱判定ステップ＞（Ｓ１５）
加熱・未加熱判定ステップ（Ｓ１５）は、加熱・未加熱判定手段７において、カウントされた円形孔数が学習モデルにおける円形孔数と比較されることにより、加熱・未加熱の判定がなされるステップである。学習モデルは、第１の実施形態と同様に、ＳＶＭ、ランダムフォレスト等の分類器を用いた分類法により予め作成され、そのデータは解析装置３の記憶手段８に記憶され、加熱・未加熱の判定に際し、加熱・未加熱判定手段７によって呼び出される。

【0065】

第２の実施形態においては、本発明者らは、学習データとして、加熱組織のデータと未加熱組織のデータをそれぞれ２２５点用意した。そして、カーネル関数にＲＢＦカーネルを用い、コストパラメータＣ：２０、ＲＢＦカーネルのパラメータγ：２．０とし、１０－分割交差検証法を用いて評価した。かくして作成された学習モデルの特徴量についてのデータは、解析装置３の記憶手段８に記憶される。

【0066】

上記第２の実施形態においては、組織間の孔の円形度を特徴量としたが、組織の円形度を特徴量とすることもできる。即ち、加熱組織は組織に凹凸が少なくて円形度が高く、未加熱組織は組織に凹凸が多いために円形度が低いという傾向にあるので、組織の円形度を加熱・未加熱の判別のための特徴量とすることが可能である。この場合、下処理として、孤立組織とそれ以外の部分で二値化処理し（同時に孔埋め処理する）、その二値化画像に対して境界追跡し、求めた周囲長と面積から円形度を算出する。

【0067】

また、特徴量として、彩度平均及び組織のエッジ領域の色情報のＲ値の変動係数を用いることができる。彩度平均は、組織は加熱されると収縮して密度が増すために、染色後の色が鮮やかになることに着目したものである。

【0068】

組織のエッジ領域の色情報のＲ値の変動係数を特徴量とするのは、加熱組織の場合のエッジははっきりしているのに対し、未加熱組織の場合のエッジはぼやけているとの知見に基づくものである。この場合、組織間の間隙と組織エッジ上の注目画素におけるＲ値の差分ヒストグラムを作成し（図１８参照）、Ｒ値の偏りを見る。

【産業上の利用可能性】

【0069】

本発明に係る異物の混入時期特定方法及びシステムは上記のとおりであって、検査対象の昆虫等の切片の加熱・未加熱の判定を、切片の画像処理に基づいて行うことで、昆虫等の異物の混入時期特定処理を迅速且つ画一的に行うことが可能となる効果のあるものであり、産業上の利用可能性は大である。

【符号の説明】

【0070】

１ 撮影装置
２ 画像読み込み手段
３ 解析装置
４ 出力手段
５ 観察領域画像選択手段
６ 特徴量抽出手段
６ａ 孔候補抽出手段
６ｂ 円形孔抽出手段
６ｃ 孔数カウント手段
７ 加熱・未加熱判定手段
８ 記憶手段
９ 報告書作成手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】