知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035490
(43)【公開日】2024-03-14
(54)【発明の名称】種類判定システム
(51)【国際特許分類】
G01N 21/17 20060101AFI20240307BHJP
G06T 7/00 20170101ALI20240307BHJP
G06V 10/70 20220101ALI20240307BHJP
【ＦＩ】
G01N21/17 A
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022139978
(22)【出願日】2022-09-02
(71)【出願人】
【識別番号】591032703
【氏名又は名称】群馬県
(72)【発明者】
【氏名】田島 創
(72)【発明者】
【氏名】町田 晃平
【テーマコード（参考）】
2G059
5L096
【Ｆターム（参考）】
2G059AA05
2G059EE13
2G059FF01
2G059KK04
2G059MM20
2G059PP04
5L096BA03
5L096FA06
5L096GA40
5L096KA04
5L096KA15
(57)【要約】
【課題】任意に加工した以外の破断部を持つ検体の種類を判定する方法がなかった。
【解決手段】任意に加工した以外の破断部を持つ不特定の検体の種類をその画像情報から判定する検体の種類判定システムとこの検体の種類判定システムを搭載した可搬型携帯端末を提供する。
【選択図】図１
【解決手段】任意に加工した以外の破断部を持つ不特定の検体の種類をその画像情報から判定する検体の種類判定システムとこの検体の種類判定システムを搭載した可搬型携帯端末を提供する。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像取得手段と、形状・色情報取得手段と、判定手段と、記録手段と、表示手段と、を備えた検体の種類判定システムであって、少なくとも可搬型の端末装置を含み、
前記画像取得手段は、前記可搬型の端末装置の撮像手段及びすでに保存済みの画像を選択して検体画像を取得する手段であり、
前記形状・色情報取得手段は、少なくとも前記検体画像から輪郭情報と、破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）の色情報とを取得する手段であり、
前記判定手段は、少なくとも一部に破断部分を含む種類が既知の複数の参照物を該参照物ごとに撮像して取得した複数の参照物画像を用い、特徴量として少なくとも前記参照物画像から前記形状・色情報取得手段により得られる形状・色情報を利用した機械学習によって生成した学習済みモデルにより、前記検体画像から得られる形状・色情報に応じて、前記参照物画像の形状・色情報に基づき関連性の高い参照物画像と、該関連性の高い参照物画像に紐付けした種類と、を優先して選択し、前記検体の種類を判定する判定手段であり、
前記記録手段は、前記検体画像と、前記検体の種類と、種類ごとの判定率とを関連付けて記録する手段であり、
前記表示手段は、前記判定手段により判定した前記検体の少なくとも種類を可搬型の端末装置の表示部に表示する手段若しくは表示用端末に表示する手段であることを特徴とする検体の種類判定システム。
前記画像取得手段は、前記可搬型の端末装置の撮像手段及びすでに保存済みの画像を選択して検体画像を取得する手段であり、
前記形状・色情報取得手段は、少なくとも前記検体画像から輪郭情報と、破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）の色情報とを取得する手段であり、
前記判定手段は、少なくとも一部に破断部分を含む種類が既知の複数の参照物を該参照物ごとに撮像して取得した複数の参照物画像を用い、特徴量として少なくとも前記参照物画像から前記形状・色情報取得手段により得られる形状・色情報を利用した機械学習によって生成した学習済みモデルにより、前記検体画像から得られる形状・色情報に応じて、前記参照物画像の形状・色情報に基づき関連性の高い参照物画像と、該関連性の高い参照物画像に紐付けした種類と、を優先して選択し、前記検体の種類を判定する判定手段であり、
前記記録手段は、前記検体画像と、前記検体の種類と、種類ごとの判定率とを関連付けて記録する手段であり、
前記表示手段は、前記判定手段により判定した前記検体の少なくとも種類を可搬型の端末装置の表示部に表示する手段若しくは表示用端末に表示する手段であることを特徴とする検体の種類判定システム。
【請求項2】
前記可搬型の端末装置は、前記画像取得手段と、
ａ）少なくとも前記検体画像の前記輪郭情報と、前記破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）の前記色情報とを取得する工程、
ｂ）前記学習済みモデルを利用し、前記検体画像から得られる前記検体の前記形状・色情報に応じて、前記検体の種類を判定する工程、
ｃ）前記検体画像と、前記検体の種類と、前記判定率とを関連付けて記録する工程、
上記ａ）からｃ）の工程を実行するプログラムと、
該プログラムにより判定した前記検体の少なくとも種類を前記表示部に表示する手段と、
を含むことを特徴とする検体の種類判定システム。
ａ）少なくとも前記検体画像の前記輪郭情報と、前記破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）の前記色情報とを取得する工程、
ｂ）前記学習済みモデルを利用し、前記検体画像から得られる前記検体の前記形状・色情報に応じて、前記検体の種類を判定する工程、
ｃ）前記検体画像と、前記検体の種類と、前記判定率とを関連付けて記録する工程、
上記ａ）からｃ）の工程を実行するプログラムと、
該プログラムにより判定した前記検体の少なくとも種類を前記表示部に表示する手段と、
を含むことを特徴とする検体の種類判定システム。
【請求項3】
前記検体及びこの参照物が常温において固体であり、前記検体の種類が、少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質及び種類不特定物、から選ばれ、前記参照物が、少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質、から選ばれることを特徴とする請求項1又は請求項２に記載の検体の種類判定システム。
【請求項4】
前記検体の判定に用いる前記画像全体に占める前記検体画像の面積の割合が５％以上１００％以下である場合には、前記検体の判定の種類を少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質のいずれかから選択し、前記検体の判定に用いる前記画像に含まれる前記形状・色情報として利用する前記検体画像の面積の割合が５％未満であり且つこの形状・色情報のＲＧＢ値の数値範囲について、濃いから薄いの段階を０から２５５とした際のＲＧＢ値のそれぞれの平均値が３未満の場合には、前記検体の種類を種類不特定物、と判定する請求項1又は請求項２に記載の検体の種類判定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、少なくとも任意に加工した以外の破断部を含む検体の種類を判定する種類判定システムに関する。
【背景技術】
【0002】
高分子材料を用いた成形品の生産現場や食品などの加工現場において、製品に破断部を含む予期しない物質が含まれることがある。
【0003】
この物質は、この破断部として任意に加工した以外の破断部や、熱などによる溶融部や破損部を含む予期しない物質であるため、生産者においては、その物質を検体としてこの検体の種類を特定し、どのような過程でこの検体が製品に混入したのか調べる必要があったり、安全や品質確保のためにこの予期しない検体が混入していた製品のロットをすべて回収する必要が発生する。また、食品などの生産現場や消費者においては、原料となる野菜に含まれる昆虫や、岩石や、食品原料に含まれる野菜の乾燥した軸やきのこ類の柄、骨や軟骨、羽根、歯、毛、ウロコなどが、製品に含まれるこの予期しない物質として認識され、特にこれらが消費者において認められた場合には、この消費者から生産者への苦情になったり、更に健康被害の発生が懸念されたり、同一の製品ロットの回収及び廃棄による所謂食品ロスが発生する場合がある。
【0004】
このような任意に加工した以外の破断部を含む予期せぬ物質が認められた場合には、この予期せぬ物質がもとの形状をとどめていないため、この予期せぬ物質の形状からもとの形状や物質の種類を特定することが難しく、各都道府県に設置されている公設の試験研究機関や、分析機器を利用して分析を生業にしている分析機関などに、この予期せぬ物質を検体として提供し、この種類の特定を依頼して各種分析機器により分析し、結果を得た上で問題を解決したり、消費者の苦情に対応するなどしている。
【0005】
しかし、このような外部機関に予期せぬ物質の分析を依頼する行為は、結果を得るまでに一定の期間が必要だったり、問題を解決するまでに更に時間が必要になったり、この予期せぬ物質の任意に加工した以外の部分と相対する部分がどこに存在するか判断できないため、その間生産活動を行えない、製品が販売できない、消費者の心配が解消できないなど時間的・心理的・物質的・コスト的な課題があった。
【0006】
生産現場や消費者において任意に加工した以外の破断部を含む予期せぬ物質が確認された場合、この物質の種類の分析に長い時間が必要であるといった課題があった。このため、任意に加工した以外の破断部を含む予期せぬ物質について、その種類だけでも短期間で特定できればとの要望が強く寄せられていた。
【発明の概要】
【発明が解決しようとする課題】
【0007】
一般的な化学分析には、検体を受け取った後、分析結果の報告まで１週間程度の期間が必要であるため、一般的な化学分析とは異なる分析方法の開発とこの分析方法を搭載した生産現場において利用出来る検体の種類判定システムの開発が臨まれていた。
【0008】
本発明はこのような課題を解決するために成されたものであり、任意に加工した以外の破断部を含む予期せぬ物質の種類を短期間に判定出来る検体の種類判定システムと、この検体の種類判定システムを生産現場や消費者が利用できるものとして提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明者らは、上記目的を達成するために、鋭意検討した結果、任意に加工した以外の破断部を含む予期せぬ物質（検体もしくは異物と記すこともある）の化学的な分析結果により特定されたこの物質の種類を基に、この検体の破断部の特徴と、外観と、から、この検体の種類を判定できることに気付き、この検体の破断部と外観とを含む検体画像（検体画像と記すこともある）から得た形状情報とやはりこの検体画像から得られる取得した画像中に占める検体画像の割合、検体の色である赤（Ｒと記すこともある）、緑（Ｇと記すこともある）、青（Ｂと記すこともある）の所謂ＲＧＢ値を含む色情報など検体の判定を行うための情報を抽出し、この任意に加工した以外の破断部を含む予期せぬ検体の種類を判定する種類判定システムを開発し、本発明を成すに至った。
【0010】
すなわち本発明の第一の発明は、
画像取得手段と、形状・色情報取得手段と、判定手段と、記録手段と、表示手段と、を備えた検体の種類判定システムであって、少なくとも可搬型の端末装置を含み、
この画像取得手段は、この可搬型の端末装置の撮像手段及びすでに保存済みの画像を選択して検体画像を取得する手段であり、
この形状・色情報取得手段は、少なくともこの検体画像から輪郭情報と、破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）の色情報とを取得する手段であり、
この判定手段は、少なくとも一部に破断部分を含む種類が既知の複数の参照物を該参照物ごとに撮像して取得した複数の参照物画像を用い、特徴量として少なくともこの参照物画像からこの形状・色情報取得手段により得られる形状・色情報を利用した機械学習によって生成した学習済みモデルにより、この検体画像から得られる形状・色情報に応じて、この参照物画像の形状・色情報に基づき関連性の高い参照物画像と、該関連性の高い参照物画像に紐付けした種類と、を優先して選択し、この検体の種類を判定する判定手段であり、
この記録手段は、この検体画像と、この検体の種類と、種類ごとの判定率とを関連付けて記録する手段であり、
この表示手段は、この判定手段により判定したこの検体の少なくとも種類を可搬型の端末装置の表示部に表示する手段若しくは表示用端末に表示する手段であることを特徴とする検体の種類判定システムである。
画像取得手段と、形状・色情報取得手段と、判定手段と、記録手段と、表示手段と、を備えた検体の種類判定システムであって、少なくとも可搬型の端末装置を含み、
この画像取得手段は、この可搬型の端末装置の撮像手段及びすでに保存済みの画像を選択して検体画像を取得する手段であり、
この形状・色情報取得手段は、少なくともこの検体画像から輪郭情報と、破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）の色情報とを取得する手段であり、
この判定手段は、少なくとも一部に破断部分を含む種類が既知の複数の参照物を該参照物ごとに撮像して取得した複数の参照物画像を用い、特徴量として少なくともこの参照物画像からこの形状・色情報取得手段により得られる形状・色情報を利用した機械学習によって生成した学習済みモデルにより、この検体画像から得られる形状・色情報に応じて、この参照物画像の形状・色情報に基づき関連性の高い参照物画像と、該関連性の高い参照物画像に紐付けした種類と、を優先して選択し、この検体の種類を判定する判定手段であり、
この記録手段は、この検体画像と、この検体の種類と、種類ごとの判定率とを関連付けて記録する手段であり、
この表示手段は、この判定手段により判定したこの検体の少なくとも種類を可搬型の端末装置の表示部に表示する手段若しくは表示用端末に表示する手段であることを特徴とする検体の種類判定システムである。
【0011】
この第一の発明の作用は、
検体が任意に加工した以外の破断部を含む予期せぬ物質であっても、この検体の形状・色情報を含む検体画像から、事前に機械学習の教師データとして蓄積した種類が既知の参照物のやはり任意に加工した以外の破断部や輪郭など形状・色情報を含む参照物画像と、この参照物画像の形状・色情報と、この参照物の化学的分析結果に基づくこの参照物の種類と、これらを基に構築された人工知能を含む判定手段とにより、短時間にこの検体の種類を判定できる作用である。
検体が任意に加工した以外の破断部を含む予期せぬ物質であっても、この検体の形状・色情報を含む検体画像から、事前に機械学習の教師データとして蓄積した種類が既知の参照物のやはり任意に加工した以外の破断部や輪郭など形状・色情報を含む参照物画像と、この参照物画像の形状・色情報と、この参照物の化学的分析結果に基づくこの参照物の種類と、これらを基に構築された人工知能を含む判定手段とにより、短時間にこの検体の種類を判定できる作用である。
【0012】
この第二の発明は、
この可搬型の端末装置は、
この画像取得手段と、
ａ）少なくともこの検体画像のこの輪郭情報と、この破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）のこの色情報とを取得する工程、
ｂ）この学習済みモデルを利用し、この検体画像から得られる該検体のこの形状・色情報に応じて、この検体の種類を判定する工程、
ｃ）この検体画像と、この検体の種類と、この判定率とを関連付けて記録する工程、
上記ａ）からｃ）の工程を実行するプログラムと、
該プログラムにより判定したこの検体の少なくとも種類をこの表示部に表示する手段と、
を含むことを特徴とする検体の種類判定システムである。
この可搬型の端末装置は、
この画像取得手段と、
ａ）少なくともこの検体画像のこの輪郭情報と、この破断部情報と、赤（Ｒ）緑（Ｇ）青（Ｂ）のこの色情報とを取得する工程、
ｂ）この学習済みモデルを利用し、この検体画像から得られる該検体のこの形状・色情報に応じて、この検体の種類を判定する工程、
ｃ）この検体画像と、この検体の種類と、この判定率とを関連付けて記録する工程、
上記ａ）からｃ）の工程を実行するプログラムと、
該プログラムにより判定したこの検体の少なくとも種類をこの表示部に表示する手段と、
を含むことを特徴とする検体の種類判定システムである。
【0013】
この第二の発明の作用は、可搬型の端末装置において、この検体の種類判定システムを実行することができる作用である。
【0014】
この第三の発明は、
この検体及びこの参照物が常温において固体であり、この検体の種類が、少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質及び種類不特定物、から選ばれ、この参照物が、少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質、から選ばれることを特徴とするこの第一の発明又は第二の発明に記載の検体の種類判定システムである。
この検体及びこの参照物が常温において固体であり、この検体の種類が、少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質及び種類不特定物、から選ばれ、この参照物が、少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質、から選ばれることを特徴とするこの第一の発明又は第二の発明に記載の検体の種類判定システムである。
【0015】
この第三の発明の作用は、固体である物質の判定の種類として、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質及び種類不特定物のいずれかであることを判定する作用である。
【0016】
この第四の発明は、
この検体の判定に用いるこの画像全体に占める検体画像の面積の割合が５％以上１００％以下である場合には、この検体の判定の種類を少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質のいずれかから選択し、この検体の判定に用いるこの画像に含まれるこの形状・色情報として利用する検体画像の面積の割合が５％未満であり且つこの形状・色情報のＲＧＢ値の数値範囲について、濃いから薄いの段階を０から２５５とした際のＲＧＢ値のそれぞれの平均値が３未満の場合には、この検体の種類を種類不特定物、と判定するこの第一の発明又は第二の発明に記載の検体の種類判定システムである。
この検体の判定に用いるこの画像全体に占める検体画像の面積の割合が５％以上１００％以下である場合には、この検体の判定の種類を少なくとも、岩石、セラミックス、鉱物、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質のいずれかから選択し、この検体の判定に用いるこの画像に含まれるこの形状・色情報として利用する検体画像の面積の割合が５％未満であり且つこの形状・色情報のＲＧＢ値の数値範囲について、濃いから薄いの段階を０から２５５とした際のＲＧＢ値のそれぞれの平均値が３未満の場合には、この検体の種類を種類不特定物、と判定するこの第一の発明又は第二の発明に記載の検体の種類判定システムである。
【0017】
この第四の発明の作用は、特徴量として、この画像に含まれる検体画像が大きく、検体が判定できる場合には、判定し、検体画像が小さく且つ色が黒い場合には、種類が特定できない種類不特定物と判定する特徴量を加えた作用である。
【発明の効果】
【0018】
この種類判定システムでは、予期せぬ物質である検体の種類を簡便且つ迅速に判定する効果がある。
【図面の簡単な説明】
【0019】
【図1】本発明の検体の種類判定システムの判定工程のフローチャートである。
【図2】本発明の検体の種類判定システムに含まれる可搬型の端末装置と検体との撮像時の位置関係を示す概略図である。
【図3】本発明の可搬型の端末装置の画像の表示手段に表示した、この種類判定システムの機械学習に用いた種類が既知の参照物画像である。機械学習に用いた参照物１０の一例として、ポリプロピレンを撮像したものである。
【図4】本発明の種類判定システムの判定前の情報入力画面である。
【図5】本発明の種類判定システムで判定する検体の一例である。
【図6】本発明の種類判定システムにおいて、高分子（resin）と、タンパク質（protein）と、植物の小片（bio_plant）と、を含む検体をこの種類判定システムで判定した結果である。
【図7】本発明の種類判定システムの判定後の情報を表示したものである。
【図8】本発明の種類判定システムにおいて、発明者が調理したシソの葉入り卵焼きの破片を検体として利用した画像である。
【図9】本発明の種類判定システムにおいて、検体の破断輪郭と破断面を示した図である。
【発明を実施するための形態】
【0020】
以下、本発明につき、図面を用いてより詳細に説明する。
【0021】
本発明の検体の種類の判定は、図1に示したフローチャートに沿って実施するため、まずこの図１のフローチャートについて説明する。
図１のフローチャートは、第一の工程から第五の工程まで順に実行する。図1並びに図３の画像中の検体画像は、実際に生産現場において異物として認められた物質で、赤外分光分析の結果、この種類は、ポリプロピレンであることが判明した。
図１のフローチャートは、第一の工程から第五の工程まで順に実行する。図1並びに図３の画像中の検体画像は、実際に生産現場において異物として認められた物質で、赤外分光分析の結果、この種類は、ポリプロピレンであることが判明した。
【0022】
＜第一の工程＞
ユーザは、第一の工程として、図２の可搬型の携帯端末１（例えばスマートフォンなど）の画像取得手段２により保持台７に置いた判定対象となる検体５を撮像する。撮像する際の光源については特に限定されないが、自然光、蛍光灯、ＬＥＤ光源、近赤外光源など、画像取得手段２で受光できる光源を好ましく用いることが出来る。検体５を置く保持台７について特に限定されないが、教師データとして利用する参照物１０を撮像するときに用いる保持台７と同じものがあると好ましい。保持台７は、検体５を静置出来れば良い。この保持台７は平坦であるとより好ましく用いられる。また、この保持台７は光を反射若しくは乱反射しないものであるとより好ましく用いられる。保持台７は、指のようにこの検体５をつまめる物でも好ましく用いられる。この際、指などで摘まんだ箇所は、画像６に含まれても含まれなくても良い。
ユーザは、第一の工程として、図２の可搬型の携帯端末１（例えばスマートフォンなど）の画像取得手段２により保持台７に置いた判定対象となる検体５を撮像する。撮像する際の光源については特に限定されないが、自然光、蛍光灯、ＬＥＤ光源、近赤外光源など、画像取得手段２で受光できる光源を好ましく用いることが出来る。検体５を置く保持台７について特に限定されないが、教師データとして利用する参照物１０を撮像するときに用いる保持台７と同じものがあると好ましい。保持台７は、検体５を静置出来れば良い。この保持台７は平坦であるとより好ましく用いられる。また、この保持台７は光を反射若しくは乱反射しないものであるとより好ましく用いられる。保持台７は、指のようにこの検体５をつまめる物でも好ましく用いられる。この際、指などで摘まんだ箇所は、画像６に含まれても含まれなくても良い。
【0023】
撮像した検体５の検体画像１３を含む画像６は、デジタル化され、プログラムした形状・色情報取得手段により、検体画像１３の形状・色情報１１を含む画像６として後述する可搬型の携帯端末の表示部4に表示する。図５には、実際に食品中の異物として認められた検体５について、保持台７である平坦な帳簿の紙に静置した後、画像取得手段２により撮像した検体画像１３を含む画像６が表示部４に表示されたものを示す。この検体５の大きさは、長さ約１０ｍｍ、幅約３ｍｍ、厚さ１ｍｍ未満であり、検体画像１３の輪郭全体に破断部が認められた。この場合、輪郭情報は、画像６に含まれる検体画像１３と、検体画像１３以外の画像と、を区別する境界線を示すと共に、検体画像１３の破断情報も示す。図９に示す様にこの破断部の輪郭は、破断輪郭９と記すこともある。
【0024】
ユーザは、この画像６について検体５の検体画像１３として利用するか利用しないかを判断出来る。この画像６を検体５の検体画像１３として利用する場合には、次の第二の工程に移行し、利用しない場合には、再度この検体５を撮像する選択が出来る。画像６として利用する場合には、ユーザの感じた形状・色情報１１を表示部４にこの検体５に係わるユーザコメントとして併記することも勿論出来る。この場合には、色情報を青や赤と記載したり、検体５の大きさを形状情報として記載したり、光透過性、形状や寸法を記載したり出来る。更に、硬さや柔らかさや磁性を持つかや、比重などの物理的状態、この検体５の採取場所、採取日時、この採取者の雑感、この検体５がどのようなものの近くで発見されたかなどを好ましくユーザコメントとして記載することが出来る。破断部の状態を形状情報として記載することも好ましく出来る。この破断部の状態としては、鋭利である、伸びている、柔らかい、硬い、などその状態を記載することも好ましく出来る。この場合には、後述する判定手段により判定した結果が分析者（ユーザと記す場合もある）にとって違和感があるかないかの判断がし易くなったりするので好ましい。これらのようなコメントをディープラーニングの多層解析による特徴量として選択し、利用することも好ましく出来る。また、特徴量として利用する場合には、人工知能による判定を行うときの情報として用いられるため、好ましい。
【0025】
再度撮像する選択をした場合は、第一の工程にて、再度検体５を撮像する。この画像６を検体画像１３として利用しない場合としては、例えば取得した検体画像１３の焦点がずれている場合や、撮像時に画像取得手段２に振動や動作が加わったことでこの検体画像１３がぼやけていたり、検体画像１３がこの画像６に含まれていない場合や、そもそも検体５とその他の物質とを誤認識して撮像した場合などがある。
【0026】
この画像６の容量は、特に限定されないが、３０キロバイト以上の容量だと好ましく用いられる。この容量が少なすぎると画像６が粗くなり種類の判定がしづらくなる場合がある。この画像６の容量が大きい場合には、好ましく用いられるが、画像６の容量が１メガバイトを越えると後述する画像６の保存に時間がかかる場合がある。
【0027】
この画像６に含まれるこの検体画像１３は任意に加工した以外の破断部を含むことが好ましい。この破断部情報は、破断輪郭９又は破断面１２の少なくともいずれかからなる。図９に画像６に含まれる検体画像１３の輪郭線８と、破断輪郭９と、破断面１２を示す。この図９の検体画像１３は、輪郭線8の内側すなわち検体画像１３の輪郭線８に接しない場所にも破断輪郭９があり、輪郭線８より破断輪郭９が長い場合の一例である。この検体画像１３に破断輪郭９がある場合には、画像６の外枠の長さを１００としたとき、検体画像１３の破断輪郭９の長さが０．１以上１２０未満であると好ましく、検体５の破断輪郭９の長さが１以上１００未満であると好ましく、検体５の破断輪郭９の長さが１以上８０未満であると更に好ましい。この破断部が検体画像１３の内部に存在する場合、この破断部を破断面１２として表すことも好ましく出来る。この画像６の面積を１００とした場合、この破断面１２の面積は０．１以上１００以下が好ましく、1以上１００以下がより好ましく、４以上９０以下が更に好ましい。この破断面１２の面積が狭すぎると、破断面１２の情報が得られづらくなる場合がある。この破断面１２の面積が１００の場合には、画像６に保持台７が含まれることなく検体画像１３が破断面１２のみとなる。この場合には、この検体画像１３の色情報からこの破断面１２の色の分布を所謂地図の等高線の様に示し、この色の分布からこの破断面１２の形状を破断輪郭９として取得することも好ましく出来る。このように、破断部情報は、破断輪郭９と、破断面１２とからなる場合がある。
【0028】
この検体５が小さく、画像６を撮像する際にこの検体５の特定が困難な場合には、顕微鏡やマイクロスコープ、拡大レンズなどを利用し、この検体５を拡大して撮像することも好ましく出来る。更にこの画像６は、以前撮像し、可搬型の携帯端末や他のコンピュータ内に記録されている保存画像も画像取得手段で取得して画像６として好ましく利用することが出来る。画像６の容量が高く、解像度が判定に十分な場合には、保存画像の検体画像１３を拡大して判定に用いることも好ましく出来る。前述したこの画像６の外枠の長さを１００としたとき、検体画像１３の破断輪郭９の長さが０．１程度の比較的短い場合の検体５としては、毛などがある。人毛の破断輪郭９は、一方を毛根、他方を先端とした場合、動物毛と異なり、先端に鋭利な切断部が存在する場合がある。このような場合には、画像６の外枠の長さを１００とした場合、この破断輪郭９が０．１未満になる場合がある。このような場合、拡大レンズを用いて撮像することで画像６の外枠の長さ１００に対し破断輪郭９の長さを０．１以上とすると好ましい。このように拡大した検体画像１３を用いることで、人毛と動物毛との区別がし易くなる。なお、この人毛の切断部は、検体５の判定を行うもの以外のものが切断したため、やはり予期せぬ切断部と判断できる。
【0029】
＜第二の工程＞
可搬型の携帯端末１の画像取得手段２により得た画像６を判定に用いる選択をした場合には、可搬型の携帯端末内でこの画像６に含まれる検体画像１３について形状・色情報取得手段により形状・色情報１１を取得する。形状・色情報取得手段は、この可搬型の携帯端末内に保存したプログラムから成る手段であると好ましく、また、特定のサーバ内に保存されたプログラムであって、通信により画像６をこのサーバ内でやはりプログラムにより、形状や色情報を取得することも好ましい。
可搬型の携帯端末１の画像取得手段２により得た画像６を判定に用いる選択をした場合には、可搬型の携帯端末内でこの画像６に含まれる検体画像１３について形状・色情報取得手段により形状・色情報１１を取得する。形状・色情報取得手段は、この可搬型の携帯端末内に保存したプログラムから成る手段であると好ましく、また、特定のサーバ内に保存されたプログラムであって、通信により画像６をこのサーバ内でやはりプログラムにより、形状や色情報を取得することも好ましい。
【0030】
この形状・色情報１１に含まれる形状情報としては、検体画像１３の破断輪郭９がこの輪郭線８に含まれる場合には、この破断輪郭９の粗さなどが形状情報となる。この形状情報には、破断部の情報が含まれるため、この破断部の形状がいびつであったり、又は、色が不均一であったりする場合に、この形状・色情報１１を破断部の情報として利用することも出来る。この色の不均一さが低く色が単色に近い場合であっても、形状がいびつである場合であっても好ましく破断部の情報として取り扱うことが好ましく出来る。
【0031】
この形状・色情報１１に含まれる色情報としては、検体画像１３のＲＧＢ値や彩度などを好ましく取得できる。このＲＧＢ値の数値範囲は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色ごとに色の濃い場合を０とし、色の薄い場合を２５５とした場合には、２５６種類に分類することが出来る。この色情報と形状情報から成る形状・色情報１１により、画像６に含まれる検体画像１３の面積値を求めることができると好ましい。この画像６に含まれる検体画像１３に破断面１２がある場合には、この色情報を基にしてこの破断面１２の形状を形状情報として得ることも好ましく出来る。
【0032】
この形状・色情報取得手段は、プログラムにより実行することが好ましい。また、以前に撮像してこの可搬型の携帯端末や特定のパーソナルコンピュータやサーバなどに保存していた画像６を選択し、この画像６に含まれるこの検体画像１３について形状・色情報１１を取得することも好ましく出来る。この形状・色情報１１については、ディープラーニングの多層解析に特徴量として好ましく用いることが出来る。
【0033】
＜第三の工程＞
この第三の工程は、この検体５の種類を判定手段により判定する工程である。この判定手段は、少なくとも一部に破断部分を含む種類が既知の複数の参照物１０をこの参照物１０ごとに撮像して取得した複数の参照物画像１４を用い、特徴量として少なくともこの参照物画像１４からこの形状・色情報取得手段により得られる形状・色情報１１を利用した機械学習によって生成した学習済みモデルにより、検体５を撮像して得たこの検体画像１３から得られる形状・色情報１１に応じて、この参照物画像１４の形状・色情報１１に基づき関連性の高い参照物画像１４と、この関連性の高い参照物画像１４に紐付けした種類と、を優先して選択し、この検体５の種類を判定する判定手段である。
この第三の工程は、この検体５の種類を判定手段により判定する工程である。この判定手段は、少なくとも一部に破断部分を含む種類が既知の複数の参照物１０をこの参照物１０ごとに撮像して取得した複数の参照物画像１４を用い、特徴量として少なくともこの参照物画像１４からこの形状・色情報取得手段により得られる形状・色情報１１を利用した機械学習によって生成した学習済みモデルにより、検体５を撮像して得たこの検体画像１３から得られる形状・色情報１１に応じて、この参照物画像１４の形状・色情報１１に基づき関連性の高い参照物画像１４と、この関連性の高い参照物画像１４に紐付けした種類と、を優先して選択し、この検体５の種類を判定する判定手段である。
【0034】
この判定手段は、この可搬型の携帯端末１に保存されたアプリケーションやプログラムにより実行することが好ましく出来る。また、通信技術を利用して通信可能なコンピュータやサーバなどでこの判定手段を利用することも好ましく出来る。
【0035】
この判定手段に用いる参照物１０の種類は、少なくとも、岩石、鉱物、セラミックス、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質、無機物を含むと好ましい。この種類については、機械学習の教師データとして好ましく用いることが出来る。
【0036】
図３に機械学習に用いた参照物１０の一例として、ポリプロピレン（ＰＰ、合成樹脂、高分子材料、レジン、ｒｅｓｉｎ、ポリマーなど英語表記や、この可搬型の携帯端末を利用する各言語による表記や、当事者であれば類推できる略語を記すこともある）を撮像した参照物画像１４を示す。この参照物１０の種類の特定には、赤外分光分析と顕微鏡撮影を用いた。この図３の画像６では、輪郭線８を実線で示している。また、形状・色情報１１を示している。
【0037】
この参照物１０を機械学習させる際にディープラーニングなどの多層解析手段を好ましく用いることも出来る。このディープラーニングにおいて、特徴量として、色、光透過性、形状や寸法、硬さや柔らかさや磁性を持つかや、比重などの物理的状態、この参照物１０の採取場所、採取日時、この採取者のコメント（ユーザコメントと記す場合がある）などが、特徴量の対象となると好ましい。これら特徴量として、破断部の状態を利用することも出来る。この破断部の状態としては、鋭利である、伸びている、柔らかい、硬い、などその状態利用することも好ましく出来る。
【0038】
更に、この参照物１０の化学分析の結果を参照物１０ごとに関連づけて記録すると好ましい。この化学分析の結果としては、赤外分光分析では、赤外線の吸収スペクトルや赤外線の吸収波数、測定方法、測定温度など、電子線マイクロアナライザーや蛍光Ｘ線分析、電子顕微鏡を用いたエネルギー分散型若しくは波長分散型の分析装置などの電子線を用いた定性分析においては、この参照物１０に含まれる元素とその重量パーセントもしくはモルパーセント、などが有ると好ましい。また、同一の物質からなる参照物１０が複数個同時に認められた場合には、その個数や採取日時なども重要な教師データのための情報として用いられる。この化学分析の結果を記録する場合、検体５の種類をこの種類判定システムで判定した後、この検体５の化学分析を行う際、この検体５の種類に関連した化学分析方法、この化学分析方法の結果などを事前に知ることが出来るため、好ましい。
【0039】
この参照物１０の種類として、少なくとも次の物質についても機械学習に好ましく用いることが出来る。また、次の複数の物質が一つの参照物画像１４として利用することも好ましく出来る。図６や図８は、複数の物質が一つの検体画像１３中に存在するもので、このような検体５の種類を判定する場合にも利用出来る。
【0040】
岩石としては、火成岩、水成岩、変成岩、
ガラスとしては、石英ガラス、ソーダガラス、着色を施したガラス、
鉱物としては、元素鉱物、硫化鉱物、酸化鉱物、ハロゲン化鉱物、炭酸塩鉱物、ホウ酸塩鉱物、硫酸塩鉱物、リン酸塩鉱物、タングステン酸鉱物、ケイ酸塩鉱物、有機鉱物、石膏、
セラミックスとしては、成形や焼成をへて得られる陶磁器の破片、セメント、酸化アルミニウム、酸化亜鉛、酸化ケイ素及びこれらの複合物が含まれるとこのましい。
ガラスとしては、石英ガラス、ソーダガラス、着色を施したガラス、
鉱物としては、元素鉱物、硫化鉱物、酸化鉱物、ハロゲン化鉱物、炭酸塩鉱物、ホウ酸塩鉱物、硫酸塩鉱物、リン酸塩鉱物、タングステン酸鉱物、ケイ酸塩鉱物、有機鉱物、石膏、
セラミックスとしては、成形や焼成をへて得られる陶磁器の破片、セメント、酸化アルミニウム、酸化亜鉛、酸化ケイ素及びこれらの複合物が含まれるとこのましい。
【0041】
食品としては、一般的な食品原料や食品原料の乾燥物、食品原料の柄の部分、食品原料の根の部分や茎の部分、葉の部分、甲殻類の外殻、貝殻の破片が含まれると好ましい。
【0042】
歯としては、ほ乳類、は虫類、昆虫類、軟骨類の歯さらにほ乳類の歯として、人間の歯の場合には、歯科治療に用いる銀歯、金歯、セラミクスの歯、樹脂製の歯、骨としては、鳥類の骨や魚類に含まれる骨、甲殻類の骨、軟骨類の骨などが含まれると好ましい。この歯や骨については、更にタンパク質と固着している場合がある。この場合、タンパク質に分類されることも好ましい。また、タンパク質と歯、若しくはタンパク質と骨を同様に関連づけることも好ましく出来る。
【0043】
金属としては、アルミニウム、銅、銀、ステンレス、鉄、亜鉛、スズ、ニッケルや、これらの混合物及びこれらの酸化物が含まれると好ましい。金属については、更にタンパク質と固着している場合には、タンパク質に分類されることも好ましい。また、タンパク質と金属とを同様に関連づけることも好ましく出来る。また、金属の形状は、板上、針状、波打っているもの、伸ばされている物などが含まれると好ましい。更にまた、金属の酸化物の場合には、酸化が進んで以内部分と酸化が進んでいる部分をそれぞれ含んでいる場合も好ましくもちいられる。また、焼き入れがしてある金属や、めっきとして用いられる金属等も好ましく用いられる。
【0044】
高分子としては、ポリプロピレン、ポリエチレン、ポリアセタール、ＡＢＳ樹脂、シリコーン樹脂、エポキシ樹脂、アルキド樹脂、塗装片、ウレタン、アクリル、ポリカーボネート、ポリスチレン、ゴム、ニトリルゴム、フッ素ゴム、テフロン（登録商標）、シリコーン、硬化した漆、なども好ましく用いられる。
【0045】
植物としては、食品にも含まれるが、土壌や水耕栽培により栽培される植物やその切片、木片、根、紙、花、種、繊維状のもの、更にこの繊維状の物としては、麻の繊維やセルロースが好ましく用いられる。種については、食材として用いられる場合もある。
【0046】
生物としては、昆虫の成虫の場合には、昆虫の頭の一部、羽根の一部、外殻の一部、胴体の一部、足の一部やそれぞれの部分の全部が含まれる。また、幼虫の場合には、幼虫の体の一部などが含まれる。さなぎについては、昆虫に含まれることもあるし、タンパク質に含まれることもある。ムカデやクモ、ダニなどについても昆虫に含んでもよいし、それぞれの種ごとに区別しても好ましい。
【0047】
タンパク質としては、血液や体液の塊が固化したもの、毛髪類、毛、肉片、金属を含む肉片、爪、皮膚、鳥の羽等が含まれていると好ましい。
【0048】
無機物としては、塩類、鉛筆やシャープペンシルの芯、磁石のかけら、コゲなどの炭化物などが含まれていると好ましい。コゲは、その炭化物以外に塩類の結晶や食品の残渣、固化した油分、なども含む場合があると好ましい。
【0049】
これらの参照物１０は、任意に加工した以外の破断部を含むことが好ましい。また、加熱などにより温度履歴を負っている場合も好ましく用いることが出来る。破断部の形成については、選択することは出来ないが、剪断、引っ張り、圧縮、ねじれ、加熱による酸化や炭化、酸素と結合することによる酸化、微生物による分解、疲労破断、打撃による破断及びこれらを複合的に含む物が想定できる。また、焼成した履歴を持ち表面が丸まったものなども破断部として判断することが出来る。
【0050】
これらの参照物１０の機械学習に用いる数については、種類が多く、種類毎の数が多いほど好ましい。これは、検体５の判定精度が高まるため好ましい。また、これら参照物１０は、破断部を持つことが好ましい。破断部を含まない参照物画像１４として機械学習した場合には、６０％程度だった一致率が、破断部を含む参照物画像１４を用いた場合には、８５％以上に向上した結果が得られた。この傾向は、高分子材料で最も高く、木材で低い傾向が認められた。木材表面は任意に加工することでも特徴的な加工面が認められ、これが参照物画像１４との関連を高く評価したものと推測される。
【0051】
発明者は、１５００件以上の参照物１０の参照物画像１４を採取し、この参照物１０について、その参照物１０毎に同数以上の化学分析を行ってこの参照物１０ごとの種類を同定し、これら参照物１０の参照物画像１４、形状・色情報１１、ユーザコメントに記載の特徴量、種類、化学分析方法、化学分析の結果をそれぞれ規定し、関連づけて機械学習し、教師データとした学習済みモデルを作成した。この学習済みモデルを作成するための参照物１０の数については、多いほど良く特に限定されないが、数が多くなりすぎると化学分析による種類の同定にコストがかかる場合がある。また、そもそも任意に加工した以外の破断部は原理的に人の手で作り出すことは出来ないため、収集するのが困難という場合もある。
【0052】
この化学分析については、その参照物１０の同定が出来れば特に限定されるものではないが、赤外分光分析、電子線による分析、Ｘ線による分析、顕微鏡による観察、電子顕微鏡による観察、原子吸光分析、プラズマを用いた分光分析、近赤外吸収による分析、紫外可視域の分光分析、ルミノール反応による分析、ラマン分光分析、クロマトグラフを用いた分析、比重の測定、などの分析を一つ以上利用すると好ましい。
【0053】
この第三の工程に用いられる参照物１０の参照物画像１４を画像取得手段２により取得し、それぞれの参照物１０ごとに少なくとも形状・色情報１１を取得し、更に、この参照物１０ごとの種類をこの形状・色情報１１と共に更に機械学習して学習済みモデルを作成して、判定手段を強化することが出来る。
【0054】
この判定手段において、画像６に占める検体画像１３の面積の割合が５％以上１００％以下である場合には、この検体５の判定の種類を少なくとも、岩石、鉱物、セラミックス、ガラス、食品、骨、歯、金属、高分子、植物、生物、タンパク質、のいずれかから選択すると好ましい。更に判定の種類は、参照物１０に合わせて次のように細分することも好ましく出来る。
【0055】
岩石としては、火成岩、水成岩、変成岩、
ガラスとしては、石英ガラス、ソーダガラス、着色を施したガラス、
鉱物としては、元素鉱物、硫化鉱物、酸化鉱物、ハロゲン化鉱物、炭酸塩鉱物、ホウ酸塩鉱物、硫酸塩鉱物、リン酸塩鉱物、タングステン酸鉱物、ケイ酸塩鉱物、有機鉱物、石膏、
セラミックスとしては、成形や焼成をへて得られる陶磁器の破片、セメント、酸化アルミニウム、酸化亜鉛、酸化ケイ素及びこれらの複合物、
食品としては、一般的な食品原料や食品原料の乾燥物、食品原料の柄の部分、食品原料の根の部分や茎の部分、葉の部分、甲殻類の外殻、貝殻の破片、
骨としては、鳥類の骨や魚類に含まれる骨、甲殻類の骨、軟骨類の骨、
歯としては、ほ乳類、は虫類、昆虫類、軟骨類の歯さらにほ乳類の歯として、人間の歯の場合には、歯科治療に用いる銀歯、金歯、セラミクスの歯、樹脂製の歯、
金属としては、アルミニウム、銅、銀、ステンレス、鉄、亜鉛、スズ、ニッケルや、これらの混合物及びこれらの酸化物が含まれると好ましい。金属については、更にタンパク質と固着している場合には、タンパク質に分類されることもある。また、金属の形状は、板上、針状、波打っているもの、伸ばされている物などが含まれると好ましい。更にまた、金属の酸化物の場合には、酸化が進んで以内部分と酸化が進んでいる部分をそれぞれ含んでいる場合も好ましくもちいられる。また、焼き入れがしてある金属や、めっきとして用いられる金属等も好ましく用いられる。
高分子としては、ポリプロピレン、ポリエチレン、ポリアセタール、ＡＢＳ樹脂、シリコーン樹脂、エポキシ樹脂、アルキド樹脂、塗装片、ウレタン、アクリル、ポリカーボネート、ポリスチレン、ゴム、ニトリルゴム、フッ素ゴム、テフロン（登録商標）、硬化した漆、なども好ましく用いられる。
植物としては、食品にも含まれるが、土壌や水耕栽培により栽培される植物やその切片、木片、根、紙、花、種、繊維状のもの、更にこの繊維状の物としては、麻の繊維やセルロース、
生物としては、昆虫の成虫の場合には、昆虫の頭の一部、羽根の一部、外殻の一部、胴体の一部、足の一部やそれぞれの部分の全部、幼虫、さなぎ、ムカデ、クモ、ダニ、タンパク質については、血液や体液の塊が固化したもの、毛髪類、毛、肉片、金属を含む肉片、爪、皮膚、鳥の羽、無機物としては、塩類、鉛筆やシャープペンシルの芯、磁石のかけら、コゲなどの炭化物、コゲは、その炭化物以外に塩類の結晶や食品の残渣、固化した油分、なども含む場合がある。
ガラスとしては、石英ガラス、ソーダガラス、着色を施したガラス、
鉱物としては、元素鉱物、硫化鉱物、酸化鉱物、ハロゲン化鉱物、炭酸塩鉱物、ホウ酸塩鉱物、硫酸塩鉱物、リン酸塩鉱物、タングステン酸鉱物、ケイ酸塩鉱物、有機鉱物、石膏、
セラミックスとしては、成形や焼成をへて得られる陶磁器の破片、セメント、酸化アルミニウム、酸化亜鉛、酸化ケイ素及びこれらの複合物、
食品としては、一般的な食品原料や食品原料の乾燥物、食品原料の柄の部分、食品原料の根の部分や茎の部分、葉の部分、甲殻類の外殻、貝殻の破片、
骨としては、鳥類の骨や魚類に含まれる骨、甲殻類の骨、軟骨類の骨、
歯としては、ほ乳類、は虫類、昆虫類、軟骨類の歯さらにほ乳類の歯として、人間の歯の場合には、歯科治療に用いる銀歯、金歯、セラミクスの歯、樹脂製の歯、
金属としては、アルミニウム、銅、銀、ステンレス、鉄、亜鉛、スズ、ニッケルや、これらの混合物及びこれらの酸化物が含まれると好ましい。金属については、更にタンパク質と固着している場合には、タンパク質に分類されることもある。また、金属の形状は、板上、針状、波打っているもの、伸ばされている物などが含まれると好ましい。更にまた、金属の酸化物の場合には、酸化が進んで以内部分と酸化が進んでいる部分をそれぞれ含んでいる場合も好ましくもちいられる。また、焼き入れがしてある金属や、めっきとして用いられる金属等も好ましく用いられる。
高分子としては、ポリプロピレン、ポリエチレン、ポリアセタール、ＡＢＳ樹脂、シリコーン樹脂、エポキシ樹脂、アルキド樹脂、塗装片、ウレタン、アクリル、ポリカーボネート、ポリスチレン、ゴム、ニトリルゴム、フッ素ゴム、テフロン（登録商標）、硬化した漆、なども好ましく用いられる。
植物としては、食品にも含まれるが、土壌や水耕栽培により栽培される植物やその切片、木片、根、紙、花、種、繊維状のもの、更にこの繊維状の物としては、麻の繊維やセルロース、
生物としては、昆虫の成虫の場合には、昆虫の頭の一部、羽根の一部、外殻の一部、胴体の一部、足の一部やそれぞれの部分の全部、幼虫、さなぎ、ムカデ、クモ、ダニ、タンパク質については、血液や体液の塊が固化したもの、毛髪類、毛、肉片、金属を含む肉片、爪、皮膚、鳥の羽、無機物としては、塩類、鉛筆やシャープペンシルの芯、磁石のかけら、コゲなどの炭化物、コゲは、その炭化物以外に塩類の結晶や食品の残渣、固化した油分、なども含む場合がある。
【0056】
この判定手段において、種類不特定物としては、画像６中に占める検体画像１３の面積の割合が５％未満であり且つこの形状・色情報１１のＲＧＢ値の数値範囲について濃いから薄いの段階を０から２５５とした際のＲＧＢ値のそれぞれの平均値が３未満の場合、すなわち黒い場合には、この検体５の判定の種類を、種類が特定できない物（種類不特定物と記す場合もある）と判定すると好ましい。この種類不特定物としては、ゴムの小片、金属酸化物の小片、焦げの小片、炭化物の小片、高分子の小片などが含まれる場合がある。一方、この検体画像１３の面積の割合が５％未満の場合には、拡大した画像6を撮像することで、より大きな検体画像１３を得ることも出来る。更に、この検体５に光を効果的に照射することで、このＲＧＢ値を大きくして検体画像１３を取得することも勿論出来る。この場合には、この画像６を用いることで、検体５の種類を再度判定することも好ましく出来る。
【0057】
更に、この検体５は、単一の物質や単一の種類である場合だけでなく、複数の種類の物質を含む場合もある。図６は、高分子（resin）と、タンパク質（protein）と、植物の小片（bio_plant）と、を含む検体５をこの種類判定システムで分析した結果である。ステンレス板を保持台７として、蛍光灯を光源として撮影した。可搬型の携帯端末1はアップル社製のスマートフォンを利用した。黄色い樹脂片に、シソの葉を含む卵焼きの一部が付着した検体５を撮像してこの種類判定システムで判定した一例である。
【0058】
このようにこの第三の工程は、判定手段として、事前に少なくとも一部に破断部分を含む種類が既知の参照物１０を撮像して取得した画像６から得た少なくともこの参照物１０の参照物画像１４の形状・色情報１１と、破断部情報と、種類と、を規定して、入力をこの参照物１０の形状・色情報１１として出力をこの参照物１０の種類とした学習済みモデルを利用し、この検体５の形状・色情報１１とに応じたこの学習済みモデルの参照物１０の形状・色情報１１に基づき、関連性の高い参照物１０の参照物１４を優先させて、この検体５の種類を判定する工程を含む工程である。
【0059】
＜第四の工程＞
この第四の工程は、少なくともの検体５の検体画像１３と、判定した検体５の種類と、やはり判定した検体５の種類毎の判定率と、を関連づけて記録する工程である。この記録は、この可搬型の携帯端末1内に記録しても好ましく、通信手段を用いて特定のサーバやコンピュータに記録させることも好ましく出来る。更に、可搬型の携帯端末１に取り外し可能な記録媒体を接続することが出来れば、この記録媒体に記録させることも好ましく出来る。この判定率は、百分率で表すことも好ましくできる。この記録には、判定した種類の根拠や、化学分析の結果、化学分析方法、化学分析装置、化学分析の条件、なども好ましく保存することが出来る。また、関連性の高い参照物１０がどのような場所や状態で採取されたかを好ましく表示することも出来る。
この第四の工程は、少なくともの検体５の検体画像１３と、判定した検体５の種類と、やはり判定した検体５の種類毎の判定率と、を関連づけて記録する工程である。この記録は、この可搬型の携帯端末1内に記録しても好ましく、通信手段を用いて特定のサーバやコンピュータに記録させることも好ましく出来る。更に、可搬型の携帯端末１に取り外し可能な記録媒体を接続することが出来れば、この記録媒体に記録させることも好ましく出来る。この判定率は、百分率で表すことも好ましくできる。この記録には、判定した種類の根拠や、化学分析の結果、化学分析方法、化学分析装置、化学分析の条件、なども好ましく保存することが出来る。また、関連性の高い参照物１０がどのような場所や状態で採取されたかを好ましく表示することも出来る。
【0060】
図４には、可搬型の携帯端末1としてアップル社製のスマートフォンを利用した場合の表示部４を示す。ここでは、ユーザがこの検体５に対して感じた色情報や形状、水溶液中でこの検体５が認められたのであれば、この水溶液の酸性度（ｐＨと記すこともある）や電気伝導度（ＥＣと記すこともある）を記すことも出来る。また、図示しないが、検体５の採取場所や、日時などものユーザコメントを表示し、記録することも好ましく出来る。
【0061】
＜第五の工程＞
この第五の工程は、この判定手段により判定したこの検体５の少なくとも種類をこの表示部４に表示する工程である。図７に示したように、検体５を含む判定に用いた検体画像１３と、この判定結果（図７中では、分析結果と表記した）と、この判定結果の一致率（図７中では、bio_plant:９９％と表記した）と、を表示部４に表示することが出来る。
この第五の工程は、この判定手段により判定したこの検体５の少なくとも種類をこの表示部４に表示する工程である。図７に示したように、検体５を含む判定に用いた検体画像１３と、この判定結果（図７中では、分析結果と表記した）と、この判定結果の一致率（図７中では、bio_plant:９９％と表記した）と、を表示部４に表示することが出来る。
【0062】
以下、実施例を示して本発明を具体的に説明する。しかし、本発明は、これら実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【0063】
実施例では、可搬型の携帯端末１として、アップル社製のスマートフォンを利用した。事前に学習済みモデルを組み込んだ種類判定システム用アプリケーションソフトウェア（アプリケーションと記す場合もある）を作成し、このスマートフォンに保存した。このアプリケーションを起動し、このスマートフォンに搭載されているカメラを画像取得手段２として利用して検体５の画像を取得した。
【0064】
＜実施例１＞
食品に含まれていた検体５について、検体画像１３を取得し、本発明の種類判定システムによる判定を行った。この検体５について、図７に画像６を示す。保持台7の表面は平坦な帳簿の紙を利用した。この結果、この検体５の種類は、植物片との一致率が９９％、高分子（resin）0％、岩石（rock）０％と判定した。この検体５について、赤外分光分析を行ったところ、この検体５は植物由来の可能性が高いことが確認できた。また、この検体５について、島津製作所製ＥＰＭＡ－１６１０電子線マイクロアナライザーにより分析したところ、炭素と酸素とが多く含まれていることを確認した。更に、この検体５について、生物顕微鏡により観察したところ、繊維状の構造を確認した。これらの化学分析から、この検体５が植物由来の可能性が高いと判断できた。この化学分析の結果は、この種類判定システムと矛盾しない結果だった。このことから、この種類判定システムの有用性が確認できた。
食品に含まれていた検体５について、検体画像１３を取得し、本発明の種類判定システムによる判定を行った。この検体５について、図７に画像６を示す。保持台7の表面は平坦な帳簿の紙を利用した。この結果、この検体５の種類は、植物片との一致率が９９％、高分子（resin）0％、岩石（rock）０％と判定した。この検体５について、赤外分光分析を行ったところ、この検体５は植物由来の可能性が高いことが確認できた。また、この検体５について、島津製作所製ＥＰＭＡ－１６１０電子線マイクロアナライザーにより分析したところ、炭素と酸素とが多く含まれていることを確認した。更に、この検体５について、生物顕微鏡により観察したところ、繊維状の構造を確認した。これらの化学分析から、この検体５が植物由来の可能性が高いと判断できた。この化学分析の結果は、この種類判定システムと矛盾しない結果だった。このことから、この種類判定システムの有用性が確認できた。
【0065】
＜実施例２＞
食品に含まれていて異物と判断した検体５について、検体画像１３を取得し、本発明の種類判定システムによる判定を行った。保持台7の表面は帳簿の紙を利用した。この結果、この検体５の種類は、高分子（resin）８０％、歯１０％、骨１０％と判定した。この検体５について、赤外分光分析を行ったところ、この検体５は、エポキシ樹脂と類似した赤外線吸収スペクトルが観測された。また、この検体５について、蛍光Ｘ線分析装置により分析したところ、炭素と酸素が多く含まれていること、微量のバリウムとフッ素が含まれていることを確認した。これらの化学分析から、この検体５が歯科治療に用いる樹脂製の詰め物であることが示唆された。このバリウムは、レントゲン撮影時に利用され、フッ素は歯磨き粉に含まれている。この化学分析の結果は、この種類判定システムと矛盾しない結果だった。このことから、この種類判定システムの有用性が確認できた。
食品に含まれていて異物と判断した検体５について、検体画像１３を取得し、本発明の種類判定システムによる判定を行った。保持台7の表面は帳簿の紙を利用した。この結果、この検体５の種類は、高分子（resin）８０％、歯１０％、骨１０％と判定した。この検体５について、赤外分光分析を行ったところ、この検体５は、エポキシ樹脂と類似した赤外線吸収スペクトルが観測された。また、この検体５について、蛍光Ｘ線分析装置により分析したところ、炭素と酸素が多く含まれていること、微量のバリウムとフッ素が含まれていることを確認した。これらの化学分析から、この検体５が歯科治療に用いる樹脂製の詰め物であることが示唆された。このバリウムは、レントゲン撮影時に利用され、フッ素は歯磨き粉に含まれている。この化学分析の結果は、この種類判定システムと矛盾しない結果だった。このことから、この種類判定システムの有用性が確認できた。
【0066】
＜実施例３＞
ポリプロピレンを原料とした射出成型品に含まれていた検体５について、この検体５をポリプロピレンから取り出し、検体画像１３を取得して本発明の種類判定システムによる判定を行った。保持台7の表面は帳簿の紙を平面にして利用した。この結果、この検体５の種類は、金属（metal）との一致率が９９％、高分子（resin）0％、岩石（rock）０％と判定した。この検体５について、赤外分光分析を行ったところ、酸化鉄に由来する赤外線吸収スペクトルが認められた。また、この検体５について、電子顕微鏡に搭載されているエネルギー分散型分析装置により分析したところ、鉄と酸素とが多く含まれていることを確認した。更に、この検体５について、磁石を近づけたところ、磁性を示した。これらの化学分析と観察とから、この検体５が鉄の酸化したものの可能性が高いと判断できた。この化学分析の結果は、この種類判定システムと矛盾しない結果だった。このことから、この種類判定システムの有用性が確認できた。
ポリプロピレンを原料とした射出成型品に含まれていた検体５について、この検体５をポリプロピレンから取り出し、検体画像１３を取得して本発明の種類判定システムによる判定を行った。保持台7の表面は帳簿の紙を平面にして利用した。この結果、この検体５の種類は、金属（metal）との一致率が９９％、高分子（resin）0％、岩石（rock）０％と判定した。この検体５について、赤外分光分析を行ったところ、酸化鉄に由来する赤外線吸収スペクトルが認められた。また、この検体５について、電子顕微鏡に搭載されているエネルギー分散型分析装置により分析したところ、鉄と酸素とが多く含まれていることを確認した。更に、この検体５について、磁石を近づけたところ、磁性を示した。これらの化学分析と観察とから、この検体５が鉄の酸化したものの可能性が高いと判断できた。この化学分析の結果は、この種類判定システムと矛盾しない結果だった。このことから、この種類判定システムの有用性が確認できた。
【0067】
＜実施例４＞
発明者が調理し、他者が食べ残したシソの葉入り卵焼きの破片を検体５として利用し、検体画像６を取得して、本発明の種類判定システムにより判定を行った。図８にこの検体５の画像６を示す。保持台７は、黒色の湾曲した陶器を用いた。この結果、この検体５の種類は、植物（bio_Plant）９３％、タンパク質（protein）２％、金属（metal）２％と判定した。この検体５の大部分は、シソの葉であり、加熱した卵の小片が付着していることから、この種類判定システムの有用性が確認できた。
発明者が調理し、他者が食べ残したシソの葉入り卵焼きの破片を検体５として利用し、検体画像６を取得して、本発明の種類判定システムにより判定を行った。図８にこの検体５の画像６を示す。保持台７は、黒色の湾曲した陶器を用いた。この結果、この検体５の種類は、植物（bio_Plant）９３％、タンパク質（protein）２％、金属（metal）２％と判定した。この検体５の大部分は、シソの葉であり、加熱した卵の小片が付着していることから、この種類判定システムの有用性が確認できた。
【0068】
＜実施例５＞
工場内で見つかった異物を検体５として検体画像１３を取得して、本発明の種類判定システムにより判定を行った。この検体５の寸法は、長さ０．２ｍｍ、幅０．２ｍｍ程度だった。画像６に占めるこの検体画像１３の割合は、面積値で２．５％程度だった。この検体５の色は、黒色だった。この検体画像１３について、検体５のＲＧＢを確認したところ、平均値で３であった。保持台７は、薄黄色の紙片を用いた。種類判定システムにより判定の結果、この検体５の種類は、種類不特定物９５％、岩石２％、高分子２％と判定した。この検体５について、赤外分光分析を行ったところ、ゴムなどに由来する赤外線吸収スペクトルが認められた。また、この検体５について、島津製作所製ＥＰＭＡ－１６１０電子線マイクロアナライザーにより分析したところ、炭素が多く含まれていることを確認した。更にこの検体５を顕微鏡観察しながらピンセットで摘まんだところ、弾性があることを確認した。これらのことからこの検体５はゴムであることが確認できた。なお、この検体５について、プログラムを変更して判定結果の出力に種類不特定物を選択させなかった場合は、高分子３５％、岩石３５％、金属３０％と判定し、曖昧な結果となった。
工場内で見つかった異物を検体５として検体画像１３を取得して、本発明の種類判定システムにより判定を行った。この検体５の寸法は、長さ０．２ｍｍ、幅０．２ｍｍ程度だった。画像６に占めるこの検体画像１３の割合は、面積値で２．５％程度だった。この検体５の色は、黒色だった。この検体画像１３について、検体５のＲＧＢを確認したところ、平均値で３であった。保持台７は、薄黄色の紙片を用いた。種類判定システムにより判定の結果、この検体５の種類は、種類不特定物９５％、岩石２％、高分子２％と判定した。この検体５について、赤外分光分析を行ったところ、ゴムなどに由来する赤外線吸収スペクトルが認められた。また、この検体５について、島津製作所製ＥＰＭＡ－１６１０電子線マイクロアナライザーにより分析したところ、炭素が多く含まれていることを確認した。更にこの検体５を顕微鏡観察しながらピンセットで摘まんだところ、弾性があることを確認した。これらのことからこの検体５はゴムであることが確認できた。なお、この検体５について、プログラムを変更して判定結果の出力に種類不特定物を選択させなかった場合は、高分子３５％、岩石３５％、金属３０％と判定し、曖昧な結果となった。
【0069】
＜実施例６＞
実施例５で用いた検体５を利用して、検体画像１３を取得して、本発明の種類判定システムにより判定を行った。この際、この検体５の硬さを柔軟とし、この検体５に磁性がないことを特徴量として与えた。この結果、この検体５の種類を、高分子８０％、種類不特定物２0％、無機物0％と判定した。画像６に占めるこの検体画像１３の割合は、面積値で２．５％程度だった。この実施例６は、この種類判定システムにおいて、ディープラーニングの多層解析として、特徴量に磁性の有無と硬さとを利用した場合の実施例である。
実施例５で用いた検体５を利用して、検体画像１３を取得して、本発明の種類判定システムにより判定を行った。この際、この検体５の硬さを柔軟とし、この検体５に磁性がないことを特徴量として与えた。この結果、この検体５の種類を、高分子８０％、種類不特定物２0％、無機物0％と判定した。画像６に占めるこの検体画像１３の割合は、面積値で２．５％程度だった。この実施例６は、この種類判定システムにおいて、ディープラーニングの多層解析として、特徴量に磁性の有無と硬さとを利用した場合の実施例である。
【0070】
＜実施例7＞
実施例５で用いた検体５として利用し、２倍の拡大レンズを用いて画像６を取得した以外は、すべて実施例５と同様に本発明の種類判定システムにより判定を行った。この検体５の寸法は、長さ０．２ｍｍ、幅０．２ｍｍ程度だった。この検体５の色は、黒色だった。保持台７は、薄黄色の平らな紙片を用いた。この結果、この検体５の種類を、高分子７５％、金属酸化物１５％、無機物１０％と判定した。画像６に占めるこの検体画像１３の割合は、面積値で５％だった。この検体５について、赤外分光分析を行ったところ、ゴムなどに由来する赤外線吸収スペクトルが認められた。また、この検体５について、島津製作所製ＥＰＭＡ－１６１０電子線マイクロアナライザーにより分析したところ、炭素が多く含まれていることを確認した。更にこの検体５を顕微鏡観察しながらピンセットで摘まんだところ、弾性があることを確認した。この実施例７は、この種類判定システムにおいて、画像取得手段にレンズを用いたて検体５の画像６に占める検体画像１３の割合が面積値で２．５％程度だったものを５％まで高くした場合の実施例の結果である。
実施例５で用いた検体５として利用し、２倍の拡大レンズを用いて画像６を取得した以外は、すべて実施例５と同様に本発明の種類判定システムにより判定を行った。この検体５の寸法は、長さ０．２ｍｍ、幅０．２ｍｍ程度だった。この検体５の色は、黒色だった。保持台７は、薄黄色の平らな紙片を用いた。この結果、この検体５の種類を、高分子７５％、金属酸化物１５％、無機物１０％と判定した。画像６に占めるこの検体画像１３の割合は、面積値で５％だった。この検体５について、赤外分光分析を行ったところ、ゴムなどに由来する赤外線吸収スペクトルが認められた。また、この検体５について、島津製作所製ＥＰＭＡ－１６１０電子線マイクロアナライザーにより分析したところ、炭素が多く含まれていることを確認した。更にこの検体５を顕微鏡観察しながらピンセットで摘まんだところ、弾性があることを確認した。この実施例７は、この種類判定システムにおいて、画像取得手段にレンズを用いたて検体５の画像６に占める検体画像１３の割合が面積値で２．５％程度だったものを５％まで高くした場合の実施例の結果である。
【0071】
＜実施例８～１２＞
実施例１から実施例５のそれぞれの検体５について、本発明の種類判定システムに特徴量として、検体５の大きさ、光透過性、形状、寸法、硬さ、磁性の有無、重さ、採取場所、採取日時、この採取者の雑感、それぞれの検体５が近接していたもの、ユーザが感じた破断部の状態をそれぞれ与えて判定に供した。
実施例１から実施例５のそれぞれの検体５について、本発明の種類判定システムに特徴量として、検体５の大きさ、光透過性、形状、寸法、硬さ、磁性の有無、重さ、採取場所、採取日時、この採取者の雑感、それぞれの検体５が近接していたもの、ユーザが感じた破断部の状態をそれぞれ与えて判定に供した。
【0072】
この結果、まず実施例１の検体５についてこれら特徴量を用いて判定した実施例８では、植物片との一致率が１００％、高分子（resin）０％、食物（food）０％と判定した。また、実施例2の検体５について同様にした実施例９では、歯５５％、高分子（resin）４５％、骨０％と判定した。更に実施例３の検体５について同様にした実施例１０では、金属５０％、金属酸化物５０％、岩石（rock）０％と判定した。更に、実施例4の検体５について同様にした実施例１１では、植物（bio_Plant）９５％、タンパク質（protein）５％、無機物（inorganic）1 ％と判定した。更に、実施例5の検体５について同様にした実施例１２では、ゴム９０％、高分子１０％、無機物０％と判定した。
【0073】
これらの結果から、特徴量を加え、ディープラーニングの多層解析を行うことにより、この種類判定システムの判定精度が向上することが確認できた。
【0074】
以上、本発明の実施の形態を説明したが、本発明の範囲はこれに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【0075】
本発明は、生活の基盤となる食品の安全や消費者の安心、食品の廃棄量の低減に関わるものであり、更に工業製品の品質管理に利用できるため、産業上の利用可能性は高い。
【符号の説明】
【0076】
１ 可搬型の携帯端末
２ 画像取得手段
３ 情報入力手段
４ 表示部
５ 検体
６ 画像
７ 保持台
８ 輪郭線
９ 破断輪郭
１０ 参照物
１１ 形状・色情報
１２ 破断面
１３ 検体画像
１４ 参照物画像
２ 画像取得手段
３ 情報入力手段
４ 表示部
５ 検体
６ 画像
７ 保持台
８ 輪郭線
９ 破断輪郭
１０ 参照物
１１ 形状・色情報
１２ 破断面
１３ 検体画像
１４ 参照物画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
