IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社前川製作所の特許一覧

特許7574073対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20241021BHJP
   G06T 7/00 20170101ALI20241021BHJP
   G01N 21/27 20060101ALI20241021BHJP
   G01N 21/3563 20140101ALI20241021BHJP
【FI】
G01N21/88 J
G06T7/00 350B
G01N21/27 A
G01N21/3563
【請求項の数】 20
(21)【出願番号】P 2020213342
(22)【出願日】2020-12-23
(65)【公開番号】P2022099535
(43)【公開日】2022-07-05
【審査請求日】2023-09-22
(73)【特許権者】
【識別番号】000148357
【氏名又は名称】株式会社前川製作所
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100211122
【弁理士】
【氏名又は名称】白石 卓也
(72)【発明者】
【氏名】今村 光
(72)【発明者】
【氏名】徳本 大
(72)【発明者】
【氏名】村並 広章
【審査官】小野寺 麻美子
(56)【参考文献】
【文献】特開2012-112688(JP,A)
【文献】特開2015-190898(JP,A)
【文献】特開2007-024510(JP,A)
【文献】特開2019-032283(JP,A)
【文献】特開2019-015654(JP,A)
【文献】国際公開第2019/059011(WO,A1)
【文献】特開2018-066649(JP,A)
【文献】国際公開第2008/102143(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00 - G01N 21/01
G01N 21/17 - G01N 21/61
G01N 21/84 - G01N 21/958
G06T 1/00 - G06T 1/40
G06T 3/00 - G06T 9/40
(57)【特許請求の範囲】
【請求項1】
第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、
前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、
前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、
を備え
前記第一画像取得部、又は前記第二画像取得部のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、
対象検出装置。
【請求項2】
前記対象検出部は、前記第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、前記第二画像において所定の第二輝度を超える輝度で描出され、前記第一要素と異なる第二要素を検出して前記対象を検出する、
請求項1に記載の対象検出装置。
【請求項3】
前記第一画像取得部は、前記第一要素に照射された場合における反射率が所定の第一反射率を超えている波長を有する光を前記被写体に照射して生成された前記第一画像を取得する、
請求項2に記載の対象検出装置。
【請求項4】
前記第二画像取得部は、前記第二要素に照射された場合における反射率が所定の第二反射率を超えている波長を有する光を前記被写体に照射して生成された前記第二画像を取得する、
請求項2又は請求項3に記載の対象検出装置。
【請求項5】
前記対象検出部は、前記第一画像において前記第一要素が描出されている領域各々に関して所定の第一規則に基づいて第一点を選択し、前記第二画像において前記第二要素が描出されている領域各々に関して所定の第二規則に基づいて第二点を選択し、前記第一点と前記第二点とを結ぶ線分の長さが所定の長さ未満となる前記第一点と前記第二点とを与える前記第一要素と前記第二要素との組み合わせを前記対象として検出する、
請求項2から請求項4のいずれか一つに記載の対象検出装置。
【請求項6】
前記第一画像取得部は、前記第一波長群に属する第一主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する、
請求項1から請求項5のいずれか一つに記載の対象検出装置。
【請求項7】
前記第二画像取得部は、前記第二波長群に属する第二主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する、
請求項1から請求項6のいずれか一つに記載の対象検出装置。
【請求項8】
前記第一画像取得部は、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一主波長を有する光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一副波長を有する光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する、
請求項1から請求項5のいずれか一つに記載の対象検出装置。
【請求項9】
前記第二画像取得部は、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二主波長を有する光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二副波長を有する光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する、
請求項1から請求項6のいずれか一つに記載の対象検出装置。
【請求項10】
第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、
前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、
を備え
前記第一学習用画像、又は前記第二学習用画像のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記学習用被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像である、
機械学習実行装置。
【請求項11】
第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、
前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、
前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、
前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、
を備え
前記第一推論用画像取得部、又は前記第二推論用画像取得部のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記推論用被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、
対象検出装置。
【請求項12】
コンピュータに、
第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得機能と、
前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得機能と、
前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出機能と、
を実現させ
前記第一画像取得機能、又は前記第二画像取得機能のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、
対象検出プログラム。
【請求項13】
コンピュータに、
第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得機能と、
前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行機能と、
を実現させ
前記第一学習用画像、又は前記第二学習用画像のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記学習用被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像である、
機械学習実行プログラム。
【請求項14】
コンピュータに、
第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得機能と、
前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得機能と、
前記第一推論用画像と、前記第二推論用画像とを使用して生成された推論用マルチチャンネル画像を生成する推論用画像生成機能と、
前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出機能と、
を実現させ
前記第一推論用画像取得機能、又は前記第二推論用画像取得機能のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記推論用被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、
対象検出プログラム。
【請求項15】
第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、
前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、
前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、
を備え、
前記第一画像取得部は、前記第一波長群に属する第一主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する、
対象検出装置。
【請求項16】
第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、
前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、
前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、
を備え、
前記第二画像取得部は、前記第二波長群に属する第二主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する、
対象検出装置。
【請求項17】
第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、
前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、
を備え、
前記第一学習用画像は、前記第一波長群に属する第一主波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表したものである、
機械学習実行装置。
【請求項18】
第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、
前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、
を備え、
前記第二学習用画像は、前記第二波長群に属する第二主波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表したものである、
機械学習実行装置。
【請求項19】
第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、
前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、
前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、
前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、
を備え、
前記第一推論用画像取得部は、前記第一波長群に属する第一主波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一推論用画像を取得する、
対象検出装置。
【請求項20】
第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、
前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、
前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、
前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、
を備え、
前記第二推論用画像取得部は、前記第二波長群に属する第二主波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二推論用画像を取得する、
対象検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラムに関する。
【背景技術】
【0002】
工場等において食品を取り扱う際に、食品に含まれている特定の部位、食品に混入している異物等を検出する技術が必要となることがある。このような技術の一例として、例えば、特許文献1に開示されている装置が挙げられる。この装置は、対象もしくは物品を検査するための装置であって、該対象もしくは物品を横切ってある線を照射する手段および該線の全部もしくは延長部分を観察しかつ放射線により励起状態にある特定の対象もしくは物品の地域により放射される狭いバンドの放射線を検知する観察手段を有し、該観察系は、特定の入射角内で該狭い周波バンド以外はすべてを実質的に濾去する狭いバンドパスフィルター手段と、該フィルター手段を透過した放射線を検知する検知手段と、該フィルター手段を透過しかつ該検知手段に到達する該入射角外の光を阻止するための手段とを有する。また、特許文献1には、この装置が茫く切った魚の鮮度もしくは骨の存在の検査(紫外線を用いる)に適用することができることが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平02-85750号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した装置は、紫外線等、特定のスペクトルを有する一種類の光しか物品等に照射しないため、物品等に含まれている特定の部位、対象又は物品に混入している異物等を適切に検出することが出来ないことがある。
【0005】
例えば、物品等にX線を照射してX線画像を撮影し、物品等に含まれている対象を検出しようとした場合に、対象の密度と対象の周囲の密度との差が小さいと、X線画像において対象を描出している領域と当該領域の周囲の領域との輝度のコントラストが小さくなり、対象が適切に検出され得ないことがある。或いは、物品等に励起光を照射して蛍光画像を撮影し、物品等に含まれている対象を検出しようとした場合に、当該対象以外にも蛍光発光する物体が含まれていると、当該対象が正確に検出され得ないことがある。或いは、物品等に白色光を照射してカラー画像を撮影し、物品等に含まれている対象を検出しようとした場合に、対象と当該対象の周囲とで色や形状が類似していると、カラー画像を使用しても対象が適切に検出され得ないことがある。
【0006】
本発明は、上述した事情に鑑みてなされたものであり、被写体に含まれている対象を精度良く検出することができる対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラムを提供しようとするものである。
【課題を解決するための手段】
【0007】
本発明の一態様は、第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、を備え、前記第一画像取得部、又は前記第二画像取得部のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、対象検出装置である。
【0008】
本発明の一態様は、上記の対象検出装置であって、前記対象検出部は、前記第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、前記第二画像において所定の第二輝度を超える輝度で描出され、前記第一要素と異なる第二要素を検出して前記対象を検出する。
【0009】
本発明の一態様は、上記の対象検出装置であって、前記第一画像取得部は、前記第一要素に照射された場合における反射率が所定の第一反射率を超えている波長を有する光を前記被写体に照射して生成された前記第一画像を取得する。
【0010】
本発明の一態様は、上記の対象検出装置であって、前記第二画像取得部は、前記第二要素に照射された場合における反射率が所定の第二反射率を超えている波長を有する光を前記被写体に照射して生成された前記第二画像を取得する。
【0011】
本発明の一態様は、上記の対象検出装置であって、前記対象検出部は、前記第一画像において前記第一要素が描出されている領域各々に関して所定の第一規則に基づいて第一点を選択し、前記第二画像において前記第二要素が描出されている領域各々に関して所定の第二規則に基づいて第二点を選択し、前記第一点と前記第二点とを結ぶ線分の長さが所定の長さ未満となる前記第一点と前記第二点とを与える前記第一要素と前記第二要素との組み合わせを前記対象として検出する。
【0012】
本発明の一態様は、上記の対象検出装置であって、前記第一画像取得部は、前記第一波長群に属する第一主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する。
【0013】
本発明の一態様は、上記の対象検出装置であって、前記第二画像取得部は、前記第二波長群に属する第二主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する。
【0014】
本発明の一態様は、上記の対象検出装置であって、前記第一画像取得部は、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一主波長を有する光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第一副波長を有する光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する。
【0015】
本発明の一態様は、上記の対象検出装置であって、前記第二画像取得部は、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二主波長を有する光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する光を前記被写体に照射することにより前記被写体から出射され、第二副波長を有する光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する。
【0016】
本発明の一態様は、第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、を備え、前記第一学習用画像、又は前記第二学習用画像のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記学習用被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像である、機械学習実行装置である。
【0017】
本発明の一態様は、第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、を備え、前記第一推論用画像取得部、又は前記第二推論用画像取得部のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記推論用被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、対象検出装置である。
【0018】
本発明の一態様は、コンピュータに、第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得機能と、前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得機能と、前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出機能と、を実現させ、前記第一画像取得機能、又は前記第二画像取得機能のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、対象検出プログラムである。
【0019】
本発明の一態様は、コンピュータに、第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得機能と、前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行機能と、を実現させ、前記第一学習用画像、又は前記第二学習用画像のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記学習用被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記学習用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像である、機械学習実行プログラムである。
【0020】
本発明の一態様は、コンピュータに、第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得機能と、前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得機能と、前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成機能と、前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出機能と、を実現させ、前記第一推論用画像取得機能、又は前記第二推論用画像取得機能のうち、少なくともいずれか一方は、前記第一波長群または前記第二波長群に属する光を前記推論用被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属する主波長に基づき得られる主画像の輝度情報と、前記第一波長群または前記第二波長群に属する光を被写体に照射された結果として得られる、前記推論用被写体に照射した光と同一の波長群に属し前記主波長とは異なる波長である副波長に基づき得られる副画像の輝度情報と、に基づき算出された値を各画素により表している画像を取得する、対象検出プログラムである。
本発明の一態様は、第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、を備え、前記第一画像取得部は、前記第一波長群に属する第一主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一画像を取得する、対象検出装置である。
本発明の一態様は、第一波長群に属する光を被写体に照射して生成され、前記被写体を描出している第一画像を取得する第一画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一画像を生成するために前記被写体に照射された光と異なる波長を有する光を前記被写体に照射して生成され、前記被写体を描出している第二画像を取得する第二画像取得部と、前記被写体に含まれている対象を前記第一画像及び前記第二画像を使用して検出する対象検出部と、を備え、前記第二画像取得部は、前記第二波長群に属する第二主波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記被写体に照射され、前記被写体により反射された光を検出して撮影され、前記被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二画像を取得する、対象検出装置である。
本発明の一態様は、第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、を備え、前記第一学習用画像は、前記第一波長群に属する第一主波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表したものである、機械学習実行装置である。
本発明の一態様は、第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する教師データ取得部と、前記教師データを機械学習モデルに入力し、前記機械学習モデルを学習させる機械学習実行部と、を備え、前記第二学習用画像は、前記第二波長群に属する第二主波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記学習用被写体に照射され、前記学習用被写体により反射された光を検出して撮影され、前記学習用被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表したものである、機械学習実行装置である。
本発明の一態様は、第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、を備え、前記第一推論用画像取得部は、前記第一波長群に属する第一主波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第一主画像に含まれる画素各々の輝度と、前記第一波長群に属する第一副波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第一推論用画像を取得する、対象検出装置である。
本発明の一態様は、第一波長群に属する光を推論用被写体に照射して生成され、前記推論用被写体を描出している第一推論用画像を取得する第一推論用画像取得部と、前記第一波長群と異なる第二波長群に属しており、前記第一推論用画像を生成するために前記推論用被写体に照射された光と異なる波長を有する光を前記推論用被写体に照射して生成され、前記推論用被写体を描出している第二推論用画像を取得する第二推論用画像取得部と、前記第一推論用画像と、前記第二推論用画像とを使用して推論用マルチチャンネル画像を生成する推論用画像生成部と、前記第一波長群に属する光を学習用被写体に照射して生成され、前記学習用被写体を描出している第一学習用画像と、前記第一波長群と異なる第二波長群に属しており、前記第一学習用画像を生成するために前記学習用被写体に照射された光と異なる波長を有する光を前記学習用被写体に照射して生成され、前記学習用被写体を描出している第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、前記学習用マルチチャンネル画像に描出されている前記学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを使用して学習した機械学習モデルに前記推論用マルチチャンネル画像を入力し、前記推論用被写体に含まれている推論用対象を前記機械学習モデルに検出させる推論用対象検出部と、を備え、前記第二推論用画像取得部は、前記第二波長群に属する第二主波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第二主画像に含まれる画素各々の輝度と、前記第二波長群に属する第二副波長を有し、前記推論用被写体に照射され、前記推論用被写体により反射された光を検出して撮影され、前記推論用被写体を描出している第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している前記第二推論用画像を取得する、対象検出装置である。
【発明の効果】
【0021】
本発明によれば、被写体に含まれている対象を精度良く検出することができる。
【図面の簡単な説明】
【0022】
図1】第一実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。
図2】第一実施形態に係る対象検出装置と、第一発光装置と、第一撮影装置と、第二発光装置と、第二撮影装置と、食品加工ラインとの一例を示す図である。
図3】第一実施形態に係る鶏もも肉の軟骨の可視光領域の反射スペクトル、脂肪の可視光領域の反射スペクトル及び赤身の可視光領域の反射スペクトルの一例を示す図である。
図4】第一実施形態に係る鶏もも肉から出射され、第一主波長を有する光を検出して撮影された第一主画像の一例を示す図である。
図5】第一実施形態に係る鶏もも肉から出射され、第一副波長を有する光を検出して撮影された第一副画像の一例を示す図である。
図6】第一実施形態に係る鶏もも肉の軟骨の近赤外領域の反射スペクトル、脂肪の近赤外領域の反射スペクトル及び赤身の近赤外領域の反射スペクトルの一例を示す図である。
図7】第一実施形態に係る鶏もも肉に第二主波長を有する光を照射して撮影された第二主画像の一例を示す図である。
図8】第一実施形態に係る鶏もも肉に第二副波長を有する光を照射して撮影された第二副画像の一例を示す図である。
図9】第一実施形態に係る対象検出装置の機能的な構成の一例を示す図である。
図10図4に示した第一主画像と、図5に示した第一副画像とを使用して生成された第一画像の一例を示す図である。
図11図7に示した第二主画像と、図8に示した第二副画像とを使用して生成された第二画像の一例を示す図である。
図12】第一実施形態に係る第一画像において所定の第一輝度を超える輝度で描出されている領域の一例を示す図である。
図13】第一実施形態に係る第一要素を描出している可能性がある領域の一例を示す図である。
図14】第一実施形態に係る第二画像において所定の第二輝度を超える輝度で描出されている領域の一例を示す図である。
図15】第一実施形態に係る第二要素を描出している可能性がある領域の一例を示す図である。
図16】第一実施形態に係るマルチチャンネル画像の一例を示す図である。
図17】第一実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。
図18】第二実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。
図19】第二実施形態に係る機械学習実行装置の機能的な構成の一例を示す図である。
図20】第二実施形態に係る学習用マルチチャンネル画像の一例を示す図である。
図21】第二実施形態に係る機械学習実行装置が実行する処理の一例を示すフローチャートである。
図22】第二実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。
図23】第二実施形態に係る対象検出装置の機能的な構成の一例を示す図である。
図24】第二実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0023】
[第一実施形態]
図1から図17を参照しながら第一実施形態に係る対象検出装置及び対象検出プログラムについて説明する。第一実施形態の説明では、対象検出装置が鶏もも肉に含まれている膝軟骨部を検出する場合を例に挙げて説明する。膝軟骨部は、軟骨と脂肪との組み合わせにより構成されている部位であり、例えば、多関節ロボットの先端に取り付けられたナイフを使用して鶏もも肉から切り出される。
【0024】
まず、図1から図8を参照しながら第一実施形態に係る対象検出装置を構成しているハードウェア及び対象検出装置に付帯しているハードウェアについて説明する。
【0025】
図1は、第一実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。図1に示すように、対象検出装置10は、プロセッサ11と、主記憶装置12と、通信インターフェース13と、補助記憶装置14と、入出力装置15と、バス16とを備える。
【0026】
プロセッサ11は、例えば、CPU(Central Processing Unit)であり、対象検出プログラムを読み出して実行し、対象検出装置10が有する各機能を実現させる。また、プロセッサ11は、対象検出プログラム以外のプログラムを読み出して実行し、対象検出装置10が有する各機能を実現させる上で必要な機能を実現させてもよい。
【0027】
主記憶装置12は、例えば、RAM(Random Access Memory)であり、プロセッサ11により読み出されて実行される対象検出プログラムその他プログラムを予め記憶している。
【0028】
通信インターフェース13は、ネットワークを介して第一撮影装置155、第二撮影装置157、制御装置200その他の機器と通信を実行するためのインターフェース回路である。また、ここで言うネットワークは、例えば、WAN(Wide Area Network)、LAN(Local Area Network)、インターネット、イントラネットである。
【0029】
補助記憶装置14は、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)、ソリッドステートドライブ(SSD:Solid State Drive)、フラッシュメモリ(Flash Memory)、ROM(Read Only Memory)である。
【0030】
入出力装置15は、例えば、入出力ポート(Input/Output Port)である。入出力装置15は、例えば、図1に示したマウス151、キーボード152及びディスプレイ153が接続される。図2は、第一実施形態に係る対象検出装置と、第一発光装置と、第一撮影装置と、第二発光装置と、第二撮影装置と、食品加工ラインとの一例を示す図である。入出力装置15は、例えば、図1及び図2に示した第一撮影装置155、第二撮影装置157及び制御装置200が接続される。また、制御装置200は、第一発光装置154及び第二発光装置156が接続され、第一発光装置154及び第二発光装置156を制御する。
【0031】
マウス151及びキーボード152は、例えば、対象検出装置10を操作するために必要なデータを入力する作業に使用される。
【0032】
ディスプレイ153は、例えば、液晶ディスプレイである。ディスプレイ153は、例えば、対象検出装置10のグラフィカルユーザインターフェース(GUI:Graphical User Interface)を表示する。また、ディスプレイ153は、例えば、図4に示した画像、図5に示した画像、図7に示した画像、図8に示した画像、図10に示した画像、図11に示した画像、図12に示した画像、図13に示した画像、図14に示した画像、図15に示した画像及び図16に示した画像の少なくとも一つを表示する。
【0033】
第一発光装置154は、第一波長群に属する光を被写体に照射する装置であり、例えば、LED(light emitting diode)、ハロゲンランプ、タングステンランプ又はレーザーを含む。被写体は、例えば、図2に示した鶏もも肉Mである。鶏もも肉Mは、食品加工ライン20を構成しているベルトコンベア201により搬送され、光電センサ202及び光電センサ203により順次検知される。ベルトコンベア201、光電センサ202及び光電センサ203は、制御装置200により制御されている。第一発光装置154は、例えば、図2に示すように、ベルトコンベア201により搬送される鶏もも肉Mに上方から光を照射可能な位置に設置されている。
【0034】
上述した第一波長群は、所定の波長領域に属する少なくとも一つの波長を含んでいる。例えば、第一波長群は、波長365nm又は波長340nmを含んでいる。波長460nmは、後述する第一主波長の一例である。一方、波長520nmは、後述する第一副波長の一例である。
【0035】
図3は、第一実施形態に係る鶏もも肉の軟骨の可視光領域の反射スペクトル、脂肪の可視光領域の反射スペクトル及び赤身の可視光領域の反射スペクトルの一例を示す図である。図3に示した実線は、鶏もも肉Mの軟骨の可視光領域の反射スペクトルを示している。図3に示した破線は、鶏もも肉Mの脂肪の可視光領域の反射スペクトルを示している。図3に示した一点鎖線は、鶏もも肉Mの赤身の反射スペクトルを示している。図3に矢印で示すように、波長460nmは、軟骨の反射スペクトルのピークを与える波長である。また、波長460nmを有する光は、膝軟骨部を構成しており、第一要素の一例である軟骨に照射された場合における反射率が所定の第一反射率を超えている波長を有する光の一例である。
【0036】
第一発光装置154は、鶏もも肉Mが光電センサ202により検知された後であり、光電センサ203により検知される前のタイミングで鶏もも肉Mに中心波長365nm、最短波長355nm及び最長波長375nmを有する光を照射する。或いは、第一発光装置154は、鶏もも肉Mが光電センサ202により検知された後であり、光電センサ203により検知される前のタイミングで鶏もも肉Mに中心波長340nm、最短波長330nm及び最長波長350nmを有する光を照射する。これらの光は、鶏もも肉Mの表面で波長460nm及び波長520nmを含む蛍光を励起させる光であり、第一波長群に属する光である。
【0037】
第一撮影装置155は、鶏もも肉Mから出射された光を検出可能な受光素子を備えるカメラである。ここで言う鶏もも肉Mから出射された光は、鶏もも肉M自身から出射され、波長460nmを有する蛍光及び波長520nmを有する蛍光である。また、波長460nmは、第一主波長の一例である。一方、波長520nmは、第一副波長の一例である。なお、鶏もも肉Mから出射された光は、鶏もも肉Mの表面で反射された光であってもよい。また、例えば、鶏もも肉Mから出射された光が可視光領域に属する光である場合、第一撮影装置155は、シリコン(Si)、リン化ガリウム(GaP)又はガリウム砒素リン(GaAsP)を半導体として利用した受光素子を備える。また、第一撮影装置155は、例えば、図2に示すように、光電センサ202と光電センサ203との間に位置する鶏もも肉Mを上方から撮影可能な態様で設置されている。
【0038】
第一撮影装置155は、第一発光装置154により光が照射されている被写体を撮影して第一主画像を生成する。図4は、第一実施形態に係る鶏もも肉から出射され、第一主波長を有する光を検出して撮影された第一主画像の一例を示す図である。例えば、第一撮影装置155は、第一発光装置154により鶏もも肉Mに光が照射され、鶏もも肉Mから波長460nmを有する蛍光及び波長520nmを有する蛍光が出射されている際に、鶏もも肉Mから波長460nmを有する蛍光を検出して図4に示した第一主画像を生成する。図4に示した第一主画像は、鶏もも肉Mを描出しており、円C4で示した領域に鶏もも肉Mに含まれている膝軟骨部を描出している。
【0039】
また、第一撮影装置155は、第一発光装置154により光が照射されている被写体を撮影して第一副画像を生成する。図5は、第一実施形態に係る鶏もも肉から出射され、第一副波長を有する光を検出して撮影された第一副画像の一例を示す図である。例えば、第一撮影装置155は、第一発光装置154により鶏もも肉Mに光が照射され、鶏もも肉Mから波長460nmを有する蛍光及び波長520nmを有する蛍光が出射されている際に、鶏もも肉Mから波長520nmを有する蛍光を検出して図5に示した第一副画像を生成する。図5に示した第一副画像は、鶏もも肉Mを描出している。
【0040】
第二発光装置156は、第一波長群と異なる第二波長群に属しており、第一画像を撮影するために被写体に照射された光と異なる波長を有する光を被写体に照射する装置であり、例えば、LED、ハロゲンランプ、タングステンランプ又はレーザーを含む。第二発光装置156は、例えば、図2に示すように、ベルトコンベア201により搬送される鶏もも肉Mに上方から光を照射可能な位置に設置されている。
【0041】
上述した第二波長群は、所定の波長領域に属する少なくとも一つの波長を含んでいる。例えば、第二波長群は、波長700nmから波長2500nmまでの近赤外領域に属する波長1211nm及び波長1287nmを含んでいる。波長1211nmは、後述する第二副波長の一例である。一方、波長1287nmは、後述する第二主波長の一例である。なお、第二波長群に含まれる波長の一部は、第一波長群に含まれていてもよい。
【0042】
図6は、第一実施形態に係る鶏もも肉の軟骨の近赤外領域の反射スペクトル、脂肪の近赤外領域の反射スペクトル及び赤身の近赤外領域の反射スペクトルの一例を示す図である。図6に示した実線は、鶏もも肉Mの軟骨の近赤外領域の反射スペクトルを示している。図6に示した破線は、鶏もも肉Mの脂肪の近赤外領域の反射スペクトルを示している。図6に示した一点鎖線は、鶏もも肉Mの赤身の反射スペクトルを示している。図6に矢印で示すように、上述した波長1287nmは、脂肪の反射スペクトルのピークを与える波長である。また、波長1287nmを有する光は、第二要素の一例であり、膝軟骨部を構成している脂肪に照射された場合における反射率が所定の第二反射率を超えている波長を有する光の一例である。
【0043】
第二発光装置156は、鶏もも肉Mが光電センサ203により検知された後のタイミングで鶏もも肉Mに波長1287nm及び波長1211nmを含む光を照射する。
【0044】
第二撮影装置157は、鶏もも肉Mから出射された光を検出可能な受光素子を備えるカメラである。ここで言う鶏もも肉Mから出射された光は、鶏もも肉Mの表面で反射され、波長1211nmを有する光及び鶏もも肉Mの表面で反射され、波長1287nmを有する光である。また、波長1211nmは、第二副波長の一例である。一方、波長1287nmは、第二主波長の一例である。なお、鶏もも肉Mから出射された光は、鶏もも肉M自身から出射された光であってもよい。また、例えば、鶏もも肉Mから出射された光が近赤外領域に属する光である場合、第二撮影装置157は、砒化インジウムガリウム(InGaAs)、硫化鉛(PbS)又はセレン化鉛(PbSe)を半導体として利用した受光素子を備える。また、第二撮影装置157は、例えば、図2に示すように、ベルトコンベア201上において光電センサ203の下流に位置する鶏もも肉Mを上方から撮影可能な態様で設置されている。
【0045】
第二撮影装置157は、第二発光装置156により光が照射されている被写体を撮影して第二主画像を生成する。図7は、第一実施形態に係る鶏もも肉に第二主波長を有する光を照射して撮影された第二主画像の一例を示す図である。例えば、第二撮影装置157は、鶏もも肉Mに波長1211nmを有する光及び波長1287nmを有する光が照射され、これらの光が鶏もも肉Mの表面で反射されている際に鶏もも肉Mを撮影して図7に示した第二主画像を生成する。図7に示した第二主画像は、鶏もも肉Mを描出しており、円C7で示した領域に鶏もも肉Mに含まれている膝軟骨部を描出している。
【0046】
また、第二撮影装置157は、第二発光装置156により光が照射されている被写体を撮影して第二副画像を生成する。図8は、第一実施形態に係る鶏もも肉に第二副波長を有する光を照射して撮影された第二副画像の一例を示す図である。例えば、第二撮影装置157は、鶏もも肉Mに波長1211nmを有する光及び波長1287nmを有する光が照射され、これらの光が鶏もも肉Mの表面で反射されている際に鶏もも肉Mを撮影して図8に示した第二副画像を生成する。図8に示した第二副画像は、鶏もも肉Mを描出している。
【0047】
バス16は、プロセッサ11、主記憶装置12、通信インターフェース13、補助記憶装置14及び入出力装置15を互いにデータの送受信が可能なように接続している。
【0048】
次に、図9から図16を参照しながら第一実施形態に係る対象検出装置が実行する処理について説明する。図9は、第一実施形態に係る対象検出装置の機能的な構成の一例を示す図である。図9に示すように、対象検出装置10は、第一画像生成部101と、第一画像取得部102と、第二画像生成部103と、第二画像取得部104と、対象検出部105とを備える。
【0049】
第一画像生成部101は、第一主画像と、第一副画像とを使用して第一画像を生成する。具体的には、第一画像生成部101は、第一主画像に含まれる画素各々の輝度と、第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している画像を第一画像として生成する。
【0050】
図10は、図4に示した第一主画像と、図5に示した第一副画像とを使用して生成された第一画像の一例を示す図である。例えば、第一画像生成部101は、図4に示した第一主画像と図5に示した第一副画像とで同一の座標に位置する二つの画素について二つの画素各々が表している輝度の比率を算出する処理を全ての座標について実行し、図10に示した第一画像を生成する。図10に示した第一画像は、各画素が第一主画像の各画素の輝度を第一副画像の各画素の輝度で割った値を表しているため、鶏もも肉Mの表面の凹凸による光の当たり具合のばらつきの影響が軽減された画像となっている。
【0051】
第一画像取得部102は、第一波長群に属する光を被写体に照射して生成され、被写体を描出している第一画像を取得する。第一画像取得部102は、例えば、図10に示した第一画像を取得する。
【0052】
第二画像生成部103は、第二主画像と、第二副画像とを使用して第二画像を生成する。具体的には、第二画像生成部103は、第二主画像に含まれる画素各々の輝度と、第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している画像を第二画像として生成する。
【0053】
図11は、図7に示した第二主画像と、図8に示した第二副画像とを使用して生成された第二画像の一例を示す図である。例えば、第二画像生成部103は、図7に示した第二主画像図8に示した第二副画像とで同一の座標に位置する二つの画素について二つの画素各々が表している輝度の差分を算出する処理を全ての座標について実行し、図11に示した第二画像を生成する。図11に示した第二画像は、各画素が第二主画像の各画素の輝度から第二副画像の輝度を引いた値を表しているため、ノイズの影響が軽減された画像となっている。
【0054】
第二画像取得部104は、第一波長群と異なる第二波長群に属しており、第一画像を生成するために被写体に照射された光と異なる波長を有する光を被写体に照射して生成され、被写体を描出している第二画像を取得する。第二画像取得部104は、例えば、図11に示した第二画像を取得する。
【0055】
対象検出部105は、被写体に含まれている対象を第一画像及び第二画像を使用して検出する。具体的には、対象検出部105は、図2に示した鶏もも肉Mに含まれている膝軟骨部を図10に示した第一画像及び図11に示した第二画像を使用して検出する。また、対象検出部105は、第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、第二画像において所定の第二輝度を超える輝度で描出され、第一要素と異なる第二要素を検出して対象を検出する。
【0056】
図12は、第一実施形態に係る第一画像において所定の第一輝度を超える輝度で描出されている領域の一例を示す図である。対象検出部105は、所定の第一輝度に基づいて図12に示した領域R1、領域R21、領域R22、領域R23、領域R24、領域R31、領域R32及び領域R33を抽出する。これらの領域は、鶏もも肉Mに含まれている膝軟骨部を構成しており、上述した第一要素の一例である軟骨を描出している可能性がある領域である。また、これらの領域は、当該軟骨以外の物体であり、当該軟骨と同程度の波長を有する蛍光を出射する物体を描出している可能性も有している。或いは、これらの領域は、当該軟骨と同程度の反射率を有する物体を描出している可能性も有している。
【0057】
そして、対象検出部105は、少なくとも一つの絞り込み条件を使用することにより、上述した領域の中から第一要素を描出していない可能性が比較的高い領域を除外する。
【0058】
対象検出部105は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、面積が所定の第一下限閾値未満である領域及び面積が所定の第一上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部105は、図12に示した領域の中から面積が所定の第一下限閾値未満である領域R23及び領域R24を除外する。領域R23及び領域R24は、面積が小さいため、第一要素を描出している領域ではなく、ノイズを描出している領域である可能性が高い領域である。
【0059】
対象検出部105は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、外接する図形の面積が所定の第一下限閾値未満である領域及び外接する図形の面積が所定の第一上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部105は、図12に示した領域の中から外接円の面積が所定の第一上限閾値を超えている領域R31、領域R32及び領域R33を除外する。領域R31、領域R32及び領域R33は、いずれも細長く、外接円の半径が長い領域であり、鶏もも肉Mに含まれている筋又は筋膜を描出している領域である可能性が高い領域である。
【0060】
図13は、第一実施形態に係る第一要素を描出している可能性がある領域の一例を示す図である。対象検出部105は、上述した絞り込み条件を使用することにより、図13に示すように、膝軟骨部を構成している軟骨を描出している可能性がある領域として領域R1、領域R21及び領域R22を抽出する。
【0061】
図14は、第一実施形態に係る第二画像において所定の第二輝度を超える輝度で描出されている領域の一例を示す図である。対象検出部105は、所定の第二輝度に基づいて図14に示した領域R3、領域R40、領域R51、領域R52、領域R60、領域R71及び領域R72を抽出する。これらの領域は、鶏もも肉Mに含まれている膝軟骨部を構成しており、上述した第二要素の一例である脂肪を描出している可能性がある領域である。また、これらの領域は、当該脂肪以外の物体であり、当該脂肪と同程度の反射率を有する物体を描出している可能性も有している。或いは、これらの領域は、当該脂肪と同程度の波長を有する蛍光を出射する物体を描出している可能性も有している。
【0062】
そして、対象検出部105は、少なくとも一つの絞り込み条件を使用することにより、上述した領域の中から第二要素を描出していない可能性が比較的高い領域を除外する。
【0063】
対象検出部105は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、面積が所定の第二下限閾値未満である領域及び面積が所定の第二上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部105は、図14に示した領域の中から面積が所定の第二下限閾値未満である領域R51及び領域R52を除外する。領域R51及び領域R52は、面積が比較的小さいため、第二要素を描出している領域ではなく、ノイズを描出している領域である可能性が高い領域である。また、例えば、対象検出部105は、図14に示した領域の中から面積が所定の第二上限閾値を超えている領域R72を除外する。領域R72は、面積が比較的大きいため、第二要素を描出している領域ではなく、鶏もも肉Mに含まれている鶏皮を描出している領域である可能性が高い領域である。
【0064】
対象検出部105は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、輪郭の長さを面積で割った値が所定の第二下限閾値未満である領域及び輪郭の長さを面積で割った値が所定の第二上限閾値を超えている領域の少なくとも一方を除外する。例えば、対象検出部105は、図14に示した領域の中から輪郭の長さを面積で割った値が所定の第一上限閾値を超えている領域R60を除外する。領域R60は、第二要素を描出している領域ではなく、膝軟骨部を構成していない脂肪を描出している可能性が高い領域である。
【0065】
対象検出部105は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、被写体の輪郭からの距離が所定の閾値未満である領域を除外する。例えば、対象検出部105は、図14に示した領域のうち被写体の輪郭からの距離が所定の閾値未満である領域R71及び領域R72を除外する。領域R71及び領域R72は、鶏もも肉Mの輪郭に比較的近い位置に存在しているため、第二要素を描出している領域ではなく、鶏もも肉Mに含まれている鶏皮を描出している領域である可能性が高い領域である。
【0066】
図15は、第一実施形態に係る第二要素を描出している可能性がある領域の一例を示す図である。対象検出部105は、上述した絞り込み条件を使用することにより、図15に示すように、膝軟骨部を構成している軟骨を描出している可能性がある領域として領域R3及び領域R40を抽出する。
【0067】
次に、対象検出部105は、第一画像と第二画像とを使用してマルチチャンネル画像を生成する。図16は、第一実施形態に係るマルチチャンネル画像の一例を示す図である。例えば、対象検出部105は、図13に示した第一画像と図15に示した第二画像とを合成する合成処理を実行し、図16に示したマルチチャンネル画像を生成する。図16に示したマルチチャンネル画像は、図13にも示されている領域R1、領域R21及び領域R22と、図15にも示されている領域R3及び領域R40とを描出している。また、合成処理は、拡大処理、縮小処理、分解能整合処理、歪み除去処理及び位置合わせ処理の少なくとも一つを含んでいる。
【0068】
拡大処理は、第一画像に描出されている被写体の寸法と第二画像に描出されている被写体の寸法とを整合させる目的で第一画像及び第二画像の少なくとも一方を少なくとも一つの方向に拡大させる処理である。縮小処理は、第一画像に描出されている被写体の寸法と第二画像に描出されている被写体の寸法とを整合させる目的で第一画像及び第二画像の少なくとも一方を少なくとも一つの方向に縮小させる処理である。
【0069】
分解能整合処理は、第一画像の分解能及び第二画像の分解能の少なくとも一方を調整し、第一画像の分解能と第二画像の分解能とを整合させる処理である。歪み除去処理は、第一画像の撮影に使用されたレンズ等の光学部品の歪みに起因する第一画像の歪みを除去する処理及び第二画像の撮影に使用されたレンズ等の光学部品の歪みに起因する第二画像の歪みを除去する処理の少なくとも一方を含んでいる。位置合わせ処理は、第一画像に描出されている被写体の特定の部位に設定された基準点と、第二画像に描出されている被写体の特定の部位に設定された基準点とが整合するように、第一画像及び第二画像の少なくとも一方を調整する処理である。
【0070】
次に、対象検出部105は、第一画像において第一要素が描出されている領域各々に関し、所定の第一規則に基づいて第一点を選択する。例えば、対象検出部105は、図16に示されている領域R1、領域R21及び領域R22各々の重心の位置を算出し、これらの重心を第一点として選択する。また、対象検出部105は、第二画像において第二要素が描出されている領域各々に関し、所定の第二規則に基づいて第二点を選択する。例えば、対象検出部105は、図16に示されている領域R3及び領域R40各々の重心の位置を算出し、これらの重心を第二点として選択する。
【0071】
そして、対象検出部105は、第一点と第二点とを結ぶ線分の長さが所定の長さ未満となる第一点と第二点とを与える第一要素と第二要素との組み合わせを対象として検出する。
【0072】
例えば、図16に示した例では、領域R1の重心と領域R3の重心とを結ぶ線分の長さのみが上述した所定の長さ未満となる。したがって、図16に示した例では、対象検出部105は、領域R1に第一要素が描出されており、領域R3に第二要素が描出されており、当該第一要素と当該第二要素との組み合わせを鶏もも肉Mに含まれている膝軟骨部として検出する。
【0073】
次に、図17を参照しながら第一実施形態に係る対象検出装置が実行する処理の一例について説明する。図17は、第一実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。
【0074】
ステップS11において、第一画像生成部101は、第一主画像と、第一副画像とを使用して第一画像を生成する。
【0075】
ステップS12において、第一画像取得部102は、第一画像を取得する。
【0076】
ステップS13において、第二画像生成部103は、第二主画像と、第二副画像とを使用して第二画像を生成する。
【0077】
ステップS14において、第二画像取得部104は、第二画像を取得する。
【0078】
ステップS15において、対象検出部105は、被写体に含まれている対象を第一画像及び第二画像を使用して検出する。
【0079】
以上、第一実施形態に係る対象検出装置及び対象検出プログラムについて説明した。対象検出装置10は、第一画像取得部102と、第二画像取得部104と、対象検出部105とを備える。第一画像取得部102は、第一波長群に属する光を被写体に照射して生成され、被写体を描出している第一画像を取得する。第二画像取得部104は、第一波長群と異なる第二波長群に属しており、第一画像を生成するために被写体に照射された光と異なる波長を有する光を被写体に照射して生成され、被写体を描出している第二画像を取得する。対象検出部105は、被写体に含まれている対象を第一画像及び第二画像を使用して検出する。
【0080】
つまり、対象検出装置10は、互いに異なる波長を有する複数の光を使用して被写体に含まれる対象を検出する。したがって、対象検出装置10は、被写体に含まれている対象が複数の要素で構成されており、各要素の反射スペクトルが異なる場合であっても、被写体に含まれている対象を精度良く検出することができる。
【0081】
また、対象検出装置10は、第一画像において所定の第一輝度を超える輝度で描出される第一要素を検出し、第二画像において所定の第二輝度を超える輝度で描出され、第一要素と異なる第二要素を検出して対象を検出する。
【0082】
これにより、対象検出装置10は、第一要素と、第二要素とが対象に含まれている場合、当該対象を更に精度良く検出することができる。なお、ここで言う第一要素は、第一波長群に属する波長を有し、一定以上の強度を有する光を出射する要素であってもよいし、第一波長群に属する波長を有する光の反射率が比較的大きな要素であってもよい。また、ここで言う第二要素は、第二波長群に属する波長を有し、一定以上の強度を有する光を出射する要素であってもよいし、第二波長群に属する波長を有する光の反射率が比較的大きな要素であってもよい。
【0083】
また、対象検出装置10は、第一要素に照射された場合における反射率が所定の第一反射率を超えている波長を有する光を被写体に照射して生成された第一画像を取得する。これにより、対象検出装置10は、対象に含まれている第一要素が更に鮮明に描出されている第一画像を使用して第一要素及び第二要素を含んでいる対象を検出することができる。
【0084】
また、対象検出装置10は、第二要素に照射された場合における反射率が所定の第二反射率を超えている波長を有する光を被写体に照射して生成された第二画像を取得する。これにより、対象検出装置10は、対象に含まれている第二要素が更に鮮明に描出されている第二画像を使用して第一要素及び第二要素を含んでいる対象を検出することができる。
【0085】
また、対象検出装置10は、第一画像において第一要素が描出されている領域各々に関して所定の第一規則に基づいて第一点を選択する。同様に、対象検出装置10は、第二画像において第二要素が描出されている領域各々に関して所定の第二規則に基づいて第二点を選択する。そして、対象検出装置10は、第一点と第二点とを結ぶ線分の長さが所定の長さ未満となる第一点と第二点とを与える第一要素と第二要素との組み合わせを対象として検出する。
【0086】
これにより、対象検出装置10は、第一要素が描出されている可能性がある領域及び第二要素が描出されている可能性がある領域の少なくとも一方が複数存在していても、対象に第一要素及び第二要素が含まれていることが分かっている場合、対象を更に確実に検出することができる。
【0087】
また、対象検出装置10は、第一主画像に含まれる画素各々の輝度と、第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第一画像を取得する。これにより、対象検出装置10は、対象に含まれている第一要素を更に鮮明に描出している第一画像を使用して被写体に含まれている対象を検出することができる。
【0088】
また、対象検出装置10は、第二主画像に含まれる画素各々の輝度と、第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第二画像を取得する。これにより、対象検出装置10は、対象に含まれている第二要素を更に鮮明に描出している第二画像を使用して被写体に含まれている対象を検出することができる。
【0089】
なお、第一実施形態では、対象検出部105が第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、外接する図形の面積が所定の第一下限閾値未満である領域及び外接する図形の面積が所定の第一上限閾値を超えている領域の少なくとも一方を除外する場合を例に挙げたが、これに限定されない。対象検出部105は、第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、外接する図形の面積が所定の第二下限閾値未満である領域及び外接する図形の面積が所定の第二上限閾値を超えている領域の少なくとも一方を除外してもよい。
【0090】
また、第一実施形態では、対象検出部105が第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、輪郭の長さを面積で割った値が所定の第二下限閾値未満である領域及び輪郭の長さを面積で割った値が所定の第二上限閾値を超えている領域の少なくとも一方を除外する場合を例に挙げたが、これに限定されない。対象検出部105は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、輪郭の長さを面積で割った値が所定の第一下限閾値未満である領域及び輪郭の長さを面積で割った値が所定の第一上限閾値を超えている領域の少なくとも一方を除外してもよい。
【0091】
また、第一実施形態では、対象検出部105が第二画像において所定の第二輝度を超える輝度で描出されている領域のうち、被写体の輪郭からの距離が所定の閾値未満である領域を除外する場合を例に挙げたが、これに限定されない。対象検出部105は、第一画像において所定の第一輝度を超える輝度で描出されている領域のうち、被写体の輪郭からの距離が所定の閾値未満である領域を除外してもよい。
【0092】
[第二実施形態]
図18から図21を参照しながら第二実施形態に係る機械学習実行装置、対象検出装置、機械学習実行プログラム及び対象検出プログラムについて説明する。第二実施形態の説明では、鶏もも肉に含まれている膝軟骨部が検出される場合を例に挙げて説明する。また、第二実施形態に係る機械学習実行装置、対象検出装置、機械学習実行プログラム及び対象検出プログラムは、第一実施形態に係る対象検出装置及び対象検出プログラムと異なり、機械学習を使用することにより、被写体に含まれている対象を検出する。そこで、第二実施形態の説明では、第一実施形態と異なる部分を中心に説明し、第一実施形態と重複する内容の説明を適宜省略する。
【0093】
まず、図18を参照しながら第二実施形態に係る機械学習実行装置を構成しているハードウェア及び機械学習実行装置に付帯しているハードウェアについて説明する。
【0094】
図18は、第二実施形態に係る機械学習実行装置のハードウェア構成の一例を示す図である。図18に示すように、機械学習実行装置30は、プロセッサ31と、主記憶装置32と、通信インターフェース33と、補助記憶装置34と、入出力装置35と、バス36とを備える。
【0095】
プロセッサ31は、例えば、CPUであり、機械学習実行プログラムを読み出して実行し、機械学習実行装置30が有する各機能を実現させる。また、プロセッサ31は、機械学習実行プログラム以外のプログラムを読み出して実行し、機械学習実行装置30が有する各機能を実現させる上で必要な機能を実現させてもよい。
【0096】
主記憶装置32は、例えば、RAMであり、プロセッサ31により読み出されて実行される機械学習実行プログラムその他のプログラムを予め記憶している。
【0097】
通信インターフェース33は、ネットワークNWを介して機械学習装置400その他の機器と通信を実行するためのインターフェース回路である。ネットワークNWは、例えば、WAN(Wide Area Network)、LAN(Local Area Network)、インターネット、イントラネットである。
【0098】
補助記憶装置34は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ROMである。
【0099】
入出力装置35は、例えば、入出力ポートである。入出力装置35は、例えば、図18に示したマウス351、キーボード352及びディスプレイ353が接続される。マウス351及びキーボード352は、例えば、機械学習実行装置30を操作するために必要なデータを入力する作業に使用される。ディスプレイ353は、例えば、液晶ディスプレイである。ディスプレイ353は、例えば、機械学習実行装置30のグラフィカルユーザインターフェースを表示する。
【0100】
次に、図19及び図20を参照しながら第二実施形態に係る機械学習実行装置が実行する処理について説明する。図19は、第二実施形態に係る機械学習実行装置の機能的な構成の一例を示す図である。図19に示すように、機械学習実行装置30は、教師データ取得部301と、機械学習実行部302とを備える。
【0101】
教師データ取得部301は、第一学習用画像と、第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する。教師データ取得部301は、例えば、通信インターフェース33を介して教師データを取得する。
【0102】
第一学習用画像は、第一波長群に属する光を学習用被写体に照射して生成され、学習用被写体を描出している画像である。第二学習用画像は、第二波長群に属する光を学習用被写体に照射して生成され、学習用被写体を描出している画像である。また、ここで言う学習用被写体は、例えば、鶏もも肉である。
【0103】
図20は、第二実施形態に係る学習用マルチチャンネル画像の一例を示す図である。学習用マルチチャンネル画像は、第一学習用画像及び第二学習用画像に合成処理を施すことにより生成された画像である。図20において横線ハッチングで示されている領域は、第一要素が描出されている可能性が比較的高い領域である。一方、図20において縦線ハッチングで示されている領域は、第二要素が描出されている可能性が比較的高い領域である。
【0104】
また、図20に示した矩形Lは、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の大きさ及び位置を示している。矩形Lの大きさ及び位置は、例えば、図20に示した学習用マルチチャンネル画像にオブジェクト認識を適用することにより決定されてもよい。或いは、矩形Lの大きさ及び位置は、図20に示した学習用マルチチャンネル画像を参照しているユーザ等がマウス351、キーボード352等を使用して入力したデータにより決定されてもよい。
【0105】
機械学習実行部302は、教師データを機械学習装置400に実装されている機械学習モデル400Mに入力し、機械学習モデル400Mを学習させる。機械学習モデル400Mは、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)である。
【0106】
次に、図21を参照しながら第二実施形態に係る機械学習実行装置が実行する処理の一例について説明する。図21は、第二実施形態に係る機械学習実行装置が実行する処理の一例を示すフローチャートである。
【0107】
ステップS31において、教師データ取得部301は、学習用マルチチャンネル画像を問題とし、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する。
【0108】
ステップS32において、機械学習実行部302は、教師データを機械学習モデル400Mに入力し、機械学習モデル400Mを学習させる。
【0109】
次に、図22を参照しながら第二実施形態に係る対象検出装置を構成しているハードウェア及び対象検出装置に付帯しているハードウェアについて説明する。
【0110】
図22は、第二実施形態に係る対象検出装置のハードウェア構成の一例を示す図である。図22に示すように、対象検出装置50は、プロセッサ51と、主記憶装置52と、通信インターフェース53と、補助記憶装置54と、入出力装置55と、バス56とを備える。
【0111】
プロセッサ51は、例えば、CPUであり、対象検出プログラムを読み出して実行し、対象検出装置50が有する各機能を実現させる。また、プロセッサ51は、対象検出プログラム以外のプログラムを読み出して実行し、対象検出装置50が有する各機能を実現させる上で必要な機能を実現させてもよい。
【0112】
主記憶装置52は、例えば、RAMであり、プロセッサ51により読み出されて実行される対象検出プログラムその他のプログラムを予め記憶している。
【0113】
通信インターフェース53は、ネットワークNWを介して機械学習装置400その他の機器と通信を実行するためのインターフェース回路である。ネットワークNWは、例えば、WAN、LAN、インターネット、イントラネットである。
【0114】
補助記憶装置54は、例えば、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリ、ROMである。
【0115】
入出力装置55は、例えば、入出力ポートである。入出力装置55は、例えば、図22に示したマウス551、ディスプレイ552及びキーボード553が接続される。マウス551及びキーボード553は、例えば、対象検出装置50を操作するために必要なデータを入力する作業に使用される。ディスプレイ552は、例えば、液晶ディスプレイである。ディスプレイ552は、例えば、対象検出装置50のグラフィカルユーザインターフェースを表示する。
【0116】
次に、図23を参照しながら第二実施形態に係る対象検出装置が実行する処理について説明する。図23は、第二実施形態に係る対象検出装置の機能的な構成の一例を示す図である。図23に示すように、対象検出装置50は、第一推論用画像取得部501と、第二推論用画像取得部502と、推論用画像生成部503と、推論用対象検出部504とを備える。
【0117】
第一推論用画像取得部501は、第一波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第一推論用画像を取得する。第二推論用画像取得部502は、第二波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第二推論用画像を取得する。また、ここで言う推論用被写体は、例えば、鶏もも肉である。
【0118】
推論用画像生成部503は、第一推論用画像と、第二推論用画像とを使用して推論用マルチチャンネル画像を生成する。例えば、推論用画像生成部503は、第一推論用画像と、第二推論用画像とに上述した合成処理を施して推論用マルチチャンネル画像を生成する。
【0119】
推論用対象検出部504は、機械学習実行装置30により学習した機械学習モデル400Mに推論用マルチチャンネル画像を入力し、推論用被写体に含まれている推論用対象を機械学習モデルに検出させる。ここで言う推論用対象は、推論用被写体が鶏もも肉である場合、鶏もも肉に含まれている膝軟骨部である。
【0120】
次に、図24を参照しながら第二実施形態に係る対象検出装置が実行する処理の一例について説明する。図24は、第二実施形態に係る対象検出装置が実行する処理の一例を示すフローチャートである。
【0121】
ステップS51において、第一推論用画像取得部501は、第一推論用画像を取得する。
【0122】
ステップS52において、第二推論用画像取得部502は、第二推論用画像を取得する。
【0123】
ステップS53において、推論用画像生成部503は、第一推論用画像と、第二推論用画像とを使用して推論用マルチチャンネル画像を生成する。
【0124】
ステップS54において、推論用対象検出部504は、機械学習モデルに推論用マルチチャンネル画像を入力し、推論用被写体に含まれている推論用対象を機械学習モデルに検出させる。
【0125】
以上、第二実施形態に係る機械学習実行装置、対象検出装置、機械学習実行プログラム及び対象検出プログラムについて説明した。
【0126】
機械学習実行装置30は、教師データ取得部301と、機械学習実行部302とを備える。教師データ取得部301は、第一学習用画像と、第二学習用画像とを使用して生成された学習用マルチチャンネル画像を問題とし、学習用マルチチャンネル画像に描出されている学習用被写体に含まれている学習用対象が描出されている領域の位置を答えとする教師データを取得する。機械学習実行部302は、教師データを機械学習モデル400Mに入力し、機械学習モデル400Mを学習させる。
【0127】
これにより、機械学習実行装置30は、第一実施形態に係る対象検出装置10と同じ処理を実行する機械学習モデル400Mを生成することができる。
【0128】
対象検出装置50は、第一推論用画像取得部501と、第二推論用画像取得部502と、推論用画像生成部503と、推論用対象検出部504とを備える。第一推論用画像取得部501は、第一波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第一推論用画像を取得する。第二推論用画像取得部502は、第二波長群に属する光を推論用被写体に照射して生成され、推論用被写体を描出している第二推論用画像を取得する。推論用画像生成部503は、第一推論用画像と、第二推論用画像とを使用して推論用マルチチャンネル画像を生成する。推論用対象検出部504は、機械学習実行装置30により学習した機械学習モデル400Mに推論用マルチチャンネル画像を入力し、推論用被写体に含まれている推論用対象を機械学習モデルに検出させる。
【0129】
これにより、対象検出装置50は、第一実施形態に係る対象検出装置10と同じ処理を実行する機械学習モデル400Mを使用して推論用マルチチャンネル画像に描出されている推論用被写体に含まれている推論用対象を検出することができる。
【0130】
なお、上述した第一実施形態では、図1に示した対象検出装置10が対象検出プログラムを読み出して実行するプロセッサ11により実現される場合を例に挙げて説明したが、これに限定されない。図1に示した対象検出装置10の少なくとも一部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等の回路部(circuitry)を含むハードウェアにより実現されてもよい。或いは、図1に示した対象検出装置10の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
【0131】
同様に、上述した第二実施形態では、図18に示した機械学習実行装置30が機械学習実行プログラムを読み出して実行するプロセッサ31により実現される場合を例に挙げて説明したが、これに限定されない。図18に示した機械学習実行装置30の少なくとも一部は、LSI、ASIC、FPGA、GPU等の回路部を含むハードウェアにより実現されてもよい。或いは、図18に示した機械学習実行装置30の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
【0132】
また、上述した第二実施形態では、図22に示した対象検出装置50が対象検出プログラムを読み出して実行するプロセッサ51により実現される場合を例に挙げて説明したが、これに限定されない。図22に示した対象検出装置50の少なくとも一部は、LSI、ASIC、FPGA、GPU等の回路部を含むハードウェアにより実現されてもよい。或いは、図22に示した対象検出装置50の少なくとも一部は、ソフトウェアとハードウェアの協働により実現されてもよい。また、これらのハードウェアは、一つに統合されていてもよいし、複数に分かれていてもよい。
【0133】
上述した第一実施形態では、第一発光装置154がLED等を含んでいる場合を例に挙げたが、これに限定されない。第一発光装置154は、光源と、当該光源から出射される光に含まれる波長成分の一部を減衰させる光学フィルタとを備えていてもよい。また、上述した実施形態では、第二発光装置156がLED等を含んでいる場合を例に挙げたが、これに限定されない。第二発光装置156は、光源と、当該光源から出射される光に含まれる波長成分の一部を減衰させる光学フィルタとを備えていてもよい。なお、光源としては、例えば、キセノンランプ、重水素ランプが挙げられる。
【0134】
また、第一画像取得部102は、第一主画像と第一副画像とを使用して生成された第一画像以外の画像を第一画像として取得してもよい。すなわち、第一画像取得部102は、必ずしも、第一主画像に含まれる画素各々の輝度と、第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第一画像を取得する必要は無い。例えば、第一画像取得部102は、第一波長群に属する波長を有する光を照射して撮影された画像を第一画像として取得してもよい。
【0135】
また、第一画像取得部102は、上述した第一主画像以外の第一主画像に含まれる画素各々の輝度と、上述した第一副画像以外の第一副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第一画像を取得してもよい。ここで、上述した第一主画像以外の第一主画像は、例えば、第一波長群に属する第一主波長を有し、被写体に照射され、被写体により反射された光を検出して撮影され、被写体を描出している第一主画像である。また、ここで、上述した第一副画像以外の第一副画像は、例えば、第一波長群に属する第一副波長を有し、被写体に照射され、被写体により反射された光を検出して撮影され、被写体を描出している第一副画像である。
【0136】
また、第二画像取得部104は、第二主画像と第二副画像とを使用して生成された第二画像以外の画像を第二画像として取得してもよい。すなわち、第二画像取得部104は、必ずしも、第二主画像に含まれる画素各々の輝度と、第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第二画像を取得する必要は無い。例えば、第二画像取得部104は、第二波長群に属する波長を有する光を照射して撮影された画像を第二画像として取得してもよい。
【0137】
また、第二画像取得部104は、上述した第二主画像以外の第二主画像に含まれる画素各々の輝度と、上述した第二副画像以外の第二副画像に含まれる画素各々の輝度とに基づいて算出された値を各画素により表している第二画像を取得してもよい。ここで、上述した第二主画像以外の第二主画像は、例えば、第二波長群に属する光を被写体に照射することにより被写体から出射され、第二主波長を有する光を検出して撮影され、被写体を描出している第二主画像である。また、ここで、上述した第二画像以外の第二画像は、例えば、第二波長群に属する光を被写体に照射することにより被写体から出射され、第二副波長を有する光を検出して撮影され、被写体を描出している第二副画像である。
【0138】
また、第一画像取得部102は、必ずしも、被写体により反射された光を受光素子で検出することにより生成された第一画像を取得する必要は無い。例えば、第一画像取得部102は、被写体を透過した光を受光素子で検出することにより生成された第一画像を取得してもよい。
【0139】
また、第二画像取得部104は、必ずしも、被写体により反射された光を受光素子で検出することにより生成された第一画像を取得する必要は無い。例えば、第二画像取得部104は、被写体を透過した光を受光素子で検出することにより生成された第二画像を取得してもよい。
【0140】
また、上述した第一実施形態及び第二実施形態では、被写体が鶏もも肉であり、検出される対象が膝軟骨部である場合を例に挙げたが、これに限定されない。
【0141】
例えば、被写体が食品等の包装であり、検出される対象が包装に印刷されている文字、絵柄等であってもよい。この場合、第一波長群及び第二波長群は、いずれも可視光領域に属する波長を含んでいることが好ましい。
【0142】
或いは、被写体が食品であり、検出される対象が食品に混入した毛髪であってもよい。この場合、毛髪が紫外領域に属する光を受けると蛍光発光し、赤外領域に特徴的な吸収ピークを有するため、第一波長群又は第二波長群が紫外領域又は赤外領域に属する波長を含んでいることが好ましい。
【0143】
或いは、被写体が食品であり、検出される対象が他の部分と異なる凍結状態を有する部分であってもよい。この場合、凍結状態の違いにより赤外領域における吸収ピークを与える波長が変化するため、第一波長群及び第二波長群は、いずれも赤外領域に属する波長を含んでいることが好ましい。
【0144】
或いは、被写体がハンバーグであり、検出される対象がハンバーグの表面又は裏面であってもよい。この場合、焦げ目が付いている部分と焦げ目が付いていない部分とで吸光度に差が生じるため、第一波長群又は第二波長群は、一方が近赤外領域に属する波長1200nmを含んでおり、他方が可視光領域に属する波長600nmを含んでいることが好ましい。
【0145】
或いは、被写体が餃子であり、検出される対象が餃子の餡であってもよい。この場合、餃子の餡による吸収ピークが近赤外領域に存在するため、近赤外領域に属する波長に属する波長が第一波長群又は第二波長群に含まれていることが好ましい。また、この場合、餃子の餡による吸収ピークが可視光領域に存在するため、可視光領域に属する波長に属する波長が第一波長群又は第二波長群に含まれていることが好ましい。
【0146】
以上、本発明の実施形態について図面を参照しながら詳述した。ただし、本発明の実施形態の具体的な構成は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内において種々の組み合わせ、変形、置換及び設計変更の少なくとも一つを上述した実施形態に加えたものであってもよい。
【0147】
また、上述した実施形態で説明した本発明の効果は、例として示した効果である。したがって、本発明は、上述した効果以外にも上述した実施形態の記載から当業者が認識し得る他の効果も奏し得る。
【符号の説明】
【0148】
10…対象検出装置、11…プロセッサ、12…主記憶装置、13…通信インターフェース、14…補助記憶装置、15…入出力装置、16…バス、101…第一画像生成部、102…第一画像取得部、103…第二画像生成部、104…第二画像取得部、105…対象検出部、151…マウス、152…キーボード、153…ディスプレイ、154…第一発光装置、155…第一撮影装置、156…第二発光装置、157…第二撮影装置、20…食品加工ライン、200…制御装置、201…ベルトコンベア、202,203…光電センサ、M…鶏もも肉、30…機械学習実行装置、31…プロセッサ、32…主記憶装置、33…通信インターフェース、34…補助記憶装置、35…入出力装置、36…バス、301…教師データ取得部、302…機械学習実行部、351…マウス、352…キーボード、353…ディスプレイ、400…機械学習装置、400M…機械学習モデル、50…対象検出装置、51…プロセッサ、52…主記憶装置、53…通信インターフェース、54…補助記憶装置、55…入出力装置、56…バス、501…第一推論用画像取得部、502…第二推論用画像取得部、503…推論用画像生成部、504…推論用対象検出部、551…マウス、552…ディスプレイ、553…キーボード
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24