特開 2024-67447 プログラム、制御装置、情報処理方法、学習モデルの生成方法、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024067447

(43)【公開日】2024-05-17

(54)【発明の名称】プログラム、制御装置、情報処理方法、学習モデルの生成方法、およびシステム

(51)【国際特許分類】

   G01N 21/892 20060101AFI20240510BHJP

   G06T 7/00 20170101ALI20240510BHJP

   B65B 57/10 20060101ALI20240510BHJP

   G01N 21/88 20060101ALI20240510BHJP

【ＦＩ】

G01N21/892 Z

G06T7/00 350B

B65B57/10 C

G01N21/88 J

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022177529

(22)【出願日】2022-11-04

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和 ４年 １月２４日に、ソホビービー株式会社のホームページにて公開 ｈｔｔｐｓ：／／ｗｗｗ．ｓｏｈｏｂｂ．ｊｐ／ｎｅｗｓ／ｍｏｎｏｄｕｋｕｒｉ＿ｓｕｂｓｉｄｙ／ 令和 ４年 １月２４日に、ソホビービー株式会社のメールマガジンにて公開 令和 ４年 ７月 ５日に、ソホビービー株式会社のメールマガジンにて公開 令和 ４年１０月２６日に、第３回 ＡＩ・人工知能ＥＸＰＯ〔秋〕にて公開 令和 ４年１０月２１日に、ソホビービー株式会社のホームページにて公開 ｈｔｔｐｓ：／／ｗｗｗ．ｓｏｈｏｂｂ．ｊｐ／ｈａｍｐａｎａｉ－ａｉ／

(71)【出願人】

【識別番号】521206648

【氏名又は名称】ソホビービー株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】沈 天毅

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA28

2G051AB15

2G051EB05

5L096BA03

5L096DA02

5L096FA06

5L096FA08

5L096FA09

5L096FA17

5L096GA34

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】真空パック製品の外観検査を自動的におこなうプログラム等を提供すること。
【解決手段】プログラムは、搬送装置により搬送される真空パックハムの真空パックハム画像を取得し、真空パックハム画像を入力した場合に、真空パック内のハムおよび真空パックの適否に関する適否情報を出力するよう学習された学習モデルに、取得した真空パックハム画像を入力して、適否情報を出力する処理をコンピュータに実行させる。好適には、プログラムは、近赤外線カメラまたは可視光カメラにより撮像した前記真空パックハム画像を取得する処理をコンピュータに実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

搬送装置により搬送される真空パックハムの真空パックハム画像を取得し、
真空パックハム画像を入力した場合に、真空パック内のハムおよび真空パックの適否に関する適否情報を出力するよう学習された学習モデルに、取得した真空パックハム画像を入力して、適否情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

近赤外線カメラまたは可視光カメラにより撮像した前記真空パックハム画像を取得する
請求項１に記載のプログラム。

【請求項3】

前記真空パックハムは複数のスライスハムが積層されたスライスハム群であり、
前記適否情報は、スライスハムの積層ずれの有無、および、最上層のスライスハムのめくれの有無を含む
請求項１に記載のプログラム。

【請求項4】

前記適否情報は、真空パック内への空気の混入の有無を含む
請求項１に記載のプログラム。

【請求項5】

前記適否情報は、スライスハムの穴の有無、異物の付着の有無、スライスハムの割れの有無、スライスハムの噛みこみの有無、およびスライスハムが脂過多であるか否かを含む
請求項１に記載のプログラム。

【請求項6】

スライスハムの積層ずれがあるか、または、最上層のスライスハムにめくれがある場合に、積層ずれあり、または、最上層のスライスハムにめくれありを示すラベルと真空パックハム画像とを対応付けて記憶する
請求項１から請求項５のいずれか一項に記載のプログラム。

【請求項7】

制御部を備える制御装置において、
前記制御部は、
搬送装置により搬送される真空パックハムの真空パックハム画像を取得し、
真空パックハム画像を入力した場合に、真空パック内のハムおよび真空パックの適否に関する適否情報を出力するよう学習された学習モデルに、取得した真空パックハム画像を入力して、適否情報を出力する
制御装置。

【請求項8】

搬送装置により搬送される真空パックハムの真空パックハム画像を取得し、
真空パックハム画像を入力した場合に、真空パック内のハムおよび真空パックの適否に関する適否情報を出力するよう学習された学習モデルに、取得した真空パックハム画像を入力して、適否情報を出力する
情報処理方法。

【請求項9】

複数のスライスハムが積層されたスライスハム群を真空パックした第１真空パックハム画像および第１ラベルと、複数のスライスハムの最上層のスライスハムが下層のスライスハムからずれた状態で積層されたスライスハム群を真空パックした第２真空パックハム画像および第２ラベルと、複数のスライスハムの最上層のスライスハムが、下層のスライスハムが視認できるようめくれた状態で積層されたスライスハム群を真空パックした第３真空パックハム画像および第３ラベルとを含む訓練データを取得し、
取得した訓練データに基づき、スライスハム群を真空パックした真空パック画像が入力された場合に、第１ラベル、第２ラベル、または第３ラベルに関する情報を出力する学習モデルを生成する
学習モデルの生成方法。

【請求項10】

前記訓練データは、複数のスライスハムを積層した真空パックへの空気の混入がある第４真空パックハム画像および第４ラベルを含む
請求項９に記載の学習モデルの生成方法。

【請求項11】

真空パックハムを搬送する搬送装置と、
搬送装置により搬送される真空パックハムの真空パックハム画像を撮像する撮像装置と、
前記撮像装置により撮像された真空パックハム画像を取得し、真空パックハム画像を入力した場合に、真空パック内のハム及び真空パックの適否に関する適否情報を出力するよう学習された学習モデルに、取得した真空パックハム画像を入力して、適否情報を出力する制御装置と、
前記撮像装置より下流に設けられ、前記制御装置により否と判定された真空パックハムを前記搬送装置から排除する排除機構と
を備えるシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、制御装置、情報処理方法、学習モデルの生成方法、およびシステムに関する。

【背景技術】

【0002】

食品工場において、食品の衛生管理または品質管理のために外観検査が実施されている。外観検査は現場の作業員によって実施されるが、近年、ヒューマンエラーの防止および人手不足の解消等を理由に自動化が進んでいる。たとえば、一定の検出精度を維持しつつ食品検査を自動化する技術が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０４２９５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示された技術では、真空パック製品の外観検査を自動化することは困難である。

【0005】

一つの側面では、真空パック製品の外観検査を自動的におこなうプログラム等を提供する。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、搬送装置により搬送される真空パックハムの真空パックハム画像を取得し、真空パックハム画像を入力した場合に、真空パック内のハムおよび真空パックの適否に関する適否情報を出力するよう学習された学習モデルに、取得した真空パックハム画像を入力して、適否情報を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、真空パック製品の外観検査を自動的におこなうプログラム等を提供できる。

【図面の簡単な説明】

【0008】

【図1】検査システムの構成例を説明する模式図である。

【図2】排除板の第１位置および第２位置を説明する模式図である。

【図3】制御装置の構成例を示すブロック図である。

【図4】撮像装置の構成例を示すブロック図である。

【図5】適否情報ＤＢのデータレイアウトを示す説明図である。

【図6】真空パックハムの良品および不良品の一例である。

【図7】学習モデルの構成例を示す模式図である。

【図8】学習モデルの生成処理手順を示すフローチャートである。

【図9】表示画面の一例である。

【図10】制御装置が実行するプログラムの処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

真空パック製品の外観検査の自動化を実現するには、解決しなければならない真空パック製品特有の課題がいくつかある。第１に、フィルム部分の光の反射により、フィルムの傷、空気漏れ、および中身の傷等を検知しにくい。第２に、ハムまたはウィンナー等の肉加工食品を検査する場合、食品の傷みの指標となる油の色を検知しにくい。

【0010】

そこで、外観検査の対象物画像をＡＩ（Artificial Intelligence）に入力し、良品または不良品として判定させる検査システムを用いる。

【0011】

以下、検査システムを真空パックハムの外観検査に適用する場合を説明する。なお、真空パックハムは外観検査の対象物の一例である。外観検査の対象物は、サラダチキン、豆腐、魚、または肉等の食品であってもよい。

【0012】

図１は、検査システム１の構成例を説明する模式図である。検査システム１は、検査装置２および制御装置１０を含む。検査装置２は、制御装置１０によって制御されている。なお、検査装置２と制御装置１０とが一体のハードウェアに構成されてもよい。

【0013】

[検査装置２の構造]
検査装置２は、撮像装置２０、搬送装置３０、排除機構４０、グラビティコンベア５０、照明６０、近接センサ７０、および足場を備える。撮像装置２０、搬送装置３０、排除機構４０、グラビティコンベア５０、照明６０、および近接センサ７０は、図中に示す足場の上に固定されている。制御装置１０は、撮像装置２０、排除機構４０、および近接センサ７０と、有線または無線により接続されている。

【0014】

搬送装置３０は、検査対象物を上流から下流へ搬送する搬送コンベアである。図中において、検査対象物が搬送される方向を方向Ｄで示す。搬送装置３０の終端には、図示しない良品箱が設置されている。なお、搬送装置３０の終端には、たとえば梱包装置が接続されていてもよい。

【0015】

グラビティコンベア５０は、搬送装置３０の途中から分岐するように配置されているコンベアである。グラビティコンベア５０の終端には、図示しない不良品箱が設置されている。グラビティコンベア５０は所定の傾斜角度（たとえば５度）がついており、搬送装置３０の長手方向に対して略垂直に配置されている。グラビティコンベア５０は、搬送装置３０側から不良品箱側に向けて下がるように傾斜している。

【0016】

撮像装置２０は、たとえば近赤外線カメラまたは可視光カメラ等であり、搬送装置３０の上部に一または二以上設置される。撮像装置２０は、グラビティコンベア５０が搬送装置３０から分岐する場所よりも上流側に配置されている。

【0017】

撮像装置２０の撮像領域（視野）は検査対象物を撮像可能な領域であり、図中に撮像領域Ｒとして破線で示されている。近赤外線カメラの撮影波長は７００ｎｍから２５００ｎｍであり、可視光カメラの撮影波長は３６０ｎｍから８３０ｎｍである。なお、撮像装置２０の機能は、制御装置１０または排除機構４０に内蔵されていてもよい。

【0018】

照明６０は、たとえばＬＥＤ（Light-emitting Diode）ライトであり、撮像領域Ｒに対して照明光を照射する。照明６０は、撮像装置２０と足場とを互いに固定するアームに取り付けられてもよい。

【0019】

近接センサ７０は、超音波または赤外線等により、自身付近の物体を検出するセンサである。近接センサ７０は撮像装置２０よりも上流側に配置されており、検査対象物の通過を検知できる位置に設けられている。なお、近接センサ７０の代わりに、光電センサを利用してもよい。

【0020】

図２は、排除板４１の第１位置および第２位置を説明する模式図である。

【0021】

排除機構４０は撮像装置２０より下流に設けられ、搬送装置３０をはさんでグラビティコンベア５０に対向して配置されている。排除機構４０は、排除板４１、ヒンジ４２、およびエアシリンダ４３を備える。

【0022】

排除板４１は長方形板状であり、排除板４１の表面には所定の緩衝材が付してある。排除板４１の一方の端部はヒンジ４２を介して台座に固定され、排除板４１がヒンジ４２を基点として時計回りに回動可能に構成される。排除板４１の裏面中央には、エアシリンダ４３の先端が接続されている。エアシリンダ４３の基部は、台座に固定されている。エアシリンダ４３は、制御装置１０の制御によって、伸縮可能である。

【0023】

検査対象物が搬送される際の最初の状態は、排除板４１が第１位置にある。第１位置は、エアシリンダ４３が縮んだ状態で、排除板４１が搬送装置３０の長手方向に対して平行な位置である。排除板４１は、緩衝材を搬送装置３０に向けた状態で、搬送装置３０の外側に配置されている。

【0024】

不良品と判定された検査対象物が排除機構４０付近を通過する際、エアシリンダ４３が伸びて、排除板４１を第１位置から第２位置まで回動させる。第２位置は、エアシリンダ４３が伸びた状態で、排除板４１がヒンジ４２を基点に所定の角度（たとえば４５°）回動した位置である。第２位置の状態において、排除板４１は、搬送コンベアとは接触せず、検査対象物とは接触するような高さにある。

【0025】

[検査対象物の概要]
以下の説明では、検査対象物が真空パックハムである場合を例にして説明する。

【0026】

真空パックハム１００は、複数のスライスハム（たとえば３枚）が積層されたスライスハム群である。不良品として排除されるべき真空パックハム１００には、スライスハムの積層ずれがある、最上層のスライスハムにめくれがある、真空パック内に空気が混入している、スライスハムに穴があいている、異物（たとえば髪の毛またはほこり）が付着している、スライスハムが割れている、スライスハムに噛みこみがある、またはスライスハムが脂過多である等の異常な状態が含まれる。真空パックハム１００の良品および不良品の具体例は、図６にて後述する。

【0027】

[検査装置２の検査手順]
複数の真空パックハム１００が搬送装置３０上を連なって搬送される。照明６０は、撮像領域Ｒに到達した真空パックハム１００を照らす。近接センサ７０は、真空パックハム１００を検知した場合、制御装置１０に通知する。制御装置１０は、真空パックハム１００が撮像領域Ｒに到達するタイミングで撮像装置２０に画像を撮像させる。以上により、真空パックハム画像が撮像される。

【0028】

撮像装置２０は、真空パックハム画像を制御装置１０に送信する。制御装置１０は、取得した真空パックハム画像を後述する学習モデル１６１に入力する。制御装置１０は学習モデル１６１から出力される適否情報を取得し、真空パックハム１００が良品であるか、不良品であるかを判定する。

【0029】

排除機構４０は、制御装置１０の判定結果に基づいて真空パックハム１００の良品と不良品とを仕分ける。制御装置１０は、真空パックハム１００を不良品であると判定した場合、排除機構４０に排除指令を送信する。排除機構４０はエアシリンダ４３を伸ばし、排除板４１を第１位置から第２位置に回動させる。これにより、不良品の真空パックハム１００の搬送方向が変わり、グラビティコンベア５０側に不良品の真空パックハム１００が移される。グラビティコンベア５０は、不良品の真空パックハム１００を不良品箱に搬送する。

【0030】

制御装置１０は、真空パックハム１００を良品であると判定した場合、排除機構４０に排除指令を送信しない。排除機構４０は真空パックハム１００の進路をふさがず、良品と判定された真空パックハム１００を搬送方向のまま通過させる。これにより、良品の真空パックハム１００は良品箱側に流れる。

【0031】

検査システム１は、上述した排除方法のほか、プッシャー選別機、シュート選別機、エアージェット選別機、落下式選別機等の、公知の排除方法により不良品を排除してもよい。

【0032】

図３は、制御装置１０の構成例を示すブロック図である。制御装置１０は所定の訓練データを学習する機械学習をおこない、後述する学習モデル１６１を生成する。

【0033】

本実施の形態では、制御装置１０が学習モデル１６１を生成する場合を説明するが、これに限定されない。学習モデル１６１は、制御装置１０とは異なる他の学習装置を用いて生成されてもよく、その場合、他の学習装置で生成された学習モデル１６１は制御装置１０へデプロイされる。

【0034】

制御装置１０は、制御部１１、主記憶部１２、通信部１３、入力部１４、表示部１５、および補助記憶部１６を含む。

【0035】

制御部１１は一または複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。

【0036】

主記憶部１２はＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、制御部１１が処理を実行するうえで必要なデータを一時的に記憶する。

【0037】

通信部１３は、インターネットまたはＬＡＮ（Local Area Network）等の通信ネットワークに接続するための通信インタフェースである。

【0038】

入力部１４はタッチパネルまたは機械式操作ボタン等の入力インタフェースであり、作業者から操作入力を受け付ける。入力部１４は、作業者の音声指令を収集するマイクロフォンであってもよい。

【0039】

表示部１５は液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイ等の表示画面であり、画像を表示する。表示部１５は、後述する適否情報に関する結果画面等を表示する。

【0040】

補助記憶部１６は、ＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）等のメモリである。補助記憶部１６は、制御装置１０に処理を実行させるプログラム（プログラム製品）１６０、学習モデル１６１、適否情報ＤＢ（data base）１７０、およびその他のデータを記憶している。プログラム１６０、学習モデル１６１、および適否情報ＤＢ１７０は、制御装置１０とは異なるデータベースサーバまたはクラウドストレージに記憶されていてもよい。

【0041】

なお、制御装置１０は可搬型記憶媒体１０ａを読み取る読取部を備え、可搬型記憶媒体１０ａからプログラム１６０を読み込んでもよい。また、制御装置１０は、通信ネットワークを介して他のコンピュータからプログラム１６０をダウンロードしてもよい。

【0042】

プログラム１６０は、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互に接続された複数のコンピュータ上で実行されるように展開できる。

【0043】

図４は、撮像装置２０の構成例を示すブロック図である。撮像装置２０は、制御部２１、記憶部２２、通信部２３、および撮像部２４を含む。

【0044】

制御部２１は一または複数のＣＰＵ、ＭＰＵ、ＧＰＵもしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。

【0045】

記憶部２２はＳＲＡＭまたはＤＲＡＭ等の一時記憶領域であり、制御部２１が処理を実行するうえで必要なデータを一時的に記憶する。

【0046】

通信部２３は、インターネットまたはＬＡＮ等の通信ネットワークに接続するための通信インタフェースである。

【0047】

撮像部２４は、ＣＣＤ（Charge-Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を備えたカメラであり、画像を撮像する。

【0048】

図５は、適否情報ＤＢ１７０のデータレイアウトを示す説明図である。適否情報ＤＢ１７０は、真空パックハムＩＤ（Identifier）、判定日時、真空パックハム画像、および真空パックハムの状態のフィールドを記憶するＤＢである。

【0049】

真空パックハムＩＤフィールドは、真空パックハム１００を識別するための識別情報を記憶する。判定日時フィールドは、真空パックハム１００の適否が判定された日時を記憶する。真空パックハム画像フィールドは、真空パックハム１００を撮像して得られた画像を記憶する。真空パックハムの状態フィールドは、真空パックハム１００の適否情報を示す状態を記憶する。

【0050】

真空パックハム１００の適否情報は、良品もしくは不良品の２値出力、良品の確率、または分類結果等である。本明細書では、真空パックハム１００の適否情報が分類結果（たとえば「正常」「めくれ」「ずれ」）である場合を説明する。

【0051】

図６は、真空パックハム１００の良品および不良品の一例である。真空パックハム１００は、製品名および賞味期限等の文字が印字されているシール部と、ハム本体が包装されている包装部分とがある。学習モデルの生成に用いられる訓練データは、真空パックハム画像と当該真空パックハム画像の状態を示すラベルとの組み合わせからなる。真空パックハム１００は、以下に説明する第１真空パックハム１００ａから第５真空パックハム１００ｅを含む。

【0052】

第１真空パックハム１００ａは、複数のスライスハムが積層されたスライスハム群を真空パックした良品である。制御装置１０は、第１真空パックハム１００ａが撮像された画像（第１真空パックハム画像）に対して第１ラベル（正常ラベル）を付与する。

【0053】

第２真空パックハム１００ｂは、複数のスライスハムの最上層のスライスハムが下層のスライスハムからずれた状態で積層されたスライスハム群を真空パックした不良品である。制御装置１０は、第２真空パックハム１００ｂが撮像された画像（第２真空パックハム画像）に対して第２ラベル（ずれラベル）を付与する。

【0054】

第３真空パックハム１００ｃは、複数のスライスハムの最上層のスライスハムが、下層のスライスハムが視認できるようめくれた状態で積層されたスライスハム群を真空パックした不良品である。制御装置１０は、第３真空パックハム１００ｃが撮像された画像（第３真空パックハム画像）に対して第３ラベル（めくれラベル）を付与する。

【0055】

第４真空パックハム１００ｄは、複数のスライスハムを積層した真空パックへの空気の混入がある不良品である。制御装置１０は、第４真空パックハム１００ｄが撮像された画像に対して第４ラベル（空気混入ラベル）を付与する。

【0056】

上記の第１ラベルから第４ラベルのほか、制御装置１０は、スライスハムの穴の有無、異物の付着の有無、スライスハムの割れの有無、スライスハムの噛みこみの有無、スライスハムが脂過多であるか否か、および印字異常の有無に対して、特定のラベルを付与してもよい。なお、噛みこみとは、図６に示す第５真空パックハム１００ｅのように、包装工程において商品のシール部に内容物（ハム）がはさまれた状態のことをいう。

【0057】

印字異常は、たとえば真空パックの印字が不明瞭である、または、真空パックの印字に誤りがある等の状態である。真空パックハム画像の印字異常を判定する際には、搬送装置３０上の真空パックハム１００を上下方向から撮像して真空パックハム画像を取得すればよい。これにより、真空パックハム１００の両面の印字異常を判定できる。

【0058】

印字異常を判定する際には、制御装置１０は、真空パックハム画像を入力した場合に真空パックの印字異常を判定するよう学習された学習モデルを生成し、当該学習モデルに真空パックハム画像を入力して印字異常を判定する。判定結果には、たとえば、印字がにじんでいる、印字が不明瞭である、印字がない、または印字に誤りがある等が含まれる。

【0059】

図７は、学習モデル１６１の構成例を示す模式図である。制御装置１０は、複数組の訓練データセットを適否情報ＤＢ１７０に記憶し、当該訓練データセットを用いて学習モデル１６１を生成する。

【0060】

学習モデル１６１は、図７に示すように、真空パックハム画像を入力した場合に、真空パック内のハムおよび真空パックの適否に関する適否情報を出力するよう学習された学習モデルである。

【0061】

本実施の形態では、ひとつの学習モデル１６１が適否情報を出力する場合を説明するが、真空パックハム１００を撮像するカメラの種類ごとに学習モデルを複数生成し、各学習モデルから適否情報を出力させてもよい。カメラの種類ごとに学習モデルが複数生成された場合、制御装置１０は、アンサンブル学習により複数の学習モデルを組み合わせ、出力結果の平均値を算出して最終的な結果を取得する、または、各出力結果を所定の値で重み付けして最終的な結果を取得する。これにより、学習モデル１６１の分類精度を向上させる。

【0062】

適否情報は、図６にて説明した、正常、ずれあり、めくれあり、空気混入あり、スライスハムの穴の有無、異物の付着の有無、スライスハムの割れの有無、スライスハムの噛みこみの有無、スライスハムが脂過多であるか否か、および印字異常の有無等に関する判定結果である。学習モデル１６１は、ひとつの真空パックハム画像に対してひとつの判定結果を出力してもよいし、複数の判定結果を出力してもよい。

【0063】

学習モデル１６１は、たとえば深層学習によって生成されるニューラルネットワークモデルであるＣＮＮ（Convolutional Neural Network）またはＤＮＮ（Deep Neural Network）で構成され、具体的には、複数のニューロンが相互に結合した構造をなしている。ニューロンは複数の入力に対して演算をおこない、演算結果として一つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数および閾値等の情報を有している。

【0064】

学習モデル１６１は、一または二以上のデータの入力を受け付ける入力層と、入力層にて受け付けたデータに対して演算処理をおこなう中間層と、中間層の演算結果を集約して一または二以上の値を出力する出力層とを備える。

【0065】

制御装置１０は、出力層から出力された適否情報と、作業者が入力した正解の適否情報とを比較し、出力層から出力される適否情報が正解の適否情報に近づくよう、たとえば誤差逆伝播法（Backpropagation）により中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、たとえばニューロン間の重み（結合係数）である。

【0066】

入力層は真空パックハム画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。

【0067】

中間層は真空パックハム画像の特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。具体的には、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層にて畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、真空パックハム画像の画素情報を圧縮しながら画像特徴量を抽出する。

【0068】

その後、中間層は、誤差逆伝播法によりパラメータが学習された全結合層により、真空パックハム画像に対応する当該真空パックハム画像の適否情報を推定する。推定結果は、複数のニューロンを有する出力層に出力される。

【0069】

以上の処理により、制御装置１０は真空パックハム１００の適否情報を推定する学習モデル１６１を生成し、補助記憶部１６に記憶しておく。制御装置１０は一定期間ごとに上記の処理をおこなうことで学習モデル１６１を更新し、新たな学習モデル１６１を記憶してもよい。

【0070】

なお、真空パックハム画像は、交互に連結されたコンボリューション層およびプーリング層を通過して特徴量が抽出された後に、入力層に入力されても良い。

【0071】

なお、学習モデル１６１はニューラルネットワークの他に、ＹＯＬＯ（You only look once）、トランスフォーマー、Ｕ－Ｎｅｔ、セグメンテーションニューラルネットワーク、オートエンコーダ、決定木、ランダムフォレスト、勾配ブースティング、またはＳＶＭ（Support Vector Machine）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。

【0072】

図８は、学習モデル１６１の生成処理手順を示すフローチャートである。制御装置１０の制御部１１は、プログラム１６０に基づいて以下の処理を実行する。

【0073】

制御部１１は、真空パックハム画像を取得する（ステップＳ１０１）。作業者は、真空パックハム画像に対応する実際の適否情報を入力する。制御部１１は、適否情報の入力を受け付ける（ステップＳ１０２）。

【0074】

制御部１１は、真空パックハム画像と真空パックハム画像に対応する適否情報とを関連付けた訓練データを適否情報ＤＢ１７０に記憶する。制御部１１は、多数の真空パックハム画像について同様の処理をおこない、複数の訓練データセットを適否情報ＤＢ１７０に記憶する（ステップＳ１０３）。制御部１１は、当該訓練データセットを用いて学習モデル１６１を生成する（ステップＳ１０４）。制御部１１は、一連の処理を終了する。

【0075】

次に、学習モデル１６１を使用して真空パックハム１００の適否情報を推定する処理について説明する。

【0076】

制御装置１０は、連続的に搬送される真空パックハム１００の画像を撮像装置２０に順次撮像させる。制御装置１０は、補助記憶部１６から学習モデル１６１を読み出しておき、取得した真空パックハム画像を学習モデル１６１に入力して適否情報を取得する。制御装置１０は、真空パックハム１００および適否情報を対応付けて適否情報ＤＢ１７０に記憶する。制御装置１０は作業者からの画面操作を受け、適否情報ＤＢ１７０に記憶してある各種情報を読み出し、以下の図９に示すように、表示部１５に表示させる。

【0077】

図９は、表示画面１５０の一例である。図９Ａは、判定結果画面の一例である。図９Ｂは、履歴画面の一例である。図９Ａおよび図９Ｂは、作業者の画面操作により互いに画面遷移する。

【0078】

図９Ａの判定結果画面には、判定結果エリア１５１、○ボタン１５１ａ、×ボタン１５１ｂ、判定日時エリア１５２、画像エリア１５３、バウンディングボックス１５３ａ、履歴ボタン１５４、および設定ボタン１５５が含まれる。

【0079】

判定結果エリア１５１は、真空パックハム１００の状態を判定した判定結果を表示する。○ボタン１５１ａおよび×ボタン１５１ｂは、作業者からのフィードバックを受け付けるための入力ボタンである。判定日時エリア１５２は、真空パックハム１００の状態を判定した判定日時を表示する。画像エリア１５３は、撮像された真空パックハム画像を表示する。バウンディングボックス１５３ａは、画像上の所定位置を囲む枠線である。

【0080】

履歴ボタン１５４は、作業者が過去の判定結果を参照する際に選択される。制御装置１０は履歴ボタン１５４の選択を受け付けると、図９Ａの判定結果画面から図９Ｂの履歴画面へ表示を切り替える。設定ボタン１５５は、作業者が検査システム１の各種設定を変更する際に選択される。

【0081】

制御装置１０は、○ボタン１５１ａまたは×ボタン１５１ｂを通じて、作業者からのフィードバックの入力を受け付ける。○ボタン１５１ａは、作業者が、学習モデル１６１が出力した判定結果に対して「正しい」判定結果であると確認した際に選択される。×ボタン１５１ｂは、作業者が、学習モデル１６１が出力した判定結果に対して「誤った」判定結果であると確認した際に選択される。

【0082】

制御装置１０が×ボタン１５１ｂの選択を受け付けた場合、正しい真空パックハム１００の状態を入力するための入力欄（図示省略）を表示し、新しい適否情報の入力を受け付ける。たとえば、制御装置１０は、真空パックハム１００の各種状態が選択入力できるプルダウンボックスを表示し、作業者からの選択入力を受け付ける。制御装置１０は、真空パックハムの状態フィールドのレコードを学習モデル１６１が出力した情報から作業者が入力した情報（フィードバック情報）に更新する。制御装置１０が○ボタン１５１ａの選択を受け付けた場合、学習モデル１６１の出力結果のまま、補助記憶部１６に記憶しておく。

【0083】

なお、制御装置１０は、不良品と判定された真空パックハム画像上において、当該画像の異常箇所（図中ではめくれ）をバウンディングボックス１５３ａで囲むとともに、不良品の異常種類を表示してもよい。また、制御装置１０は、不良の程度が比較的軽い製品（たとえば穴が小さいまたは脂が少し多い）に対して、注意喚起を示すメッセージ（たとえば「要検討」）を当該製品の画像上に表示してもよい。

【0084】

具体的には、制御装置１０は、セグメンテーションニューラルネットワークにより、まず異常箇所（たとえば穴または脂）を特定してピクセル数を測定する。次に、制御装置１０は、測定した異常箇所のピクセル数と、あらかじめ設定された異常ごとの閾値とを比較して不良の程度を特定する。つまり、真空パックハム１００における異常箇所（穴の面積または脂の量）のピクセル数に応じて、真空パックハム１００の適否情報が段階的に出力される。これにより、不良の程度が比較的軽い製品を精査したうえで消費者に提供し、フードロス対策に貢献できる。

【0085】

たとえば、スライスハムの穴の大きさに関する閾値が１０ピクセルと設定されているとする。制御装置１０は、当該閾値以上であると判定した真空パックハム１００に対し、排除機構４０に排除指令を送信して不良品箱側に排除させる。一方、制御装置１０は、当該閾値未満であると判定した真空パックハム１００に対し、排除機構４０に排除指令を送信せず良品箱側へ通過させる。なお、制御装置１０は、スライスハムの脂の量についても同様にして良品と不良品とを判定する。

【0086】

その他、学習モデル１６１は、スライスハムの穴の大きさに関して、「大きい」「中程度」「小さい」に分類するよう学習されてもよく、スライスハムの脂の量に関して、「多い」「中程度」「少ない」に分類するよう学習されてもよい。

【0087】

この場合、作業者は、制御装置１０を通じて、排除させるスライスハムの穴の大きさの種類を設定可能である。たとえば、排除させる穴の大きさが「大きい」および「中程度」と設定されているとする。制御装置１０は、「大きい」または「中程度」と判定した真空パックハム１００に対し、排除機構４０に排除指令を送信して不良品箱側に排除させる。一方、制御装置１０は、「小さい」と判定した真空パックハム１００に対し、排除機構４０に排除指令を送信せず良品箱側へ通過させる。なお、制御装置１０は、スライスハムの脂の量についても同様にして良品と不良品とを判定する。

【0088】

図９Ｂの履歴画面には、過去の判定結果が一覧表示されており、判定日時バー１５６、判定結果サムネイル１５７、履歴ボタン１５４、および設定ボタン１５５が含まれる。

【0089】

判定日時バー１５６は、真空パックハム１００の状態を判定した判定日時を表示する。判定結果サムネイル１５７は選択可能であり、真空パックハム１００の判定結果を画像付きで表示する。履歴ボタン１５４および設定ボタン１５５は、図９Ａにて説明した機能と同様である。

【0090】

制御装置１０は、作業者から判定結果サムネイル１５７の選択を受け付けると、該当する真空パックハムＩＤを適否情報ＤＢ１７０から検索し、当該真空パックハムＩＤに対応する判定結果画面を表示する。作業者は過去の判定結果を参照することで、学習モデル１６１の精度を確認できるほか、不良品の傾向も把握できる。

【0091】

なお、制御装置１０は、検査総数、不良品もしくは良品の数、または不良率をそれぞれ算出し、当該算出結果を履歴画面の所定位置（たとえば画面右上）に表示してもよい。

【0092】

図１０は、制御装置１０が実行するプログラム１６０の処理手順を示すフローチャートである。制御装置１０の制御部１１は、プログラム１６０に基づき以下の処理を実行する。

【0093】

制御部１１は、学習モデル１６１を読み出す（ステップＳ２０１）。制御部１１は、真空パックハム画像を取得する（ステップＳ２０２）。制御部１１は、真空パックハム画像を学習モデル１６１に入力する（ステップＳ２０３）。

【0094】

制御部１１は、学習モデル１６１から出力された適否情報を取得する（ステップＳ２０４）。制御部１１は、取得した適否情報が適であるか否かを判定する（ステップＳ２０５）。制御部１１は、適否情報が適（良品）であると判定した場合（ステップＳ２０５：ＹＥＳ）、排除機構に排除指令は送信せず、ステップＳ２０２の処理に戻る。ステップＳ２０４の後、制御部１１は、適否情報が適ではない（不良品）であると判定した場合（ステップＳ２０５：ＮＯ）、排除機構に排除指令を送信する（ステップＳ２０６）。制御部１１は、一連の処理を終了する。

【0095】

[変形例]
本実施の形態において、検査システム１の排除機構が１段階であるものとして説明したが、これに限定されず、２段階以上の排除機構を有してもよい。その場合、学習モデル１６１が出力する値に応じて、１段階目で排除する真空パックハム１００と、２段階目で排除する真空パックハム１００とに分ける。

【0096】

たとえば、検査システム１は、不良品である確率が９５％以上であると推定された真空パックハム１００を１段階目で排除し、不良品である確率が９０％から９５％の間であると推定された真空パックハム１００を２段階目で排除する。２段階目で排除された真空パックハム１００を担当者の最終判断を仰ぐために残しておけば、出荷の判断に迷う製品を吟味することができ、フードロス対策となる。

【0097】

撮像装置２０の設置位置は、上述した真空パックハム１００の上方位置に限定されない。たとえば、真空パックハム画像を両面取得したい場合、搬送装置３０を透明の材質で構成するとともに、上方から撮像する撮像装置２０と、下方から撮像する撮像装置２０とを設置してもよい。これにより、制御装置１０は真空パックハム１００の両面の印字を取得することができ、印字異常の有無を両面とも判定できる。

【0098】

以上、本実施の形態によれば、ＡＩを用いて真空パック製品の外観検査を好適に実施できる。

【0099】

今回開示された実施の形態はすべての点において例示であり、制限的なものではない。本発明の技術的範囲は上記のように開示された意味ではなく、特許請求の範囲の記載に基づいて定められ、特許請求の範囲と均等の意味および範囲内において、すべての変更が含まれる。

【0100】

各実施形態に記載した事項は、相互に組み合わせることができる。また、特許請求の範囲に記載した独立請求項および従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることができる。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0101】

１ 検査システム
２ 検査装置
１０ 制御装置
１０ａ 可搬型記憶媒体
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１５０ 表示画面
１５１ 判定結果エリア
１５１ａ ○ボタン
１５１ｂ ×ボタン
１５２ 判定日時エリア
１５３ 画像エリア
１５３ａ バウンディングボックス
１５４ 履歴ボタン
１５５ 設定ボタン
１５６ 判定日時バー
１５７ 判定結果サムネイル
１６ 補助記憶部
１６０ プログラム（プログラム製品）
１６１ 学習モデル
１７０ 適否情報ＤＢ
２０ 撮像装置
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 撮像部
３０ 搬送装置
４０ 排除機構
４１ 排除板
４２ ヒンジ
４３ エアシリンダ
５０ グラビティコンベア
６０ 照明
７０ 近接センサ
１００ 真空パックハム
１００ａ 第１真空パックハム
１００ｂ 第２真空パックハム
１００ｃ 第３真空パックハム
１００ｄ 第４真空パックハム
１００ｅ 第５真空パックハム
Ｒ 撮像領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】