特許 7423021 深層学習モデルの生成方法、情報処理装置、プログラム及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-01-19

(45)【発行日】2024-01-29

(54)【発明の名称】深層学習モデルの生成方法、情報処理装置、プログラム及び情報処理システム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240122BHJP

   G06T 7/00 20170101ALI20240122BHJP

   G06V 10/82 20220101ALI20240122BHJP

   A23L 17/60 20160101ALI20240122BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350C

G06V10/82

A23L17/60 103F

【請求項の数】 15

(21)【出願番号】P 2023095737

(22)【出願日】2023-06-09

【審査請求日】2023-06-12

(31)【優先権主張番号】P 2022159540

(32)【優先日】2022-10-03

(33)【優先権主張国・地域又は機関】JP

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和 ３年１０月２７日に、第２回ＡＩ・人工知能ＥＸＰＯ〔秋〕にて公開 令和 ４年 ５月１１日に、第６回ＡＩ・人工知能ＥＸＰＯ〔春〕にて公開 令和 ４年 ９月１５日に、ウェビナー「製造業 特化型！ＡＩ導入までの３ＳＴＥＰ」にて公開

【早期審査対象出願】

(73)【特許権者】

【識別番号】521206648

【氏名又は名称】ソホビービー株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】沈 天毅

【審査官】田中 洋介

(56)【参考文献】

【文献】特開平０２－１２９５３６（ＪＰ，Ａ）

【文献】特開２０２１－１２０２０５（ＪＰ，Ａ）

【文献】特開２０２１－１８５８７６（ＪＰ，Ａ）

【文献】特開平１０－３０８８７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－４０／２０

Ａ２３Ｌ １７／６０

(57)【特許請求の範囲】

【請求項1】

複数の海苔が積層された海苔積層体の表面画像の色域を複数の小領域色域に分割し、
分割した各小領域色域に対して色変換処理を行い、
色変換処理を行った各小領域色域に対応する画像を表面画像に連結し、
連結した表面画像、及び、該海苔積層体の等級を含む訓練データを取得し、
取得した訓練データに基づき、複数の海苔が積層された海苔積層体の表面画像を入力した場合に、前記海苔積層体の等級を出力する深層学習モデルを生成する
深層学習モデルの生成方法。

【請求項2】

搬送装置により搬送される複数の海苔が積層された海苔積層体の表面画像を、前記搬送装置に対応して設けられた撮像装置を通じて取得し、
前記海苔積層体の各海苔をまとめる帯上に印字されたコードを、前記搬送装置に対応して設けられたコード読取装置を通じて取得し、
取得したコードに基づき、前記海苔積層体の等級を決定し、
前記海苔積層体の表面画像、及び決定した前記海苔積層体の等級を含む訓練データを取得し、
取得した訓練データに基づき、搬送装置により搬送される複数の海苔が積層された海苔積層体の表面画像を入力した場合に、前記海苔積層体の等級を出力する前記深層学習モデルを生成する
請求項１に記載の深層学習モデルの生成方法。

【請求項3】

連続的に搬送される海苔積層体の表面画像を、前記撮像装置を通じて順次取得し、
前記海苔積層体の帯上に印字されたコードを、前記コード読取装置を通じて順次取得し、
順次取得した海苔積層体の表面画像、及び、順次取得したコードに対応する前記海苔積層体の等級の複数組のセットを訓練データとして記憶し、
前記複数組のセットからなる訓練データに基づき、前記深層学習モデルを生成する
請求項２に記載の深層学習モデルの生成方法。

【請求項4】

前記訓練データにおける前記海苔積層体が秋芽か、または冷凍かの種類を取得し、
前記訓練データを秋芽と、冷凍とに分類して記憶し、
前記秋芽の訓練データに基づき秋芽学習モデルを生成し、
前記冷凍の訓練データに基づき冷凍学習モデルを生成する
請求項１に記載の深層学習モデルの生成方法。

【請求項5】

制御部を備える情報処理装置であって、
前記制御部は、
複数の海苔が積層された海苔積層体の表面画像の色域を複数の小領域色域に分割し、
分割した各小領域色域に対して色変換処理を行い、
色変換処理を行った各小領域色域に対応する画像を表面画像に連結し、
連結した表面画像、及び、該海苔積層体の等級を含む訓練データを取得し、
取得した訓練データに基づき、複数の海苔が積層された海苔積層体の表面画像を入力した場合に、前記海苔積層体の等級を出力する深層学習モデルを生成する
情報処理装置。

【請求項6】

複数の海苔が積層された海苔積層体の表面画像の色域を複数の小領域色域に分割し、
分割した各小領域色域に対して色変換処理を行い、
色変換処理を行った各小領域色域に対応する画像を表面画像に連結し、
連結した表面画像、及び、該海苔積層体の等級を含む訓練データを取得し、
取得した訓練データに基づき、複数の海苔が積層された海苔積層体の表面画像を入力した場合に、前記海苔積層体の等級を出力する深層学習モデルを生成する
処理をコンピュータに実行させるプログラム。

【請求項7】

情報処理装置と、複数の海苔が積層された海苔積層体が搬送される搬送装置と、前記搬送装置に対応して設けられた撮像装置と、前記搬送装置に対応して設けられたコード読取装置とを備える情報処理システムであって、
前記撮像装置は、
前記搬送装置により搬送される前記海苔積層体の表面を撮像する撮像部と、
前記撮像部が撮像した前記海苔積層体の表面画像を前記情報処理装置に出力する第１出力部とを備え、
前記コード読取装置は、
前記海苔積層体の各海苔をまとめる帯上に印字されたコードを読み取る読取部と、
前記読取部が読み取ったコードを前記情報処理装置に出力する第２出力部とを備え、
前記情報処理装置は、
前記第１出力部が出力した表面画像、及び、前記第２出力部が出力したコードを取得する第１取得部と、
前記第１取得部が取得したコードに基づき、前記海苔積層体の等級を決定する決定部と、
前記第１取得部が取得した表面画像の色域を複数の小領域色域に分割する分割部と、
分割した各小領域色域に対して色変換処理を行う変換部と、
色変換処理を行った各小領域色域に対応する画像を表面画像に連結する連結部と、
前記連結部が連結した表面画像、及び、前記決定部が決定した等級を含む訓練データを取得する第２取得部と、
前記第２取得部が取得した訓練データに基づき、前記搬送装置により搬送される複数の海苔が積層された海苔積層体の表面画像を入力した場合に、前記海苔積層体の等級を出力する深層学習モデルを生成する生成部と
を備える情報処理システム。

【請求項8】

複数の海苔が積層された海苔積層体の表面画像を取得し、
取得した表面画像の色域を複数の小領域色域に分割し、
分割した各小領域色域に対して色変換処理を行い、
色変換処理を行った各小領域色域に対応する画像を表面画像に連結し、
海苔積層体の表面画像を入力した場合に前記海苔積層体の等級に関する等級情報を出力する深層学習モデルに、連結した表面画像を入力することにより等級情報を出力し、
前記海苔積層体の表面画像、評価日時、前記等級情報から得られた等級、及び、前記等級情報から得られた所定順位内の確度に基づき、海苔の評価を２次元マトリクスで規定した評価表上に示される確度に関する情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項9】

前記２次元マトリクスは、第１軸が数字の大小により評価する数字等級、第２軸が並、黒及び別を含む文字の相違により評価する文字等級による２次元マトリクスであり、
各マトリクスに確度、または、確度に応じたヒートマップを出力する
請求項８に記載のプログラム。

【請求項10】

秋芽か、または冷凍かの選択を受け付けるボックスと、前記海苔積層体の等級を評価する評価基準を設定するためのスライダーとを出力する
請求項８または９に記載のプログラム。

【請求項11】

前記深層学習モデルから出力された前記海苔積層体の等級情報は、数字の大小により評価する数字等級を含み、
前記スライダーにより、評価基準の設定を受け付け、
受け付けた評価基準に応じて、前記数字等級を示す前記２次元マトリクスの第１軸上の数字等級を変更する
請求項１０に記載のプログラム。

【請求項12】

前記深層学習モデルは、秋芽学習モデル及び冷凍学習モデルを含み、
前記海苔積層体の種類が秋芽か、または、冷凍かの種類を取得し、
取得した種類に応じて、前記秋芽学習モデルまたは前記冷凍学習モデルを特定し、
特定した前記秋芽学習モデルまたは前記冷凍学習モデルに、取得した海苔積層体の表面画像を入力する
請求項８または９に記載のプログラム。

【請求項13】

前記海苔積層体の検出から一定期間後に、前記海苔積層体を照射するための光源装置をオンにして、前記光源装置をオンにした後の一定時間後に、露光をオンにする撮像装置により撮像された前記海苔積層体の表面画像を取得する
請求項８または９に記載のプログラム。

【請求項14】

秋芽か、または冷凍かの選択を受け付けるボックスと、複数の海苔が積層された海苔積層体の等級を評価する評価基準を設定するためのスライダーとを出力し、
前記海苔積層体の表面画像を取得し、
海苔積層体の表面画像を入力した場合に前記海苔積層体の等級に関する等級情報を出力する深層学習モデルに、取得した海苔積層体の表面画像を入力することにより等級情報を出力し、
前記海苔積層体の表面画像、評価日時、前記等級情報から得られた等級、及び、前記等級情報から得られた所定順位内の確度に基づき、海苔の評価を２次元マトリクスで規定した評価表上に示される確度に関する情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項15】

複数の海苔が積層された海苔積層体の等級を評価する評価基準を設定するためのスライダーを出力し、
前記海苔積層体の表面画像を取得し、
海苔積層体の表面画像を入力した場合に前記海苔積層体の等級に関する等級情報を出力する深層学習モデルに、取得した海苔積層体の表面画像を入力することにより等級情報を出力し、
前記海苔積層体の表面画像、評価日時、前記等級情報から得られた等級、及び、前記等級情報から得られた所定順位内の確度に基づき、海苔の評価を２次元マトリクスで規定した評価表上に示される確度に関する情報を出力し、
前記深層学習モデルから出力された前記海苔積層体の等級情報は、数字の大小により評価する数字等級を含み、
前記スライダーにより、評価基準の設定を受け付け、
受け付けた評価基準に応じて、前記数字等級を示す前記２次元マトリクスの第１軸上の数字等級を変更する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深層学習モデルの生成方法、情報処理装置、プログラム及び情報処理システムに関する。

【背景技術】

【0002】

近年、海苔の品質を評価する技術の開発が盛んに進められている。例えば特許文献１には、海苔に光をあて、それから生じるラマン散乱光を分析することにより、海苔の品質を海苔等級・旨味にて評価する海苔品質評価方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１５４４０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る技術では、海苔を分析・評価しうる手法としてラマン散乱光を発生させる励起光源、及び、ラマン散乱光を検出するためのラマン分光装置等を用意しなければならないため、海苔の等級評価におけるコスト及び手間が発生してしまう。

【0005】

一つの側面では、海苔の等級評価が容易となる深層学習モデルの生成方法等を提供することにある。

【課題を解決するための手段】

【0006】

一つの側面に係る深層学習モデルの生成方法は、複数の海苔が積層された海苔積層体の表面画像の色域を複数の小領域色域に分割し、分割した各小領域色域に対して色変換処理を行い、色変換処理を行った各小領域色域に対応する画像を表面画像に連結し、連結した表面画像、及び、該海苔積層体の等級を含む訓練データを取得し、取得した訓練データに基づき、複数の海苔が積層された海苔積層体の表面画像を入力した場合に、前記海苔積層体の等級を出力する深層学習モデルを生成する処理を実行させることを特徴とする。

【発明の効果】

【0007】

一つの側面では、海苔の等級評価が容易となる。

【図面の簡単な説明】

【0008】

【図1】コンピュータの構成例を示すブロック図である。

【図2】等級情報ＤＢ及び訓練データＤＢのレコードレイアウトの一例を示す説明図である。

【図3】等級出力モデルを説明する説明図である。

【図4】海苔積層体の等級を判定する画面の一例を示す説明図である。

【図5】等級出力モデルの生成処理の手順を示すフローチャートである。

【図6】訓練データ生成システムの概要を示す説明図である。

【図7】訓練データを生成する際の処理手順を示すフローチャートである。

【図8】複数組のセットからなる訓練データを生成する際の処理手順を示すフローチャートである。

【図9】実施形態３におけるコンピュータの構成例を示すブロック図である。

【図10】実施形態３における訓練データＤＢ及び学習モデル管理ＤＢのレコードレイアウトの一例を示す説明図である。

【図11】秋芽用等級出力モデル及び冷凍用等級出力モデルの生成処理の手順を示すフローチャートである。

【図12】実施形態４におけるコンピュータの構成例を示すブロック図である。

【図13】設定ＤＢのレコードレイアウトの一例を示す説明図である。

【図14】海苔積層体の等級を判定するための設定画面の一例を示す説明図である。

【図15】実施形態４における海苔積層体の等級を判定する画面の一例を示す説明図である。

【図16】海苔積層体の等級を判定する際の処理手順を示すフローチャートである。

【図17】数字等級を変更する処理のサブルーチンの処理手順を示すフローチャートである。

【図18】海苔積層体の表面画像を取得する際の処理手順を示すフローチャートである。

【図19】色変換処理を説明する説明図である。

【図20】色再現性を示す散布図の一例を示す説明図である。

【図21】色変換処理を行う際の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、複数の海苔が積層された海苔積層体の表面画像を入力した場合に、当該海苔積層体の等級を出力する深層学習モデルを生成する形態に関する。表面画像は、海苔積層体の表面を撮像領域とし、当該撮像領域を撮像した画像である。

【0011】

本実施形態のシステムは、情報処理装置１を含む。情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばスマートフォン、携帯電話、アップルウォッチ（Apple Watch：登録商標）等のウェアラブルデバイス、ウェアラブルカメラ、タブレット、またはパーソナルコンピュータ等の情報処理機器である。以下では簡潔のため、情報処理装置１をコンピュータ１と読み替える。

【0012】

本実施形態に係るコンピュータ１は、複数の海苔が積層された海苔積層体の表面画像、及び、該海苔積層体の等級を含む訓練データを取得する。コンピュータ１は、取得した訓練データに基づき、複数の海苔が積層された海苔積層体の表面画像を入力した場合に、当該海苔積層体の等級を出力する深層学習モデルを生成する。

【0013】

図１は、コンピュータの構成例を示すブロック図である。コンピュータ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６、大容量記憶部１７及び撮像部１８を含む。各構成はバスＢで接続されている。

【0014】

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐ（プログラム製品）を読み出して実行することにより、コンピュータ１に係る種々の情報処理、制御処理等を行う。なお、制御プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図１では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0015】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールである。

【0016】

入力部１４は、キーボード、マウスまたは表示部１５と一体化したタッチパネルでも良い。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

【0017】

読取部１６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワーク等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0018】

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive：ハードディスク）、ＳＳＤ（Solid State Drive：ソリッドステートドライブ）等の記録媒体を備える。大容量記憶部１７は、等級出力モデル（深層学習モデル）１７１、等級情報ＤＢ（database）１７２及び訓練データＤＢ１７３を含む。

【0019】

等級出力モデル１７１は、複数の海苔が積層された海苔積層体の表面画像に基づいて、当該海苔積層体の等級を出力する推定器（出力器）であり、深層学習により生成された学習済みモデルである。等級情報ＤＢ１７２は、海苔積層体の等級情報を記憶している。訓練データＤＢ１７３は、等級出力モデル１７１を構築（生成）するための訓練データを記憶している。

【0020】

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７はコンピュータ１に接続された外部記憶装置であっても良い。

【0021】

撮像部１８は、例えばＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像装置である。なお、撮像部１８はコンピュータ１の中に内蔵せず、外部で直接にコンピュータ１と接続し、撮像可能な構成としても良い。

【0022】

コンピュータ１は、種々の情報処理及び制御処理等をコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良い。また、コンピュータ１は、１台のコンピュータ内に設けられた複数の仮想マシンによって実現されても良いし、クラウドサーバを用いて実現されても良い。

【0023】

図２は、等級情報ＤＢ及び訓練データＤＢのレコードレイアウトの一例を示す説明図である。
等級情報ＤＢ１７２は、等級番号列及び等級名称列を含む。等級番号列は、海苔積層体の等級を特定するための等級番号を記憶している。等級名称列は、海苔積層体の等級名称を記憶している。海苔積層体の等級は、海苔の色味、穴あき、形または艶感等により分類され、例えば、「特等」、「一等」、「二等」、「三等」または「四等」等を含む。

【0024】

なお、海苔積層体の等級は、実際のニーズに応じて設定されても良い。例えば、海苔積層体の等級において、さらに細かく分類しても良い。例えば、「推特」、「推上一」、「推一」、「推上二」、・・・、「特等」、「上一」、「一等」、「上二」、・・・、「黒上一」または「黒一」等を含む等級であっても良い。

【0025】

訓練データＤＢ１７３は、入力データ列及び出力データ列を含む。入力データ列は、複数の海苔が積層された海苔積層体の表面画像を記憶している。出力データ列は、海苔積層体の等級を示す等級番号または等級名称等を記憶している。

【0026】

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

【0027】

図３は、等級出力モデルを説明する説明図である。等級出力モデル１７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。等級出力モデル１７１は、複数の海苔が積層された海苔積層体の表面画像を入力とし、当該海苔積層体の等級を出力とするニューラルネットワークを構築済みの推定器である。

【0028】

コンピュータ１は、等級出力モデル１７１として、海苔積層体の表面画像内における海苔の特徴量を学習するディープラーニングを行うことで等級出力モデル１７１を生成する。例えば、等級出力モデル１７１はＣＮＮ（Convolution Neural Network）であり、海苔積層体の表面画像の入力を受け付ける入力層と、当該海苔積層体の等級を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

【0029】

入力層は、海苔積層体の表面画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、海苔積層体の表面画像の特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。

【0030】

中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、海苔積層体の表面画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。

【0031】

その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、海苔積層体の表面画像に対応する当該海苔積層体の等級を推定（予測）する。推定結果は、複数のニューロンを有する出力層に出力される。

【0032】

なお、海苔積層体の表面画像は、交互に連結されたコンボリューション層とプーリング層とを通過して特徴量が抽出された後に、入力層に入力されても良い。

【0033】

なお、ＣＮＮの代わりに、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、トランスフォーマー（Transformer）ネットワーク、または回帰木等の任意の物体検出アルゴリズムを使用しても良い。

【0034】

例えばコンピュータ１は、訓練データＤＢ１７３に蓄積された訓練データを用いて、等級出力モデル１７１を生成する。訓練データは、複数の海苔が積層された海苔積層体の表面画像と、該海苔積層体の等級とが対応付けられた組み合わせのデータである。訓練データは、海苔積層体を撮像した表面画像から収集された大量の等級情報に基づいて生成される。なお、訓練データは別途人手で作成されたデータであっても良い。

【0035】

コンピュータ１は、取得した訓練データを用いて学習を行う。具体的には、コンピュータ１は、訓練データである海苔積層体の表面画像を入力層に入力し、中間層での演算処理を経て、出力層から海苔積層体の等級を出力する。出力層は、例えばシグモイド関数またはソフトマックス関数を含み、中間層から出力された特徴量に基づいて、推定された海苔積層体の等級の確率値を出力する。

【0036】

コンピュータ１は、出力層から出力された推定結果を、訓練データにおいて海苔積層体の表面画像に対しラベル付けされた情報（等級）、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、または、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば、コンピュータ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

【0037】

コンピュータ１は、訓練データに含まれる各海苔積層体の表面画像について上記の処理を行い、等級出力モデル１７１を生成する。これにより、例えばコンピュータ１は、当該訓練データを用いて等級出力モデル１７１の学習を行うことで、海苔積層体の等級を出力可能なモデルを生成する。コンピュータ１は、生成した等級出力モデル１７１を大容量記憶部１７に記憶する。

【0038】

コンピュータ１は、海苔積層体の表面画像を取得した場合、取得した表面画像を等級出力モデル１７１に入力する。コンピュータ１は、等級出力モデル１７１の中間層にて、海苔積層体の表面画像の特徴量を抽出する演算処理を行う。コンピュータ１は、抽出した特徴量を等級出力モデル１７１の出力層に入力して、海苔積層体の等級を推定した推定結果を出力として取得する。

【0039】

図示のように、海苔積層体の表面画像に対し、「特等」、「一等」、「二等」、「三等」、「四等」それぞれの確率値が、「０．０１」、「０．８６」、「０．０５」、「０．０４」、「０．０４」である推定結果が出力される。

【0040】

また、所定閾値を利用して推定結果を出力しても良い。例えばコンピュータ１は、「一等」の確率値（０．８６）が所定閾値（例えば、０．８０）以上であると判定した場合、「一等」を推定結果として出力する。なお、上述した閾値を利用せず、等級出力モデル１７１が推定した各等級の確率値から、最も高い確率値に対応する等級を推定結果として出力しても良い。

【0041】

図４は、海苔積層体の等級を判定する画面の一例を示す説明図である。当該画面は、海苔画像表示欄１１ａ、撮像ボタン１１ｂ、画像選択ボタン１１ｃ、等級判定ボタン１１ｄ及び判定結果表示欄１１ｅを含む。

【0042】

海苔画像表示欄１１ａは、海苔積層体の表面画像を表示する表示欄である。撮像ボタン１１ｂは、海苔積層体の表面を撮像するためのボタンである。画像選択ボタン１１ｃは、海苔積層体の表面画像を選択するためのボタンである。等級判定ボタン１１ｄは、海苔積層体の等級を判定するためのボタンである。判定結果表示欄１１ｅは、海苔積層体の等級を判定した判定結果を表示する表示欄である。

【0043】

コンピュータ１は、撮像ボタン１１ｂのタッチ操作を受け付けた場合、撮像部１８を介して、海苔積層体の表面を撮像する。コンピュータ１は、画像選択ボタン１１ｃのタッチ操作を受け付けた場合、撮像された海苔積層体の表面画像の選択を受け付ける。コンピュータ１は、撮像ボタン１１ｂまたは画像選択ボタン１１ｃにより取得された海苔積層の表面画像を海苔画像表示欄１１ａに表示する。

【0044】

コンピュータ１は、等級判定ボタン１１ｄのタッチ操作を受け付けた場合、海苔画像表示欄１１ａに表示されている海苔積層の表面画像を等級出力モデル１７１に入力し、当該海苔積層体の等級を判定した判定結果を出力する。コンピュータ１は、等級出力モデル１７１から出力された判定結果を判定結果表示欄１１ｅに表示する。図示のように、等級の名称及び判定日時が判定結果表示欄１１ｅに表示される。

【0045】

図５は、等級出力モデルの生成処理の手順を示すフローチャートである。コンピュータ１の制御部１１は、複数の海苔が積層された海苔積層体の表面画像と、当該表面画像に対応する海苔積層体の等級とが対応付けられた訓練データを大容量記憶部１７の訓練データＤＢ１７３から複数取得する（ステップＳ１０１）。

【0046】

制御部１１は、取得した訓練データを用いて、海苔積層体の表面画像を入力として、当該海苔積層体の等級を出力とする等級出力モデル１７１を生成する（ステップＳ１０２）。制御部１１は、生成した等級出力モデル１７１を記憶部１２または大容量記憶部１７に記憶し（ステップＳ１０３）、一連の処理を終了する。

【0047】

本実施形態によると、海苔積層体の表面画像及び当該海苔積層体の等級を含む訓練データに基づき、等級出力モデル１７１を生成することが可能となる。

【0048】

本実施形態によると、海苔積層体の表面画像に基づいて、等級出力モデル１７１を用いて当該海苔積層体の等級を出力することが可能となる。

【0049】

本実施形態によると、等級出力モデル１７１を利用することにより、海苔積層体の等級判定業務における効率を向上させることが可能となる。

【0050】

（実施形態２）
実施形態２は、搬送装置により搬送された海苔積層体の表面画像と、当該海苔積層体の帯（帯ラベル；帯シート）上に印字されたコードとに基づき、訓練データを自動的に生成する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

【0051】

図６は、訓練データ生成システムの概要を示す説明図である。本実施形態の訓練データ生成システムは、情報処理装置１（コンピュータ１）、搬送装置２、撮像装置３、コード読取装置４及び近接センサ５を含む。

【0052】

図示のように、訓練データを生成するための訓練対象は海苔積層体９１である。海苔積層体９１は、複数の同一サイズの海苔が積層された積層体である。海苔のサイズは、全型（例えば、縦２１ｃｍ×横１９ｃｍ）、半切（全型を半分に切ったサイズ）、３切（全型を３等分に切ったサイズ）、または４切（全型を４等分に切ったサイズ）等を含む。それぞれの海苔積層体９１は、長尺の帯状である帯９２により束ねられている。

【0053】

帯９２上には、印字装置等により海苔積層体９１の等級を示す情報（例えば、等級番号または等級名称）を埋め込んだコード９３が印字されている。コード９３の印字位置については、海苔積層体９１の表面側における帯９２の中央、左側又は右側等である。

【0054】

コード９３は、１次元コード又は２次元コード等である。１次元コードは、例えば縞模様状の線の太さによって数値または文字を表すバーコード（Barcode）であっても良い。２次元コードは、例えば横方向にしか情報を持たない１次元コードに対し、水平方向と垂直方向に情報を持つ表示方式のＱＲコード（登録商標）であっても良い。コード９３は、帯９２に取り付けられたＩＣタグ（Integrated Circuit Tag）、ＲＦＩＤタグ（Radio Frequency Identifier Tag）、又はＲＦＩＤチップ（マイクロチップ）等に記憶されても良い。

【0055】

搬送装置２は、海苔積層体９１を移動させる搬送コンベア２０を有する搬送機構である。海苔積層体９１が搬送コンベア２０に載置されて、一方向に搬送される。海苔積層体９１は、帯９２が巻かれた向きを揃えて、コード９３を上に向けて搬送コンベア２０に載置されている。図６においては、海苔積層体９１が搬送される方向を方向Ｄで示す。

【0056】

撮像装置３は、搬送装置２に対応して設けられた撮像装置であり、海苔積層体９１を撮像して表面画像を生成する。撮像装置３の撮像領域（視野）は、海苔積層体９１の表面全体を撮像可能な領域であり、撮像領域Ｒで示されている。撮像領域Ｒを撮像するために、撮像装置３は、搬送コンベア２０上に搬送される海苔積層体９１の上方に設置される。なお、撮像装置３の設置位置は、上述した位置に限らず、例えば、海苔積層体９１の斜め上方であっても良い。

【0057】

本実施形態の撮像装置３は、無線通信部を含む。無線通信部は、通信に関する処理を行うための無線通信モジュールであり、ネットワークを介して、生成した海苔積層体９１の表面画像をコンピュータ１に送信する。なお、撮像装置３は、コンピュータ１に有線で接続しても良い。なお、撮像装置３の代わりに、撮像可能なパーソナルコンピュータ、スマートフォン、または海苔積層体を撮像可能な移動型の監視ロボット等であっても良い。

【0058】

コード読取装置４は、帯９２上に印字されたコード９３の読取及び送信等を行う端末装置である。コード読取装置４は、搬送装置２に対応して設けられた読取装置であり、搬送コンベア２０上に搬送される海苔積層体９１の帯９２上の上方に設置される。なお、コード読取装置４の設置位置は、上述した位置に限らず、例えば、海苔積層体９１の斜め上方であっても良い。すなわち、コード読取装置４は、帯９２上に印字されたコード９３を読み取り可能な位置に配置される。

【0059】

コード読取装置４は、例えば１次元コード若しくは２次元コードを読み込むコードリーダ、非接触型ＩＣカードに記憶された情報を読み込むＩＣカードのリーダ、または、リーダ機能を有するスマートフォン、携帯電話、タブレット若しくはパーソナルコンピュータ端末等の情報処理機器である。なお、コード読取装置４は、通信機能を有するＣＣＤカメラ若しくはＣＭＯＳカメラ等の撮像装置であっても良い。

【0060】

近接センサ５は、例えば、超音波又は赤外線等によって、物理的接触がないときに近くの物体の存在を検出するように構成されるセンサである。なお、近接センサ５の代わりに、光電センサを利用しても良い。

【0061】

搬送装置２の搬送コンベア２０上に搬送される海苔積層体９１の通過を検知するため、近接センサ５は撮像対象となる海苔積層体９１の通過を検知可能な位置に設置される。近接センサ５により海苔積層体９１が検出された場合、撮像装置３は、当該撮像装置３の撮像領域Ｒ内に到達するタイミングで海苔積層体９１の表面を撮像する。タイミングは、予め近接センサ５により撮像対象となる海苔積層体９１が検出された位置、撮像装置３の撮像領域Ｒの位置、及び、搬送装置２の搬送速度に基づいて算出される。

【0062】

なお、コード読取装置４及び近接センサ５は、搬送装置２と一体型に構成されても良い。

【0063】

続いて、搬送装置２により搬送された海苔積層体９１の表面画像と、当該海苔積層体９１の帯９２上に印字されたコード９３とに基づき、訓練データを生成する処理を説明する。
近接センサ５は、搬送装置２により搬送された海苔積層体９１を検出した場合、当該海苔積層体９１の検出結果をコンピュータ１に送信する。コンピュータ１は、近接センサ５から送信された検出結果に応じて、海苔積層体９１の表面を撮像する撮像指示を撮像装置３に送信する。撮像装置３は、コンピュータ１から送信された撮像指示に応じて、海苔積層体９１を撮像して当該海苔積層体９１の表面画像を生成する。撮像装置３は、生成した海苔積層体９１の表面画像をコンピュータ１に送信する。

【0064】

なお、本実施形態では、近接センサ５が海苔積層体９１の検出結果をコンピュータ１に送信した例を説明したが、これに限るものではない。例えば、タイミングコントローラ（図示なし）を利用しても良い。タイミングコントローラは、例えば、撮像装置３が海苔積層体９１の表面を撮像する指示信号を出力する半導体装置であっても良い。この場合、近接センサ５は、海苔積層体９１の検出結果をタイミングコントローラに送信する。タイミングコントローラは、近接センサ５から送信された検出結果に応じて、海苔積層体９１の表面を撮像する撮像指示を撮像装置３に送信する。

【0065】

同時に、コンピュータ１は、海苔積層体９１の帯９２上に印字されたコード９３を読み取る読取指示をコード読取装置４に送信する。コード読取装置４は、コンピュータ１から送信された読取指示に応じて、海苔積層体９１の帯９２上に印字されたコード９３を読み取る。コード９３には、例えば、海苔積層体９１の等級番号が埋め込まれる。なお、コード９３には、海苔積層体９１の等級名称、または、海苔積層体９１の等級番号と等級名称との両方が埋め込まれても良い。コード読取装置４は、読み取ったコード９３をコンピュータ１に送信する。

【0066】

なお、近接センサ５は、海苔積層体９１を検出した検出結果を撮像装置３及びコード読取装置４に直接送信しても良い。この場合、撮像装置３は、近接センサ５から送信された検出結果に応じて、当該海苔積層体９１の表面を撮像する。コード読取装置４は、近接センサ５から送信された検出結果に応じて、海苔積層体９１の帯９２上に印字されたコード９３を読み取る。

【0067】

コンピュータ１は、コード読取装置４から送信されたコード９３に基づき、当該海苔積層体９１の等級を決定する。具体的には、コンピュータ１は、コードの解析ライブラリを利用し、受信したコード９３から海苔積層体９１の等級番号を取得する。コンピュータ１は、取得した等級番号に基づき、当該海苔積層体９１の等級名称を等級情報ＤＢ１７２から取得する。

【0068】

コンピュータ１は、撮像装置３から送信された海苔積層体９１の表面画像、及び決定した当該海苔積層体９１の等級を含む訓練データを生成する。コンピュータ１は、生成した訓練データを訓練データＤＢ１７３に記憶（蓄積）する。

【0069】

そして、コンピュータ１は、訓練データＤＢ１７３に蓄積された訓練データを用いて、等級出力モデル１７１を生成する。なお、等級出力モデル１７１の生成処理に関しては、実施形態１での処理と同様であるため、説明を省略する。

【0070】

図７は、訓練データを生成する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、海苔積層体９１の検出結果を通信部１３により近接センサ５から受信する（ステップＳ１１１）。制御部１１は、受信した検出結果に応じて、海苔積層体９１の表面を撮像する撮像指示を通信部１３により撮像装置３に送信する（ステップＳ１１２）。制御部１１は、通信部１３を介して、海苔積層体９１の帯９２上に印字されたコード９３を読み取る読取指示をコード読取装置４に送信する（ステップＳ１１３）。

【0071】

撮像装置３は、コンピュータ１から送信された撮像指示を受信する（ステップＳ３１１）。撮像装置３は、受信した撮像指示に応じて、海苔積層体９１の表面を撮像する（ステップＳ３１２）。撮像装置３は、当該海苔積層体９１の表面画像を生成する（ステップＳ３１３）。撮像装置３は、生成した海苔積層体９１の表面画像を無線通信部によりコンピュータ１に送信する（ステップＳ３１４）。コンピュータ１の制御部１１は、撮像装置３から送信された海苔積層体９１の表面画像を通信部１３により受信する（ステップＳ１１４）。

【0072】

コード読取装置４は、コンピュータ１から送信された読取指示を受信する（ステップＳ４１１）。コード読取装置４は、受信した読取指示に応じて、海苔積層体９１の帯９２上に印字されたコード９３を読み取る（ステップＳ４１２）。コード読取装置４は、読み取ったコード９３をコンピュータ１に送信する（ステップＳ４１３）。

【0073】

コンピュータ１の制御部１１は、コード読取装置４から送信されたコード９３を通信部１３により受信する（ステップＳ１１５）。制御部１１は、コードの解析ライブラリを利用し、受信したコード９３から海苔積層体９１の等級番号を取得する（ステップＳ１１６）。制御部１１は、取得した等級番号に基づき、当該海苔積層体９１の等級名称を大容量記憶部１７の等級情報ＤＢ１７２から取得する（ステップＳ１１７）。

【0074】

制御部１１は、受信した海苔積層体９１の表面画像と、取得した当該海苔積層体９１の等級とを含む訓練データを生成する（ステップＳ１１８）。制御部１１は、生成した訓練データを大容量記憶部１７の訓練データＤＢ１７３に記憶し（ステップＳ１１９）、処理を終了する。具体的には、制御部１１は、海苔積層体９１の表面画像（入力データ）に対応付けて、当該海苔積層体９１の等級番号または等級名称（出力データ）を一つのレコードとして訓練データＤＢ１７３に記憶する。

【0075】

続いて、複数組のセットからなる訓練データを生成する処理を説明する。コンピュータ１は、撮像装置３を通じて、所定の時間（例えば、３０秒）内において、搬送装置２により連続的に搬送された海苔積層体９１の表面画像を順次取得する。コンピュータ１は、コード読取装置４を通じて、当該海苔積層体９１の帯９２上に印字されたコード９３を順次取得する。

【0076】

コンピュータ１は、コードの解析ライブラリを利用し、順次取得したコード９３に対応する海苔積層体９１の等級を取得する。コンピュータ１は、順次取得した海苔積層体９１の表面画像、及び、順次取得したコード９３に対応する海苔積層体９１の等級の複数組のセットを訓練データとして生成する。コンピュータ１は、複数組のセットからなる訓練データを訓練データＤＢ１７３に記憶する。

【0077】

図８は、複数組のセットからなる訓練データを生成する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、通信部１３を介して、搬送装置２により搬送された海苔積層体９１の表面画像を撮像装置３から取得する（ステップＳ１３１）。制御部１１は、コード読取装置４を通じて、取得した表面画像に含まれる海苔積層体９１の帯９２上に印字されたコード９３を取得する（ステップＳ１３２）。

【0078】

制御部１１は、所定の時間（例えば、３０秒）が経過したか否かを判定する（ステップＳ１３３）。制御部１１は、所定の時間が経過していないと判定した場合（ステップＳ１３３でＮＯ）、ステップＳ１３１の処理に戻る。制御部１１は、所定の時間が経過したと判定した場合（ステップＳ１３３でＹＥＳ）、取得した各海苔積層体９１の表面画像と、各海苔積層体９１の等級とが対応付けられた訓練データのセットを生成する（ステップＳ１３４）。

【0079】

制御部１１は、所定の訓練データの組数（例えば、５）に達したか否かを判定する（ステップＳ１３５）。制御部１１は、所定の組数に達していないと判定した場合（ステップＳ１３５でＮＯ）、ステップＳ１３１の処理に戻る。制御部１１は、所定の組数に達したと判定した場合（ステップＳ１３５でＹＥＳ）、複数組のセットからなる訓練データを生成する（ステップＳ１３６）。制御部１１は、生成した複数組のセットからなる訓練データを大容量記憶部１７の訓練データＤＢ１７３に記憶し（ステップＳ１３７）、処理を終了する。

【0080】

本実施形態によると、搬送装置２により搬送された海苔積層体９１の表面画像と、当該海苔積層体９１の帯９２上に印字されたコード９３とに基づき、訓練データを自動的に生成することが可能となる。

【0081】

本実施形態によると、大量の訓練データを自動的に生成することにより、等級出力モデル１７１の学習（訓練）効率を向上させることが可能となる。

【0082】

（実施形態３）
実施形態３は、海苔積層体９１の種類ごとに、海苔積層体９１の表面画像を入力した場合に、当該海苔積層体９１の等級に関する等級情報を出力する深層学習モデルを生成する形態に関する。海苔積層体９１の種類は、秋芽（種付け後そのまま育成した海苔）、及び、冷凍（種付け後に冷凍しておいた海苔）を含む。なお、実施形態１～２と重複する内容については説明を省略する。

【0083】

図９は、実施形態３におけるコンピュータの構成例を示すブロック図である。なお、図１と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、秋芽用等級出力モデル（秋芽学習モデル）１７４、冷凍用等級出力モデル（冷凍学習モデル）１７５及び学習モデル管理ＤＢ１７６が含まれる。

【0084】

秋芽用等級出力モデル１７４は、種類が秋芽である海苔積層体９１の表面画像に基づいて、当該海苔積層体９１の等級に関する等級情報を出力する推定器（出力器）であり、深層学習により生成された学習済みモデルである。冷凍用等級出力モデル１７５は、種類が冷凍である海苔積層体９１の表面画像に基づいて、当該海苔積層体９１の等級に関する等級情報を出力する推定器（出力器）であり、深層学習により生成された学習済みモデルである。学習モデル管理ＤＢ１７６は、学習済みモデルのファイル等を記憶している。

【0085】

図１０は、実施形態３における訓練データＤＢ及び学習モデル管理ＤＢのレコードレイアウトの一例を示す説明図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。訓練データＤＢ１７３は、種類列を含む。種類列は、秋芽及び冷凍を含む海苔積層体９１の種類を記憶している。

【0086】

学習モデル管理ＤＢ１７６は、モデルＩＤ列、学習モデル種類列、学習モデルファイル列及び生成日時列を含む。モデルＩＤ列は、各学習済みモデルのファイルを識別するために、一意に特定される学習済みモデルのファイルのＩＤを記憶している。

【0087】

学習モデル種類列は、「秋芽」、「冷凍」または「通常」等を含む学習モデルの種類を記憶している。「秋芽」は、秋芽用等級出力モデル１７４を示す学習済みモデルの種類である。「冷凍」は、冷凍用等級出力モデル１７５を示す学習済みモデルの種類である。「通常」は、海苔積層体９１の種類とは関係なく、学習済みモデル（例えば、実施形態１での等級出力モデル１７１）の種類である。

【0088】

学習モデルファイル列は、学習済みモデルのファイル、または学習済みモデルのファイルの保管場所を記憶している。生成日時列は、学習済みモデルのファイルを生成した日時情報を記憶している。

【0089】

秋芽用等級出力モデル１７４及び冷凍用等級出力モデル１７５における訓練データの出力データは、海苔積層体９１の等級に関する等級情報を示すデータである。海苔積層体９１の等級に関する等級情報は、数字等級、文字等級、もしくは数字等級と文字等級との組み合わせ、及び、各等級に対応する確度（確率値）等を含む。数字等級は、数字の大小により評価する等級であり、例えば、「特等」、「一等」、「二等」、「三等」または「四等」等を含む。

【0090】

文字等級は、「並」、「黒」、「ク」または「別」等を含む文字の相違により評価する等級である。「並」は、普通の海苔を評価する文字等級である。「黒」は、普通等級と同程度であり、またはそれ以上の黒みを有するが、光沢が不足している海苔を評価する文字等級である。「ク」は、水洗い不足、または乾燥等によるくもりの軽微な海苔を評価する文字等級である。「別」は、「ベツグサ」と呼ばれる藻が混入した海苔を評価する文字等級である。なお、「並」、「黒」、「ク」または「別」を含む文字等級に限るものではない。例えば、文字等級には、「上」、「重」、「軽」、「飛」または「混」等が含まれても良い。

【0091】

例えば、海苔積層体９１の等級情報が文字等級と数字等級との組み合わせである。文字等級は、「並」、「黒」、「ク」及び「別」を含み、数字等級は、１等から７等までの７段階の等級を含む。従って、秋芽用等級出力モデル１７４及び冷凍用等級出力モデル１７５における訓練データの出力データは、並１～並７、黒１～黒７、ク１～ク７及び別１～別７のいずれかである。

【0092】

コンピュータ１は、秋芽用等級出力モデル１７４及び冷凍用等級出力モデル１７５を生成するための訓練データに対し、海苔積層体９１が秋芽か、または冷凍かの種類を取得する。例えば、コンピュータ１は、訓練データにおける海苔積層体９１が秋芽か、または冷凍かの種類の選択（入力）を受け付けても良い。

【0093】

または、海苔積層体９１の帯９２上に印字されているコード９３に海苔積層体９１の種類が含まれる場合、コンピュータ１は、コード９３を読み取ることにより、当該海苔積層体９１の種類を取得しても良い。

【0094】

なお、海苔積層体９１の種類が帯９２に直接印字された場合、コンピュータ１は、文字認識処理を行い、帯９２に印字された種類を認識することにより、当該海苔積層体９１の種類を取得する。文字認識処理は、例えば、ＯＣＲ（Optical character recognition）技術を用いる。

【0095】

コンピュータ１は、訓練データを秋芽と、冷凍とに分類して、訓練データＤＢ１７３に記憶する。

【0096】

まず、秋芽用等級出力モデル１７４を生成する処理を説明する。秋芽用等級出力モデル１７４は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。秋芽用等級出力モデル１７４は、種類が秋芽である海苔積層体９１の表面画像を入力とし、当該海苔積層体９１の等級に関する等級情報を出力とするニューラルネットワークを構築済みの推定器である。

【0097】

コンピュータ１は、秋芽用等級出力モデル１７４として、種類が秋芽である海苔積層体９１の表面画像内における海苔の特徴量を学習するディープラーニングを行うことで秋芽用等級出力モデル１７４を生成する。

【0098】

例えば、秋芽用等級出力モデル１７４はＣＮＮであり、海苔積層体９１の表面画像の入力を受け付ける入力層と、当該海苔積層体９１の等級に関する等級情報を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。なお、入力層、中間層及び出力層に関しては、等級出力モデル１７１の入力層、中間層及び出力層と同様であるため、説明を省略する。

【0099】

例えばコンピュータ１は、訓練データＤＢ１７３に蓄積された秋芽の訓練データを用いて、秋芽用等級出力モデル１７４を生成する。秋芽の訓練データは、種類が秋芽である海苔積層体９１の表面画像と、該海苔積層体９１の等級に関する等級情報とが対応付けられた組み合わせのデータである。

【0100】

コンピュータ１は、取得した秋芽の訓練データを用いて学習を行うことにより、秋芽用等級出力モデル１７４を生成する。なお、秋芽用等級出力モデル１７４の学習処理は、等級出力モデル１７１の学習処理と同様であるため、説明を省略する。コンピュータ１は、生成した秋芽用等級出力モデル１７４に対してモデルＩＤを割り振る。コンピュータ１は、割り振ったモデルＩＤに対応付けて、生成した秋芽用等級出力モデル１７４を学習モデル管理ＤＢ１７６に記憶する。

【0101】

コンピュータ１は、種類が秋芽である海苔積層体９１の表面画像を取得した場合、取得した表面画像を秋芽用等級出力モデル１７４に入力する。コンピュータ１は、秋芽用等級出力モデル１７４の中間層にて、海苔積層体９１の表面画像の特徴量を抽出する演算処理を行う。コンピュータ１は、抽出した特徴量を秋芽用等級出力モデル１７４の出力層に入力して、種類が秋芽である海苔積層体９１の等級に関する等級情報を出力として取得する。

【0102】

例えば、種類が秋芽である海苔積層体９１の表面画像に対し、数字等級である「特等」、「１等」、「２等」、「３等」、「４等」それぞれの確率値が、「０．０１」、「０．８６」、「０．０５」、「０．０４」、「０．０４」である推定結果が出力されても良い。または、種類が秋芽である海苔積層体９１の表面画像に対し、数字等級と文字等級との組み合わせである「黒上１」、「黒１」、「黒２」、「並２」及び「並４」それぞれの確率値が、「０．０３」、「０．８４」、「０．０５」、「０．０２」、「０．０６」である推定結果が出力されても良い。

【0103】

また、所定閾値を利用することにより、推定結果を出力しても良い。例えばコンピュータ１は、「黒１」の確率値（０．８４）が所定閾値（例えば、０．８０）以上であると判定した場合、「黒１」を推定結果として出力する。なお、上述した閾値を利用せず、秋芽用等級出力モデル１７４が推定した各等級の確率値から、最も高い確率値に対応する等級を推定結果として出力しても良い。

【0104】

次に、冷凍用等級出力モデル１７５を生成する処理を説明する。冷凍用等級出力モデル１７５は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。冷凍用等級出力モデル１７５は、種類が冷凍である海苔積層体９１の表面画像を入力とし、当該海苔積層体９１の等級に関する等級情報を出力とするニューラルネットワークを構築済みの推定器である。

【0105】

コンピュータ１は、冷凍用等級出力モデル１７５として、種類が冷凍である海苔積層体９１の表面画像内における海苔の特徴量を学習するディープラーニングを行うことで冷凍用等級出力モデル１７５を生成する。なお、冷凍用等級出力モデル１７５の生成処理に関しては、秋芽用等級出力モデル１７４の生成処理と同様であるため、説明を省略する。

【0106】

なお、秋芽用等級出力モデル１７４及び冷凍用等級出力モデル１７５において、ＣＮＮの代わりに、ＲＣＮＮ、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ、ＹＯＬＯ、ＳＶＭ、ベイジアンネットワーク、トランスフォーマーネットワーク、または回帰木等の任意の物体検出アルゴリズムを使用しても良い。

【0107】

図１１は、秋芽用等級出力モデル及び冷凍用等級出力モデルの生成処理の手順を示すフローチャートである。コンピュータ１の制御部１１は、海苔積層体９１の表面画像と、当該表面画像に対応する海苔積層体９１の等級とが対応付けられた訓練データに対し、当該海苔積層体９１が秋芽か、または冷凍かの種類を入力部１４により取得する（ステップＳ１４１）。

【0108】

制御部１１は、当該訓練データを秋芽と、冷凍とに分類して、大容量記憶部１７の訓練データＤＢ１７３に記憶する（ステップＳ１４２）。なお、上述した処理（ステップＳ１４１～Ｓ１４２）が一度実行された場合、次回から処理の実行を省略することができる。

【0109】

制御部１１は、秋芽の訓練データを大容量記憶部１７の訓練データＤＢ１７３から取得する（ステップＳ１４３）。秋芽の訓練データは、種類が秋芽である海苔積層体９１の表面画像と、当該表面画像に対応する海苔積層体９１の等級とが対応付けられた訓練データである。

【0110】

制御部１１は、取得した秋芽の訓練データを用いて、海苔積層体９１の表面画像を入力として、当該海苔積層体９１の等級に関する等級情報を出力とする秋芽用等級出力モデル１７４を生成する（ステップＳ１４４）。制御部１１は、生成した秋芽用等級出力モデル１７４を大容量記憶部１７の学習モデル管理ＤＢ１７６に記憶する（ステップＳ１４５）。

【0111】

具体的には、制御部１１は、生成した秋芽用等級出力モデル１７４に対してモデルＩＤを割り振る。制御部１１は、割り振ったモデルＩＤに対応付けて、「秋芽」である学習モデルの種類、生成した秋芽用等級出力モデル１７４のファイル、及び生成日時を一つのレコードとして学習モデル管理ＤＢ１７６に記憶する。

【0112】

制御部１１は、冷凍の訓練データを大容量記憶部１７の訓練データＤＢ１７３から取得する（ステップＳ１４６）。冷凍の訓練データは、種類が冷凍である海苔積層体９１の表面画像と、当該表面画像に対応する海苔積層体９１の等級とが対応付けられた訓練データである。

【0113】

制御部１１は、取得した冷凍の訓練データを用いて、海苔積層体９１の表面画像を入力として、当該海苔積層体９１の等級に関する等級情報を出力とする冷凍用等級出力モデル１７５を生成する（ステップＳ１４７）。制御部１１は、生成した冷凍用等級出力モデル１７５を大容量記憶部１７の学習モデル管理ＤＢ１７６に記憶し（ステップＳ１４８）、一連の処理を終了する。

【0114】

具体的には、制御部１１は、生成した冷凍用等級出力モデル１７５に対してモデルＩＤを割り振る。制御部１１は、割り振ったモデルＩＤに対応付けて、「冷凍」である学習モデルの種類、生成した冷凍用等級出力モデル１７５のファイル、及び生成日時を一つのレコードとして学習モデル管理ＤＢ１７６に記憶する。

【0115】

なお、秋芽用等級出力モデル１７４及び冷凍用等級出力モデル１７５の生成順序は特に限定されるものではない。

【0116】

本実施形態によると、海苔積層体９１の種類（秋芽及び冷凍）に応じて、秋芽用等級出力モデル１７４または冷凍用等級出力モデル１７５を生成することが可能となる。

【0117】

（実施形態４）
実施形態４は、秋芽用等級出力モデル１７４または冷凍用等級出力モデル１７５を用いて、海苔の評価を２次元マトリクスで規定した評価表上に示される確度に関する情報を出力する形態に関する。なお、実施形態１～３と重複する内容については説明を省略する。

【0118】

図１２は、実施形態４におけるコンピュータの構成例を示すブロック図である。なお、図９と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、設定ＤＢ１７７が含まれる。設定ＤＢ１７７は、海苔積層体９１の等級を判定するための設定情報を記憶している。

【0119】

図１３は、設定ＤＢのレコードレイアウトの一例を示す説明図である。設定ＤＢ１７７は、ユーザＩＤ列、保存先列、種類列及び評価基準列を含む。ユーザＩＤ列は、各ユーザを識別するために、一意に特定されるユーザのＩＤを記憶している。保存先列は、海苔積層体９１の等級を判定した判定結果の保存場所を記憶している。種類列は、判定対象となる海苔積層体９１の種類（例えば、秋芽または冷凍）を記憶している。評価基準列は、海苔積層体９１の等級を評価する評価基準の値を記憶している。なお、評価基準に関しては後述する。

【0120】

図１４は、海苔積層体の等級を判定するための設定画面の一例を示す説明図である。当該画面は、保存先表示欄１２ａ、参照ボタン１２ｂ、種類ボックス１２ｃ、評価基準設定スライダー１２ｄ、及び適用ボタン１２ｅを含む。

【0121】

保存先表示欄１２ａは、海苔積層体９１の等級を判定した判定結果（判定記録）の保存先を表示する表示欄である。参照ボタン１２ｂは、判定結果の保存先の選択を受け付ける欄である。種類ボックス１２ｃは、秋芽か、または冷凍かの種類の選択を受け付けるボックス（選択欄）である。

【0122】

評価基準設定スライダー１２ｄは、海苔積層体９１の等級を評価する評価基準の値を設定するためのスライダー（設定欄）である。適用ボタン１２ｅは、各種の設定情報（保存先、種類及び判定基準等）を適用（記憶）するボタンである。

【0123】

コンピュータ１は、参照ボタン１２ｂのクリック（タッチ）操作を受け付けた場合、ユーザによる判定結果の保存先の選択を受け付ける。コンピュータ１は、受け付けた判定結果の保存先を保存先表示欄１２ａに表示する。コンピュータ１は、種類ボックス１２ｃの選択操作を受け付けた場合、ユーザによる海苔積層体９１の種類（例えば、秋芽または冷凍）の選択を受け付ける。

【0124】

コンピュータ１は、評価基準設定スライダー１２ｄの設定操作を受け付けた場合、ユーザにより設定された評価基準の値を評価基準設定スライダー１２ｄに設定する。なお、評価基準に関しては後述する。

【0125】

コンピュータ１は、適用ボタン１２ｅのタッチ操作を受け付けた場合、参照ボタン１２ｂにより選択された判定結果の保存先、種類ボックス１２ｃにより選択された海苔積層体９１の種類、及び評価基準設定スライダー１２ｄにより設定された評価基準の値を取得する。コンピュータ１は、ユーザＩＤに対応付けて、取得した保存先、海苔積層体９１の種類及び評価基準の値を設定ＤＢ１７７に記憶する。

【0126】

図１５は、実施形態４における海苔積層体の等級を判定する画面の一例を示す説明図である。なお、図４と重複する内容については同一の符号を付して説明を省略する。当該画面は、判定日時表示欄１３ａ、等級表示欄１３ｂ及びマトリクス表示欄１３ｃを含む。

【0127】

判定日時表示欄１３ａは、海苔積層体９１の等級を判定した判定日時を表示する表示欄である。等級表示欄１３ｂは、海苔積層体９１の等級を表示する表示欄である。マトリクス表示欄１３ｃは、海苔の評価を２次元マトリクスで規定した評価表上に示される確度に関する情報を表示する表示欄である。

【0128】

コンピュータ１は、等級判定ボタン１１ｄのタッチ操作を受け付けた場合、設定画面（図１４）により設定された設定情報（判定結果の保存先、海苔積層体９１の種類及び評価基準の値等）を設定ＤＢ１７７から取得する。コンピュータ１は、取得した設定情報に含まれる海苔積層体９１の種類に基づき、等級出力モデル（秋芽用等級出力モデル１７４または冷凍用等級出力モデル１７５）を特定する。例えば、コンピュータ１は、設定情報に含まれる海苔積層体９１の種類に基づき、秋芽用等級出力モデル１７４を特定する。

【0129】

以下では、秋芽用等級出力モデル１７４の例を説明するが、冷凍用等級出力モデル１７５にも同様に適用することができる。

【0130】

コンピュータ１は、特定した秋芽用等級出力モデル１７４のモデルＩＤに基づき、秋芽用等級出力モデル１７４の学習モデルファイルを学習モデル管理ＤＢ１７６から取得する。コンピュータ１は、海苔画像表示欄１１ａに表示されている海苔積層の表面画像を秋芽用等級出力モデル１７４に入力し、当該海苔積層体９１の等級に関する等級情報を出力する。

【0131】

等級情報は、一例とし、数字等級と文字等級との組み合わせにより得られた等級（例えば、黒３）、及び確率等を含む。数字等級は、数字の大小により評価する等級であり、文字等級は、「並」、「黒」、「ク」または「別」等を含む文字の相違により評価する等級である。例えば、種類が秋芽である海苔積層体９１の表面画像に対し、数字等級と文字等級との組み合わせである「黒３」、「黒４」及び「並３」それぞれの確率値が、「０．５５」、「０．４４」、「０．０１」であっても良い。

【0132】

コンピュータ１は、秋芽用等級出力モデル１７４から出力された確率値に基づき、２次元マトリクスで規定した評価表（ヒートマップ）を生成する。２次元マトリクスは、第１軸が数字の大小により評価する数字等級（１等～７等）、第２軸が並、黒、ク及び別を含む文字の相違により評価する文字等級による２次元マトリクスである。

【0133】

コンピュータ１は、秋芽用等級出力モデル１７４から出力された確率値に応じたヒートマップをマトリクス表示欄１３ｃに表示する。図示のように、ヒートマップ上の「黒３」に対応するセルに斜線（右上がり対角線）のハッチングで表され、「黒４」に対応するセルに横線のハッチングで表され、「並３」に対応するセルにひし形のハッチングで表されている。

【0134】

なお、ヒートマップの表現形式に限らず、マトリクス表示欄１３ｃに確率値をテキスト形式等で表示することができる。

【0135】

コンピュータ１は、判定日時を判定日時表示欄１３ａに表示する。コンピュータ１は、秋芽用等級出力モデル１７４が推定した各等級の確率値から、最も高い確率値に対応する等級を等級表示欄１３ｂに表示する。図示のように、最も高い確率値に対応する「黒３」が等級表示欄１３ｂに表示される。

【0136】

なお、等級表示欄１３ｂには、秋芽用等級出力モデル１７４が推定した複数の等級が表示されても良い。または、等級表示欄１３ｂには、秋芽用等級出力モデル１７４が推定した複数の等級のうち、所定閾値（例えば、０．５）以上である確率値に対応する等級が表示されても良い。

【0137】

コンピュータ１は、海苔積層体９１の等級を判定した判定結果を、取得した設定情報に含まれる判定結果の保存先に記憶する。

【0138】

また、設定情報に含まれる評価基準の値が、２次元マトリクスの第１軸上の数字等級に影響を与えるため、設定された評価基準の値に応じて、異なる判定結果が出力される。例えば、緩めから厳しくまでの評価基準の値の範囲は、０．１から１．０までである。例えば、「０．５」を評価基準の標準値として設定し、設定された評価基準の値が「０．５」未満である場合、緩め評価となる傾向（寛容化傾向）が見られる。または、設定された評価基準の値が「０．５」を超えた場合、厳しい評価となる傾向（厳格化傾向）が見られる。

【0139】

一例として、種類が秋芽である海苔積層体９１の表面画像に対し、数字等級と文字等級との組み合わせである「黒２」、「黒３」及び「並３」それぞれの確率値が、「０．４４」、「０．５５」、「０．０１」である。コンピュータ１は、評価基準の値が標準値（０．５）に設定された場合、最も高い確率値に対応する等級（「黒３」）を通常判定結果として出力する。

【0140】

また、コンピュータ１は、評価基準の値が緩めに設定された場合（例えば、０．４）、通常判定結果と同じ文字等級である「黒」に対し、最上位の等級（「黒２」）の確率値（０．４４）に所定の調整値（例えば、０．２）を加算する。コンピュータ１は、加算後の「黒２」の確率値（０．６４）が所定の閾値（例えば、０．５）以上である場合、「黒２」を等級表示欄１３ｂに表示する。なお、閾値による判定に限らず、例えば、コンピュータ１は、加算後の「黒２」の確率値が最も高い確率値である場合、「黒２」を等級表示欄１３ｂに表示しても良い。

【0141】

評価基準の値に応じて、複数の調整値が設けられても良い。例えば、評価基準の値が０．４以上且つ０．５未満である場合、調整値を０．２とし、評価基準の値が０．３以上且つ０．４未満である場合、調整値を０．３とし、評価基準の値が０．２以上且つ０．３未満である場合、調整値を０．４とし、評価基準の値が０．１以上且つ０．２未満である場合、調整値を０．５とし、評価基準の値が０．０以上且つ０．１未満である場合、調整値を０．６としても良い。

【0142】

評価基準の値がさらに緩めに設定された場合（例えば、０．２）、コンピュータ１は、通常判定結果と同じ文字等級である「黒」に対し、最上位の等級（「黒２」）の確率値（０．４４）に所定の調整値（例えば、０．４）を加算する。コンピュータ１は、加算後の「黒２」の確率値が所定の第１閾値（例えば、０．５）以上且つ第２閾値（例えば、０．７）未満ある場合、「黒２」を等級表示欄１３ｂに表示する。または、コンピュータ１は、加算後の「黒２」の確率値が所定の第２閾値（例えば、０．７）を超えた場合、最上位の等級（「黒２」）よりさらに上位の等級（「黒１」）を特定する。上述した例では、加算後の「黒２」の確率値が０．８４であり、「黒１」が等級表示欄１３ｂに表示される。

【0143】

もう一例として、種類が秋芽である海苔積層体９１の表面画像に対し、数字等級と文字等級との組み合わせである「黒４」、「黒３」及び「並３」それぞれの確率値が、「０．４４」、「０．５５」、「０．０１」である。コンピュータ１は、評価基準の値が標準値（０．５）に設定された場合、最も高い確率値に対応する等級（「黒３」）を通常判定結果として出力する。

【0144】

また、コンピュータ１は、評価基準の値が厳しく設定された場合（例えば、０．６）、通常判定結果と同じ文字等級である「黒」に対し、最下位の等級（「黒４」）の確率値（０．４４）に所定の調整値（例えば、０．２）を加算する。コンピュータ１は、加算後の「黒４」の確率値（０．６４）が所定の閾値（例えば、０．５）以上である場合、「黒４」を等級表示欄１３ｂに表示する。

【0145】

評価基準の値に応じて、複数の調整値が設けられても良い。例えば、評価基準の値が０．５より大きい且つ０．６以下である場合、調整値を０．２とし、評価基準の値が０．６より大きい且つ０．７以下である場合、調整値を０．３とし、評価基準の値が０．７より大きい且つ０．８以下である場合、調整値を０．４とし、評価基準の値が０．８より大きい且つ０．９以下である場合、調整値を０．５とし、評価基準の値が０．９より大きい且つ１．０以下である場合、調整値を０．６としても良い。

【0146】

評価基準の値がさらに厳しく設定された場合（例えば、０．７）、コンピュータ１は、通常判定結果と同じ文字等級である「黒」に対し、最下位の等級（「黒４」）の確率値（０．４４）に所定の調整値（例えば、０．３）を加算する。コンピュータ１は、加算後の「黒４」の確率値が所定の第１閾値（例えば、０．５）以上且つ第２閾値（例えば、０．７）未満ある場合、「黒４」を等級表示欄１３ｂに表示する。または、コンピュータ１は、加算後の「黒４」の確率値が所定の第２閾値（例えば、０．７）を超えた場合、最下位の等級（「黒４」）よりさらに下位の等級（「黒５」）を特定する。上述した例では、加算後の「黒４」の確率値が０．７４であり、「黒５」が等級表示欄１３ｂに表示される。

【0147】

図１６は、海苔積層体の等級を判定する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、ユーザにより入力（設定）された設定情報を入力部１４により受け付ける（ステップＳ１５１）。設定情報は、判定結果の保存先、海苔積層体９１の種類及び評価基準の値等を含む。

【0148】

制御部１１は、ユーザＩＤに対応付けて、受け付けた設定情報を大容量記憶部１７の設定ＤＢ１７７に記憶する（ステップＳ１５２）。具体的には、制御部１１は、ユーザＩＤに対応付けて、受け付けた判定結果の保存先、海苔積層体９１の種類及び評価基準の値を設定ＤＢ１７７に記憶する。

【0149】

なお、上述した処理（ステップＳ１５１～Ｓ１５２）が一度実行された場合、次回から処理の実行を省略することができる。

【0150】

制御部１１は、撮像装置３から海苔積層体９１の表面画像を通信部１３により取得する（ステップＳ１５３）。制御部１１は、設定情報（判定結果の保存先、海苔積層体９１の種類及び評価基準の値等）を大容量記憶部１７の設定ＤＢ１７７から取得する（ステップＳ１５４）。制御部１１は、取得した設定情報に含まれる海苔積層体９１の種類に基づき、等級出力モデル（秋芽用等級出力モデル１７４または冷凍用等級出力モデル１７５）を特定する（ステップＳ１５５）。

【0151】

制御部１１は、特定した等級出力モデルのモデルＩＤに基づき、等級出力モデルの学習モデルファイルを大容量記憶部１７の学習モデル管理ＤＢ１７６から取得する（ステップＳ１５６）。制御部１１は、取得した海苔積層体９１の表面画像を等級出力モデルに入力し（ステップＳ１５７）、当該海苔積層体９１の等級に関する等級情報を出力する（ステップＳ１５８）。

【0152】

等級情報は、数字等級、文字等級、もしくは数字等級と文字等級との組み合わせにより得られた等級（例えば、黒３）、及び、各等級に対応する確率等を含む。制御部１１は、設定情報に含まれる評価基準の値に応じて、数字等級を変更する処理のサブルーチンを実行する（ステップＳ１５９）。なお、数字等級の変更処理のサブルーチンに関しては後述する。

【0153】

制御部１１は、等級出力モデルから出力された確率値に基づき、２次元マトリクスで規定した評価表を生成する（ステップＳ１６０）。制御部１１は、生成した評価表を表示部１５により表示する（ステップＳ１６１）。制御部１１は、海苔積層体９１の等級を判定した判定結果を、取得した設定情報に含まれる判定結果の保存先に記憶する（ステップＳ１６２）。制御部１１は、処理を終了する。

【0154】

図１７は、数字等級を変更する処理のサブルーチンの処理手順を示すフローチャートである。コンピュータ１の制御部１１は、設定情報から評価基準の値を取得する（ステップＳ０１）。制御部１１は、取得した評価基準の値が標準値（例えば、０．５）であるか否かを判定する（ステップＳ０２）。制御部１１は、取得した評価基準の値が標準値である場合（ステップＳ０２でＹＥＳ）、制御部１１は、数字等級の変更処理のサブルーチンを終了してリターンする。

【0155】

制御部１１は、取得した評価基準の値が標準値でない場合（ステップＳ０２でＮＯ）、当該評価基準の値が標準値未満であるか否かを判定する（ステップＳ０３）。制御部１１は、当該評価基準の値（例えば、０．４）が標準値未満である場合（ステップＳ０３でＹＥＳ）、通常判定結果と同じ文字等級（例えば、「黒」）に対し、最上位の等級の確率値に所定の調整値（例えば、０．２）を加算する（ステップＳ０４）。制御部１１は、加算後の最上位の等級の確率値が所定の閾値（例えば、０．５）以上であるか否かを判定する（ステップＳ０６）。

【0156】

制御部１１は、加算後の最上位の等級の確率値が所定の閾値以上である場合（ステップＳ０６でＹＥＳ）、変更後の等級を取得する（ステップＳ０７）。制御部１１は、数字等級の変更処理のサブルーチンを終了してリターンする。制御部１１は、加算後の最上位の等級の確率値が所定の閾値未満である場合（ステップＳ０６でＮＯ）、数字等級の変更処理のサブルーチンを終了してリターンする。

【0157】

制御部１１は、当該評価基準の値（例えば、０．６）が標準値を超えた場合（ステップＳ０３でＮＯ）、通常判定結果と同じ文字等級（例えば、「黒」）に対し、最下位の等級の確率値に所定の調整値（例えば、０．２）を加算する（ステップＳ０５）。制御部１１は、ステップＳ０６の処理に遷移する。

【0158】

本実施形態によると、秋芽用等級出力モデル１７４または冷凍用等級出力モデル１７５を用いて、海苔の評価を２次元マトリクスで規定した評価表上に示される確度に関する情報を出力することが可能となる。

【0159】

本実施形態によると、設定された評価基準の値に応じて、数字等級を示す２次元マトリクスの第１軸上の数字等級を変更することが可能となる。

【0160】

（実施形態５）
実施形態５は、撮像タイミング制御により撮像された海苔積層体９１の表面画像を取得する形態に関する。なお、実施形態１～４と重複する内容については説明を省略する。

【0161】

本実施形態では、情報処理装置１（コンピュータ１）、搬送装置２、撮像装置３、近接センサ５及び光源装置６（図示なし）を含む。なお、搬送装置２、撮像装置３及び近接センサ５は、実施形態２と同様であるため、説明を省略する。

【0162】

光源装置６は、海苔積層体９１を照射するため、照明光を発する光源を備える装置である。光源装置６は、ＬＥＤ（light emitting diode）またはプロジェクタを用いることができる。なお、他の光源装置、例えば無電極光源を用いても良い。なお、本実施形態では、光源装置６は、撮像装置３から分離しているが、これに限るものではない。例えば、光源装置６が撮像装置３に内蔵された一体型であっても良い。

【0163】

近接センサ５は、搬送装置２により搬送された海苔積層体９１を検出した場合、当該海苔積層体９１の検出結果をコンピュータ１に送信する。コンピュータ１は、近接センサ５から送信された検出結果に応じて、海苔積層体９１の表面を撮像する撮像指示を撮像装置３に送信する。

【0164】

撮像装置３は、コンピュータ１から送信された撮像指示に応じて、当該海苔積層体９１の検出から一定期間（例えば、１０マイクロ秒）後に、当該海苔積層体９１を照射するための光源装置６をオンにする。撮像装置３は、当該光源装置６をオンにした後の一定時間（例えば、５マイクロ秒）後に、露光をオンにして当該海苔積層体９１の表面画像を撮像する。露光は、撮像素子（イメージセンサー）を外界の光に対して露わにすることを指す。撮像装置３は、撮像した当該海苔積層体９１の表面画像を生成する。撮像装置３は、生成した海苔積層体９１の表面画像をコンピュータ１に送信する。

【0165】

なお、本実施形態では、近接センサ５が海苔積層体９１の検出結果をコンピュータ１に送信した例を説明したが、これに限るものではない。例えば、タイミングコントローラ（図示なし）を利用しても良い。この場合、近接センサ５は、海苔積層体９１の検出結果をタイミングコントローラに送信する。タイミングコントローラは、近接センサ５から送信された検出結果に応じて、海苔積層体９１の表面を撮像する撮像指示を撮像装置３に送信する。

【0166】

図１８は、海苔積層体の表面画像を取得する際の処理手順を示すフローチャートである。なお、図７と重複する内容については同一の符号を付して説明を省略する。撮像装置３は、ステップＳ３１１を実行した後に、当該海苔積層体９１の検出から一定時間（例えば、１０マイクロ秒）が経過したか否かを判定する（ステップＳ３７１）。撮像装置３は、一定時間が経過していないと判定した場合（ステップＳ３７１でＮＯ）、待機する。

【0167】

撮像装置３は、一定時間が経過したと判定した場合（ステップＳ３７１でＹＥＳ）、当該海苔積層体９１を照射するための光源装置６をオンにさせる（ステップＳ３７２）。撮像装置３は、当該光源装置６をオンにさせた後の一定時間（例えば、５０ナノ秒）が経過したか否かを判定する（ステップＳ３７３）。撮像装置３は、一定時間が経過していないと判定した場合（ステップＳ３７３でＮＯ）、待機する。

【0168】

撮像装置３は、一定時間が経過したと判定した場合（ステップＳ３７３でＹＥＳ）、露光をオンにする（ステップＳ３７４）。撮像装置３は、ステップＳ３１２の処理を実行する。

【0169】

本実施形態によると、撮像タイミング制御により撮像された海苔積層体９１の表面画像を取得することが可能となる。

【0170】

（実施形態６）
実施形態６は、海苔積層体９１の表面画像に対して色変換処理を行う形態に関する。なお、実施形態１～５と重複する内容については説明を省略する。

【0171】

撮像装置３が高忠実色再現撮像装置ではなく、産業用の撮像装置である場合、当該撮像装置３により撮像された海苔積層体９１の表面画像の色域における色再現性が低いため、低い色再現性を高忠実色再現性に近づけるための色変換処理を行うことが必要である。

【0172】

図１９は、色変換処理を説明する説明図である。図１９Ａは、色変換処理を行う際の処理手順を示す説明図である。コンピュータ１は、海苔積層体９１の表面画像を撮像装置３から取得する。例えば、コンピュータ１は、表面画像の生データ（RGB RAW）を撮像装置３から取得しても良い。コンピュータ１は、取得した表面画像に対してホワイトバランス補正（色補正）を行う。なお、ホワイトバランス補正処理は必須ではなく、省略することが可能である。

【0173】

コンピュータ１は、ホワイトバランス補正後の表面画像の色域を複数の小領域色域に分割する。コンピュータ１は、例えば、表面画像の色域を縦横４×４＝１６枚の小領域色域に分割する。なお、分割する小領域色域の数は、後述する色差（ΔＥ００）値の分布によって決定されても良い。小領域色域の数はＧＰＵのメモリサイズ等の計算機の処理能力の範囲内であれば特に限定されるものではない。

【0174】

コンピュータ１は、分割した小領域色域毎に色変換処理を行う。なお、色変換処理に関しては後述する。コンピュータ１は、色変換処理を行った各小領域色域に対応する画像を連結（結合）することにより、色変換処理を行った画像（変換後の表面画像）を出力する。

【0175】

変換後の表面画像は、一例として、ｓＲＧＢ（standard RGB）である。ｓＲＧＢは、ＩＥＣ（国際電気標準会議）が定めたＲＧＢ色空間の標準規格のことを指している。ｓＲＧＢ画像に変換すると、モニター、撮像装置またはスキャナ等の装置で同一の色再現結果を得ることができる。

【0176】

図１９Ｂは、色変換処理を説明する説明図である。変換式１４ａは、ＲＧＢからＸＹＺに変換するマトリクス１４ｅを用いて、色変換処理を行うための変換式である。マトリクス１４ｅは、ＲＧＢからＸＹＺに変換するための３行３列の行列（マトリクス）である。

【0177】

図示のように、マトリクス１４ｅには、要素ｍ１１、ｍ１２、ｍ１３、ｍ２１、ｍ２２、ｍ２３、ｍ３１、ｍ３２及びｍ３３が含まれる。撮像装置３により撮像された海苔積層体９１の表面画像の生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）を変換式１４ａで変換することにより、ＸＹＺ画像データ（Ｘ,Ｙ,Ｚ）が得られる。

【0178】

三刺激値（ＸＹＺ）１４ｂは、カラーチェッカー（例えば、x-rite ColorChecker（登録商標））を分光放射輝度計で測定した各色票の値である。三刺激値（ＸＹＺ）１４ｂは、基準値（参照値）となる。生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）１４ｃは、撮像装置３により撮像された表面画像の生データである。変換後画像データ（Ｘ,Ｙ,Ｚ）１４ｄは、色変換処理を行うことにより得られた表面画像（ＸＹＺ画像）の画像データである。

【0179】

高忠実色である場合、Ｘ：Ｙ：ＺとＲ：Ｇ：Ｂとの比率がほぼ同じになるが、産業用の撮像装置３により撮像された海苔積層体９１の表面画像の色再現性は一般的に低いため、コンピュータ１は、変換式１４ａに基づき、低い色再現性を高忠実色再現性に近づけるための色変換処理を行う。

【0180】

マトリクス１４ｅに含まれる各要素（m11,m12,m13,m21,m22,m23,m31,m32,m33）の値は、三刺激値（ＸＹＺ）１４ｂと変換後画像データ（Ｘ,Ｙ,Ｚ）１４ｄとの各要素の差分の総和が最小になるように、一般縮小勾配法を用いた数理モデルの最適化方法により得られる。

【0181】

例えば、表計算ソフトウェアＥｘｃｅｌ（登録商標、マイクロソフト社製）のソルバー機能において、「目的セルの設定」において誤差のセルを選択し、「目標値」において「最小値」を選択し、「変数セルの変更」において最適化すべきパラメータのセルを選択し、「解決方法の選択」において「ＧＲＧ非線形」を選択した上で、解決ボタンを押下することによって行うことができる。

【0182】

なお、最適化の手法としては、ＧＲＧ非線形（非線形最小二乗法）に限らず、例えば、最急降下法、遺伝的アルゴリズム、またはＰａｔｔｅｒｎＳｅａｒｃｈ法等の勾配を用いる最適化アルゴリズムを用いることが可能である。

【0183】

また、コンピュータ１は、表面画像の色域を複数の小領域色域に分割した場合、小領域色域毎に、マトリクス１４ｅに含まれる各要素（m11,m12,m13,m21,m22,m23,m31,m32,m33）の値を求める。例えば、コンピュータ１は、表面画像の色域を縦横３×３＝９枚の小領域色域（Img1,Img2,…,Img9）に分割した場合、一般縮小勾配法を用いた数理モデルの最適化方法を利用し、それぞれの小領域色域におけるマトリクス１４ｅ（14e1,14e2,…,14e9）に含まれる各要素を求める。

【0184】

以下では、生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）が（33.10,46.29,76.08）である例を挙げて説明する。コンピュータ１は、（33.10,46.29,76.08）である生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）を変換式１４ａで変換することにより、（43.60,47.95,85.12）である変換後画像データ（Ｘ,Ｙ,Ｚ）を得る。

【0185】

図２０は、色再現性を示す散布図の一例を示す説明図である。散布図１５ａは、撮像装置３により撮像された生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）と、カラーチェッカーの各色票の三刺激値（ＸＹＺ）から得られたｘｙ色度とをプロットしたものである。すなわち、散布図１５ａは、カメラの色再現性を示す色度図である。散布図１５ａの横軸は刺激値ｘを示し、縦軸は刺激値ｙを示す。

【0186】

撮像された生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）を散布図１５ａ上に表示するために、生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）は、便宜上に三刺激値（ＸＹＺ）と見なして計算に用いられる。従って、ｘ値は以下の式（１）で計算され、ｙ値は以下の式（２）で計算される。
ｘ＝Rraw/( Rraw+Graw+Braw) …（１）
ｙ＝Graw/( Rraw+Graw+Braw) …（２）

【0187】

ｓＲＧＢ色域における色再現性は、色差に表されている。色差が小さいほど色再現性が良くなる。色差の具体的な算出方法としては、特に限定されないが、公知の色差式を用いた方法が挙げられる。この色差式としては、例えば、ＣＩＥ７６色差式（ΔＥ７６）、ＣＩＥ９４色差式（ΔＥ９４）、ＣＭＣ色差式（ΔＥｃｍｃ）、またはＣＩＥＤＥ２０００色差式（ΔＥ００）等が挙げられる。

【0188】

例えば、ＣＩＥＤＥ２０００色差式を用いて、ｓＲＧＢ画像（全体）の色域１５ｂの色差（ΔＥ００）が１４．３であり、第１小領域の色域１５ｃの色差（ΔＥ００）が０．６７であり、第２小領域の色域１５ｄの色差（ΔＥ００）が０．２９である。第２小領域の色域１５ｄは、第１小領域の色域１５ｃより小さい色域である。

【0189】

図２０に示されているように、小領域色域における色再現性は、ｓＲＧＢ画像色域全体における色再現性より向上している。コンピュータ１は、海苔積層体９１の表面画像の色域を複数の小領域色域に分割する。コンピュータ１は、分割した小領域色域毎に色変換処理を行う。コンピュータ１は、色変換処理を行った各小領域色域に対応する画像を変換後の表面画像に連結する。これによって、海苔積層体９１の表面画像の色域における色再現性を向上することができる。

【0190】

図２１は、色変換処理を行う際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、撮像装置３から海苔積層体９１の表面画像の生データ（ＲＧＢ ＲＡＷ）を通信部１３により取得する（ステップＳ１８１）。制御部１１は、取得した表面画像に対してホワイトバランス補正を行う（ステップＳ１８２）。制御部１１は、ホワイトバランス補正後の表面画像の色域を複数の小領域色域に分割する（ステップＳ１８３）。

【0191】

制御部１１は、分割した複数の小領域色域のうち、１つの小領域色域を取得する（ステップＳ１８４）。制御部１１は、取得した小領域色域に対して色変換処理を行う（ステップＳ１８５）。具体的には、制御部１１は、一般縮小勾配法を用いた数理モデルの最適化方法を利用し、取得した小領域色域における変換式１４ａのマトリクス１４ｅに含まれる各要素（m11,m12,m13,m21,m22,m23,m31,m32,m33）を求める。制御部１１は、マトリクス１４ｅに含まれる各要素を求めることにより、当該小領域色域に対応する変換式１４ａを特定する。制御部１１は、生データ（Ｒ_ＲＡＷ,Ｇ_ＲＡＷ,Ｂ_ＲＡＷ）を、特定した変換式１４ａで変換することにより、色変換後の小領域色域の画像データ（Ｘ,Ｙ,Ｚ）を得る。

【0192】

制御部１１は、色変換後の小領域色域に対応する画像を記憶部１２または大容量記憶部１７に一時的に記憶する（ステップＳ１８６）。制御部１１は、複数の小領域色域のうち、当該小領域色域が最後の小領域色域であるか否かを判定する（ステップＳ１８７）。制御部１１は、当該小領域色域が最後の小領域色域でない場合（ステップＳ１８７でＮＯ）、ステップＳ１８４の処理に戻る。

【0193】

制御部１１は、当該小領域色域が最後の小領域色域である場合（ステップＳ１８７でＹＥＳ）、色変換後の各小領域色域に対応する画像を色変換後の表面画像に連結する（ステップＳ１８８）。制御部１１は、連結した色変換後の表面画像を等級出力モデル（等級出力モデル１７１、秋芽用等級出力モデル１７４または冷凍用等級出力モデル１７５）に入力する（ステップＳ１８９）。制御部１１は、処理を終了する。

【0194】

本実施形態によると、海苔積層体９１の表面画像に対して色変換処理を行うことにより、当該表面画像の色域における色再現性を向上することが可能となる。

【0195】

本実施形態によると、色変換処理を行った表面画像に基づき、等級出力モデル１７１、秋芽用等級出力モデル１７４または冷凍用等級出力モデル１７５等の深層学習モデルを用いて、海苔積層体９１の等級の判定精度を向上することが可能となる。

【0196】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0197】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0198】

１ 情報処理装置（コンピュータ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 等級出力モデル（深層学習モデル）
１７２ 等級情報ＤＢ
１７３ 訓練データＤＢ
１７４ 秋芽用等級出力モデル（秋芽学習モデル）
１７５ 冷凍用等級出力モデル（冷凍学習モデル）
１７６ 学習モデル管理ＤＢ
１８ 撮像部
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 搬送装置
３ 撮像装置
４ コード読取装置
５ 近接センサ
２０ 搬送コンベア
９１ 海苔積層体
９２ 帯
９３ コード

【要約】

【課題】海苔の等級評価が容易となる深層学習モデルの生成方法等を提供すること。
【解決手段】一つの側面に係る深層学習モデルの生成方法は、複数の海苔が積層された海苔積層体の表面画像、及び、該海苔積層体の等級を含む訓練データを取得し、取得した訓練データに基づき、複数の海苔が積層された海苔積層体の表面画像を入力した場合に、前記海苔積層体の等級を出力する深層学習モデルを生成する処理を実行させることを特徴とする。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】