IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社大坪鉄工の特許一覧

特許7333117海苔等級学習システム、海苔等級学習方法、およびプログラム
<>
  • 特許-海苔等級学習システム、海苔等級学習方法、およびプログラム 図1
  • 特許-海苔等級学習システム、海苔等級学習方法、およびプログラム 図2
  • 特許-海苔等級学習システム、海苔等級学習方法、およびプログラム 図3
  • 特許-海苔等級学習システム、海苔等級学習方法、およびプログラム 図4
  • 特許-海苔等級学習システム、海苔等級学習方法、およびプログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-08-16
(45)【発行日】2023-08-24
(54)【発明の名称】海苔等級学習システム、海苔等級学習方法、およびプログラム
(51)【国際特許分類】
   G06Q 10/06 20230101AFI20230817BHJP
   G06Q 50/10 20120101ALI20230817BHJP
【FI】
G06Q10/06
G06Q50/10
【請求項の数】 7
(21)【出願番号】P 2022205534
(22)【出願日】2022-12-22
【審査請求日】2022-12-22
【早期審査対象出願】
(73)【特許権者】
【識別番号】000149457
【氏名又は名称】株式会社オーツボ
(74)【代理人】
【識別番号】100177220
【弁理士】
【氏名又は名称】小木 智彦
(72)【発明者】
【氏名】大坪 誠一郎
(72)【発明者】
【氏名】春野 卯一郎
(72)【発明者】
【氏名】米田 朋生
【審査官】小池 堂夫
(56)【参考文献】
【文献】特開平11-000142(JP,A)
【文献】特開平04-117267(JP,A)
【文献】特開2021-120205(JP,A)
【文献】特開2020-199463(JP,A)
【文献】“ソホビービー株式会社事業紹介”,未来Innovation in 九州 2021 [online] ,2021年09月01日,第21-22頁
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
A23L 17/60
G01N 21/84-21/958
(57)【特許請求の範囲】
【請求項1】
海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムであって、
海苔の表面画像を撮像する撮像部と、
作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得する取得部と、
前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部と、
を備える海苔等級学習データ収集システム。
【請求項2】
記コードは、前記等級表示印の側面に少なくとも1つ付与される請求項1に記載の海苔等級学習データ収集システム。
【請求項3】
前記コードは、2次元コードである請求項2に記載の海苔等級学習データ収集システム。
【請求項4】
前記コードは、データマトリックスコードである請求項2に記載の海苔等級学習データ収集システム。
【請求項5】
前記コードは、前記等級を2桁または3桁の数字で示した識別子から生成される請求項2に記載の海苔等級学習データ収集システム。
【請求項6】
海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムにおける海苔等級学習データ収集方法であって、
海苔の表面画像を撮像するステップと、
作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得するステップと、
前記海苔の表面画像と、前記等級と、を対応付けて記憶するステップと、
を含む方法。
【請求項7】
海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムを、
海苔の表面画像を撮像する撮像部、
作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得する取得部、
前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部、
として機能させるコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、海苔等級学習システム、海苔等級学習方法、およびプログラムに関する。
【背景技術】
【0002】
海苔の市場価格は、等級によって決定されるため、生産者にとって、海苔の等級判定は重要な関心事である。等級判定は、乾海苔の状態で、漁業組合において、特定の検査員の目視により実施されている。しかし、人による等級判定では、例えば、検査員によって、また同じ検査員であっても疲労などによって判定結果にばらつきが生じるという問題点があった。また、検査員の高齢化による後継者不足が深刻となっているという問題点もあった。そのため、乾海苔の等級判定の自動化が要望されている。
【0003】
例えば、特許文献1には、乾海苔の色彩を色彩色差計によって測定して、L表色系における色彩値であるb値を得た後、得られたb値に基づいて乾海苔の品質を判定する判定方法が開示されている。また、特許文献2には、乾海苔をカラー撮像装置で撮像しそれをA/D変換して得た画像の各画素のRGB値に基づいて乾海苔の品質を検査する方法が開示されている
【先行技術文献】
【特許文献】
【0004】
【文献】特開2002‐207012号公報
【文献】特許3230217号
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、特許文献1、2に記載の方法などによって乾海苔の等級を自動で判定する場合に、判定精度を高めるためには、機械学習モデル(単に学習モデルともいう)を活用するのが好ましい。しかしながら、機械学習モデルを構築するためには、学習データとなる、検査員によって等級判定された乾海苔のデータが大量に必要であり、この大量のデータを効率的に収集するシステムはない。
【0006】
そこで、本発明は、上記課題に鑑みて、乾海苔の等級を高い精度で判定可能な学習モデルを構築するのに必要な学習データを効率よく収集する海苔等級学習システム、海苔等級学習方法、およびプログラムを提供する。
【課題を解決するための手段】
【0007】
本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムであって、海苔の表面画像を撮像する撮像部と、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得する取得部と、前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部と、を備える海苔等級学習データ収集システムを提供する。
【0008】
また、本発明は、前記コードは、前記等級表示印の側面に少なくとも1つ付与される海苔等級学習データ収集システムを提供する。
【0009】
また、本発明は、前記コードは、2次元コードである海苔等級学習データ収集システムを提供する。
【0010】
また、本発明は、前記コードは、データマトリックスコードである海苔等級学習データ収集システムを提供する。
【0011】
また、本発明は、前記コードは、前記等級を2桁または3桁の数字で示した識別子から生成される海苔等級学習データ収集システムを提供する。
【0012】
また、本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムにおける海苔等級学習データ収集方法であって、海苔の表面画像を撮像するステップと、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得するステップと、前記海苔の表面画像と、前記等級と、を対応付けて記憶するステップと、を含む方法を提供する。
【0013】
また、本発明は、海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習データ収集システムを、海苔の表面画像を撮像する撮像部、作業員が等級表示印で前記海苔の帯上に等級を押印する際に、当該等級表示印から前記等級を示すコードを取得し、前記コードを読み取ることで前記等級を取得する取得部、前記海苔の表面画像と、前記等級と、を対応付けて記憶する学習データ記憶部、として機能させるコンピュータ読み取り可能なプログラムを提供する。
【発明の効果】
【0014】
本発明によれば、乾海苔の等級を高い精度で判定可能な学習モデルを構築するのに必要な学習データを効率よく収集することができる。
【図面の簡単な説明】
【0015】
図1】海苔等級学習処理システムの概要を説明する図である。
図2】海苔等級処理システムの機能構成を示す図である。
図3】海苔等級処理システムで用いる、海苔の等級表示印の一例を示す正面図である。
図4】海苔の等級名と等級コードとを対応付けた等級一覧を模式的に示す図である。
図5】海苔等級学習システムの海苔等級学習処理を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、添付図面を参照して、本発明を実施するための形態(以下、実施形態)について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号または符号を付している。
<第1の実施形態>
【0017】
[基本概念/基本構成]
図1は、本発明の第1の実施形態に係る海苔等級学習システム1の概要を説明するための図である。図1に示すように海苔等級学習システム1は、海苔等級学習装置100と、撮像装置200と、取得装置300と、搬送装置400と、を備える。
【0018】
生産者によって梱包箱Pに箱詰めされた海苔積層体が、梱包箱Pから取り出されて搬送装置400に投入される(S1)。海苔積層体は、10帖の海苔を束ねて海苔帯(以下、単に帯という)Bと呼ばれる紙帯で閉じられたものであって、一般的に1つの梱包箱Pに36個詰められている。以下、海苔積層体を単に海苔Nといい、搬送装置400で搬送される海苔を区別する場合には、N(i=1,2,・・・nとする)とする。搬送装置400への海苔Nの投入は、作業員が行ってもよいし、ロボットアーム等を用いて自動でおこなってもよい。
【0019】
搬送装置400に投入された海苔Nが所定位置まで搬送方向に進むと、撮像装置200は、海苔Nの表面画像を撮影し(S2)、撮像した海苔Nの表面画像を海苔等級学習装置100に送信する(S3)。
【0020】
取得装置300は、作業員が海苔Nの帯上に等級表示印Sで等級を押印する際に、等級表示印Sから等級を取得する。本実施形態では、等級表示印Sの等級として2次元コードが等級表示印Sの側面に付与されており、取得装置300はコードリーダである。よって、本実施形態において、具体的には、コードリーダである取得装置300が、等級表示印Sに付与された2次元コードを読み取り、2次元コードをデコードして等級を取得する(S4)。
取得装置300は、取得した等級を海苔等級学習装置100に送信する(S5)。
【0021】
海苔等級学習装置100は、受信した海苔Nの表面画像と受信した海苔Nの等級とを対応付けて、学習データとして記憶する(S6)。
【0022】
このような海苔等級学習システムによれば、海苔の等級判定の学習モデルを生成するための学習データとして必要な、判定対象の海苔の表面画像を自動で撮影して取得し、かつ正解の判定結果である作業員が海苔の帯上に押印する等級を、押印する際に等級表示印から自動で取得することができ、海苔の表面画像と当該海苔の等級とを対応付けた学習データを効率よく迅速に収集することができる。
【0023】
[機能構成]
図2は本発明の第1の実施形態に係る海苔等級学習システム1の機能構成を説明するための図である。図に示すように、海苔等級学習システム1は、海苔等級学習装置100と、撮像装置200と、取得装置300と、搬送装置400とを備える。撮像装置200および取得装置300は、有線または無線で海苔等級学習装置100と接続されている。
本実施形態において、撮像装置200および取得装置300は、海苔等級学習装置100から独立した装置であるが、海苔等級学習装置100に備えられ、各機能部として機能してもよい。また、撮像装置200と取得装置300とはそれぞれ独立した装置であるが、1つの装置であってもよい。さらに、本実施形態において、搬送装置400は、海苔等級学習装置100から独立し、かつ海苔等級学習装置100と接続されていない。
【0024】
搬送装置400は、海苔Nを搬送する、例えば、ベルトコンベアーである。具体的には、搬送装置400は、作業員等によって梱包箱Pに箱詰めされている海苔Nが投入され、投入された海苔Nを上流から下流へと搬送する。
【0025】
なお、搬送装置400が搬送する海苔Nは、重なることなく、また、積層方向に水平な平面が上部となっているのが望ましい。収集する学習データの質を高めるためである。また、搬送装置400が搬送する海苔Nは、所定の間隔を空けて投入されるのが望ましい。後述する撮像装置200で撮影する際に、隣り合う海苔Nの表面画像が入り込むのを防ぐためや、作業員が等級を押印する際に海苔の詰まりが生じるのを防ぐためである。
【0026】
撮像装置200は、検知部210と、撮像部220とを備え、搬送装置400で搬送される海苔Nの表面画像を撮影する。詳細には、まず、検知部210が、搬送装置400で搬送される海苔Nが撮影範囲に入ったことを検知する。そして、検知されたことに応じて、撮像部220が、撮影範囲にある海苔Nの表面画像を撮影する。
【0027】
検知部210は、撮影範囲に海苔が入った否かを検知できるものであればよく、例えば光電センサーである。搬送装置400がベルトコンベアーである場合、検知部210が、搬送装置400で搬送される海苔Nが撮影範囲に入ったこと検知しやすいように、ベルトの表面色を白をはじめとする淡色とするのが望ましい。海苔Nは黒または濃緑であるので、海苔Nとベルトの表面とのコントラストを高くすることで、検知部210が海苔Nを検知しやすくなる。
【0028】
取得装置300は、検知部310と、取得部320とを備え、作業員が海苔Nの帯B上に等級表示印Sで等級を押印する際に、等級表示印Sから等級を取得する。
本実施形態では、等級表示印Sの等級として2次元コードが等級表示印Sの側面に付与されており、取得装置300はコードリーダである。
取得装置300は、等級表示印Sで等級を押印する作業員の上や前面、横に設置され、作業員から離れて、例えば2m離れて、設置されてもよい。
【0029】
ここで、等級表示印Sについて、図3に示す一例を用いて説明する。
等級表示印Sは、海苔Nの等級を海苔Nの帯B上に押印するための、いわゆるハンコである。
等級表示印Sは、等級が彫ってある印面510、印面に接した面である印側520、および印面の反対側にあってハンコの天頂部である天530から構成される。図において等級表示印Sは角印であるが、丸印であってもよい。また、図において、等級表示印Sは、角柱状の寸胴とであるが、天530から印面510までの間にくびれがある天丸であってもよい。
【0030】
等級表示印Sは、印側520の印面側に、印面に彫ってある等級として2次元コード540を備える。
2次元コード540は、印側520の印面側に少なくとも1つ備えられればよいが、複数備えられるのが望ましい。例えば、図に示す寸胴の等級表示印Sでは、各側面に2次元コード540が備えられるのが望ましい。
【0031】
2次元コード540は、データマトリックスコード、QRコード、マイクロQRコードなどであってよいが、好ましくはデータマトリックスコードである。データマトリックスコードは、コードを構成する四角形のセルを大きく構成でき、コードの読み取りの精度や速さが高いためである。
2次元コード540は、等級から生成されてもよいし、等級を2桁または3桁の数字やアルファベットで示した識別子から生成されてもよい。図4に、海苔の等級の名称である等級名と、等級を2桁または3桁の数字で示した識別子である等級コードとを対応付けた一覧を例示する。図4に示す等級名または等級コードから2次元コードは、生成される。
【0032】
本実施形態において、印面510に彫ってある等級を示すコードは、2次元コードに限らず、1次元コードや3次元コードや、RFIDであってもよい。
【0033】
図2に戻って、詳細には、まず、検知部310が、等級表示印Sまたは2次元コード540が予め設定された範囲に入ったことを、検知する。そして、検知されたことに応じて、取得部320は、等級表示印Sに付与された2次元コード540を含む画像を読み取り、読み取った画像から2次元コード540を検出する。そして、取得部320は、検出した2次元コード540をデコードして等級名または等級コードを取得し、取得した等級を海苔等級学習装置100へ送信する。
【0034】
海苔等級学習装置100は、記憶部110と、画像取得部120と、等級取得部130と、学習データ生成部140と、を備える。なお、本実施形態において、海苔等級学習装置100はオンプレミスとするが、クラウドサーバであってもよい。
【0035】
記憶部110は、学習データを記憶する学習データデータベース(以下、DBという)111と、図4に示す等級一覧のデータベースである等級DB112と、を備える。
【0036】
画像取得部120は、撮像装置200で取得された海苔Nの表面画像を取得する。
等級取得部130は、取得装置300で取得された海苔Nの等級名または等級コードを取得する。
学習データ生成部140は、画像取得部120で取得した海苔Nの表面画像と、等級取得部130で取得した海苔Nの等級名とを対応付けて、学習データを生成し、学習データDB111に記憶する。
等級取得部130で等級コードを取得した場合には、等級DB112を参照して等級名を取得した後に、学習データを生成する。
学習データDB111に記憶された学習データは、海苔等級判定の学習モデルを生成するための機械学習に用いられる。海苔等級判定の学習モデルは、詳細には、海苔Nの表面画像が入力された場合に、当該海苔Nの等級を判定する学習済モデルである。
【0037】
上記の本システムの機能構成は、あくまで一例であり、1つの機能ブロック(データベース及び機能処理部)を分割したり、複数の機能ブロックをまとめて1つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置や端末に内蔵されたCPU(Central Processing Unit)が、ROM(Read Only Memory)、フラッシュメモリ、SSD(Solid State Drive)、ハードディスクなどの記憶装置(記憶部)に格納されたコンピュータ・プログラム(例えば、基幹ソフトや上述の各種処理をCPUに実行させるアプリなど)を読み出し、CPUにより実行されたコンピュータ・プログラムによって実現される。すなわち、各機能処理部は、このコンピュータ・プログラムが、記憶装置に格納されたデータベース(DB;Data Base)やメモリ上の記憶領域からテーブルなどの必要なデータを読み書きし、場合によっては、関連するハードウェア(例えば、入出力装置、表示装置、通信インターフェース装置)を制御することによって実現される。また、本発明の実施形態におけるデータベース(DB)は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。
【0038】
[海苔等級学習処理]
図5を用いて、本発明の実施形態に係る海苔等級学習システム1の海苔等級学習処理について説明する。海苔等級学習処理は、海苔Nが、梱包箱Pから搬送装置400へ投入が開始されたことに応じて、開始する。
【0039】
撮像装置200が、搬送装置400で搬送される海苔Nが撮影範囲に入ると、海苔Nの表面画像を撮影する(S11)。
続いて、画像取得部120は、撮像装置200から海苔Nの表面画像を取得する(S12)。
【0040】
次に、取得装置300が、海苔Nの帯B上に等級を押印する等級表示印Sまたは2次元コード540が予め設定された範囲に入ると、2次元コード540を検出する(S13)。
続いて、取得装置300は、S13で検出した2次元コードをデコードして等級名または等級コードを取得する(S14)。
続いて、等級取得部130は、取得装置300から海苔Nの等級名または等級コードを取得する(S15)。
【0041】
学習データ生成部140は、S12で取得した海苔Nの表面画像と、S15で取得した海苔Nの等級名とを対応付けて、学習データとして学習データDB111に記憶する。または、学習データ生成部140は、S12で取得した海苔Nの表面画像と、S15で取得した海苔Nの等級コードから等級DB112を参照して取得した等級名とを対応付けて、学習データとして学習データDB111に記憶する(S16)。
【0042】
画像取得部120は、撮像装置200から海苔Ni+1の表面画像を取得したか否かを判定する(S17)。海苔Ni+1の表面画像を取得した場合には(YES)、S13に処理を戻す。一方、海苔Ni+1の表面画像を取得していない場合には(NO)、処理を終了する。
【0043】
以上説明したように、本実施形態の海苔等級学習システムによれば、海苔の等級判定の学習モデルを生成するのに必要な学習データとして必要な、判定対象の海苔の表面画像を自動で撮影して取得し、かつ正解の判定結果である作業員が海苔の帯上に押印する等級を、押印する際に等級表示印から自動で取得することができ、海苔の表面画像と当該海苔の等級とを対応付け学習データを効率よく迅速に収集することができる。
【0044】
等級表示印の印側の印面側に、印面に彫ってある等級を示すコード、好ましくは2次元コード、を付与することにより、等級表示印で押印される等級を自動で取得することができる。また、コードは、等級表示印の印側の印面側に付与することにより、作業員の等級表示印を持つ手によってコードが隠れてしまうことを防ぐことができる。
【0045】
2次元コードは、データマトリックスコードとすることで、読取精度や読取速度を向上させることができ、さらに、取得装置が等級表示印から離れていても、コードを検出することが可能となる。また、2次元コードを等級を2桁または3桁の数字で示した識別子から生成することで、2次元コードの情報量を少なくし、更なる読取精度や読取速度を向上させることができる。
【0046】
海苔の表面画像と当該海苔について作業員が判定した等級を対応付けた学習データを効率よく迅速に収集できることにより、大量の学習データを用いて機械学習をすることが可能となる。その結果、等級未判定の海苔の表面画像の等級判定に用いる、判定精度の高い学習モデルを生成することができる。
【0047】
[変形例]
(1)本実施形態では、海苔の表面画像を1つ取得した後に、当該海苔の帯B上に等級を押下する等級表示印Sの2次元コードを1つ取得し、学習データを1つ生成する遂次処理であるが、所定数の海苔の表面画像を取得した後に、当該海苔の帯B上に等級を押下する等級表示印Sの2次元コードを所定数取得し、所定数の学習データをまとめて生成するバッチ処理であってもよい。さらに、所定数の海苔の表面画像、および/または所定数の2次元コードは同時に取得してもよい。
【0048】
(2)本実施形態では、海苔の表面画像と、当該海苔の帯B上に等級を押下する等級表示印Sの2次元コードとを、別々に取得しているが、同時に取得してもよい。
【0049】
(3)本実施形態において、学習データDB111は、海苔等級学習装置100に備えられているが、クラウド上に備えられ、複数の海苔等級学習装置の学習データを蓄積できるようにしてもよい。それにより、より大量の学習データを収集でき、機械学習して得られる学習モデルによる、等級未判定の海苔の表面画像の等級判定の判定精度を向上させることができる。
【0050】
(4)本実施形態において、学習データは、海苔の表面画像と、当該海苔の等級とが対応付けられているが、当該等級を判定した検査員の経験年数や判定精度など等級判定に影響する加味要素を併せて対応つけてもよい。加味要素を重み付けとして用いて学習データを機械学習することで、生成される学習モデルによる等級判定の精度をさらに向上させることができる。
【0051】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。なお、上記の実施形態では、本発明を物の発明として、海苔等級学習システムについて説明したが、本発明において海苔等級学習システムが実行する方法や、海苔等級学習システムを各種手段として機能させるコンピュータ読み取り可能なプログラムの発明と捉えることもできる。
【符号の説明】
【0052】
1 海苔等級学習システム
100 海苔等級学習装置
110 記憶部
111 学習データDB
112 等級DB
120 画像取得部
130 等級取得部
140 学習データ生成部
200 撮像装置
210 検知部
220 撮像部
300 取得装置
310 検知部
320 取得部
400 搬送装置
510 印面
520 印側
530 天
540 2次元コード
B 帯
N 海苔
S 等級表示印
【要約】
【課題】乾海苔の等級を高い精度で判定可能な学習モデルを構築するのに必要な学習データを効率よく収集する海苔等級学習システム、海苔等級学習方法、およびプログラムを提供する。
【解決手段】海苔の等級判定の学習モデルを構築するための学習データを収集する海苔等級学習システム1は、海苔の表面画像を撮像する撮像装置200の撮像部220と、作業員が等級表示印で海苔の帯上に等級を押印する際に、等級表示印から前記等級を取得する取得装置300の取得部320と、海苔の表面画像と等級とを対応付けて記憶する海苔等級学習装置100の学習データ記憶部111と、を備える。
【選択図】図1

図1
図2
図3
図4
図5