特許 7388871 判定装置、判定方法および判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】判定装置、判定方法および判定プログラム

(51)【国際特許分類】

   B65G 1/137 20060101AFI20231121BHJP

   B65B 57/10 20060101ALI20231121BHJP

   G06N 20/00 20190101ALI20231121BHJP

【ＦＩ】

B65G1/137 A

B65B57/10 A

G06N20/00 130

【請求項の数】 6

(21)【出願番号】P 2019191354

(22)【出願日】2019-10-18

(65)【公開番号】P2021066542

(43)【公開日】2021-04-30

【審査請求日】2022-09-06

(73)【特許権者】

【識別番号】390002381

【氏名又は名称】株式会社キッツ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】中村 良美

(72)【発明者】

【氏名】植松 健

(72)【発明者】

【氏名】佐伯 菜奈

【審査官】加藤 三慶

(56)【参考文献】

【文献】特表２０１２－５０４０８５（ＪＰ，Ａ）

【文献】特表２００８－５３２８８３（ＪＰ，Ａ）

【文献】特開２０１７－１７８５７４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００５９３９１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６５Ｇ １／１３７

Ｂ６５Ｂ ５７／１０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

梱包材を撮像して得られる画像データを取得する画像データ取得部と、
バルブを収容した前記梱包材の重量に関する重量データを取得する重量データ取得部と、
前記画像データおよび前記重量データを参照して、前記梱包材に所望の種別のバルブが所望の個数収容されているか否かに関する判定を行う判定部と、
を備え、
前記判定部は、前記画像データが入力されるモデルが出力する出力データを参照して、前記判定を行い、
前記出力データには、前記バルブの種別に関する情報と、前記バルブの個数に関する情報とが含まれ、
前記判定部は、
バルブの種別と、
バルブの個数と、
バルブの種別に応じた、良品のバルブとみなすことができるバルブの所定の数値範囲の重量であるバルブの基準重量と、
が互いに関連付けられた参照データと、前記出力データとを参照して、前記バルブの基準重量を特定し、
特定した基準重量と、前記重量データとを参照して、前記判定を行う、
判定装置。

【請求項2】

教師データを用いて前記モデルを学習させる学習部を更に備え、
前記教師データには、
梱包材を撮像して得られる画像データと、
当該画像データに関連付けられた種別に関する情報と、が含まれている
ことを特徴とする請求項１に記載の判定装置。

【請求項3】

教師データを用いて前記モデルを学習させる学習部を更に備え、
前記教師データには、
梱包材を撮像して得られる画像データと、
当該画像データに関連付けられた重量に関する情報と、
当該画像データと前記重量に関する情報とに関連付けられた判定結果と、
が含まれている
ことを特徴とする請求項１または２に記載の判定装置。

【請求項4】

前記梱包材を撮像し、撮像した画像データを前記画像データ取得部に供給する撮像部を更に備え、
前記撮像部は、前記重量データ取得部が前記重量データを取得した後、所定時間経過した後に、前記梱包材を撮像する
ことを特徴とする請求項１～３のいずれか一項に記載の梱包物の判定装置。

【請求項5】

梱包材を撮像して得られる画像データを取得するステップと、
バルブを収容した前記梱包材の重量に関する重量データを取得するステップと、
前記画像データおよび前記重量データを参照して、前記梱包材に所望の種別のバルブが所望の個数収容されているか否かに関する判定を行うステップと、
を含み、
前記判定を行うステップでは、前記画像データが入力されるモデルが出力する出力データを参照して、前記判定を行い、
前記出力データには、前記バルブの種別に関する情報と、前記バルブの個数に関する情報とが含まれ、
前記判定を行うステップでは、
バルブの種別と、
バルブの個数と、
バルブの種別に応じた、良品のバルブとみなすことができるバルブの所定の数値範囲の重量であるバルブの基準重量と、
が互いに関連付けられた参照データと、前記出力データとを参照して、前記バルブの基準重量を特定し、
特定した基準重量と、前記重量データとを参照して、前記判定を行う、
判定方法。

【請求項6】

請求項１に記載の判定装置としてコンピュータを機能させるための判定プログラムであって、前記画像データ取得部、前記重量データ取得部および前記判定部としてコンピュータを機能させるための判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法および判定プログラムに関する。

【背景技術】

【0002】

従来、物流においては、梱包材の画像データから梱包された商品を判定する技術が知られている。このような技術には、例えば、梱包材の表面における商品に関する表示を撮像し、得られた画像データに基づいて商品名をコンピュータによって特定し、当該商品名に対応する商品情報を、ネットワークを介してサーバから取得する技術が知られている（例えば、特許文献１参照）。当該技術は、商品に応じた識別コードを表示するラベルを作製し、梱包材に貼り付けることに利用される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－１０４５５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のような従来技術は、梱包材に実際に収容されている商品が正しいか否かを判定することができないことがある。

【0005】

本発明の一態様は、梱包材に収容されている対象物の正否を判定可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る判定装置は、梱包材を撮像して得られる画像データを取得する画像データ取得部と、対象物を収容した前記梱包材の重量に関する重量データを取得する重量データ取得部と、前記画像データおよび前記重量データを参照して、前記梱包材に所望の対象物が収容されているか否かに関する判定を行う判定部と、を備える。

【0007】

また、上記の課題を解決するために、本発明の一態様に係る判定方法は、梱包材を撮像して得られる画像データを取得するステップと、対象物を収容した前記梱包材の重量に関する重量データを取得するステップと、前記画像データおよび前記重量データを参照して、前記梱包材に所望の対象物が収容されているか否かに関する判定を行うステップと、を含む。

【0008】

さらに、上記の課題を解決するために、本発明の一態様に係る判定プログラムは、上記の判定装置としてコンピュータを機能させるための判定プログラムであって、前記画像データ取得部、前記重量データ取得部および前記判定部としてコンピュータを機能させるための判定プログラムである。

【発明の効果】

【0009】

本発明の一態様によれば、梱包材に収容されている対象物の正否を判定可能な技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態１に係る判定装置の構成の一例を模式的に示す図である。

【図2】本発明の実施形態１に係る判定装置の機能的構成の一例を示すブロック図である。

【図3】本発明の実施形態１に係る重量データテーブルの一例を説明するための図である。

【図4】本発明の実施形態１に係る梱包物の判定方法における処理の流れの一例を示すフローチャートである。

【図5】本発明の実施形態１において液晶パネルに表示される画像の一例を模式的に示す図である。

【図6】本発明の実施形態２に係る判定装置における機能的構成の一例を模式的に示す図である。

【図7】本発明の実施形態３に係る判定装置における機能的構成の一例を模式的に示す図である。

【発明を実施するための形態】

【0011】

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。まず、本発明の一実施形態の判定装置の全体構成を説明する。

【0012】

［判定装置の全体構成］
図１は、本発明の実施形態１に係る判定装置の構成の一例を模式的に示す図である。判定装置１０は、図１に示されるように、はかり１、カメラ２、液晶パネル３、通報ランプ４およびスイッチ５を有する。はかり１の両側のそれぞれには、搬送装置２１、２２が配置されている。搬送装置２１は、はかり１へ梱包物２０を搬送するための装置であり、搬送装置２２は、はかり１から梱包物２０を搬出するための装置である。

【0013】

はかり１の側縁部のうち、搬送装置２１、２２と隣接しない一側縁部には、ストッパ１１が配置されている。ストッパ１１は、搬送装置２１、２２の搬送方向に沿って延在する突条であり、はかり１の天面よりも上方に突出している。

【0014】

はかり１は、梱包物２０の重さを測定するためのデジタルはかりである。はかり１は、はかり１の天面が搬送装置２１、２２の天面とほぼ同一平面となる位置に配置されている。

【0015】

カメラ２は、ストッパ１１を介してはかり１の反対側に配置されている。はかり１を正面から見たときに、カメラ２は、梱包物２０の背面を撮影する位置に配置されている。

【0016】

液晶パネル３は、ストッパ１１の向こう側であってカメラ２よりも上方の十分に高い位置に、はかり１側に向けて配置されている。

【0017】

通報ランプ４は、液晶パネル３と並んで、十分に高い位置に配置されている。通報ランプ４は、梱包物２０の判定作業の進行状況に関する情報を示すための装置であり、例えば上から順に赤、黄、緑の三色のランプで構成されている。

【0018】

スイッチ５は、梱包物２０の判定について、作業員が操作するためのスイッチである。スイッチ５は、判定作業中に当該作業員が操作可能な位置、例えば通報ランプ４の下方かつカメラ２の側方の位置に配置されている。スイッチ５は、例えば、ＡボタンおよびＢボタンの二つのボタンを有している。Ａボタンは、通常の判定処理を作業員が確認するためのボタンである。Ｂボタンは、判定処理における異常を作業員が確認するためのボタンである。

【0019】

搬送装置２１、２２は、梱包物２０を平面方向における一方向に搬送するための装置であり、例えば、ベルトコンベアまたはローラコンベアである。搬送装置２１からはかり１へ梱包物２０を搬送する方向と、はかり１から搬送装置２２によって梱包物２０を搬出する方向とは、いずれも同じ一直線上の同一方向となっている。

【0020】

なお、梱包物２０は、梱包材とそれに収容される対象物とで構成されている。本実施形態において、梱包材は段ボール箱であり、対象物はバルブであり、梱包物２０は、所定のバルブを収容して封じられた段ボール箱である。段ボール箱は封じられており、収容されているバルブは外側からでは見えない。

【0021】

梱包物２０の背面には、ラベルが形成されている。ラベルとは、少なくとも対象物（バルブ）の品名が印字されている部分であり、例えば、バルブのブランド名、バルブの品名、および梱包物２０中に収容されているべきバルブの個数、の情報を含む印刷部である（図５参照）。

【0022】

［判定装置の機能的構成］
図２は、本実施形態における判定装置の機能的構成の一例を示すブロック図である。図２に示されるように、判定装置１０は、機能的構成として、制御部１００および記憶部１０４を備えている。制御部１００は、カメラ２、はかり１、入力部１０５、液晶パネル３および通報部１０６と電気的に接続されている。

【0023】

制御部１００は、画像データ取得部１０１、重量データ取得部１０２および判定部１０３を備えている。画像データ取得部１０１は、カメラ２が梱包物２０の梱包材を撮像して得た画像データをカメラ２から取得する。重量データ取得部１０２は、はかり１が梱包物２０を量って得た重量データをはかり１から取得する。

【0024】

判定部１０３は、画像データ取得部１０１が取得した画像データと、重量データ取得部１０２が取得した重量データとを参照する。判定部１０３は、例えば記憶部１０４に収容されている情報またはプログラムに基づいて、段ボール箱に所望のバルブが収容されているか否かを判定する。

【0025】

記憶部１０４は、梱包物２０の判定に関する情報を有している。記憶部１０４は、公知の記録媒体、例えばＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）で構成されている。

【0026】

記憶部１０４に収容されている情報等は、例えば、画像データが入力されたときに当該画像データに応じた出力データを出力するモデルである。また、画像データに応じた出力データは、例えば、バルブの種別に関する情報である。バルブの種別に関する情報は、例えば、前述したラベルに印刷されている情報であり、本実施形態では、バルブのブランド名およびバルブの品名である。

【0027】

当該出力データを出力するモデルは、梱包物２０の画像データから、前述の画像データに応じた出力データを出力することができればよい。当該モデルの例には、ニューラルネットワークおよびサポートベクターマシンが含まれる。ニューラルネットワークの例には、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）および全結合型ニューラルネットワークが含まれる。

【0028】

ニューラルネットワークを用いる場合、入力データをニューラルネットワークへのインプット用に予め加工して用いてもよい。このような加工には、データの一次元的配列化、または多次元的配列化に加え、例えば、データオーギュメンテーション（Data Augumentation）などの手法を用いることができる。

【0029】

また、モデルには、ニューラルネットワークおよびサポートベクターマシンの他に、クラスタリング（Clustering）、帰納論理プログラミング（ILP: Inductive Logic Programming）、遺伝的アルゴリズム（GP: Genetic Programming）、または、ベイジアンネットワーク（BN: Bayesian Network）、を用いてもよい。

【0030】

当該モデルは、教師データを用いて学習させた学習済みモデルであってもよい。教師データは、カメラ２の撮像による画像データ、および当該画像データに応じた出力データを含む。教師データに含まれる出力データは、梱包物２０の判定に利用可能なデータであってよく、前述のバルブのブランド名およびバルブの品名の他に、梱包物２０に収容されているべきバルブの個数、が含まれてよい。

【0031】

学習済みモデルは、十分数の教師データをニューラルネットワークに学習させ、前述の画像データに応じたパスの重みを決定することにより形成される。当該モデルを学習させるためのアルゴリズムの例には、バックプロパゲーションおよびＩＤ３が含まれる。

【0032】

画像データにおける画像を認識するための技術は、上記の例に限定されない。当該技術は、光学的文字認識（ＯＣＲ）のような、画像データをコンピュータが使用可能な文字コードに変換して文字として識別する技術であってもよい。あるいは、当該技術は、画像データの特徴から画像の情報そのものを識別する技術であってもよい。

【0033】

また、記憶部１０４には照合テーブルが格納されている。当該照合テーブルには、梱包材に収容されるバルブのブランド名、品名および個数の情報が格納されている。照合テーブルのデータは、判定処理に先立って記憶部１０４に格納されていればよい。

【0034】

また、記憶部１０４には、作業予定データが格納されている。当該作業予定データは、判定装置１０による判定処理に供されるべき梱包物２０におけるバルブの品名および個数の情報を含む。当該作業予定データは、たとえば、作業員が当該作業予定データに対応する情報をカメラ２に撮影させて制御部１００に読み込ませてもよい。あるいは、作業予定データは、判定装置１０の管理者が直接、無線通信などによって制御部１００に送信してもよい。

【0035】

さらに、記憶部１０４には、重量データテーブルが格納されている、図３は、重量データテーブルの一例を説明するための図である。図３に示されるように、当該重量データテーブルには、例えば、バルブの品名、梱包物２０に収容されているべきバルブの個数および梱包時の重量（バルブの単品の重量と個数との積）の情報が格納されている。

【0036】

入力部１０５は、判定装置１０に信号を入力する構成であり、例えば前述のスイッチ５である。入力部１０５は、作業員の操作を入力可能な機器、例えばキーボードまたはタッチパネル、をさらに含んでもよい。通報部１０６は、判定処理に関する情報を通報する構成であり、例えば前述の通報ランプ４である。通報部１０６は、判定処理に関する情報を外部に通報可能な機器、例えば管理者に通報するための無線装置または警報などの音声を発生するためのスピーカ、をさらに含んでもよい。

【0037】

［梱包物の判定例］
搬送装置２１は、梱包物２０をはかり１へ搬送する。梱包物２０は、搬送装置２１からはかり１に載せられる。梱包物２０は、前述したように、バルブを収容した段ボール箱である。梱包物２０は、ラベルをカメラ２に向けてはかり１に載せられる。さらには、梱包物２０は、ラベルが印刷されている側壁部における一底縁部がストッパ１１に当接する位置で、はかり１に載せられる。梱包物２０の搬送とはかり１への設置は、作業員が行ってもよいし、ロボットが行ってもよい。

【0038】

カメラ２は、梱包物２０のラベルを十分な解像度の画像として撮影できるよう、予め調整されている。カメラ２は、ストッパ１１によって距離が規定されている梱包物２０における前述のラベルを撮像する。また、はかり１は、ストッパ１１に当接する位置に載置された梱包物２０の重量を測定する。

【0039】

図４は、本実施形態に係る梱包物の判定方法における処理の流れの一例を示すフローチャートである。ステップＳ１１において、画像データ取得部１０１は、カメラ２が撮影して得た梱包物２０の画像データ、すなわちラベルの画像、を取得する。
また、画像データ取得部１０１は、取得した画像データを液晶パネル３に送信し、液晶パネル３は、受信した画像データを表示する（図５参照）。

【0040】

ステップＳ１２において、重量データ取得部１０２は、梱包物２０の重量のデータをはかり１から取得する。また、重量データ取得部１０２は、取得した重量データを液晶パネル３に送信し、液晶パネル３は、受信した重量データを表示する（図５参照）。

【0041】

なお、本実施形態において、ステップＳ１１とステップＳ１２の順は限定されず、ステップＳ１１、ステップＳ１２の順であってもよいし、その逆であってもよい。

【0042】

制御部１００は、画像データ取得部１０１による画像データの取得または重量データ取得部１０２による重量データの取得に応じて、判定処理の開始に応じた信号を通報部１０６に送信する。通報部１０６は、制御部１００からの当該信号に応じて、通報ランプ４における黄色のランプを点灯させ、判定処理中であることを周囲に知らせる。

【0043】

ステップＳ１３において、判定部１０３は、画像データ取得部１０１が取得した画像データおよび重量データ取得部１０２が取得した重量データを参照する。そして、画像段ボール箱に所望のバルブが収容されているか否かを判定する。

【0044】

判定部１０３は、画像データが入力されるモデルが出力する出力データを参照して、判定を行う。たとえば、判定部１０３は、ラベルの画像データを、前述した学習済みモデルのような所定のモデルに入力する。当該モデルは、入力された画像データに応じて、バルブのブランド名、品名および個数の情報を出力する。このように出力データには、バルブの種別に関する情報であるバルブの品名が含まれる。

【0045】

判定部１０３は、画像データに基づく出力データと、記憶部１０４に格納されている照合テーブルにおけるバルブに関する情報のうちの作業予定データに対応する情報とが一致するか否かを判定する。判定部１０３は、上記の出力データと上記の照合テーブルにおける情報とが一致する場合に、画像データに基づく判定結果として、正（ＯＫ）の判定を出力する。上記の出力データと上記照合テーブルの情報とが一致しない場合には、判定部１０３は、画像データに基づく判定結果として、否（ＮＧ）の判定を出力する。

【0046】

また、判定部１０３は、重量データ取得部１０２が取得した重量データと、記憶部１０４に格納されている重量データテーブルにおける重量に関する情報とが一致するか否かを判定する。判定部１０３は、上記の重量データと上記の重量に関する情報とが一致する場合に、重量データに基づく判定結果として、正（ＯＫ）の判定を出力する。上記の重量データと上記の重量に関する情報とが一致しない場合には、判定部１０３は、重量データに基づく判定結果として、否（ＮＧ）の判定を出力する。

【0047】

ステップＳ１４において、制御部１００は、判定部１０３による画像の判定の情報および重量の判定の情報を参照して、画像データに基づく判定結果を表示する画面を生成し、液晶パネル３に表示する（図５参照）。図５は、本実施形態において液晶パネルに表示される画像の一例を模式的に示す図である。当該画面は、図５に示されるように、品名３１、第一判定情報３２および第二判定情報３３を含む。

【0048】

品名３１は、判定対象の情報であり、例えば、梱包物２０またはそれに収容されているバルブを特定し得る情報である。当該情報は、バルブの種別に関する情報であってよい。品名３１は、梱包材に収容されているべきバルブの品名を表しており、例えば「ＡＡＡＡ」である。

【0049】

第一判定情報３２は、画像データ取得部１０１が取得した画像データに基づく判定に関する情報であり、例えば、ラベルの画像３２１および画像判定結果情報３２２を含む。ラベルの画像３２１は、画像データ取得部１０１が取得した画像データであり、例えば、バルブの種別に関する情報を含む。バルブの種別に関する情報は、前述したモデルが出力する出力データの情報であってよく、たとえば、ラベルの画像３２１は、バルブのブランド名「ＸＸＸ」、バルブの品名「ＡＡＡＡ」および個数の情報「１」を含んでいる。画像判定結果情報３２２は、画像データに基づく判定結果の情報であり、例えば「ＯＫ」または「ＮＧ」の何れかである。

【0050】

第二判定情報３３は、重量データ取得部１０２が取得した重量データに基づく判定に関する情報であり、例えば、当該重量データを表示する重量データ情報と、当該重量データに基づく判定結果の情報（重量判定結果情報）とを含む。重量データ情報は、数値で表示される情報であってもよいし、測定可能範囲に対する相対量で表示される情報であってもよいし、その両方であってもよい。

【0051】

たとえば、第二判定情報３３は、ゲージ３３１、重量値３３２および重量判定結果情報３３３を含む。ゲージ３３１は、半円環状であり、半円の弧全体ではかり１の測定可能範囲を表す。重量のデータは、はかり１の測定可能範囲に対する重量データの重量値が占める割合に応じて、半円の中心を基準に針を回動させるとともに、針が回動した範囲を着色することにより表示される。重量値３３２は、重量データが示す重量の値である。

【0052】

重量判定結果情報３３３は、重量データに基づく判定結果の情報であり、例えば「ＯＫ」または「ＮＧ」の何れかである。判定結果が「正」である場合に「ＯＫ」であり、「否」である場合に「ＮＧ」である。

【0053】

図５に示す画像は、画像データに基づく判定結果および重量データに基づく判定結果のいずれもが「正」であることを示している。すなわち、梱包物２０には、所望のバルブが所望の数量で収容されていることがわかる。

【0054】

制御部１００は、画像データに基づく判定結果および重量データに基づく判定結果のいずれもが「正」である場合には、この判定結果に応じた信号を通報部１０６に送信する。通報部１０６は、制御部１００からの当該信号に応じて、通報ランプ４で点灯するランプを黄色のランプから緑色のランプに切り替える。それにより、判定処理が正であることが周囲に示される。

【0055】

制御部１００は、画像データに基づく判定結果および重量データに基づく判定結果の少なくともいずれかが「否」である場合には、この判定結果に応じた信号を通報部１０６に送信する。通報部１０６は、制御部１００からの当該信号に応じて、通報ランプ４で点灯するランプを黄色のランプから赤色のランプに切り替える。それにより、判定処理が否であることが周囲に示される。

【0056】

制御部１００は、入力部１０５からの入力信号に応じて、判定結果をリセットする。当該入力信号は、例えば、作業員がスイッチ５におけるＡ、Ｂいずれかのボタンを押すことによる信号である。

【0057】

判定結果が正である場合では、はかり１上の梱包物２０は、搬送装置２２に載せられる。搬送装置２２は、梱包物２０を、次工程の作業場に向けて搬出する。ここで作業員が、スイッチ５におけるＡボタンを押すと、入力部１０５は、Ａボタンが押されたことによる信号を出力する。入力部１０５からの当該信号に応じて、画像データ取得部１０１および重量データ取得部１０２は、それぞれ、取得したデータを破棄する。判定部１０３は、当該信号に応じて、先の判定結果の情報を破棄してもよいが、先の判定結果の情報を記憶部１０４に記憶してもよいし、通報部１０６に先の判定結果の情報を管理者へ通報させてもよい。

【0058】

判定結果が否である場合、異常を確認した作業員がスイッチ５におけるＢボタンを押す。入力部１０５がＢボタンを押したことによる信号を制御部１００が受信し、次いで通報部１０６が取得すると、通報部１０６は、赤色ランプの点灯を停止させる。作業員は、否の判定結果となった梱包物２０をはかり１から撤去する。そしてＡボタンを押すと、前述したように取得データが適宜に破棄され、あるいは記憶、通報される。

【0059】

こうして、次の梱包物２０の判定処理の準備が整うと、搬送装置２１は、次に判定すべき梱包物２０をはかり１へ搬送する。そして、判定装置１０は、次の梱包物２０について、前述のようにして判定を行う。

【0060】

〔作用効果〕
本実施形態では、ストッパ１１によって、撮像されるべき梱包物２０（ラベル）とカメラ２との距離が容易に一定に保たれる。よって、段ボール箱の表面に印刷されたラベルの画像データを正確かつ容易に取得することが可能である。

【0061】

本実施形態では、カメラ２が撮像した画像データを解析し、画像の特徴を認識することにより、ラベル中の文字情報を識別している。このため、画像データとして識別可能な程度の解像度でラベルを撮像することができれば、十分に高い精度で梱包物２０の判定を行うことが可能である。よって、カメラの制約が少なく、また撮像条件の制約も少ない。よって判定装置を安価に、かつ簡易に構成することが可能である。また、前述のモデルによるが、画像の特徴から画像情報を識別することも可能である。したがって、ロゴマークなどの文字コードに変換できない像を含む画像であっても識別することが可能である。

【0062】

なお、本実施形態では、画像データの参照に際して、画像データを文字コードに変換した後に文字として識別することも可能である。この場合は、文字コードに変換可能な画像データを撮像するために、そのためのカメラ２、所望の精度の画像を撮像するための焦点位置の調整、および、ラベル周辺の照度などの所望の撮像条件の調整を適宜に実施すればよい。

【0063】

本実施形態では、判定装置１０が周囲への通報のための通報ランプ４をさらに有している。このため、梱包物２０の判定処理における正常な進行および異常の発生が、周囲に通報される。よって、梱包物２０の判定処理を円滑に進めていくことが可能である。

【0064】

また、本実施形態では、判定装置１０は、入力部１０５としてのスイッチ５をさらに有している。したがって、作業員が梱包物２０の判定処理を確認しながら進めることができ、また、異常判定からの復旧も作業員を介して確実に行うことが可能である。

【0065】

以上の説明から明らかなように、本実施形態における判定装置１０は、梱包材を撮像して得られる画像データを取得する画像データ取得部１０１と、対象物を収容した梱包材（梱包物２０）の重量に関する重量データを取得する重量データ取得部１０２と、取得した画像データおよび重量データを参照して、梱包材に所望の対象物が収容されているか否かに関する判定を行う判定部１０３とを備えている。

【0066】

また、本実施形態における判定方法は、梱包材を撮像して得られる画像データを取得するステップ（Ｓ１１）と、対象物を収容した梱包材の重量に関する重量データを取得するステップ（Ｓ１２）と、取得した画像データおよび重量データを参照して、梱包材に所望の対象物が収容されているか否かに関する判定を行うステップ（Ｓ１３）とを含んでいる。

【0067】

したがって、本実施形態によれば、梱包材に収容されている対象物の正否を判定することができる。

【0068】

判定部は、画像データが入力されるモデルが出力する出力データを参照して、上記の判定を行ってもよい。この構成は、画像データが示す情報を正確に取得し、正確な判定を行う観点からより一層効果的である。

【0069】

出力データには、対象物の種別に関する情報（バルブの品名など）が含まれてもよい。この構成は、画像データから梱包されている対象物の情報を正確に取得し、正確な判定を行う観点からより一層効果的である。

【0070】

また、出力データには、対象物の個数に関する情報が含まれてもよい。この構成は、
梱包材に複数の対象物が収容される場合であっても正確な判定を行う観点からより一層効果的である。

【0071】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0072】

図６は、本実施形態の判定装置における機能的構成の一例を模式的に示す図である。判定装置２０は、図６に示されるように、制御部２００および記憶部２０４を有する。制御部２００は、判定部２０３を有する以外は、実施形態１における制御部１００と同様の機能的構成を有している。

【0073】

判定部２０３は、基準重量特定部２０７をさらに備えている。基準重量特定部２０７は、参照データと、前述のモデルが出力した出力データとを参照して対象物の基準重量を特定する。

【0074】

記憶部２０４は、さらに参照データを格納している。参照データは、対象物の種別と対象物の基準重量とが互いに関連付けられたデータである。対象物の種別とは、前述したように、例えばバルブのブランド名またはバルブの品名である。対象物の基準重量とは、例えば、種別（品名）に応じたバルブの重量である。

【0075】

バルブを鋳造する場合、良品のバルブであっても重量にある程度のばらつきが生じやすい。たとえば、バルブの種別によっては、１０％前後の大きさの誤差を含むことがあるが、重さのばらつき方は、バルブの種別に応じて特有のばらつきとなることがある。

【0076】

本実施形態では、判定部２０３は、画像データに基づく判定を実行し、次いで重量データに基づく判定を実行する。

【0077】

判定部２０３は、画像データ取得部１０１から、ラベルの画像データを取得する。そして、当該画像データを前述のモデルに入力し、それに対応するバルブのブランド名、種類および個数のデータを出力データとして取得する。そして、判定部２０３は、取得した出力データと記憶部２０４が格納している照合テーブルのデータのうちの作業予定データに対応する情報とが一致するか否かを判定する。こうして、判定部２０３は、画像データに基づく判定結果をまず出力する。

【0078】

基準重量特定部２０７は、記憶部２０４における参照データを参照し、画像データに基づく判定結果で特定されたバルブの品名に関連付けられている基準重量の情報を特定する。たとえば、当該基準重量は、前述の品名「ＡＡＡＡ」の場合で、４．５～５．１ｋｇであるとする。すなわち、「ＡＡＡＡ」のバルブは、より少ない方で誤差が大きくなり、より大きい方では誤差は十分に小さい、との傾向の誤差を有する。

【0079】

判定部２０３は、基準重量特定部２０７が特定した基準重量と、前述の出力データにおけるバルブの個数の情報と、重量データ取得部１０２が取得した重量データとを参照する。そして、判定部２０３は、当該重量データにおける個々のバルブに関する情報が基準重量の条件を満たしているか否かを判定する。こうして、判定部２０３は、重量データに基づく判定結果を出力する。

【0080】

なお、参照データは、バルブの品名およびバルブの基準重量に、さらにバルブの個数の情報がさらに関連付けられていてもよい。この場合では、判定部２０３は、バルブの個数の情報が反映されている重量データと、バルブの個数の情報に関連付けられたバルブの基準重量とを参照する。よって、重量データに基づく判定において、重量データと基準重量とを直接参照し、対比することにより、重量データに基づく判定結果を出力することが可能となる。したがって、前述の重量データに基づく判定に比べて、判定の工程をより簡略化することが可能である。

【0081】

また、参照データがバルブの個数の情報をさらに含む場合では、実施形態１と同様に、画像データに基づく判定と重量データに基づく判定の順序は、この順であってもよいし、逆であってもよい。

【0082】

以上の説明から明らかなように、本実施形態では、判定部は、対象物の種別及び対象物の基準重量が互いに関連付けられた参照データと、前述の出力データとを参照して、対象物の基準重量を特定し、特定した基準重量と、重量データとを参照して、判定を行う。したがって、鋳造により製造されたバルブのように、梱包材に収容される対象物が重量の特有のばらつきを有する場合であっても、十分に高い精度で梱包物の正否を判定することができる。

【0083】

本実施形態において、判定部は、対象物の種別、対象物の個数、及び対象物の基準重量が互いに関連付けられた参照データと、前述の出力データとを参照して、対象物の基準重量を特定し、特定した基準重量と、重量データをと参照して、判定を行ってもよい。この構成は、バルブの個数の情報が反映された状態で重量データと基準重量とが参照されることから、特有のばらつきを有する重量の対象物が梱包材に複数収容される場合であっても十分に高い精度で梱包物の正否を簡易に判定する観点からより一層効果的である。

【0084】

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0085】

図７は、本実施形態の判定装置における機能的構成の一例を模式的に示す図である。判定装置３０は、図７に示されるように、制御部３００および記憶部３０４を有する以外は、実施形態１の判定装置と同様の機能的構成を有する。

【0086】

制御部３００は、画像データ取得部１０１、重量データ取得部３０２、判定部２０３、タイマー３１０、教師データ取得部３０８および学習部３０９を備えている。画像データ取得部１０１は、実施形態１の画像データ取得部と同様の機能を有している。判定部２０３は、実施形態２の判定部と同様の機能的構成を有している。記憶部３０４は、学習部３０９から出力される情報をさらに受け付けるように構成されている。

【0087】

本実施形態は、画像データおよび重量データの取得方法、ならびに、学習済みモデルを生成可能に構成されている点、で実施形態２と異なっている。

【0088】

本実施形態では、重量データを取得した後に画像データが取得される。はかり１に梱包物２０が前述の位置に載せられると、はかり１は梱包物２０の重量を測定する。そして、重量データ取得部１０２は、はかり１が測定した梱包物２０の重量データを取得する。

【0089】

重量データ取得部１０２は、重量データを取得した旨の信号をタイマー３１０に送信する。タイマー３１０は、重量データ取得部１０２からの当該信号に応じて、例えば５秒間などの所定の時間を計測する。タイマー３１０による時間の計測が終了すると、タイマー３１０は、所定時間を計測した旨の信号をカメラ２に出力する。

【0090】

カメラ２は、タイマー３１０からの当該信号に応じて、梱包物２０のラベルの撮影を開始し、画像データ取得部１０１は、カメラ２が撮影したラベルの画像データを取得する。

【0091】

このように、本実施形態では、重量データ取得部１０２が重量データを取得した後、所定時間経過した後に、カメラ２が梱包材を撮像する。

【0092】

また、本実施形態では、制御部３００は、教師データ取得部３０８および学習部３０９を備えている。教師データ取得部３０８は、例えば入力部１０５から教師データを取得する。教師データは、例えば、十分数用意されたラベルの画像データと、当該ラベルに対応するバルブのブランド名、バルブの品名、バルブの個数およびバルブの基準重量の情報とを含む。

【0093】

学習部３０９は、ラベルの画像データごとに、教師データを用いてモデルを学習させる。当該モデルは、例えばニューラルネットワークである。学習部３０９は、学習済みモデルを記憶部３０４に格納する。記憶部３０４に格納された学習済みモデルは、前述の出力データを出力するためのモデルとして、梱包物２０の判定に用いられる。

【0094】

このように、本実施形態は、教師データを用いてモデルを学習させる学習部をさらに備え、教師データには、梱包材を撮像して得られる画像データと、当該画像データに関連付けられた種別に関する情報とが含まれている。

【0095】

本実施形態では、判定装置３０は、重量データを取得した後に画像データを取得する。一般に、画像データの認定を伴う画像データに基づく判定処理に比べて、重量データに基づく判定処理は簡易である。重量データに基づく判定で「否」の判定結果となった場合、画像データに基づく判定結果の正否に関わらず、梱包物２０の判定結果は「否」となる。したがって、画像データに基づく判定処理を省略することができる。したがって、本実施形態では、重量データに基づく判定処理で「否」の判定結果となった場合に、判定に関する処理の負荷をより軽減することが可能である。

【0096】

また、搬送装置２１からはかり１へ梱包物２０を載せ、はかり１から搬送装置２２へ梱包物２０を移す作業を作業員が実行する場合がある。この場合、本実施形態では、梱包物２０をはかり１における前述の位置に載せれば、梱包物２０の重量の測定とカメラ２によるラベルの撮影が自動で行われる。よって、作業員による重量の測定およびカメラ２による撮像のための作業を省略することが可能である。

【0097】

また、本実施形態では、教師データ取得部３０８および学習部３０９をさらに備えている。したがって、判定装置３０において実際に取得されるデータ（例えばカメラ２によって撮像されたラベルの画像）を教師データに用いることが可能である。よって、実質的に実使用と同じ条件の教師データをモデルの学習に用いることができ、梱包物２０の判定の精度を高める観点から有利である。

【0098】

以上の説明から明らかなように、判定装置は、教師データを用いてモデルを学習させる学習部をさらに備え、教師データには、梱包材を撮像して得られる画像データと、当該画像データに関連付けられた種別に関する情報とが含まれていてもよい。この構成は、梱包物２０の判定の精度を高める観点からより一層効果的である。

【0099】

また、判定装置は、梱包材を撮像し、撮像した画像データを画像データ取得部に供給する撮像部（カメラ２）をさらに備え、撮像部は、重量データ取得部が重量データを取得した後、所定時間経過した後に梱包材を撮像してもよい。この構成は、否の判定時における判定処理の負荷を軽減する観点および作業員による撮影および重量測定に関する作業の省力化の観点からより一層効果的である。

【0100】

なお、本実施形態において、教師データは、さらに判定結果が関連付けられているデータであってもよい。たとえば、判定装置は、前述の学習部をさらに備え、教師データには、梱包材を撮像して得られる画像データと、当該画像データに関連付けられた重量に関する情報と、当該画像データと重量に関する情報とに関連付けられた判定結果とが含まれていてもよい。この構成は、ラベルの画像データ中の文字認識をすることなく梱包物２０の判定を行うことが可能となることから、判定処理の負荷を軽減する観点からより一層効果的である。

【0101】

〔ソフトウェアによる実現例〕
判定装置１０、２０および３０の制御ブロック（特に判定部１０３、２０３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0102】

後者の場合、判定装置１０、２０および３０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。当該プログラムは、例えば、判定装置１０、２０、３０としてコンピュータを機能させるための判定プログラムであって、画像データ取得部、重量データ取得部および前記判定部としてコンピュータを機能させるための判定プログラムであってよい。

【0103】

そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。

【0104】

また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0105】

〔変形例〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0106】

たとえば、前述の実施形態において、通報部１０６は、判定処理の進行状況について、通報ランプ４の点灯に加えて、音声による通知を実行してもよい。

【0107】

また、前述の実施形態において、重量データテーブルにおける重量データは、梱包物２０の判定前に測定したバルブの重量データであってもよい。判定前とは、例えば、バルブの製造時であってもよいし、バルブを梱包材に収容する時（梱包時）であってもよい。このようなバルブの重量の事前における実測値のデータを、例えばバルブの製造ロットごとに管理する。そして、製造ロットに対応するバルブの重量データと、梱包物２０について取得した重量データとを参照し、一致するものがある場合に、重量データに基づく判定結果として正の判定を行ってもよい。

【0108】

前述の実施形態において、梱包物２０をさらなる梱包材に収容する場合には、同様の判定装置を用いて、さらなる梱包物に所望の梱包物２０が収容されているか否かを判定してもよい。さらなる梱包における間違いを防止する観点から有効である。

【0109】

前述の実施形態において、判定装置は、判定結果の情報を判定装置の管理者へ送信してもよい。正の判定結果は、梱包物２０の生産実績を示す。管理者は、梱包物２０の生産予定と正の判定結果の情報とを関連付けて表示することにより、梱包物２０の生産における作業の進捗を即時かつ容易に確認することが可能となる。また、梱包物２０の判定結果を作業員が記録する場合では、作業員の記録の作業を省略することが可能となる。よって、作業員の作業を軽減する観点から効果的である。

【0110】

前述した実施形態３において、教師データ取得部および学習部は、判定装置とは別の装置が有していてもよく、学習済みモデルのみが、例えば入力部を介して判定装置へ入力されてもよい。

【符号の説明】

【0111】

１ はかり
２ カメラ
３ 液晶パネル
４ 通報ランプ
５ スイッチ
１０、２０、３０ 判定装置
１１ ストッパ
２０ 梱包物
２１ 搬送装置
２２ 搬送装置
３１ 品名
３２ 第一判定情報
３３ 第二判定情報
１００、２００、３００ 制御部
１０１ 画像データ取得部
１０２、３０２ 重量データ取得部
１０３、２０３、２０４ 判定部
１０４、２０４、３０４ 記憶部
１０５ 入力部
１０６ 通報部
２０７ 基準重量特定部
３０８ 教師データ取得部
３０９ 学習部
３１０ タイマー
３２１ 画像
３２２ 画像判定結果情報
３３１ ゲージ
３３２ 重量値
３３３ 重量判定結果情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】