特許 7178659 計量用機械学習装置、計量用機械学習システム及び計量システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-17

(45)【発行日】2022-11-28

(54)【発明の名称】計量用機械学習装置、計量用機械学習システム及び計量システム

(51)【国際特許分類】

   G01G 11/00 20060101AFI20221118BHJP

   G01G 15/00 20060101ALI20221118BHJP

   B07C 5/22 20060101ALI20221118BHJP

【ＦＩ】

G01G11/00 H

G01G15/00 B

B07C5/22

【請求項の数】 12

(21)【出願番号】P 2019000552

(22)【出願日】2019-01-07

(65)【公開番号】P2020109377

(43)【公開日】2020-07-16

【審査請求日】2021-12-27

(73)【特許権者】

【識別番号】591156799

【氏名又は名称】ユニパルス株式会社

(72)【発明者】

【氏名】堀 満

(72)【発明者】

【氏名】柿沼 光一

【審査官】森 雅之

(56)【参考文献】

【文献】特許第５９６１０６３（ＪＰ，Ｂ２）

【文献】特許第６１１４４２１（ＪＰ，Ｂ１）

【文献】特許第５９６０９３９（ＪＰ，Ｂ２）

【文献】特許第２７０６８３８（ＪＰ，Ｂ２）

【文献】特許第３６４４６８０（ＪＰ，Ｂ２）

【文献】特許第４９１６３７３（ＪＰ，Ｂ２）

【文献】特許第５２６３７７６（ＪＰ，Ｂ２）

【文献】特公平６－９２９１４（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｇ

(57)【特許請求の範囲】

【請求項1】

被計量物を搬送しながら計量を行って良否を判定するための計量条件を学習する計量用機械学習装置であって、
計量に関する物理量と前記計量条件とで構成される状態変数を観測する状態観測部と、 計量した前記被計量物の良否判定結果を示す判定データを取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記計量条件を学習する学習部と、を有し、 前記学習部は、学習した結果を記憶する学習結果記憶部を含み、
前記計量条件は、
前記計量コンベアに設けられた重量検出部から出力された重量信号の一部を除去及び加工して出力するフィルタ種類と、
前記重量信号に同期して、前記計量コンベアに設けられた振動検出部から出力された振動信号の一部を除去及び加工して出力するフィルタ種類と、
前記重量信号及び前記振動信号から前記被計量物の良否判定用重量値を確定するために用いる判定信号確定処理の種類と、を含み
前記物理量は、
前記計量コンベアの前記重量検出部にて検出された前記被計量物の所定の期間中の重量信号波形データと、
前記重量信号波形データと同期して前記振動検出部により検出された前記計量コンベアが受ける振動の所定の期間中の振動信号波形データと、
を含むことを特徴とする計量用機械学習装置。

【請求項2】

前記物理量は、
前記計量コンベアの近傍に設けられる画像撮像部により撮像された計量時の前記被計量物の画像データを含んでいることを特徴とする請求項１に記載の計量用機械学習装置。

【請求項3】

前記学習部の学習結果に基づいて、前記状態観測部にて取得した前記状態変数から、前記計量条件を決定する意思決定部をさらに備えたことを特徴とする請求項１又は２に記載の計量用機械学習装置。

【請求項4】

前記学習部は、前記状態変数と前記判定データとから前記計量条件を導く相関性モデルと予め用意された教師データから識別される相関性特徴との誤差を計算する誤差計算部と、
前記誤差を小さくするように前記相関性モデルを更新するモデル更新部と、を有することを特徴とする請求項１から３のいずれか一項に記載の計量用機械学習装置。

【請求項5】

前記学習結果記憶部は、前記モデル更新部が更新した結果を記憶することを特徴とする請求項４に記載の計量用機械学習装置。

【請求項6】

前記学習部は、
前記状態変数に基づいて前記計量条件を決定した結果に対する報酬を演算する報酬演算部と、
前記報酬に基づいて、行動価値関数を更新する行動価値関数更新部と、を含み、
前記行動価値関数更新部によって前記行動価値関数の更新を繰り返して、前記報酬が最も多く得られる前記計量条件を学習することを特徴とする請求項１から３のいずれか一項に記載の計量用機械学習装置。

【請求項7】

前記報酬演算部は、報酬条件を設定する報酬条件設定部を含んでおり、前記報酬演算部は、前記報酬条件設定部により設定された前記報酬条件に基づいて前記報酬を演算する、ことを特徴とする請求項６に記載の計量用機械学習装置。

【請求項8】

前記学習結果記憶部は、前記行動価値関数更新部が更新した結果を記憶することを特徴とする請求項６又は７に記載の計量用機械学習装置。

【請求項9】

計量を実行する計量部と、
前記計量部に係る前記物理量を検出して演算する演算部を含んだ計量制御部と、
請求項１から８のいずれか一項に記載の計量用機械学習装置と、を備えたことを特徴とする計量用機械学習システム。

【請求項10】

請求項９に記載の計量用機械学習システムを複数備え、
前記各計量用機械学習システムを互いに通信にて接続するネットワークと、
前記各計量用機械学習システムに接続されて、前記状態観測部により観測された前記物理量及び前記学習結果記憶部により記憶された学習結果のうちの少なくとも一つを記憶する上位コンピュータと、を含むことを特徴とする計量システム。

【請求項11】

請求項９に記載の計量用機械学習システムを複数備え、
前記各計量用機械学習システムを互いに通信にて接続するネットワークを有し、
前記ネットワークは、前記状態観測部により観測された前記物理量及び前記学習結果記憶部により記憶された学習結果のうちの少なくとも一つを前記各計量用機械学習システムの間で送受信する、ことを特徴とする計量システム。

【請求項12】

計量を実行する複数の計量部と、
前記各計量装置をそれぞれ制御する複数の計量制御部と、
前記各計量制御部に接続した請求項１から８のいずれか一項に記載の少なくとも１つ以上の計量用機械学習装置と、を含むことを特徴とする計量システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、肉、魚、食品、医薬品などの物品を上流の搬送のコンベアから計量を行うコンベアへ搬送しながら計量を行って規定の範囲内であるかどうかを判定する計量装置を含む計量システムに関するものである。

【背景技術】

【0002】

従来から食品等の生産ラインにおいては、生産ライン内に組み込まれて、上流の搬送コンベアから所定の間隔で搬送されてくる物品の重量を、搬送している間に計量し、得られた物品すなわち被計量物の計量値が基準範囲内にあるか否かを判定し、基準範囲内の良品とそれ以外の不良品とを選別している。この生産ラインの管理者等は、対象とする被計量物の種類に応じて模擬的なサンプルを用意し、計量した波形信号に対して計量装置に内蔵された様々なフィルタを適宜選んだり、コンベア速度を調整したり、連続した被計量物の計量波形を見て良否判定のための計量値を得る期間を設定したりするなどして適当な計量条件を見出す作業を行っている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１５/１４１６７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

これに対して例えばフィルタの選択において実際に計量を行わなくても適切なフィルタ条件を判断するようにしたものが公知である（特許文献１）。特許文献１では自動で選択されたフィルタによる計量信号の波形と、他のフィルタによる計量信号の波形とを視覚的に確認することができる。しかしながらフィルタの設定だけで最適な計量条件を得るのは困難であり、管理者等は対象とする物品や計量装置の個体差等に応じて試行錯誤してこれを確認して設定する必要があって、改善の余地があった。

【0005】

本発明は、上述の問題を解決するもので機械学習を用いて最適な計量条件を学習し、精度良く対象物品の計量を可能とする計量用機械学習装置、これを含む計量用機械学習システム及び計量システムを提供することを課題としている。

【課題を解決するための手段】

【0006】

本発明の計量用機械学習装置は、
被計量物を搬送しながら計量を行って良否を判定するための計量条件を学習する計量用機械学習装置であって、
計量に関する物理量と計量条件とで構成される状態変数を観測する状態観測部と、計量した被計量物の良否判定結果を示す判定データを取得する判定データ取得部と、
状態変数と判定データとを用いて、計量条件を学習する学習部と、を有し、
学習部は、学習した結果を記憶する学習結果記憶部を含んで構成されている。

【0007】

また、
学習部の学習結果に基づいて、状態観測部にて取得した状態変数から、計量条件を決定する意思決定部をさらに備えて構成されている。

【0008】

また、
計量条件は、
被計量物の計量を行う計量コンベアの計量コンベア搬送速度、
計量コンベアへ被計量物を送出する搬入コンベア搬送速度、
計量コンベアに設けられた重量検出部から出力された重量信号の一部を除去及び加工して出力するフィルタ種類、
重量信号に同期して、計量コンベアに設けられた振動検出部から出力された振動信号の一部を除去及び加工して出力するフィルタ種類、
重量信号及び振動信号から被計量物の良否判定用重量値を確定するために用いる判定信号確定処理の種類、
判定信号確定処理を適用する時間、のうちの少なくとも一つを含んでおり、
物理量は、
計量コンベアの上流側に設けられて被計量物の搬入を検出する搬入検出センサより出力される被計量物検出信号、
計量コンベアの重量検出部にて検出された被計量物の所定の期間中の重量信号波形データ、
重量信号波形データと同期して振動検出部により検出された計量コンベアが受ける振動の所定の期間中の振動信号波形データ、
計量コンベアの近傍に設けられる画像撮像部により撮像された計量時の被計量物の画像データ、のうちの少なくとも一つを含んで構成されている。

【0009】

また、
学習部は、状態変数と判定データとから計量条件を導く相関性モデルと予め用意された教師データから識別される相関性特徴との誤差を計算する誤差計算部と、
誤差を小さくするように相関性モデルを更新するモデル更新部と、を有している。

【0010】

また、学習結果記憶部は、モデル更新部が更新した結果を記憶するように構成されている。

【0011】

また、学習部は、
状態変数に基づいて計量条件を決定した結果に対する報酬を演算する報酬演算部と、
報酬に基づいて、行動価値関数を更新する行動価値関数更新部と、を含み、
行動価値関数更新部によって行動価値関数の更新を繰り返して、報酬が最も多く得られる計量条件を学習するように構成されている。

【0012】

また、報酬演算部は、報酬条件を設定する報酬条件設定部を含んでおり、報酬演算部は、報酬条件設定部により設定された報酬条件に基づいて報酬を演算するように構成されている。

【0013】

また、学習結果記憶部は、行動価値関数更新部が更新した結果を記憶するように構成されている。

【0014】

本発明の計量用機械学習システムは、
計量を実行する計量部と、
計量部に係る物理量を検出して演算する演算部を含んだ計量制御部と、
請求項１から８のいずれか一項に記載の計量用機械学習装置と、で構成されている。

【0015】

また、
請求項９に記載の計量用機械学習システムを複数備え、
各計量用機械学習システムを互いに通信にて接続するネットワークと、
各計量用機械学習システムに接続されて、状態観測部により観測された物理量及び学習結果記憶部により記憶された学習結果のうちの少なくとも一つを記憶する上位コンピュータと、を含んで構成されている。

【0016】

また、
請求項９に記載の計量用機械学習システムを複数備え、
各計量用機械学習システムを互いに通信にて接続するネットワークを有し、
ネットワークは、状態観測部により観測された物理量及び学習結果記憶部により記憶された学習結果のうちの少なくとも一つを各計量用機械学習システムの間で送受信するように構成されている。

【0017】

また、
計量を実行する複数の計量部と、
各計量装置をそれぞれ制御する複数の計量制御部と、
各計量制御部に接続した請求項１から８のいずれか一項に記載の少なくとも１つ以上の計量用機械学習装置と、を含んで構成されている。

【発明の効果】

【0018】

本発明によれば、熟練した管理者等による計量条件の設定を不要とし、最適な計量条件を自動的に決定できる計量用機械学習装置、計量用機械学習システム及び計量システムを提供できる。

【図面の簡単な説明】

【0019】

【図1】本発明の第１、第２の実施形態に係る計量用機械学習システムの構成図である。

【図2】本発明の第１、第２の実施形態に係る計量装置の物理量等を示すタイミングチャートである。

【図3】本発明の第１の実施形態に係る計量用機械学習システムの詳細構成図である。

【図4】本発明の第２の実施形態に係る計量用機械学習システムの詳細構成図である。

【図5】本発明の第２の実施形態に係る計量用機械学習装置が行うフローチャートである。

【図6】本発明の第１の実施形態に係る計量システムの構成図である。

【図7】本発明の第２の実施形態に係る計量システムの構成図である。

【図8】本発明の第３の実施形態に係る計量システムの構成図である。

【発明を実施するための形態】

【0020】

以下、本発明に係る計量装置の実施形態について図面を参照して説明する。

【0021】

図１は、本発明の第１の実施形態と、第２の実施形態で共通である計量用機械学習システム４０１の構成を示した図である。但し、計量用機械学習装置３０１に含まれる学習部３０４の内容は第１の実施形態と第２の実施形態では異なる。この相違部分は図３と図４を用いて後述する。

【0022】

計量用機械学習システム４０１は、計量装置１と計量用機械学習装置３０１とで構成されている。計量装置１は、計量部１０１と計量制御部２０１とで構成されている。計量部１０１は、被計量物を搬送しつつ計量を行うハードウエアを含んで構成される。計量制御部２０１は、計量部１０１へ電源を供給して駆動する電気回路基板と、計量部１０１に設けられた各検出手段からの電気信号を処理する電子回路とを含むコンピュータのハードウエアすなわち回路基板と、演算等を行うソフトウエアで構成される。計量用機械学習装置３０１は、計量制御部２０１と電気信号の送受信を行って計量に関する学習を行うコンピュータのハードウエア及びソフトウエアで構成される。なお計量部１０１と、計量制御部２０１のハードウエアと、の配置は別体型で設けても良いし、一体組み込み型としても良い。

【0023】

計量部１０１は主なるものとして、複数の搬送用のコンベア、重量検出部１１０、振動検出部１１１、搬入検出センサ１０７、画像撮像部１０９を含んでいる。

【0024】

計量コンベア１０４は、プーリとこれに巻きつけられた環状のベルト、プーリとベルトを回転させる計量コンベアモータ１０５からなり、被計量物の大きさ、重量及び搬送速度等を考慮して設けられている。計量コンベア１０４は、計量コンベアモータ１０５によりベルトを送り出して被計量物１２０ａを載せて、駆動部２１１により指示された計量コンベア搬送速度にて方向Ａへ搬送する。

【0025】

重量検出部１１０は、計量コンベア１０４を支持して、計量コンベア１０４にて搬送中の被計量物１２０ａの重量を検出する。重量検出部１１０は、例えば感歪み抵抗体を有したロードセルであって、検出した重量を電気的なアナログ信号に変換して出力する。重量検出部１１０はこれに限らず電磁力平衡方式等であっても良い。

【0026】

振動検出部１１１は、計量コンベア１０４で生ずる振動や計量コンベア１０４に加わる外乱を検出する。振動検出部１１１は、例えば静電容量式であって、検出した振動を電気的なアナログ信号に変換して出力する。振動検出部１１１はこれに限らず渦電流式センサや、圧電素子等であっても良い。

【0027】

画像撮像部１０９は、計量コンベア１０４で搬送中の被計量物１２０ａの画像を撮像して撮像データとして出力するカメラである。画像撮像部１０９は、例えば被計量物１２０ａの搬送方向に交差する横方向から見た画像を出力する。

【0028】

搬入コンベア１０２は、プーリとそれに巻きつけられた環状のベルト、プーリとベルトを回転させる搬入コンベアモータ１０３からなり、被計量物の大きさ、重量及び搬送速度等を考慮して設けられている。搬入コンベア１０２は、搬入コンベアモータ１０３によりベルトを送り出して被計量物１２０ｂを載せて、計量コンベア１０４へ駆動部２１１により指示された搬入コンベア搬送速度にて搬送する。

【0029】

搬入検出センサ１０７は、計量コンベア１０４の上流側で、搬入コンベア１０２と計量コンベア１０４の乗り移り部分近傍に設けられている。搬入検出センサ１０７は、搬送中の被計量物を検出して、例えば被計量物が計量コンベア１０４への乗り移りを確認できるように設けられている。搬入検出センサ１０７は、例えば拡散反射型の光電センサであるが、透過型の光電センサを、搬入コンベア１０２と計量コンベア１０４の間で上下若しくはコンベア幅方向にて挟んで設置することも可能である。被計量物の大きさ、形状、色あるいは搬送速度などの計量環境などによって適当なセンサを選択すれば良い。よって搬入検出センサ１０７は、被計量物を検出している間は被計量物検出信号を出力する。

【0030】

搬出コンベア１０６は、プーリとそれに巻きつけられた環状のベルト、プーリとベルトを回転させるモータからなり、被計量物の大きさ、重量及び搬送速度等を考慮して設けられている。搬出コンベア１０６は、モータによりベルトを送り出して被計量物１２０ａを計量コンベア１０４から受け取って、さらに後の装置へ搬送する。

【0031】

計量制御部２０１は、計量部１０１と電気的に繋がって、計量部１０１へ駆動信号を送信し、計量部１０１の各検出手段からの検出信号を受信する。計量制御部２０１は、重量信号処理部２０２と、振動信号処理部２０３と、演算部２０４と、判定部２０６と、設定部２１０と、駆動部２１１と、画像信号処理部２０８とを含んでいる。

【0032】

重量信号処理部２０２は、計量部１０１の重量検出部１１０から出力された重量のアナログ信号を処理してデジタル化して所定の期間中の重量信号波形データとして出力する。 重量信号処理部２０２は、Ａ／Ｄ変換器２０２ａと、重量信号記憶手段２０２ｂと、フィルタ２０２ｃとを含んでいる。

【0033】

Ａ／Ｄ変換器２０２ａは、重量検出部１１０から出力された重量のアナログ信号をデジタル信号に変換して出力する。重量信号記憶手段２０２ｂは、Ａ／Ｄ変換器２０２ａにて変換されたデジタル信号を所定の期間分だけ記憶してこれを出力する。

【0034】

フィルタ２０２ｃは、重量信号記憶手段２０２ｂによって所定の期間分を記憶された重量信号を受信し、この重量信号の一部を除去及び加工して被計量物の重量信号波形データとして出力する。フィルタ２０２ｃは複数のフィルタ種類を有している。フィルタ２０２ｃは例えばローパスフィルタやバンドパスフィルタである。フィルタ２０２ｃは重量信号の特定の周波数帯域の成分を除去する。したがってフィルタ２０２ｃは、後述の設定部２１０からの指令に基づきフィルタ種類と除去する周波数帯域が設定され、これに基づいて重量信号を処理する。フィルタ２０２ｃはこの他に、ある一定区間毎の平均値を、区間をずらしながら求める移動平均フィルタを備えて、ローパスフィルタやバンドパスフィルタと組み合わせて使用することもできる。

【0035】

振動信号処理部２０３は、計量部１０１の振動検出部１１１から出力された振動のアナログ信号を処理してデジタル化して振動信号波形データとして出力する。振動信号処理部２０３は、Ａ／Ｄ変換器２０３ａと、振動信号記憶手段２０３ｂと、フィルタ２０３ｃとを含んでいる。振動信号処理部２０３の各処理手段は、基本的に重量信号処理部２０２のものと同様である。そして重量信号記憶手段２０２ｂと振動信号記憶手段２０３ｂとは、重量信号波形データと振動信号波形データを同時期のデータに揃えるために同期して両信号を記憶している。

【0036】

設定部２１０は、重量信号処理部２０２のフィルタ２０２ｃ及び振動信号処理部２０３のフィルタ２０３ｃの種類や周波数範囲を設定する。さらに設定部２１０は、搬入コンベア１０２及び計量コンベア１０４の各搬送速度の設定も行う。さらに設定部２１０は、計量制御部２０１に対しての入力手段の役割も有している。すなわち設定部２１０は、キーボードやタッチパネル等の入力手段を有している。

【0037】

画像信号処理部２０８は、画像撮像部１０９から出力された画像信号から例えば被計量物１２０ａの輪郭線を抽出して、これをデータ化して撮像データとして演算部２０４へ送信する。被計量物の計量コンベア１０４への搬入は搬入検出センサ１０７にて検出はできるが、図１に示すように搬入検出センサ１０７の物体検出方向が鉛直下向きになっていて、底面より天面が大きい被計量物１２０ａが搬送される場合、搬入検出センサ１０７が被計量物１２０ａを検出しても未だ重量検出部１１０は被計量物１２０ａの重量を検出できない状態が生じる。したがって、画像撮像部１０９によって被計量物１２０ａの側面の形状を撮像して、画像信号処理部２０８にて被計量物１２０ａの形状を特定し、この撮像データを演算部２０４へ送信する。

【0038】

演算部２０４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶部２０５として書き換え消去も可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等と、入出力部を備えている。演算部２０４は、搬入検出センサ１０７にて被計量物が計量コンベア１０４に搬入されて来たことを示す信号を受信し、重量信号処理部２０２から出力された重量信号波形データと、振動信号処理部２０３から出力された振動信号波形データと、を受信してこれらを基に演算して被計量物１２０ａの重量値を求め、判定部２０６へ出力する。演算部２０４は、重量信号処理部２０２から出力された重量信号波形データと、振動信号処理部２０３から振動信号波形データと、を用いて被計量物１２０ａの良否判定用重量値を定めるために用いる判定信号処理を行う機能を含んでいる。

【0039】

なお重量信号処理部２０２と、振動信号処理部２０３と、演算部２０４とはそれぞれ独立して設けられても良いし、一部が合体しても良いし、全てが演算部２０４に含まれるように構成しても良い。

【0040】

演算部２０４はさらに、後述する状態変数（物理量Ｐと計量条件Ｃ）を計量用機械学習装置３０１の状態観測部３０２へ出力する。

【0041】

記憶部２０５は、演算部２０４内にあって、搬入検出センサ１０７が物品を検出してから計量を開始するまでの時間Ｔ１と、計量開始から終了までの時間を規定する計量期間Ｔ２、フィルタ２０２ｃの選択種類と周波数設定値、被計量物の良否判定の上下限値等が記憶されている。

【0042】

駆動部２１１は、設定部２１０からの設定情報にしたがって、記憶部２０５内に記憶されている搬入コンベア１０２及び計量コンベア１０４の現在駆動中の各搬送速度を参照して、搬入コンベアモータ１０３及び計量コンベアモータ１０５をそれぞれ所定の速度で駆動する。

【0043】

判定部２０６は、演算部２０４から記憶部２０５に記憶されている重量の判定用上下限値と被計量物の重量値とを比較して許容範囲内にあるかを判定する。判定部２０６は、被計量物の重量値が範囲内であれば良品として判定出力し、範囲外であれば不良と判定し、この良否判定結果の情報を判定結果表示部２０７へ送信する。判定部２０６はさらに、この良否判定結果と、被計量物の重量値と、判定用上下限値とを判定データとして計量用機械学習装置３０１の判定データ取得部３０８へ出力する。

【0044】

判定結果表示部２０７は判定部２０６からの情報を受信して、良否判定結果、被計量物の重量値及び判定用上下限値などを表示する。

【0045】

計量用機械学習装置３０１は学習により、計量を行う際の諸変数（例えば被計量物の形状、大きさ等）と、計量における補正係数との、相関性を表すモデル構造を形成してこれを逐次更新する。計量用機械学習装置３０１は、計量に係る計量条件を機械学習によって自ら学習するハードウエア（ＣＰＵ）とソフトウエア（学習アルゴリズム）を含んでいる。そして計量用機械学習装置３０１は、状態観測部３０２と、判定データ取得部３０８と、学習部３０４と、意思決定部３０３とを含んでいる。

【0046】

状態観測部３０２は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。状態観測部３０２が観測する状態変数には、例えば物理量Ｐと計量条件Ｃを含んでいる。状態観測部３０２は、物理量Ｐと計量条件Ｃを、計量制御部２０１の演算部２０４から受信する。

【0047】

物理量Ｐは、例えば、被計量物検出信号、重量信号波形データ、振動信号波形データ、
被計量物の画像データ、などを含めることができる。被計量物検出信号は、計量コンベア１０４の上流側に設けられて被計量物の搬入を検出する搬入検出センサ１０７より出力される検出信号である。重量信号波形データは、計量コンベア１０４に設けられた重量検出部１１０により計量された被計量物１２０ａの重量信号である。振動信号波形データは、計量コンベア１０４に設けられた振動検出部１１１により検出された計量コンベア１０４が受ける振動の振動信号である。被計量物の画像データは、計量コンベア１０４近傍に設けられた画像撮像部１０９により撮像された計量時の被計量物１２０ａの画像データである。

【0048】

計量条件Ｃは、例えば、計量コンベア搬送速度、搬入コンベア搬送速度、判定信号確定処理の種類、判定信号確定処理を適用する時間、フィルタ種類などを含めることができる。計量コンベア搬送速度は、被計量物１２０ａの計量を行う計量コンベア１０４の搬送速度である。搬入コンベア搬送速度は、計量コンベア１０４へ被計量物１２０ｂを送出する搬入コンベア１０２の搬送速度である。判定信号確定処理は、計量コンベア１０４に設けられた重量検出部１１０から出力された重量信号波形データを基に被計量物１２０ａの良否判定用重量値を確定する処理の方法を指す。判定信号確定処理を適用する時間は、被計量物１２０ａの連続した重量信号のうち良否判定用重量値の決定に用いる時間である。フィルタ種類は、重量信号の一部を除去及び加工して出力するフィルタ２０２ｃの種類である。なお計量条件Ｃは、計量に関する物理量Ｐに含まれる場合もある。

【0049】

なお、これらの状態変数は上記の項目に限定されるものではなく、他の有用な変数を状態変数として用いることが可能である。

【0050】

判定データ取得部３０８は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。判定データ取得部３０８が取得する判定データは、被計量物に対して計量が行われた後に、計量制御部２０１の判定部２０６から取得できる。判定データは、ある状態変数の下で計量を実行した時の結果を表す指標であって、計量が行われた環境の現在の状態を間接的に表す。

【0051】

学習部３０４は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。学習部３０４は、機械学習のアルゴリズムにしたがい、被計量物の計量条件を学習する。学習部３０４は、被計量物に対して、前述の状態変数と判定データとを含むデータ集合に基づく学習を反復実行する。

【0052】

意思決定部３０３は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。意思決定部３０３は、例えば学習部３０４が学習した計量条件を、管理者等に対して判定結果表示部２０７等を共用して表示する。また意思決定部３０３は、学習部３０４が学習した計量条件に基づいて、計量装置の計量制御部２０１の制御実行部２０９への指令値を生成して出力する。意思決定部３０３が計量条件を決定し、これに基づいて計量制御部２０１の制御実行部２０９へ指令値を出力した場合、これに応じて計量条件が変化する。

【0053】

図２は本発明の第１、第２の実施形態共通に係る計量装置１の物理量の一部例等をタイミングチャートで表したものである。

【0054】

図２（ａ）は搬入検出センサ１０７からの出力を示していて、搬入検出センサ１０７が計量コンベア１０４上の被計量物を検出している期間にＬ（Ｌｏｗ）の状態となって、被計量物を検出していない期間はＨ（Ｈｉｇｈ）電圧信号を出力する。

【0055】

図２（ｂ）は重量信号処理部２０２からの重量信号波形データの出力例であって、搬入検出センサ１０７が被計量物を検出した後、被計量物が計量コンベアに乗り移って徐々に検出重量が上昇し、被計量物が計量コンベア１０４から搬出され始めると重量が減少する。図２（ｂ）に示すように、重量信号の波形は、被計量物の形状や、計量コンベア１０４の振動などに影響を受ける場合がある。

【0056】

図２（ｃ）は振動信号処理部２０３からの振動信号波形データの出力例であって、計量コンベア１０４に生じている振動の波形を示している。

【0057】

図２（ｄ）は演算部２０４が、搬入検出センサ１０７、重量信号処理部２０２、振動信号処理部２０３からの各出力信号を基に演算して、被計量物１２０ａの良否判定用の重量波形を合成した合成波形である。

【0058】

演算部２０４で行う被計量物１２０ａの良否判定用の判定信号処理は、例えばサンプル処理、ピーク処理、単純平均処理、除去平均処理がある。

【0059】

サンプル処理とは、この合成波形において搬入検出センサ１０７が被計量物１２０ａの検出を開始した時刻から例えば時間Ｔ１経過した時点の計量値を、被計量物の良否判定用重量値として確定する処理である。

【0060】

ピーク処理とは、この合成波形において所定の値以上となっている全区間中の最大値を被計量物１２０ａの良否判定用重量値として確定する処理である。

【0061】

単純平均処理とは、この合成波形において搬入検出センサ１０７が被計量物１２０ａの検出を開始した時から例えば時間Ｔ１経過した後、計量開始から終了までの時間を規定する計量期間Ｔ２内の全計量データを加算して、これをデータ数で割り算して平均値を求めて被計量物１２０ａの良否判定用重量値として確定する処理である。

【0062】

除去平均処理とは、この合成波形において搬入検出センサ１０７が被計量物１２０ａの検出を開始した時から例えば時間Ｔ１経過した後、計量開始から終了までの時間を規定する計量期間Ｔ２内の全計量データのうち最大値と最小値を抽出し、その最大値と最小値の差を所定の分割数にて割ってグループ分けし、最大のグループ及び最小のグループのデータを除去して、残りのグループのデータを単純平均して平均値を求めて被計量物１２０ａの良否判定用重量値として確定する処理である。

【0063】

例えば単純平均処理や除去平均処理においては、演算部２０４は、搬入検出センサ１０７が物品を検出してから計量を開始するまでの時間Ｔ１と、計量開始から終了までの時間を規定する計量期間Ｔ２、を演算する。さらにその際、画像信号処理部２０８から被計量物１２０ａの形状データを受信して、搬入検出センサ１０７から出力される被計量物１２０ａの搬入信号及び重量信号処理部２０２から出力された重量信号を基に時間Ｔ１と計量期間Ｔ２を補正する。すなわち被計量物１２０ａの形状により、被計量物１２０ａの良否判定用重量値を演算する期間を移動させる補正を行う。例えば図１の被計量物１２０ａの場合には重量信号処理部２０２から出力された重量信号は、搬入検出センサ１０７から出力される被計量物１２０ａの搬入信号に対して若干遅れることから、演算部２０４は搬入検出センサ１０７が物品を検出してから計量を開始するまでの時間Ｔ１をその分長く設定する必要がある。

【0064】

ここで時間Ｔ１は、搬入検出センサ１０７が被計量物の検出を開始した時刻から、良否判定用の被計量物の重量を演算するために使用するデータ波形の先頭までの時間である。そして計量期間Ｔ２は、良否判定用の被計量物の重量を演算するために使用するデータ波形の開始から終了までの時間である。演算部２０４は、計量期間Ｔ２における被計量物の重量データを基に被計量物の判定用重量値を決定してこれを判定部２０６へ送信する。判定部２０６は演算部２０４からこの被計量物の重量値を受信して、記憶部２０５に記憶されている被計量物の良否判定の上限値Ｗ_Ｈ、下限値Ｗ_Ｌと比較する。判定部２０６は、被計量物の重量値が上限値Ｗ_Ｈから下限値Ｗ_Ｌの範囲内であれば良品として判定出力し、範囲外であれば不良と判定し、この良否判定結果の情報を判定結果表示部２０７へ送信する（図２（ｅ））。

【0065】

図３は本発明の第１の実施形態に係る計量用機械学習システム４０１の詳細構成図である。計量用機械学習システム４０１は、計量装置１と計量用機械学習装置３０１とで構成されている。第１の実施形態に係る計量用機械学習システム４０１は、機械学習が教師あり学習を行う場合である。教師あり学習は、入力とそれに対応する出力との既知のデータセット、いわゆる教師データが予め大量に与えられる。計量用機械学習装置３０１は、この教師データから入力と出力との相関性を暗示する特徴を識別して、新たな入力に対する出力を推定するための相関性モデル、例えばここでは計量条件を学習する。

【0066】

計量制御部２０１の演算部２０４は、状態変数を構成する物理量Ｐと計量条件Ｃとを演算して出力する。一方、計量用機械学習装置３０１の状態観測部３０２は、演算部２０４から出力された物理量Ｐと計量条件Ｃとを受信する。

【0067】

図３に示す計量用機械学習装置３０１は、状態観測部３０２と、学習部３０４ａと、意思決定部３０３と、判定データ取得部３０８とを有する。状態観測部３０２は、計量制御部２０１の演算部２０４から出力された物理量Ｐと計量条件Ｃとを受信する。状態観測部３０２は学習部３０４ａへこの物理量Ｐと計量条件Ｃとを送信する。一方、判定データ取得部３０８は計量制御部２０１の判定部２０６から出力された判定データを受信する。判定データ取得部３０８は学習部３０４ａへこの判定データを送信する。

【0068】

学習部３０４ａは、誤差計算部３０５と、モデル更新部３０６と、学習結果記憶部３０７を備える。誤差計算部３０５は、状態変数及び判定データから計量を行う際の最適な計量条件を導く相関性モデルと、予め用意された教師データから識別される相関性特徴と、の誤差を計算する。モデル更新部３０６は、この誤差を縮小するように相関性モデルを更新する。そして学習部３０４ａは、モデル更新部３０６が相関性モデルの更新を繰り返すことによって計量における最適な計量条件を学習して、学習結果記憶部３０７にてこれを記憶する。意思決定部３０３は、学習部３０４ａが学習した計量条件に基づいて、計量装置１の計量制御部２０１の制御実行部２０９への指令値を生成して出力する。

【0069】

なお学習結果記憶部３０７に、他の計量用機械学習装置によって得られた学習結果や、他の計量用機械学習システムが記憶している学習結果を入力して記憶させても良い。さらに学習結果記憶部３０７が記憶している学習結果を、他の計量用機械学習装置や他の計量用機械学習システムに対して出力することも可能である。

【0070】

相関性モデルの初期値は、例えば、状態変数及び判定データとの相関性を単純化して表現したものであり、教師あり学習の開始前に学習部３０４ａに与えられる。教師データは、例えば、過去の計量において管理者等が決定した計量条件を記録することで蓄積された経験値（被計量物の形状や重量と、適切な計量条件との既知のデータセット）によって構成される。誤差計算部３０５は、学習部３０４ａに与えられた大量の教師データから被計量物の形状や重量と、適切な計量条件との相関性を暗示する相関性特徴を識別し、この相関性特徴と、現在の状態における状態変数及び判定データに対応する相関性モデルとの誤差を求める。モデル更新部３０６は、例えば予め定めた更新ルールにしたがい、誤差が小さくなる方向へ相関性モデルを更新する。

【0071】

相関性モデルの初期値が与えられた後、誤差計算部３０５は、更新後の相関性モデルにしたがって計量を試行することで変化した状態変数及び判定データを用いて、変化した状態変数及び判定データに対応する相関性モデルに対して誤差を求める。そしてこの誤差に基づきモデル更新部３０６は、再び相関性モデルを更新する。これを繰り返して、未知であった計量装置の現在状態とそれに対する適切な計量条件との相関性が徐々に明らかになる。相関性モデルの更新により、被計量物の形状や重量と、適切な計量条件との関係が最適解に徐々に近づく。

【0072】

教師あり学習を進める際に、例えばニューラルネットワークを用いても良い。ニューラルネットワークは、例えばニューロンのモデルと同様の構造の演算装置や記憶装置等によって構成できる。計量用機械学習装置３０１においては、状態変数と判定データとを入力として、学習部３０４ａがニューラルネットワークにしたがう多層構造の演算を行い、計量を行う際の最適な計量条件を出力することができる。ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みを学習し、学習した重みを用いて価値予測モードで行動の価値判断を行うことができる。

【0073】

上記の計量用機械学習装置３０１の構成は、コンピュータのＣＰＵが実行する機械学習方法、あるいはソフトウエアとして記述できる。この機械学習方法は、計量を行う際の最適な計量条件を学習する方法である。この機械学習方法は、状態変数観測ステップと、判定データ取得ステップと、学習ステップを有している。状態変数観測ステップは、計量を行う際の計量条件を示す条件データを状態変数として観測する。判定データ取得ステップは、この状態変数のもとで計量を行った際の計量の判定が良好であった時の計量条件を示す判定データを取得する。学習ステップは、この状態変数と判定データとを用いて、計量を行う際の計量条件と適切な計量条件とを関連付けて学習する。

【0074】

なお本発明の第１の実施形態に係る計量用機械学習システム４０１は、学習部３０４ａが教師あり学習を行う場合について説明したが、半教師あり学習、教師なし学習などの各種の機械学習を行うことも可能である。

【0075】

図４は本発明の第２の実施形態に係る計量用機械学習システム４０１の詳細構成図である。計量用機械学習システム４０１は、計量装置１と計量用機械学習装置３０１とで構成されている。第２の実施形態に係る計量用機械学習システム４０１は機械学習を強化学習にて行う場合である。強化学習は、学習対象が存在する環境の現在状態（入力）を観測するとともに、現在状態で所定の行動（出力）を実行し、その行動に対し予め定めた報酬を与えるというサイクルを反復して、報酬の総計が最大化されるような計量条件を最適なものとして学習する手法である。

【0076】

図４に示す計量用機械学習装置３０１において、学習部３０４ｂは、報酬演算部３０９と、行動価値関数更新部３１１と、学習結果記憶部３０７とを備える。報酬演算部３０９は、状態変数に基づいて計量することにより得られる判定結果に関連する報酬を求める。行動価値関数更新部３１１はこの報酬を用いて、計量時に使用される計量条件の価値を表す行動価値関数Ｑを更新する。そして学習部３０４ｂは、行動価値関数更新部３１１が行動価値関数Ｑの更新を繰り返すことによって被計量物の計量条件を学習する。

【0077】

学習部３０４ｂが実行するいわゆるＱ学習として知られる強化学習について説明する。この強化学習のアルゴリズムは、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す行動価値関数Ｑ（ｓ，ａ）を学習する方法である。状態ｓで行動価値関数Ｑ（ｓ，ａ）が最も高くなる行動ａを選択することが最適解となる。学習部３０４ｂは、状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、行動価値関数Ｑ（ｓ，ａ）を反復して更新し、最適解に近づける。ここで、状態ｓで行動ａを選択した結果として環境（状態ｓ）が変化した時に、その変化に応じた報酬ｒ（行動ａの重み付け）が得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、行動価値関数Ｑ（ｓ，ａ）を比較的短時間で最適解に近づけることができる。

【0078】

行動価値関数Ｑ（ｓ，ａ）の更新式は、一般に下記の数１式のように表すことができる。
数１式において、ｓ_ｔ及びａ_ｔはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_ｔにより状態はｓ_ｔ+1に変化する。ｒ_ｔ+1は、状態がｓ_ｔからｓ_ｔ+1に変化したことで得られる報酬である。ｍａｘの項は、時刻ｔ＋１で最大の価値になる行動を行った時の価値を意味する。αは学習係数であり、０＜α≦１、 ０＜γ≦１で任意設定され、行動価値関数Ｑ（ｓ，ａ）の更新をどれだけ急速に行うかを設定するものである。一方、γは割引率であり、０＜γ≦１で任意設定され、将来の価値をどれだけ割り引いて考えるかを設定するものである。

【数1】

【0079】

学習部３０４ｂがＱ学習を実行する場合、状態観測部３０２が観測した状態変数、及び判定データ取得部３０８が取得した判定データは、更新式の状態ｓに該当する。現在状態の計量条件をどのように変更するかという行動は、更新式の行動ａに該当する。報酬演算部３０９が求める報酬は、更新式の報酬ｒに該当する。よって行動価値関数更新部３１１は、現在状態の計量条件の価値を表す行動価値関数Ｑ（ｓ，ａ）を、報酬を用いたＱ学習により繰り返し更新する。

【0080】

報酬演算部３０９が求める報酬は、例えば物理量が予め設定された範囲内で安定している場合に正（プラス）の報酬とし、物理量が予め設定された範囲外となっている場合に負（マイナス）の報酬とすることができる。正負の報酬の絶対値は、互いに同一であっても良いし異なっていても良い。この報酬に係る項目の詳細については図５のフローチャート図を用いて後述する。

【0081】

報酬条件設定部３１０は、正負の報酬の値を設定する役割を持っている。報酬条件設定部３１０は、学習が進むにつれて正負の報酬の値を変化させても良い。

【0082】

行動価値関数更新部３１１は、状態変数ｓと判定データｄと報酬ｒとを、行動価値関数Ｑ（ｓ，ａ）で表される行動価値と関連付けて整理した例えば行動価値テーブルを有している。この場合に、行動価値関数更新部３１１が行動価値関数Ｑ（ｓ，ａ）を更新するという行為は、行動価値関数更新部３１１が行動価値テーブルを更新するという行為を指すことに等価と言える。Ｑ学習の開始時には環境の現在状態とそれに対する行動との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数ｓと判定データｄと報酬ｒとが、無作為に定めた行動価値の値と関連付けた形態で用意されている。なお報酬演算部３０９は、判定データｄに基づきこれに対応する報酬ｒを直ちに算出でき、算出した値の報酬ｒが行動価値テーブルに書き込まれる。

【0083】

被計量物の合否判定結果に応じた報酬ｒを用いてＱ学習を進めると、より高い報酬ｒが得られる行動を選択する方向へ学習が誘導される。そして選択した行動を現在状態で実行した結果として変化する環境の状態（状態変数及び判定データ）に応じて、現在状態で行う行動の行動価値の値が書き替えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルにおける行動価値の値は、適正な行動ほど大きな値となるように更新される。この更新を繰り返すことで、未知であった環境の現在状態とそれに対する行動との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、計量条件が最適なものに徐々に近づくことになる。

【0084】

学習結果記憶部３０７は、学習部３０４ｂが学習した学習結果を記憶する。この学習結果とは例えば行動価値の値を含む行動価値テーブルを指す。

【0085】

図５は本発明の第２の実施形態の計量用機械学習システムが実行する強化学習のフローチャート図である。図５により、計量用機械学習装置３０１が行うＱ学習のフローを説明する。

【0086】

ステップＳ０１にて、状態観測部３０２は計量装置１の状態変数に係るデータを、判定データ取得部３０８は計量装置１の判定部２０６の判定に係るデータを取得する。

【0087】

ステップＳ０２にて、学習部３０４ｂは、状態観測部３０２が取得した状態変数に係るデータと、判定データ取得部３０８が取得した判定に係るデータと、に基づいて現在の状態Ｓ_ｔを特定する。

【0088】

ステップＳ０３にて、学習部３０４ｂは、過去の学習結果とステップＳ０２にて特定した現在の状態に基づいて行動ａ_ｔを選択し、意思決定部３０３は学習部３０４ｂにて選択された行動に基づいて行動ａ_ｔを実行する。

【0089】

ステップＳ０４にて、状態観測部３０２は計量装置１の状態変数に係るデータを、判定データ取得部３０８は計量装置１の判定部２０６の判定に係るデータをそれぞれ新たに取得する。この時、計量装置１の状態は、ステップＳ０３を実行していることから時刻が推移しているとともに実行された行動により変化している。

【0090】

ステップＳ０５にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係る物理量の連続した複数のデータを基に、この複数のデータの変動が小さいすなわち物理量が安定しているかどうかを判断する。ステップＳ０５にて報酬演算部３０９が、物理量が安定していると判断した場合（Ｙｅｓ）はステップＳ０６へ進み、物理量が安定していないと判断した場合（Ｎｏ）はステップＳ０７へ進む。物理量が安定しているかどうかの許容範囲は予め個別に設定されているものである。

【0091】

ステップＳ０６にて、報酬演算部３０９は、正の値の報酬を演算してステップＳ０８へ進む。一方ステップＳ０７にて、報酬演算部３０９は、負の値の報酬を演算してステップＳ０８へ進む。

【0092】

ステップＳ０８にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、被計量物の間隔が狭いかどうかを判断する。被計量物の間隔が狭い方が一定時間内に多くの計量を実施できることから、被計量物の間隔が規定値より小さいと判断した場合（Ｙｅｓ）はステップＳ０９にて正の値の報酬を演算した後ステップＳ１１へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１０にて負の値の報酬を演算した後ステップＳ１１へ進む。

【0093】

ステップＳ１１にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、被計量物の重量波形の収束が速いかどうかを判断する。被計量物の重量波形が速く収束する方が計量を安定に実施できることから、被計量物の重量波形の収束が規定値より速いと判断した場合（Ｙｅｓ）はステップＳ１２にて正の値の報酬を演算した後ステップＳ１４へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１３にて負の値の報酬を演算した後ステップＳ１４へ進む。

【0094】

ステップＳ１４にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、被計量物の重量波形の振幅が小さいかどうかを判断する。被計量物の重量波形の振幅が小さい方が計量を安定に実施できることから、被計量物の重量波形の振幅が規定値より小さいと判断した場合（Ｙｅｓ）はステップＳ１５にて正の値の報酬を演算した後ステップＳ１７へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１６にて負の値の報酬を演算した後ステップＳ１７へ進む。

【0095】

ステップＳ１７にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、計量部の振動波形の振幅が小さいかどうかを判断する。計量部の振動波形の振幅が小さい方が計量に対する影響を低減できることから、計量部の振動波形の振幅が規定値より小さいと判断した場合（Ｙｅｓ）はステップＳ１８にて正の値の報酬を演算した後ステップＳ２０へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１９にて負の値の報酬を演算した後ステップＳ２０へ進む。

【0096】

ステップＳ２０にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、計量部の振動波形が規則的かどうかを判断する。計量部の振動波形が規則的な方が演算によりこれを容易に除去できることから、計量部の振動波形が規則的と判断した場合（Ｙｅｓ）はステップＳ２１にて正の値の報酬を演算した後ステップＳ２３へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ２２にて負の値の報酬を演算した後ステップＳ２３へ進む。

【0097】

ステップＳ２３にて、報酬演算部３０９は、ステップＳ０４で取得した判定に係るデータを基に、判定用重量値のバラツキが小さいかどうかを判断する。判定用重量値のバラツキの小さい方が、計量が安定して行われていることから、判定用重量値のバラツキが小さいと判断した場合（Ｙｅｓ）はステップＳ２４にて正の値の報酬を演算した後ステップＳ２６へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ２５にて負の値の報酬を演算した後ステップＳ２６へ進む。

【0098】

ステップＳ２６にて、行動価値関数更新部３１１は、ステップＳ０６～Ｓ２４で、報酬演算部３０９が求めた負の報酬又は正の報酬を行動価値関数Ｑの更新式に適用し、更新後の行動価値関数Ｑとして行動価値関数のテーブルを更新して、ステップＳ０２へ戻る。学習部３０４ｂは、ステップＳ０２～ステップＳ２６の区間を繰り返すことで行動価値関数のテーブルを反復して更新し、計量条件の学習を行う。

【0099】

図６は本発明の第１の実施形態に係る計量システムの構成図である。計量システム５０１は、複数の計量用機械学習システム４０１ａ～４０１ｄと、上位コンピュータ４０２と、これらを互いに通信にて接続するネットワーク４０３で構成される。各計量用機械学習システム４０１ａ～４０１ｄにはそれぞれ、計量装置１ａ～１ｄと、計量用機械学習装置３０１ａ～３０１ｄとで構成されている。各計量装置１ａ～１ｄは、計量部１０１ａ～１０１ｄと、計量制御部２０１ａ～２０１ｄで構成されている。

【0100】

この計量システム５０１の構成では、各計量用機械学習装置３０１ａ～３０１ｄで学習した学習結果が上位コンピュータ４０２にアップロードされる。そして上位コンピュータ４０２にアップロードされた学習データは、各計量用機械学習装置３０１ａ～３０１ｄが共有することができる。この構成では、各計量用機械学習システム４０１ａ～４０１ｄに機械学習を行う計量用機械学習装置３０１ａ～３０１ｄが設けられているので、高速に学習処理を行い、その結果を全ての計量用機械学習システム４０１ａ～４０１ｄで用いることができる。

【0101】

図７は本発明の第２の実施形態に係る計量システムの構成図である。計量システム５０２は、複数の計量用機械学習システム４０１ａ、４０１ｂと、複数の計量装置１ｃ、１ｄと、これらを互いに通信にて接続するネットワーク４０３で構成される。計量用機械学習システム４０１ａ、４０１ｂにはそれぞれ、計量用機械学習装置３０１ａ、３０１ｂが組み込まれているが、複数の計量装置１ｃ、１ｄは直接的に計量用機械学習装置を有していない。この場合、計量用機械学習システム４０１ａ、４０１ｂで学習した結果はネットワーク４０３にて共有できることから、計量用機械学習装置を有していない複数の計量装置１ｃ、１ｄもこの学習結果を利用することができる。もちろん計量用機械学習装置３０１ａと計量用機械学習装置３０１ｂでそれぞれ学習した学習結果は互いに共有することができる。この構成では、計量用機械学習装置を有していない複数の計量装置も、他の学習結果を用いて計量ができることからコストセーブや既存の設備に用いることができる。

【0102】

図８は本発明の第３の実施形態に係る計量システムの構成図である。計量システム５０３は、複数の計量装置１ａ～１ｄと、これらを互いに通信にて接続する計量用機械学習装置３０１とで構成される。すなわち複数の計量装置１ａ～１ｄに対して少なくとも１以上の計量用機械学習装置３０１が学習機能を受け持ち、それぞれの計量装置１ａ～１ｄで得られた状態変数及び判定データを用いて、計量装置１ａ～１ｄ共通の計量条件を学習する。複数の計量装置１ａ～１ｄと、計量用機械学習装置３０１の接続は直接配線されたものであっても良いし、ネットワークとして行われるものであっても良い。複数の計量装置１ａ～１ｄと、計量用機械学習装置３０１の接続がネットワークである時は、計量用機械学習装置３０１はクラウドサーバ上に構成することも可能である。この構成では、計量用機械学習装置３０１は機械学習結果を一元的に管理できるという利点がある。

【0103】

本発明の各実施形態による計量用機械学習装置、計量用機械学習システムによれば、重量検出部１１０から重量信号処理部２０２を介して出力された重量信号波形データ、振動検出部１１１から振動信号処理部２０３を介して出力された振動信号波形データ、画像撮像部１０９による被計量物の画像データ、を状態変数の物理量としていることから、搬入検出センサが検出する計量コンベア１０４へ被計量物が乗るタイミングと、重量検出部１１０が被計量物の重量を検出する波形データとの相関を得ることができる。したがって学習部３０４は、最適な良否判定用の判定信号処理の選択、計量開始時間、計量する期間等を機械学習によって学習し、意思決定部３０３にて実行内容を決定し、制御実行部２０９にてこれを実行することができる。例えば被計量物１２０ａのような形状の場合、計量コンベア１０４へ搬送される際の姿勢により重量信号波形データが異なって表れることから、この相関を学習することで被計量物１２０ａの計量コンベア１０４への投入の搬送姿勢の制限条件を緩和若しくは撤廃することも可能となる。

【0104】

さらに搬入コンベア搬送速度と計量コンベア搬送速度とを基に、搬入検出センサ１０７より出力される被計量物検出信号及び画像撮像部１０９による被計量物の画像データを状態変数の物理量を用いて、最適な搬入コンベア搬送速度と計量コンベア搬送速度を学習して、意思決定部３０３にて速度を決定し、制御実行部２０９にてこれを実行することができる。したがって被計量物１２０ａ、１２０ｂの搬送間隔を狭くし過ぎて計量コンベア１０４へ同時に複数個の被計量物が乗ってしまうことを防ぎつつ、可能な限り搬送間隔を小さくして計量の効率を上げることも可能となる。

【0105】

重量信号、振動信号のフィルタ処理に関しても、重量信号波形データ及び振動信号波形データを状態変数の物理量としていることから、計量コンベア１０４の振動が重量信号波形データへ与える影響、相関を明らかにすることができる。したがって計量コンベアモータ１０５やコンベアベルトの経時変化に伴う振動の変化についても継続的に学習することで、
計量部１０１の振動による影響を除去若しくは低減することが可能となる。

【0106】

機械学習においては、計量条件の少なくとも１つを所定の範囲内で意図的に変動させて学習部３０４に学習させることも可能である。計量条件を意図的に変動させることで、外乱に対するロバスト性を高めた学習を実施することができる。

【0107】

本発明の各実施形態による計量システムによれば、計量用機械学習装置の学習機能を行いながら、計量装置による計量を実施し続けることで、計量装置毎に異なる個体差や経時変化を学習することができ、より良い計量条件を探しながら計量を行うことができる。

【0108】

ゆえに本発明によれば、熟練した管理者等による計量条件の決定を不要とし、管理者等が試行錯誤によって計量条件を見出すことなく、最適な計量条件を自動的に決定できる計量用機械学習装置、これを有する計量用機械学習システム及び計量システムを提供できる。

【0109】

以上、本発明を好ましい実施形態に基づいて説明したが、本発明は上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変更が可能である。

【産業上の利用可能性】

【0110】

本発明の活用例として、搬送しながら計量を行う計量装置への適用が可能である。

【符号の説明】

【0111】

１ ：計量装置
１ａ～１ｄ ：計量装置
１０１ ：計量部（環境）
１０１ａ～１０１ｄ ：計量部（環境）
１０２ ：搬入コンベア
１０３ ：搬入コンベアモータ
１０４ ：計量コンベア
１０５ ：計量コンベアモータ
１０６ ：搬出コンベア
１０７ ：搬入検出センサ
１０９ ：画像撮像部
１１０ ：重量検出部
１１１ ：振動検出部
１２０ａ、１２０ｂ ：被計量物
２０１ ：計量制御部
２０１ａ～２０１ｄ ：計量制御部
２０２ ：重量信号処理部
２０２ａ ：Ａ／Ｄ変換器
２０２ｂ ：重量信号記憶手段
２０２ｃ ：フィルタ
２０３ ：振動信号処理部
２０３ａ ：Ａ／Ｄ変換器
２０３ｂ ：振動信号記憶手段
２０３ｃ ：フィルタ
２０４ ：演算部
２０５ ：記憶部
２０６ ：判定部
２０７ ：判定結果表示部
２０８ ：画像信号処理部
２０９ ：制御実行部
２１０ ：設定部
２１１ ：駆動部
Ｐ ：物理量
Ｃ ：計量条件
３０１ ：計量用機械学習装置
３０１ａ～３０１ｄ ：計量用機械学習装置
３０２ ：状態観測部
３０３ ：意思決定部
３０４ ：学習部
３０４ａ、３０４ｂ ：学習部
３０５ ：誤差計算部
３０６ ：モデル更新部
３０７ ：学習結果記憶部
３０８ ：判定データ取得部
３０９ ：報酬演算部
３１０ ：報酬条件設定部
３１１ ：行動価値関数更新部
４０１ ：計量用機械学習システム
４０１ａ～４０１ｄ ：計量用機械学習システム
４０２ ：上位コンピュータ
４０３ ：ネットワーク
５０１ ：計量システム
５０２ ：計量システム
５０３ ：計量システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】